bpo-30102: Call OPENSSL_add_all_algorithms_noconf (#3112)

The ssl and hashlib modules now call OPENSSL_add_all_algorithms_noconf() on
OpenSSL < 1.1.0. The function detects CPU features and enables optimizations
on some CPU architectures such as POWER8. Patch is based on research from
Gustavo Serra Scalet.

Signed-off-by: Christian Heimes <christian@python.org>

Prevent a few make suspicious warnings. (#3341)

Include additional changes to support blurbified NEWS (#3340)

Simplify NEWS entry to prevent suspicious warnings. (#3339)

bpo-31347: _PyObject_FastCall_Prepend: do not call memcpy if args might not be null (#3329)

Passing NULL as the second argument to to memcpy is undefined behavior even if the size is 0.

Revert "bpo-17852: Maintain a list of BufferedWriter objects.  Flush them on exit. (#1908)" (#3337)

This reverts commit e38d12ed34870c140016bef1e0ff10c8c3d3f213.

bpo-17852: Maintain a list of BufferedWriter objects.  Flush them on exit. (#1908)

* Maintain a list of BufferedWriter objects.  Flush them on exit.

In Python 3, the buffer and the underlying file object are separate
and so the order in which objects are finalized matters.  This is
unlike Python 2 where the file and buffer were a single object and
finalization was done for both at the same time.  In Python 3, if
the file is finalized and closed before the buffer then the data in
the buffer is lost.

This change adds a doubly linked list of open file buffers.  An atexit
hook ensures they are flushed before proceeding with interpreter
shutdown.  This is addition does not remove the need to properly close
files as there are other reasons why buffered data could get lost during
finalization.

Initial patch by Armin Rigo.

* Use weakref.WeakSet instead of WeakKeyDictionary.

* Simplify buffered double-linked list types.

* In _flush_all_writers(), suppress errors from flush().

* Remove NEWS entry, use blurb.

Fix terminology in comment and add more design rationale. (#3335)

* Fix terminology in comment and add more design rationale.

* Fix extra space

Add comment to explain the implications of not sorting keywords (#3331)

In Python 3.6, sorted() was removed from _make_key() for the lru_cache and instead rely on guaranteed keyword argument order preservation.  This makes keyword argument handling faster but it also causes multiple callers with a different keyword argument order to be cached as separate items.  Depending on your point of view, this is either a performance regression (increased number of cache misses) or a performance enhancement (faster computation of keys).

bpo-31170: Update libexpat from 2.2.3 to 2.2.4 (#3315)

* bpo-31170: Update libexpat from 2.2.3 to 2.2.4

Fix copying of partial characters for UTF-8 input (libexpat bug 115):
https://github.com/libexpat/libexpat/issues/115

* Add NEWS entry.

bpo-28411: Remove "modules" field from Py_InterpreterState. (#1638)

sys.modules is the one true source.

random_triangular:  sqrt() is more accurate than **0.5 (#3317)

Travis: use ccache (#3307)

remove IRIX support (closes bpo-31341) (#3310)

See PEP 11.

Code clean-up.  Remove unnecessary pre-increment before the loop starts. (#3312)

Regen Moduls/clinic/_ssl.c.h (GH-3320)

Broken in GH-2079

bpo-30502: Fix handling of long oids in ssl. (#2909)

Cache externals, depending on changes to PCbuild (#3308)

bpo-30622: Change NPN detection: (#2079)

* Change NPN detection:

Version breakdown, support disabled (pre-patch/post-patch):
- pre-1.0.1: OPENSSL_NPN_NEGOTIATED will not be defined -> False/False
- 1.0.1 and 1.0.2: OPENSSL_NPN_NEGOTIATED will not be defined ->
False/False
- 1.1.0+: OPENSSL_NPN_NEGOTIATED will be defined and
OPENSSL_NO_NEXTPROTONEG will be defined -> True/False

Version breakdown support enabled (pre-patch/post-patch):
- pre-1.0.1: OPENSSL_NPN_NEGOTIATED will not be defined -> False/False
- 1.0.1 and 1.0.2: OPENSSL_NPN_NEGOTIATED will be defined and
OPENSSL_NO_NEXTPROTONEG will not be defined -> True/True
- 1.1.0+: OPENSSL_NPN_NEGOTIATED will be defined and
OPENSSL_NO_NEXTPROTONEG will not be defined -> True/True

* Refine NPN guard:

- If NPN is disabled, but ALPN is available we need our callback
- Make clinic's ssl behave the same way

This created a working ssl module for me, with NPN disabled and ALPN
enabled for OpenSSL 1.1.0f.

Concerns to address:
The initial commit for NPN support into OpenSSL [1], had the
OPENSSL_NPN_* variables defined inside the OPENSSL_NO_NEXTPROTONEG
guard. The question is if that ever made it into a release.
This would need an ugly hack, something like:

#if defined(OPENSSL_NO_NEXTPROTONEG) && \
!defined(OPENSSL_NPN_NEGOTIATED)
# define OPENSSL_NPN_UNSUPPORTED 0
# define OPENSSL_NPN_NEGOTIATED 1
# define OPENSSL_NPN_NO_OVERLAP 2
#endif

[1] https://github.com/openssl/openssl/commit/68b33cc5c7

What's New for bpo-1198569 (#3303)

Fixes doc/make.bat to properly handle quoted paths. (#3302)

remove configure.ac support for SGI_ABI (#3294)

remote note about IRIX in aifc (#3299)

This comment hasn't been true since Python 3.0.

bpo-1198569: Allow string.Template braced pattern to be different (#3288)

* bpo-1198569: Allow the braced pattern to be different

``string.Template`` subclasses can optionally define ``braceidpattern`` if
they want to specify different placeholder patterns inside and outside the
braces.  If None (the default) it falls back to ``idpattern``.

Blurbify master branch. (#3298)

Blurbify master branch.

bpo-25674: remove sha256.tbs-internet.com ssl test (#3297)

Signed-off-by: Christian Heimes <christian@python.org>

Clarify nature of parse_args 'args' argument. (#3292)

Patch by Paul.j3.  Includes an unrelated but useful addition to the
optparse porting section.

Add references to modules I am responsible for (#3291)

Use a team to maintain the email related packages. (#3290)

Improve clarity (and small speed-up) by using tuple unpacking (#3289)

remove check for bug last seem in Solaris 9 (#3285)

Change code owners for hashlib and ssl to the crypto team (#3284)

* Change code owners for hashlib and ssl to the crypto team

* Include the core CSPRNG for the crypto-team

bpo-31281: Fix pathlib.Path incompatibility in fileinput (gh-3208)

Fix fileinput with inplace=True to accept pathlib.Path objects.

remove autoconf check for select() (#3283)

We never actually check HAVE_SELECT.

remove configure check for 'volatile' (#3281)

This is a required feature is C99, which we require.

Add missing _sha3 module to Setup.dist (#2395)

bpo-12383: Also ignore __PYVENV_LAUNCHER__ (#3278)

Used in macOS framework builds.

bpo-9146: add the missing NEWS entry. (#3275)

Fix a c.f.as_completed() refleak previously introduced in bpo-27144 (#3270)

bpo-31185: Fixed miscellaneous errors in asyncio speedup module. (#3076)

remove a redundant lower in urllib.parse.urlsplit (#3008)

bpo-31323: Fix reference leak in test_ssl (#3263)

Store exceptions as string rather than object to prevent reference
cycles which cause leaking dangling threads.

bpo-31250, test_asyncio: fix EventLoopTestsMixin.tearDown() (#3264)

Call doCleanups() to close the loop after calling
executor.shutdown(wait=True): see TestCase.set_event_loop() of
asyncio.test_utils.

Replace also gc.collect() with support.gc_collect().

bpo-31326: ProcessPoolExecutor waits for the call queue thread (#3265)

* bpo-31326: ProcessPoolExecutor waits for the call queue thread

concurrent.futures.ProcessPoolExecutor.shutdown() now explicitly
closes the call queue. Moreover, shutdown(wait=True) now also join
the call queue thread, to prevent leaking a dangling thread.

* Fix for shutdown() being called twice.

bpo-27144: concurrent.futures as_complete and map iterators do not keep reference to returned object (#1560)

* bpo-27144: concurrent.futures as_complie and map iterators do not keep
reference to returned object

* Some nits.  Improve wordings in docstrings and comments, and avoid relying on
sys.getrefcount() in tests.

bpo-31250, test_asyncio: fix dangling threads (#3252)

* Explicitly call shutdown(wait=True) on executors to wait until all
  threads complete to prevent side effects between tests.
* Fix test_loop_self_reading_exception(): don't mock loop.close().
  Previously, the original close() method was called rather than the
  mock, because how set_event_loop() registered loop.close().

bpo-31217: Fix regrtest -R for small integer (#3260)

Use a pool of integer objects toprevent false alarm when checking for
memory block leaks. Fill the pool with values in -1000..1000 which
are the most common (reference, memory block, file descriptor)
differences.

Co-Authored-By: Antoine Pitrou <pitrou@free.fr>

bpo-30096: Use ABC in abc reference examples (#1220)

Use base class rather than metaclass in examples.

bpo-30737: Update DevGuide links to new URL (GH-3228)

Update old devguide links from https://docs.python.org/devguide to https://devguide.python.org

[Trivial] Remove now redundant assert (#3245)

Fix the indentation in Extending Python code example (GH-3244)

Code was indented with three spaces.
Fixed using four spaces.

Removed noop branch from ctypes code (#3234)

bpo-30581: Windows: os.cpu_count() returns wrong number of processors (#2934)

* Fixes #30581 by adding a path to use newer GetMaximumProcessorCount API on Windows calls to os.cpu_count()

* Add NEWS.d entry for bpo-30581, os.cpu_count on Windows.

* Tweak NEWS entry

bpo-31051:  Rearrange IDLE condigdialog GenPage into Window, Editor, and Help sections. (#3239)

bpo-5001: More-informative multiprocessing error messages (#3079)

* Make error message more informative

Replace assertions in error-reporting code with more-informative version that doesn't cause confusion over where and what the error is.

* Additional clarification + get travis to check

* Change from SystemError to TypeError

As suggested in PR comment by @pitrou, changing from SystemError; TypeError appears appropriate.

* NEWS file installation; ACKS addition (will do my best to justify it by additional work)

* Making current AssertionErrors in multiprocessing more informative

* Blurb added re multiprocessing managers.py, queues.py cleanup

* Further multiprocessing cleanup - went through pool.py

* Fix two asserts in multiprocessing/util.py

* Most asserts in multiprocessing more informative

* Didn't save right version

* Further work on multiprocessing error messages

* Correct typo

* Correct typo v2

* Blasted colon... serves me right for trying to work on two things at once

* Simplify NEWS entry

* Update 2017-08-18-17-16-38.bpo-5001.gwnthq.rst

* Update 2017-08-18-17-16-38.bpo-5001.gwnthq.rst

OK, never mind.

* Corrected (thanks to pitrou) error messages for notify

* Remove extraneous backslash in docstring.

bpo-31291: Fixed an assertion failure in zipimport.zipimporter.get_data() (#3226)

if pathname.replace('/', '\\') returns non-string.

bpo-31065: Add doc about Popen.poll returning None. (#3169)

bpo-31286, bpo-30024: Fixed stack usage in absolute imports with (#3217)

binding a submodule to a name.

bpo-31243: Fixed PyArg_ParseTuple failure checks. (#3171)

Fix a typo in the Programming FAQ. (#3230)

subobjects, not subobjecs.

bpo-10746: Fix ctypes PEP 3118 type codes for c_long, c_bool, c_int (#31)

Ctypes currently produces wrong pep3118 type codes for several types.
E.g. memoryview(ctypes.c_long()).format gives "<l" on 64-bit platforms,
but it should be "<q" instead for sizeof(c_long) == 8

The problem is that the '<>' endian specification in the struct syntax
also turns on the "standard size" mode, which makes type characters have
a platform-independent meaning, which does not match with the codes used
internally in ctypes.  The struct module format syntax also does not
allow specifying native-size non-native-endian items.

This commit adds a converter function that maps the internal ctypes
codes to appropriate struct module standard-size codes in the pep3118
format strings. The tests are modified to check for this.

bpo-30987 - Support for ISO-TP protocol in SocketCAN (#2956)

* Added support for CAN_ISOTP protocol

* Added unit tests for CAN ISOTP

* Updated documentation for ISO-TP protocol

* Removed trailing whitespace in documentation

* Added blurb NEWS.d file

* updated Misc/ACKS

* Fixed broken unit test that was using isotp const outside of skippable section

* Removed dependecy over third party project

* Added implementation for getsockname + unit tests

* Missing newline at end of ACKS file

* Accidentally inserted a type in ACKS file

* Followed tiran changes review #1 recommendations

* Added spaces after comma

bpo-26656: Improve re.compile documentation (GH-3211)

- Link to the regular expressions object documentation
- Clarify that it can be used with more than the two methods currently stated.

bpo-30617: IDLE: docstrings and unittest for outwin.py (#2046)

Move some data and functions from the class to module level. Patch by Cheryl Sabella.

bpo-31287: IDLE - do not alter tkinter.messagebox in configdialog tests. (#3220)

bpo-30781: IDLE -  use ttk widgets in configdialog (#2654)

Patch by Cheryl Sabella.

bpo-31072: Rename the new filter argument for zipapp.create_archive. (#3049)

bpo-31072: Rename the new filter argument for zipapp.create_archive (GH-3049)

* Rename the new argument to "filter"
* Improve tests for the new functionality
* Add a "What's New" entry.

bpo-31271: Fix an assertion failure in io.TextIOWrapper.write. (#3201)

bpo-31279: Silence -Wstringop-overflow warning. (#3207)

bpo-31275: Small refactoring to silence a fall-through warning. (#3206)

bpo-30923: Silence fall-through warnings in libexpat build. (#3205)

Skip two tests not intended to pass on Windows. (#3202)

bpo-22536: Set the filename in FileNotFoundError. (#3194)

Have the subprocess module set the filename in the FileNotFoundError
exception raised on POSIX systems when the executable or cwd are missing.

bpo-29741: Update some methods in the _pyio module to also accept integer types. Patch by Oren Milman. (#560)

bpo-28261: fix err msgs where PyArg_ParseTuple is used to parse normal tuples (leftovers) (#3198)

bpo-23835: Restore legacy defaults= behavior for RawConfigParser (#3191)

The fix for bpo-23835 fixed ConfigParser behavior in defaults= handling.
Unfortunately, it caused a backwards compatibility regression with
RawConfigParser objects which allow for non-string values.

This commit restores the legacy behavior for RawConfigParser only.

bpo-31095: fix potential crash during GC (GH-2974)

bpo-31229: Fixed wrong error messages when too many keyword arguments are received. (#3180)

bpo-31161: only check for parens error for SyntaxError (#3082)

Subclasses such as IndentError and TabError should not have this message
applied.

Touch up the contributing notes (#3158)

* Mention how to find out what to do
* Update URL
* Thanks contributors
* Explain there is no timeline

bpo-31234: test_threaded_import: fix test_side_effect_import() (#3189)

* Don't leak the module into sys.modules
* Avoid dangling thread

bpo-31234: test_httpservers joins the server thread (#3188)

bpo-31249: Fix ref cycle in ThreadPoolExecutor (#3178)

* bpo-31249: Fix ref cycle in ThreadPoolExecutor

concurrent.futures: WorkItem.run() used by ThreadPoolExecutor now
breaks a reference cycle between an exception object and the WorkItem
object. ThreadPoolExecutor.shutdown() now also clears its threads
set.

* shutdown() now only clears threads if wait is true.

* Revert changes on shutdown()

bpo-30983: [gdb] Fix py-bt, etc. for non-debug shared builds (#3153)

PEP 523 introduced _PyEval_EvalFrameDefault which inlines PyEval_EvalFrameEx on
non-debug shared builds.  This breaks the ability to use py-bt, py-up, and
a few other Python-specific gdb integrations.

This patch fixes the problem by only looking for _PyEval_EvalFrameDefault
frames.

test_gdb passes on both a debug and a non-debug build.

Original patch by Bruno "Polaco" Penteado.

bpo-23835: [docs] configparser converts defaults to strings (#3176)

Title says all.

bpo-23835: Enforce that configparser defaults are strings (#2558)

* Enforce that configparser defaults are strings
* Update test_configparser.py

Add test_subprocess.test_nonexisting_with_pipes() (#3133)

bpo-30121: Test the Popen failure when Popen was created with pipes.
Create also NONEXISTING_CMD variable in test_subprocess.py.

bpo-31238: pydoc ServerThread.stop() now joins itself (#3151)

* bpo-31238: pydoc ServerThread.stop() now joins itself

ServerThread.stop() now joins itself to wait until
DocServer.serve_until_quit() completes and then explicitly sets
its docserver attribute to None to break a reference cycle.

* Add NEWS.d entry

bpo-31249: test_concurrent_futures checks dangling threads (#3167)

Add a BaseTestCase class to test_concurrent_futures to check for
dangling threads and processes on all tests, not only tests using
ExecutorMixin.

bpo-31236: Improved some error messages of min() and max().

bpo-31247: xmlrpc.server: break reference cycle (#3166)

xmlrpc.server now explicitly breaks reference cycles when using
sys.exc_info() in code handling exceptions.

bpo-30923: Silence fall-through warnings included in -Wextra since gcc-7.0. (#3157)

bpo-9566 & bpo-30747: Silence warnings from pyatomic.h macros (#3140)

* bpo-9566: Silence warnings from pyatomic.h macros

Apparently MSVC is too stupid to understand that the alternate branch is
not taken and emits a warning for it.

Warnings added in https://github.com/python/cpython/pull/2383

* bpo-9566: A better fix for the pyatomic.h warning

* bpo-9566: Remove a slash

bpo-28261: Fixed err msgs where PyArg_ParseTuple is used to parse normal tuples. (#3119)

bpo-31206: IDLE: Factor HighPage class from ConfigDialog (#3160)

Part 3 of 3.  Remove old highlight functions and load_config as this functionality is now contained within classes. Patch by Cheryl Sabella.

bpo-31206: IDLE: Factor HighPage class from ConfigDialog (#3156)

Patch 2 of 3, to avoid horrendous diff.  Create highlights page from new HighPage class instead of old ConfigDialog methods and change tests to match.

bpo-31234: test_threading: fix ref cycle (#3150)

test_bare_raise_in_brand_new_thread() now explicitly breaks a
reference cycle to not leak a dangling thread.

bpo-31206: IDLE: Factor HighPage class from ConfigDialog (#3141)

This is the first half of a patch similar to the one for for bpo-31205.  It is being split into 2 PRs to avoid what happened with PR-3096 -- an incomprehensible diff that could not be cleanly backported to 3.6.  This half copies several methods of ConfigDialog and turns them into a new class.

bpo-31235: Fix ResourceWarning in test_logging (#3147)

bpo-30830: test_logging uses threading_setup/cleanup (#3137)

* bpo-30830: test_logging uses threading_setup/cleanup

Replace @support.reap_threads on some methods with
support.threading_setup() in setUp() and support.threading_cleanup()
in tearDown() in BaseTest.

* bpo-30830: test_logging disables threaded socketserver tests

Disable tests because of socketserver.ThreadingMixIn leaks threads,
whereas leaking threads now makes a test to fail on buildbots.

Disable tests until socketserver is fixed: bpo-31233.

* Skip also setup_via_listener()