bpo-31323: Fix reference leak in test_ssl (#3263)

Store exceptions as string rather than object to prevent reference
cycles which cause leaking dangling threads.

bpo-31250, test_asyncio: fix EventLoopTestsMixin.tearDown() (#3264)

Call doCleanups() to close the loop after calling
executor.shutdown(wait=True): see TestCase.set_event_loop() of
asyncio.test_utils.

Replace also gc.collect() with support.gc_collect().

bpo-31326: ProcessPoolExecutor waits for the call queue thread (#3265)

* bpo-31326: ProcessPoolExecutor waits for the call queue thread

concurrent.futures.ProcessPoolExecutor.shutdown() now explicitly
closes the call queue. Moreover, shutdown(wait=True) now also join
the call queue thread, to prevent leaking a dangling thread.

* Fix for shutdown() being called twice.

bpo-27144: concurrent.futures as_complete and map iterators do not keep reference to returned object (#1560)

* bpo-27144: concurrent.futures as_complie and map iterators do not keep
reference to returned object

* Some nits.  Improve wordings in docstrings and comments, and avoid relying on
sys.getrefcount() in tests.

bpo-31250, test_asyncio: fix dangling threads (#3252)

* Explicitly call shutdown(wait=True) on executors to wait until all
  threads complete to prevent side effects between tests.
* Fix test_loop_self_reading_exception(): don't mock loop.close().
  Previously, the original close() method was called rather than the
  mock, because how set_event_loop() registered loop.close().

bpo-31217: Fix regrtest -R for small integer (#3260)

Use a pool of integer objects toprevent false alarm when checking for
memory block leaks. Fill the pool with values in -1000..1000 which
are the most common (reference, memory block, file descriptor)
differences.

Co-Authored-By: Antoine Pitrou <pitrou@free.fr>

bpo-30096: Use ABC in abc reference examples (#1220)

Use base class rather than metaclass in examples.

bpo-30737: Update DevGuide links to new URL (GH-3228)

Update old devguide links from https://docs.python.org/devguide to https://devguide.python.org

[Trivial] Remove now redundant assert (#3245)

Fix the indentation in Extending Python code example (GH-3244)

Code was indented with three spaces.
Fixed using four spaces.

Removed noop branch from ctypes code (#3234)

bpo-30581: Windows: os.cpu_count() returns wrong number of processors (#2934)

* Fixes #30581 by adding a path to use newer GetMaximumProcessorCount API on Windows calls to os.cpu_count()

* Add NEWS.d entry for bpo-30581, os.cpu_count on Windows.

* Tweak NEWS entry

bpo-31051:  Rearrange IDLE condigdialog GenPage into Window, Editor, and Help sections. (#3239)

bpo-5001: More-informative multiprocessing error messages (#3079)

* Make error message more informative

Replace assertions in error-reporting code with more-informative version that doesn't cause confusion over where and what the error is.

* Additional clarification + get travis to check

* Change from SystemError to TypeError

As suggested in PR comment by @pitrou, changing from SystemError; TypeError appears appropriate.

* NEWS file installation; ACKS addition (will do my best to justify it by additional work)

* Making current AssertionErrors in multiprocessing more informative

* Blurb added re multiprocessing managers.py, queues.py cleanup

* Further multiprocessing cleanup - went through pool.py

* Fix two asserts in multiprocessing/util.py

* Most asserts in multiprocessing more informative

* Didn't save right version

* Further work on multiprocessing error messages

* Correct typo

* Correct typo v2

* Blasted colon... serves me right for trying to work on two things at once

* Simplify NEWS entry

* Update 2017-08-18-17-16-38.bpo-5001.gwnthq.rst

* Update 2017-08-18-17-16-38.bpo-5001.gwnthq.rst

OK, never mind.

* Corrected (thanks to pitrou) error messages for notify

* Remove extraneous backslash in docstring.

bpo-31291: Fixed an assertion failure in zipimport.zipimporter.get_data() (#3226)

if pathname.replace('/', '\\') returns non-string.

bpo-31065: Add doc about Popen.poll returning None. (#3169)

bpo-31286, bpo-30024: Fixed stack usage in absolute imports with (#3217)

binding a submodule to a name.

bpo-31243: Fixed PyArg_ParseTuple failure checks. (#3171)

Fix a typo in the Programming FAQ. (#3230)

subobjects, not subobjecs.

bpo-10746: Fix ctypes PEP 3118 type codes for c_long, c_bool, c_int (#31)

Ctypes currently produces wrong pep3118 type codes for several types.
E.g. memoryview(ctypes.c_long()).format gives "<l" on 64-bit platforms,
but it should be "<q" instead for sizeof(c_long) == 8

The problem is that the '<>' endian specification in the struct syntax
also turns on the "standard size" mode, which makes type characters have
a platform-independent meaning, which does not match with the codes used
internally in ctypes.  The struct module format syntax also does not
allow specifying native-size non-native-endian items.

This commit adds a converter function that maps the internal ctypes
codes to appropriate struct module standard-size codes in the pep3118
format strings. The tests are modified to check for this.

bpo-30987 - Support for ISO-TP protocol in SocketCAN (#2956)

* Added support for CAN_ISOTP protocol

* Added unit tests for CAN ISOTP

* Updated documentation for ISO-TP protocol

* Removed trailing whitespace in documentation

* Added blurb NEWS.d file

* updated Misc/ACKS

* Fixed broken unit test that was using isotp const outside of skippable section

* Removed dependecy over third party project

* Added implementation for getsockname + unit tests

* Missing newline at end of ACKS file

* Accidentally inserted a type in ACKS file

* Followed tiran changes review #1 recommendations

* Added spaces after comma

bpo-26656: Improve re.compile documentation (GH-3211)

- Link to the regular expressions object documentation
- Clarify that it can be used with more than the two methods currently stated.

bpo-30617: IDLE: docstrings and unittest for outwin.py (#2046)

Move some data and functions from the class to module level. Patch by Cheryl Sabella.

bpo-31287: IDLE - do not alter tkinter.messagebox in configdialog tests. (#3220)

bpo-30781: IDLE -  use ttk widgets in configdialog (#2654)

Patch by Cheryl Sabella.

bpo-31072: Rename the new filter argument for zipapp.create_archive. (#3049)

bpo-31072: Rename the new filter argument for zipapp.create_archive (GH-3049)

* Rename the new argument to "filter"
* Improve tests for the new functionality
* Add a "What's New" entry.

bpo-31271: Fix an assertion failure in io.TextIOWrapper.write. (#3201)

bpo-31279: Silence -Wstringop-overflow warning. (#3207)

bpo-31275: Small refactoring to silence a fall-through warning. (#3206)

bpo-30923: Silence fall-through warnings in libexpat build. (#3205)

Skip two tests not intended to pass on Windows. (#3202)

bpo-22536: Set the filename in FileNotFoundError. (#3194)

Have the subprocess module set the filename in the FileNotFoundError
exception raised on POSIX systems when the executable or cwd are missing.

bpo-29741: Update some methods in the _pyio module to also accept integer types. Patch by Oren Milman. (#560)

bpo-28261: fix err msgs where PyArg_ParseTuple is used to parse normal tuples (leftovers) (#3198)

bpo-23835: Restore legacy defaults= behavior for RawConfigParser (#3191)

The fix for bpo-23835 fixed ConfigParser behavior in defaults= handling.
Unfortunately, it caused a backwards compatibility regression with
RawConfigParser objects which allow for non-string values.

This commit restores the legacy behavior for RawConfigParser only.

bpo-31095: fix potential crash during GC (GH-2974)

bpo-31229: Fixed wrong error messages when too many keyword arguments are received. (#3180)

bpo-31161: only check for parens error for SyntaxError (#3082)

Subclasses such as IndentError and TabError should not have this message
applied.

Touch up the contributing notes (#3158)

* Mention how to find out what to do
* Update URL
* Thanks contributors
* Explain there is no timeline

bpo-31234: test_threaded_import: fix test_side_effect_import() (#3189)

* Don't leak the module into sys.modules
* Avoid dangling thread

bpo-31234: test_httpservers joins the server thread (#3188)

bpo-31249: Fix ref cycle in ThreadPoolExecutor (#3178)

* bpo-31249: Fix ref cycle in ThreadPoolExecutor

concurrent.futures: WorkItem.run() used by ThreadPoolExecutor now
breaks a reference cycle between an exception object and the WorkItem
object. ThreadPoolExecutor.shutdown() now also clears its threads
set.

* shutdown() now only clears threads if wait is true.

* Revert changes on shutdown()

bpo-30983: [gdb] Fix py-bt, etc. for non-debug shared builds (#3153)

PEP 523 introduced _PyEval_EvalFrameDefault which inlines PyEval_EvalFrameEx on
non-debug shared builds.  This breaks the ability to use py-bt, py-up, and
a few other Python-specific gdb integrations.

This patch fixes the problem by only looking for _PyEval_EvalFrameDefault
frames.

test_gdb passes on both a debug and a non-debug build.

Original patch by Bruno "Polaco" Penteado.

bpo-23835: [docs] configparser converts defaults to strings (#3176)

Title says all.

bpo-23835: Enforce that configparser defaults are strings (#2558)

* Enforce that configparser defaults are strings
* Update test_configparser.py

Add test_subprocess.test_nonexisting_with_pipes() (#3133)

bpo-30121: Test the Popen failure when Popen was created with pipes.
Create also NONEXISTING_CMD variable in test_subprocess.py.

bpo-31238: pydoc ServerThread.stop() now joins itself (#3151)

* bpo-31238: pydoc ServerThread.stop() now joins itself

ServerThread.stop() now joins itself to wait until
DocServer.serve_until_quit() completes and then explicitly sets
its docserver attribute to None to break a reference cycle.

* Add NEWS.d entry

bpo-31249: test_concurrent_futures checks dangling threads (#3167)

Add a BaseTestCase class to test_concurrent_futures to check for
dangling threads and processes on all tests, not only tests using
ExecutorMixin.

bpo-31236: Improved some error messages of min() and max().

bpo-31247: xmlrpc.server: break reference cycle (#3166)

xmlrpc.server now explicitly breaks reference cycles when using
sys.exc_info() in code handling exceptions.

bpo-30923: Silence fall-through warnings included in -Wextra since gcc-7.0. (#3157)

bpo-9566 & bpo-30747: Silence warnings from pyatomic.h macros (#3140)

* bpo-9566: Silence warnings from pyatomic.h macros

Apparently MSVC is too stupid to understand that the alternate branch is
not taken and emits a warning for it.

Warnings added in https://github.com/python/cpython/pull/2383

* bpo-9566: A better fix for the pyatomic.h warning

* bpo-9566: Remove a slash

bpo-28261: Fixed err msgs where PyArg_ParseTuple is used to parse normal tuples. (#3119)

bpo-31206: IDLE: Factor HighPage class from ConfigDialog (#3160)

Part 3 of 3.  Remove old highlight functions and load_config as this functionality is now contained within classes. Patch by Cheryl Sabella.

bpo-31206: IDLE: Factor HighPage class from ConfigDialog (#3156)

Patch 2 of 3, to avoid horrendous diff.  Create highlights page from new HighPage class instead of old ConfigDialog methods and change tests to match.

bpo-31234: test_threading: fix ref cycle (#3150)

test_bare_raise_in_brand_new_thread() now explicitly breaks a
reference cycle to not leak a dangling thread.

bpo-31206: IDLE: Factor HighPage class from ConfigDialog (#3141)

This is the first half of a patch similar to the one for for bpo-31205.  It is being split into 2 PRs to avoid what happened with PR-3096 -- an incomprehensible diff that could not be cleanly backported to 3.6.  This half copies several methods of ConfigDialog and turns them into a new class.

bpo-31235: Fix ResourceWarning in test_logging (#3147)

bpo-30830: test_logging uses threading_setup/cleanup (#3137)

* bpo-30830: test_logging uses threading_setup/cleanup

Replace @support.reap_threads on some methods with
support.threading_setup() in setUp() and support.threading_cleanup()
in tearDown() in BaseTest.

* bpo-30830: test_logging disables threaded socketserver tests

Disable tests because of socketserver.ThreadingMixIn leaks threads,
whereas leaking threads now makes a test to fail on buildbots.

Disable tests until socketserver is fixed: bpo-31233.

* Skip also setup_via_listener()

bpo-30947: Update libexpat from 2.2.1 to 2.2.3 (#3106)

* bpo-30947: Update libexpat from 2.2.1 to 2.2.3

* Add NEWS entry

* Add new loadlibrary.c

* expat_external.h: restore include "pyexpatns.h"

* PCbuild: add expat/loadlibrary.c

* Define XML_POOR_ENTROPY to compile expat

bpo-31234: fork_wait tests now join threads (#3139)

fork_wait.py tests now joins threads, to not leak running threads in
the background.

bpo-30923: Disable warning that has been part of -Wextra since gcc-7.0. (#3142)

bpo-31109: Convert zipimport to use Argument Clinic (GH-2990)

Fix a minor grammar issue in the logging cookbook (GH-3136)

bpo-31231: Fix pythoninfo in Travis config (#3134)

bpo-31231, bpo-30871: Replace "./python -m test.pythoninfo" with
"make pythoninfo", since macOS uses ./python.exe.

bpo-30121: Fix debug assert in subprocess on Windows (#1224)

* bpo-30121: Fix debug assert in subprocess on Windows

This is caused by closing HANDLEs using os.close which is for CRT file
descriptors and not for HANDLEs.

* bpo-30121: Suppress debug assertion in test_subprocess when ran directly

bpo-30721: Add missing '?' to new error message (GH-3131)

Issue #30923: Revert flag that is not recognized by an obsolete gcc version. (#3132)

bpo-30721: Show correct syntax hint in Py3 when using Py2 redirection syntax (#2345)

bpo-30871: pythoninfo: more sys, os, time data (#3130)

* bpo-30871: pythoninfo: more sys, os, time data

PythonInfo now converts types other than intger to string by default.

* fix typo

bpo-30871: Add "make pythoninfo" (#3120)

Fix broken `Show Source` links on documentation pages (GH-3113)

The `Show Source` was broken because of a change made in sphinx 1.5.1
In Sphinx 1.4.9, the sourcename was "index.txt".
In Sphinx 1.5.1+, it is now "index.rst.txt"

bpo-31183: `dis` now handles coroutines & async generators (GH-3077)

Coroutines and async generators use a distinct attribute name for their
code objects, so this updates the `dis` module to correctly disassemble
objects with those attributes.

Due to the increase in the test module length, it also fixes some latent
defects in the tests related to how the displayed source line numbers
are extracted.

https://bugs.python.org/issue31230 is a follow-up issue suggesting we
may want to solve this a different way, by instead giving all these object
types a common `__code__` attribute, avoiding the need for special
casing in the `dis` module.

bpo-31001: IDLE: Add tests for configdialog highlight tab (#3123)

bpo-30871: pythoninfo: add expat and _decimal (#3121)

* bpo-30871: pythoninfo: add expat and _decimal

* Remove _decimal.__version__

The string is hardcoded, not really interesting.

Adds nuget symbols package for daily builds. (#3122)

bpo-30871: Add test.pythoninfo (#3075)

* Add Lib/test/pythoninfo.py: script collecting various informations
  about Python to help debugging test failures.
* regrtest: remove sys.hash_info and sys.flags from header.
* Travis CI, Appveyor: run pythoninfo before tests

bpo-31221: patchcheck ignores external libraries (#3109)

Tools/scripts/patchcheck.py now ignores changes in directories which
are copies of external libraries:

* Modules/_ctypes/libffi_msvc/
* Modules/_ctypes/libffi_osx/
* Modules/_decimal/libmpdec/
* Modules/expat/
* Modules/zlib/

Drop also support for Mercurial, since CPython migrated to Git.

Exclude also libmpdec

patchcheck: exclude also libffi_osx and libffi_msvc

Update the language selection in the docs language switch. (GH-3114)

Change the option for `Français` into `French` to be consistent with the other language selections that are already in English.

bpo-24700: Add a fast path for comparing array.array of equal type (#3009)

bpo-18966: non-daemonic threads created by a multiprocessing.Process should be joined on exit (#3111)

* bpo-18966: non-daemonic threads created by a multiprocessing.Process should be joined on exit

* Add NEWS blurb

bpo-31069, test_multiprocessing: Fix dangling process (#3103)

Fix a warning about dangling processes in test_rapid_restart() of
_test_multiprocessing: join the process.

bpo-30983: Revert changes which broke most buildbots (#3100)

* Revert "Add Bruno Penteado to ACKS (#3091)"

This reverts commit f978405b3f092e4005b92ba1dbaab15f609b3bb0.

* Revert "bpo-30983: eval frame rename in pep 0523 broke gdb's python extension (#2803)"

This reverts commit 2e0f4db114424a00354eab889ba8f7334a2ab8f0.

bpo-30928: Update idlelib/NEWS.txt to 2017-08-15. (#3098)

bpo-31205: IDLE: Factor KeysPage class from ConfigDialog (#3096)

  The slightly modified tests continue to pass.  Patch by Cheryl Sabella.

Add Windows team as a codeowner for Windows-specific files (#3089)

fix grammr in error messages in overlapped.c (GH-3095)

bpo-30714: ALPN changes for OpenSSL 1.1.0f (#2305)

OpenSSL 1.1.0 to 1.1.0e aborted the handshake when server and client
could not agree on a protocol using ALPN. OpenSSL 1.1.0f changed that.
The most recent version now behaves like OpenSSL 1.0.2 again. The ALPN
callback can pretend to not been set.

See https://github.com/openssl/openssl/pull/3158 for more details

Signed-off-by: Christian Heimes <christian@python.org>

bpo-31002: IDLE: Add tests for configdialog keys tab (#2996)

Patch by Cheryl Sabella.

Add Bruno Penteado to ACKS (#3091)

bpo-30983: eval frame rename in pep 0523 broke gdb's python extension (#2803)

pep 0523 renames PyEval_EvalFrameEx to _PyEval_EvalFrameDefault while the gdb python extension only looks for PyEval_EvalFrameEx to understand if it is dealing with a frame.

Final effect is that attaching gdb to a python3.6 process doesnt resolve python objects. Eg. py-list and py-bt dont work properly.

This patch fixes that. Tested locally on python3.6

bpo-31191: Improve grammar in threading.Barrier docs (GH-3080)

bpo-30824: Add mimetype for .json (#3048)

bpo-31106: Fix handling of erros in posix_fallocate() and posix_fadvise() (#3000) (#3000)

bpo-5001, bpo-31169: Fix two uninformative asserts in multiprocessing/managers.py (#3078)

* Make error message more informative

Replace assertions in error-reporting code with more-informative version that doesn't cause confusion over where and what the error is.

* Additional clarification + get travis to check

* Change from SystemError to TypeError

As suggested in PR comment by @pitrou, changing from SystemError; TypeError appears appropriate.

* NEWS file installation; ACKS addition (will do my best to justify it by additional work)

bpo-30747: Attempt to fix atomic load/store (#2383)

_Py_atomic_* are currently not implemented as atomic operations
when building with MSVC. This patch attempts to implement parts
of the functionality required.

Fix typo in 3.7 What's New (GH-3069)

Remove unneeded word `to`.

bpo-31008: Fix asyncio test_wait_for_handle on Windows (#3065)

bpo-26762: _test_multiprocessing reports dangling (#3064)

_test_multiprocessing now marks the test as ENV_CHANGED on dangling
process or thread.

regrtest: count also env changed as failures in progress (#3061)