bpo-31249: test_concurrent_futures checks dangling threads (#3167)

Add a BaseTestCase class to test_concurrent_futures to check for
dangling threads and processes on all tests, not only tests using
ExecutorMixin.

bpo-31236: Improved some error messages of min() and max().

bpo-31247: xmlrpc.server: break reference cycle (#3166)

xmlrpc.server now explicitly breaks reference cycles when using
sys.exc_info() in code handling exceptions.

bpo-30923: Silence fall-through warnings included in -Wextra since gcc-7.0. (#3157)

bpo-9566 & bpo-30747: Silence warnings from pyatomic.h macros (#3140)

* bpo-9566: Silence warnings from pyatomic.h macros

Apparently MSVC is too stupid to understand that the alternate branch is
not taken and emits a warning for it.

Warnings added in https://github.com/python/cpython/pull/2383

* bpo-9566: A better fix for the pyatomic.h warning

* bpo-9566: Remove a slash

bpo-28261: Fixed err msgs where PyArg_ParseTuple is used to parse normal tuples. (#3119)

bpo-31206: IDLE: Factor HighPage class from ConfigDialog (#3160)

Part 3 of 3.  Remove old highlight functions and load_config as this functionality is now contained within classes. Patch by Cheryl Sabella.

bpo-31206: IDLE: Factor HighPage class from ConfigDialog (#3156)

Patch 2 of 3, to avoid horrendous diff.  Create highlights page from new HighPage class instead of old ConfigDialog methods and change tests to match.

bpo-31234: test_threading: fix ref cycle (#3150)

test_bare_raise_in_brand_new_thread() now explicitly breaks a
reference cycle to not leak a dangling thread.

bpo-31206: IDLE: Factor HighPage class from ConfigDialog (#3141)

This is the first half of a patch similar to the one for for bpo-31205.  It is being split into 2 PRs to avoid what happened with PR-3096 -- an incomprehensible diff that could not be cleanly backported to 3.6.  This half copies several methods of ConfigDialog and turns them into a new class.

bpo-31235: Fix ResourceWarning in test_logging (#3147)

bpo-30830: test_logging uses threading_setup/cleanup (#3137)

* bpo-30830: test_logging uses threading_setup/cleanup

Replace @support.reap_threads on some methods with
support.threading_setup() in setUp() and support.threading_cleanup()
in tearDown() in BaseTest.

* bpo-30830: test_logging disables threaded socketserver tests

Disable tests because of socketserver.ThreadingMixIn leaks threads,
whereas leaking threads now makes a test to fail on buildbots.

Disable tests until socketserver is fixed: bpo-31233.

* Skip also setup_via_listener()

bpo-30947: Update libexpat from 2.2.1 to 2.2.3 (#3106)

* bpo-30947: Update libexpat from 2.2.1 to 2.2.3

* Add NEWS entry

* Add new loadlibrary.c

* expat_external.h: restore include "pyexpatns.h"

* PCbuild: add expat/loadlibrary.c

* Define XML_POOR_ENTROPY to compile expat

bpo-31234: fork_wait tests now join threads (#3139)

fork_wait.py tests now joins threads, to not leak running threads in
the background.

bpo-30923: Disable warning that has been part of -Wextra since gcc-7.0. (#3142)

bpo-31109: Convert zipimport to use Argument Clinic (GH-2990)

Fix a minor grammar issue in the logging cookbook (GH-3136)

bpo-31231: Fix pythoninfo in Travis config (#3134)

bpo-31231, bpo-30871: Replace "./python -m test.pythoninfo" with
"make pythoninfo", since macOS uses ./python.exe.

bpo-30121: Fix debug assert in subprocess on Windows (#1224)

* bpo-30121: Fix debug assert in subprocess on Windows

This is caused by closing HANDLEs using os.close which is for CRT file
descriptors and not for HANDLEs.

* bpo-30121: Suppress debug assertion in test_subprocess when ran directly

bpo-30721: Add missing '?' to new error message (GH-3131)

Issue #30923: Revert flag that is not recognized by an obsolete gcc version. (#3132)

bpo-30721: Show correct syntax hint in Py3 when using Py2 redirection syntax (#2345)

bpo-30871: pythoninfo: more sys, os, time data (#3130)

* bpo-30871: pythoninfo: more sys, os, time data

PythonInfo now converts types other than intger to string by default.

* fix typo

bpo-30871: Add "make pythoninfo" (#3120)

Fix broken `Show Source` links on documentation pages (GH-3113)

The `Show Source` was broken because of a change made in sphinx 1.5.1
In Sphinx 1.4.9, the sourcename was "index.txt".
In Sphinx 1.5.1+, it is now "index.rst.txt"

bpo-31183: `dis` now handles coroutines & async generators (GH-3077)

Coroutines and async generators use a distinct attribute name for their
code objects, so this updates the `dis` module to correctly disassemble
objects with those attributes.

Due to the increase in the test module length, it also fixes some latent
defects in the tests related to how the displayed source line numbers
are extracted.

https://bugs.python.org/issue31230 is a follow-up issue suggesting we
may want to solve this a different way, by instead giving all these object
types a common `__code__` attribute, avoiding the need for special
casing in the `dis` module.

bpo-31001: IDLE: Add tests for configdialog highlight tab (#3123)

bpo-30871: pythoninfo: add expat and _decimal (#3121)

* bpo-30871: pythoninfo: add expat and _decimal

* Remove _decimal.__version__

The string is hardcoded, not really interesting.

Adds nuget symbols package for daily builds. (#3122)

bpo-30871: Add test.pythoninfo (#3075)

* Add Lib/test/pythoninfo.py: script collecting various informations
  about Python to help debugging test failures.
* regrtest: remove sys.hash_info and sys.flags from header.
* Travis CI, Appveyor: run pythoninfo before tests

bpo-31221: patchcheck ignores external libraries (#3109)

Tools/scripts/patchcheck.py now ignores changes in directories which
are copies of external libraries:

* Modules/_ctypes/libffi_msvc/
* Modules/_ctypes/libffi_osx/
* Modules/_decimal/libmpdec/
* Modules/expat/
* Modules/zlib/

Drop also support for Mercurial, since CPython migrated to Git.

Exclude also libmpdec

patchcheck: exclude also libffi_osx and libffi_msvc

Update the language selection in the docs language switch. (GH-3114)

Change the option for `Français` into `French` to be consistent with the other language selections that are already in English.

bpo-24700: Add a fast path for comparing array.array of equal type (#3009)

bpo-18966: non-daemonic threads created by a multiprocessing.Process should be joined on exit (#3111)

* bpo-18966: non-daemonic threads created by a multiprocessing.Process should be joined on exit

* Add NEWS blurb

bpo-31069, test_multiprocessing: Fix dangling process (#3103)

Fix a warning about dangling processes in test_rapid_restart() of
_test_multiprocessing: join the process.

bpo-30983: Revert changes which broke most buildbots (#3100)

* Revert "Add Bruno Penteado to ACKS (#3091)"

This reverts commit f978405b3f092e4005b92ba1dbaab15f609b3bb0.

* Revert "bpo-30983: eval frame rename in pep 0523 broke gdb's python extension (#2803)"

This reverts commit 2e0f4db114424a00354eab889ba8f7334a2ab8f0.

bpo-30928: Update idlelib/NEWS.txt to 2017-08-15. (#3098)

bpo-31205: IDLE: Factor KeysPage class from ConfigDialog (#3096)

  The slightly modified tests continue to pass.  Patch by Cheryl Sabella.

Add Windows team as a codeowner for Windows-specific files (#3089)

fix grammr in error messages in overlapped.c (GH-3095)

bpo-30714: ALPN changes for OpenSSL 1.1.0f (#2305)

OpenSSL 1.1.0 to 1.1.0e aborted the handshake when server and client
could not agree on a protocol using ALPN. OpenSSL 1.1.0f changed that.
The most recent version now behaves like OpenSSL 1.0.2 again. The ALPN
callback can pretend to not been set.

See https://github.com/openssl/openssl/pull/3158 for more details

Signed-off-by: Christian Heimes <christian@python.org>

bpo-31002: IDLE: Add tests for configdialog keys tab (#2996)

Patch by Cheryl Sabella.

Add Bruno Penteado to ACKS (#3091)

bpo-30983: eval frame rename in pep 0523 broke gdb's python extension (#2803)

pep 0523 renames PyEval_EvalFrameEx to _PyEval_EvalFrameDefault while the gdb python extension only looks for PyEval_EvalFrameEx to understand if it is dealing with a frame.

Final effect is that attaching gdb to a python3.6 process doesnt resolve python objects. Eg. py-list and py-bt dont work properly.

This patch fixes that. Tested locally on python3.6

bpo-31191: Improve grammar in threading.Barrier docs (GH-3080)

bpo-30824: Add mimetype for .json (#3048)

bpo-31106: Fix handling of erros in posix_fallocate() and posix_fadvise() (#3000) (#3000)

bpo-5001, bpo-31169: Fix two uninformative asserts in multiprocessing/managers.py (#3078)

* Make error message more informative

Replace assertions in error-reporting code with more-informative version that doesn't cause confusion over where and what the error is.

* Additional clarification + get travis to check

* Change from SystemError to TypeError

As suggested in PR comment by @pitrou, changing from SystemError; TypeError appears appropriate.

* NEWS file installation; ACKS addition (will do my best to justify it by additional work)

bpo-30747: Attempt to fix atomic load/store (#2383)

_Py_atomic_* are currently not implemented as atomic operations
when building with MSVC. This patch attempts to implement parts
of the functionality required.

Fix typo in 3.7 What's New (GH-3069)

Remove unneeded word `to`.

bpo-31008: Fix asyncio test_wait_for_handle on Windows (#3065)

bpo-26762: _test_multiprocessing reports dangling (#3064)

_test_multiprocessing now marks the test as ENV_CHANGED on dangling
process or thread.

regrtest: count also env changed as failures in progress (#3061)

Enhance support.reap_children() (#3036)

* reap_children() now sets environment_altered to True to detect bugs
  using python3 -m test --fail-env-changed
* Replace bare "except:" with "except OSError:" in reap_children()
* Write an unit test for reap_children() using a timeout of 60
  seconds

bpo-31151: Add socketserver.ForkingMixIn.server_close() (#3057)

* Add socketserver.ForkingMixIn.server_close()

bpo-31151: socketserver.ForkingMixIn.server_close() now waits until
all child processes completed to prevent leaking zombie processes.

* Fix test on Windows which doesn't have ForkingMixIn

bpo-31160: test_tempfile: Fix reap_children() warning (#3056)

TestRandomNameSequence.test_process_awareness() now calls
os.waitpid() to avoid leaking a zombie process.

bpo-31173: Rewrite WSTOPSIG test of test_subprocess (#3055)

The current test_child_terminated_in_stopped_state() function test
creates a child process which calls ptrace(PTRACE_TRACEME, 0, 0) and
then crash (SIGSEGV). The problem is that calling os.waitpid() in the
parent process is not enough to close the process: the child process
remains alive and so the unit test leaks a child process in a
strange state. Closing the child process requires non-trivial code,
maybe platform specific.

Remove the functional test and replaces it with an unit test which
mocks os.waitpid() using a new _testcapi.W_STOPCODE() function to
test the WIFSTOPPED() path.

bpo-19903: IDLE: Calltips changed to use inspect.signature (#2822)

Idlelib.calltips.get_argspec now uses inspect.signature instead of inspect.getfullargspec, like help() does.  This improves the signature in the call tip in a few different cases, including builtins converted to provide a signature.  A message is added if the object is not callable, has an invalid signature, or if it has positional-only parameters.
Patch by Louie Lu.

bpo-31160: test_builtin: don't check waitpid() status (#3050)

bpo-31160: Fix test_random for zombie process (#3045)

TestModule.test_after_fork() now calls os.waitpid() to read the exit
status of the child process to avoid creating a zombie process.

bpo-31160: regrtest now reaps child processes (#3044)

Add a post_test_cleanup() function which currently only calls
support.reap_children().

bpo-31160: Fix test_builtin for zombie process (#3043)

PtyTests.run_child() now calls os.waitpid() to read the exit status
of the child process to avoid creating zombie process and leaking
processes in the background.

bpo-31159: fix language switch regex on unknown yet built languages. (#3039)

This fix a regex issue (a missing non-matching group around an 'or'
list) and the specific possible case where a translation is built but
not yet in known by the picker, but not explicitly listing possible
languages in the regex.

bpo-31072: Add filter to zipapp (#3021)

bpo-31072: Add a filter argument to zipapp.create_archive (GH-3021)

* Add an include_file argument to allow callers to decide which files to include
* Document the new argument

bpo-31070: Fix a race condition in importlib _get_module_lock(). (#3033)

bpo-31150: Wait for child process in test_forkinthread to avoid thread reaped warnings (#3032)

bpo-31149: Doc: Add Japanese to the language switcher. (#3028)

ttk: fix LabeledScale and OptionMenu destroy() method (#3025)

bpo-31135: Call the parent destroy() method even if the used
attribute doesn't exist.

The LabeledScale.destroy() method now also explicitly clears label
and scale attributes to help the garbage collector to destroy all
widgets.

bpo-31130: IDLE -- stop leaks in test_configdialog. (#3016)

Initial patch by Victor Stinner.

bpo-29910: IDLE - revert `break`s that disabled calltip close. (#2997)

bpo-31045: Language switch (#2652)

* Doc: Indicate the language

* Renaming version_switcher to switchers (to add language_switcher).

* Adding language switch.

* Doc switchers: Enhance readability of regex parsing versions.

* Doc switchers: Desambiguate the need of a replace(/\/+$/g, '') by proper naming.

* Doc switchers: py3k can't reach js, it's redirected server-side by nginx.

* Doc switchers: Examples matching actual regexes.

* Doc switchers: Better fallback on unexisting translated version.

add myself to CODEOWNERS for subprocess. (#3005)

Notify the import-team on import-related PRs (GH-3002)

Add author of the fix for #30841 to ACKS. (#3001)

Fix a shadow-compatible-local warning (#2180)

Change the shadowing naming, 'value' (Python-ast.c:4652), to 'val'
to prevent the variables from being misused.

bpo-31107: Fix copyreg mangled slot names calculation. (#2989)

bpo-29304: Simplify dict lookup functions (GH-2407)

* remove hashpos parameter from lookdict functions.
* remove many duplicated code from lookdict functions.

Improve grammar in asyncio documentation (GH-2993)

"not only is it .." is the correct form, as opposed to:
"not only it is ..."

bpo-30978: str.format_map() now passes key lookup exceptions through. (#2790)

Previously any exception was replaced with a KeyError exception.

bpo-31071: Avoid masking original TypeError in call with * unpacking (#2957)

when other arguments are passed.

Spelling fixes (#2902)

Add @bitdancer as codeowner of email related stuff. (GH-2987)

bpo-31080: Allowed logging.config.fileConfig() to accept both args and kwargs. (GH-2979)

bpo-31061: fix crash in asyncio speedup module (GH-2966)

Document Path.is_mount(), update Misc/ACKS and Misc/NEWS (#2980)

Add @1st1 as co-owner of asyncio and genobject (#2978)

bpo-30897: Add is_mount() to pathlib.Path (#2669)

* Add in is_mount() call to pathlib.Path similiar to os.path.ismount(path)
* Add tests for is_mount()

List myself as interested in all import-related pull requests (GH-2976)

bpo-31084: QueueHandler now formats messages correctly. (GH-2954)

bpo-31083: IDLE: Describe the Page classes in configdialog (#2965)

Add template as comment. Update existing classes to match outline.
Initial patch by Cheryl Sabella.

Remove .mention-bot (GH-2923)

Create CODEOWNERS (GH-2924)

Copied over info from .mention-bot

bpo-31091: Remove dead code in PyErr_GivenExceptionMatches(). (#2963)

According to the comment, there was previously a call to PyObject_IsSubclass() involved which could fail, but since it was replaced with a call to PyType_IsSubtype(), it can no longer fail.

bpo-25910: Update LICENSE (GH-2873)

Use the copy provided in https://bugs.python.org/issue25910#msg295200

Closes issue bpo-5288: Allow tzinfo objects with sub-minute offsets. (#2896)

* Closes issue bpo-5288: Allow tzinfo objects with sub-minute offsets.

* bpo-5288: Implemented %z formatting of sub-minute offsets.

* bpo-5288: Removed mentions of the whole minute limitation on TZ offsets.

* bpo-5288: Removed one more mention of the whole minute limitation.

Thanks @csabella!

* Fix a formatting error in the docs

* Addressed review comments.

Thanks, @haypo.

bpo-30640: Fix undefined behavior in _PyFunction_FastCallDict() and PyEval_EvalCodeEx() (#2919)

k + 1 was calculated with k = NULL.

bpo-25684: ttk.OptionMenu radiobuttons weren't unique (#2276)

between instances of OptionMenu.

bpo-31050: IDLE: Factor GenPage class from ConfigDialog (#2952)

The slightly modified tests for the General tab continue to pass.
Patch by Cheryl Sabella.

Updated LoggerAdapter.isEnabledFor to take advantage of caching. (GH-2951)

bpo-31004: IDLE: Factor out FontPage class from configdialog (step 1) (#2905)

The slightly modified tests continue to pass. The General test
broken by the switch to Notebook is fixed.
Patch mostly by Cheryl Sabella.