bpo-31286, bpo-30024: Fixed stack usage in absolute imports with (#3217)

binding a submodule to a name.

bpo-31243: Fixed PyArg_ParseTuple failure checks. (#3171)

Fix a typo in the Programming FAQ. (#3230)

subobjects, not subobjecs.

bpo-10746: Fix ctypes PEP 3118 type codes for c_long, c_bool, c_int (#31)

Ctypes currently produces wrong pep3118 type codes for several types.
E.g. memoryview(ctypes.c_long()).format gives "<l" on 64-bit platforms,
but it should be "<q" instead for sizeof(c_long) == 8

The problem is that the '<>' endian specification in the struct syntax
also turns on the "standard size" mode, which makes type characters have
a platform-independent meaning, which does not match with the codes used
internally in ctypes.  The struct module format syntax also does not
allow specifying native-size non-native-endian items.

This commit adds a converter function that maps the internal ctypes
codes to appropriate struct module standard-size codes in the pep3118
format strings. The tests are modified to check for this.

bpo-30987 - Support for ISO-TP protocol in SocketCAN (#2956)

* Added support for CAN_ISOTP protocol

* Added unit tests for CAN ISOTP

* Updated documentation for ISO-TP protocol

* Removed trailing whitespace in documentation

* Added blurb NEWS.d file

* updated Misc/ACKS

* Fixed broken unit test that was using isotp const outside of skippable section

* Removed dependecy over third party project

* Added implementation for getsockname + unit tests

* Missing newline at end of ACKS file

* Accidentally inserted a type in ACKS file

* Followed tiran changes review #1 recommendations

* Added spaces after comma

bpo-26656: Improve re.compile documentation (GH-3211)

- Link to the regular expressions object documentation
- Clarify that it can be used with more than the two methods currently stated.

bpo-30617: IDLE: docstrings and unittest for outwin.py (#2046)

Move some data and functions from the class to module level. Patch by Cheryl Sabella.

bpo-31287: IDLE - do not alter tkinter.messagebox in configdialog tests. (#3220)

bpo-30781: IDLE -  use ttk widgets in configdialog (#2654)

Patch by Cheryl Sabella.

bpo-31072: Rename the new filter argument for zipapp.create_archive. (#3049)

bpo-31072: Rename the new filter argument for zipapp.create_archive (GH-3049)

* Rename the new argument to "filter"
* Improve tests for the new functionality
* Add a "What's New" entry.

bpo-31271: Fix an assertion failure in io.TextIOWrapper.write. (#3201)

bpo-31279: Silence -Wstringop-overflow warning. (#3207)

bpo-31275: Small refactoring to silence a fall-through warning. (#3206)

bpo-30923: Silence fall-through warnings in libexpat build. (#3205)

Skip two tests not intended to pass on Windows. (#3202)

bpo-22536: Set the filename in FileNotFoundError. (#3194)

Have the subprocess module set the filename in the FileNotFoundError
exception raised on POSIX systems when the executable or cwd are missing.

bpo-29741: Update some methods in the _pyio module to also accept integer types. Patch by Oren Milman. (#560)

bpo-28261: fix err msgs where PyArg_ParseTuple is used to parse normal tuples (leftovers) (#3198)

bpo-23835: Restore legacy defaults= behavior for RawConfigParser (#3191)

The fix for bpo-23835 fixed ConfigParser behavior in defaults= handling.
Unfortunately, it caused a backwards compatibility regression with
RawConfigParser objects which allow for non-string values.

This commit restores the legacy behavior for RawConfigParser only.

bpo-31095: fix potential crash during GC (GH-2974)

bpo-31229: Fixed wrong error messages when too many keyword arguments are received. (#3180)

bpo-31161: only check for parens error for SyntaxError (#3082)

Subclasses such as IndentError and TabError should not have this message
applied.

Touch up the contributing notes (#3158)

* Mention how to find out what to do
* Update URL
* Thanks contributors
* Explain there is no timeline

bpo-31234: test_threaded_import: fix test_side_effect_import() (#3189)

* Don't leak the module into sys.modules
* Avoid dangling thread

bpo-31234: test_httpservers joins the server thread (#3188)

bpo-31249: Fix ref cycle in ThreadPoolExecutor (#3178)

* bpo-31249: Fix ref cycle in ThreadPoolExecutor

concurrent.futures: WorkItem.run() used by ThreadPoolExecutor now
breaks a reference cycle between an exception object and the WorkItem
object. ThreadPoolExecutor.shutdown() now also clears its threads
set.

* shutdown() now only clears threads if wait is true.

* Revert changes on shutdown()

bpo-30983: [gdb] Fix py-bt, etc. for non-debug shared builds (#3153)

PEP 523 introduced _PyEval_EvalFrameDefault which inlines PyEval_EvalFrameEx on
non-debug shared builds.  This breaks the ability to use py-bt, py-up, and
a few other Python-specific gdb integrations.

This patch fixes the problem by only looking for _PyEval_EvalFrameDefault
frames.

test_gdb passes on both a debug and a non-debug build.

Original patch by Bruno "Polaco" Penteado.

bpo-23835: [docs] configparser converts defaults to strings (#3176)

Title says all.

bpo-23835: Enforce that configparser defaults are strings (#2558)

* Enforce that configparser defaults are strings
* Update test_configparser.py

Add test_subprocess.test_nonexisting_with_pipes() (#3133)

bpo-30121: Test the Popen failure when Popen was created with pipes.
Create also NONEXISTING_CMD variable in test_subprocess.py.

bpo-31238: pydoc ServerThread.stop() now joins itself (#3151)

* bpo-31238: pydoc ServerThread.stop() now joins itself

ServerThread.stop() now joins itself to wait until
DocServer.serve_until_quit() completes and then explicitly sets
its docserver attribute to None to break a reference cycle.

* Add NEWS.d entry

bpo-31249: test_concurrent_futures checks dangling threads (#3167)

Add a BaseTestCase class to test_concurrent_futures to check for
dangling threads and processes on all tests, not only tests using
ExecutorMixin.

bpo-31236: Improved some error messages of min() and max().

bpo-31247: xmlrpc.server: break reference cycle (#3166)

xmlrpc.server now explicitly breaks reference cycles when using
sys.exc_info() in code handling exceptions.

bpo-30923: Silence fall-through warnings included in -Wextra since gcc-7.0. (#3157)

bpo-9566 & bpo-30747: Silence warnings from pyatomic.h macros (#3140)

* bpo-9566: Silence warnings from pyatomic.h macros

Apparently MSVC is too stupid to understand that the alternate branch is
not taken and emits a warning for it.

Warnings added in https://github.com/python/cpython/pull/2383

* bpo-9566: A better fix for the pyatomic.h warning

* bpo-9566: Remove a slash

bpo-28261: Fixed err msgs where PyArg_ParseTuple is used to parse normal tuples. (#3119)

bpo-31206: IDLE: Factor HighPage class from ConfigDialog (#3160)

Part 3 of 3.  Remove old highlight functions and load_config as this functionality is now contained within classes. Patch by Cheryl Sabella.

bpo-31206: IDLE: Factor HighPage class from ConfigDialog (#3156)

Patch 2 of 3, to avoid horrendous diff.  Create highlights page from new HighPage class instead of old ConfigDialog methods and change tests to match.

bpo-31234: test_threading: fix ref cycle (#3150)

test_bare_raise_in_brand_new_thread() now explicitly breaks a
reference cycle to not leak a dangling thread.

bpo-31206: IDLE: Factor HighPage class from ConfigDialog (#3141)

This is the first half of a patch similar to the one for for bpo-31205.  It is being split into 2 PRs to avoid what happened with PR-3096 -- an incomprehensible diff that could not be cleanly backported to 3.6.  This half copies several methods of ConfigDialog and turns them into a new class.

bpo-31235: Fix ResourceWarning in test_logging (#3147)

bpo-30830: test_logging uses threading_setup/cleanup (#3137)

* bpo-30830: test_logging uses threading_setup/cleanup

Replace @support.reap_threads on some methods with
support.threading_setup() in setUp() and support.threading_cleanup()
in tearDown() in BaseTest.

* bpo-30830: test_logging disables threaded socketserver tests

Disable tests because of socketserver.ThreadingMixIn leaks threads,
whereas leaking threads now makes a test to fail on buildbots.

Disable tests until socketserver is fixed: bpo-31233.

* Skip also setup_via_listener()

bpo-30947: Update libexpat from 2.2.1 to 2.2.3 (#3106)

* bpo-30947: Update libexpat from 2.2.1 to 2.2.3

* Add NEWS entry

* Add new loadlibrary.c

* expat_external.h: restore include "pyexpatns.h"

* PCbuild: add expat/loadlibrary.c

* Define XML_POOR_ENTROPY to compile expat

bpo-31234: fork_wait tests now join threads (#3139)

fork_wait.py tests now joins threads, to not leak running threads in
the background.

bpo-30923: Disable warning that has been part of -Wextra since gcc-7.0. (#3142)

bpo-31109: Convert zipimport to use Argument Clinic (GH-2990)

Fix a minor grammar issue in the logging cookbook (GH-3136)

bpo-31231: Fix pythoninfo in Travis config (#3134)

bpo-31231, bpo-30871: Replace "./python -m test.pythoninfo" with
"make pythoninfo", since macOS uses ./python.exe.

bpo-30121: Fix debug assert in subprocess on Windows (#1224)

* bpo-30121: Fix debug assert in subprocess on Windows

This is caused by closing HANDLEs using os.close which is for CRT file
descriptors and not for HANDLEs.

* bpo-30121: Suppress debug assertion in test_subprocess when ran directly

bpo-30721: Add missing '?' to new error message (GH-3131)

Issue #30923: Revert flag that is not recognized by an obsolete gcc version. (#3132)

bpo-30721: Show correct syntax hint in Py3 when using Py2 redirection syntax (#2345)

bpo-30871: pythoninfo: more sys, os, time data (#3130)

* bpo-30871: pythoninfo: more sys, os, time data

PythonInfo now converts types other than intger to string by default.

* fix typo

bpo-30871: Add "make pythoninfo" (#3120)

Fix broken `Show Source` links on documentation pages (GH-3113)

The `Show Source` was broken because of a change made in sphinx 1.5.1
In Sphinx 1.4.9, the sourcename was "index.txt".
In Sphinx 1.5.1+, it is now "index.rst.txt"

bpo-31183: `dis` now handles coroutines & async generators (GH-3077)

Coroutines and async generators use a distinct attribute name for their
code objects, so this updates the `dis` module to correctly disassemble
objects with those attributes.

Due to the increase in the test module length, it also fixes some latent
defects in the tests related to how the displayed source line numbers
are extracted.

https://bugs.python.org/issue31230 is a follow-up issue suggesting we
may want to solve this a different way, by instead giving all these object
types a common `__code__` attribute, avoiding the need for special
casing in the `dis` module.

bpo-31001: IDLE: Add tests for configdialog highlight tab (#3123)

bpo-30871: pythoninfo: add expat and _decimal (#3121)

* bpo-30871: pythoninfo: add expat and _decimal

* Remove _decimal.__version__

The string is hardcoded, not really interesting.

Adds nuget symbols package for daily builds. (#3122)

bpo-30871: Add test.pythoninfo (#3075)

* Add Lib/test/pythoninfo.py: script collecting various informations
  about Python to help debugging test failures.
* regrtest: remove sys.hash_info and sys.flags from header.
* Travis CI, Appveyor: run pythoninfo before tests

bpo-31221: patchcheck ignores external libraries (#3109)

Tools/scripts/patchcheck.py now ignores changes in directories which
are copies of external libraries:

* Modules/_ctypes/libffi_msvc/
* Modules/_ctypes/libffi_osx/
* Modules/_decimal/libmpdec/
* Modules/expat/
* Modules/zlib/

Drop also support for Mercurial, since CPython migrated to Git.

Exclude also libmpdec

patchcheck: exclude also libffi_osx and libffi_msvc

Update the language selection in the docs language switch. (GH-3114)

Change the option for `Français` into `French` to be consistent with the other language selections that are already in English.

bpo-24700: Add a fast path for comparing array.array of equal type (#3009)

bpo-18966: non-daemonic threads created by a multiprocessing.Process should be joined on exit (#3111)

* bpo-18966: non-daemonic threads created by a multiprocessing.Process should be joined on exit

* Add NEWS blurb

bpo-31069, test_multiprocessing: Fix dangling process (#3103)

Fix a warning about dangling processes in test_rapid_restart() of
_test_multiprocessing: join the process.

bpo-30983: Revert changes which broke most buildbots (#3100)

* Revert "Add Bruno Penteado to ACKS (#3091)"

This reverts commit f978405b3f092e4005b92ba1dbaab15f609b3bb0.

* Revert "bpo-30983: eval frame rename in pep 0523 broke gdb's python extension (#2803)"

This reverts commit 2e0f4db114424a00354eab889ba8f7334a2ab8f0.

bpo-30928: Update idlelib/NEWS.txt to 2017-08-15. (#3098)

bpo-31205: IDLE: Factor KeysPage class from ConfigDialog (#3096)

  The slightly modified tests continue to pass.  Patch by Cheryl Sabella.

Add Windows team as a codeowner for Windows-specific files (#3089)

fix grammr in error messages in overlapped.c (GH-3095)

bpo-30714: ALPN changes for OpenSSL 1.1.0f (#2305)

OpenSSL 1.1.0 to 1.1.0e aborted the handshake when server and client
could not agree on a protocol using ALPN. OpenSSL 1.1.0f changed that.
The most recent version now behaves like OpenSSL 1.0.2 again. The ALPN
callback can pretend to not been set.

See https://github.com/openssl/openssl/pull/3158 for more details

Signed-off-by: Christian Heimes <christian@python.org>

bpo-31002: IDLE: Add tests for configdialog keys tab (#2996)

Patch by Cheryl Sabella.

Add Bruno Penteado to ACKS (#3091)

bpo-30983: eval frame rename in pep 0523 broke gdb's python extension (#2803)

pep 0523 renames PyEval_EvalFrameEx to _PyEval_EvalFrameDefault while the gdb python extension only looks for PyEval_EvalFrameEx to understand if it is dealing with a frame.

Final effect is that attaching gdb to a python3.6 process doesnt resolve python objects. Eg. py-list and py-bt dont work properly.

This patch fixes that. Tested locally on python3.6

bpo-31191: Improve grammar in threading.Barrier docs (GH-3080)

bpo-30824: Add mimetype for .json (#3048)

bpo-31106: Fix handling of erros in posix_fallocate() and posix_fadvise() (#3000) (#3000)

bpo-5001, bpo-31169: Fix two uninformative asserts in multiprocessing/managers.py (#3078)

* Make error message more informative

Replace assertions in error-reporting code with more-informative version that doesn't cause confusion over where and what the error is.

* Additional clarification + get travis to check

* Change from SystemError to TypeError

As suggested in PR comment by @pitrou, changing from SystemError; TypeError appears appropriate.

* NEWS file installation; ACKS addition (will do my best to justify it by additional work)

bpo-30747: Attempt to fix atomic load/store (#2383)

_Py_atomic_* are currently not implemented as atomic operations
when building with MSVC. This patch attempts to implement parts
of the functionality required.

Fix typo in 3.7 What's New (GH-3069)

Remove unneeded word `to`.

bpo-31008: Fix asyncio test_wait_for_handle on Windows (#3065)

bpo-26762: _test_multiprocessing reports dangling (#3064)

_test_multiprocessing now marks the test as ENV_CHANGED on dangling
process or thread.

regrtest: count also env changed as failures in progress (#3061)

Enhance support.reap_children() (#3036)

* reap_children() now sets environment_altered to True to detect bugs
  using python3 -m test --fail-env-changed
* Replace bare "except:" with "except OSError:" in reap_children()
* Write an unit test for reap_children() using a timeout of 60
  seconds

bpo-31151: Add socketserver.ForkingMixIn.server_close() (#3057)

* Add socketserver.ForkingMixIn.server_close()

bpo-31151: socketserver.ForkingMixIn.server_close() now waits until
all child processes completed to prevent leaking zombie processes.

* Fix test on Windows which doesn't have ForkingMixIn

bpo-31160: test_tempfile: Fix reap_children() warning (#3056)

TestRandomNameSequence.test_process_awareness() now calls
os.waitpid() to avoid leaking a zombie process.

bpo-31173: Rewrite WSTOPSIG test of test_subprocess (#3055)

The current test_child_terminated_in_stopped_state() function test
creates a child process which calls ptrace(PTRACE_TRACEME, 0, 0) and
then crash (SIGSEGV). The problem is that calling os.waitpid() in the
parent process is not enough to close the process: the child process
remains alive and so the unit test leaks a child process in a
strange state. Closing the child process requires non-trivial code,
maybe platform specific.

Remove the functional test and replaces it with an unit test which
mocks os.waitpid() using a new _testcapi.W_STOPCODE() function to
test the WIFSTOPPED() path.

bpo-19903: IDLE: Calltips changed to use inspect.signature (#2822)

Idlelib.calltips.get_argspec now uses inspect.signature instead of inspect.getfullargspec, like help() does.  This improves the signature in the call tip in a few different cases, including builtins converted to provide a signature.  A message is added if the object is not callable, has an invalid signature, or if it has positional-only parameters.
Patch by Louie Lu.

bpo-31160: test_builtin: don't check waitpid() status (#3050)

bpo-31160: Fix test_random for zombie process (#3045)

TestModule.test_after_fork() now calls os.waitpid() to read the exit
status of the child process to avoid creating a zombie process.

bpo-31160: regrtest now reaps child processes (#3044)

Add a post_test_cleanup() function which currently only calls
support.reap_children().

bpo-31160: Fix test_builtin for zombie process (#3043)

PtyTests.run_child() now calls os.waitpid() to read the exit status
of the child process to avoid creating zombie process and leaking
processes in the background.

bpo-31159: fix language switch regex on unknown yet built languages. (#3039)

This fix a regex issue (a missing non-matching group around an 'or'
list) and the specific possible case where a translation is built but
not yet in known by the picker, but not explicitly listing possible
languages in the regex.

bpo-31072: Add filter to zipapp (#3021)

bpo-31072: Add a filter argument to zipapp.create_archive (GH-3021)

* Add an include_file argument to allow callers to decide which files to include
* Document the new argument

bpo-31070: Fix a race condition in importlib _get_module_lock(). (#3033)

bpo-31150: Wait for child process in test_forkinthread to avoid thread reaped warnings (#3032)

bpo-31149: Doc: Add Japanese to the language switcher. (#3028)

ttk: fix LabeledScale and OptionMenu destroy() method (#3025)

bpo-31135: Call the parent destroy() method even if the used
attribute doesn't exist.

The LabeledScale.destroy() method now also explicitly clears label
and scale attributes to help the garbage collector to destroy all
widgets.

bpo-31130: IDLE -- stop leaks in test_configdialog. (#3016)

Initial patch by Victor Stinner.