replace dynamic import with 'exec' with importlib.import_module (#5433)

bpo-32604: Expose the subinterpreters C-API in a "private" stdlib module. (gh-1748)

The module is primarily intended for internal use in the test suite.  Building the module under Windows will come in a follow-up PR.

bpo-32550. Remove the STORE_ANNOTATION bytecode. (GH-5181)

bpo-28134: Auto-detect socket values from file descriptor (#1349)

Fix socket(fileno=fd) by auto-detecting the socket's family, type,
and proto from the file descriptor. The auto-detection can be overruled
by passing in family, type, and proto explicitly.

Without the fix, all socket except for TCP/IP over IPv4 are basically broken:

>>> s = socket.create_connection(('www.python.org', 443))
>>> s
<socket.socket fd=3, family=AddressFamily.AF_INET6, type=SocketKind.SOCK_STREAM, proto=6, laddr=('2003:58:bc4a:3b00:56ee:75ff:fe47:ca7b', 59730, 0, 0), raddr=('2a04:4e42:1b::223', 443, 0, 0)>
>>> socket.socket(fileno=s.fileno())
<socket.socket fd=3, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('2003:58:bc4a:3b00::%2550471192', 59730, 0, 2550471192), raddr=('2a04:4e42:1b:0:700c:e70b:ff7f:0%2550471192', 443, 0, 2550471192)>

Signed-off-by: Christian Heimes <christian@python.org>

bpo-31356: Add context manager to temporarily disable GC (GH-4224)

bpo-20104: Fix leaks and errors in new os.posix_spawn (GH-5418)

* Fix memory leaks and error handling in posix spawn
* Improve error handling when destroying the file_actions object
* Py_DECREF the result of PySequence_Fast on error
* Handle uninitialized pid
* Use OSError if file actions fails to initialize
* Move _file_actions to outer scope to avoid undefined behaviour
* Remove HAVE_POSIX_SPAWN define in Modules/posixmodule.c
* Unshadow exception and clean error message

rename _imp initialization function to follow conventions (#5432)

When the C imp module became _imp in 6f44d66bc491bad5b8d897a68da68e009e27829d, the initialization function should have been renamed from PyInit_imp to PyInit__imp.

bpo-32703: Fix coroutine resource warning in case where there's an error (GH-5410)

The commit removes one unnecessary "if" clause in genobject.c.  That "if" clause was masking un-awaited coroutines warnings just to make writing unittests more convenient.

bpo-32707: Fix warnings in hamt.c (#5430)

bpo-27931: Fix email address header parsing error (#5329)

Correctly handle addresses whose username is an empty quoted string.

bpo-25988: Deprecate exposing collections.abc in collections GH-5414

Add a test for pdb until command in coroutine (#5427)

bpo-28414: ssl module idna test (#5395)

Add test cases for IDNA 2003 and 2008 host names. IDNA 2003
internationalized host names are working since bpo-31399 has landed. IDNA
2008 deviations are still broken and will be fixed in another patch.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-31429: Define TLS cipher suite on build time (#3532)

Until now Python used a hard coded white list of default TLS cipher
suites. The old approach has multiple downsides. OpenSSL's default
selection was completely overruled. Python did neither benefit from new
cipher suites (ChaCha20, TLS 1.3 suites) nor blacklisted cipher suites.
For example we used to re-enable 3DES.

Python now defaults to OpenSSL DEFAULT cipher suite selection and black
lists all unwanted ciphers. Downstream vendors can override the default
cipher list with --with-ssl-default-suites.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-20891: Reenable test_embed.test_bpo20891() (GH-5420)

bpo-28685: Fix compiler warning (GH-5423)

bpo-32706: Skip test_ftplib.test_check_hostname() (#5422)

This test is unstable and currently prevents to make any new change
since the test always fails on Travis CI.

Skip the test to get more time to fix it.

bpo-31233, bpo-31151: Document socketserver changes (#5417)

socketserver.ForkingMixIn.server_close() and
socketserver.ThreadingMixIn.server_close() now waits until all child
processes and non-daemonic threads complete.

bpo-20891: Py_Initialize() now creates the GIL (#4700)

The GIL is no longer created "on demand" to fix a race condition when
PyGILState_Ensure() is called in a non-Python thread.

bpo-32705: Current Android does not have posix_spawn (#5413)

Fix minor markup typo (#5407)

bpo-32591: silence deprecation warnings in test_coroutine (GH-5412)

bpo-23749: Make start-tls tests more stable on win7 buildbot (GH-5409)

To mitigate the situation when the buildbot is under load
and is unable to send/receive data fast enough:

* reduce the size of the payload
* set a generous timeout for socket ops

bpo-32251: Fix docs (#5408)

bpo-32650: Add an asyncgen pdb test (#5406)

bpo-32688: Make why the line is commented out clear (GH-5405)

bpo-28685: Optimize sorted() list.sort() with type-specialized comparisons (#582)

bpo-20104: Expose `posix_spawn` in the os module (GH-5109)

Add os.posix_spawn to wrap the low level POSIX API of the same name.

Contributed by Pablo Galindo.

Document the error return of PyLong_As* APIs. (#5396)

Document the error return of PyLong_As* APIs.

A frequent Python C API usage error is neglecting to check the return
value and/or PyErr_Occurred().

bpo-32650 Add support for async generators and more test for coroutines in pdb  (#5403)

bpo-32650: Add native coroutine support to bdb when stepping over line (GH-5400)

Fix trivial typo in test_dataclasses.py. (GH-5398)

bpo-32699: Improves doc for .pth files in presense of a ._pth file (#5399)

bpo-32373: Add socket.getblocking() method. (#4926)

bpo-32251: Implement asyncio.BufferedProtocol. (#4755)

Revert "bpo-32221: makeipaddr(): remove interface part + speedup (GH-4724)" (#5394)

This reverts commit 47c0b1f7d4115e6f15e6776c1f91d28e7d96fe0c.

bpo-32697: Definition order of kwonly params is now guaranteed preserved. (#5391)

Definition order of kwonly params is now guaranteed preserved.

bpo-32327: Revert loop.run_in_executor behaviour: return a Future. (#5392)

I've run some tests on 3.7 asyncio and it appears that too many
things assume that run_in_executor returns a Future.

bpo-32690: Preserve order of locals() (#5379)

bpo-32228: Reset raw_pos after unwinding the raw stream (#4858)

Ensure that ``truncate()`` preserves the file position (as reported by ``tell()``) after writes longer than the buffer size.

Fix PyTrace_RETURN documentation (GH-5384)

It will be triggered when propagating an exception.

Add example for PEP 557. (GH-5383)

bpo-32660: Solaris should support constants like termios' FIONREAD (#5328)

bpo-32659: Solaris "stat" should support "st_fstype" (#5307)

* bpo-32659: Solaris "stat" should support "st_fstype"

* Add 'versionadded'

bpo-32685: Improve suggestion for print statement (GH-5375)

Better account for single-line compound statements and
semi-colon separated statements when suggesting
Py3 replacements for Py2 print statements.

Initial patch by Nitish Chandra.

bpo-32649: Add C API docs for per-opcode tracing & profiling (GH-5360)

Updating the C API docs was missed when the per-opcode
tracing & profiling support was initially added.

bpo-32687: Fix wrong meaning of args for PyTrace_LINE/CALL in documentation (#5361)

bpo-30306: Add missing NEWS entry (GH-5374)

bpo-32206: Update pdb usage to include new module option (GH-5111)

bpo-30306: release arguments of contextmanager (GH-1500)

The arguments to a generator function which is declared as a
contextmanager are stored inside the context manager, and
thus are kept alive, even when it is used as a regular context
manager, and not as a function decorator (where it needs
the original arguments to recreate the generator on each
call).

This is a possible unnecessary memory leak, so this changes
contextmanager.__enter__ to release the saved arguments,
as that method being called means that particular CM instance
isn't going to need to recreate the underlying generator.

Patch by Martin Teichmann.

Pep 557 What's New (GH-5371)

Add PEP 557 Data CLasses to What's New.

bpo-32677: Optimize str.isascii() (GH-5356)

bpo-32513: Make it easier to override dunders in dataclasses. (GH-5366)

Class authors no longer need to specify repr=False if they want to provide a custom __repr__ for dataclasses. The same thing applies for the other dunder methods that the dataclass decorator adds. If dataclass finds that a dunder methods is defined in the class, it will not overwrite it.

bpo-32622: Normalize ENOTCONN to ConnectionError on macOS (GH-5369)

On mac, sendfile throws ENOTCONN on a repeated sendfile call if
the connection is closed. Normalize it to behave like other systems.

bpo-32221: makeipaddr(): remove interface part + speedup (GH-4724)

bpo-32622: Fix AbstractEventLoop.sendfile signature in documentation. (GH-5368)

Fix tests if Python compiled without SSL (#5367)

Fix changed file detection on Travis (GH-3129)

Travis when merging changes from a pull request onto the target branch
does not perform a rebase, instead it does a simple merge which causes
the PR commits to retain their commit dates. This means that the commit
log can potentially look like:

PR merge <-- HEAD
normal master commit <- master
more commits from normal workflow
PR commit 1
another master commit
PR commit 2

Performing a git diff from PR commit 2 to master will accidentally
include files that should not be there.

Closes python/core-workflow#14

bpo-32622: Enforce sendfile fallback policy for FALLBACK transports (#5364)

bpo-32622: Implement loop.sendfile() (#5271)

bpo-32630: Use contextvars in decimal (GH-5278)

bpo-32436: Use PyThreadState_GET() in all hot paths (GH-5363)

Fix wrong assert in unicodeobject (GH-5340)

bpo-31368: Expose preadv and pwritev in the os module (#5239)

bpo-32532: Improve documentation of settrace and setprofile (#5359)

Mention in the documentation of settrace and setprofile that errors in the
registered handlers will cause themselves unset.

bpo-31399: Let OpenSSL verify hostname and IP address (#3462)

bpo-31399: Let OpenSSL verify hostname and IP

The ssl module now uses OpenSSL's X509_VERIFY_PARAM_set1_host() and
X509_VERIFY_PARAM_set1_ip() API to verify hostname and IP addresses.

* Remove match_hostname calls
* Check for libssl with set1_host, libssl must provide X509_VERIFY_PARAM_set1_host()
* Add documentation for OpenSSL 1.0.2 requirement
* Don't support OpenSSL special mode with a leading dot, e.g. ".example.org" matches "www.example.org". It's not standard conform.
* Add hostname_checks_common_name

Signed-off-by: Christian Heimes <christian@python.org>

bpo-31853: Replaced socket.method calls with super() in SSLSocket. (#4048)

bpo-32454: socket closefd (#5048)

Add close(fd) function to the socket module

Signed-off-by: Christian Heimes <christian@python.org>

bpo-32433: Optimized HMAC digest (#5023)

The hmac module now has hmac.digest(), which provides an optimized HMAC
digest for short messages. hmac.digest() is up to three times faster
than hmac.HMAC().digest().

Signed-off-by: Christian Heimes <christian@python.org>

bpo-32677: Add .isascii() to str, bytes and bytearray (GH-5342)

bpo-27505: Add change notes in module attribute docs (GH-5320)

Make it clear that setting __class__ on a module has worked since 3.5,
but support for __getattr__ and __dir__ on module instances requires 3.7+

Patch by Cheryl Sabella.

bpo-32678: inspect: Import ast lazily (GH-5344)

bpo-32521: nis libnsl (#5190)

The nismodule is now compatible with new libnsl and headers location

Signed-off-by: Christian Heimes <christian@python.org>

bpo-32436: Make PyContextVar_Get a little bit faster (#5350)

Since context.c is compiled with Py_BUILD_CORE, using a macro
will result in a slightly more optimal code.

bpo-32670: Enforce PEP 479. (#5327)

bpo-32591: fix abort in _PyErr_WarnUnawaitedCoroutine during shutdown (#5337)

When an unawaited coroutine is collected very late in shutdown --
like, during the final GC at the end of PyImport_Cleanup -- then it
was triggering an interpreter abort, because we'd try to look up the
"warnings" module and not only was it missing (we were prepared for
that), but the entire module system was missing (which we were not
prepared for).

I've tried to fix this at the source, by making the utility function
get_warnings_attr robust against this in general. Note that it already
has the convention that it can return NULL without setting an error,
which is how it signals that the attribute it was asked to fetch is
missing, and that all callers already check for NULL returns.

There's a similar check for being late in shutdown at the top of
warn_explicit, which might be unnecessary after this fix, but I'm not
sure so I'm going to leave it.

String annotations [PEP 563] (#4390)

* Document `from __future__ import annotations`
* Provide plumbing and tests for `from __future__ import annotations`
* Implement unparsing the AST back to string form

This is required for PEP 563 and as such only implements a part of the
unparsing process that covers expressions.

bpo-18533: Avoid RecursionError from repr() of recursive dictview (#4823)

dictview_repr(): Use a Py_ReprEnter() / Py_ReprLeave() pair to check
for recursion, and produce "..." if so.

test_recursive_repr(): Check for the string rather than a
RecursionError.  (Test cannot be any tighter as contents are
implementation-dependent.)

test_deeply_nested_repr(): Add new test, replacing the original
test_recursive_repr().  It checks that a RecursionError is raised in
the case of a non-recursive but deeply nested structure.  (Very
similar to what test_repr_deep() in test/test_dict.py does for a
normal dict.)

OrderedDictTests: Add new test case, to test behavior on OrderedDict
instances containing their own values() or items().

bpo-32571: Fix reading uninitialized memory (GH-5332)

Reported by Coverity Scan.

bpo-32662: Try making test_asyncio.test_server more reliable (#5338)

bpo-29237: Create enum for pstats sorting options (GH-5103)

bpo-32596: Make lazy-load portable (GH-5316)

Global variables should not used as import target.
Use temporary variable instead.

bpo-32304: Fix distutils upload for sdists ending with \x0d (GH-5264)

Patch by Bo Bayles.

bpo-32574: Fix leaks in asyncio.Queue.put() and .get() (#5208)

bpo-32662: Implement Server.start_serving() and Server.serve_forever() (#5312)

* bpo-32662: Implement Server.start_serving() and Server.serve_forever()

New methods:

* Server.start_serving(),
* Server.serve_forever(), and
* Server.is_serving().

Add 'start_serving' keyword parameter to loop.create_server() and
loop.create_unix_server().

bpo-29302: Implement contextlib.AsyncExitStack. (#4790)

bpo-32436: Fix a refleak; var GC tracking; a GCC warning (#5326)

The refleak in question wasn't really important, as context vars
are usually created at the toplevel and live as long as the interpreter
lives, so the context var name isn't ever GCed anyways.

bpo-32667: Fix tests when $PATH contains a file (#5322)

Some tests failed when the PATH environment variable contained a path
to an existing file. Fix tests to ignore also NotADirectoryError, not
only FileNotFoundError and PermissionError.

Fix 3rd level node's binary representation in HAMT algorithm description (#5319)

Cleanup dangling reference in get_timezone_utc_capi (#5317)

bpo-32360: Remove OrderedDict usage from json.tool (GH-5315)

`object_pairs_hook=OrderedDict` idiom is deprecated.

 bpo-32571: Avoid raising unneeded AttributeError and silencing it in C code (GH-5222)

Add two new private APIs: _PyObject_LookupAttr() and _PyObject_LookupAttrId()

bpo-32652: Defer pymain_set_global_config() call (#5303)

In Py_Main(), don't call pymain_set_global_config() early: only call
it when the whole configuration has been read.

Add an unit test to prevent future regression.

bpo-29708: Add What's New entries for SOURCE_DATE_EPOCH and py_compile (GH-5306)

bpo-32391: Implement StreamWriter.wait_closed() (#5281)

bpo-10381: Add timezone to datetime C API (#5032)

* Add timezone to datetime C API

* Add documentation for timezone C API macros

* Add dedicated tests for datetime type check macros

* Remove superfluous C API test

* Drop support for TimeZoneType in datetime C API

* Expose UTC singleton to the datetime C API

* Update datetime C-API documentation to include links

* Add reference count information for timezone constructors

bpo-29708: Setting SOURCE_DATE_EPOCH forces hash-based .pyc files (GH-5200)

To support reproducible builds, the setting of of SOURCE_DATE_EPOCH triggers the py_compile module -- and by extension, compileall -- to forcibly compile with hash-based .pyc files. This eliminates the possibility of timestamp-based .pyc files which vary between builds.

 bpo-32248 - Implement `ResourceReader` and `get_resource_reader()` for zipimport (#5248)

bpo-32636: Fix two bugs in test_asyncio (#5302)

bpo-32636: Fix @asyncio.coroutine debug mode bug exposed by gh-5250 (#5291)