bpo-33615: Temporarily disable a test that is triggering crashes on a few buildbots. (gh-7288)

For bpo-32604 I added some subinterpreter-related tests (see #6914) that are causing crashes on a few buildbots. I'm working on fixing the crashes (see #7251).  This change temporarily disables the triggering test.

bpo-33706: Fix pymain_parse_cmdline_impl() (GH-7283)

Fix a crash in Python initialization when parsing the command line
options.

Fix memcpy() size parameter: previously, we read one wchar_t after
the end of _PyOS_optarg. Moreover, don't copy the trailingg NUL
character: we write it manually anyway.

Thanks Christoph Gohlke for the bug report and the fix!

bpo-32911: Add the historical note about the magic number. (GH-7273)

Fix "ditribution" typo in NEWS entry. (GH-7274)

Adds new upload script for Windows releases (GH-7268)

bpo-33641: Convert RFC references into links. (GH-7103)

85% of them are already links.

bpo-33677: Fix signatures of tp_clear handlers for AST and deque. (GH-7196)

bpo-33532: Fix multiprocessing test_ignore() (#7262)

Fix test_ignore() of multiprocessing tests like
test_multiprocessing_forkserver: use support.PIPE_MAX_SIZE to make
sure that send_bytes() blocks.

bpo-31368: Enhance os.preadv() documentation (GH-7254)

3.6 what's new: fix a reference to PEP 528 (#7113)

bpo-33696: Install python-docs-theme even if SPHINXBUILD is defined (GH-7242)

bpo-33691: Add _PyAST_GetDocString(). (GH-7236)

Improve ensurepip's --help (GH-4686)

* Add a space to ensurepip's --altinstall option
* Add periods to the arguments of ensurepip that didn't have it

This makes --help for all optional arguments consistent and also makes it
consistent with pip --help.

bpo-33238: Add InvalidStateError to concurrent.futures. (GH-7056)

Future.set_result and Future.set_exception now raise InvalidStateError
if the futures are not pending or running. This mirrors the behavior
of asyncio.Future, and prevents AssertionErrors in asyncio.wrap_future
when set_result is called multiple times.

Revert "A better fix for asyncio test_stdin_broken_pipe (GH-7221)" (GH-7235)

This reverts commit ad74d50517c069359578014bb32e660828d68332.

Turns out it's not a good fix -- Travis has just crashed on this test.

A better fix for asyncio test_stdin_broken_pipe (#7221)

Revert "bpo-22087: Fix Policy.get_event_loop() to detect fork (GH-7208)" (#7232)

This reverts commit 5d97b7bcc19496617bf8c448d2f149cc28c73bc7.

Fix typo introduced in GH-7217 (#7230)

bpo-32684: Fix nits in tests (GH-7225)

Fix whatsnew entry about ThreadedHTTPServer. (GH-7220)

bpo-23859: Document that asyncio.wait() does not cancel its futures (#7217)

Unlike `asyncio.wait_for()`, `asyncio.wait()` does not cancel the passed
futures when a timeout accurs.

bpo-32751: Wait for task cancellation in asyncio.wait_for() (GH-7216)

Currently, asyncio.wait_for(fut), upon reaching the timeout deadline,
cancels the future and returns immediately.  This is problematic for
when *fut* is a Task, because it will be left running for an arbitrary
amount of time.  This behavior is iself surprising and may lead to
related bugs such as the one described in bpo-33638:

    condition = asyncio.Condition()
    async with condition:
        await asyncio.wait_for(condition.wait(), timeout=0.5)

Currently, instead of raising a TimeoutError, the above code will fail
with `RuntimeError: cannot wait on un-acquired lock`, because
`__aexit__` is reached _before_ `condition.wait()` finishes its
cancellation and re-acquires the condition lock.

To resolve this, make `wait_for` await for the task cancellation.
The tradeoff here is that the `timeout` promise may be broken if the
task decides to handle its cancellation in a slow way.  This represents
a behavior change and should probably not be back-patched to 3.6 and
earlier.

bpo-32684: Fix gather to propagate cancel of itself with return_exceptions (GH-7209)

bpo-31639: Change ThreadedHTTPServer to ThreadingHTTPServer class name (GH-7195)

bpo-22087: Fix Policy.get_event_loop() to detect fork (GH-7208)

Original patch by Dan O'Reilly.

bpo-30935: update get_event_loop docs (GH-2731)

Attempt to fix test_stdin_broken_pipe on Travis (#7210)

bpo-33622: Add checks for exceptions leaks in the garbage collector. (GH-7126)

* Failure in adding to gc.garbage is no longer fatal.
* An exception in tp_clear() no longer lead to crash (though tp_clear() should not leave exceptions).

bpo-33197: Update a error message of invalid inspect.Parameters. (GH-6636)

bpo-33353: test_asyncio use set_write_buffer_limits() (GH-7200)

Use transport.set_write_buffer_limits() in sendfile tests of
test_asyncio to make sure that the protocol is paused after sending
4 KiB. Previously,
test_sendfile_fallback_close_peer_in_the_middle_of_receiving() failed
on FreeBSD if the DATA was smaller than the default limit of 64 KiB.

bpo-32911: Revert bpo-29463. (GH-7121) (GH-7197)

Remove the docstring attribute of AST types and restore docstring
expression as a first stmt in their body.

Co-authored-by: INADA Naoki <methane@users.noreply.github.com>

bpo-33654: Support protocol type switching in SSLTransport.set_protocol() (#7194)

bpo-33674: Pause the transport as early as possible (#7192)

bpo-32878: Adds documentation for st_ino on Windows (GH-5764)

bpo-33674: asyncio: Fix SSLProtocol race (GH-7175)

Fix a race condition in SSLProtocol.connection_made() of
asyncio.sslproto: start immediately the handshake instead of using
call_soon(). Previously, data_received() could be called before the
handshake started, causing the handshake to hang or fail.

bpo-33670: Expose Sphinx errorlevel (GH-7156)

bpo-33673: Install python-docs-theme even if Sphinx is already installed (GH-7163)

bpo-32410: Avoid blocking on file IO in sendfile fallback code (GH-7172)

bpo-32610: Fix asyncio.all_tasks() to return only pending tasks. (GH-7174)

bpo-33469: RuntimeError after closing loop that used run_in_executor (GH-7171)

bro-33614: Override exit code in find_msbuild.bat (GH-7169)

bpo-33672: Fix Task.__repr__ crash with Cython's bogus coroutines (GH-7161)

bpo-32458: Further tune start_tls tests (#7166)

bpo-33614: Ensures module definition files for the stable ABI on Windows are correctly regenerated. (GH-7165)

regrtest: repeat summary after re-run (GH-7159)

Using -w, when failing tests are re-run in verbose mode, display
again the tests results at the end.

bpo-33654: Support BufferedProtocol in set_protocol() and start_tls() (GH-7130)

In this commit:

* Support BufferedProtocol in set_protocol() and start_tls()
* Fix proactor to cancel readers reliably
* Update tests to be compatible with OpenSSL 1.1.1
* Clarify BufferedProtocol docs
* Bump TLS tests timeouts to 60 seconds; eliminate possible race from start_serving
* Rewrite test_start_tls_server_1

bpo-33505: Optimize asyncio.ensure_future by reordering if conditions (GH-6836)

bpo-31647: Fix write_eof() after close() for SelectorSocketTransport (GH-7149)

Fixed bug where calling write_eof() on a _SelectorSocketTransport after
it's already closed raises AttributeError.

bpo-33623: Fix possible SIGSGV when asyncio.Future is created in __del__ (#7080)

bpo-32374: Ignore Python-level exceptions in test_bad_traverse (GH-7145)

bpo-33652: Remove __getstate__ and __setstate__ methods in typing. (GH-7144)

bpo-32380: Create functools.singledispatchmethod (#6306)

bpo-33655: Also ignore test_posix_fallocate failures on BSD platforms (GH-7134)

The failure may be due to the use oF ZFS, a case we already ignore
for Solaris-based systems where ZFS is frequently used.

bpo-33652: Improve pickle support in the typing module. (GH-7123)

Pickles of type variables and subscripted generics are now future-proof
and compatible with older Python versions.

Fix typo spotted by Guido (GH-7131)

bpo-32769: A new take on annotations/type hinting glossary entries (GH-6829)

bpo-33644: Fix signatures of tp_finalize handlers in testing code. (GH-7111)

test.regrtest: flush stdout when display progress (#7105)

runtest_mp.py: call print() with flush=True.

Document typing.NoReturn (GH-7107)

bpo-32493: Fix uuid.uuid1() on FreeBSD. (GH-7099)

Use uuid_enc_be() if available to encode UUID to bytes as big endian.

bpo-33629: Prevent coredump in test_importlib (GH-7090)

bpo-32374, bpo-33629: Use support.SuppressCrashReport() in
test_bad_traverse() of MultiPhaseExtensionModuleTests to prevent
leaking a core dump file.

bpo-33622: Fix issues with handling errors in the GC. (GH-7078)

* Fixed a leak when the GC fails to add an object with __del__ into
  the gc.garbage list.
* PyGC_Collect() can now be called when an exception is set and
  preserves it.
* Fixed an undefined behavior with comparing a dead pointer with NULL.

closes bpo-33619: Fix libffi detection by regenerating ./configure (GH-7075)

 bpo-33628: IDLE: Minor code cleanup of codecontext.py and its tests  (GH-7085)

bpo-33109: argparse subparsers are once again not required by default (GH-6919)

bpo-26510 in 3.7.0a2 changed the behavior of argparse to make
subparsers required by default, returning to the behavior of 2.7
and 3.2. The behavior was changed in 3.3 to be no longer required.
While it might make more sense to have the default to required,
compatibility with 3.3 through 3.6 is probably less disruptive
than trying to reintroduce compatibility with 2.7 at this point.
This change restores the 3.6 behavior.

bpo-33540: Add block_on_close attr to socketserver (GH-6911)

Add a new block_on_close class attribute to ForkingMixIn and
ThreadingMixIn classes of socketserver to opt-in for pre-3.7 behaviour.

bpo-33353: test_asyncio set SO_SNDBUF after connect (GH-7086)

bpo-32622, bpo-33353: On macOS, sock.connect() changes the
SO_SNDBUF value. Only set SO_SNDBUF and SO_RCVBUF buffer sizes
once a socket is connected or binded, not before.

bpo-33353: test_asyncio uses smaller sendfile data (#7083)

bpo-32622, bpo-33353: sendfile() tests of test_asyncio use socket
buffers of 1 kB "to test on relative small data sets". Send only
160 KiB rather 10 MB to make the test much faster.

Shrink also SendfileBase.DATA from 1600 KiB to 160 KiB.

On Linux, 3 test_sock_sendfile_mix_with_regular_send() runs now take
less than 1 second, instead of 18 seconds.

On FreeBSD, the 3 tests didn't hang, but took 3 minutes. Now
the 3 tests pass in less than 1 seconds.

bpo-33618: Enable TLS 1.3 in tests (GH-7079)

TLS 1.3 behaves slightly different than TLS 1.2. Session tickets and TLS
client cert auth are now handled after the initialy handshake. Tests now
either send/recv data to trigger session and client certs. Or tests
ignore ConnectionResetError / BrokenPipeError on the server side to
handle clients that force-close the socket fd.

To test TLS 1.3, OpenSSL 1.1.1-pre7-dev (git master + OpenSSL PR
https://github.com/openssl/openssl/pull/6340) is required.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-32436: Document PEP 567 changes to asyncio. (GH-7073)

bpo-33612: Remove PyThreadState_Clear() assertion (#7069)

bpo-25612, bpo-33612: Remove an assertion from PyThreadState_Clear()
which failed at Python shutdown or on fork if a thread was running a
generator.

bpo-27300: Add the errors parameter to tempfile classes. (GH-6696)

Reverse the meaning of is_argument when used for type check (GH-7039)

bpo-33604: Remove Pending from hmac Deprecation warning. (GH-7062)

bpo-33604: Bump removal notice from 3.6 to 3.8 and change PendingDeprecationWarning to DeprecationWarning as we had intended to do earlier...

bpo-33570: TLS 1.3 ciphers for OpenSSL 1.1.1 (GH-6976)

Change TLS 1.3 cipher suite settings for compatibility with OpenSSL
1.1.1-pre6 and newer. OpenSSL 1.1.1 will have TLS 1.3 cipers enabled by
default.

Also update multissltests and Travis config to test with latest OpenSSL.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-33516: Add support for __round__ in MagicMock (GH-6880)

unittest.mock.MagicMock now supports the __round__() magic method.

Add missed details of the C API introduced in 3.7. (GH-7047)

* Set the limited API version for PyImport_GetModule and PyOS_*Fork
  functions.
* Add PyImport_GetModule and Py_UTF8Mode in PC/python3.def.
* Add several functions in Doc/data/refcounts.dat.

bpo-33592: Document the C API in PEP 567 (contextvars) (GH-7033)

Improve comments in test_idle.py. (GH-7057)

bpo-30877: Fix clearing a cache in the the JSON decoder. (GH-7048)

Add PyThread_tss_* to Doc/data/refcounts.dat. (GH-7038)

Thread Specific Storage (TSS) API is a public C API (new in 3.7).

bpo-5945: Improve mappings and sequences C API docs. (GH-7029)

Fix lambda parameters being refered as arguments (GH-7037)

Use IPv4 only to avoid IP address collision (#7030)

bpo-33583: Add note in PyObject_GC_Resize() doc (GH-7021)

Fix asyncio flaky tests (#7023)

bpo-33263: Fix FD leak in _SelectorSocketTransport (GH-6450)

* bpo-33263 Fix FD leak in _SelectorSocketTransport. (GH-6450)

Under particular circumstances _SelectorSocketTransport can try to add a reader
even the transport is already being closed. This can lead to FD leak and
invalid stated of the following connections. Fixed the SelectorSocketTransport
to add the reader only if the trasport is still active.

bpo-26103: Fix inspect.isdatadescriptor() and a data descriptor definition. (GH-1959)

Look for '__set__' or '__delete__'.

Fix line breaks added after hyphens by blurb. (GH-7002)

Also remove bullet asterisks from IDLE entries.

Add idlelib and IDLE section to What's New in 3.7. (#7019)

bpo-32262: Fix typo in f-string (GH-7016)

Fix typo from commit 6370f345e1d5829e1fba59cd695c8b82c5a8c620

Signed-off-by: Christian Heimes <christian@python.org>
<!--
Thanks for your contribution!
Please read this comment in its entirety. It's quite important.

# Pull Request title

It should be in the following format:

```
bpo-NNNN: Summary of the changes made
```

Where: bpo-NNNN refers to the issue number in the https://bugs.python.org.

Most PRs will require an issue number. Trivial changes, like fixing a typo, do not need an issue.

# Backport Pull Request title

If this is a backport PR (PR made against branches other than `master`),
please ensure that the PR title is in the following format:

```
[X.Y] <title from the original PR> (GH-NNNN)
```

Where: [X.Y] is the branch name, e.g. [3.6].

GH-NNNN refers to the PR number from `master`.

-->

<!-- issue-number: bpo-32262 -->
https://bugs.python.org/issue32262
<!-- /issue-number -->

bpo-33541: Remove unused __pad function (GH-4377)

Function was added with the initial implementation 00efe7e798.

bpo-33580: Make binary/text file glossary entries follow most common "see also" style. (GH-6991)

bpo-33542: Ignore DUID in uuid.get_node on Windows. (GH-6922)

uuid._ipconfig_getnode did not validate the maximum length of the value,
so long as the value had the same type of formatting as a MAC address.
This let it select DUIDs as MAC addresses. It now requires an exact
length match.

bpo-30940: Updating round() docs. (GH-6342)

Docs: be less specific about python versions (GH-6985)

CPython 3.5 is old now, and we don't bump this version often,
so lets avoid using specific versions.

bpo-33584: Fix several minor bugs in asyncio. (GH-7003)

Fix the following bugs in the C implementation:

* get_future_loop() silenced all exceptions raised when look up the get_loop
  attribute, not just an AttributeError.
* enter_task() silenced all exceptions raised when look up the current task,
  not just a KeyError.
* repr() was called for a borrowed link in enter_task() and task_step_impl().
* str() was used instead of repr() in formatting one error message (in
  Python implementation too).
* There where few reference leaks in error cases.

bpo-26819: Prevent proactor double read on resume (#6921)

The proactor event loop has a race condition when reading with
pausing/resuming. `resume_reading()` unconditionally schedules the read
function to read from the current future. If `resume_reading()` was
called before the previously scheduled done callback fires, this results
in two attempts to get the data from the most recent read and an
assertion failure. This commit tracks whether or not `resume_reading`
needs to reschedule the callback to restart the loop, preventing a
second attempt to read the data.

bpo-23722: Raise a RuntimeError for absent __classcell__. (GH-6931)

A DeprecationWarning was emitted in Python 3.6-3.7.

bpo-23722: Fix docs for future __classcell__ changes. (GH-6999)