bpo-33622: Add checks for exceptions leaks in the garbage collector. (GH-7126)

* Failure in adding to gc.garbage is no longer fatal.
* An exception in tp_clear() no longer lead to crash (though tp_clear() should not leave exceptions).

bpo-33197: Update a error message of invalid inspect.Parameters. (GH-6636)

bpo-33353: test_asyncio use set_write_buffer_limits() (GH-7200)

Use transport.set_write_buffer_limits() in sendfile tests of
test_asyncio to make sure that the protocol is paused after sending
4 KiB. Previously,
test_sendfile_fallback_close_peer_in_the_middle_of_receiving() failed
on FreeBSD if the DATA was smaller than the default limit of 64 KiB.

bpo-32911: Revert bpo-29463. (GH-7121) (GH-7197)

Remove the docstring attribute of AST types and restore docstring
expression as a first stmt in their body.

Co-authored-by: INADA Naoki <methane@users.noreply.github.com>

bpo-33654: Support protocol type switching in SSLTransport.set_protocol() (#7194)

bpo-33674: Pause the transport as early as possible (#7192)

bpo-32878: Adds documentation for st_ino on Windows (GH-5764)

bpo-33674: asyncio: Fix SSLProtocol race (GH-7175)

Fix a race condition in SSLProtocol.connection_made() of
asyncio.sslproto: start immediately the handshake instead of using
call_soon(). Previously, data_received() could be called before the
handshake started, causing the handshake to hang or fail.

bpo-33670: Expose Sphinx errorlevel (GH-7156)

bpo-33673: Install python-docs-theme even if Sphinx is already installed (GH-7163)

bpo-32410: Avoid blocking on file IO in sendfile fallback code (GH-7172)

bpo-32610: Fix asyncio.all_tasks() to return only pending tasks. (GH-7174)

bpo-33469: RuntimeError after closing loop that used run_in_executor (GH-7171)

bro-33614: Override exit code in find_msbuild.bat (GH-7169)

bpo-33672: Fix Task.__repr__ crash with Cython's bogus coroutines (GH-7161)

bpo-32458: Further tune start_tls tests (#7166)

bpo-33614: Ensures module definition files for the stable ABI on Windows are correctly regenerated. (GH-7165)

regrtest: repeat summary after re-run (GH-7159)

Using -w, when failing tests are re-run in verbose mode, display
again the tests results at the end.

bpo-33654: Support BufferedProtocol in set_protocol() and start_tls() (GH-7130)

In this commit:

* Support BufferedProtocol in set_protocol() and start_tls()
* Fix proactor to cancel readers reliably
* Update tests to be compatible with OpenSSL 1.1.1
* Clarify BufferedProtocol docs
* Bump TLS tests timeouts to 60 seconds; eliminate possible race from start_serving
* Rewrite test_start_tls_server_1

bpo-33505: Optimize asyncio.ensure_future by reordering if conditions (GH-6836)

bpo-31647: Fix write_eof() after close() for SelectorSocketTransport (GH-7149)

Fixed bug where calling write_eof() on a _SelectorSocketTransport after
it's already closed raises AttributeError.

bpo-33623: Fix possible SIGSGV when asyncio.Future is created in __del__ (#7080)

bpo-32374: Ignore Python-level exceptions in test_bad_traverse (GH-7145)

bpo-33652: Remove __getstate__ and __setstate__ methods in typing. (GH-7144)

bpo-32380: Create functools.singledispatchmethod (#6306)

bpo-33655: Also ignore test_posix_fallocate failures on BSD platforms (GH-7134)

The failure may be due to the use oF ZFS, a case we already ignore
for Solaris-based systems where ZFS is frequently used.

bpo-33652: Improve pickle support in the typing module. (GH-7123)

Pickles of type variables and subscripted generics are now future-proof
and compatible with older Python versions.

Fix typo spotted by Guido (GH-7131)

bpo-32769: A new take on annotations/type hinting glossary entries (GH-6829)

bpo-33644: Fix signatures of tp_finalize handlers in testing code. (GH-7111)

test.regrtest: flush stdout when display progress (#7105)

runtest_mp.py: call print() with flush=True.

Document typing.NoReturn (GH-7107)

bpo-32493: Fix uuid.uuid1() on FreeBSD. (GH-7099)

Use uuid_enc_be() if available to encode UUID to bytes as big endian.

bpo-33629: Prevent coredump in test_importlib (GH-7090)

bpo-32374, bpo-33629: Use support.SuppressCrashReport() in
test_bad_traverse() of MultiPhaseExtensionModuleTests to prevent
leaking a core dump file.

bpo-33622: Fix issues with handling errors in the GC. (GH-7078)

* Fixed a leak when the GC fails to add an object with __del__ into
  the gc.garbage list.
* PyGC_Collect() can now be called when an exception is set and
  preserves it.
* Fixed an undefined behavior with comparing a dead pointer with NULL.

closes bpo-33619: Fix libffi detection by regenerating ./configure (GH-7075)

 bpo-33628: IDLE: Minor code cleanup of codecontext.py and its tests  (GH-7085)

bpo-33109: argparse subparsers are once again not required by default (GH-6919)

bpo-26510 in 3.7.0a2 changed the behavior of argparse to make
subparsers required by default, returning to the behavior of 2.7
and 3.2. The behavior was changed in 3.3 to be no longer required.
While it might make more sense to have the default to required,
compatibility with 3.3 through 3.6 is probably less disruptive
than trying to reintroduce compatibility with 2.7 at this point.
This change restores the 3.6 behavior.

bpo-33540: Add block_on_close attr to socketserver (GH-6911)

Add a new block_on_close class attribute to ForkingMixIn and
ThreadingMixIn classes of socketserver to opt-in for pre-3.7 behaviour.

bpo-33353: test_asyncio set SO_SNDBUF after connect (GH-7086)

bpo-32622, bpo-33353: On macOS, sock.connect() changes the
SO_SNDBUF value. Only set SO_SNDBUF and SO_RCVBUF buffer sizes
once a socket is connected or binded, not before.

bpo-33353: test_asyncio uses smaller sendfile data (#7083)

bpo-32622, bpo-33353: sendfile() tests of test_asyncio use socket
buffers of 1 kB "to test on relative small data sets". Send only
160 KiB rather 10 MB to make the test much faster.

Shrink also SendfileBase.DATA from 1600 KiB to 160 KiB.

On Linux, 3 test_sock_sendfile_mix_with_regular_send() runs now take
less than 1 second, instead of 18 seconds.

On FreeBSD, the 3 tests didn't hang, but took 3 minutes. Now
the 3 tests pass in less than 1 seconds.

bpo-33618: Enable TLS 1.3 in tests (GH-7079)

TLS 1.3 behaves slightly different than TLS 1.2. Session tickets and TLS
client cert auth are now handled after the initialy handshake. Tests now
either send/recv data to trigger session and client certs. Or tests
ignore ConnectionResetError / BrokenPipeError on the server side to
handle clients that force-close the socket fd.

To test TLS 1.3, OpenSSL 1.1.1-pre7-dev (git master + OpenSSL PR
https://github.com/openssl/openssl/pull/6340) is required.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-32436: Document PEP 567 changes to asyncio. (GH-7073)

bpo-33612: Remove PyThreadState_Clear() assertion (#7069)

bpo-25612, bpo-33612: Remove an assertion from PyThreadState_Clear()
which failed at Python shutdown or on fork if a thread was running a
generator.

bpo-27300: Add the errors parameter to tempfile classes. (GH-6696)

Reverse the meaning of is_argument when used for type check (GH-7039)

bpo-33604: Remove Pending from hmac Deprecation warning. (GH-7062)

bpo-33604: Bump removal notice from 3.6 to 3.8 and change PendingDeprecationWarning to DeprecationWarning as we had intended to do earlier...

bpo-33570: TLS 1.3 ciphers for OpenSSL 1.1.1 (GH-6976)

Change TLS 1.3 cipher suite settings for compatibility with OpenSSL
1.1.1-pre6 and newer. OpenSSL 1.1.1 will have TLS 1.3 cipers enabled by
default.

Also update multissltests and Travis config to test with latest OpenSSL.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-33516: Add support for __round__ in MagicMock (GH-6880)

unittest.mock.MagicMock now supports the __round__() magic method.

Add missed details of the C API introduced in 3.7. (GH-7047)

* Set the limited API version for PyImport_GetModule and PyOS_*Fork
  functions.
* Add PyImport_GetModule and Py_UTF8Mode in PC/python3.def.
* Add several functions in Doc/data/refcounts.dat.

bpo-33592: Document the C API in PEP 567 (contextvars) (GH-7033)

Improve comments in test_idle.py. (GH-7057)

bpo-30877: Fix clearing a cache in the the JSON decoder. (GH-7048)

Add PyThread_tss_* to Doc/data/refcounts.dat. (GH-7038)

Thread Specific Storage (TSS) API is a public C API (new in 3.7).

bpo-5945: Improve mappings and sequences C API docs. (GH-7029)

Fix lambda parameters being refered as arguments (GH-7037)

Use IPv4 only to avoid IP address collision (#7030)

bpo-33583: Add note in PyObject_GC_Resize() doc (GH-7021)

Fix asyncio flaky tests (#7023)

bpo-33263: Fix FD leak in _SelectorSocketTransport (GH-6450)

* bpo-33263 Fix FD leak in _SelectorSocketTransport. (GH-6450)

Under particular circumstances _SelectorSocketTransport can try to add a reader
even the transport is already being closed. This can lead to FD leak and
invalid stated of the following connections. Fixed the SelectorSocketTransport
to add the reader only if the trasport is still active.

bpo-26103: Fix inspect.isdatadescriptor() and a data descriptor definition. (GH-1959)

Look for '__set__' or '__delete__'.

Fix line breaks added after hyphens by blurb. (GH-7002)

Also remove bullet asterisks from IDLE entries.

Add idlelib and IDLE section to What's New in 3.7. (#7019)

bpo-32262: Fix typo in f-string (GH-7016)

Fix typo from commit 6370f345e1d5829e1fba59cd695c8b82c5a8c620

Signed-off-by: Christian Heimes <christian@python.org>
<!--
Thanks for your contribution!
Please read this comment in its entirety. It's quite important.

# Pull Request title

It should be in the following format:

```
bpo-NNNN: Summary of the changes made
```

Where: bpo-NNNN refers to the issue number in the https://bugs.python.org.

Most PRs will require an issue number. Trivial changes, like fixing a typo, do not need an issue.

# Backport Pull Request title

If this is a backport PR (PR made against branches other than `master`),
please ensure that the PR title is in the following format:

```
[X.Y] <title from the original PR> (GH-NNNN)
```

Where: [X.Y] is the branch name, e.g. [3.6].

GH-NNNN refers to the PR number from `master`.

-->

<!-- issue-number: bpo-32262 -->
https://bugs.python.org/issue32262
<!-- /issue-number -->

bpo-33541: Remove unused __pad function (GH-4377)

Function was added with the initial implementation 00efe7e798.

bpo-33580: Make binary/text file glossary entries follow most common "see also" style. (GH-6991)

bpo-33542: Ignore DUID in uuid.get_node on Windows. (GH-6922)

uuid._ipconfig_getnode did not validate the maximum length of the value,
so long as the value had the same type of formatting as a MAC address.
This let it select DUIDs as MAC addresses. It now requires an exact
length match.

bpo-30940: Updating round() docs. (GH-6342)

Docs: be less specific about python versions (GH-6985)

CPython 3.5 is old now, and we don't bump this version often,
so lets avoid using specific versions.

bpo-33584: Fix several minor bugs in asyncio. (GH-7003)

Fix the following bugs in the C implementation:

* get_future_loop() silenced all exceptions raised when look up the get_loop
  attribute, not just an AttributeError.
* enter_task() silenced all exceptions raised when look up the current task,
  not just a KeyError.
* repr() was called for a borrowed link in enter_task() and task_step_impl().
* str() was used instead of repr() in formatting one error message (in
  Python implementation too).
* There where few reference leaks in error cases.

bpo-26819: Prevent proactor double read on resume (#6921)

The proactor event loop has a race condition when reading with
pausing/resuming. `resume_reading()` unconditionally schedules the read
function to read from the current future. If `resume_reading()` was
called before the previously scheduled done callback fires, this results
in two attempts to get the data from the most recent read and an
assertion failure. This commit tracks whether or not `resume_reading`
needs to reschedule the callback to restart the loop, preventing a
second attempt to read the data.

bpo-23722: Raise a RuntimeError for absent __classcell__. (GH-6931)

A DeprecationWarning was emitted in Python 3.6-3.7.

bpo-23722: Fix docs for future __classcell__ changes. (GH-6999)

bpo-32996: The bulk of What's New in Python 3.7 (GH-6978)

bpo-30928: Update idlelib/NEWS.txt. (#6995)

Fix typo in error message when decoding PYTHONPATH. (GH-6981)

bpo-32831: IDLE: Add docstrings and tests for codecontext (GH-5638)

import secrets module in secrets recipes (#6705)

bpo-28556: Don't simplify unions at runtime (GH-6841)

bpo-33556: Remove reference to thread module from docstring (GH-6963)

Fix C API docs: PyCapsule_Import always set an exception on failure. (GH-6967)

bpo-33564: Add async to IDLE's code context block openers. (GH-6960)

bpo-33559: Attribute changed repr of exceptions (GH-6954)

Fix Windows build of Python for latest WinSDK. (GH-6874)

bpo-33559: Document changed repr of exceptions (GH-6943)

asyncio/docs: Mark asyncio.run() as provisional in 3.7. (#6946)

Only upload docs for CI build and not pull requests (GH-6945)

Provide a little better debug output (#6940)

bpo-33537: Add an __all__ to importlib.resources (#6920)

bpo-19950: Clarify unittest TestCase instance use. (GH-6875)

bpo-32604: Implement force-closing channels. (gh-6937)

This will make it easier to clean up channels (e.g. when used in tests).

Update Python Folder.icns icon file to match new macOS look (GH-1780)

Patch by Thomas Jones.

bpo-33549: Remove shim and deprecation warning to access DocumentLS.async. (GH-6924)

`obj.async` is now a syntax error, so the warning/shim is
quasi-unnecessary.

bpo-33518: Add PEP entry to documentation glossary (GH-6860)

bpo-13631: Fix the order of initialization for readline libedit on macOS. (GH-6915)

The editline emulation needs to be initialized *after* the name is
defined. This fixes the long open issue.

bpo-33475: Fix and improve converting annotations to strings. (GH-6774)

Replace _PyGC_REFS macros with higher level macros (GH-6852)

Only gcmodule.c uses _PyGC_REFS* macros now.
This makes easy to read GC code.

bpo-33522: Enable CI builds on Visual Studio Team Services (#6865)

bpo-32216: Update dataclasses documentation (#6913)

bpo-32604: Improve subinterpreter tests. (#6914)

Add more tests for subinterpreters. This patch also fixes a few small defects in the channel implementation.