bpo-33622: Fix issues with handling errors in the GC. (GH-7078)

* Fixed a leak when the GC fails to add an object with __del__ into
  the gc.garbage list.
* PyGC_Collect() can now be called when an exception is set and
  preserves it.
* Fixed an undefined behavior with comparing a dead pointer with NULL.

closes bpo-33619: Fix libffi detection by regenerating ./configure (GH-7075)

 bpo-33628: IDLE: Minor code cleanup of codecontext.py and its tests  (GH-7085)

bpo-33109: argparse subparsers are once again not required by default (GH-6919)

bpo-26510 in 3.7.0a2 changed the behavior of argparse to make
subparsers required by default, returning to the behavior of 2.7
and 3.2. The behavior was changed in 3.3 to be no longer required.
While it might make more sense to have the default to required,
compatibility with 3.3 through 3.6 is probably less disruptive
than trying to reintroduce compatibility with 2.7 at this point.
This change restores the 3.6 behavior.

bpo-33540: Add block_on_close attr to socketserver (GH-6911)

Add a new block_on_close class attribute to ForkingMixIn and
ThreadingMixIn classes of socketserver to opt-in for pre-3.7 behaviour.

bpo-33353: test_asyncio set SO_SNDBUF after connect (GH-7086)

bpo-32622, bpo-33353: On macOS, sock.connect() changes the
SO_SNDBUF value. Only set SO_SNDBUF and SO_RCVBUF buffer sizes
once a socket is connected or binded, not before.

bpo-33353: test_asyncio uses smaller sendfile data (#7083)

bpo-32622, bpo-33353: sendfile() tests of test_asyncio use socket
buffers of 1 kB "to test on relative small data sets". Send only
160 KiB rather 10 MB to make the test much faster.

Shrink also SendfileBase.DATA from 1600 KiB to 160 KiB.

On Linux, 3 test_sock_sendfile_mix_with_regular_send() runs now take
less than 1 second, instead of 18 seconds.

On FreeBSD, the 3 tests didn't hang, but took 3 minutes. Now
the 3 tests pass in less than 1 seconds.

bpo-33618: Enable TLS 1.3 in tests (GH-7079)

TLS 1.3 behaves slightly different than TLS 1.2. Session tickets and TLS
client cert auth are now handled after the initialy handshake. Tests now
either send/recv data to trigger session and client certs. Or tests
ignore ConnectionResetError / BrokenPipeError on the server side to
handle clients that force-close the socket fd.

To test TLS 1.3, OpenSSL 1.1.1-pre7-dev (git master + OpenSSL PR
https://github.com/openssl/openssl/pull/6340) is required.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-32436: Document PEP 567 changes to asyncio. (GH-7073)

bpo-33612: Remove PyThreadState_Clear() assertion (#7069)

bpo-25612, bpo-33612: Remove an assertion from PyThreadState_Clear()
which failed at Python shutdown or on fork if a thread was running a
generator.

bpo-27300: Add the errors parameter to tempfile classes. (GH-6696)

Reverse the meaning of is_argument when used for type check (GH-7039)

bpo-33604: Remove Pending from hmac Deprecation warning. (GH-7062)

bpo-33604: Bump removal notice from 3.6 to 3.8 and change PendingDeprecationWarning to DeprecationWarning as we had intended to do earlier...

bpo-33570: TLS 1.3 ciphers for OpenSSL 1.1.1 (GH-6976)

Change TLS 1.3 cipher suite settings for compatibility with OpenSSL
1.1.1-pre6 and newer. OpenSSL 1.1.1 will have TLS 1.3 cipers enabled by
default.

Also update multissltests and Travis config to test with latest OpenSSL.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-33516: Add support for __round__ in MagicMock (GH-6880)

unittest.mock.MagicMock now supports the __round__() magic method.

Add missed details of the C API introduced in 3.7. (GH-7047)

* Set the limited API version for PyImport_GetModule and PyOS_*Fork
  functions.
* Add PyImport_GetModule and Py_UTF8Mode in PC/python3.def.
* Add several functions in Doc/data/refcounts.dat.

bpo-33592: Document the C API in PEP 567 (contextvars) (GH-7033)

Improve comments in test_idle.py. (GH-7057)

bpo-30877: Fix clearing a cache in the the JSON decoder. (GH-7048)

Add PyThread_tss_* to Doc/data/refcounts.dat. (GH-7038)

Thread Specific Storage (TSS) API is a public C API (new in 3.7).

bpo-5945: Improve mappings and sequences C API docs. (GH-7029)

Fix lambda parameters being refered as arguments (GH-7037)

Use IPv4 only to avoid IP address collision (#7030)

bpo-33583: Add note in PyObject_GC_Resize() doc (GH-7021)

Fix asyncio flaky tests (#7023)

bpo-33263: Fix FD leak in _SelectorSocketTransport (GH-6450)

* bpo-33263 Fix FD leak in _SelectorSocketTransport. (GH-6450)

Under particular circumstances _SelectorSocketTransport can try to add a reader
even the transport is already being closed. This can lead to FD leak and
invalid stated of the following connections. Fixed the SelectorSocketTransport
to add the reader only if the trasport is still active.

bpo-26103: Fix inspect.isdatadescriptor() and a data descriptor definition. (GH-1959)

Look for '__set__' or '__delete__'.

Fix line breaks added after hyphens by blurb. (GH-7002)

Also remove bullet asterisks from IDLE entries.

Add idlelib and IDLE section to What's New in 3.7. (#7019)

bpo-32262: Fix typo in f-string (GH-7016)

Fix typo from commit 6370f345e1d5829e1fba59cd695c8b82c5a8c620

Signed-off-by: Christian Heimes <christian@python.org>
<!--
Thanks for your contribution!
Please read this comment in its entirety. It's quite important.

# Pull Request title

It should be in the following format:

```
bpo-NNNN: Summary of the changes made
```

Where: bpo-NNNN refers to the issue number in the https://bugs.python.org.

Most PRs will require an issue number. Trivial changes, like fixing a typo, do not need an issue.

# Backport Pull Request title

If this is a backport PR (PR made against branches other than `master`),
please ensure that the PR title is in the following format:

```
[X.Y] <title from the original PR> (GH-NNNN)
```

Where: [X.Y] is the branch name, e.g. [3.6].

GH-NNNN refers to the PR number from `master`.

-->

<!-- issue-number: bpo-32262 -->
https://bugs.python.org/issue32262
<!-- /issue-number -->

bpo-33541: Remove unused __pad function (GH-4377)

Function was added with the initial implementation 00efe7e798.

bpo-33580: Make binary/text file glossary entries follow most common "see also" style. (GH-6991)

bpo-33542: Ignore DUID in uuid.get_node on Windows. (GH-6922)

uuid._ipconfig_getnode did not validate the maximum length of the value,
so long as the value had the same type of formatting as a MAC address.
This let it select DUIDs as MAC addresses. It now requires an exact
length match.

bpo-30940: Updating round() docs. (GH-6342)

Docs: be less specific about python versions (GH-6985)

CPython 3.5 is old now, and we don't bump this version often,
so lets avoid using specific versions.

bpo-33584: Fix several minor bugs in asyncio. (GH-7003)

Fix the following bugs in the C implementation:

* get_future_loop() silenced all exceptions raised when look up the get_loop
  attribute, not just an AttributeError.
* enter_task() silenced all exceptions raised when look up the current task,
  not just a KeyError.
* repr() was called for a borrowed link in enter_task() and task_step_impl().
* str() was used instead of repr() in formatting one error message (in
  Python implementation too).
* There where few reference leaks in error cases.

bpo-26819: Prevent proactor double read on resume (#6921)

The proactor event loop has a race condition when reading with
pausing/resuming. `resume_reading()` unconditionally schedules the read
function to read from the current future. If `resume_reading()` was
called before the previously scheduled done callback fires, this results
in two attempts to get the data from the most recent read and an
assertion failure. This commit tracks whether or not `resume_reading`
needs to reschedule the callback to restart the loop, preventing a
second attempt to read the data.

bpo-23722: Raise a RuntimeError for absent __classcell__. (GH-6931)

A DeprecationWarning was emitted in Python 3.6-3.7.

bpo-23722: Fix docs for future __classcell__ changes. (GH-6999)

bpo-32996: The bulk of What's New in Python 3.7 (GH-6978)

bpo-30928: Update idlelib/NEWS.txt. (#6995)

Fix typo in error message when decoding PYTHONPATH. (GH-6981)

bpo-32831: IDLE: Add docstrings and tests for codecontext (GH-5638)

import secrets module in secrets recipes (#6705)

bpo-28556: Don't simplify unions at runtime (GH-6841)

bpo-33556: Remove reference to thread module from docstring (GH-6963)

Fix C API docs: PyCapsule_Import always set an exception on failure. (GH-6967)

bpo-33564: Add async to IDLE's code context block openers. (GH-6960)

bpo-33559: Attribute changed repr of exceptions (GH-6954)

Fix Windows build of Python for latest WinSDK. (GH-6874)

bpo-33559: Document changed repr of exceptions (GH-6943)

asyncio/docs: Mark asyncio.run() as provisional in 3.7. (#6946)

Only upload docs for CI build and not pull requests (GH-6945)

Provide a little better debug output (#6940)

bpo-33537: Add an __all__ to importlib.resources (#6920)

bpo-19950: Clarify unittest TestCase instance use. (GH-6875)

bpo-32604: Implement force-closing channels. (gh-6937)

This will make it easier to clean up channels (e.g. when used in tests).

Update Python Folder.icns icon file to match new macOS look (GH-1780)

Patch by Thomas Jones.

bpo-33549: Remove shim and deprecation warning to access DocumentLS.async. (GH-6924)

`obj.async` is now a syntax error, so the warning/shim is
quasi-unnecessary.

bpo-33518: Add PEP entry to documentation glossary (GH-6860)

bpo-13631: Fix the order of initialization for readline libedit on macOS. (GH-6915)

The editline emulation needs to be initialized *after* the name is
defined. This fixes the long open issue.

bpo-33475: Fix and improve converting annotations to strings. (GH-6774)

Replace _PyGC_REFS macros with higher level macros (GH-6852)

Only gcmodule.c uses _PyGC_REFS* macros now.
This makes easy to read GC code.

bpo-33522: Enable CI builds on Visual Studio Team Services (#6865)

bpo-32216: Update dataclasses documentation (#6913)

bpo-32604: Improve subinterpreter tests. (#6914)

Add more tests for subinterpreters. This patch also fixes a few small defects in the channel implementation.

Remove an unneeded call into OpenSSL (GH-6887)

Fix ClassVar as string fails when getting type hints (GH-6824)

bpo-28167: Remove platform.linux_distribution (GH-6871)

* test_ssl: Remove skip_if_broken_ubuntu_ssl

We no longer support OpenSSL 0.9.8.15.15.

* bpo-28167: Remove platform.linux_distribution

bpo-24318: Rewrite the README PGO section. (#6863)

* bpo-24318: Rewrite the README PGO section.

Merged from a phone on an airplane. :)

bpo-33536: Validate make_dataclass() field names. (GH-6906)

bpo-21475: Support the Sitemap extension in robotparser (GH-6883)

Minor tweaks to dataclasses docs. (GH-6903)

bpo-33534: Remove unneeded test. (GH-6897)

This condition as already tested before this code is called.

Reflow dataclasses comments (GH-6893)

To be more consistent with other code (and so people stop hassling me!), reflow the dataclasses comments to not use a single space indentation when continuing a paragraph of text.

bpo-32216: Add documentation for dataclasses (GH-6886)

This is an initial version that likely requires much polishing. I'm adding it lay out the structure and so we have something to start working from.

bpo-32384: Skip test when _testcapi isn't available (GH-4940)

closes bpo-33512: use standard for detecting long double (GH-6847)

bpo-33453: Handle string type annotations in dataclasses. (GH-6768)

bpo-33454: Fix arguments parsing in _xxsubinterpreters.channel_close(). (GH-6747)

bpo-30928: Update idlelib/NEWS.txt to 2018-05-14. (#6873)

bpo-32257: Add ssl.OP_NO_RENEGOTIATION (GH-5904)

The ssl module now contains OP_NO_RENEGOTIATION constant, available with
OpenSSL 1.1.0h or 1.1.1.

Note, OpenSSL 1.1.0h hasn't been released yet.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-33503: Fix the broken pypi link in the source and the documentation (GH-6814)

bpo-33509: Fix _warnings for module_globals=None (#6833)

Don't crash on warnings.warn_explicit() if module_globals is not a dict.

bpo-33465: Use an unlikely to be built-in C extension in a test (#6797)

bpo-29706: Test that IDLE colors async/await as keywords. (GH-6846)

Added to the eye-verified htest, not to the unittests.
Also remove some stray leftover comments.

bpo-28167: bump platform.linux_distribution removal to 3.8 (GH-6669)

Also bump PendingDeprecationWarning to DeprecationWarning.

bpo-33517: dataclasses: Add the field type to Field repr (GH-6858)

run autoreconf (GH-6850)

bpo-33483: more correctly handle finding the C compiler (GH-6780)

Instead of passing configure args such as --without-gcc or --with-icc,
instead prefer to rely on the native way of finding the compiler:
passing CC (or CPP or CXX depending).

This allows configure to find the correct compiler instead of having to
be explicitly told. It also more correctly builds on both macOS and
FreeBSD since the system compiler is used by default (cc)

Remove accidentally checked in files. (GH-6835)

bpo-16865: Support arrays >=2GB in ctypes. (GH-3006)

bpo-33497: Add NEWS and ACKS entries. (GH-6838)

Add AsyncContextManager to typing module documentation. (GH-6822)

bpo-33497: Add errors param to cgi.parse_multipart and make an encoding in FieldStorage use the given errors (GH-6804)

bpo-33502: dataclass._Dataclassparams repr: use repr of each member. (GH-6812)

Fixed an unused variable warning introduced in GH-6800 (GH-6816)

bpo-33443 Fix typo in Python/import.c (GH-6722)

bpo-32769: Write annotation entry for glossary (GH-6657)

https://bugs.python.org/issue32769

Add versionchanged in create_datagram_endpoint doc (#4697)

Most of the parameters were added in 3.4.4 (b9bf913ab32), but this
change was not documented