bpo-33132: Fix reference counting issues in the compiler. (GH-6209)

bpo-33127: Compatibility patch for LibreSSL 2.7.0 (GH-6210)

LibreSSL 2.7 introduced OpenSSL 1.1.0 API. The ssl module now detects
LibreSSL 2.7 and only provides API shims for OpenSSL < 1.1.0 and
LibreSSL < 2.7.

Documentation updates and fixes for failing tests will be provided in
another patch set.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-24334: Remove inaccurate match_hostname call (#6211)

Commit 141c5e8c re-added match_hostname() call. The resurrection of the
function call was never intended and was solely a merge mistake.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-32932: More revealing error message when non-str objects in __all__ (GH-5848)

bpo-27428: Fix WindowsRegistryFinder documentation to list appropriate ABC (GH-6061)

bpo-31639: Use threads in http.server module. (GH-5018)

Fix a reference to the MRE book in re docs (GH-1113)

Reported by Maksym Nikulyak on docs.p.o.

bpo-30953: Improve error messages and add tests for jumping (GH-6196)

into/out of an except block.

bpo-33041: Rework compiling an "async for" loop. (#6142)

* Added new opcode END_ASYNC_FOR.
* Setting global StopAsyncIteration no longer breaks "async for" loops.
* Jumping into an "async for" loop is now disabled.
* Jumping out of an "async for" loop no longer corrupts the stack.
* Simplify the compiler.

bpo-32999: ast: Convert useless check to assert (GH-6197)

bpo-32505: dataclasses: raise TypeError if a member variable is of type Field, but doesn't have a type annotation. (GH-6192)

If a dataclass has a member variable that's of type Field, but it doesn't have a type annotation, raise TypeError.

bpo-32999: Revert GH-6002 (fc7df0e6) (GH-6189)

bpo-33018 (GH-5944) fixed bpo-32999 too.  So fc7df0e6 is not required
anymore.  Revert it except test case.

bpo-33018: Improve issubclass() error checking and message. (GH-5944)

This improves error message for situations when a non-class is
checked w.r.t. an abstract base class.

Upgrade pip to v9.0.3 and setuptools to v39.0.1 (#6184)

Add 'Field' to dataclasses.__all__. (GH-6182)

- Add missing 'Field' to __all__.
- Improve tests to catch this.

FIX failure on OSX sem_getvalue (#6180)

bpo-33078 - Fix queue size on pickling error (GH-6119)

Fix typos in mmap() error messages (GH-6173)

bpo-32896: Fix error when subclassing a dataclass with a field that uses a default_factory (GH-6170)

Fix the way that new annotations in a class are detected.

bpo-27683: Fix a regression for host() of ipaddress network objects (GH-6016)

The result of host() was not empty when the network is constructed by a tuple containing an
integer mask and only 1 bit left for addresses.

 bpo-18802: Add more details to ipaddress documentation (GH-6083)

Original patch by Jon Foster and Berker Peksag.

bpo-28247: Document Windows executable creation in zipapp (GH-6158)

bpo-33034: Improve exception message when cast fails for {Parse,Split}Result.port (GH-6078)

bpo-33100: Dataclasses now handles __slots__ and default values correctly. (GH-6152)

If the class has a member that's a MemberDescriptorType, it's not a default value, it's from that member being in __slots__.

bpo-33061: Add missing 'NoReturn' to __all__ in typing.py (GH-6127)

bpo-32953: Dataclasses: frozen should not be inherited for non-dataclass derived classes (#6147)

If a non-dataclass derives from a frozen dataclass, allow attributes to be set.
Require either all of the dataclasses in a class hierarchy to be frozen, or all non-frozen.
Store `@dataclass` parameters on the class object under `__dataclass_params__`. This is needed to detect frozen base classes.

bpo-19417: Add test_bdb.py (GH-5217)

Revert "bpo-30406: Make async and await proper keywords (#1669)" (GH-6143)

This reverts commit ac317700ce7439e38a8b420218d9a5035bba92ed.

(Reverts only the lib2to3 part.)

bpo-32489: Allow 'continue' in 'finally' clause. (GH-5822)

bpo-32056: Improve exceptions in aifc, wave and sunau. (GH-5951)

bpo-33041: Add tests for jumps in/out of 'async with' blocks. (#6110)

bpo-27645: Fix version number in 'database in transaction' fallback (GH-6131)

It was actually fixed in SQLite 3.8.8, not 3.8.7.

Update pip to 9.0.2 and setuptools to 38.6.1 (#6133)

bpo-32374:  m_traverse may be called with m_state=NULL (GH-5140)

Multi-phase initialized modules allow m_traverse to be called while the
module is still being initialized, so module authors may need to account
for that.

bpo-33021: Fix GCC 7 warning (-Wmaybe-uninitialized) in mmapmodule.c (#6117)

lib2to3: Add more tests (#6101)

bpo-17288: Prevent jumps from 'return' and 'exception' trace events. (GH-6107)

(cherry picked from commit e32bbaf376a09c149fa7c7f2919d7c9ce4e2a055)

bpo-32885: Tools/scripts/pathfix.py: Add -n option for no backup~ (#5772)

Creating backup files with ~ suffix can be undesirable in some environment,
such as when building RPM packages. Instead of requiring the user to remove
those files manually, option -n was added, that simply disables this feature.

-n was selected because 2to3 has the same option with this behavior.

bpo-33064: lib2to3: support trailing comma after *args and **kwargs (#6096)

New tests also added.

I also made the comments in line with the builtin Grammar/Grammar. PEP 306 was
withdrawn, Kees Blom's railroad program has been lost to the sands of time for
at least 16 years now (I found a python-dev post from people looking for it).

bpo-29719: Remove Date and Release field in whatsnew/3.7 and 8 (GH-6093)

Add macOS installer Conclusion file

bpo-22674: fix test_strsignal on OSX (GH-6085)

Fix docs markup for asyncio current_task() and all_tasks() (#6089)

bpo-33056 FIX leaking fd in concurrent.futures.ProcessPoolExecutor (#6084)

signal: add strsignal() (#6017)

Co-authored-by: Vajrasky Kok <sky.kok@speaklikeaking.com>

bpo-33021: Release the GIL during fstat() calls (GH-6019)

fstat may block for long time if the file descriptor is on a
non-responsive NFS server, hanging all threads. Most fstat() calls are
handled by _Py_fstat(), releasing the GIL internally, but but
_Py_fstat_noraise() does not release the GIL, and most calls release the
GIL explicitly around it.

This patch fixes last 2 calls to _Py_fstat_no_raise(), avoiding hangs
when calling:
- mmap.mmap()
- os.urandom()
- random.seed()

bpo-31804: Fix multiprocessing.Process with broken standard streams (#6079)

In some conditions the standard streams will be None or closed in the child process (for example if using "pythonw" instead of "python" on Windows).  Avoid failing with a non-0 exit code in those conditions.

Report and initial patch by poxthegreat.

Drop confusing commented out code in pystrtod.c (GH-6072)

bpo-32970: Improve disassembly of the MAKE_FUNCTION instruction. (GH-5937)

bpo-32925: Optimized iterating and containing test for literal lists (GH-5842)

consisting of non-constants: `x in [a, b]` and `for x in [a, b]`.
The case of all constant elements already was optimized.

bpo-32946: Speed up "from ... import ..." from non-packages. (GH-5873)

bpo-32338: OrderedDict import is no longer needed in re. (#4891)

bpo-33026: Fix jumping out of "with" block by setting f_lineno. (#6026)

bpo-32996: Improve What's New in 3.7. (#5983)

bpo-33045: Fix typos in SSL documentation (GH-6065)

bpo-27645: Skip test_bad_target_in_transaction if SQLite == 3.8.7.1 (GH-6067)

bpo-27645: Add support for native backup facility of SQLite (GH-4238)

bpo-30249: Improve struct.unpack_from() error messages (GH-6059)

bpo-33041: Add missed error checks when compile "async for" (#6053)

and remove redundant code.

bpo-33041: Fixed bytecode generation for "async for" with a complex target. (#6052)

A StopAsyncIteration raised on assigning or unpacking will be now propagated
instead of stopping the iteration.

bpo-33037: Skip sending/receiving after SSL transport closing (GH-6044)

* Skip write()/data_received() if sslpipe is destroyed

bpo-26701: Improve documentation for the rounding special methods. (#6054)

bpo-26701: Add documentation for __trunc__ (GH-6022)

`int` fails back to `__trunc__` is `__int__` isn't defined, so cover
that in the docs.

Warn that dbm.dumb.open() can crash Python (GH-6047)

Warn that compile() can crash when compiling to an AST object (GH-6043)

bpo-32758: Warn that ast.parse() and ast.literal_eval() can segfault the interpreter (GH-5960)

controlflow: Use full example for "5 through 9" (GH-5907)

Replace example result of "5 through 9" with complete list: "5, 6, 7, 8, 9".
This format is more consistent with the surrounding examples.

bpo-33016: Fix potential use of uninitialized memory in nt._getfinalpathname (#6010)

Add two missing error checks in hamt.c (GH-5851)

Fix some ipaddress documentation errors (GH-6021)

* fix a typo: documention -> documentation
* fix the type of IPv?Network.hostmask
* add documentation about IPv?Network.netmask
* fix IPv6Network constructor doc that extended netmasks are not supported

bpo-32999: Fix ABC.__subclasscheck__ crash (GH-6002)

bpo-32969: Expose some missing constants in zlib and fix the doc (GH-5988)

bpo-33009: Fix inspect.signature() for single-parameter partialmethods. (GH-6004)

bpo-33005: Fix _PyGILState_Reinit() (#6001)

Fix a crash on fork when using a custom memory allocator (ex: using
PYTHONMALLOC env var).

_PyGILState_Reinit() and _PyInterpreterState_Enable() now use the
default RAW memory allocator to allocate a new interpreters mutex on
fork.

Fix strncpy warning with gcc 8 (#5840)

The length in strncpy is one char too short and as a result it leads
to a build warning with gcc 8.  Comment out the strncpy since the
interpreter aborts immediately after anyway.

bpo-32991: Restore expectation that inspect.getfile raises TypeError on namespace package (GH-5980)

* bpo-32991: Add test capturing expectation.

DocTestFinder.find should return an empty list for doctests in a namespace package.

* bpo-32991: Restore expectation that inspect.getfile on a namespace package raises TypeError.

bpo-33001: Prevent buffer overrun in os.symlink (GH-5989)

Add What's New for issues 32303 and 32305 (GH-5994)

bpo-32984: IDLE - set __file__ for startup files (GH-5981)

Like Python, IDLE optionally runs one startup file in the Shell window
before presenting the first interactive input prompt.  For IDLE,
option -s runs a file named in environmental variable IDLESTARTUP or
PYTHONSTARTUP; -r file runs file.  Python sets __file__ to the startup
file name before running the file and unsets it before the first
prompt.  IDLE now does the same when run normally, without the -n
option.

bpo-30147: Add re.escape changes to 3.7 What's New (GH-5978)

bpo-32857: Raise error when tkinter after_cancel() is called with None. (GH-5701)

closes bpo-32980 Remove _PyFrame_Init (GH-5965)

bpo-32981: Fix catastrophic backtracking vulns (#5955)

* Prevent low-grade poplib REDOS (CVE-2018-1060)

The regex to test a mail server's timestamp is susceptible to
catastrophic backtracking on long evil responses from the server.

Happily, the maximum length of malicious inputs is 2K thanks
to a limit introduced in the fix for CVE-2013-1752.

A 2KB evil response from the mail server would result in small slowdowns
(milliseconds vs. microseconds) accumulated over many apop calls.
This is a potential DOS vector via accumulated slowdowns.

Replace it with a similar non-vulnerable regex.

The new regex is RFC compliant.
The old regex was non-compliant in edge cases.

* Prevent difflib REDOS (CVE-2018-1061)

The default regex for IS_LINE_JUNK is susceptible to
catastrophic backtracking.
This is a potential DOS vector.

Replace it with an equivalent non-vulnerable regex.

Also introduce unit and REDOS tests for difflib.

Co-authored-by: Tim Peters <tim.peters@gmail.com>
Co-authored-by: Christian Heimes <christian@python.org>

Fix missing coroutine declaration in the asyncio documentation. (#5964)

bpo-32964: Reuse a testing implementation of the path protocol in tests. (#5930)

bpo-30607: Use external python-doc-theme (GH-2017)

Fixed incorrect default value for dataclass unsafe_hash. (GH-5949)

bpo-32903: Fix a memory leak in os.chdir() on Windows (GH-5801)

Fix typo in logging doc: picked -> pickled (GH-5942)

bpo-32940: IDLE: Simplify StringTranslatePseudoMapping in pyparse (GH-5862)

The new code also runs faster.

Fix 3.8 whatsnew changelog link

Minor improvements to the Windows build/release process (GH-5935)

bpo-30928:  Update idlelib/NEWS.txt, possibly for 3.7.0b2  (GH-5932)

Revert "bpo-31961: subprocess now accepts path-like args (GH-4329)" (#5912)

* Revert "bpo-31961: subprocess now accepts path-like args (GH-4329)"

This reverts commit dd42cb71f2cb02f3a32f016137b12a146bc0d0e2.

Update macOS installer resources

bpo-32901: update macOS 10.9+ installer to Tcl/Tk 8.6.8

bpo-31355: Travis-CI: re-enable macOS job (#5858)

The long build queues that plagued macOS builds on Travis seem to be
a thing of the past now.

bpo-10381, bpo-32403: What's new entries for changes to datetime (gh-5814)

* Add What's New entry for addition of datetime.timezone to the C API

Closes bpo-10381

* Add what's new entry for date and datetime optimizations

Closes bpo-32403

bpo-31453: Add setter for min/max protocol version (#5259)

OpenSSL 1.1 has introduced a new API to set the minimum and maximum
supported protocol version. The API is easier to use than the old
OP_NO_TLS1 option flags, too.

Since OpenSSL has no call to set minimum version to highest supported,
the implementation emulate maximum_version = MINIMUM_SUPPORTED and
minimum_version = MAXIMUM_SUPPORTED by figuring out the minumum and
maximum supported version at compile time.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-32951: Disable SSLSocket/SSLObject constructor (#5864)

Direct instantiation of SSLSocket and SSLObject objects is now prohibited.
The constructors were never documented, tested, or designed as public
constructors. The SSLSocket constructor had limitations. For example it was
not possible to enabled hostname verification except was
ssl_version=PROTOCOL_TLS_CLIENT with cert_reqs=CERT_REQUIRED.

SSLContext.wrap_socket() and SSLContext.wrap_bio are the recommended API
to construct SSLSocket and SSLObject instances. ssl.wrap_socket() is
also deprecated.

The only test case for direct instantiation was added a couple of days
ago for IDNA testing.

Signed-off-by: Christian Heimes <christian@python.org>