bpo-33134: dataclasses: use function dispatch table for hash, instead of a string lookup which then is tested with if tests. (GH-6222)

* Change _hash_action to be a function table lookup, instead of a list
of strings which is then tested with if statements.

Trivial dataclass cleanups: (GH-6218)

- When adding a single element to a list, use .append() instead of
  += and creating a new list.
- For consistency, import the copy module, instead of just deepcopy. This
  leaves only a module at the class level, instead of a function.
- Improve some comments.
- Improve some whitespace.
- Use tuples instead of lists.
- Simplify a test.

bpo-33132: Fix reference counting issues in the compiler. (GH-6209)

bpo-33127: Compatibility patch for LibreSSL 2.7.0 (GH-6210)

LibreSSL 2.7 introduced OpenSSL 1.1.0 API. The ssl module now detects
LibreSSL 2.7 and only provides API shims for OpenSSL < 1.1.0 and
LibreSSL < 2.7.

Documentation updates and fixes for failing tests will be provided in
another patch set.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-24334: Remove inaccurate match_hostname call (#6211)

Commit 141c5e8c re-added match_hostname() call. The resurrection of the
function call was never intended and was solely a merge mistake.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-32932: More revealing error message when non-str objects in __all__ (GH-5848)

bpo-27428: Fix WindowsRegistryFinder documentation to list appropriate ABC (GH-6061)

bpo-31639: Use threads in http.server module. (GH-5018)

Fix a reference to the MRE book in re docs (GH-1113)

Reported by Maksym Nikulyak on docs.p.o.

bpo-30953: Improve error messages and add tests for jumping (GH-6196)

into/out of an except block.

bpo-33041: Rework compiling an "async for" loop. (#6142)

* Added new opcode END_ASYNC_FOR.
* Setting global StopAsyncIteration no longer breaks "async for" loops.
* Jumping into an "async for" loop is now disabled.
* Jumping out of an "async for" loop no longer corrupts the stack.
* Simplify the compiler.

bpo-32999: ast: Convert useless check to assert (GH-6197)

bpo-32505: dataclasses: raise TypeError if a member variable is of type Field, but doesn't have a type annotation. (GH-6192)

If a dataclass has a member variable that's of type Field, but it doesn't have a type annotation, raise TypeError.

bpo-32999: Revert GH-6002 (fc7df0e6) (GH-6189)

bpo-33018 (GH-5944) fixed bpo-32999 too.  So fc7df0e6 is not required
anymore.  Revert it except test case.

bpo-33018: Improve issubclass() error checking and message. (GH-5944)

This improves error message for situations when a non-class is
checked w.r.t. an abstract base class.

Upgrade pip to v9.0.3 and setuptools to v39.0.1 (#6184)

Add 'Field' to dataclasses.__all__. (GH-6182)

- Add missing 'Field' to __all__.
- Improve tests to catch this.

FIX failure on OSX sem_getvalue (#6180)

bpo-33078 - Fix queue size on pickling error (GH-6119)

Fix typos in mmap() error messages (GH-6173)

bpo-32896: Fix error when subclassing a dataclass with a field that uses a default_factory (GH-6170)

Fix the way that new annotations in a class are detected.

bpo-27683: Fix a regression for host() of ipaddress network objects (GH-6016)

The result of host() was not empty when the network is constructed by a tuple containing an
integer mask and only 1 bit left for addresses.

 bpo-18802: Add more details to ipaddress documentation (GH-6083)

Original patch by Jon Foster and Berker Peksag.

bpo-28247: Document Windows executable creation in zipapp (GH-6158)

bpo-33034: Improve exception message when cast fails for {Parse,Split}Result.port (GH-6078)

bpo-33100: Dataclasses now handles __slots__ and default values correctly. (GH-6152)

If the class has a member that's a MemberDescriptorType, it's not a default value, it's from that member being in __slots__.

bpo-33061: Add missing 'NoReturn' to __all__ in typing.py (GH-6127)

bpo-32953: Dataclasses: frozen should not be inherited for non-dataclass derived classes (#6147)

If a non-dataclass derives from a frozen dataclass, allow attributes to be set.
Require either all of the dataclasses in a class hierarchy to be frozen, or all non-frozen.
Store `@dataclass` parameters on the class object under `__dataclass_params__`. This is needed to detect frozen base classes.

bpo-19417: Add test_bdb.py (GH-5217)

Revert "bpo-30406: Make async and await proper keywords (#1669)" (GH-6143)

This reverts commit ac317700ce7439e38a8b420218d9a5035bba92ed.

(Reverts only the lib2to3 part.)

bpo-32489: Allow 'continue' in 'finally' clause. (GH-5822)

bpo-32056: Improve exceptions in aifc, wave and sunau. (GH-5951)

bpo-33041: Add tests for jumps in/out of 'async with' blocks. (#6110)

bpo-27645: Fix version number in 'database in transaction' fallback (GH-6131)

It was actually fixed in SQLite 3.8.8, not 3.8.7.

Update pip to 9.0.2 and setuptools to 38.6.1 (#6133)

bpo-32374:  m_traverse may be called with m_state=NULL (GH-5140)

Multi-phase initialized modules allow m_traverse to be called while the
module is still being initialized, so module authors may need to account
for that.

bpo-33021: Fix GCC 7 warning (-Wmaybe-uninitialized) in mmapmodule.c (#6117)

lib2to3: Add more tests (#6101)

bpo-17288: Prevent jumps from 'return' and 'exception' trace events. (GH-6107)

(cherry picked from commit e32bbaf376a09c149fa7c7f2919d7c9ce4e2a055)

bpo-32885: Tools/scripts/pathfix.py: Add -n option for no backup~ (#5772)

Creating backup files with ~ suffix can be undesirable in some environment,
such as when building RPM packages. Instead of requiring the user to remove
those files manually, option -n was added, that simply disables this feature.

-n was selected because 2to3 has the same option with this behavior.

bpo-33064: lib2to3: support trailing comma after *args and **kwargs (#6096)

New tests also added.

I also made the comments in line with the builtin Grammar/Grammar. PEP 306 was
withdrawn, Kees Blom's railroad program has been lost to the sands of time for
at least 16 years now (I found a python-dev post from people looking for it).

bpo-29719: Remove Date and Release field in whatsnew/3.7 and 8 (GH-6093)

Add macOS installer Conclusion file

bpo-22674: fix test_strsignal on OSX (GH-6085)

Fix docs markup for asyncio current_task() and all_tasks() (#6089)

bpo-33056 FIX leaking fd in concurrent.futures.ProcessPoolExecutor (#6084)

signal: add strsignal() (#6017)

Co-authored-by: Vajrasky Kok <sky.kok@speaklikeaking.com>

bpo-33021: Release the GIL during fstat() calls (GH-6019)

fstat may block for long time if the file descriptor is on a
non-responsive NFS server, hanging all threads. Most fstat() calls are
handled by _Py_fstat(), releasing the GIL internally, but but
_Py_fstat_noraise() does not release the GIL, and most calls release the
GIL explicitly around it.

This patch fixes last 2 calls to _Py_fstat_no_raise(), avoiding hangs
when calling:
- mmap.mmap()
- os.urandom()
- random.seed()

bpo-31804: Fix multiprocessing.Process with broken standard streams (#6079)

In some conditions the standard streams will be None or closed in the child process (for example if using "pythonw" instead of "python" on Windows).  Avoid failing with a non-0 exit code in those conditions.

Report and initial patch by poxthegreat.

Drop confusing commented out code in pystrtod.c (GH-6072)

bpo-32970: Improve disassembly of the MAKE_FUNCTION instruction. (GH-5937)

bpo-32925: Optimized iterating and containing test for literal lists (GH-5842)

consisting of non-constants: `x in [a, b]` and `for x in [a, b]`.
The case of all constant elements already was optimized.

bpo-32946: Speed up "from ... import ..." from non-packages. (GH-5873)

bpo-32338: OrderedDict import is no longer needed in re. (#4891)

bpo-33026: Fix jumping out of "with" block by setting f_lineno. (#6026)

bpo-32996: Improve What's New in 3.7. (#5983)

bpo-33045: Fix typos in SSL documentation (GH-6065)

bpo-27645: Skip test_bad_target_in_transaction if SQLite == 3.8.7.1 (GH-6067)

bpo-27645: Add support for native backup facility of SQLite (GH-4238)

bpo-30249: Improve struct.unpack_from() error messages (GH-6059)

bpo-33041: Add missed error checks when compile "async for" (#6053)

and remove redundant code.

bpo-33041: Fixed bytecode generation for "async for" with a complex target. (#6052)

A StopAsyncIteration raised on assigning or unpacking will be now propagated
instead of stopping the iteration.

bpo-33037: Skip sending/receiving after SSL transport closing (GH-6044)

* Skip write()/data_received() if sslpipe is destroyed

bpo-26701: Improve documentation for the rounding special methods. (#6054)

bpo-26701: Add documentation for __trunc__ (GH-6022)

`int` fails back to `__trunc__` is `__int__` isn't defined, so cover
that in the docs.

Warn that dbm.dumb.open() can crash Python (GH-6047)

Warn that compile() can crash when compiling to an AST object (GH-6043)

bpo-32758: Warn that ast.parse() and ast.literal_eval() can segfault the interpreter (GH-5960)

controlflow: Use full example for "5 through 9" (GH-5907)

Replace example result of "5 through 9" with complete list: "5, 6, 7, 8, 9".
This format is more consistent with the surrounding examples.

bpo-33016: Fix potential use of uninitialized memory in nt._getfinalpathname (#6010)

Add two missing error checks in hamt.c (GH-5851)

Fix some ipaddress documentation errors (GH-6021)

* fix a typo: documention -> documentation
* fix the type of IPv?Network.hostmask
* add documentation about IPv?Network.netmask
* fix IPv6Network constructor doc that extended netmasks are not supported

bpo-32999: Fix ABC.__subclasscheck__ crash (GH-6002)

bpo-32969: Expose some missing constants in zlib and fix the doc (GH-5988)

bpo-33009: Fix inspect.signature() for single-parameter partialmethods. (GH-6004)

bpo-33005: Fix _PyGILState_Reinit() (#6001)

Fix a crash on fork when using a custom memory allocator (ex: using
PYTHONMALLOC env var).

_PyGILState_Reinit() and _PyInterpreterState_Enable() now use the
default RAW memory allocator to allocate a new interpreters mutex on
fork.

Fix strncpy warning with gcc 8 (#5840)

The length in strncpy is one char too short and as a result it leads
to a build warning with gcc 8.  Comment out the strncpy since the
interpreter aborts immediately after anyway.

bpo-32991: Restore expectation that inspect.getfile raises TypeError on namespace package (GH-5980)

* bpo-32991: Add test capturing expectation.

DocTestFinder.find should return an empty list for doctests in a namespace package.

* bpo-32991: Restore expectation that inspect.getfile on a namespace package raises TypeError.

bpo-33001: Prevent buffer overrun in os.symlink (GH-5989)

Add What's New for issues 32303 and 32305 (GH-5994)

bpo-32984: IDLE - set __file__ for startup files (GH-5981)

Like Python, IDLE optionally runs one startup file in the Shell window
before presenting the first interactive input prompt.  For IDLE,
option -s runs a file named in environmental variable IDLESTARTUP or
PYTHONSTARTUP; -r file runs file.  Python sets __file__ to the startup
file name before running the file and unsets it before the first
prompt.  IDLE now does the same when run normally, without the -n
option.

bpo-30147: Add re.escape changes to 3.7 What's New (GH-5978)

bpo-32857: Raise error when tkinter after_cancel() is called with None. (GH-5701)

closes bpo-32980 Remove _PyFrame_Init (GH-5965)

bpo-32981: Fix catastrophic backtracking vulns (#5955)

* Prevent low-grade poplib REDOS (CVE-2018-1060)

The regex to test a mail server's timestamp is susceptible to
catastrophic backtracking on long evil responses from the server.

Happily, the maximum length of malicious inputs is 2K thanks
to a limit introduced in the fix for CVE-2013-1752.

A 2KB evil response from the mail server would result in small slowdowns
(milliseconds vs. microseconds) accumulated over many apop calls.
This is a potential DOS vector via accumulated slowdowns.

Replace it with a similar non-vulnerable regex.

The new regex is RFC compliant.
The old regex was non-compliant in edge cases.

* Prevent difflib REDOS (CVE-2018-1061)

The default regex for IS_LINE_JUNK is susceptible to
catastrophic backtracking.
This is a potential DOS vector.

Replace it with an equivalent non-vulnerable regex.

Also introduce unit and REDOS tests for difflib.

Co-authored-by: Tim Peters <tim.peters@gmail.com>
Co-authored-by: Christian Heimes <christian@python.org>

Fix missing coroutine declaration in the asyncio documentation. (#5964)

bpo-32964: Reuse a testing implementation of the path protocol in tests. (#5930)

bpo-30607: Use external python-doc-theme (GH-2017)

Fixed incorrect default value for dataclass unsafe_hash. (GH-5949)

bpo-32903: Fix a memory leak in os.chdir() on Windows (GH-5801)

Fix typo in logging doc: picked -> pickled (GH-5942)

bpo-32940: IDLE: Simplify StringTranslatePseudoMapping in pyparse (GH-5862)

The new code also runs faster.

Fix 3.8 whatsnew changelog link

Minor improvements to the Windows build/release process (GH-5935)

bpo-30928:  Update idlelib/NEWS.txt, possibly for 3.7.0b2  (GH-5932)

Revert "bpo-31961: subprocess now accepts path-like args (GH-4329)" (#5912)

* Revert "bpo-31961: subprocess now accepts path-like args (GH-4329)"

This reverts commit dd42cb71f2cb02f3a32f016137b12a146bc0d0e2.

Update macOS installer resources

bpo-32901: update macOS 10.9+ installer to Tcl/Tk 8.6.8

bpo-31355: Travis-CI: re-enable macOS job (#5858)

The long build queues that plagued macOS builds on Travis seem to be
a thing of the past now.

bpo-10381, bpo-32403: What's new entries for changes to datetime (gh-5814)

* Add What's New entry for addition of datetime.timezone to the C API

Closes bpo-10381

* Add what's new entry for date and datetime optimizations

Closes bpo-32403