bpo-36402: Fix threading._shutdown() race condition (GH-13948)

Fix a race condition at Python shutdown when waiting for threads.
Wait until the Python thread state of all non-daemon threads get
deleted (join all non-daemon threads), rather than just wait until
Python threads complete.

* Add threading._shutdown_locks: set of Thread._tstate_lock locks
  of non-daemon threads used by _shutdown() to wait until all Python
  thread states get deleted. See Thread._set_tstate_lock().
* Add also threading._shutdown_locks_lock to protect access to
  threading._shutdown_locks.
* Add test_finalization_shutdown() test.

bpo-36779: time.tzname returns empty string on Windows if default cod… (GH-13073)

Calling setlocale(LC_CTYPE, "") on a system where GetACP() returns CP_UTF8 results in empty strings in _tzname[].

This causes time.tzname to be an empty string.
I have reported the bug to the UCRT team and will follow up, but it will take some time get a fix into production.

In the meantime one possible workaround is to temporarily change the locale by calling setlocale(LC_CTYPE, "C") before calling _tzset and restore the current locale after if the GetACP() == CP_UTF8 or CP_UTF7

@zooba

https://bugs.python.org/issue36779

bpo-37069: regrtest uses sys.unraisablehook (GH-13759)

regrtest now uses sys.unraisablehook() to mark a test as "environment
altered" (ENV_CHANGED) if it emits an "unraisable exception".
Moreover, regrtest logs a warning in this case.

Use "python3 -m test --fail-env-changed" to catch unraisable
exceptions in tests.

bpo-37223, test_io: silence last 'Exception ignored in:' (GH-14029)

Use catch_unraisable_exception() to ignore 'Exception ignored in:'
error when the internal BufferedWriter of the BufferedRWPair is
destroyed. The C implementation doesn't give access to the
internal BufferedWriter, so just ignore the warning instead.

Make asyncio stream sendfile fail on error (was hang) (GH-14025)

bpo-37236: pragma optimize off for _Py_c_quot on Windows arm64 (GH-13983)

bpo-37201: fix test_distutils failures for Windows ARM64 (GH-13902)

bpo-37160: Thread native ID NetBSD support (GH-13835)

bpo-35545: Skip `test_asyncio.test_create_connection_ipv6_scope` on AIX (GH-14011)

because "getaddrinfo()" behaves different on AIX

https://bugs.python.org/issue35545

bpo-29505: Fuzz json module, enforce size limit on int(x) fuzz (GH-13991)

* bpo-29505: Enable fuzz testing of the json module, enforce size limit on int(x) fuzz and json input size to avoid timeouts.

Contributed by by Ammar Askar for Google.

bpo-32625: Updated documentation for EXTENDED_ARG. (GH-13985)

Python 3.6 changed the size of bytecode instruction, while the documentation for `EXTENDED_ARG` was not updated accordingly.

bpo-26219: Fix compiler warning in _PyCode_InitOpcache() (GH-13997)

Fix MSVC warning:

    objects\codeobject.c(285): warning C4244: '=':
    conversion from 'Py_ssize_t' to 'unsigned char',
    possible loss of data

bpo-36918: Fix "Exception ignored in" in test_urllib (GH-13996)

Mock the HTTPConnection.close() method in a few unit tests to avoid
logging "Exception ignored in: ..." messages.

bpo-35766: compile(): rename feature_version parameter (GH-13994)

Rename compile() feature_version parameter to _feature_version and
convert it to a keyword-only parameter.

Update also test_type_comments to pass feature_version as a tuple.

bpo-35766: Change format for feature_version to (major, minor) (GH-13992)

(A single int is still allowed, but undocumented.)

https://bugs.python.org/issue35766

bpo-37238: Enable building for Windows using Visual Studio 2019 (GH-13988)

bpo-35766: What's new in the ast and typing modules (#13984)

Fix test_posix if RWF_HIPRI is defined but not preadv2. (GH-13980)

If preadv2 is not available, preadv will raise NotImplementedError.

closes bpo-33758: Skip test_get_type_hints_modules_forwardref. (GH-13977)

This test "works" if things are run in the right order, so it's better to use @skip than @expectedFailure here.

bpo-36607: Eliminate RuntimeError raised by asyncio.all_tasks() (GH-13971)

If internal tasks weak set is changed by another thread during iteration.

https://bugs.python.org/issue36607

bpo-37219: Remove erroneous optimization for differencing an empty set (GH-13965)

closes bpo-35184: Fix XML_POOR_ENTROPY option that breaks makesetup parsing of pyexpat line in Setup. (GH-13064)

When the line is uncommented, the equals character causes it to be incorrectly interpreted
as a macro definition by makesetup.  This results in invalid Makefile output.

The expat code only requires XML_POOR_ENTROPY to be defined; the value is unnecessary.

bpo-37223: test_io: silence destructor errors (GH-13954)

Implement also MockNonBlockWriterIO.seek() method.

bpo-18748: Fix _pyio.IOBase destructor (closed case) (GH-13952)

_pyio.IOBase destructor now does nothing if getting the closed
attribute fails to better mimick _io.IOBase finalizer.

bpo-37215: Fix dtrace issue introduce by bpo-36842 (GH-13940)

Signed-off-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue37215

Do not use explicit inheritance from object in the documentation. (GH-13936)

bpo-36785: PEP 574 What's New entry (#13931)

Add some placeholder notes for major 3.8 features (GH-13927)

bpo-11122: fix hardcoded path checking for rpmbuild in bdist_rpm.py (GH-10594)

bpo-37178: Allow a one argument form of math.perm() (GH-13905)

bpo-34886: Fix subprocess.run handling of exclusive arguments (GH-11727)

Fix an unintended ValueError from :func:`subprocess.run` when checking for
conflicting `input` and `stdin` or `capture_output` and `stdout` or `stderr` args
when they were explicitly provided but with `None` values within a passed in
`**kwargs` dict rather than as passed directly by name.

bpo-29505: Fix interpreter in fuzzing targets to be relocatable (GH-13907)

bpo-37173: Show passed class in inspect.getfile error (GH-13861)

Currently, inspect.getfile(str) will report nonsense:

```pytb
>>> inspect.getfile(str)
TypeError: <module 'builtins' (built-in)> is a built-in class
```

This fixes that

https://bugs.python.org/issue37173

cross port importlib-metadata PR #76 (#13903)

https://gitlab.com/python-devs/importlib_metadata/merge_requests/76

bpo-37150: Throw ValueError if FileType class object was passed in add_argument (GH-13805)

There is a possibility that someone (like me) accidentally will omit parentheses with `FileType` arguments after `FileType`, and parser will contain wrong file until someone will try to use it.

Example:
```python
parser = argparse.ArgumentParser()
parser.add_argument('-x', type=argparse.FileType)
```

https://bugs.python.org/issue37150

bpo-37138: fix undefined behaviour with memcpy() on NULL array (GH-13867)

bpo-37181: Fix test_regrtest failures on Windows arm64 (GH-13872)

bpo-37191: Move TestPEP590 from test_capi to test_call (GH-13892)

bpo-37169: Rewrite _PyObject_IsFreed() unit tests (GH-13888)

Replace two Python function calls with a single one to ensure that no
memory allocation is done between the invalid object is created and
when _PyObject_IsFreed() is called.

bpo-37151: simplify classmethoddescr_call (GH-13340)

Use assertEqual(). (#13883)

IDLE: Standardize naming convention for DummyEditwin in tests (GH-13876)

* Change from Dummy_Editwin to DummyEditwin to match other tests.

bpo-37188: Fix a divide-by-zero in arrays of size-0 objects (#13881)

bpo-37177: make IDLE's search dialogs transient (GH-13869)

This avoids the search dialogs being hidden behind the editor window.

bpo-37134: Add PEP570 notation to the signature of byte{array}.translate (GH-13874)

bpo-37170: Fix the cast on error in PyLong_AsUnsignedLongLongMask() (GH-13860)

bpo-36520: Email header folded incorrectly (#13608)

* bpo-36520: reset the encoded word offset when starting a new
line during an email header folding operation

* 📜🤖 Added by blurb_it.

* bpo-36520: add an additional test case, and provide descriptive
comments for the test_folding_with_utf8_encoding_* tests

* bpo-36520: fix whitespace issue

* bpo-36520: changes per reviewer request -- remove extraneous
backslashes; add whitespace between terminating quotes and
line-continuation backslashes; use "bpo-" instead of
"issue #" in comments

bpo-37156: Fix libssl DLL tag in MSI sources (GH-13866)

bpo-36763, _testembed: enable assert() in release mode (GH-13857)

bpo-2661: Make mapping tests better usable for custom mapping classes. (GH-11157)

In test_fromkeys() the derived test class now supports all arguments in its
constructor so that the class to be tested can use its own constructor in its
fromkeys() implementation.

In test_mutatingiteration() the test fails as soon as iterating over a
dictionary with one entry and adding new entries in the loop iterates more
than once (to avoid endless loops in faulty implementations).

https://bugs.python.org/issue2661

bpo-35551: remove mac_centeuro encoding (GH-13856)

It is alias to mac_latin2 now.

Add importlib.metadata to what's new. (#13855)

bpo-37134: Use PEP570 syntax for sum() (GH-13851)

bpo-37165: Convert _count_elements to the argument clinic (GH-13848)

bpo-35551: encodings update (GH-11446)

bpo-37134: Add PEP570 notation to the documentation (GH-13743)

bpo-33725, multiprocessing doc: rephase warning against fork on macOS (GH-13841)

Co-Authored-By: Barry Warsaw <barry@python.org>

bpo-21315: Fix parsing of encoded words with missing leading ws. (#13425)

* bpo-21315: Fix parsing of encoded words with missing leading ws.

Because of missing leading whitespace, encoded word would get parsed as
unstructured token. This patch fixes that by looking for encoded words when
splitting tokens with whitespace.

Missing trailing whitespace around encoded word now register a defect
instead.

Original patch suggestion by David R. Murray on bpo-21315.

[3.9] bpo-37116: Use PEP 570 syntax for positional-only parameters. (GH-12620)

Turn deprecation warnings added in 3.8 into TypeError.

bpo-37158: Simplify and speed-up statistics.fmean() (GH-13832)

bpo-26836: Document os.memfd_create() name parameter (GH-13838)

https://bugs.python.org/issue26836

bpo-34767: Do not always create a collections.deque() in asyncio.Lock() (GH-13834)

https://bugs.python.org/issue34767

Fix documentation (GH-13721)

Based on the source code https://github.com/python/cpython/blob/4a686504eb2bbf69adf78077458508a7ba131667/Lib/multiprocessing/pool.py#L755 AsyncResult.successful() raises a ValueError, not an AssertionError.

bpo-36373:  Deprecate explicit loop parameter in all public asyncio APIs [streams] (GH-13671)

This PR deprecate explicit loop parameters in all public asyncio APIs

This issues is split to be easier to review.

Second step: streams.py

https://bugs.python.org/issue36373

 bpo-35763: Make IDLE calltip note about '/' less obtrusive (GH-13791)

Add it to the end of the first line if there is room.  Tests were reworked.

Doc: Python 3.9 in sidebar and version switcher. (GH-13824)

bpo-34282: Remove deprecated enum _convert method (GH-13823)

Bump version in AppVeyor config (#13822)

Bump to 3.9.0a0

Merge tag 'v3.8.0b1'

Python 3.8.0b1

bpo-35047: Update whatsnew/3.8 for better mock error message (GH-13746)

bpo-30835: email: Fix AttributeError when parsing invalid CTE (GH-13598)

* bpo-30835: email: Fix AttributeError when parsing invalid Content-Transfer-Encoding

Parsing an email containing a multipart Content-Type, along with a
Content-Transfer-Encoding containing an invalid (non-ASCII-decodable) byte
will fail. email.feedparser.FeedParser._parsegen() gets the header and
attempts to convert it to lowercase before comparing it with the accepted
encodings, but as the header contains an invalid byte, it's returned as a
Header object rather than a str.

Cast the Content-Transfer-Encoding header to a str to avoid this.

Found using the AFL fuzzer.

Reported-by: Daniel Axtens <dja@axtens.net>
Signed-off-by: Andrew Donnellan <andrew@donnellan.id.au>
* Add email and NEWS entry for the bugfix.

Python 3.8.0b1

bpo-35805: Add parser for Message-ID email header. (GH-13397)

* bpo-35805: Add parser for Message-ID header.

This parser is based on the definition of Identification Fields from RFC 5322
Sec 3.6.4.

This should also prevent folding of Message-ID header using RFC 2047 encoded
words and hence fix bpo-35805.

* Prevent folding of non-ascii message-id headers.
* Add fold method to MsgID token to prevent folding.

bpo-37153: test_venv.test_mutiprocessing() calls pool.terminate() (GH-13816)

test_venv.test_mutiprocessing() now explicitly calls pool.terminate()
to wait until the pool completes.

bpo-36742: Corrects fix to handle decomposition in usernames (#13812)

Fix extraneous whitespace in QueueListener.prepare (GH-13803)

bpo-30699: Improve example on datetime tzinfo instances (GH-4290)

* Improve example on tzinfo instances

Move from GMTX to TZX when naming the classes, as GMT1 might be rather
confusing as seen in the reported issue.
In addition, move to UTC over GMT and improve the tzname implementation.

* Simplify datetime with tzinfo example

Move the example in the documentation to just use timezone.utc and a
user defined Kabul timezone rather than having two user defined
timezones with DST.

Kabul timezone is still interesting as it changes its offset but not
based on DST. This is more accurate as the previous example was missing
information about the fold attribute. Additionally, implementing the fold
attribute was rather complex and probably not relevant enough for the
section "datetime with tzinfo".

bpo-36778: Remove outdated comment from CodePageTest (GH-13807)

CP65001Test has been removed.

bpo-26219: Fix compiler warning in _PyCode_InitOpcache() (GH-13809)

Fix this MSVC warning:

    objects\codeobject.c(264): warning C4244: '=':
    conversion from 'Py_ssize_t' to 'unsigned char', possible loss of data

bpo-37142: Make asyncio stream tests more robust again (GH-13804)

Make test_stream_server_close() implementation following test_stream_server_abort().
 Add explicit timeout for tests that can hang.

Make StreamServer.close() tests more robust (GH-13790)

Revert "bpo-34037, asyncio: add BaseEventLoop.wait_executor_on_close (GH-13786)" (#13802)

This reverts commit 0f0a30f4da4b529e0f7df857b9f575b231b32758.

Fix grammar (GH-13801)

More updates to the annotated assignments docs (GH-13794)

bpo-37148: Fix asyncio test that check for warning when running the test suite with huntleaks (GH-13800)

bpo-35431: Drop the k <= n requirement (GH-13798)

Revert "bpo-36818: Add PyInterpreterState.runtime field. (gh-13129)" (GH-13795)

This reverts commit 396e0a8d9dc65453cb9d53500d0a620602656cfe.

Revert "bpo-35621: Support running subprocesses in asyncio when loop is executed in non-main thread (#13630)" (GH-13793)

https://bugs.python.org/issue35621

bpo-37146: disable opcache when Py_DEBUG is defined (GH-13787)

--with-pydebug is commonly used to find memory leaks.
But opcache makes it harder.
So disable opcache when Py_DEBUG is defined.

bpo-34037, asyncio: add BaseEventLoop.wait_executor_on_close (GH-13786)

Add BaseEventLoop.wait_executor_on_close attribute: true by default.

loop.close() now waits for the default executor to finish by default.
Set loop.wait_executor_on_close attribute to False to not wait for
the executor.

bpo-37120: Add SSLContext.num_tickets (GH-13719)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-36868: Fix what's new for SSLContext.hostname_checks_common_name (GH-13248)

What's new now mentions SSLContext.hostname_checks_common_name instead of SSLContext.host_flags.

https://bugs.python.org/issue36868

bpo-34271: Fix compatibility with 1.0.2 (GH-13728)

Fix various compatibility issues with LibreSSL and OpenSSL 1.0.2
introduced by bpo-34271.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-37081: Test with OpenSSL 1.1.1c (GH-13631)

Signed-off-by: Christian Heimes <christian@python.org>

Revert "bpo-33608: Factor out a private, per-interpreter _Py_AddPendingCall(). (gh-13714)" (GH-13780)

This reverts commit 6a150bcaeb190d1731b38ab9c7a5d1a352847ddc.

bpo-37137: Fix test_asyncio: use TestCase.set_event_loop() (GH-13779)

Replace asyncio.set_event_loop() with TestCase.set_event_loop() of
test_asyncio.utils: this method calls TestCase.close_loop() which
waits until the executor completes, to avoid leaking dangling
threads.

Inherit from test_asyncio.utils.TestCase rather than
unittest.TestCase.

bpo-37087: Adding native ID support for OpenBSD (GH-13654)

Doc fix: duplicate object description of email.message (GH-13742)

Add credits to What's New in Python 3.8 (GH-13776)

* Credit myself and others.
* Complete asyncio changes.