bpo-37321: Edit IDLE subprocess connection error messages. (#14170)

Mainly, add a doc reference to message in pyshell.

bpo-37039: Make IDLE's Zoom Height adjust to users' screens (GH-13678)

Measure required height by quickly maximizing once per screen.
A search for a better method failed.

bpo-34631: Updated OpenSSL to 1.1.1c in Windows installer (GH-14163)

bpo-34556: Add --upgrade-deps to venv module (#13100)

Add --upgrade-deps to venv module
- This allows for pip + setuptools to be automatically upgraded to the latest version on PyPI
- Update documentation to represent this change

bpo-34556: Add --upgrade to venv module

bpo-37111: Add 'encoding' and 'errors' parameters to logging.basicCon… (GH-14008)

bpo-37288: Fix Windows build when --no-tkinter is specified (GH-14096)

bpo-37194: Add PyObject_CallNoArgs() rationale (GH-14159)

Explain in the doc why PyObject_CallNoArgs() should be preferred over
other existing ways to call a function without any arguments.

bpo-35431: Test math.comb() and math.perm() for OverflowError only on CPython. (GH-14146)

Other implementation can raise MemoryError, but it can takes hours.

bpo-37315: Deprecate accepting floats in math.factorial(). (GH-14147)

bpo-37194: Complete PyObject_CallXXX() docs (GH-14156)

Mention explicitly that PyObject_CallXXX() functions raise an
exception an failure.

bpo-37194: Add a new public PyObject_CallNoArgs() function (GH-13890)

Add a new public PyObject_CallNoArgs() function to the C API: call a
callable Python object without any arguments.

It is the most efficient way to call a callback without any argument.
On x86-64, for example, PyObject_CallFunctionObjArgs(func, NULL)
allocates 960 bytes on the stack per call, whereas
PyObject_CallNoArgs(func) only allocates 624 bytes per call.

It is excluded from stable ABI 3.8.

Replace private _PyObject_CallNoArg() with public
PyObject_CallNoArgs() in C extensions: _asyncio, _datetime,
_elementtree, _pickle, _tkinter and readline.

bpo-37312: Remove _dummy_thread and dummy_threading modules (GH-14143)

Remove _dummy_thread and dummy_threading modules. These modules
were deprecated since Python 3.7 which requires threading support.

bpo-36922: use Py_TPFLAGS_METHOD_DESCRIPTOR in lookup_maybe_method() (GH-13865)

bpo-37231: remove _PyObject_FastCall_Prepend (GH-14153)

bpo-35031, test_asycio: disable TLS 1.3 in test_start_tls_server_1() (GH-14148)

bpo-35031, bpo-35998: Reintroduce workaround on Windows and FreeBSD
in test_start_tls_server_1() of test_asyncio: disable TLS v1.3 on the
client context.

bpo-36688: Adding an implementation of RLock in _dummy_thread (GH-12943)

bpo-37267: Do not check for FILE_TYPE_CHAR in os.dup() on Windows (GH-14051)

On Windows, os.dup() no longer creates an inheritable fd when handling a
character file.

bpo-37220: Fix 2.7 test -R crash on Windows. (GH-13957)

The patch needed for 2.7 should make the test more stable on 3.x also.

closes bpo-37300: Remove unnecessary Py_XINCREF in classobject.c. (GH-14120)

bpo-28805: document METH_FASTCALL (GH-14079)

Turn math.isqrt assertion into a comment to clarify its purpose. (GH-14131)

Simplify negativity checks in math.comb and math.perm. (GH-13870)

Doc: Remove an ugly space before a dot. (GH-14123)

bpo-35922: Fix RobotFileParser when robots.txt has no relevant crawl delay or request rate (GH-11791)

Co-Authored-By: Tal Einat <taleinat+github@gmail.com>

bpo-28009: Fix uuid SkipUnless logic to be based on platform programs capable of introspection (GH-12777)

uuid could try fallback methods that had no chance of working on a particular
platform, and this could cause spurious test failures, as well as degraded
performance as fallback options were tried and failed.

This fixes both the uuid module and its test's SkipUnless logic to use a
prefiltered list of techniques that may at least potentially work on that platform.

Patch by Michael Felt (aixtools).

bpo-37289: Remove 'if False' handling in the peephole optimizer (GH-14099)

Doc: Deprecation header: More precise wording. (GH-14109)

Update link in colorsys docs to be https (GH-14062)

Doc: Bump Sphinx verison. (#13785)

To reflect the one we're using in production.

Fix typo in Lib/concurrent/futures/thread.py (GH-13953)

Update weakref.rst (GH-14098)

Use threadpool for reading from file in sendfile fallback mode (#14076)

bpo-37279: Fix asyncio sendfile support when  extra data are sent in fallback mode. (GH-14075)

bpo-36707: Document "m" removal from sys.abiflags (GH-14090)

Fix Windows release build issues (GH-14091)

* Increase timeout for PGO builds in Windows release
* Fix test step failures
* Disable MinGW step properly
* Fix embeddable distro name

Document C API changes in What's New in Python 3.8 (GH-14092)

bpo-35537: Rewrite setsid test for os.posix_spawn (GH-11721)

bpo-35537, bpo-35876: Fix also test_start_new_session() of
test_subprocess: use os.getsid() rather than os.getpgid().

bpo-37266: Daemon threads are now denied in subinterpreters (GH-14049)

In a subinterpreter, spawning a daemon thread now raises an
exception. Daemon threads were never supported in subinterpreters.
Previously, the subinterpreter finalization crashed with a Pyton
fatal error if a daemon thread was still running.

* Add _thread._is_main_interpreter()
* threading.Thread.start() now raises RuntimeError if the thread is a
  daemon thread and the method is called from a subinterpreter.
* The _thread module now uses Argument Clinic for the new function.
* Use textwrap.dedent() in test_threading.SubinterpThreadingTests

bpo-37261: Document sys.unraisablehook corner cases (GH-14059)

Document reference cycle and resurrected objects issues in
sys.unraisablehook() and threading.excepthook() documentation.

Fix test.support.catch_unraisable_exception(): __exit__() no longer
ignores unraisable exceptions.

Fix test_io test_writer_close_error_on_close(): use a second
catch_unraisable_exception() to catch the BufferedWriter unraisable
exception.

bpo-19865: ctypes.create_unicode_buffer() supports non-BMP strings on Windows (GH-14081)

Implement Windows release builds in Azure Pipelines (GH-14065)

bpo-35998: Avoid TimeoutError in test_asyncio: test_start_tls_server_1() (GH-14080)

Update concurrent.futures.rst (GH-14061)

This PR adds missing details in the [`concurrent.futures`](https://docs.python.org/3/library/concurrent.futures.html) documentation:

* the mention that `Future.cancel` also returns `False` if the call finished running;
* the mention of the states for `Future` that did not complete: pending or running.

bpo-37278: Fix test_asyncio ProactorLoopCtrlC (GH-14074)

Join the thread to prevent leaking a running thread and leaking a
reference.

Cleanup also the test:

* asyncioWindowsProactorEventLoopPolicy became the default policy,
  there is no need to set it manually.
* Only start the thread once the loop is running.
* Use a shorter sleep in the thread (100 ms rather than 1 sec).
* Use close_loop(loop) rather than loop.close().
* Use longer variable names.

bpo-37249: add declaration of _PyObject_GetMethod (GH-14015)

bpo-37269: Correctly optimise conditionals with constant booleans (GH-14071)

Fix a regression introduced by af8646c8054d0f4180a2013383039b6a472f9698 that was causing code of the form:

if True and False:
   do_something()

to be optimized incorrectly, eliminating the block.

bpo-37077: Add native thread ID (TID) for AIX (GH-13624)

This is the followup  for issue36084

https://bugs.python.org/issue37077

bpo-36710: Pass explicitly tstate in sysmodule.c (GH-14060)

* Replace global var Py_VerboseFlag with interp->config.verbose.
* Add _PyErr_NoMemory(tstate) function.
* Add tstate parameter to _PyEval_SetCoroutineOriginTrackingDepth()
  and move the function to the internal API.
* Replace _PySys_InitMain(runtime, interp)
  with _PySys_InitMain(runtime, tstate).

bpo-37213: Handle negative line deltas correctly in the peephole optimizer (GH-13969)

The peephole optimizer was not optimizing correctly bytecode after negative deltas were introduced. This is due to the fact that some special values (255) were being searched for in both instruction pointer delta and line number deltas.

bpo-6689: os.path.commonpath raises ValueError for different drives isn't documented (GH-14045)

It would raise ValueError("Paths don't have the same drive") if the paths on different drivers, which is not documented.

os.path.commonpath raises ValueError when the *paths* are in different drivers, but it is not documented.
Update the document according @Windsooon 's suggestion.
It actually raise ValueError according line 355 of [test of path](https://github.com/python/cpython/blob/master/Lib/test/test_ntpath.py)

https://bugs.python.org/issue6689

bpo-37261: Fix support.catch_unraisable_exception() (GH-14052)

The __exit__() method of test.support.catch_unraisable_exception
context manager now ignores unraisable exception raised when clearing
self.unraisable attribute.

bpo-37210: Fix pure Python pickle when _pickle is unavailable (GH-14016)

Allow pure Python implementation of pickle to work
even when the C _pickle module is unavailable.

Fix test_pickle when _pickle is missing: declare PyPicklerHookTests
outside "if has_c_implementation:" block.

tbpo-36402: Fix threading.Thread._stop() (GH-14047)

Remove the _tstate_lock from _shutdown_locks, don't remove None.

bpo-37231: optimize calls of special methods (GH-13973)

bpo-37253: Remove PyAST_obj2mod_ex() function (GH-14020)

PyAST_obj2mod_ex() is similar to PyAST_obj2mod() with an additional
'feature_version' parameter which is unused.

bpo-35070: test_getgrouplist may fail on macOS if too many groups (GH-13071)

bpo-37216: update version to 3.9 in mac using document (GH-13966)

bpo-37257:  obmalloc:  stop simple arena thrashing (#14039)

GH-14039:  allow (no more than) one wholly empty arena on the usable_arenas list.

This prevents thrashing in some easily-provoked simple cases that could end up creating and destroying an arena on each loop iteration in client code.   Intuitively, if the only arena on the list becomes empty, it makes scant sense to give it back to the system unless we know we'll never need another free pool again before another arena frees a pool.  If the latter obtains, then - yes - this will "waste" an arena.

Add 3.9 whatsnew file (GH-14040)

bpo-37253: Fix typo in PyCompilerFlags doc (GH-14036)

Remove ";" to fix Sphinx formatting.

bpo-37253: Add _PyCompilerFlags_INIT macro (GH-14018)

Add a new _PyCompilerFlags_INIT macro to initialize PyCompilerFlags
variables, rather than initializing cf_flags and cf_feature_version
explicitly in each variable.

bpo-37253: Document PyCompilerFlags.cf_feature_version (GH-14019)

* Update PyCompilerFlags structure documentation.
* Document the new cf_feature_version field in the Changes in the C
  API section of the What's New in Python 3.8 doc.

bpo-36402: Fix threading._shutdown() race condition (GH-13948)

Fix a race condition at Python shutdown when waiting for threads.
Wait until the Python thread state of all non-daemon threads get
deleted (join all non-daemon threads), rather than just wait until
Python threads complete.

* Add threading._shutdown_locks: set of Thread._tstate_lock locks
  of non-daemon threads used by _shutdown() to wait until all Python
  thread states get deleted. See Thread._set_tstate_lock().
* Add also threading._shutdown_locks_lock to protect access to
  threading._shutdown_locks.
* Add test_finalization_shutdown() test.

bpo-36779: time.tzname returns empty string on Windows if default cod… (GH-13073)

Calling setlocale(LC_CTYPE, "") on a system where GetACP() returns CP_UTF8 results in empty strings in _tzname[].

This causes time.tzname to be an empty string.
I have reported the bug to the UCRT team and will follow up, but it will take some time get a fix into production.

In the meantime one possible workaround is to temporarily change the locale by calling setlocale(LC_CTYPE, "C") before calling _tzset and restore the current locale after if the GetACP() == CP_UTF8 or CP_UTF7

@zooba

https://bugs.python.org/issue36779

bpo-37069: regrtest uses sys.unraisablehook (GH-13759)

regrtest now uses sys.unraisablehook() to mark a test as "environment
altered" (ENV_CHANGED) if it emits an "unraisable exception".
Moreover, regrtest logs a warning in this case.

Use "python3 -m test --fail-env-changed" to catch unraisable
exceptions in tests.

bpo-37223, test_io: silence last 'Exception ignored in:' (GH-14029)

Use catch_unraisable_exception() to ignore 'Exception ignored in:'
error when the internal BufferedWriter of the BufferedRWPair is
destroyed. The C implementation doesn't give access to the
internal BufferedWriter, so just ignore the warning instead.

Make asyncio stream sendfile fail on error (was hang) (GH-14025)

bpo-37236: pragma optimize off for _Py_c_quot on Windows arm64 (GH-13983)

bpo-37201: fix test_distutils failures for Windows ARM64 (GH-13902)

bpo-37160: Thread native ID NetBSD support (GH-13835)

bpo-35545: Skip `test_asyncio.test_create_connection_ipv6_scope` on AIX (GH-14011)

because "getaddrinfo()" behaves different on AIX

https://bugs.python.org/issue35545

bpo-29505: Fuzz json module, enforce size limit on int(x) fuzz (GH-13991)

* bpo-29505: Enable fuzz testing of the json module, enforce size limit on int(x) fuzz and json input size to avoid timeouts.

Contributed by by Ammar Askar for Google.

bpo-32625: Updated documentation for EXTENDED_ARG. (GH-13985)

Python 3.6 changed the size of bytecode instruction, while the documentation for `EXTENDED_ARG` was not updated accordingly.

bpo-26219: Fix compiler warning in _PyCode_InitOpcache() (GH-13997)

Fix MSVC warning:

    objects\codeobject.c(285): warning C4244: '=':
    conversion from 'Py_ssize_t' to 'unsigned char',
    possible loss of data

bpo-36918: Fix "Exception ignored in" in test_urllib (GH-13996)

Mock the HTTPConnection.close() method in a few unit tests to avoid
logging "Exception ignored in: ..." messages.

bpo-35766: compile(): rename feature_version parameter (GH-13994)

Rename compile() feature_version parameter to _feature_version and
convert it to a keyword-only parameter.

Update also test_type_comments to pass feature_version as a tuple.

bpo-35766: Change format for feature_version to (major, minor) (GH-13992)

(A single int is still allowed, but undocumented.)

https://bugs.python.org/issue35766

bpo-37238: Enable building for Windows using Visual Studio 2019 (GH-13988)

bpo-35766: What's new in the ast and typing modules (#13984)

Fix test_posix if RWF_HIPRI is defined but not preadv2. (GH-13980)

If preadv2 is not available, preadv will raise NotImplementedError.

closes bpo-33758: Skip test_get_type_hints_modules_forwardref. (GH-13977)

This test "works" if things are run in the right order, so it's better to use @skip than @expectedFailure here.

bpo-36607: Eliminate RuntimeError raised by asyncio.all_tasks() (GH-13971)

If internal tasks weak set is changed by another thread during iteration.

https://bugs.python.org/issue36607

bpo-37219: Remove erroneous optimization for differencing an empty set (GH-13965)

closes bpo-35184: Fix XML_POOR_ENTROPY option that breaks makesetup parsing of pyexpat line in Setup. (GH-13064)

When the line is uncommented, the equals character causes it to be incorrectly interpreted
as a macro definition by makesetup.  This results in invalid Makefile output.

The expat code only requires XML_POOR_ENTROPY to be defined; the value is unnecessary.

bpo-37223: test_io: silence destructor errors (GH-13954)

Implement also MockNonBlockWriterIO.seek() method.

bpo-18748: Fix _pyio.IOBase destructor (closed case) (GH-13952)

_pyio.IOBase destructor now does nothing if getting the closed
attribute fails to better mimick _io.IOBase finalizer.

bpo-37215: Fix dtrace issue introduce by bpo-36842 (GH-13940)

Signed-off-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue37215

Do not use explicit inheritance from object in the documentation. (GH-13936)

bpo-36785: PEP 574 What's New entry (#13931)

Add some placeholder notes for major 3.8 features (GH-13927)

bpo-11122: fix hardcoded path checking for rpmbuild in bdist_rpm.py (GH-10594)

bpo-37178: Allow a one argument form of math.perm() (GH-13905)

bpo-34886: Fix subprocess.run handling of exclusive arguments (GH-11727)

Fix an unintended ValueError from :func:`subprocess.run` when checking for
conflicting `input` and `stdin` or `capture_output` and `stdout` or `stderr` args
when they were explicitly provided but with `None` values within a passed in
`**kwargs` dict rather than as passed directly by name.

bpo-29505: Fix interpreter in fuzzing targets to be relocatable (GH-13907)

bpo-37173: Show passed class in inspect.getfile error (GH-13861)

Currently, inspect.getfile(str) will report nonsense:

```pytb
>>> inspect.getfile(str)
TypeError: <module 'builtins' (built-in)> is a built-in class
```

This fixes that

https://bugs.python.org/issue37173

cross port importlib-metadata PR #76 (#13903)

https://gitlab.com/python-devs/importlib_metadata/merge_requests/76

bpo-37150: Throw ValueError if FileType class object was passed in add_argument (GH-13805)

There is a possibility that someone (like me) accidentally will omit parentheses with `FileType` arguments after `FileType`, and parser will contain wrong file until someone will try to use it.

Example:
```python
parser = argparse.ArgumentParser()
parser.add_argument('-x', type=argparse.FileType)
```

https://bugs.python.org/issue37150

bpo-37138: fix undefined behaviour with memcpy() on NULL array (GH-13867)

bpo-37181: Fix test_regrtest failures on Windows arm64 (GH-13872)

bpo-37191: Move TestPEP590 from test_capi to test_call (GH-13892)