bpo-34939: Allow annotated global names in module namespace (GH-9844)

Allow annotated global names in the module namespace after the symbol is
declared as global. Previously, only symbols annotated before they are declared
as global (i.e. inside a function) were allowed. This change allows symbols to be
declared as global before the annotation happens in the global scope.

bpo-34521: Add NEWS entry for changes in GH-9613 (GH-9850)

* Add News entry for the change in multiprocessing.reduction.recvfds
made in GH-9613.

Update compound_stmts.rst (#9864)

bpo-34941: Fix searching Element subclasses. (GH-9766)

Methods find(), findtext() and findall() of xml.etree.ElementTree.Element
were not able to find chldren which are instances of Element subclasses.

bpo-33656: Move pyshell ctypes import inside try block. (GH-9858)

A Windows build with _tkinter, tkinter, and idlelib
but without ctypes is unlikely but apparently possible.

bpo-34970: Protect tasks weak set manipulation in asyncio.all_tasks() (GH-9837)

https://bugs.python.org/issue34970

Add new tests for bytes and bytearray constructors. (GH-9843)

Covered all special cases: bytes, tuple, list, differend
kinds of iterables and iterators.

Fixes issues in Windows release upload script (GH-9845)

bpo-16965: 2to3 now rewrites execfile() to open with 'rb'. (GH-8569)

bpo-22872: multiprocessing.Queue's put() and get() now raise ValueError if the queue is closed. (GH-9010)

Previously, put() and get() would raise AssertionError and OSError,
respectively.

bpo-34967: Sphinx is deprecating add_description_unit, use add_object_type (GH-9827)

bpo-34783:  Disable test_nonexisting_script for macOS framework builds (GH-9831)

With macOS framework builds, test case test_nonexisting_script in
test_nonexisting_script fails because the test case assumes that
the file name in sys.executable will appear in the error message.
For macOS framework builds, sys.executable is the file name of the
stub launcher and its file name bears no relationship to the file
name of the actual python executable.  For now, skip the test in
this case.

Pin again sphinx version as stated in the comment. (GH-9824)

bpo-23831: Add moveto method to the tkinter.Canvas widget. (GH-9768)

bpo-34964: Make Tkinter sources more readable by adding blank lines. (GH-9822)

bpo-11233: Create availability directive for documentation (GH-9692)

Replace "Availability: xxx" with ".. availability:: xxx" in the doc.
Original patch by Georg Brandl.

Co-Authored-By: Georg Brandl <georg@python.org>

bpo-34900: Make TestCase.debug() work with subtests (GH-9707)

bpo-34203: FAQ now recommends python 3.x over 2.x (GH-9796)

bpo-31516: Skip test_main_thread_during_shutdown() with COUNT_ALLOCS builds. (GH-8052)

bpo-34940: Fix the error handling in _check_for_legacy_statements(). (GH-9764)

bpo-34962: make doctest in Doc/ now passes, and is enforced in CI (GH-9806)

Fix an incorrect check in compiler_try_except(). (GH-9810)

Fix a possible decref of a borrowed reference in symtable.c. (GH-9786)

bpo-34922: Fix integer overflow in the digest() and hexdigest() methods (GH-9751)

for the SHAKE algorithm in the hashlib module.

Micro-optimize list index range checks (GH-9784)

bpo-34576 warn users on security for http.server (#9720)

It was proposed to add an warning for http.server regarding security
issues. The wording was provided at bpo-26005 by @orsenthil

bpo-34022: Stop forcing of hash-based invalidation with SOURCE_DATE_EPOCH (GH-9607)

Unconditional forcing of ``CHECKED_HASH`` invalidation was introduced in
3.7.0 in bpo-29708.  The change is bad, as it unconditionally overrides
*invalidation_mode*, even if it was passed as an explicit argument to
``py_compile.compile()`` or ``compileall``.  An environment variable
should *never* override an explicit argument to a library function.
That change leads to multiple test failures if the ``SOURCE_DATE_EPOCH``
environment variable is set.

This changes ``py_compile.compile()`` to only look at
``SOURCE_DATE_EPOCH`` if no explicit *invalidation_mode* was specified.
I also made various relevant tests run with explicit control over the
value of ``SOURCE_DATE_EPOCH``.

While looking at this, I noticed that ``zipimport`` does not work
with hash-based .pycs _at all_, though I left the fixes for
subsequent commits.

bpo-34926: Make mimetypes.guess_type accept os.PathLike objects (GH-9777)

:meth:`mimetypes.MimeTypes.guess_type` now accepts :term:`path-like object` in addition to url strings.

bpo-33613: Fix test_semaphore_tracker signal tests when using -Werror (GH-9778)

Tests involving sending signals to the semaphore_tracker will not fail anymore due to
the fact that running the test suite with -Werror propagates warnings as errors.

Fix a missing assertion when the semaphore_tracker is expected to die.

Convert code of conduct to markdown for Github (GH-9776)

bpo-34913: Document gzip command line interface (GH-9782)

bpo-23596: Use argparse for the command line of gzip (GH-9781)

Co-authored-by: Antony Lee <anntzer.lee@gmail.com>

bpo-23596: Add unit tests for the command line for the gzip module (GH-9775)

Add unit tests for the command line for the gzip module

bpo-34769: Thread safety for _asyncgen_finalizer_hook(). (GH-9716)

bpo-32962: Fix test_gdb failure in debug build with -mcet -fcf-protection -O0 (GH-9656)

When Python is built with the intel control-flow protection flags,
-mcet -fcf-protection, gdb is not able to read the stack without
actually jumping inside the function. This means an extra
'next' command is required to make the $pc (program counter)
enter the function and make the stack of the function exposed to gdb.

Co-Authored-By: Marcel Plch <gmarcel.plch@gmail.com>
(cherry picked from commit 9b7c74ca32d1bec7128d550a9ab1b2ddc7046287)

bpo-32680 add default "sock" on SMTP objects (#5345)

By default the smtplib.SMTP objects did not have a sock attribute, it
was only created during connect()

Extract sendfile tests into a separate test file (#9757)

bpo-34758: add .wasm to recognized file extensions in mimetypes module (GH-9464)

bpo-32174: Let .chm document display non-ASCII characters properly (GH-9758)

Let .chm document display non-ASCII characters properly

Escape the `body` part of .chm source file to 7-bit ASCII, to fix visual effect on some MBCS Windows systems.

Extract tests for sock_*() functions into a separate file (GH-9761)

bpo-31715 Add mimetype for extension .mjs (#3908)

bpo-34921: Allow escaped NoReturn in get_type_hints (GH-9750)

bpo-34911: Added support for secure websocket cookies (GH-9734)

bpo-34829: Add missing selection_ methods to the Tkinter Spinbox. (GH-9617)

Implement the methods selection_from(), selection_range(), selection_present()
and selection_to() for Tkinter Spinbox.

Use double quote instead of backtick to clarify Ellipsis constant (GH-9754)

bpo-34925: Optimize common case for bisect() argument parsing (#9753)

Add missing closing quote and trailing period in str.isidentifier() docstring (GH-9756)

This rectifies commit ffc5a14d00db984c8e72c7b67da8a493e17e2c14.

bpo-33014: Clarify str.isidentifier docstring (GH-6088)

* bpo-33014: Clarify str.isidentifier docstring

* bpo-33014: Add code example in isidentifier documentation

bpo-34901: add isolated (-I) flag to sys.flags (GH-9708)

https://bugs.python.org/issue34901

Correct grammar mistake in re.rst. (GH-9745)

bpo-34824: Fix a possible NULL pointer dereference in _ssl.c (GH-9606)

On failure, _PyBytes_Resize() will deallocate the bytes object and set
"result" to NULL.

https://bugs.python.org/issue34824

bpo-34906: Doc: Fix typos (2) (GH-9735)

Fix typos

bpo-34910: Ensure that PyObject_Print() always returns -1 on error. (GH-9733)

bpo-34909: keep searching mixins until base class is found (GH-9737)

bpo-34158: Documentation UTC offset update (GH-8377)

* Documentation of UTC offset update
Since changes in the UTC offset that allows sub-minute offsets, the documentation needs update:

- "%z" format code documentation update
Karthikeyan Singaravelan commented on bugs.python.org:
Added as part of 018d353c1c8c87767d2335cd884017c2ce12e045 and a fix regarding duplicate words for that part was added at bac2d5ba30339298db7d4caa9c8cd31d807cf081.
Relevant format string at https://github.com/python/cpython/pull/2896/files#diff-25e2d173c84057d069b7890450714eddR214.
Relevant test case with 6-digit string for microsecond : https://github.com/python/cpython/pull/2896/files#diff-acc40bec51c7de832de3361db3edae52R309.
Table at https://docs.python.org/3.7/library/datetime.html#strftime-and-strptime-behavior could also be updated with microseconds being optional in the second column
%z | UTC offset in the form ±HHMM[SS] (empty string if the object is naive). | (empty), +0000, -0400, +1030

- isoformat documentation update
According to me, needs confirmation:
Relevant format string at https://github.com/python/cpython/pull/4699/files#diff-25e2d173c84057d069b7890450714eddR176
Relevant test case at https://github.com/python/cpython/pull/4699/files#diff-25e2d173c84057d069b7890450714edd

* From Martin Panter: some style improvment;
From @pganssle: using f for fractional part of seconds in all file.

bpo-34899: Fix a possible assertion failure due to int_from_bytes_impl() (GH-9705)

The _PyLong_FromByteArray() call in int_from_bytes_impl() was
unchecked.

Fix a compiler warning added in bpo-34872. (GH-9722)

Use assertEqual() instead of assertEquals(). (GH-9721)

Fixes warnings in tests added in bpo-32117 and bpo-34603.

bpo-34902: Fixes VM image for Azure Pipelines build (GH-9719)

Simplify flags checks in sre_compile.py. (GH-9718)

Flags SRE_FLAG_UNICODE and SRE_FLAG_ASCII are mutually exclusive.

bpo-34825: Add more entries to os to pathlib reference table (GH-9608)

The added functions are as below :

| os module     | Pathlib       |
| ------------- | ------------- |
| os.chmod   | Path.chmod  |
| os.mkdir  | Path.mkdir  |
| os.rename | Path.rename |
| os.replace | Path.replace |
| os.rmdir  | Path.rmdir |
| os.remove, os.unlink | Path.unlink |
| os.path.samefile | Path.samefile |

Thanks

https://bugs.python.org/issue34825

bpo-34906: Doc: Fix typos (GH-9712)

bpo-28441: Ensure `.exe` suffix in `sys.executable` on MinGW and Cygwin (GH-4348)

This is needed to even the run the test suite on buildbots for affected platforms; e.g.:

```
./python.exe  ./Tools/scripts/run_tests.py -j 1 -u all -W --slowest --fail-env-changed --timeout=11700 -j2
/home/embray/src/python/test-worker/3.x.test-worker/build/python -u -W default -bb -E -W error::BytesWarning -m test -r -w -j 1 -u all -W --slowest --fail-env-changed --timeout=11700 -j2
Traceback (most recent call last):
  File "./Tools/scripts/run_tests.py", line 56, in <module>
    main(sys.argv[1:])
  File "./Tools/scripts/run_tests.py", line 52, in main
    os.execv(sys.executable, args)
PermissionError: [Errno 13] Permission denied
make: *** [Makefile:1073: buildbottest] Error 1
```

Fix a typo ssl.py docstring (GH-9697)

bpo-34871: inspect: Don't pollute sys.modules (GH-9696)

https://bugs.python.org/issue34871

bpo-34871: Fix two typos in test_inspect.py (GH-9698)

`arg` is misspelled as `agr`. I noticed this when playing with https://bugs.python.org/issue34871

https://bugs.python.org/issue34871

bpo-34740: Get rid of tp_getattro in ossaudiodev.oss_audio_device. (GH-9421)

Use tp_members and tp_getset instead.

bpo-34739: Get rid of tp_getattro in xml.etree.ElementTree.XMLParser. (GH-9420)

Use tp_members and tp_getset instead.

closes bpo-34869: Remove LDLAST. (GH-9667)

bpo-34872: Fix self-cancellation in C implementation of asyncio.Task (GH-9679)

The C implementation of asyncio.Task currently fails to perform the
cancellation cleanup correctly in the following scenario.

    async def task1():
        async def task2():
            await task3     # task3 is never cancelled

        asyncio.current_task().cancel()
        await asyncio.create_task(task2())

The actuall error is a hardcoded call to `future_cancel()` instead of
calling the `cancel()` method of a future-like object.

Thanks to Vladimir Matveev for noticing the code discrepancy and to
Yury Selivanov for coming up with a pathological scenario.

bpo-34879: Fix a possible null pointer dereference in bytesobject.c (GH-9683)

formatfloat() was not checking if PyBytes_FromStringAndSize()
failed, which could lead to a null pointer dereference in
_PyBytes_FormatEx().

Make it clear that the msg argument to assertWarns/assertWarnsRegex/assertRaisesRegex is keyword-only. (GH-9680)

A follow up to be4e5b89204283a62e369439025f00362d0424f6.

bpo-34172: multiprocessing.Pool leaks resources after being deleted (GH-8450)

Fix a reference issue inside multiprocessing.Pool that caused the pool to remain alive if it was deleted without being closed or terminated explicitly.

bpo-34728: Fix asyncio tests to run under "-Werror" (GH-9661)

Remove recent from logging cookbook (GH-9636)

closes bpo-34862: Guard definition of convert_sched_param with POSIX_SPAWN_SETSCHEDULER. (GH-9658)

Fixes broken build on OpenBSD-current.

Make it clear that the msg argument to assertRaises is keyword-only. (GH-9670)

closes bpo-34868: Improve error message with '_' is combined with an invalid type specifier. (GH-9666)

bpo-31865: Fix a couple of typos in the html.unescape() docs. (GH-9662)

bpo-30167: Add test for module.__cached__ is None (GH-7617)

bpo-34476: Document that asyncio.sleep() always suspends. (#9643)

bpo-30156: Remove property_descr_get() optimization (GH-9541)

property_descr_get() uses a "cached" tuple to optimize function
calls. But this tuple can be discovered in debug mode with
sys.getobjects(). Remove the optimization, it's not really worth it
and it causes 3 different crashes last years.

Microbenchmark:

./python -m perf timeit -v \
    -s "from collections import namedtuple; P = namedtuple('P', 'x y'); p = P(1, 2)" \
    --duplicate 1024 "p.x"

Result:

Mean +- std dev: [ref] 32.8 ns +- 0.8 ns -> [patch] 40.4 ns +- 1.3 ns: 1.23x slower (+23%)

Fix name of argument in docs for functools.reduce(). (#9634)

bpo-34850: Replace is with == in idlelib.iomenu (GH-9649)

Patch by Serhiy Storchaka (in PR #9642).

bpo-34854: Fix compiling string annotations containing lambdas. (GH-9645)

* Compiling a string annotation containing a lambda with keyword-only
argument without default value caused a crash.

* Remove the final "*" (it is incorrect syntax) in the representation of
lambda without *args and keyword-only arguments when compile from AST.

* Improve the representation of lambda without arguments.

bpo-34849: Don't log wating for selector.select in asyncio loop iteration (GH-9641)

The waiting is pretty normal for any asyncio program, logging its time just adds
a noise to logs without any useful information provided.

https://bugs.python.org/issue34849

Speed-up math.dist() by 30% (GH-9628)

bpo-27351: Fix ConfigParser.read() documentation and docstring (GH-8123)

Switch "list" with "iterable" to match with the implementation.

bpo-31370: Remove references to threadless builds (#8805)

Support for threadless builds was removed in a6a4dc81.

Fix astuple in dataclasses documentation (GH-9631)

Fix incorrect error handling in _pickle.Unpickler.__init__() (GH-9630)

_pickle.Unpickler.__init__() should return -1 if Pdata_New() fails, not 1.

bpo-34797: Convert heapq to the argument clinic (GH-9560)

bpo-34687: Update asyncio doc for ProactorEventLoop (GH-9623)

Since ProactorEventLoop is now the default in 3.8, remove examples
using it explicitly on Windows.

https://bugs.python.org/issue34687

bpo-34521: Fix tests in test_multiprocessing_spawn to use correctly CMSG_SPACE (GH-9613)

After some failures in AMD64 FreeBSD CURRENT Debug 3.x buildbots
regarding tests in test_multiprocessing_spawn and after examining
similar failures in test_socket, some errors in the calculation of
ancillary data buffers were found in multiprocessing.reduction.

CMSG_LEN() can often be used as the buffer size for recvmsg() to
receive a single item of ancillary data, but RFC 3542 requires portable
applications to use CMSG_SPACE() and thus include space for padding,
even when the item will be the last in the buffer.

The failures we experience are due to the usage of CMSG_LEN() instead of
CMSG_SPACE().

bpo-34736: improve error message for invalid length b64decode inputs (GH-9563)

Improvements:
1. Include the number of valid data characters in the error message.
2. Mention "number of data characters" rather than "length".

https://bugs.python.org/issue34736

bpo-34248: Add filename to error raised in {gnu,ndbm}.open() (GH-8590)

Report the filename to the exception when raising {gdbm,dbm.ndbm}.error in
dbm.gnu.open() and dbm.ndbm.open() functions, so it gets printed when the
exception is raised, and can also be obtained by the filename attribute of the
exception object.

bpo-34802: Fix asyncio.iscoroutine() docs (GH-9611)

bpo-34762: Update PyContext* to PyObject* in asyncio and decimal (GH-9609)

This fixes various compiler warnings.

bpo-32892: Use ast.Constant instead of specific constant AST types. (GH-9445)

bpo-34819: Use a monotonic clock to compute timeouts in concurrent.futures (GH-9599)

Use a monotonic clock to compute timeouts in :meth:`Executor.map` and :func:`as_completed`, in order to prevent timeouts from deviating when the system clock is adjusted.

This may not be sufficient on all systems. On POSIX for example, the actual waiting (e.g. in ``sem_timedwait``) is specified to rely on the CLOCK_REALTIME clock.