bpo-34962: make doctest in Doc/ now passes, and is enforced in CI (GH-9806)

Fix an incorrect check in compiler_try_except(). (GH-9810)

Fix a possible decref of a borrowed reference in symtable.c. (GH-9786)

bpo-34922: Fix integer overflow in the digest() and hexdigest() methods (GH-9751)

for the SHAKE algorithm in the hashlib module.

Micro-optimize list index range checks (GH-9784)

bpo-34576 warn users on security for http.server (#9720)

It was proposed to add an warning for http.server regarding security
issues. The wording was provided at bpo-26005 by @orsenthil

bpo-34022: Stop forcing of hash-based invalidation with SOURCE_DATE_EPOCH (GH-9607)

Unconditional forcing of ``CHECKED_HASH`` invalidation was introduced in
3.7.0 in bpo-29708.  The change is bad, as it unconditionally overrides
*invalidation_mode*, even if it was passed as an explicit argument to
``py_compile.compile()`` or ``compileall``.  An environment variable
should *never* override an explicit argument to a library function.
That change leads to multiple test failures if the ``SOURCE_DATE_EPOCH``
environment variable is set.

This changes ``py_compile.compile()`` to only look at
``SOURCE_DATE_EPOCH`` if no explicit *invalidation_mode* was specified.
I also made various relevant tests run with explicit control over the
value of ``SOURCE_DATE_EPOCH``.

While looking at this, I noticed that ``zipimport`` does not work
with hash-based .pycs _at all_, though I left the fixes for
subsequent commits.

bpo-34926: Make mimetypes.guess_type accept os.PathLike objects (GH-9777)

:meth:`mimetypes.MimeTypes.guess_type` now accepts :term:`path-like object` in addition to url strings.

bpo-33613: Fix test_semaphore_tracker signal tests when using -Werror (GH-9778)

Tests involving sending signals to the semaphore_tracker will not fail anymore due to
the fact that running the test suite with -Werror propagates warnings as errors.

Fix a missing assertion when the semaphore_tracker is expected to die.

Convert code of conduct to markdown for Github (GH-9776)

bpo-34913: Document gzip command line interface (GH-9782)

bpo-23596: Use argparse for the command line of gzip (GH-9781)

Co-authored-by: Antony Lee <anntzer.lee@gmail.com>

bpo-23596: Add unit tests for the command line for the gzip module (GH-9775)

Add unit tests for the command line for the gzip module

bpo-34769: Thread safety for _asyncgen_finalizer_hook(). (GH-9716)

bpo-32962: Fix test_gdb failure in debug build with -mcet -fcf-protection -O0 (GH-9656)

When Python is built with the intel control-flow protection flags,
-mcet -fcf-protection, gdb is not able to read the stack without
actually jumping inside the function. This means an extra
'next' command is required to make the $pc (program counter)
enter the function and make the stack of the function exposed to gdb.

Co-Authored-By: Marcel Plch <gmarcel.plch@gmail.com>
(cherry picked from commit 9b7c74ca32d1bec7128d550a9ab1b2ddc7046287)

bpo-32680 add default "sock" on SMTP objects (#5345)

By default the smtplib.SMTP objects did not have a sock attribute, it
was only created during connect()

Extract sendfile tests into a separate test file (#9757)

bpo-34758: add .wasm to recognized file extensions in mimetypes module (GH-9464)

bpo-32174: Let .chm document display non-ASCII characters properly (GH-9758)

Let .chm document display non-ASCII characters properly

Escape the `body` part of .chm source file to 7-bit ASCII, to fix visual effect on some MBCS Windows systems.

Extract tests for sock_*() functions into a separate file (GH-9761)

bpo-31715 Add mimetype for extension .mjs (#3908)

bpo-34921: Allow escaped NoReturn in get_type_hints (GH-9750)

bpo-34911: Added support for secure websocket cookies (GH-9734)

bpo-34829: Add missing selection_ methods to the Tkinter Spinbox. (GH-9617)

Implement the methods selection_from(), selection_range(), selection_present()
and selection_to() for Tkinter Spinbox.

Use double quote instead of backtick to clarify Ellipsis constant (GH-9754)

bpo-34925: Optimize common case for bisect() argument parsing (#9753)

Add missing closing quote and trailing period in str.isidentifier() docstring (GH-9756)

This rectifies commit ffc5a14d00db984c8e72c7b67da8a493e17e2c14.

bpo-33014: Clarify str.isidentifier docstring (GH-6088)

* bpo-33014: Clarify str.isidentifier docstring

* bpo-33014: Add code example in isidentifier documentation

bpo-34901: add isolated (-I) flag to sys.flags (GH-9708)

https://bugs.python.org/issue34901

Correct grammar mistake in re.rst. (GH-9745)

bpo-34824: Fix a possible NULL pointer dereference in _ssl.c (GH-9606)

On failure, _PyBytes_Resize() will deallocate the bytes object and set
"result" to NULL.

https://bugs.python.org/issue34824

bpo-34906: Doc: Fix typos (2) (GH-9735)

Fix typos

bpo-34910: Ensure that PyObject_Print() always returns -1 on error. (GH-9733)

bpo-34909: keep searching mixins until base class is found (GH-9737)

bpo-34158: Documentation UTC offset update (GH-8377)

* Documentation of UTC offset update
Since changes in the UTC offset that allows sub-minute offsets, the documentation needs update:

- "%z" format code documentation update
Karthikeyan Singaravelan commented on bugs.python.org:
Added as part of 018d353c1c8c87767d2335cd884017c2ce12e045 and a fix regarding duplicate words for that part was added at bac2d5ba30339298db7d4caa9c8cd31d807cf081.
Relevant format string at https://github.com/python/cpython/pull/2896/files#diff-25e2d173c84057d069b7890450714eddR214.
Relevant test case with 6-digit string for microsecond : https://github.com/python/cpython/pull/2896/files#diff-acc40bec51c7de832de3361db3edae52R309.
Table at https://docs.python.org/3.7/library/datetime.html#strftime-and-strptime-behavior could also be updated with microseconds being optional in the second column
%z | UTC offset in the form ±HHMM[SS] (empty string if the object is naive). | (empty), +0000, -0400, +1030

- isoformat documentation update
According to me, needs confirmation:
Relevant format string at https://github.com/python/cpython/pull/4699/files#diff-25e2d173c84057d069b7890450714eddR176
Relevant test case at https://github.com/python/cpython/pull/4699/files#diff-25e2d173c84057d069b7890450714edd

* From Martin Panter: some style improvment;
From @pganssle: using f for fractional part of seconds in all file.

bpo-34899: Fix a possible assertion failure due to int_from_bytes_impl() (GH-9705)

The _PyLong_FromByteArray() call in int_from_bytes_impl() was
unchecked.

Fix a compiler warning added in bpo-34872. (GH-9722)

Use assertEqual() instead of assertEquals(). (GH-9721)

Fixes warnings in tests added in bpo-32117 and bpo-34603.

bpo-34902: Fixes VM image for Azure Pipelines build (GH-9719)

Simplify flags checks in sre_compile.py. (GH-9718)

Flags SRE_FLAG_UNICODE and SRE_FLAG_ASCII are mutually exclusive.

bpo-34825: Add more entries to os to pathlib reference table (GH-9608)

The added functions are as below :

| os module     | Pathlib       |
| ------------- | ------------- |
| os.chmod   | Path.chmod  |
| os.mkdir  | Path.mkdir  |
| os.rename | Path.rename |
| os.replace | Path.replace |
| os.rmdir  | Path.rmdir |
| os.remove, os.unlink | Path.unlink |
| os.path.samefile | Path.samefile |

Thanks

https://bugs.python.org/issue34825

bpo-34906: Doc: Fix typos (GH-9712)

bpo-28441: Ensure `.exe` suffix in `sys.executable` on MinGW and Cygwin (GH-4348)

This is needed to even the run the test suite on buildbots for affected platforms; e.g.:

```
./python.exe  ./Tools/scripts/run_tests.py -j 1 -u all -W --slowest --fail-env-changed --timeout=11700 -j2
/home/embray/src/python/test-worker/3.x.test-worker/build/python -u -W default -bb -E -W error::BytesWarning -m test -r -w -j 1 -u all -W --slowest --fail-env-changed --timeout=11700 -j2
Traceback (most recent call last):
  File "./Tools/scripts/run_tests.py", line 56, in <module>
    main(sys.argv[1:])
  File "./Tools/scripts/run_tests.py", line 52, in main
    os.execv(sys.executable, args)
PermissionError: [Errno 13] Permission denied
make: *** [Makefile:1073: buildbottest] Error 1
```

Fix a typo ssl.py docstring (GH-9697)

bpo-34871: inspect: Don't pollute sys.modules (GH-9696)

https://bugs.python.org/issue34871

bpo-34871: Fix two typos in test_inspect.py (GH-9698)

`arg` is misspelled as `agr`. I noticed this when playing with https://bugs.python.org/issue34871

https://bugs.python.org/issue34871

bpo-34740: Get rid of tp_getattro in ossaudiodev.oss_audio_device. (GH-9421)

Use tp_members and tp_getset instead.

bpo-34739: Get rid of tp_getattro in xml.etree.ElementTree.XMLParser. (GH-9420)

Use tp_members and tp_getset instead.

closes bpo-34869: Remove LDLAST. (GH-9667)

bpo-34872: Fix self-cancellation in C implementation of asyncio.Task (GH-9679)

The C implementation of asyncio.Task currently fails to perform the
cancellation cleanup correctly in the following scenario.

    async def task1():
        async def task2():
            await task3     # task3 is never cancelled

        asyncio.current_task().cancel()
        await asyncio.create_task(task2())

The actuall error is a hardcoded call to `future_cancel()` instead of
calling the `cancel()` method of a future-like object.

Thanks to Vladimir Matveev for noticing the code discrepancy and to
Yury Selivanov for coming up with a pathological scenario.

bpo-34879: Fix a possible null pointer dereference in bytesobject.c (GH-9683)

formatfloat() was not checking if PyBytes_FromStringAndSize()
failed, which could lead to a null pointer dereference in
_PyBytes_FormatEx().

Make it clear that the msg argument to assertWarns/assertWarnsRegex/assertRaisesRegex is keyword-only. (GH-9680)

A follow up to be4e5b89204283a62e369439025f00362d0424f6.

bpo-34172: multiprocessing.Pool leaks resources after being deleted (GH-8450)

Fix a reference issue inside multiprocessing.Pool that caused the pool to remain alive if it was deleted without being closed or terminated explicitly.

bpo-34728: Fix asyncio tests to run under "-Werror" (GH-9661)

Remove recent from logging cookbook (GH-9636)

closes bpo-34862: Guard definition of convert_sched_param with POSIX_SPAWN_SETSCHEDULER. (GH-9658)

Fixes broken build on OpenBSD-current.

Make it clear that the msg argument to assertRaises is keyword-only. (GH-9670)

closes bpo-34868: Improve error message with '_' is combined with an invalid type specifier. (GH-9666)

bpo-31865: Fix a couple of typos in the html.unescape() docs. (GH-9662)

bpo-30167: Add test for module.__cached__ is None (GH-7617)

bpo-34476: Document that asyncio.sleep() always suspends. (#9643)

bpo-30156: Remove property_descr_get() optimization (GH-9541)

property_descr_get() uses a "cached" tuple to optimize function
calls. But this tuple can be discovered in debug mode with
sys.getobjects(). Remove the optimization, it's not really worth it
and it causes 3 different crashes last years.

Microbenchmark:

./python -m perf timeit -v \
    -s "from collections import namedtuple; P = namedtuple('P', 'x y'); p = P(1, 2)" \
    --duplicate 1024 "p.x"

Result:

Mean +- std dev: [ref] 32.8 ns +- 0.8 ns -> [patch] 40.4 ns +- 1.3 ns: 1.23x slower (+23%)

Fix name of argument in docs for functools.reduce(). (#9634)

bpo-34850: Replace is with == in idlelib.iomenu (GH-9649)

Patch by Serhiy Storchaka (in PR #9642).

bpo-34854: Fix compiling string annotations containing lambdas. (GH-9645)

* Compiling a string annotation containing a lambda with keyword-only
argument without default value caused a crash.

* Remove the final "*" (it is incorrect syntax) in the representation of
lambda without *args and keyword-only arguments when compile from AST.

* Improve the representation of lambda without arguments.

bpo-34849: Don't log wating for selector.select in asyncio loop iteration (GH-9641)

The waiting is pretty normal for any asyncio program, logging its time just adds
a noise to logs without any useful information provided.

https://bugs.python.org/issue34849

Speed-up math.dist() by 30% (GH-9628)

bpo-27351: Fix ConfigParser.read() documentation and docstring (GH-8123)

Switch "list" with "iterable" to match with the implementation.

bpo-31370: Remove references to threadless builds (#8805)

Support for threadless builds was removed in a6a4dc81.

Fix astuple in dataclasses documentation (GH-9631)

Fix incorrect error handling in _pickle.Unpickler.__init__() (GH-9630)

_pickle.Unpickler.__init__() should return -1 if Pdata_New() fails, not 1.

bpo-34797: Convert heapq to the argument clinic (GH-9560)

bpo-34687: Update asyncio doc for ProactorEventLoop (GH-9623)

Since ProactorEventLoop is now the default in 3.8, remove examples
using it explicitly on Windows.

https://bugs.python.org/issue34687

bpo-34521: Fix tests in test_multiprocessing_spawn to use correctly CMSG_SPACE (GH-9613)

After some failures in AMD64 FreeBSD CURRENT Debug 3.x buildbots
regarding tests in test_multiprocessing_spawn and after examining
similar failures in test_socket, some errors in the calculation of
ancillary data buffers were found in multiprocessing.reduction.

CMSG_LEN() can often be used as the buffer size for recvmsg() to
receive a single item of ancillary data, but RFC 3542 requires portable
applications to use CMSG_SPACE() and thus include space for padding,
even when the item will be the last in the buffer.

The failures we experience are due to the usage of CMSG_LEN() instead of
CMSG_SPACE().

bpo-34736: improve error message for invalid length b64decode inputs (GH-9563)

Improvements:
1. Include the number of valid data characters in the error message.
2. Mention "number of data characters" rather than "length".

https://bugs.python.org/issue34736

bpo-34248: Add filename to error raised in {gnu,ndbm}.open() (GH-8590)

Report the filename to the exception when raising {gdbm,dbm.ndbm}.error in
dbm.gnu.open() and dbm.ndbm.open() functions, so it gets printed when the
exception is raised, and can also be obtained by the filename attribute of the
exception object.

bpo-34802: Fix asyncio.iscoroutine() docs (GH-9611)

bpo-34762: Update PyContext* to PyObject* in asyncio and decimal (GH-9609)

This fixes various compiler warnings.

bpo-32892: Use ast.Constant instead of specific constant AST types. (GH-9445)

bpo-34819: Use a monotonic clock to compute timeouts in concurrent.futures (GH-9599)

Use a monotonic clock to compute timeouts in :meth:`Executor.map` and :func:`as_completed`, in order to prevent timeouts from deviating when the system clock is adjusted.

This may not be sufficient on all systems. On POSIX for example, the actual waiting (e.g. in ``sem_timedwait``) is specified to rely on the CLOCK_REALTIME clock.

Fix tests in test_socket to use correctly CMSG_LEN (GH-9594)

After some failures in AMD64 FreeBSD CURRENT Debug 3.x buildbots
regarding tests in test_socket that are using
testFDPassSeparateMinSpace(), FreeBDS revision 337423 was pointed
out to be the reason the test started to fail.

A close examination of the manpage for cmsg_space(3) reveals that
the number of file descriptors needs to be taken into account when
using CMSG_LEN().

This commit fixes tests in test_socket to use correctly CMSG_LEN, taking
into account the number of FDs.

bpo-31425: fix versionadded in docs and add attribution in NEWS (GH-9595)

Clarify that Type[SomeTypeVar] is legal (#9585)

Currently, the docs state that when doing `Type[X]`, X is only allowed to
be a class, a union of classes, and Any. This pull request amends
that sentence to clarify X may also be a typevar (or a union involving
classes, Any, and TypeVars).

bpo-31425: Expose AF_QIPCRTR in socket module (GH-3706)

The AF_QIPCRTR address family was introduced in Linux v4.7.

Co-authored-by: Bjorn Andersson <bjorn.andersson@linaro.org>

bpo-34320: Fix dict(o) didn't copy order of dict subclass (GH-8624)

When dict subclass overrides order (`__iter__()`, `keys()`, and `items()`), `dict(o)`
should use it instead of dict ordering.

https://bugs.python.org/issue34320

bpo-34334: Don't log traceback twice in QueueHandler (GH-9537)

asyncio/docs: Replace Python 4.0 -> 3.10 (GH-9579)

bpo-5950: Support reading zips with comments in zipimport (#9548)

* bpo-5950: Support reading zips with comments in zipimport

bpo-34790: [docs] Passing coroutines to asyncio.wait() can be confusing. (GH-9543)

bpo-34162: idlelib/NEWS.txt entry for squeezer (GH-9573)

bpo-1529353: IDLE - Squeezer What's New for 3.8 (#9572)

bpo-1529353: IDLE - Squeezer What's New for 3.7.1 (#9568)

bpo-1529353: IDLE: Squeezer What's New for 3.6.7 (#9567)

bpo-33937: Catch ENOMEM error in test_socket (#9557)

Fix test_socket.SendmsgSCTPStreamTest: catch ENOMEM error.
testSendmsgTimeout() and testSendmsgDontWait() randomly fail on
Travis CI with: "OSError: [Errno 12] Cannot allocate memory".

bpo-34687: Make asynico use ProactorEventLoop by default (GH-9538)

bpo-32557: allow shutil.disk_usage to take a file path on Windows also (GH-9372)

https://bugs.python.org/issue32557

bpo-1529353: IDLE: squeeze large output in the shell (GH-7626)

Improved the more elaborate multiprocessing example in the logging cookbook (GH-9326)

bpo-34770: Fix a possible null pointer dereference in pyshellext.cpp (GH-9497)

The GlobalLock() call in UpdateDropDescription() was not checked for
failure.

https://bugs.python.org/issue34770

Fix wrong exception reference: BrokenThreadPool -> BrokenProcessPool (GH-9533)