bpo-37388: Development mode check encoding and errors (GH-14341)

In development mode and in debug build, encoding and errors arguments
are now checked on string encoding and decoding operations. Examples:
open(), str.encode() and bytes.decode().

By default, for best performances, the errors argument is only
checked at the first encoding/decoding error, and the encoding
argument is sometimes ignored for empty strings.

bpo-37244: Fix test_multiprocessing.test_resource_tracker() (GH-14288)

Increase robustness of test_resource_tracker(): retry for 60 seconds.

bpo-36888, test_multiprocessing: Increase test_parent_process timeout (GH-14286)

bpo-33972: Fix EmailMessage.iter_attachments raising AttributeError. (GH-14119)

* bpo-33972: Fix EmailMessage.iter_attachments raising AttributeError.

When certain malformed messages have content-type set to 'mulitpart/*' but
still have a single part body, iter_attachments can raise AttributeError. This
patch fixes it by returning a None value instead when the body is single part.

bpo-37400: Fix test_os.test_chown() (GH-14374)

Use os.getgroups() rather than grp.getgrall() to get groups.
Rename also the test to test_chown_gid().

bpo-20443: _PyConfig_Read() gets the absolute path of run_filename (GH-14053)

Python now gets the absolute path of the script filename specified on
the command line (ex: "python3 script.py"): the __file__ attribute of
the __main__ module, sys.argv[0] and sys.path[0] become an absolute
path, rather than a relative path.

* Add _Py_isabs() and _Py_abspath() functions.
* _PyConfig_Read() now tries to get the absolute path of
  run_filename, but keeps the relative path if _Py_abspath() fails.
* Reimplement os._getfullpathname() using _Py_abspath().
* Use _Py_isabs() in getpath.c.

bpo-37392: Update the dir(sys) in module tutorial (GH-14365)

bpo-37400: pythoninfo logs getpwuid and getgrouplist (GH-14373)

test.pythoninfo now also logs pwd.getpwuid(os.getuid()) and
os.getgrouplist(). Extract also os.getrandom() test to run it first.

Fix minor spelling error in What's new for Python 3.8 (GH-14371)

bpo-24214: Fixed the UTF-8 and UTF-16 incremental decoders. (GH-14304)

* The UTF-8 incremental decoders fails now fast if encounter
  a sequence that can't be handled by the error handler.
* The UTF-16 incremental decoders with the surrogatepass error
  handler decodes now a lone low surrogate with final=False.

bpo-37393: Fix deprecation warnings in test_ntpath. (GH-14357)

eval() was being called an extra time without a filter for
deprecation warnings.

 bpo-36546: Mark first argument as position only (GH-14363)

bpo-37394: Fix pure Python implementation of the queue module (GH-14351)

bpo-35224: Add What's new entry for evaluation order in dict comprehensions (GH-14319)

bpo-37392: Remove sys.setcheckinterval() (GH-14355)

Remove sys.getcheckinterval() and sys.setcheckinterval() functions.
They were deprecated since Python 3.2. Use sys.getswitchinterval()
and sys.setswitchinterval() instead.

Remove also check_interval field of the PyInterpreterState structure.

bpo-4963: Fix for initialization and non-deterministic behavior issues in mimetypes (GH-3062)

bpo-25361: Enable SSE2 instructions for Windows 32-bit build (GH-12438)

bpo-35360: Update Windows builds to use SQLite 3.28.0 (GH-14179)

bpo-36889: Document asyncio Stream and StreamServer (GH-14203)

bpo-32627: Fix compile error when conflicting `_uuid` headers included (GH-11751)

Get rid of exception traceback printing in asyncio tests (GH-14343)

bpo-37363: Add audit events for a range of modules (GH-14301)

bpo-37359: Fix regrtest --cleanup (GH-14336)

bpo-36974: inherit tp_vectorcall_offset unconditionally (GH-13858)

bpo-37359: Add --cleanup option to python3 -m test (GH-14332)

* regrtest: Add --cleanup option to remove "test_python_*" directories
  of previous failed test jobs.
* Add "make cleantest" to run "python3 -m test --cleanup".

bpo-37345: Add formal UDPLITE support (GH-14258)

At the moment you can definitely use UDPLITE sockets on Linux systems, but it would be good if this support were formalized such that you can detect support at runtime easily.

At the moment, to make and use a UDPLITE socket requires something like the following code:

```
>>> import socket
>>> a = socket.socket(socket.AF_INET, socket.SOCK_DGRAM, 136)
>>> b = socket.socket(socket.AF_INET, socket.SOCK_DGRAM, 136)
>>> a.bind(('localhost', 44444))
>>> b.sendto(b'test'*256, ('localhost', 44444))
>>> b.setsockopt(136, 10, 16)
>>> b.sendto(b'test'*256, ('localhost', 44444))
>>> b.setsockopt(136, 10, 32)
>>> b.sendto(b'test'*256, ('localhost', 44444))
>>> b.setsockopt(136, 10, 64)
>>> b.sendto(b'test'*256, ('localhost', 44444))
```

If you look at this through Wireshark, you can see that the packets are different in that the checksums and checksum coverages change.

With the pull request that I am submitting momentarily, you could do the following code instead:

```
>>> import socket
>>> a = socket.socket(socket.AF_INET, socket.SOCK_DGRAM, socket.IPPROTO_UDPLITE)
>>> b = socket.socket(socket.AF_INET, socket.SOCK_DGRAM, socket.IPPROTO_UDPLITE)
>>> a.bind(('localhost', 44444))
>>> b.sendto(b'test'*256, ('localhost', 44444))
>>> b.set_send_checksum_coverage(16)
>>> b.sendto(b'test'*256, ('localhost', 44444))
>>> b.set_send_checksum_coverage(32)
>>> b.sendto(b'test'*256, ('localhost', 44444))
>>> b.set_send_checksum_coverage(64)
>>> b.sendto(b'test'*256, ('localhost', 44444))
```

One can also detect support for UDPLITE just by checking

```
>>> hasattr(socket, 'IPPROTO_UDPLITE')
```

https://bugs.python.org/issue37345

bpo-37348: optimize decoding ASCII string (GH-14283)

`_PyUnicode_Writer` is a relatively complex structure.  Initializing it is significant overhead when decoding short ASCII string.

bpo-35224: Bump the pyc magic number by 1 instead of by 10 in last modification (GH-14320)

bpo-35224: Bump the pyc magic number after the change in MAP_ADD (GH-14313)

asyncio: Fix docs for default event loop (#14308)

When the Windows default event loop changed, `asyncio-policy.rst` was updated but `asyncio-eventloop.rst` was missed.

bpo-35224: Reverse evaluation order of key: value in dict comprehensions (GH-14139)

… as proposed in PEP 572; key is now evaluated before value.

https://bugs.python.org/issue35224

Improve threading.daemon docstring (GH-14278)

Rephrase and clarify that "the entire Python program exits when only daemon threads are left". This matches the documentation at https://docs.python.org/3/library/threading.html#thread-objects.

bpo-37323: Suppress DeprecationWarning raised by @asyncio.coroutine (GH-14293)

When the test is ran with `PYTHONWARNINGS=error` the environment variable is passed to the python interpreter used in `assert_python_ok` where `DeprecationWarning` from  `@asyncio.coroutine` is converted into an error. Ignore the `DeprecationWarning` in `assert_python_ok`.

https://bugs.python.org/issue37323

bpo-37364: Use io.open_code() to read .pth files (GH-14299)

https://bugs.python.org/issue37364

bpo-37351: Removes libpython38.a from standard Windows distribution (#14276)

bpo-37362: test_gdb now ignores stderr (GH-14287)

test_gdb no longer fails if it gets an "unexpected" message on
stderr: it now ignores stderr. The purpose of test_gdb is to test
that python-gdb.py commands work as expected, not to test gdb.

Use `python -m pip install` in porting guide and venv docs (GH-13257)

This is to help prevent people from accidentally installing into the wrong Python interpreter if they are not aware of which Python interpreter `pip` points to.

bpo-30202 : Update test.test_importlib.test_abc to test find_spec() (GH-12847)

bpo-36511: Fix -u parameters for ARM32 tests (GH-14280)

bpo-37316: mmap.mmap() passes the wrong variable to PySys_Audit() (GH-14152)

Also, add a missing call to va_end() in PySys_Audit().

bpo-36210: update optional extension handling for AIX (GH-12202)

* Switch to officially supported curses from 3rd-party ASIS supported ncurses
* stop saying optional modules osaudiodev and spwd are missing on AIX

Patch by M.Felt

Docs: Improved phrasing (GH-14069)

* Docs: Improved phrasing

Removed usage of second person pronouns in the section and made the assumption of "uneasiness" in code style transition more neutral.

* Removed trailing whitespace on line 34

Remove redundant if check from optional argument function in argparse. (GH-8766)

bpo-37289: Add a test for if with ifexpr in the peephole optimiser to detect regressions (GH-14127)

Update What's New in Python 3.9 (GH-14253)

* Mention bpo of PyImport_Cleanup removal
* Fix bpo number of PyByteArray_Init removal

bpo-36511: Improve ARM32 buildbot scripts (GH-14251)

bpo-37151: remove _PyCFunction_FastCallDict (GH-14269)

Fix typo, 'widger' -> 'widget', in idlelib/tree.py (GH-14263)

Fix bpo number in News file. (GH-14260)

bpo-37342: Fix the incorrect nb_index's type in typeobj documentation (GH-14241)

It was listed as `binaryfunc`. It should be `unaryfunc`.

Update What's New in Python 3.8 (GH-14239)

* Mention issue in which ByByteArray_Init() has been removed.
* Fix typo

bpo-36710: Use tstate in pylifecycle.c (GH-14249)

In pylifecycle.c: pass tstate argument, rather than interp argument,
to functions.

Add missing single quote in io.TextIOWrapper.reconfigure documentation (GH-14246)

Add a missing single quote character in the documentation for `io.TextIOWrapper.reconfigure`.

bpo-36511: Add buildbot scripts and fix tests for Windows ARM32 buildbot (GH-13454)

bpo-37333: Ensure IncludeTkinter has a value (GH-14240)

bpo-37331: Clarify format of socket handler messages in the documentation. (GH-14234)

bpo-37258: Not a bug, but added a unit test and updated documentation. (GH-14229)

bpo-36710: Remove PyImport_Cleanup() function (GH-14221)

* Rename PyImport_Cleanup() to _PyImport_Cleanup() and move it to the
  internal C API. Add 'tstate' parameters.
* Remove documentation of _PyImport_Init(), PyImport_Cleanup(),
  _PyImport_Fini(). All three were documented as "For internal use
  only.".

Fix name of '\0'. (GH-14222)

'\0' is the NUL byte not NULL.

bpo-36710: Add tstate parameter in import.c (GH-14218)

* Add 'tstate' parameter to many internal import.c functions.
* _PyImportZip_Init() now gets 'tstate' parameter rather than
  'interp'.
* Add 'interp' parameter to _PyState_ClearModules() and rename it
  to _PyInterpreterState_ClearModules().
* Move private _PyImport_FindBuiltin() to the internal C API; add
  'tstate' parameter to it.
* Remove private _PyImport_AddModuleObject() from the C API:
  use public PyImport_AddModuleObject() instead.
* Remove private _PyImport_FindExtensionObjectEx() from the C API:
  use private _PyImport_FindExtensionObject() instead.

Document typing.ForwardRef (GH-14216)

Document changes in PyNode_AddChild and PyParser_AddToken (GH-14214)

I didn't find any entries in the docs about these functions, so I just mentioned them, in "What's New".

bpo-35134: Add Include/cpython/import.h header file (GH-14213)

* Add Include/cpython/import.h and Include/internal/pycore_import.h
  header files.
* Move _PyImport_ReInitLock() to the internal C API. Don't export the
  symbol anymore.

bpo-37325: Fix focus traversal for 2 IDLE dialogs (#14209)

Tab now moves focus across and down for Help Source and Custom Run.

Add pganssle to CODEOWNERS and ACKS (GH-14138)

Also adds abalkin to CODEOWNERS for date and time related files.

bpo-34903: Document that some strptime formats only require 1 digit (GH-14149)

For datetime.datetime.strptime(), the leading zero for some two-digit formats is optional.

This adds a footnote to the strftime/strptime documentation to reflect this fact, and adds some tests to ensure that it is true.

bpo-34903

bpo-37151: remove _PyFunction_FastCallDict (GH-13864)

bpo-35360: Update macOS installer to use SQLite 3.28.0 (GH-14180)

bpo-37233: use _PY_FASTCALL_SMALL_STACK in method_vectorcall (GH-13974)

bpo-37151: use PyVectorcall_Call for all calls of "method" (GH-13972)

bpo-35031: also disable TLS 1.3 for test_start_tls_server_1 on macOS (GH-14188)

bpo-34631: Updated OpenSSL to 1.1.1c in macOS installer (GH-14187)

remove dead code (GH-14104)

default case ought to handle the "unexpected".

bpo-5680: IDLE: Customize running a module (GH-13763)

The initialize options are 1) add command line options, which are appended to sys.argv as if passed on a real command line, and 2) skip the shell restart. The customization dialog is accessed by a new entry on the Run menu.

Add sponsorship details for GitHub Sponsor button (GH-14181)

Improve release build performance using new artifacts tasks (GH-14175)

bpo-37189: Export old PyRun_XXX() functions (#14142)

Many PyRun_XXX() functions like PyRun_String() were no longer
exported in libpython38.dll by mistake. Export them again to fix the
ABI compatibiliy.

Fix test_embed.test_pre_initialization_sys_options() env vars (GH-14172)

test_pre_initialization_sys_options() of test_embed now removes
PYTHON* environment variables like PYTHONWARNINGS.

bpo-37320: Remove openfp() of aifc, sunau and wave (GH-14169)

aifc.openfp() alias to aifc.open(), sunau.openfp() alias to
sunau.open(), and wave.openfp() alias to wave.open() have been
removed. They were deprecated since Python 3.7.

 bpo-37321: Edit IDLE subprocess connection error messages. (#14170)

Mainly, add a doc reference to message in pyshell.

bpo-37039: Make IDLE's Zoom Height adjust to users' screens (GH-13678)

Measure required height by quickly maximizing once per screen.
A search for a better method failed.

bpo-34631: Updated OpenSSL to 1.1.1c in Windows installer (GH-14163)

bpo-34556: Add --upgrade-deps to venv module (#13100)

Add --upgrade-deps to venv module
- This allows for pip + setuptools to be automatically upgraded to the latest version on PyPI
- Update documentation to represent this change

bpo-34556: Add --upgrade to venv module

bpo-37111: Add 'encoding' and 'errors' parameters to logging.basicCon… (GH-14008)

bpo-37288: Fix Windows build when --no-tkinter is specified (GH-14096)

bpo-37194: Add PyObject_CallNoArgs() rationale (GH-14159)

Explain in the doc why PyObject_CallNoArgs() should be preferred over
other existing ways to call a function without any arguments.

bpo-35431: Test math.comb() and math.perm() for OverflowError only on CPython. (GH-14146)

Other implementation can raise MemoryError, but it can takes hours.

bpo-37315: Deprecate accepting floats in math.factorial(). (GH-14147)

bpo-37194: Complete PyObject_CallXXX() docs (GH-14156)

Mention explicitly that PyObject_CallXXX() functions raise an
exception an failure.

bpo-37194: Add a new public PyObject_CallNoArgs() function (GH-13890)

Add a new public PyObject_CallNoArgs() function to the C API: call a
callable Python object without any arguments.

It is the most efficient way to call a callback without any argument.
On x86-64, for example, PyObject_CallFunctionObjArgs(func, NULL)
allocates 960 bytes on the stack per call, whereas
PyObject_CallNoArgs(func) only allocates 624 bytes per call.

It is excluded from stable ABI 3.8.

Replace private _PyObject_CallNoArg() with public
PyObject_CallNoArgs() in C extensions: _asyncio, _datetime,
_elementtree, _pickle, _tkinter and readline.

bpo-37312: Remove _dummy_thread and dummy_threading modules (GH-14143)

Remove _dummy_thread and dummy_threading modules. These modules
were deprecated since Python 3.7 which requires threading support.

bpo-36922: use Py_TPFLAGS_METHOD_DESCRIPTOR in lookup_maybe_method() (GH-13865)

bpo-37231: remove _PyObject_FastCall_Prepend (GH-14153)

bpo-35031, test_asycio: disable TLS 1.3 in test_start_tls_server_1() (GH-14148)

bpo-35031, bpo-35998: Reintroduce workaround on Windows and FreeBSD
in test_start_tls_server_1() of test_asyncio: disable TLS v1.3 on the
client context.

bpo-36688: Adding an implementation of RLock in _dummy_thread (GH-12943)

bpo-37267: Do not check for FILE_TYPE_CHAR in os.dup() on Windows (GH-14051)

On Windows, os.dup() no longer creates an inheritable fd when handling a
character file.

bpo-37220: Fix 2.7 test -R crash on Windows. (GH-13957)

The patch needed for 2.7 should make the test more stable on 3.x also.

closes bpo-37300: Remove unnecessary Py_XINCREF in classobject.c. (GH-14120)

bpo-28805: document METH_FASTCALL (GH-14079)

Turn math.isqrt assertion into a comment to clarify its purpose. (GH-14131)