v3.8.0a3

bpo-36301: Add _Py_PreInitializeFromConfig() (GH-12536)

* Initialize _PyPreConfig.dev_mode to -1.
* _PyPreConfig_Read(): coreconfig has the priority over preconfig.
* _PyCoreConfig_Read() now calls _PyPreCmdline_Read() internally.
* config_from_cmdline() now pass _PyPreCmdline to config_read().
* Add _PyPreCmdline_Copy().

bpo-36301: Cleanup preconfig code (GH-12535)

Prepare code to move some _PyPreConfig parameters into _PyPreCmdline.
Changes:

* _PyCoreConfig_ReadFromArgv(): remove preconfig parameter,
  use _PyRuntime.preconfig.
* Add _PyPreCmdline_GetPreConfig() (called by _PyPreConfig_Read()).
* Rename _PyPreCmdline_Init() to _PyPreCmdline_SetArgv()
* Factorize _Py_PreInitializeFromPreConfig() code: add
  pyinit_preinit().
* _PyPreConfig_Read() now sets coerce_c_locale to 2 if it must be
  coerced.
* Remove _PyCoreConfig_ReadPreConfig().
* _PyCoreConfig_Write() now copies updated preconfig into _PyRuntime.

bpo-35884: Add string-keys-only microbenchmark for dict access to var_access_benchmark.py (GH-11905)

bpo-36421: Fix a possible double decref in _ctypes.c's PyCArrayType_new(). (GH-12530)

Set type_attr to NULL after the assignment to stgdict->proto (like
what is done with stgdict after the Py_SETREF() call) so that it is
not decrefed twice on error.

bpo-36218: Fix handling of heterogeneous values in list.sort (GH-12209)

Fix line ending (GH-12531)

bpo-36401: Have help() show readonly properties separately (GH-12517)

bpo-30348: IDLE: Add test_autocomplete unittest (GH-2209)

bpo-31822: Document that urllib.parse.{Defrag,Split,Parse}Result are namedtuples (GH-4434)

bpo-36405: IDLE - Restore __main__ and add tests (#12518)

Fix error in commit 2b75155 noticed by Serhiy Storchaka.

Replace "DOS box" with link to Windows FAQ. (GH-12390)

bpo-36412: fix a possible crash in dictobject.c's new_dict() (GH-12519)

bpo-32217: Correct usage of ABI tags in freeze. (GH-4719)

Check for sys.abiflags before using since not all platforms have it defined.

bpo-36381: warn when no PY_SSIZE_T_CLEAN defined (GH-12473)

We will remove int support from 3.10 or 4.0.

bpo-23205: IDLE: Add tests and refactor grep's findfiles (GH-12203)

* Add tests for grep findfiles.
* Move findfiles to module function.
* Change findfiles to use os.walk.

Based on a patch by Al Sweigart.

bpo-36301: Add _PyRuntimeState.preconfig (GH-12506)

_PyPreConfig_Write() now writes the applied pre-configuration into
_PyRuntimeState.preconfig.

bpo-36405: Use dict unpacking in idlelib (#12507)

Remove now unneeded imports.

bpo-33319: Clarify subprocess call docs. (GH-12508)

Clarify capturing or suppressing stdout and stderr on the old call APIs.

Do not state that they are equivalent to run() calls when they are not implemented using run as that was misleading. Unlike run they cannot handle stdout or stderr being set to PIPE without a risk of deadlock.

Fix typo in doc for pprint.pp (GH-12500)

bpo-36396: Remove fgBg param of idlelib.config.GetHighlight() (GH-12491)

This param was only used once and changed the return type.

bpo-36298: Raise ModuleNotFoundError in pyclbr when a module can't be found (GH-12358)

Before, an `AttributeError` was raised due to trying to access an attribute that exists on specs but having received `None` instead for a non-existent module.

https://bugs.python.org/issue36298

bpo-35155: clarify protocol handler method naming (GH-10313)

Clarify that the naming of protocol handler methods shouldn't be literally called "protocol" but should be named after the actual protocol.

https://bugs.python.org/issue35155

bpo-30670: Add pp function to the pprint module (GH-11769)

asyncio: PendingDeprecationWarning -> DeprecationWarning (GH-12494)

`Task.current_task()` and `Task.all_tasks()` will be removed in 3.9.

bpo-21269: Provide args and kwargs attributes on mock call objects GH11807

Raise the timeout in test_multiprocessing_* for slow buildbots (GH-12489)

bpo-35284: Fix the error handling in the compiler's compiler_call(). (GH-10625)

compiler_call() needs to check if an error occurred during the
maybe_optimize_method_call() call.

bpo-36398: Fix a possible crash in structseq_repr(). (GH-12492)

If the first PyUnicode_DecodeUTF8() call fails in structseq_repr(),
_PyUnicodeWriter_Dealloc() will be called on an uninitialized
_PyUnicodeWriter.

bpo-36256: Fix bug in parsermodule when parsing if statements (GH-12477)

bpo-36256: Fix bug in parsermodule when parsing if statements

In the parser module, when validating nodes before starting the parsing with to create a ST in "parser_newstobject" there is a problem that appears when two arcs in the same DFA state has transitions with labels with the same type. For example, the DFA for if_stmt has a state with
two labels with the same type: "elif" and "else" (type NAME). The algorithm tries one by one the arcs until the label that starts the arc transition has a label with the same type of the current child label we are trying to accept. In this case, the arc for "elif" comes before the arc for "else"and passes this test (because the current child label is "else" and has the same type as "elif"). This lead to expecting a namedexpr_test (305) instead of a colon (11). The solution is to compare also the string representation (in case there is one) of the labels to see if the transition that we have is the correct one.

Fix registry key for Windows SDK detection (GH-12445)

bpo-35978: Correctly skips venv tests in venvs (GH-12220)

Also fixes venvs from the build directory on Windows.

bpo-36245: Avoid problems when building in a directory containing spaces. (GH-12241)

Fix table formatting in itertools doc (GH-12228)

bpo-36268: Change default tar format to pax from GNU. (GH-12355)

bpo-36385: Add ``elif`` sentence on to avoid multiple ``if`` (GH-12478)

Currently, when arguments on Parser/asdl_c.py are parsed
``ìf`` sentence is used. This PR Propose to use ``elif``
to avoid multiple evaluting of the ifs.

https://bugs.python.org/issue36385

bpo-36324: NormalDist() add more tests and update comments (GH-12476)

* Improve coverage.
* Note inherent limitations of the accuracy tests

https://bugs.python.org/issue36324

bpo-36285: Fix integer overflow in the array module. (GH-12317)

bpo-36312: Fix decoders for some code pages. (GH-12369)

bpo-8677: use PY_DWORD_MAX instead of INT_MAX (GH-12469)

bpo-8677: use PY_SSIZE_T_CLEAN in PC/winreg.c (GH-12466)

bpo-8677: use PY_SSIZE_T_CLEAN in socketmodule.c (GH-12467)

bpo-8677: use PY_SSIZE_T_CLEAN in Modules/_gdbmodule.c (GH-12464)

bpo-36374: Fix a possible null pointer dereference (GH-12449)

https://bugs.python.org/issue36374

bpo-36301: Add _PyPreCmdline internal API (GH-12458)

_PyCoreConfig_ReadFromArgv() now reuses the code parsing command line
options from preconfig.c.

bpo-23984: Improve descriptor documentation (GH-1034)

https://bugs.python.org/issue23984

bpo-36356: Fix _PyCoreConfig_Read() (GH-12454)

Don't override parameters which are already set by the user.

bpo-36301: Add _PyRuntime.pre_initialized (GH-12457)

* Add _PyRuntime.pre_initialized: set to 1 when Python
  is pre-initialized
* Add _Py_PreInitialize() and _Py_PreInitializeFromPreConfig().
* _PyCoreConfig_Read() now calls  _Py_PreInitialize().
* Move _PyPreConfig_GetGlobalConfig() and
  _PyCoreConfig_GetGlobalConfig() calls from main.c to preconfig.c
  and coreconfig.c.

bpo-36362: Avoid unused variables when HAVE_DYNAMIC_LOADING is not defined (GH-12430)

https://bugs.python.org/issue36362

bpo-36365: Rewrite structseq_repr() using _PyUnicodeWriter (GH-12440)

No longer limit repr(structseq) to 512 bytes. Use _PyUnicodeWriter
for better performance and to write directly Unicode rather than
encoding repr() value to UTF-8 and then decoding from UTF-8.

bpo-35388: Fix _PyRuntime_Finalize() (GH-12443)

Calling _PyRuntime_Initialize() after _PyRuntime_Finalize() now re-initializes
_PyRuntime structure. Previously, _PyRuntime_Initialize() did
nothing in that case.

bpo-36324: Improved code formatting for the NormalDist.inv_cdf rational approximation (GH-12448)

https://bugs.python.org/issue36324

NormalDist.inv_cdf(): In-line constants because the variable names were not informative (GH-12446)

bpo-36236: Fix _PyPathConfig_ComputeSysPath0() for empty argv (GH-12441)

* _PyPathConfig_ComputeSysPath0() now returns 0 if argv is empty.
* Cleanup also _PyPathConfig_ComputeSysPath0() code: move variables
  definitions closer to where they are used.

bpo-36367: Free buffer if realloc fails in tokenize.c (GH-12442)

bpo-36236: Handle removed cwd at Python init (GH-12424)

At Python initialization, the current directory is no longer
prepended to sys.path if it has been removed.

Rename _PyPathConfig_ComputeArgv0() to
_PyPathConfig_ComputeSysPath0() to avoid confusion between argv[0]
and sys.path[0].

bpo-36356: pymain_free() calls _PyRuntime_Finalize() (GH-12435)

Ensure that _PyRuntime_Finalize() is always call. This change fix a
few memory leaks when running "python3 -V".

bpo-36356: Release Unicode interned strings on Valgrind (#12431)

When Python is compiled with Valgrind support, release Unicode
interned strings at exit in _PyUnicode_Fini().

* Rename _Py_ReleaseInternedUnicodeStrings() to
  unicode_release_interned() and make it private.
* unicode_release_interned() is now called from _PyUnicode_Fini():
  it must be called with a running Python thread state for TRASHCAN,
  it cannot be called from pymain_free().
* Don't display statistics on interned strings at exit anymore

bpo-36333, bpo-36356: Fix _PyEval_FiniThreads() (GH-12432)

_PyEval_FiniThreads() now free the pending lock.

bpo-8677: use PY_SSIZE_T_CLEAN in sqlite (GH-12434)

Modules/_sqlite/cursor.c uses "y#" format.
It didn't declare PY_SSIZE_T_CLEAN, but the argument is Py_ssize_t already.

bpo-36333: Fix leak _PyRuntimeState_Fini (GH-12400)

bpo-36356: Fix memory leak in _PyPreConfig_Read() (GH-12425)

_PyPreConfig_Read() now free 'old_old' at exit.

Add docstrings to the arithmetic methods in NormalDist() (GH-12426)

bpo-36324: Add inv_cdf() to statistics.NormalDist() (GH-12377)

bpo-36352: Avoid hardcoded MAXPATHLEN size in getpath.c (GH-12423)

* Use Py_ARRAY_LENGTH() rather than hardcoded MAXPATHLEN in getpath.c.
* Pass string length to functions modifying strings.

bpo-36301: Error if decoding pybuilddir.txt fails (GH-12422)

Python initialization now fails if decoding pybuilddir.txt
configuration file fails at startup.

_PyPathConfig_Calculate() now reports memory allocation failure and
decoding error on decoding pybuilddir.txt content from
UTF-8/surrogateescape.

bpo-36352: Add error handling to getpath.c (GH-12421)

Replace Py_FatalError() with _PyInitError to let the caller handle
the fatal error.

bpo-36301: Fix Py_Main() memory leaks (GH-12420)

bpo-36301, bpo-36333:

* Fix memory allocator used by _PyPathConfig_ClearGlobal():
  force the default allocator.
* _PyPreConfig_ReadFromArgv(): free init_ctype_locale memory.
* pymain_main(): call pymain_free() on init error

Co-Authored-By: Stéphane Wirtel <stephane@wirtel.be>

bpo-36292:  Mark unreachable code as such in long bitwise ops (GH-12333)

bpo-36320: Switch typing.NamedTuple from OrderedDict to regular dict (GH-12396)

Also,  deprecate the *_field_types* attributes which duplicated the information in *\__annotations__*.

https://bugs.python.org/issue36320

bpo-36352: Clarify fileutils.h documentation (GH-12406)

The last parameter of _Py_wreadlink(), _Py_wrealpath() and
_Py_wgetcwd() is a length, not a size: number of characters including
the trailing NUL character.

Enhance also documentation of error conditions.

bpo-36235: Enhance distutils test_customize_compiler() (GH-12403)

The test test_customize_compiler() now mocks all sysconfig variables
and all environment variables used by customize_compiler().

bpo-36328: Fix compiler warning in Py_NewInterpreter() (GH-12381)

bpo-36332: Allow compile() to handle AST objects with assignment expressions (GH-12398)

bpo-30040: optimize inserting into empty dict (GH-12307)

bpo-36329: Declare the version of Python to use for Tools/scripts/serve.py (#12385)

* bpo-36329: Declare the version of Python to use for Tools/scripts/serve.py

* Add the blurb entry

bpo-36307: Travis: upgrade to Xenial environment (GH-12356)

Fix typo in _PyObject_FastCallDict documentation (GH-12383)

bpo-36321: Fix misspelled attribute in namedtuple() (GH-12375)

bpo-36297: remove "unicode_internal" codec (GH-12342)

Fix "catchs" typos in NEWS entries (GH-12364)

Fix typo in unittest.mock documentation: manger -> manager (GH-12352)

bpo-34745: Fix asyncio sslproto memory issues (GH-12386)

* Fix handshake timeout leak in asyncio/sslproto

Refs MagicStack/uvloop#222

* Break circular ref _SSLPipe <-> SSLProtocol

* bpo-34745: Fix asyncio ssl memory leak

* Break circular ref SSLProtocol <-> UserProtocol

* Add NEWS entry

bpo-34160: Update news entry for XML order attributes (#12335)

bpo-23216: IDLE: Add docstrings to search modules (GH-12141)

bpo-35493: Use Process.sentinel instead of sleeping for polling worker status in multiprocessing.Pool (#11488)

* bpo-35493: Use Process.sentinel instead of sleeping for polling worker status in multiprocessing.Pool

* Use self-pipe pattern to avoid polling for changes

* Refactor some variable names and add comments

* Restore timeout and poll

* Use reader object only on wait()

* Recompute worker sentinels every time

* Remove timeout and use change notifier

* Refactor some methods to be overloaded by the ThreadPool, document the cache class and fix typos

bpo-35715: Liberate return value of _process_worker (GH-11514)

ProcessPoolExecutor workers will hold the return value of their last task in memory until the next task is received. Since the return value has already been propagated to the parent process's Future (or has been discarded by this point), the object can be safely released.

Update the seealso entries for namedtuple() (GH-12373)

* Replace external recipe link with a link to the dataclasses module.

* Highlight the class definition syntax for typing.NamedTuple
  and add an example for clarity.

Minor grammar fix in docs (GH-12371)

bpo-36127: Fix compiler warning in _PyArg_UnpackKeywords(). (GH-12353)

bpo-36138: Clarify docs about converting datetime.timedelta to scalars. (GH-12137)

Be explicit that timedelta division converts an overall duration to the interval
units given by the denominator.

bpo-36124: Add PyInterpreterState.dict. (gh-12132)

bpo-36097: Use only public C-API in the_xxsubinterpreters module (adding as necessary). (gh-12359)

bpo-33608: Deal with pending calls relative to runtime shutdown. (gh-12246)

Add the meaning of the returned value of PyTypeObject.tp_init (GH-12325)

bpo-33608: Fix PyEval_InitThreads() warning (GH-12346)

The function has no return value.

Fix the following warning on Windows:

    python\ceval.c(180): warning C4098: 'PyEval_InitThreads':
    'void' function returning a value

bpo-36301: _PyCoreConfig_Read() ensures that argv is not empty (GH-12347)

If argv is empty, add an empty string.

bpo-36301: Add _PyWstrList structure (GH-12343)

Replace messy _Py_wstrlist_xxx() functions with a new clean
_PyWstrList structure and new _PyWstrList_xxx() functions.

Changes:

* Add _PyCoreConfig.use_module_search_paths to decide if
  _PyCoreConfig.module_search_paths should be computed or not, to
  support empty search path list.
* _PyWstrList_Clear() sets length to 0 and items to NULL, whereas
  _Py_wstrlist_clear() only freed memory.
* _PyWstrList_Append() returns an int, whereas _Py_wstrlist_append()
  returned _PyInitError.
* _PyWstrList uses Py_ssize_t for the length, instead of int.
* Replace (int, wchar_t**) with _PyWstrList in:

  * _PyPreConfig
  * _PyCoreConfig
  * _PyPreCmdline
  * _PyCmdline

* Replace "int orig_argv; wchar_t **orig_argv;"
  with "_PyWstrList orig_argv".
* _PyCmdline and _PyPreCmdline now also copy wchar_argv.
* Rename _PyArgv_Decode() to _PyArgv_AsWstrList().
* PySys_SetArgvEx() now pass the fixed (argc, argv) to
  _PyPathConfig_ComputeArgv0() (don't pass negative argc or NULL
  argv).
* _PyOS_GetOpt() uses Py_ssize_t

bpo-36235: Fix CFLAGS in distutils customize_compiler() (GH-12236)

Fix CFLAGS in customize_compiler() of distutils.sysconfig: when the
CFLAGS environment variable is defined, don't override CFLAGS variable with
the OPT variable anymore.

Initial patch written by David Malcolm.

Co-Authored-By: David Malcolm <dmalcolm@redhat.com>

bpo-36272: Logging now propagates RecursionError (GH-12312)