bpo-32030: Rewrite calculate_path() (#4521)

* calculate_path() rewritten in Modules/getpath.c and PC/getpathp.c
* Move global variables into a new PyPathConfig structure.
* calculate_path():

  * Split the huge calculate_path() function into subfunctions.
  * Add PyCalculatePath structure to pass data between subfunctions.
  * Document PyCalculatePath fields.
  * Move cleanup code into a new calculate_free() subfunction
  * calculate_init() now handles Py_DecodeLocale() failures properly
  * calculate_path() is now atomic: only replace PyPathConfig
    (path_config) at once on success.

* _Py_GetPythonHomeWithConfig() now returns an error on failure
* Add _Py_INIT_NO_MEMORY() helper: report a memory allocation failure
* Coding style fixes (PEP 7)

bpo-1102: View.Fetch() now returns None when it's exhausted (GH-4459)

bpo-28762: Revert last commit (now using Android Unified Headers) (GH-4488)

bpo-29040: Support building Android with Unified Headers (GH-4492)

bpo-28538: Revert all the changes (now using Android Unified Headers) (GH-4479)

bpo-32030: Add _PyMainInterpreterConfig.pythonhome (#4513)

* Py_Main() now reads the PYTHONHOME environment variable
* Add _Py_GetPythonHomeWithConfig() private function
* Add _PyWarnings_InitWithConfig()
* init_filters() doesn't get the current core configuration from the
  current interpreter or Python thread anymore. Pass explicitly the
  configuration to _PyWarnings_InitWithConfig().
* _Py_InitializeCore() now fails on _PyWarnings_InitWithConfig()
  failure.
* Pass configuration as constant

bpo-32030: Move PYTHONPATH to _PyMainInterpreterConfig (#4511)

Move _PyCoreConfig.module_search_path_env to _PyMainInterpreterConfig
structure.

bpo-10049: Add a "no-op" (null) context manager to contextlib (GH-4464)

Adds a simpler and faster alternative to ExitStack for handling
single optional context managers without having to change the
lexical structure of your code.

bpo-32100: IDLE: Fix pathbrowser errors; improve tests. (#4484)

Patch mostly by Cheryl Sabella

bpo-32030: Add _PyCoreConfig.module_search_path_env (#4504)

Changes:

* Py_Main() initializes _PyCoreConfig.module_search_path_env from
  the PYTHONPATH environment variable.
* PyInterpreterState_New() now initializes core_config and config
  fields
* Compute sys.path a little bit ealier in
  _Py_InitializeMainInterpreter() and new_interpreter()
* Add _Py_GetPathWithConfig() private function.

bpo-27535: Optimize warnings.warn() (#4508)

* Optimize warnings.filterwarnings(). Replace re.compile('') with
  None to avoid the cost of calling a regex.match() method, whereas
  it always matchs.
* Optimize get_warnings_attr(): replace PyObject_GetAttrString() with
  _PyObject_GetAttrId().

Cleanup also create_filter():

* Use _Py_IDENTIFIER() to allow to cleanup strings at Python
  finalization
* Replace Py_FatalError() with a regular exceptions

bpo-31324: Fix test.support.set_match_tests(None) (#4505)

bpo-31324: Optimize support._match_test() (#4421)

* Rename support._match_test() to support.match_test(): make it
  public
* Remove support.match_tests global variable. It is replaced with a
  new support.set_match_tests() function, so match_test() doesn't
  have to check each time if patterns were modified.
* Rewrite match_test(): use different code paths depending on the
  kind of patterns for best performances.

Co-Authored-By: Serhiy Storchaka <storchaka@gmail.com>

bpo-32105: add asyncio.BaseEventLoop.connect_accepted_socket versionadded to documentation. (#4491)

bpo-31672 - Add one last minor clarification for idpattern (#4483)

Add one last minor clarification for idpattern

Add comment and improve variable name in roundrobin() (#4486)

bpo-32043: Rephrase -X dev documentation (#4478)

* should not be more verbose if the code is correct
* enabled checks can be "expensive"

bpo-32030: Add more options to _PyCoreConfig (#4485)

Py_Main() now handles two more -X options:

* -X showrefcount: new _PyCoreConfig.show_ref_count field
* -X showalloccount: new _PyCoreConfig.show_alloc_count field

bpo-32089: Fix warnings filters in dev mode (#4482)

The developer mode (-X dev) now creates all default warnings filters
to order filters in the correct order to always show ResourceWarning
and make BytesWarning depend on the -b option.

Write a functional test to make sure that ResourceWarning is logged
twice at the same location in the developer mode.

Add a new 'dev_mode' field to _PyCoreConfig.

bpo-32094: Update subprocess for -X dev (#4480)

Modify subprocess._args_from_interpreter_flags() to handle -X dev
option.

Add also unit tests for test.support.args_from_interpreter_flags()
and test.support.optim_args_from_interpreter_flags().

bpo-32066: Support pathlib.Path in create_unix_connection; sock arg should be optional (#4447)

bpo-32088: Display Deprecation in debug mode (#4474)

When Python is build is debug mode (Py_DEBUG), DeprecationWarning,
PendingDeprecationWarning and ImportWarning warnings are now
displayed by default.

test_venv: run "-m pip" and "-m ensurepip._uninstall" with -W
ignore::DeprecationWarning since pip code is not part of Python.

bpo-32050: Fix -x option documentation (#4475)

The line number in correct when using the -x option: Py_Main() uses
ungetc() to not skip the first newline character.

bpo-32047: -X dev enables asyncio debug mode (#4418)

The new -X dev command line option now also enables asyncio debug
mode.

Remove duplicated import from datetime tests (#4444)

bpo-30904: Removed duplicated Host: header. (#4465)

Remove outdated .pyo reference from msilib docs (GH-4461)

Since f299abdafa0f2b6eb7abae274861b19b361c96bc
the remove_pyc() method no longer tries to
remove .pyo files.

Document parameters of BaseServer.finish_request() (GH-4445)

[Doc] Update opcode for var-positional arguments (#4446)

`BUILD_MAP_UNPACK_WITH_CALL` was duplicated as the opcode for both var-positional and var-keyword arguments. The opcode for the former was updated as `BUILD_TUPLE_UNPACK_WITH_CALL`.

bpo-32031: Fix pydoc `test_mixed_case_module_names_are_lower_cased` (GH-4441)

When there is a symlink in the directory path of the standard library.

bpo-29185: Fix `test_distutils` failures on Android (GH-4438)

* Run gzip with separate command line options (Android understands  '-f9' as the name of a file).
* Creation of a hard link is controled by SELinux on Android.

bpo-29184: Skip test_socketserver tests on PermissionError raised by Android (GH-4387)

bpo-32069: Drop legacy SSL transport (#4451)

* Drop legacy SSL transport

* Drop unused import

* Fix Windows tests

* Drop never executed on Python 3.4+ code

bpo-31867: Remove duplicates in default mimetypes. (#4388)

tokenizer: Remove unused tabs options (#4422)

Remove the following fields from tok_state structure which are now
used unused:

* altwarning: "Issue warning if alternate tabs don't match"
* alterror: "Issue error if alternate tabs don't match"
* alttabsize: "Alternate tab spacing"

Replace alttabsize variable with ALTTABSIZE define.

bpo-31691: Specify where to find build instructions for the Windows installer (#4426)

Fix typo in atexit documentation. (GH-4419)

`kargs` -> `kwargs`

bpo-31702: Allow to specify rounds for SHA-2 hashing in crypt.mksalt(). (#4110)

The log_rounds parameter for Blowfish has been replaced with the rounds parameter.

bpo-32043: New "developer mode": "-X dev" option (#4413)

Add a new "developer mode": new "-X dev" command line option to
enable debug checks at runtime.

Changes:

* Add unit tests for -X dev
* test_cmd_line: replace test.support with support.
* Fix _PyRuntimeState_Fini(): Use the same memory allocator
   than _PyRuntimeState_Init().
* Fix _PyMem_GetDefaultRawAllocator()

bpo-30349: Raise FutureWarning for nested sets and set operations (#1553)

in regular expressions.

bpo-32037: Use the INT opcode for 32-bit integers in protocol 0 pickles. (#4407)

bpo-30143: 2to3 now generates a code that uses abstract collection classes (#1262)

from collections.abc rather than collections.

bpo-32030: Enhance Py_Main() (#4412)

Parse more env vars in Py_Main():

* Add more options to _PyCoreConfig:

  * faulthandler
  * tracemalloc
  * importtime

* Move code to parse environment variables from _Py_InitializeCore()
  to Py_Main(). This change fixes a regression from Python 3.6:
  PYTHONUNBUFFERED is now read before calling pymain_init_stdio().
* _PyFaulthandler_Init() and _PyTraceMalloc_Init() now take an
  argument to decide if the module has to be enabled at startup.
* tracemalloc_start() is now responsible to check the maximum number
  of frames.

Other changes:

* Cleanup Py_Main():

  * Rename some pymain_xxx() subfunctions
  * Add pymain_run_python() subfunction

* Cleanup Py_NewInterpreter()
* _PyInterpreterState_Enable() now reports failure
* init_hash_secret() now considers pyurandom() failure as an "user
  error": don't fail with abort().
* pymain_optlist_append() and pymain_strdup() now sets err on memory
  allocation failure.

bpo-32030: Split Py_Main() into subfunctions (#4399)

* Don't use "Python runtime" anymore to parse command line options or
  to get environment variables: pymain_init() is now a strict
  separation.
* Use an error message rather than "crashing" directly with
  Py_FatalError(). Limit the number of calls to Py_FatalError(). It
  prepares the code to handle errors more nicely later.
* Warnings options (-W, PYTHONWARNINGS) and "XOptions" (-X) are now
  only added to the sys module once Python core is properly
  initialized.
* _PyMain is now the well identified owner of some important strings
  like: warnings options, XOptions, and the "program name". The
  program name string is now properly freed at exit.
  pymain_free() is now responsible to free the "command" string.
* Rename most methods in Modules/main.c to use a "pymain_" prefix to
  avoid conflits and ease debug.
* Replace _Py_CommandLineDetails_INIT with memset(0)
* Reorder a lot of code to fix the initialization ordering. For
  example, initializing standard streams now comes before parsing
  PYTHONWARNINGS.
* Py_Main() now handles errors when adding warnings options and
  XOptions.
* Add _PyMem_GetDefaultRawAllocator() private function.
* Cleanup _PyMem_Initialize(): remove useless global constants: move
  them into _PyMem_Initialize().
* Call _PyRuntime_Initialize() as soon as possible:
  _PyRuntime_Initialize() now returns an error message on failure.
* Add _PyInitError structure and following macros:

  * _Py_INIT_OK()
  * _Py_INIT_ERR(msg)
  * _Py_INIT_USER_ERR(msg): "user" error, don't abort() in that case
  * _Py_INIT_FAILED(err)

bpo-32034: Make IncompleteReadError & LimitOverrunError pickleable #4409

bpo-32025: Add time.thread_time() (#4410)

* bpo-32025: Add time.thread_time()

* Add missing #endif

* Add NEWS blurb

* Add docs and whatsnew

* Address review comments

* Review comments

bpo-32018: Fix inspect.signature repr to follow PEP 8 (#4408)

bpo-30399: Get rid of trailing comma in the repr of BaseException. (#1650)

bpo-30950: Convert round() to Argument Clinic. (#2740)

bpo-32011: Revert "Issue #15480: Remove the deprecated and unused TYPE_INT64 code from marshal." (#4381)

Simplify the reverted code.

This reverts commit e9bbe8b87ba2874efba0474af5cc7d5941dbf742.

bpo-32023: Disallow genexprs without parenthesis in class definitions. (#4400)

bpo-31949: Fixed several issues in printing tracebacks (PyTraceBack_Print()). (#4289)

* Setting sys.tracebacklimit to 0 or less now suppresses printing tracebacks.
* Setting sys.tracebacklimit to None now causes using the default limit.
* Setting sys.tracebacklimit to an integer larger than LONG_MAX now means using
  the limit LONG_MAX rather than the default limit.
* Fixed integer overflows in the case of more than 2**31 traceback items on
  Windows.
* Fixed output errors handling.

bpo-32032: Test both implementations of module-level pickle API. (#4401)

Changed lambda to str.strip in _strip_spaces in logging.config (#4332)

bpo-32012: Disallow trailing comma after genexpr without parenthesis. (#4382)

bpo-31948: Fix broken links in msilib docs (GH-4397)

bpo-15606: Improve the re.VERBOSE documentation. (#4366)

bpo-32015: Asyncio looping during simultaneously socket read/write an… (#4386)

* bpo-32015: Asyncio cycling during simultaneously socket read/write and reconnection

* Tests fix

* Tests fix

* News add

* Add new unit tests

bpo-32020: arraymodule: Correct missing Py_DECREF in failure case of make_array() (#4391)

bpo-16055: Fixes incorrect error text for int('1', base=1000) (#4376)

* bpo-16055: Fixes incorrect error text for int('1', base=1000)

* bpo-16055: Address review comments

bpo-31979: Simplify transforming decimals to ASCII (#4336)

in int(), float() and complex() parsers.

This also speeds up parsing non-ASCII numbers by around 20%.

bpo-28369: Enhance transport socket check in add_reader/writer (#4365)

bpo-32013: _pickle: Add missing Py_DECREF in error case in fast_save_enter() (#4384)

remove detect_math_libs (#4383)

Darwin may not require libm, but it doesn't hurt to link it and simplifies configuration logic.

bpo-29181: Skip test_tarfile tests on PermissionError raised by Android (GH-4375)

bpo-29180: Skip test_os tests on PermissionError raised by Android (GH-4374)

bpo-28759: Skip some tests on PermissionError raised by Android (GH-4350)

Access to mkfifo(), mknod() and hard link creation is controled
by SELinux on Android.
Also remove test.support.android_not_root.

bpo-30696: Fix the REPL looping endlessly when no memory (GH-4160)

bpo-28180: Fix the implementation of PEP 538 on Android (GH-4334)

Move comments in configure.ac to more appropriate place. (#4371)

The termios man page is in section 3 (GH-2450)

Remove redundant 'exc = True' line (GH-4357)

It can be removed after https://github.com/python/peps/commit/c28890fb421c906241da6da718f9eacc5a3109ee

bpo-31572: Get rid of _PyObject_HasAttrId() in the ASDL parser. (#3725)

Silence only expected AttributeError.

bpo-31572: Get rid of _PyObject_HasAttrId() in dict and OrderedDict. (#3728)

Silence only AttributeError when get "key" and "items" attributes in
the constructor and the update() method of dict and OrderedDict .

bpo-31572: Silence only AttributeError when get the __copy__ attribute in itertools.tee(). (#3724)

bpo-31572: Don't silence unexpected errors in the _warnings module. (#3731)

Get rid of _PyObject_HasAttrId() and PyDict_GetItemString().
Silence only expected AttributeError, KeyError and ImportError when
get an attribute, look up in a dict or import a module.

Add the const qualifier to "char *" variables that refer to literal strings. (#4370)

bpo-31824: Document default value of 'errors' parameters (GH-4328)

bpo-31976: Fix race condition when flushing a file is slow. (#4331)

Rewrite asyncio test to be more meaningful (#4363)

bpo-31985: Deprecate openfp in aifc, sunau, and wave (#4344)

The openfp functions of aifp, sunau, and wave had pointed to the open
function of each module since 1993 as a matter of backwards
compatibility. In the case of aifc.openfp, it was both undocumented
and untested. This change begins the formal deprecation of those
openfp functions, with their removal coming in 3.9.

This additionally adds a TODO in test_pyclbr around using aifc.openfp,
though it shouldn't be changed until removal in 3.9.

bpo-31999: Fix test_venv in case the zlib module is not available. (#4359)

bpo-31998: Fix test_zipapp in case the zlib module is not available. (#4358)

bpo-31222: Make (datetime|date|time).replace return subclass type in Pure Python (#4176)

Fix phrasing in Doc/whatsnew/3.7.rst (GH-4318)

Correct the location of a function mentioned in a comment (GH-4327)

bpo-31927: Fix bugs in socketmodule.c on NetBSD and other issues. (#4235)

* Fix compilation of the socket module on NetBSD 8.
* Fix the assertion failure or reading arbitrary data when parse
  a AF_BLUETOOTH address on NetBSD and DragonFly BSD.
* Fix other potential errors and make the code more reliable.

Silence error output in test_concurrent_futures (bpo-21423) (#4347)

* Silence error output in test_concurrent_futures (bpo-21423)

Replace KB unit with KiB (#4293)

kB (*kilo* byte) unit means 1000 bytes, whereas KiB ("kibibyte")
means 1024 bytes. KB was misused: replace kB or KB with KiB when
appropriate.

Same change for MB and GB which become MiB and GiB.

Change the output of Tools/iobench/iobench.py.

Round also the size of the documentation from 5.5 MB to 5 MiB.

bpo-11063: Use more reliable way to check if uuid function exists (GH-4343)

bpo-11063: Add a configure check for uuid_generate_time_safe (GH-4287)

bpo-31810: added missing keywords to docs. (#4140)

async and await keywords has been merged into upstream, but they are
all missing in the lexical analysis docs. This change adds them to the
appropriate keywords section in documentation.

bpo-29179: Document the Py_UNUSED macro (#4341)

Py_UNUSED has a public name, and is used in the wild outside CPython,
but was not documented. Rectify that.

The macro was added in bpo-19976 and referenced in bpo-26179.

bpo-31934: Abort when building out of a not clean source tree (GH-4255)

bpo-31884 subprocess: add Windows constants for process priority (#4150)

bpo-31338: C API intro: add missing versionadded (#4339)

Fix broken link in Doc/whatsnew/3.7.rst (GH-4335)

Docs: Mention that Py_UNREACHABLE was added in 3.7 (#4337)

The macro was added for bpo-31338 in commit b2e5794870eb4728ddfaafc0f79a40299576434f

bpo-21862: Add -m option to cProfile for profiling modules (#4297)

* bpo-21862: Add -m option to cProfile for profiling modules

Remove unused var from CheckCancelOperation test (GH-4317)

It looks like this was copied from one of the previous tests, which did use it.