bpo-36763: Add _PyInitError functions (GH-13395)

* Add _PyInitError functions:

  * _PyInitError_Ok()
  * _PyInitError_Error()
  * _PyInitError_NoMemory()
  * _PyInitError_Exit()
  * _PyInitError_IsError()
  * _PyInitError_IsExit()
  * _PyInitError_Failed()

* frozenmain.c and _testembed.c now use functions rather than macros.
* Move _Py_INIT_xxx() macros to the internal API.
* Move _PyWstrList_INIT macro to the internal API.

bpo-36763: _Py_RunMain() doesn't call Py_Exit() anymore (GH-13390)

Py_Main() and _Py_RunMain() now return the exitcode rather than
calling Py_Exit(exitcode) when calling PyErr_Print() if the current
exception type is SystemExit.

* Add _Py_HandleSystemExit().
* Add pymain_exit_err_print().
* Add pymain_exit_print().

bpo-36945: Add _PyPreConfig.configure_locale (GH-13368)

_PyPreConfig_InitIsolatedConfig() sets configure_locale to 0 to
prevent Python to modify the LC_CTYPE locale. In that case,
coerce_c_locale an coerce_c_locale_warn are set to 0 as well.

bpo-36782: Created C API wrappers and added missing tests for functions in the PyDateTimeAPI. (#13088)

* created a c API wrapper for pyDate_FromDate and added the test

* 📜🤖 Added by blurb_it.

* fixed auto-alignment by vscode

* made changes as per PEP7

* Update 2019-05-04-21-25-19.bpo-36782.h3oPIb.rst

* Refactored code as per requested changes

* Remove Whitespace to Fix failed travis build

* Update 2019-05-04-21-25-19.bpo-36782.h3oPIb.rst

* Add a new line at end of ACKS

* Added C API function for PyDateTime_FromDateAndTime

* Added a test for the C API wrapper of PyDateTime_FromDateAndTime

* Added C API function for PyDateTime_FromDateAndTime

* Added a test for the C API wrapper of PyDateTime_FromDateAndTimeAndFold

* Remove Whitespace using patchcheck

* Added a C API function for PyTime_FromTime

* Added a test for the C API wrapper of PyTime_FromTime

* Added a C API function for PyTime_FromTimeAndFold

* Added a test for the C API wrapper of PyTime_FromTimeAndFold

* Added a C API function for PyDelta_FromDSU

* Added a test for the C API wrapper of PyDelta_FromDSU

* Refactor code, re-edit lines longer than 80 chars

* Fix Whitespace issues in DatetimeTester

* List all tests that were added in this PR

* Update 2019-05-04-21-25-19.bpo-36782.h3oPIb.rst

* Reformat code as per PEP7 guidelines

* Remove unused varibles from another function

* Added specific tests for the Fold Attribute

* Update 2019-05-04-21-25-19.bpo-36782.h3oPIb.rst

* Reformat code according to requested changes

* Reformat code to PEP7 Guidelines

* Reformat code to PEP7 Guidelines

* Re-add name to blurb

* Added a backtick to blurb file

* Update 2019-05-04-21-25-19.bpo-36782.h3oPIb.rst

* Remove the need to initialize mandatory parameters

* Make the macro parameter mandatory

* Re-arrange the order of unit-test args

* Removed the need to initialize macro

change all the int macro = 0 to int macro; now that macro is required

Co-Authored-By: Paul Ganssle <pganssle@users.noreply.github.com>
* Removed the need to initialize macro

change all the `int macro = 0` to `int macro`; now that macro is required

Co-Authored-By: Paul Ganssle <pganssle@users.noreply.github.com>
* Removed the need to initialize macro

change all the `int macro = 0` to `int macro`; now that macro is required

Co-Authored-By: Paul Ganssle <pganssle@users.noreply.github.com>
* Removed the need to initialize macro

change all the `int macro = 0` to `int macro`; now that macro is required

Co-Authored-By: Paul Ganssle <pganssle@users.noreply.github.com>
* Removed the need to initialize macro

change all the `int macro = 0` to `int macro`; now that macro is required

Co-Authored-By: Paul Ganssle <pganssle@users.noreply.github.com>
* Removed the need to initialize macro

change all the `int macro = 0` to `int macro`; now that macro is required

Co-Authored-By: Paul Ganssle <pganssle@users.noreply.github.com>

bpo-33524: Fix the folding of email header when max_line_length is 0 or None (#13391)

and there are non-ascii characters in the header.

bpo-36867: _test_multiprocessing: avoid weak sync primitive (GH-13292)

Avoid weak sync primitive in multiprocessing resource_tracker test.

bpo-36942 Windows build changes for Windows ARM64 (GH-13366)

bpo-36941: Windows build changes for Windows ARM64 (GH-13365)

bpo-36763: Add _PyCoreConfig_InitPythonConfig() (GH-13388)

Add new functions to get the Python interpreter behavior:

* _PyPreConfig_InitPythonConfig()
* _PyCoreConfig_InitPythonConfig()

Add new functions to get an isolated configuration:

* _PyPreConfig_InitIsolatedConfig()
* _PyCoreConfig_InitIsolatedConfig()

Replace _PyPreConfig_INIT and _PyCoreConfig_INIT with new functions
_PyPreConfig_Init() and _PyCoreConfig_Init().

_PyCoreConfig: set configure_c_stdio and parse_argv to 0 by default
to behave as Python 3.6 in the default configuration.

_PyCoreConfig_Read() no longer sets coerce_c_locale_warn to 1 if it's
equal to 0. coerce_c_locale_warn must now be set to -1 (ex: using
_PyCoreConfig_InitPythonConfig()) to enable C locale coercion
warning.

Add unit tests for _PyCoreConfig_InitPythonConfig()
and _PyCoreConfig_InitIsolatedConfig().

Changes:

* Rename _PyCoreConfig_GetCoreConfig() to _PyPreConfig_GetCoreConfig()
* Fix core_read_precmdline(): handle parse_argv=0
* Fix _Py_PreInitializeFromCoreConfig(): pass coreconfig.argv
  to _Py_PreInitializeFromPyArgv(), except if parse_argv=0

bpo-36763: Add PyMemAllocatorName (GH-13387)

* Add PyMemAllocatorName enum
* _PyPreConfig.allocator type becomes PyMemAllocatorName, instead of
  char*
* Remove _PyPreConfig_Clear()
* Add _PyMem_GetAllocatorName()
* Rename _PyMem_GetAllocatorsName() to
  _PyMem_GetCurrentAllocatorName()
* Remove _PyPreConfig_SetAllocator(): just call
  _PyMem_SetupAllocators() directly, we don't have do reallocate the
  configuration with the new allocator anymore!
* _PyPreConfig_Write() parameter becomes const, as it should be in
  the first place!

Simplify SSLSocket / SSLObject doc string (GH-9972)

Instead of maintaining the same doc string two times, let's copy common
doc strings from SSLObject methods and properties to SSLSocket.

Signed-off-by: Christian Heimes <christian@python.org>

docs 36789: resolve incorrect note regarding UTF-8 (GH-13111)

bpo-1875: Raise SyntaxError in invalid blocks that will be optimised away (GH-13332)

Move the check for dead conditionals (if 0) to the peephole optimizer
and make sure that the code block is still compiled to report any
existing syntax errors within.

Fix typo in _PyMethodDef_RawFastCallKeywords error message (GH-13343)

bpo-36908: 'This module is always available' isn't helpful. (#13297)

Makes the documentation of math and cmath module
more helpful for the beginners.

Doc: Replace the deprecated highlightlang directive by highlight. (#13377)

highlightlang is deprecated since April 2018 in Sphinx.
See https://github.com/sphinx-doc/sphinx/pull/4845

bpo-36763: Remove _PyCoreConfig.program (GH-13373)

Use _PyCoreConfig.program_name instead.

Doc: Add link threading.settrace to sys.settrace (GH-13345)

bpo-35545: Fix asyncio discarding IPv6 scopes  (GH-11271)

This PR proposes a solution to [bpo-35545](https://bugs.python.org/issue35545) by adding an optional `flowinfo` and `scopeid` to `asyncio.base_events._ipaddr_info` to carry the full address information into `_ipaddr_info` and avoid discarding IPv6 specific information.

Changelog entry & regression tests to come.

https://bugs.python.org/issue35545

bpo-36946: Fix possible signed integer overflow when handling slices. (GH-13375)

The final addition (cur += step) may overflow, so use size_t for "cur".
"cur" is always positive (even for negative steps), so it is safe to use
size_t here.

Co-Authored-By: Martin Panter <vadmium+py@gmail.com>

bpo-36763: Cleanup precmdline in _PyCoreConfig_Read() (GH-13371)

precmdline is only needed in _PyCoreConfig_Read(), not in
config_read_cmdline(). Reorganize _PyCoreConfig_Read().

bpo-36751: Undeprecate getfullargspec (GH-13245)

bpo-36763: Add _PyCoreConfig.configure_c_stdio (GH-13363)

Add tests for configure_c_stdio and pathconfig_warnings parameters.

bpo-36763: Add _Py_InitializeMain() (GH-13362)

* Add a private _Py_InitializeMain() function.
* Add again _PyCoreConfig._init_main.
* _Py_InitializeFromConfig() now uses _init_main to decide
  if _Py_InitializeMainInterpreter() should be called.
* _PyCoreConfig: rename _frozen to pathconfig_warnings, its value is
  now the opposite of Py_FrozenFlag.
* Add an unit test for _init_main=0 and _Py_InitializeMain().

bpo-36763: Add _PyCoreConfig.parse_argv (GH-13361)

* _PyCoreConfig_Read() doesn't parse nor update argv
  if parse_argv is 0.
* Move path configuration fields in _PyCoreConfig.
* Add an unit test for parse_argv=0.
* Remove unused "done": label in _Py_RunMain().

bpo-36921: Deprecate @coroutine for sake of async def (GH-13346)

The second attempt. Now deprecate `@coroutine` only, keep `yield from fut` as is.

https://bugs.python.org/issue36921

bpo-36763: _PyInitError always use int for exitcode (GH-13360)

We cannot use "unsigned int" for exitcode on Windows, since
Py_Main() and _Py_RunMain() always return an "int".

Changes:

* _PyPathConfig_ComputeSysPath0() now returns -1 if an exception is
  raised.
* pymain_run_python() no longer uses _PyInitError but display the
  exception and set exitcode to 1 in case of error.
* Fix _Py_RunMain(): return an exitcode rather than calling
  exit() on pymain_run_python() failure.
* _Py_ExitInitError() no longer uses ExitProcess() on Windows, use
  exit() on all platforms.
* _Py_ExitInitError() now fails with a fatal error if 'err' is not an
  error not an exit.

bpo-35589: Prevent buffer copy in sock_sendall() (GH-11418)

No NEWs is needed since the problem was introduced on master only and never released.

https://bugs.python.org/issue35589

bpo-36748: optimize TextIOWrapper.write() for ASCII string (GH-13002)

Fix typos in documentation.  Patch by tirkarthi. (GH-13354)

Fix typos in documentation (#13344)

bpo-36511: Windows arm32 buildbot changes (remove extra space) (GH-13351)

@zooba
I just realized that this whitespace fix didn't get pushed.

https://bugs.python.org/issue36511

bpo-36511: Windows ARM32 buildbot changes (GH-12917)

bpo-35926: Add support for OpenSSL 1.1.1b on Windows (GH-11779)

bpo-33123: pathlib: Add missing_ok parameter to Path.unlink (GH-6191)

Similarly to how several pathlib file creation functions have an "exists_ok" parameter, we should introduce "missing_ok" that makes removal functions not raise an exception when a file or directory is already absent.  IMHO, this should cover Path.unlink and Path.rmdir.  Note, Path.resolve() has a "strict" parameter since 3.6 that does the same thing. Naming this of this new parameter tries to be consistent with the "exists_ok" parameter as that is more explicit about what it does (as opposed to "strict").

https://bugs.python.org/issue33123

bpo-36786: Run compileall in parallel during "make install" (GH-13078)

bpo-26707: Enable plistlib to read UID keys. (GH-12153)

Plistlib currently throws an exception when asked to decode a valid
.plist file that was generated by Apple's NSKeyedArchiver. Specifically,
this is caused by a byte 0x80 (signifying a UID) not being understood.

This fixes the problem by enabling the binary plist reader and writer
to read and write plistlib.UID objects.

Reference zipimport source code from docs. (GH-13310)

bpo-36799: Fix typo in ctypes.rst (GH-13104)

bpo-36763: InitConfigTests tests all core config (GH-13331)

Remove UNTESTED_CORE_CONFIG from test_embed.InitConfigTests: all core
config fields are now tested!

Changes:

* Test also dll_path on Windows
* Add run_main_config unit test: test config using _Py_RunMain().

bpo-36801: Temporarily fix regression in writer.drain() (#13330)

bpo-36763: Add test for _PyCoreConfig_SetString() (GH-13275)

test_embed: add test_init_read_set() to test newly added APIs: test
module_search_paths and executable.

bpo-36760: Clarify subprocess capture_output docs. (GH-13322)

Clarify how to capture stdout and stderr combined into one stream.

bpo-36618: Don't add -fmax-type-align=8 flag for clang (GH-13320)

Python 3.8 now respects the x86-64 ABI: memory allocations are
aligned on 16 bytes. The clang flag was only used as a temporary
workaround.

bpo-33529, email: Fix infinite loop in email header encoding (GH-12020)

json.tool: use stdin and stdout in default cmdlne arguments (GH-11992)

Argparse can handle default value as stdin and stdout for parameters
as file type (infile, outfile).

bpo-36916: asyncio: Swallow unhandled write() exception (GH-13313)

bpo-36900: Replace global conf vars with config (GH-13299)

Replace global configuration variables with core_config read from the
current interpreter.

Cleanup dynload_hpux.c.

bpo-36915: regrtest always remove tempdir of worker processes (GH-13312)

When using multiprocessing (-jN option), worker processes now create
their temporary directory inside the temporary directory of the
main process. So the main process is able to remove temporary
directories of worker processes even if they crash or when they are
killed by regrtest on KeyboardInterrupt (CTRL+c).

Rework also how multiprocessing arguments are parsed in main.py.

Change WriterObj.writeline to WriterObj.write (GH-12344)

This cleans the csv module a bit, I don't think it requires a bpo issue or a news entry.

bpo-32995 - Added context variable in glossary (GH-9741)

bpo-36797: Prune more legacy distutils documentation (GH-13092)

Removes more legacy distutils documentation, and more clearly
marks what is left as potentially outdated, with references to
setuptools as a replacement.

Doc: Update pip and setuptools when creating the virtual environment (GH-13307)

Add a new pip install before `sphinx` etc.. because we should use the last version of `pip` and `setuptools`

bpo-36845: validate integer network prefix when constructing IP networks (GH-13298)

bpo-27987: pymalloc: align by 16bytes on 64bit platform (GH-12850)

bpo-36719: Fix regrtest MultiprocessThread (GH-13301)

MultiprocessThread.kill() now closes stdout and stderr to prevent
popen.communicate() to hang.

Simplify the ``LastUpdatedOrderedDict`` example recipe (GH-13296)

bpo-34424: Handle different policy.linesep lengths correctly. (#8803)

bpo-35138: Added an example for timeit.timeit with callable arguments (GH-9787)

* Update timeit.rst

bpo-36895: Undocument removed time.clock (GH-13286)

bpo-36867: Create the resource_tracker before launching SharedMemoryManagers (GH-13276)

Docs: Add bz2 usage examples (GH-13258)

* Docs: Add bz2 usage examples

- Adds an "Examples of usage" section inspired by the one
  found in the gzip docs
- Corrects the descriptions for ``compresslevel`` and ``data``:
    - ``compresslevel`` must be an `int`, not any number.  For
      instance, passing a float will raise ``TypeError``
    - Notes that `data` must be bytes-like

bpo-36894: Fix regression in test_multiprocessing_spawn (no tests run on Windows) (GH-13290)

bpo-36867: DOC update multiprocessing.rst (GH-13289)

Followup to bpo-36867.

bpo-36719: regrtest -jN no longer stops on crash (GH-13231)

"python3 -m test -jN ..." now continues the execution of next tests
when a worker process crash (CHILD_ERROR state). Previously, the test
suite stopped immediately. Use --failfast to stop at the first error.

Moreover, --forever now also implies --failfast.

Fix typo in NEWS item about IDLE (os.flush() should be os.fsync()) (#13284)

bpo-36900: import.c uses PyInterpreterState.core_config (GH-13278)

Move _PyImportZip_Init() to the internal C API and add an 'interp'
parameter.

bpo-36903: Fix ResourceWarning in test_logging (GH-13283)

bpo-36728: Remove PyEval_ReInitThreads documentation (GH-13282)

bpo-34682: Wording and grammatical changes to the doc(https://docs.python.org/3) (GH-13120)

https://bugs.python.org/issue34682

bpo-36807: When saving a file in IDLE, call flush and fsync (#13102)

bpo-36008: Doc update for 3.8 migration (GH-12887)

Changes to the documentation of normcase (GH-4725)

bpo-36728: Remove PyEval_ReInitThreads() from C API (GH-13241)

Remove the PyEval_ReInitThreads() function from the Python C API.
It should not be called explicitly: use PyOS_AfterFork_Child()
instead.

Rename PyEval_ReInitThreads() to _PyEval_ReInitThreads() and add a
'runtime' parameter.

bpo-36778: Update cp65001 codec documentation (GH-13240)

Remove cp65001 from the codecs table, list it as an alias of utf_8
and add a versionchanged markup.

bpo-6584: Add a BadGzipFile exception to the gzip module. (GH-13022)

Co-Authored-By: Filip Gruszczyński <gruszczy@gmail.com>
Co-Authored-By: Michele Orrù <maker@tumbolandia.net>

bpo-36783: Add new references for C API Documentation changes (GH-13204)

Name individual Travis CI jobs (GH-13268)

Correct misspelling (GH-11470)

bpo-36895: remove time.clock() as per removal notice. (GH-13270)

`time.clock()` was deprecated in 3.3, and marked for removal removal in
3.8; this thus remove it from the time module.

bpo-36886: Document changes in code object in What's new section (GH-13255)

bpo-36084: Add native thread ID to threading.Thread objects (GH-11993)

bpo-36684: Split out gcc and test coverage builds (GH-13146)

The combined Python and C coverage test runs now exceed Travis's
50-minute time limit. Splitting them into separate runs gives more
leeway.

Also, adding branch coverage to Python testing and ensure that
coverage is reported even if tests fail. (The primary builds are
for tracking test failures.)

bpo-36817: Do not decrement reference for expr_text on fstring = parsing failure (GH-13256)

bpo-36817: Fix reference leak for expr_text in f-string = parsing (GH-13249)

bpo-36822: Fix minor grammatical error in glossary.rst (GH-13145)

bpo-36878: Allow extra text after `# type: ignore` comments (GH-13238)

In the parser, when using the type_comments=True option, recognize
a TYPE_IGNORE as anything containing `# type: ignore` followed by
a non-alphanumeric character. This is to allow ignores such as
`# type: ignore[E1000]`.

bpo-36856: Handle possible overflow in faulthandler_stack_overflow (GH-13205)

bpo-36884: Fix DeprecationWarning in test_asyncio StreamReader instantiation (GH-13243)

https://bugs.python.org/issue36884

Hide module name from local (anchor) links in shutil docs (GH-6695)

bpo-21536: Update What's New in Python 3.8 entry (GH-13242)

Android still links to libpython.

Fix sphinx deprecation warning about env.note_versionchange() (GH-13236)

bpo-36710: Add 'ceval' local variable to ceval.c (GH-12934)

Add "struct _ceval_runtime_state *ceval = &_PyRuntime.ceval;" local
variables to function to better highlight the dependency on the
global variable _PyRuntime and to point directly to _PyRuntime.ceval
field rather than on the larger _PyRuntime.

Changes:

* Add _PyRuntimeState_GetThreadState(runtime) macro.
* Add _PyEval_AddPendingCall(ceval, ...) and
  _PyThreadState_Swap(gilstate, ...) functions.
* _PyThreadState_GET() macro now calls
  _PyRuntimeState_GetThreadState() using &_PyRuntime.
* Add 'ceval' parameter to COMPUTE_EVAL_BREAKER(),
  SIGNAL_PENDING_SIGNALS(), _PyEval_SignalAsyncExc(),
  _PyEval_SignalReceived() and _PyEval_FiniThreads() macros and
  functions.
* Add 'tstate' parameter to call_function(), do_call_core() and
  do_raise().
* Add 'runtime' parameter to _Py_CURRENTLY_FINALIZING(),
  _Py_FinishPendingCalls() and _PyThreadState_DeleteExcept()
  macros and functions.
* Declare 'runtime', 'tstate', 'ceval' and 'eval_breaker' variables
  as constant.

bpo-36867: Make semaphore_tracker track other system resources (GH-13222)

The multiprocessing.resource_tracker replaces the multiprocessing.semaphore_tracker module. Other than semaphores, resource_tracker also tracks shared_memory segments. Patch by Pierre Glaser.

bpo-36368: Ignore SIGINT in SharedMemoryManager servers. (GH-12483)

Fix a bug crashing SharedMemoryManager instances in interactive sessions after
a Ctrl-C (KeyboardInterrupt) was sent.

bpo-36737: Use the module state C-API for warnings. (gh-13159)

bpo-35983: skip trashcan for subclasses (GH-11841)

Add new trashcan macros to deal with a double deallocation that could occur when the `tp_dealloc` of a subclass calls the `tp_dealloc` of a base class and that base class uses the trashcan mechanism.

Patch by Jeroen Demeyer.

bpo-36869: fix warning of unused variables (GH-13182)

bpo-33071: remove outdated PyPI docs (GH-13087)

Patch by Kojo Idrissa.

bpo-36676: Update what's new document. (#13226)