faulthandler now works in non-Python threads

Issue #26563:

* Add _PyGILState_GetInterpreterStateUnsafe() function: the single
  PyInterpreterState used by this process' GILState implementation.
* Enhance _Py_DumpTracebackThreads() to retrieve the interpreter state from
  autoInterpreterState in last resort. The function now accepts NULL for interp
  and current_tstate parameters.
* test_faulthandler: fix a ResourceWarning when test is interrupted by CTRL+c

Fix usage of PyMem_Malloc() in os.stat()

Issue #26563: Replace PyMem_Malloc() with PyMem_RawMalloc() in the Windows
implementation of os.stat(), since the code is called without holding the GIL.

Fail if PyMem_Malloc() is called without holding the GIL

Issue #26563: Debug hooks on Python memory allocators now raise a fatal error
if functions of the PyMem_Malloc() family are called without holding the GIL.

Fix compilation error of traceback.c on Windows

Issue #26564.

Issue #21042: Revert Linux find_library() to return just filename

This reverts most of revision 3092cf163eb4. The change worked on x86
architectures, but did not work on ARM, probably due to extra ABI flags in
the ldconfig output.

Issue #26499: Merge HTTPResponse fix from 3.5

Issue #26499: Fixes to HTTPResponse.readline() and read1(), by Silent Ghost

regrtest: Fix module.__path__

Issue #26538: libregrtest: Fix setup_tests() to keep module.__path__ type
(_NamespacePath), don't convert to a list.

Add _NamespacePath.__setitem__() method to importlib._bootstrap_external.

Issue #26564: Fix test_capi

Oops, revert unwanted change used to create an example

Issue #26564.

On memory error, dump the memory block traceback

Issue #26564: _PyObject_DebugDumpAddress() now dumps the traceback where a
memory block was allocated on memory block. Use the tracemalloc module to get
the traceback.

Merge 3.5 (_tracemalloc)

_tracemalloc: store lineno as unsigned int

Issue #26564. Cleanup the code, lineno is never negative.

Enhance and rewrite traceback dump C functions

Issue #26564:

* Expose _Py_DumpASCII() and _Py_DumpDecimal() in traceback.h
* Change the type of the second _Py_DumpASCII() parameter from int to unsigned
  long
* Rewrite _Py_DumpDecimal() and dump_hexadecimal() to write directly characters
  in the expected order, avoid the need of reversing the string.
* dump_hexadecimal() limits width to the size of the buffer
* _Py_DumpASCII() does nothing if the object is not a Unicode string
* dump_frame() wrtites "???" as the line number if the line number is negative

Merge 3.5 (test_faulthandler)

faulthandler: Test Py_FatalError() with GIL released

Issue #26558.

_tracemalloc: filename cannot be NULL

Issue #26566: Rewrite test_signal.InterProcessSignalTests

* Add Lib/test/signalinterproctester.py
* Don't disable the garbage collector anymore
* Don't use os.fork() with a subprocess to not inherit existing signal handlers
  or threads: start from a fresh process
* Don't use UNIX kill command to send a signal but Python os.kill()
* Use a timeout of 10 seconds to wait for the signal instead of 1 second
* Always use signal.pause(), instead of time.wait(1), to wait for a signal
* Use context manager on subprocess.Popen
* remove code to retry on EINTR: it's no more needed since the PEP 475
* remove unused function exit_subprocess()
* Cleanup the code

Issue #26523: The multiprocessing thread pool (multiprocessing.dummy.Pool) was untested.

Issue #26523: The multiprocessing thread pool (multiprocessing.dummy.Pool) was untested.

#25320: Handle sockets in directories unittest discovery is scanning.

Patch from Victor van den Elzen.

#25320: Handle sockets in directories unittest discovery is scanning.

Patch from Victor van den Elzen.

Check the GIL in PyObject_Malloc()

Issue #26558: The debug hook of PyObject_Malloc() now checks that the GIL is
held when the function is called.

Add more checks on the GIL

Issue #10915, #15751, #26558:

* PyGILState_Check() now returns 1 (success) before the creation of the GIL and
  after the destruction of the GIL. It allows to use the function early in
  Python initialization and late in Python finalization.
* Add a flag to disable PyGILState_Check(). Disable PyGILState_Check() when
  Py_NewInterpreter() is called
* Add assert(PyGILState_Check()) to: _Py_dup(), _Py_fstat(), _Py_read()
  and _Py_write()

Issue #26516: Fix test_capi on AIX

Fix regex for parse a pointer address.

Merge 3.5 (test_venv)

Fix test_venv on FreeBSD buildbot

Ignore pip warning in test_venv.test_with_venv().

_pickle: Fix load_counted_tuple(), use Py_ssize_t for size

Fix a warning on Windows 64-bit.

posix_getcwd(): limit to INT_MAX on Windows

It's more to fix a conversion warning during compilation, I don't think that
Windows support current working directory larger than 2 GB ...

Merge 3.5 (test_site)

Skip test_site if USER_SITE cannot be created

Issue #17758: Skip test_site if site.USER_SITE directory doesn't exist and
cannot be created.

Issue #26516: Fix test_capi on 32-bit system

On 32-bit system, only 4 bytes after dumped for the tail.

Issue #26516: Fix test_capi on Windows

Pointers are formatted differently.

Issue #26558: Remove useless check in tracemalloc

The first instruction of tracemalloc_add_trace() is traceback_new() which
already checks the GIL.

Fix Py_FatalError() if called without the GIL

Issue #26558: If Py_FatalError() is called without the GIL, don't try to print
the current exception, nor try to flush stdout and stderr: only dump the
traceback of Python threads.

Fix Py_FatalError() if called without the GIL

Issue #26558: If Py_FatalError() is called without the GIL, don't try to print
the current exception, nor try to flush stdout and stderr: only dump the
traceback of Python threads.

Add PYTHONMALLOC env var

Issue #26516:

* Add PYTHONMALLOC environment variable to set the Python memory
  allocators and/or install debug hooks.
* PyMem_SetupDebugHooks() can now also be used on Python compiled in release
  mode.
* The PYTHONMALLOCSTATS environment variable can now also be used on Python
  compiled in release mode. It now has no effect if set to an empty string.
* In debug mode, debug hooks are now also installed on Python memory allocators
  when Python is configured without pymalloc.

Issue #20556: Used specific assert methods in threading tests.

Issue #20556: Used specific assert methods in threading tests.

Issue #747320: Use email.utils.formatdate() to avoid code duplication
in BaseHTTPRequestHandler

Initial patch by karlcow.

Issue #16181: cookiejar.http2time() now returns None if year is higher than datetime.MAXYEAR

Issue #16181: cookiejar.http2time() now returns None if year is higher than datetime.MAXYEAR

#24918: merge with 3.5.

#24918: fix CSS for code blocks when a side box is present.  Patch by Manvi B.

merge

Minor recipe edit:  convert "while 1" to "while True".

#25687: merge with 3.5.

#25687: clarify that errors in tearDown increase the total number of reported errors.  Initial patch by HyeSoo Park.

merge

Issue #26548:  Minor fix to awkward wording in docs

Issue #26079: Fixing the build output folder for tix-8.4.3.6. Patch by Bjoern Thiel.

Issue #26079: Fixing the build output folder for tix-8.4.3.6. Patch by Bjoern Thiel.

Issue #23606: Adds note to ctypes documentation regarding cdll.msvcrt.

Issue #23606: Adds note to ctypes documentation regarding cdll.msvcrt.

Issue #26513: Fixes platform module detection of Windows Server

Issue #26513: Fixes platform module detection of Windows Server

Issue #23718: Fixed parsing time in week 0 before Jan 1.  Original patch by
Tamás Bence Gedai.

Issue #23718: Fixed parsing time in week 0 before Jan 1.  Original patch by
Tamás Bence Gedai.

Revert change 291d47954618

Revert:
"Always test datetime.strftime("%4Y")

Issue #13305: Always test datetime.datetime.strftime("%4Y") for years < 1900."

In fact, strftime("%4Y") fails on most platforms.

Merge 3.5

Issue #20589: Fix test_pathlib

Always test datetime.strftime("%4Y")

Issue #13305: Always test datetime.datetime.strftime("%4Y") for years < 1900.

Issue #26542: Fix markup of code example in difflib documentation

Patch by Dmitry Shachnev.

Add Mock.assert_called()

Issue #26323: Add assert_called() and assert_called_once() methods to
unittest.mock.Mock.

Issue #26542: Fix markup of code example in difflib documentation

Patch by Dmitry Shachnev.

Issue #20589: Invoking Path.owner() and Path.group() on Windows now raise
NotImplementedError instead of ImportError.

Issue #20589: Invoking Path.owner() and Path.group() on Windows now raise
NotImplementedError instead of ImportError.

Merge with 3.5

Issue 25959: Explain in docstring that PhotoImage.zoom arguments are
multipliers, not final sizes.  Explain y default for .zoom and .subsample.
Initial patch by Serhiy Storchaka.

Merge 3.5 (malloc doc)

Issue #26516: Enhance Python mem allocators doc

* add link to PYTHONMALLOCSTATS env var
* add parameters to PyMem macros like PyMem_MALLOC()
* fix PyMem_SetupDebugHooks(): add Calloc functions
* add some newlines for readability

Issue #26177: Fixed the keys() method for Canvas and Scrollbar widgets.

Issue #21042: Return full path in ctypes.util.find_library() on Linux

Patch by Tamás Bence Gedai.

Issue #26177: Fixed the keys() method for Canvas and Scrollbar widgets.
Added few missed tests for configure options.

Issue #15068: Avoid creating a reference loop in fileinput.

Issue #15068: Avoid creating a reference loop in fileinput.

Backs out buildbot clean trigger.

Backs out buildbot clean trigger.

Adds warning to prepare_ssl when nasm is not available.
Force clean externals on buildbots.

Adds warning to prepare_ssl when nasm is not available.
Force clean of externals on buildbots.

Issue #25911: Tring to silence deprecation warnings in bytes path walk tests.

Issue #25911: Tring to silence deprecation warnings in bytes path walk tests.

Backed out changeset da020e408c7f

Backed out changeset f9e22717722d

Backed out changeset 19a3e0e664af

Issue #26465: Update Windows builds to use OpenSSL 1.0.2g.

Issue #26465: Update Windows builds to use OpenSSL 1.0.2g.

Issue #15068: Got rid of excessive buffering in fileinput.
The bufsize parameter is now deprecated and ignored.

Issue #15068: Got rid of excessive buffering in the fileinput module.
The bufsize parameter is no longer used.

Issues #23808, #25911: Trying to fix walk tests on Windows.

On Windows a symlink can has the FILE_ATTRIBUTE_DIRECTORY flag.

Issues #23808, #25911: Trying to fix walk tests on Windows.

On Windows a symlink can has the FILE_ATTRIBUTE_DIRECTORY flag.

Issues #23808, #25911: Trying to fix walk tests on Windows.

On Windows a symlink can has the FILE_ATTRIBUTE_DIRECTORY flag.

Issue #26465: merge from 3.5

Issue #26465: Update OS X installer build to use OpenSSL 1.0.2g.

Issue #24324: merge from 3.5

Issue #24324: Do not enable unreachable code warnings when using
gcc as the option does not work correctly in older versions of gcc
and has been silently removed as of gcc-4.5.

Issue #26505: merge from 3.5

Issue #26505: Fix typos in getaddrinfo license text.
Patch by Alex Willmer.

Issue #24852: Remove outdated "HOWTO Use Python in the web" document

Issue #24852: Remove outdated "HOWTO Use Python in the web" document