Implement finalizer for os.scandir() iterator

Issue #26603:

* Implement finalizer for os.scandir() iterator
* Set the source parameter when emitting the ResourceWarning warning
* Close the iterator before emitting the warning

Add a source parameter to warnings.warn()

Issue #26604:

* Add a new optional source parameter to _warnings.warn() and warnings.warn()
* Modify asyncore, asyncio and _pyio modules to set the source parameter when
  logging a ResourceWarning warning

Fix macros in hashtable.h

Add parenthesis.

Merge 3.5

Enhance _tracemalloc debug mode

Issue #26588: Enhance assertion in set_reentrant()

Fix _tracemalloc start/stop

Issue #26588: Fix _tracemalloc start/stop: don't play with the reentrant flag.

set_reentrant(1) fails with an assertion error if tracemalloc_init() is called
first in a thread A and tracemalloc_start() is called second in a thread B. The
tracemalloc is imported in a thread A. Importing the module calls
tracemalloc_init(). tracemalloc.start() is called in a thread B.

Issue #26588: remove debug traces from _tracemalloc.

Issue #26588: skip test_warnings.test_tracemalloc()

Issue #26588: more debug traces

Issue #26588: Don't call tracemalloc_init() at module initilization

So it's possible to get debug messages in test_tracemalloc.

Issue #26588: one more assertion

Add assertions on tracemalloc_reentrant_key

Issue #26588.

Issue #26588: more assertions

Issue #26588: fix compilation on Windows

Issue #26588: add debug traces

Try to debug random failure on buildbots.

regrtest: add time to output

Timestamps should help to debug slow buildbots, and timeout and hang on
buildbots.

Add C functions _PyTraceMalloc_Track()

Issue #26530:

* Add C functions _PyTraceMalloc_Track() and _PyTraceMalloc_Untrack() to track
  memory blocks using the tracemalloc module.
* Add _PyTraceMalloc_GetTraceback() to get the traceback of an object.

tracemalloc now supports domains

Issue #26588:

* The _tracemalloc now supports tracing memory allocations of multiple address
  spaces (domains).
* Add domain parameter to tracemalloc_add_trace() and
  tracemalloc_remove_trace().
* tracemalloc_add_trace() now starts by removing the previous trace, if any.
* _tracemalloc._get_traces() now returns a list of (domain, size,
  traceback_frames): the domain is new.
* Add tracemalloc.DomainFilter
* tracemalloc.Filter: add an optional domain parameter to the constructor and a
  domain attribute
* Sublte change: use Py_uintptr_t rather than void* in the traces key.
* Add tracemalloc_config.use_domain, currently hardcoded to 1

Remove _Py_hashtable_delete()

Issue #26588: Remove _Py_hashtable_delete() from hashtable.h since the function
is not used. Keep the C code in hashtable.c as commented code if someone needs
it later.

Simplify implementation of hashtable.c

Issue #26588: Remove copy_data, free_data and get_data_size callbacks from
hashtable.h. These callbacks are not used in Python and makes the code more
complex.

Remove also the _Py_HASHTABLE_ENTRY_DATA_AS_VOID_P() macro which uses an unsafe
pointer dereference (can cause memory alignment issue). Replace the macro usage
with _Py_HASHTABLE_ENTRY_READ_DATA() which is implemented with the safe
memcpy() function.

Issue #24266: Merge readline Ctrl+C handling from 3.5

Issue #24266: Cancel history search mode with Ctrl+C in Readline 7

merge 3.5 (#17167)

merge 3.4 (#17167)

remove useless $ keyword (closes #17167)

Issue #15699: Merge readline fixup from 3.5

Issue #15699: Reunite comment with variable

Issue #26588: Fix compilation warning on Windows

hashtable.h now supports keys of any size

Issue #26588: hashtable.h now supports keys of any size, not only
sizeof(void*). It allows to support key larger than sizeof(void*), but also to
use less memory for key smaller than sizeof(void*).

Issue #26525: Change ord example from nu to more easily recognized Euro sign.

Issue #15660: Further clarify 0 prefix for width specifier in formats.

Issue #26581: Use the first coding cookie on a line, not the last one.

Added new tests for detecting Python source code encoding.

Issue #12813: uuid.uuid4() no longer depends on ctypes

uuid.uuid4() always uses os.urandom() after 756d040aa8e8.

Issue #19164: Improve exception message of uuid.UUID()

Patch by jgauthier.

Issue #26593: Fix typo in logging HOWTO

Patch by Andrew Szeto.

Issue #19265: Improve test coverage of datetime.tzinfo

Without the patch, line 1010 of Lib/datetime.py wasn't covered
by the test suite.

Patch by Colin Williams.

cleanup iobase.c

casting iobase_finalize to destructor is not needed

Fix test_ssl.test_refcycle()

Issue #26590: support.check_warnings() stores warnins, but ResourceWarning now
comes with a reference to the socket object which indirectly keeps the socket
alive.

Add socket finalizer

Issue #26590: Implement a safe finalizer for the _socket.socket type. It now
releases the GIL to close the socket. Use PyErr_ResourceWarning() to raise the
ResourceWarning to pass the socket object to the warning logger, to get the
traceback where the socket was created (allocated).

Ooops, revert changeset ea9efa06c137

Change pushed by mistake, the patch is still under review :-/

"""
_tracemalloc: add domain to trace keys

* hashtable.h: key has now a variable size
* _tracemalloc uses (pointer: void*, domain: unsigned int) as key for traces
"""

Optimize bytes.replace(b'', b'.')

Issue #26574: Optimize bytes.replace(b'', b'.') and
bytearray.replace(b'', b'.'): up to 80% faster. Patch written by Josh Snider.

Issue #26560: Avoid potential ValueError in BaseHandler.start_response

Initial patch by Peter Inglesby.

_tracemalloc: add domain to trace keys

* hashtable.h: key has now a variable size
* _tracemalloc uses (pointer: void*, domain: unsigned int) as key for traces

Merge with 3.5

Merge with 3.5

Issue #26581: Use the first coding cookie on a line, not the last one.

Issues #25643, #26581: Added new tests for detecting Python source code encoding.

Issue #12813: uuid.uuid4() no longer depends on ctypes

uuid.uuid4() always uses os.urandom() after 756d040aa8e8.

Issue #19164: Improve exception message of uuid.UUID()

Patch by jgauthier.

Issue #26593: Fix typo in logging HOWTO

Patch by Andrew Szeto.

Issue #19265: Improve test coverage of datetime.tzinfo

Without the patch, line 1010 of Lib/datetime.py wasn't covered
by the test suite.

Patch by Colin Williams.

Issue #18787: spwd.getspnam() now raises a PermissionError if the user
doesn't have privileges.

fix indentation in Py_DECREF()

Issue #26567: enhance ResourceWarning example

Try again to fix test_warnings on Windows

Issue #26567: normalize newlines in test_tracemalloc.

Issue #26560: Avoid potential ValueError in BaseHandler.start_response

Initial patch by Peter Inglesby.

Try to fix test_warnings on Windows

Issue #26567.

ResourceWarning: Revert change on socket and scandir

io.FileIO has a safe implementation of destructor, but not socket nor scandir.

Fix test_logging

Issue #26568: Fix implementation of showwarning() and formatwarning() for
test_logging.

On ResourceWarning, log traceback where the object was allocated

Issue #26567:

* Add a new function PyErr_ResourceWarning() function to pass the destroyed
  object
* Add a source attribute to warnings.WarningMessage
* Add warnings._showwarnmsg() which uses tracemalloc to get the traceback where
  source object was allocated.

Add _showwarnmsg() and _formatwarnmsg() to warnings

Issue #26568: add new  _showwarnmsg() and _formatwarnmsg() functions to the
warnings module.

The C function warn_explicit() now calls warnings._showwarnmsg() with a
warnings.WarningMessage as parameter, instead of calling warnings.showwarning()
with multiple parameters.

_showwarnmsg() calls warnings.showwarning() if warnings.showwarning() was
replaced. Same for _formatwarnmsg(): call warnings.formatwarning() if it was
replaced.

Merge for issue #26095

Suggest people use feature detection in porting guide

Issue #26252: Add an example on how to register a finder

#26250: merge with 3.5.

#26250: document the sqlite3.Cursor.connection attribute.  Initial patches by Aviv Palivoda and Varpu Rantala.

Merge for issue #26271

Issue #26271: Fix the Freeze tool to use variables passed in from the
configure script related to compiler flags.

Thanks to Daniel Shaulov for the bug report and patch.

Doc: fix typos, patch written by Stefan Behnel

Fixed a typo.

Fixed a typo.

Issue #26580: Remove outdated reference to ftpmirror

Patch by SilentGhost.

Issue #26580: Remove outdated reference to ftpmirror

Patch by SilentGhost.

Enhance documentation on malloc debug hooks

Issue #26564, #26516, #26563.

Issue #26313: ssl.py _load_windows_store_certs fails if windows cert store is empty. Patch by Baji.

Issue #26313: ssl.py _load_windows_store_certs fails if windows cert store is empty. Patch by Baji.

Issue #26583: merge from 3.5

Issue #26583: Skip test_timestamp_overflow in test_import if bytecode
files cannot be written.

Merge 3.5 into default

Merge 3.4 into 3.5

Upgrade ensurepip._bundled pip to 8.1.1 and setuptools to 20.3

Merge 3.5

Issue #17603: Merge configure.ac fix from 3.5

Issue #17603: Check for st_blocks field without requiring fileblocks.o

Fix pyclbr to support importing packages

Issue #26569: Fix pyclbr.readmodule() and pyclbr.readmodule_ex() to support
importing packages.

Null merge 3.5

Null merge 3.5

Fix usage of PyMem_Malloc() in overlapped.c

Issue #26563: Replace PyMem_Malloc() with PyMem_RawFree() since
PostToQueueCallback() calls PyMem_RawFree() (previously PyMem_Free()) in a new
C thread which doesn't hold the GIL.

Fix usage of PyMem_Malloc() in overlapped.c

Issue #26563: Replace PyMem_Malloc() with PyMem_RawFree() since
PostToQueueCallback() calls PyMem_RawFree() (previously PyMem_Free()) in a new
C thread which doesn't hold the GIL.

Issue #26499: Fixes to HTTPResponse.readline() and read1(), by Silent Ghost

Py_FatalError: disable faulthandler earlier

Issue #26563: Py_FatalError: disable faulthandler before trying to flush
sys.stdout and sys.stderr.

Py_FatalError: disable faulthandler earlier

Issue #26563: Py_FatalError: disable faulthandler before trying to flush
sys.stdout and sys.stderr.

faulthandler now works in non-Python threads

Issue #26563:

* Add _PyGILState_GetInterpreterStateUnsafe() function: the single
  PyInterpreterState used by this process' GILState implementation.
* Enhance _Py_DumpTracebackThreads() to retrieve the interpreter state from
  autoInterpreterState in last resort. The function now accepts NULL for interp
  and current_tstate parameters.
* test_faulthandler: fix a ResourceWarning when test is interrupted by CTRL+c

Fix usage of PyMem_Malloc() in os.stat()

Issue #26563: Replace PyMem_Malloc() with PyMem_RawMalloc() in the Windows
implementation of os.stat(), since the code is called without holding the GIL.

Fail if PyMem_Malloc() is called without holding the GIL

Issue #26563: Debug hooks on Python memory allocators now raise a fatal error
if functions of the PyMem_Malloc() family are called without holding the GIL.

Fix compilation error of traceback.c on Windows

Issue #26564.

Issue #21042: Revert Linux find_library() to return just filename

This reverts most of revision 3092cf163eb4. The change worked on x86
architectures, but did not work on ARM, probably due to extra ABI flags in
the ldconfig output.

Issue #26499: Merge HTTPResponse fix from 3.5

regrtest: Fix module.__path__

Issue #26538: libregrtest: Fix setup_tests() to keep module.__path__ type
(_NamespacePath), don't convert to a list.

Add _NamespacePath.__setitem__() method to importlib._bootstrap_external.