#18020: improve html.escape speed by an order of magnitude.  Patch by Matt Bryant.

(3.3->default) Issue #18377: Code cleanup in Python Launcher

This changeset fixes a number of compiler warnings in the Python Launcher
binary for OSX. It also cleans up whitespace usage in those sources.

Issue #18377: Code cleanup in Python Launcher

This changeset fixes a number of compiler warnings in the Python Launcher
binary for OSX. It also cleans up whitespace usage in those sources.

(3.3->default) Cleanup of documentation change from #17860

Reformulated the textual change, and applied it to the docstring as well.

Cleanup of documentation change from #17860

Reformulated the textual change, and applied it to the docstring as well.

merge

Improve variable names in deque_count()

Issue #3329: Fix _PyObject_ArenaVirtualFree()

According to VirtualFree() documentation, the size must be zero if the "free
type" is MEM_RELEASE.

Issue #17206: On Windows, increase the stack size from 2 MB to 4.2 MB to fix
a stack overflow in the marshal module (fix a crash in test_marshal).
Patch written by Jeremy Kloth.

Issue #3329: Implement the PEP 445

Add new enum:

* PyMemAllocatorDomain

Add new structures:

* PyMemAllocator
* PyObjectArenaAllocator

Add new functions:

* PyMem_RawMalloc(), PyMem_RawRealloc(), PyMem_RawFree()
* PyMem_GetAllocator(), PyMem_SetAllocator()
* PyObject_GetArenaAllocator(), PyObject_SetArenaAllocator()
* PyMem_SetupDebugHooks()

Changes:

* PyMem_Malloc()/PyObject_Realloc() now always call malloc()/realloc(), instead
  of calling PyObject_Malloc()/PyObject_Realloc() in debug mode.
* PyObject_Malloc()/PyObject_Realloc() now falls back to
  PyMem_Malloc()/PyMem_Realloc() for allocations larger than 512 bytes.
* Redesign debug checks on memory block allocators as hooks, instead of using C
  macros

Apply the PyObject_VAR_HEAD and Py_SIZE macros
to be consistent with practices in other modules.

merge

merge for issue #18351.

Refactor deque_traverse().

Hoist conditional expression out of the loop.
Use rightblock as the guard instead of checking for NULL.

Issue #18351: Fix various issues with
importlib._bootstrap._get_sourcefile().

Thanks to its only use by the C API, it was never properly tested
until now.

Thanks to Neal Norwitz for discovering the bug and Madison May for the patch.

Remove unnecessary branches from count() and reverse().

Issue #18364: Stop using the ImportError._not_found hack.

The private attribute was leaking out of importlib and led to at least
one person noticing it. Switch to another hack which won't leak
outside of importlib and is nearly as robust.

#18380: merge with 3.3.

#18380: pass regex flags to the right argument.  Patch by Valentina Mukhamedzhanova.

test_ftplib: silence a BytesWarning when checking TypeError

test_ftplib: silence a BytesWarning when checking TypeError

(3.3->default) Issue #12990: The "Python Launcher" on OSX could not launch python scripts that have paths that include wide characters.

Issue #12990: The "Python Launcher" on OSX could not launch python scripts that have paths that include wide characters.

Issue #18375: merge with 3.3

Issue #18375: Assume --randomize when --randseed is used for running the testsuite.

(3.3->default) Issue #17860: explicitly mention that std* streams are opened in binary mode by default.

The documentation does mention that the streams are opened in text mode
when univeral_newlines is true, but not that that they are opened in
binary mode when that argument is false and that seems to confuse at
least some users.

Issue #17860: explicitly mention that std* streams are opened in binary mode by default.

The documentation does mention that the streams are opened in text mode
when univeral_newlines is true, but not that that they are opened in
binary mode when that argument is false and that seems to confuse at
least some users.

Speed-up deque indexing by changing the deque block length to a power of two.

The division and modulo calculation in deque_item() can be compiled
to fast bitwise operations when the BLOCKLEN is a power of two.

Timing before:

 ~/cpython $ py -m timeit -r7 -s 'from collections import deque' -s 'd=deque(range(10))' 'd[5]'
10000000 loops, best of 7: 0.0627 usec per loop

Timing after:

~/cpython $ py -m timeit -r7 -s 'from collections import deque' -s 'd=deque(range(10))' 'd[5]'
10000000 loops, best of 7: 0.0581 usec per loop

Issue #18347: ElementTree's html serializer now preserves the case of closing tags.

Issue #18347: ElementTree's html serializer now preserves the case of closing tags.

Issue #15767: Excise the remaining instances of ModuleNotFoundError

Remove dead code in test_exceptions.

Move test_import over to unittest.main().

Issue #15767: back out 8a0ed9f63c6e, finishing the removal of
ModuleNotFoundError.

Issue #15767: Revert 3a50025f1900 for ModuleNotFoundError

Issue #15767: Back out 8d28d44f3a9a related to ModuleNotFoundError.

Issue #18200: Back out usage of ModuleNotFoundError (8d28d44f3a9a)

Consolidate tests section.

Issue #11185: Fix test_wait4 under AIX.  Patch by Sébastien Sablé.

Issue #11185: Fix test_wait4 under AIX.  Patch by Sébastien Sablé.

(Merge 3.3) test_time.test_monotonic(): use a longer sleep to try to make the test more reliable

test_time.test_monotonic(): use a longer sleep to try to make the test more reliable

(Merge 3.3) test_faulthandler: skip test_read_null() on AIX

AIX maps the first page of memory at address zero as valid, read-only.  Reading
NULL is not a fault on AIX. This is utilized by IBM compiler optimizations.
One speculatively can indirect through a pointer which may be null without
first testing if null and defer the test before using the value.

test_faulthandler: skip test_read_null() on AIX

AIX maps the first page of memory at address zero as valid, read-only.  Reading
NULL is not a fault on AIX. This is utilized by IBM compiler optimizations.
One speculatively can indirect through a pointer which may be null without
first testing if null and defer the test before using the value.

#18312: merge from 3.3.

Closes #18312: 'make distclean' no longer deletes files in dot-directories.

Issue #17261: Ensure multiprocessing's proxies use proper address.

Issue #17261: Ensure multiprocessing's proxies use proper address.

Issue #14206: Clarify docs for Queue.join_cancel_thread().

Issue #14206: Clarify docs for Queue.join_cancel_thread().

Issue #17273: Clarify that pool methods can only be used by parent process.

Issue #17273: Clarify that pool methods can only be used by parent process.

(Merge 3.3) Issue #18343: faulthandler.register() now keeps the previous signal
handler when the function is called twice, so faulthandler.unregister()
restores correctly the original signal handler.

Issue #18343: faulthandler.register() now keeps the previous signal handler
when the function is called twice, so faulthandler.unregister() restores
correctly the original signal handler.

Issue #18328: Reorder ops in PyThreadState_Delete*() functions. Now the
tstate is first removed from TLS and then deallocated.
CID 1019639 (#1 of 1): Use after free (USE_AFTER_FREE)
 use_after_free: Using freed pointer tstate.

Issue #18328: Reorder ops in PyThreadState_Delete*() functions. Now the
tstate is first removed from TLS and then deallocated.
CID 1019639 (#1 of 1): Use after free (USE_AFTER_FREE)
 use_after_free: Using freed pointer tstate.

Issue #18339: use with self.assertRaises() to make test case more readable

Issue #18339: use with self.assertRaises() to make test case more readable

Issue #17097: Merge.

Issue #17097: Make multiprocessing ignore EINTR.

Merge with current default

Issue #18244: Adopt C3-based linearization in functools.singledispatch for improved ABC support

Singular form just like the other error message.

Singular form just like the other error message.

Issue #18339: Negative ints keys in unpickler.memo dict no longer cause a
segfault inside the _pickle C extension.

Issue #18339: Negative ints keys in unpickler.memo dict no longer cause a
segfault inside the _pickle C extension.

Issue 18240: The HMAC module is no longer restricted to bytes and accepts
any bytes-like object, e.g. memoryview. Original patch by Jonas Borgström.

(merge) Issue #7136: In the Idle File menu, "New Window" is renamed "New File".
Patch by Tal Einat, Roget Serwy, and Todd Rovito.

Issue #7136: In the Idle File menu, "New Window" is renamed "New File".
Patch by Tal Einat, Roget Serwy, and Todd Rovito.

Merge with 3.3

Issue #18189: add test_delegator for Idle Delegator class.
Also change private dict used as a set to a set.

Issue #18224: Updated test.

Issue #18224: Updated test.

Closes #18224: Removed pydoc script from created venv, as it causes problems on Windows and adds no value over and above python -m pydoc ...

Issue #18224: Removed pydoc script from created venv, as it causes problems on Windows and adds no value over and above python -m pydoc ...

Merge with 3.3

Issue 18189: remove unused methods in idlelib.Delegator.Delegator.
Idle code already uses x.delegate instead of x.getdelegate().
The printed report must have been for testing.

Null merge #18038: Use non-deprecated assert names in tests.

Brett already fixed this in 3.4 in 4f7c25ab2ed2.

#18038: Use non-deprecated assert names in tests.

Merge #18155: Regex-escape delimiter, in case it is a regex special char.

#18155: Regex-escape delimiter, in case it is a regex special char.

Patch by Vajrasky Kok, with slight modification to the tests by me.

Merge with 3.3

Issue #18103: Update README.txt and test_idle to describe and run gui tests.

Fix segfault in pyexpat.c caused by 84375
u can be NULL, use XDECREF

Fix resource leak in pickle module
CID 983309 (#1 of 1): Resource leak (RESOURCE_LEAK)
leaked_storage: Variable unicode_str going out of scope leaks the storage it points to.

Fix ref leak in error case of unicode find, count, formatlong
CID 983315: Resource leak (RESOURCE_LEAK)
CID 983316: Resource leak (RESOURCE_LEAK)
CID 983317: Resource leak (RESOURCE_LEAK)

Fix ref leak in error case of unicode index
CID 983319 (#1 of 2): Resource leak (RESOURCE_LEAK)
leaked_storage: Variable substring going out of scope leaks the storage it points to.

Fix ref leak in error case of unicode rindex and rfind
CID 983320: Resource leak (RESOURCE_LEAK)
CID 983321: Resource leak (RESOURCE_LEAK)
leaked_storage: Variable substring going out of scope leaks the storage it points to.

Fix resource leak in parser, free node ptr
CID 1028068 (#1 of 1): Resource leak (RESOURCE_LEAK)
leaked_storage: Variable n going out of scope leaks the storage it points to.

Fix NULL ptr dereferencing in local_timezone(). nameo can be NULL
CID 1040362 (#1 of 1): Explicit null dereferenced (FORWARD_NULL)
var_deref_op: Dereferencing null pointer _py_decref_tmp.

Fix memory leak in pyexpat PyUnknownEncodingHandler
CID 1040367 (#1 of 1): Resource leak (RESOURCE_LEAK)
leaked_storage: Variable u going out of scope leaks the storage it points to.

Fix memory leak in endswith
CID 1040368 (#1 of 1): Resource leak (RESOURCE_LEAK)
leaked_storage: Variable substring going out of scope leaks the storage it points to.

Merge with 3.3

Issue #18237: Fix assertRaisesRegexp error caought by Jeff Tratner.

Issue #18322: fix some test_stat nits.

Merge with 3.3

Issue *18081, #18242: Change Idle warnings capture in PyShell and run to stop
replacing warnings.formatwarnings and to reverse replacement of
warnings.showwarnings when import is complete and when main function exits.
Add test_warning.py. Vinay Sajip provided capture_warnings function.

Issue #18081: Back out temporary changeset, 2a9e1eb3719c, to merge new patch.
If buildbots run before next push, test_logging will (temporarily) fail.

Added rationale for defaulting to 1 in the functional API.

Merge with 3.3