Merge with 3.5

Merge with 3.4

Issue #24820: Add 'IDLE Dark' text color theme, warning, and solution.

Issue #9232: Escape rst markup char in NEWS entry to avoid Sphinx warning.

Issue #24791: Escape rst markup char in NEWS entry to avoid Sphinx warning.

Issue #25306: Try to fix test_huntrleaks_fd_leak() on Windows

Issue #25306: Disable popup and logs to stderr on assertion failures in MSCRT.

Issue #25306: Skip test_huntrleaks_fd_leak() of test_regrtest until the bug is
fixed.

Issue #25304: Add asyncio.run_coroutine_threadsafe(). By Vincent Michel. (Merge 3.5->3.6.)

Issue #25304: Add asyncio.run_coroutine_threadsafe(). By Vincent Michel. (Merge 3.4->3.5.)

Issue #25304: Add asyncio.run_coroutine_threadsafe(). By Vincent Michel.

Issue #16701: Merge sequence docs from 3.5

Issue #16701: Merge sequence docs from 3.4 into 3.5

Issue #16701: Document += and *= for mutable sequences

Issues #25232, #24657: Add NEWS to 3.6.0a1 section

Issues #25232, #24657: Merge two CGI server fixes from 3.5

Factor out common iterator finalization code

Issues #25232, #24657: Use new enum status to match rest of tests

Issues #25232, #24657: Merge two CGI server fixes from 3.4 into 3.5

Issue #24657: Prevent CGIRequestHandler from collapsing the URL query

Initial patch from Xiang Zhang. Also fix out-of-date _url_collapse_path() doc
string.

Issue #25232: Fix CGIRequestHandler's splitting of URL query

Patch from Xiang Zhang.

Merge with 3.5

Merge with 3.4

Issue #25224: README.txt is now an idlelib index for IDLE developers and
curious users.  The previous user content is now in the IDLE doc and is
redundant.  IDLE now means 'Integrated Development and Learning Environment'.

Merge with 3.5

Merge with 3.4

Issue #24820: Users can now set breakpoint colors in Settings ->
Custom Highlighting. Original patch by Mark Roseman.

Issue #18174: Fix test_regrtest when Python is compiled in release mode

Fix _PyUnicodeWriter_PrepareKind()

Initialize kind to 0 (PyUnicode_WCHAR_KIND) to ensure that
_PyUnicodeWriter_PrepareKind() handles correctly read-only buffer: copy the
buffer.

Merge from 3.5 for issue #25188.

Issue #25188: Add a -P/--pgo flag to regrtest to silence error output.

Since PGO building doesn't care about test failures, silence them when
running the test suite for performance reasons. Initial patch by
Alecsandru Patrascu of Intel.

Issue #22806: Add ``python -m test --list-tests`` command to list tests.

Issue #18174: "python -m test --huntrleaks ..." now also checks for leak of
file descriptors. Patch written by Richard Oudkerk.

Issue #25287: Don't add crypt.METHOD_CRYPT to crypt.methods if it's not
supported. Check if it is supported, it may not be supported on OpenBSD for
example.

Merge from 3.5

Hg: --

Tweak susp-ignored.csv to make buildbots happy

asyncio: Make ensure_future() accept all kinds of awaitables. (Merge 3.5)

asyncio: Make ensure_future() accept all kinds of awaitables.

asyncio: ensure_future() now understands awaitables

Issue #25290: Fix typo in csv.reader() docstring

Patch by Johannes Niediek.

Issue #25290: Fix typo in csv.reader() docstring

Patch by Johannes Niediek.

Issue #25290: Fix typo in csv.reader() docstring

Patch by Johannes Niediek.

Issue #24848: Fixed bugs in UTF-7 decoding of misformed data:

1. Non-ASCII bytes were accepted after shift sequence.
2. A low surrogate could be emitted in case of error in high surrogate.
3. In some circumstances the '\xfd' character was produced instead of the
replacement character '\ufffd' (due to a bug in _PyUnicodeWriter).

Issue #24848: Fixed bugs in UTF-7 decoding of misformed data:

1. Non-ASCII bytes were accepted after shift sequence.
2. A low surrogate could be emitted in case of error in high surrogate.
3. In some circumstances the '\xfd' character was produced instead of the
replacement character '\ufffd' (due to a bug in _PyUnicodeWriter).

Issue #24848: Fixed bugs in UTF-7 decoding of misformed data:

1. Non-ASCII bytes were accepted after shift sequence.
2. A low surrogate could be emitted in case of error in high surrogate.

Issue #24483: C implementation of functools.lru_cache() now calculates key's
hash only once.

Issue #24483: C implementation of functools.lru_cache() now calculates key's
hash only once.

Merge from 3.5

Issue #25165: Windows uninstallation should not remove launcher if other versions remain

Improves support for building unofficial versions of the Windows installer.

Make _PyUnicode_TranslateCharmap() symbol private

unicodeobject.h exposes PyUnicode_TranslateCharmap() and PyUnicode_Translate().

Update importlib_external.h

Issue #25267: The UTF-8 encoder is now up to 75 times as fast for error
handlers: ``ignore``, ``replace``, ``surrogateescape``, ``surrogatepass``.
Patch co-written with Serhiy Storchaka.

Closes #24884: refactored WatchedFileHandler file reopening into a separate method, based on a suggestion and patch by Marian Horban.

Fixes #25097: Merged fix from 3.5.

Fixes #25097: Merged fi from 3.4.

Fixes #25097: Windows test is skipped if there are insufficient privileges, rather than failing.

Issue #25277: Set a timeout of 10 minutes in test_eintr using faulthandler to
try to debug a hang on the FreeBSD 9 buildbot.

Run also eintr_tester.py with python "-u" command line option to try to get the
full output on hang/crash.

Closes #25185: merged fix from 3.5.

Closes #25185: merged fix from 3.4.

Closes #25185: Use UTF-8 encoding when reading pyvenv.cfg.

Issue #25280: Import trace messages emitted in verbose (-v) mode are no
longer formatted twice.

Issue #25280: Import trace messages emitted in verbose (-v) mode are no
longer formatted twice.

Issue #25280: Import trace messages emitted in verbose (-v) mode are no
longer formatted twice.

Merge 3.5

Merge 3.4 (os.urandom)

Issue #25003: os.urandom() doesn't use getentropy() on Solaris because
getentropy() is blocking, whereas os.urandom() should not block. getentropy()
is supported since Solaris 11.3.

Merge 3.5

Issue #25003: On Solaris 11.3 or newer, os.urandom() now uses the getrandom()
function instead of the getentropy() function. The getentropy() function is
blocking to generate very good quality entropy, os.urandom() doesn't need such
high-quality entropy.

(Merge 3.5) Issue #25274: test_recursionlimit_recovery() of test_sys now checks
sys.gettrace() when the test is executed, not when the module is loaded.

sys.settrace() may be after after the test is loaded.

(Merge 3.4) Issue #25274: test_recursionlimit_recovery() of test_sys now checks
sys.gettrace() when the test is executed, not when the module is loaded.

sys.settrace() may be after after the test is loaded.

Issue #25274: test_recursionlimit_recovery() of test_sys now checks
sys.gettrace() when the test is executed, not when the module is loaded.

sys.settrace() may be after after the test is loaded.

Merge 3.5 -> default

Merge 3.4 -> 3.5

Reflect parameter name change in the doc

Fix _PyTime_AsTimevalStruct_impl() on OpenBSD

On the x86 OpenBSD 5.8 buildbot, the integer overflow check is ignored. Copy
the tv_sec variable into a Py_time_t variable instead of "simply" casting it to
Py_time_t, to fix the integer overflow check.

Add fast paths to deque_init() for the common cases

Fix regrtest --coverage on Windows

Issue #25260: Fix ``python -m test --coverage`` on Windows. Remove the list of
ignored directories.

Backout change 28d3bcb1bad6: "Try to fix _PyTime_AsTimevalStruct_impl() on
OpenBSD", I'm not sure that the change was really needed. I read the test
result of an old build because the OpenBSD was 100 builds late.

Issue #25171: Fix compilation issue on OpenBSD in random.c

Patch written by Remi Pointel.

(Merge 3.5) Issue #25182: Fix compilation on Windows

(Merge 3.4) Issue #25182: Fix compilation on Windows

Issue #25182: Fix compilation on Windows

Restore also errno value before calling PyErr_SetFromErrno().

Issue #25182: The stdprinter (used as sys.stderr before the io module is
imported at startup) now uses the backslashreplace error handler.

Issue #25182: The stdprinter (used as sys.stderr before the io module is
imported at startup) now uses the backslashreplace error handler.

Issue #25182: The stdprinter (used as sys.stderr before the io module is
imported at startup) now uses the backslashreplace error handler.

Issue #25220: Fix "-m test --forever"

* Fix "-m test --forever": replace _test_forever() with self._test_forever()
* Add unit test for --forever
* Add unit test for a failing test
* Fix also some pyflakes warnings in libregrtest

Add an early-out for deque_clear()

Issue #25220, libregrtest: more verbose output for -jN

When the -jN command line option is used, display tests running since at least
30 seconds every minute.

Issue #25220, libregrtest: Cleanup

No need to support.verbose in Regrtest.run_tests(), it's always set in
runtest().

Issue #25220, libregrtest: Pass directly ns to runtest()

* Remove runtest_ns(): pass directly ns to runtest().
* Create also Regrtest.rerun_failed_tests() method.
* Inline again Regrtest.run_test(): it's no more justified to have a method

Issue #25220, libregrtest: Set support.use_resources in setup_tests()

* Rename setup_python() to setup_tests()
* Remove use_resources parameter of runtest()

Issue #25274: Workaround test_sys crash just to keep buildbots usable

Issue #25220, libregrtest: Call setup_python(ns) in the slaves

Slaves (child processes running tests for regrtest -jN) now inherit
--memlimit/-M, --threshold/-t and --nowindows/-n options.

* -M, -t and -n are now supported with -jN
* Factorize code to run tests.
* run_test_in_subprocess() now pass the whole "ns" namespace to the child
  process.

Issue #25220, libregrtest: Add runtest_ns() function

* Factorize code to run tests.
* run_test_in_subprocess() now pass the whole "ns" namespace to the child
  process.

Issue #25220, libregrtest: Move setup_python() to a new submodule

Issue #25220, libregrtest: Cleanup setup code

Issue #25220: Use print(flush=True) in libregrtest

Issue #25220: Enhance regrtest -jN

Running the Python test suite with -jN now:

- Display the duration of tests which took longer than 30 seconds
- Display the tests currently running since at least 30 seconds
- Display the tests we are waiting for when the test suite is interrupted

Clenaup also run_test_in_subprocess() code.

Don't strip refcount in libregrtest/runtest_mp.py

Python doesn't display the refcount anymore by default. It only displays it
when -X showrefcount command line option is used, which is not the case here.
regrtest can be run with -X showrefcount, the option is not inherited by child
processes.

Issue #25220, libregrtest: Remove unused import