[3.5] bpo-30185: avoid KeyboardInterrupt tracebacks in forkserver (GH-1319) (#1455)

* bpo-30185: avoid KeyboardInterrupt tracebacks in forkserver

* Tweak comment.
(cherry picked from commit 6dd4d734ed207ba16b017e38f8909de7ef187e29)

bpo-30225: Fix is_valid_fd() on macOS Tiger (#1443) (#1450)

is_valid_fd() now uses fstat() instead of dup() on macOS to return 0
on a pipe when the other side of the pipe is closed. fstat() fails
with EBADF in that case, whereas dup() succeed.
(cherry picked from commit 1c4670ea0cc3d208121af11b9b973e6bb268e570)

[3.5] bpo-30184: Add tests for invalid use of PyArg_ParseTupleAndKeywords. (GH-1316). (#1442)

(cherry picked from commit 5f161fd86dd5bb936a1a2a13391b13b7e59ec201)

[3.5] bpo-28315: Improve code examples in docs (GH-1372) (#1446)

Replace
   File "<stdin>", line 1, in ?
with
   File "<stdin>", line 1, in <module>
(cherry picked from commit 8856940cf2e82cb17db2b684cd5732fe658605ca)

[3.5] bpo-28556: Routine updates to typing (GH-1366) (#1417)

- Add NoReturn type
- Use WrapperDescriptorType (original PR by Jim Fasarakis-Hilliard)
- Minor bug-fixes
(cherry picked from commit f06e0218ef6007667f5d61184b85a81a0466d3ae)

bpo-24725: Skip the test_socket.testFDPassEmpty on OS X (#1427)

In OS X 10.11, the test fails consistently due to a platform change
since 10.10. Thanks to Jeff Ramnani for the patch.

(cherry picked from commit 3c61a448f106c7cafb050ff7be5c5c421273e68f)

[3.6] bpo-28087: Skip test_asyncore and test_eintr poll failures on macOS (#463) (#1424)

Skip some tests of select.poll when running on macOS due to unresolved
issues with the underlying system poll function on some macOS versions.

(cherry picked from commit de04644627f82d9dc48b3423def7ff5b4aa1926a)
(cherry picked from commit 1d391f926b37484b8d4b326003a72c0084db19ec)

[3.5] Fix typo in selectors.rst (GH-1383) (#1415)

decriptor -> descriptor
(cherry picked from commit b0d82036549074357717d130a772d1e2ebc8ea01)

regrtest: always show before/after of modified env (#1407)

Buildbots don't run tests with -vv and so only log "xxx was modified
by test_xxx" which is not enough to debug such random issue. In many
cases, I'm unable to reproduce the warning and so unable to fix it.

Always logging the value before and value after should help to debug
such warning on buildbots.
(cherry picked from commit ec4b17239d899550be4ee6104b61751bb3c70382)

Backport bpo-30205 to 3.5 (#1404)

[3.5] bpo-30232: Support Git worktree in configure.ac (#1398) (#1401)

* bpo-30232: Support Git worktree in configure.ac (#1391)

Don't test if .git/HEAD file exists, but only if the .git file (or
directory) exists.
(cherry picked from commit 5facdbb29169c2799c42f887cef4cd9d087b0167)

* bpo-30232: Regenerate configure (#1396)

Run autoconf.
(cherry picked from commit 9ed34a89532763cf89f5e11fffb91ef7dee29fed)

(cherry picked from commit 4dae0d111dd7bb34ec730eea2327a3219acff211)

Issue 27372: Stop test_idle from changing locale, so test passes. (#1397)

In 3.6, the warning is now called an error, making it harder to ignore.

(cherry picked from commit 7c1534141d3a159a32db9742e1d201d5c7a9ba81)

bpo-30199: test_ssl closes all asyncore channels (#1381) (#1389)

AsyncoreEchoServer of test_ssl now calls
asyncore.close_all(ignore_all=True) to ensure that
asyncore.socket_map is cleared once the test completes, even if
ConnectionHandler was not correctly unregistered.

Fix the following warning:

Warning -- asyncore.socket_map was modified by test_ssl
  Before: {}
  After:  {6: <test.test_ssl.AsyncoreEchoServer.EchoServer.ConnectionHandler>}
(cherry picked from commit 1dae7450c68bad498e57800387b24cb103c461fa)

bpo-30132: distutils BuildExtTestCase use temp_cwd (#1387) (#1388)

BuildExtTestCase of test_distutils now uses support.temp_cwd() in
setUp() to remove files created in the current working in all
BuildExtTestCase unit tests, not only test_build_ext().

Fix the following warning:

Warning -- files was modified by test_distutils
  Before: []
  After:  ['vc140.pdb']
(cherry picked from commit 30768958490c658fba0fe24f1cabbdad44be22ff)

bpo-30108: Restore sys.path in test_site (#1197) (#1379)

Add setUpModule() and tearDownModule() functions to test_site to
save/restore sys.path at the module level to prevent warning if the
user site directory is created, since site.addsitedir() modifies
sys.path.
(cherry picked from commit b85c136903c6d2368162f7c4a58f258c9c69ead0)

bpo-30104: Use -fno-strict-aliasing on clang (#1376) (#1377)

Python/dtoa.c is not compiled correctly with clang 4.0 and
optimization level -O2 or higher, because of an aliasing issue on the
double/ULong[2] union. Only compile dtoa.c with -fno-strict-aliasing.

LLVM bug report:
https://bugs.llvm.org//show_bug.cgi?id=31928
(cherry picked from commit 809101f14f27ddb394cd77c477470761ecf99f41)

[3.5] Improve the grammar in windows.rst (GH-1330) (GH-1359)

(cherry picked from commit 80a3da4d4aad0b51893e1e2f696b6252eca80e07)

[3.5] bpo-30208: DOC: fix small typos in IDLE (#1357)

(cherry picked from commit d9af73330f46d79cc0c56d369f65ebeec3cb5334)

[3.5] bpo-30197: Enhance functions swap_attr() and swap_item() in test.support. (#1341) (#1346)

They now work when delete replaced attribute or item inside the with
statement.  The old value of the attribute or item (or None if it doesn't
exist) now will be assigned to the target of the "as" clause, if there is
one.

(cherry picked from commit d1a1def7bf221b04dcf3fc3a67aa19aa2f622f83)

[3.5] bpo-30107: don't dump core on expected test_io crash (#1235) (#1344)

* bpo-30107: Make SuppressCrashReport quiet on macOS (#1279) (#1335)

On macOS, SuppressCrashReport now redirects /usr/bin/defaults command
stderr into a pipe to not pollute stderr. It fixes a
test_io.test_daemon_threads_shutdown_stderr_deadlock() failure when
the CrashReporter domain doesn't exists. Message logged into stderr:

2017-04-24 16:57:21.432 defaults[41046:2462851]
The domain/default pair of (com.apple.CrashReporter, DialogType) does not exist
(cherry picked from commit d819ad9832292d854e9710493ecdf959b69802e3)

* bpo-30107: don't dump core on expected test_io crash (#1235)

test_io has two unit tests which trigger a deadlock:

* test_daemon_threads_shutdown_stdout_deadlock()
* test_daemon_threads_shutdown_stderr_deadlock()

These tests call Py_FatalError() if the expected bug is triggered
which calls abort(). Use test.support.SuppressCrashReport to prevent
the creation on a core dump, to fix the warning:

Warning -- files was modified by test_io
  Before: []
  After:  ['python.core']

bpo-30131: test_logging now joins queue threads (#1298) (#1318)

QueueListenerTest of test_logging now closes the multiprocessing
Queue and joins its thread to prevent leaking dangling threads to
following tests.

Add also @support.reap_threads to detect earlier if a test leaks
threads (and try to "cleanup" these threads).
(cherry picked from commit 8ca2f2faefa8dba323a2e4c4b86efb633d7a53cf)

bpo-30175: Skip client cert tests of test_imaplib (#1320) (#1324)

* bpo-30175: Skip client cert tests of test_imaplib

The IMAP server cyrus.andrew.cmu.edu doesn't accept our randomly
generated client x509 certificate anymore.

* bpo-30188: Catch EOFError in NetworkedNNTPTests

test_nntplib fails randomly with EOFError in
NetworkedNNTPTests.setUpClass(). Catch EOFError to skip tests in that
case.

(cherry picked from commit 5bccca58b9b2b3a925b16750bedbd907695ea8d7)

[3.5] bpo-30182: Use the correct name for ISO in Unicode HOWTO. (GH-1312) (GH-1314)

(cherry picked from commit 6fde770e4e940c19cd62de0b6aeb77840690843e)

[3.5] bpo-30142: Remove "callable" from the 2to3fixer documentation. (GH-1304)

bpo-29974: Improve typing.TYPE_CHECKING example (GH-982)

* Fix PEP 8 (SomeType instead of some_type)
* Add a function parameter annotation
* Explain, using wording from PEP 484 and PEP 526,
  why one annotation is in quotes and another is not.

Suggested by Ivan Levkevskyi.

(cherry picked from commit 87c07fe9d908d0a2143fcc8369255c6ff3241503)

bpo-28698: Fix c_wchar_p doc example (GH-1160)

(cherry picked from commit 0d637e236d7099f7b724026c8cb7bd83d8e12e6b)

[3.5] bpo-29751: Improve PyLong_FromString documentation (GH-915) (#1267)

(cherry picked from commit 26896f2832324dde85cdd63d525571ca669f6f0b)

[3.5] bpo-15718: Document the upper bound constrain on the __len__ return value. (GH-1256) (#1260)

(cherry picked from commit 85157cd)

[3.5] Fix trailing colon and newline in test.rst (GH-1250) (#1255)

(cherry picked from commit 7fae81e1672d0b4110d31ea6a765b54f63a2e54b)

bpo-30098: Clarify that run_coroutine_threadsafe expects asyncio.Future   (GH-1170) (#1246)

(cherry picked from commit ae5b3260dd459845aad8a30491b76d471577785d)

[3.5] bpo-29802: Fix the cleaning up issue in PyUnicode_FSDecoder(). (GH-1217) (#1219)

(cherry picked from commit 7a113a0)

[3.5] Add missing .gitignore entries for VS2015 IntelliSense DB (GH-1223) (#1226)

(cherry picked from commit 8e675286a92f33837cfffac5914b5175dac5d573)

[3.5] bpo-30109: Fix reindent.py (GH-1207) (GH-1209)

Skip the file if it has bad encoding.
(cherry picked from commit 58f3c9dc8f5626abe09ac9738c34f6ba99ce2972)

Remove redundant comma in argparse HOWTO (GH-1141)

Reported by Sean Canavan on docs@p.o.

(cherry picked from commit 8526fb74edf5ac9ca175b7cdcb0d82bb8780d2cf)

bpo-30078: Add an example of passing a path to unittest (GH-1178)

(cherry picked from commit f7e62cf8adfb8ab6a6a870903defe8ff218a0383)

bpo-19225: Remove duplicated description for standard warning categories (GH-1068)

[3.5] bpo-30065: Fixed arguments validation in _posixsubprocess.fork_exec(). (GH-1110) (#1190)

(cherry picked from commit 66bffd1)

[3.5] bpo-30070: Fixed leaks and crashes in errors handling in the parser module. (GH-1131). (#1185)

(cherry picked from commit a79f4c219531c05fc8f670c1e4bbf12c081935d3)

[3.5] bpo-30061: Check if PyObject_Size()/PySequence_Size()/PyMapping_Size() (GH-1096) (GH-1180) (#1182)

raised an error.

(cherry picked from commit bf623ae8843dc30b28c574bec8d29fc14be59d86)
(cherry picked from commit 680fea4067537a9b9c79aadd44a3a19e83cd2dbf)

[3.5] bpo-29943: Do not replace the function PySlice_GetIndicesEx() with a macro (#1049)

if Py_LIMITED_API is not defined.

bpo-30068: add missing iter(self) in _io._IOBase.readlines when hint is present (#1130) (#1151)

[3.5] bpo-30059: Include Py_Ellipsis in C API documentation (GH-1018) (GH-1148)

[3.5] bpo-29738: Fix memory leak in _get_crl_dp (GH-526) (GH-1143)

* Remove conditional on free of `dps`, since `dps` is now allocated for
all versions of OpenSSL
* Remove call to `x509_check_ca` since it was only used to cache
the `crldp` field of the certificate
CRL_DIST_POINTS_free is available in all supported versions of OpenSSL
(recent 0.9.8+) and LibreSSL.
(cherry picked from commit 2849cc34a8db93d448a62d69c462402347b50dcb)

Fix misplaced positional argument in OS X support library (#1135)

Relax test timing (bpo-29861) to avoid sporadic failures (#1120) (#1133)

(cherry picked from commit 685cdb9acc3fca04a9897d88b89771ddfd50e772)

[3.5] bpo-29694: race condition in pathlib mkdir with flags parents=True (GH-1089). (GH-1127)

(cherry picked from commit 22a594a0047d7706537ff2ac676cdc0f1dcb329c)

[3.5] Fix a typo in Doc/library/functions.rst (GH-1117) (GH-1124)

Replace `For object's ... ` with `For objects ...`
(cherry picked from commit 873ef20d0007b4b120933473e6252d2309a70102)

bpo-30021: Add examples for re.escape(). (#1048) (#1116)

And fix the parameter name.

(cherry picked from commit 8fc7bc2b7631ee819ee614e47b6f44bacebe1574)

bpo-29791: Clarify that flush is keyword-only argument (GH-1093)

Reported by Lucio Ricardo Montero Valenzuela.

(cherry picked from commit 61b9ac93712df8092a25223cd56fa6528359792b)

[3.5] bpo-29692: contextlib.contextmanager may incorrectly unchain RuntimeError (GH-949) (#1107)

contextlib._GeneratorContextManager.__exit__ includes a special case to deal with
PEP 479 RuntimeErrors created when `StopIteration` is thrown into the context
manager body.

Previously this check was too permissive, and undid one level of chaining on *all*
RuntimeError instances, not just those that wrapped a StopIteration instance.
(cherry picked from commit 00c75e9a45ff0366c185e9e8a2e23af5a35481b0)

[3.5] Clarify exception handler scope in contextlib (GH-1104)

Moved explicit raise from inside try to try...else.
(cherry picked from commit 680e20beee8bbce9f857b8e7795009191f98b0ba)

[3.5] Remove superfluous comment in urllib.error. (GH-1076) (GH-1102)

(cherry picked from commit 6fab78e9027f9ebd6414995580781b480433e595)

bpo-26985: Add missing info of code object in inspect documentation (GH-1090) (GH-1100)

Remove OSError related comment in urllib.request. (#1071)

(cherry picked from commit 6dfcc81f6b1c82a71a1c876e14424fb8b3573447)

[3.5] Correct typo in configparser.rst (GH-1012) (GH-1027)

(cherry picked from commit 01fa9ae5460b00bf1ced500c797176ebd3fb060d)

Remove invalid comment in urllib.request.(#1056)

(cherry picked from commit a2a9ddd923a849124bdd1c484f70f02df6fde0e9)

bpo-29506: Clarify deep copy note in copy module

The reference to administrative data was confusing to readers,
so this simplifies the note to explain that deep copying may copy
more then you intended, such as data that you expected to be
shared between copies.
(cherry picked from commit 19e04942562a980ad2519f6ff79c455a7472783b)

bpo-29798: Handle git worktree in patchcheck

The original attempted fix missed an `isdir()` call in
`get_base_branch()`.
(cherry picked from commit 2abfdf5a81383d3b1ed6b7321903a9a168c373c5)

bpo-29998: Pickling and copying ImportError now preserves name and path (#1010) (#1043)

attributes.
(cherry picked from commit b785396ab451b0c9d6ae9ee5a9e56c810209a6cb)

Expand the PySlice_GetIndicesEx macro. (#1023) (#1045)

(cherry picked from commit b879fe82e7e5c3f7673c9a7fa4aad42bd05445d8)

Closes bpo-29939: suppress compiler warnings in _ctypes_test (#1039)

Changed test code to suppress a compiler warning, while taking care to avoid the code being optimized out by the compiler.
(cherry picked from commit 164d30eb1e66575dafee6af4fca4cbf52c7fbe6a)

Fix a minor typo. (#1032) (#1036)

(cherry picked from commit dd9a0a14c89d57e43898d4b866b8c161e4ff8506)

Remove Invalid comment in test_urllib2.py  (#1021)

(cherry picked from commit fd0cd07a5a3c964c084f4efc5bbcb89dd2193ee6)

[3.5] bpo-19225: Lack of c api exceptions doc (#965)

* Keep the c-api exception doc up-to-date

cherry-pick'ed from ec1f5df..e3d6db3 and fix conflict

correct parse_qs and parse_qsl test case descriptions. (#968) (#998)

(cherry picked from commit 257b980b316a5206ecf6c23b958e2b7c4df4f3de)

Miscellaneous minor fixes of Misc/NEWS formatting. (#1002) (#1006)

(cherry picked from commit a0157b5f11e621f2196af4e918b9f07688a6cd1c)

bpo-29725: DOC: add text for arraysize in sqlite3.Cursor (#947) (#986)

(cherry picked from commit 02e12138000da834f23719521a011fa93763384d)

Minor spell fix and formatting fixes in urllib tests. (#959) (#960)

(cherry picked from commit efbd4ea65dbb9f87b1afeec6a760802756badee5)

bpo-29941: Assert fixes (#886) (#956)

Make a non-Py_DEBUG, asserts-enabled build of CPython possible. This means
making sure helper functions are defined when NDEBUG is not defined, not
just when Py_DEBUG is defined.

Also fix a division-by-zero in obmalloc.c that went unnoticed because in
Py_DEBUG mode, elsize is never zero.

(cherry picked from commit a00c3fd12d421e41b769debd7df717d17b0deed5 and 06bb4873d6a9ac303701d08a851d6cd9a51e02a3)

bpo-26947: DOC: clarify wording on hashable in glossary (#948) (#958)

(cherry picked from commit 64c887ab3a400cf91bde4f0c5ef69eacc88bc5e1)

bpo-29952: Use usual terminology of dict (GH-923)

s/keys and elements/keys and values/
(cherry picked from commit cdcac039fb447f2ab04efcacbe663751bb2cb4ec)

Remove catching OSError in ftphandler test. Only URLError is raised in urllib.request module. (#918) (#921)

(cherry picked from commit ed3dd1c02af6872bd0748f7b9a5dadb89f7b830f)

bpo-29942: Fix the use of recursion in itertools.chain.from_iterable. (#912)

Fix the use of recursion in itertools.chain.from_iterable. Using recursion
is unnecessary, and can easily cause stack overflows, especially when
building in low optimization modes or with Py_DEBUG enabled.
(cherry picked from commit 5466d4af5fe76ec0a5fbc8a05675287d9e8e9d14)

bpo-29935: Fixed error messages in the index() method of tuple, list and deque (#887) (#907) (#909)

when pass indices of wrong type.
(cherry picked from commit d4edfc9abffca965e76ebc5957a92031a4d6c4d4)
(cherry picked from commit bf4bb2e43030661e568d5d4b046e8b9351cc164c)

bpo-27863: Fixed multiple crashes in ElementTree. (#765) (#904)

(cherry picked from commit 576def096ec7b64814e038f03290031f172886c3)

Remove an unrequired TODO in test_urllib2. (#897) (#901)

(cherry picked from commit e6911a44f69c0d302db60f49952a9cf69da69a2b)

bpo-29917: DOC: Remove link from PyMethodDef (#890) (#895)

(cherry picked from commit c3c7ef088583cc12bd218138036d1edb6de9c63f)

bpo-29677: DOC: clarify documentation for `round` (GH-877) (GH-893)

(cherry picked from commit 85deefcf61d3cc192846f41a4ccc6df17da60c98)

bpo-28699: fix abnormal behaviour of pools in multiprocessing.pool (GH-884)

an exception raised at the very first of an iterable would cause pools behave abnormally
(swallow the exception or hang)

bpo-16011: clarify that 'in' always returns a boolean value (GH-152) (GH-875)

(cherry picked from commit 0ae7c8bd614d3aa1fcaf2d71a10ff1148c80d9b5)

bpo-29643: Fix check for --enable-optimizations (GH-871)

The presence of the ``--enable-optimizations`` flag is indicated by the
value of ``$enableval``, but the configure script was checking ``$withval``,
resulting in the ``--enable-optimizations`` flag being effectively ignored.
(cherry picked from commit 8cea5929f52801b0ce5928b46ef836e99a24321a)

bpo-29677: DOC: clarify documentation for `round` (GH-357) (GH-863)

(cherry picked from commit 6003db7db5fec545c01923c198a5fdfca5a91538)

Drop the standard gcc test build on Travis (GH-853) (GH-860)

Instead have gcc be used for the coverage build so gcc is exercised in at least one place.
(cherry picked from commit ad2f9e2c8a0b44b3e6aec9d28ba59e13239236f7)

bpo-27425: Add .gitattributes, fix Windows tests (#844)

Mark binary files as binay in .gitattributes to not translate newline
characters in Git repositories on Windows.

Minor test cleanup (GH-837) (GH-839)

* Remove unused test file

* Remove duplicated text in sndhdrdata README

(cherry picked from commit b8a7daf077dab18e9e3701c5380b542ae0aa9a94)

Treat Sphinx warnings as errors (GH-832) (GH-835)

(cherry picked from commit 334e9ec938ea9876baadef15edb135d6d2aff30c)

bpo-29888: Fix the link referring to the "Python download page" (GH-824) (GH-827)

(cherry picked from commit f8beb9831acd5cf80b9c56aea5864e16118c5400)

bpo-29862: Fix grammar in importlib.reload() exception (GH-809) (GH-812)

(cherry picked from commit 9f0aa4843f8c26937d5817f27cac4aae9c0a034f)

bpo-25803: Avoid incorrect errors raised by Path.mkdir(exist_ok=True) (#805) (#807)

when the OS gives priority to errors such as EACCES over EEXIST.

(cherry picked from commit af7b9ec5c855366feef4c67dc492d64b3baf84ca)

bpo-29861: release references to multiprocessing Pool tasks (#743) (#801)

* bpo-29861: release references to multiprocessing Pool tasks (#743)

* bpo-29861: release references to multiprocessing Pool tasks

Release references to tasks, their arguments and their results as soon
as they are finished, instead of keeping them alive until another task
arrives.

* Comments in test

(cherry picked from commit 8988945cdc27ffa86ba8c624e095b51c459f5154)

* Fix Misc/NEWS??

faulthandler: Restore the old sigaltstack during teardown (GH-777) (GH-796)

(cherry picked from commit 20fbf8accd494fd15b0fc4c84928178c71ead4d1)

Remove an outdated statement in execution model docs (GH-754) (GH-774)

(cherry picked from commit fad7f1560669af1766c583c7ef242c55d8c8de41)

doc: minor fix for library/profile (GH-767)

(cherry picked from commit bd3d8ba3b22da0bad018b53a3e6610ae03c5aa49)

fix function name in tabnanny documentation (GH-763)

bpo-27593: Revise git SCM build info. (#744) (#746)

Use --short form of git hash.  Use output from "git describe" for tag.

Expected outputs:
1. previous hg
2. previous git
3. updated git

Release (tagged) build:
1. Python 3.7.0a0 (v3.7.0a0:4def2a2901a5, ...
2. Python 3.7.0a0 (v3.7.0a0^0:05f53735c8912f8df1077e897f052571e13c3496, ...
3. Python 3.7.0a0 (v3.7.0a0:05f53735c8, ...

Development build:
1. Python 3.7.0a0 (default:41df79263a11, ...
2. Python 3.7.0a0 (master:05f53735c8912f8df1077e897f052571e13c3496, ...
3. Python 3.7.0a0 (heads/master-dirty:05f53735c8, ...

"dirty" means the working tree has uncommitted changes.
See "git help describe" for more info.
(cherry picked from commit 554626ada769abf82a5dabe6966afa4265acb6a6)

bpo-28876: bool of large range raises OverflowError (#699) (#735)

(cherry picked from commit e46fb8611867fa3b407a813f53137929b7cb4a10)

bpo-29856: Fix typo in curses documentation (GH-730) (GH-732)

From Shifted Dxit -> Shifted Exit in Doc/library/curses.rst
(cherry picked from commit 64508780d72769e4c7afc67a511c057261c578f6)

bpo-25455: Fixed crashes in repr of recursive buffered file-like objects. (#514) (#727)

(cherry picked from commit a5af6e1af77ee0f9294c5776478a9c24d9fbab94)

bpo-29845: Mark tests that use _testcapi as CPython-only (#711) (#726)

(cherry picked from commit 24c738a9e91b8f46da6166663d8ce7ec18cec784)

bpo-29116: Fix error messages for concatenating bytes and bytearray with unsupported type. (#709) (#724)

(cherry picked from commit 6b5a9ec4788770c652bac3bf5d5a0a3b710b82ae)