bpo-30218: support path-like objects in shutil.unpack_archive() (GH-1367)

Thanks to Jelle Zijlstra for the patch.

bpo-29243: Fix Makefile with respect to --enable-optimizations (#1478)

* bpo-29243: Fix Makefile with respect to --enable-optimizations

When using the Profile Guided Optimization (./configure --enable-optimizations)
Python is built not only during `make` but rebuilt again during `make test`,
`make install` and others. This patch fixes the issue.

Note that this fix produces no change at all in the Makefile if configure is
run witout --enable-optimizations.

* !squash

bpo-29920: Document cgitb.text() and cgitb.html() functions (GH-849)

bpo-30279: Remove unused Python/thread_foobar.h (#1473)

Python/thread_foobar.h is the template code that is threading adaptation
for new platforms, also hasn't been used on actual platforms.
Python/thread_*.h give concrete examples of adaptation instead of the
template code.

bpo-30264: ExpatParser closes the source on error (#1451)

ExpatParser.parse() of xml.sax.xmlreader now always closes the
source: close the file object or the urllib object if source is a
string (not an open file-like object). The change fixes a
ResourceWarning on parsing error.

Add test_parse_close_source() unit test.

bpo-30277: Replace _sre.getlower() with _sre.ascii_tolower() and _sre.unicode_tolower(). (#1468)

bpo-30243: Fixed the possibility of a crash in _json. (#1420)

It was possible to get a core dump by using uninitialized
_json objects. Now __new__ methods create initialized objects.
__init__ methods are removed.

bpo-30215: Make re.compile() locale agnostic. (#1361)

Compiled regular expression objects with the re.LOCALE flag no longer
depend on the locale at compile time.  Only the locale at matching
time affects the result of matching.

Make code coverage less strict (GH-1438)

Set the target to be 90% since there is enough OS-specific code and things that require manual testing that we will never hit 100%. Also turn off the status checks since they are so inconsistent in terms of flagging a PR as passing/failing that they aren't useful and can actually block merging from a phone.

bpo-30273: Update sysconfig (#1464)

The AST_H_DIR variable was removed from Makefile.pre.in by the commit
a5c62a8e9f0de6c4133825a5710984a3cd5e102b (bpo-23404).

AST_H_DIR was hardcoded to "Include", so replace the removed variable
by its content.

Remove also ASDLGEN variable from sysconfig example since this
variable was also removed.

bpo-30185: avoid KeyboardInterrupt tracebacks in forkserver (#1319)

* bpo-30185: avoid KeyboardInterrupt tracebacks in forkserver

* Tweak comment

bpo-30263: regrtest: log system load (#1452)

* bpo-30263: regrtest: log system load

* regrtest: log the number of CPUs

Log the number of CPUs in the header. --verbose now imply --header.

bpo-29956: Improve the math.exp() related documentation. (#1073)

bpo-30166: Import command-line parsing modules only when needed. (#1293)

bpo-30225: Fix is_valid_fd() on macOS Tiger (#1443)

is_valid_fd() now uses fstat() instead of dup() on macOS to return 0
on a pipe when the other side of the pipe is closed. fstat() fails
with EBADF in that case, whereas dup() succeed.

bpo-30184: Add tests for invalid use of PyArg_ParseTupleAndKeywords. (#1316)

Add myself to mention-bot's alwaysNotifyForPaths for ssl/hashlib (#1425)

Signed-off-by: Christian Heimes <christian@python.org>

Explicitly mention what should (not) be discussed on GitHub (GH-1437)

bpo-28315: Improve code examples in docs (GH-1372)

Replace
   File "<stdin>", line 1, in ?
with
   File "<stdin>", line 1, in <module>

bpo-23404: make touch becomes make regen-all (#1405)

Don't rebuild generated files based on file modification time
anymore, the action is now explicit. Replace "make touch"
with "make regen-all".

Changes:

* Remove "make touch", Tools/hg/hgtouch.py and .hgtouch
* Add a new "make regen-all" command to rebuild all generated files
* Add subcommands to only generate specific files:

  - regen-ast: Include/Python-ast.h and Python/Python-ast.c
  - regen-grammar: Include/graminit.h and Python/graminit.c
  - regen-importlib: Python/importlib_external.h and Python/importlib.h
  - regen-opcode: Include/opcode.h
  - regen-opcode-targets: Python/opcode_targets.h
  - regen-typeslots: Objects/typeslots.inc

* Rename PYTHON_FOR_GEN to PYTHON_FOR_REGEN
* pgen is now only built by by "make regen-grammar"
* Add $(srcdir)/ prefix to paths to source files to handle correctly
  compilation outside the source directory

Note: $(PYTHON_FOR_REGEN) is no more used nor needed by "make"
default target building Python.

bpo-30103: Allow Uuencode in Python using backtick as zero instead of space (#1326)

Fix tests: getsockname() can return None on OS X on unbound sockets (#1400)

bpo-30232: Regenerate configure (#1396)

Run autoconf.

bpo-30232: Support Git worktree in configure.ac (#1391)

Don't test if .git/HEAD file exists, but only if the .git file (or
directory) exists.

Remove outdated tests in test_isinstance (GH-1393)

There is no need to test for new-style classes versus classic classes in Python 3.

bpo-28556: Routine updates to typing (#1366)

- Add NoReturn type
- Use WrapperDescriptorType (original PR by Jim Fasarakis-Hilliard)
- Minor bug-fixes

bpo-30205: Fix getsockname() for unbound AF_UNIX sockets on Linux (#1370)

* bpo-30205: Fix getsockname() for unbound AF_UNIX sockets on Linux

* Add NEWS entry

Fix typo in selectors.rst (#1383)

decriptor -> descriptor

bpo-30228: FileIO seek() and tell() set seekable (#1384)

FileIO.seek() and FileIO.tell() method now set the internal seekable
attribute to avoid one syscall on open() (in buffered or text mode).

The seekable property is now also more reliable since its value is
set correctly on memory allocation failure.

bpo-30199: test_ssl closes all asyncore channels (#1381)

AsyncoreEchoServer of test_ssl now calls
asyncore.close_all(ignore_all=True) to ensure that
asyncore.socket_map is cleared once the test completes, even if
ConnectionHandler was not correctly unregistered.

Fix the following warning:

Warning -- asyncore.socket_map was modified by test_ssl
  Before: {}
  After:  {6: <test.test_ssl.AsyncoreEchoServer.EchoServer.ConnectionHandler>}

bpo-30132: distutils BuildExtTestCase use temp_cwd (#1380)

BuildExtTestCase of test_distutils now uses support.temp_cwd() in
setUp() to remove files created in the current working in all
BuildExtTestCase unit tests, not only test_build_ext().

Move also tearDown() just after setUp().

Clean up some confusing text left by PROTOCOL_SSLv23 -> PROTOCOL_TLS transition (#1355)

bpo-30190: improved error msg for assertAlmostEqual(delta=...) (#1331)

* #30190 / unittest / assertAlmostEqual(delta=...) / error msg: show the difference between the 2 numbers in case of failure

* safe_repr() diff

* also show difference when passing 'places' argument

* refactoring

* update Misc/NEWS

restore *data* parameter of binascii.b2a_base64 to positional-only (#1352)

bpo-29679: Implement @contextlib.asynccontextmanager (#360)

bpo-30208: DOC: fix small typos in IDLE (#1354)

bpo-30158: Fix deprecation warnings in test_importlib introduced by bpo-29576. (#1285)

Check that Python is 64-bit before enabling BLAKE2_USE_SSE. (#1332)

bpo-30197: Enhance functions swap_attr() and swap_item() in test.support. (#1341)

* bpo-30197: Enhance functions swap_attr() and swap_item() in test.support.

They now work when delete replaced attribute or item inside the with
statement.  The old value of the attribute or item (or None if it doesn't
exist) now will be assigned to the target of the "as" clause, if there is
one.

* Update docstrings.

Improve the grammar in windows.rst (GH-1330)

bpo-30104: Only use -fno-strict-aliasing on dtoa.c (#1340)

On clang, only compile dtoa.c with -fno-strict-aliasing, use strict
aliasing to compile all other C files.

bpo-30174: Remove duplicate definition from pickletools (#1301)

There were two almost identical definitions of bytes1.

bpo-30175: Skip client cert tests of test_imaplib (#1320)

* bpo-30175: Skip client cert tests of test_imaplib

The IMAP server cyrus.andrew.cmu.edu doesn't accept our randomly
generated client x509 certificate anymore.

* bpo-30188: Catch EOFError in NetworkedNNTPTests

test_nntplib fails randomly with EOFError in
NetworkedNNTPTests.setUpClass(). Catch EOFError to skip tests in that
case.

bpo-27200: Fix several doctests (GH-604)

Use the correct name for ISO in Unicode HOWTO. (#1312)

bpo-28415: Note 0 conversion different between Python and C (#885)

bpo-30142: Remove "callable" from the 2to3fixer documentation. (GH-1296)

bpo-30101: Add support for curses.A_ITALIC. (#1015)

bpo-30131: test_logging now joins queue threads (#1298)

QueueListenerTest of test_logging now closes the multiprocessing
Queue and joins its thread to prevent leaking dangling threads to
following tests.

Add also @support.reap_threads to detect earlier if a test leaks
threads (and try to "cleanup" these threads).

timemodule.c: Cast PyUnicode_AsUTF8() to char* (#1294)

bpo-28769 changed PyUnicode_AsUTF8() return type from const char* to
char* in Python 3.7, but tm_zone field type of the tm structure is
char* on FreeBSD.

Cast PyUnicode_AsUTF8() to char* in gettmarg() to fix the warning:

    Modules/timemodule.c:443:20: warning: assigning to 'char *'
    from 'const char *' discards qualifiers

bpo-29974: Improve typing.TYPE_CHECKING example (GH-982)

* Fix PEP 8 (SomeType instead of some_type)
* Add a function parameter annotation
* Explain, using wording from PEP 484 and PEP 526,
  why one annotation is in quotes and another is not.

Suggested by Ivan Levkevskyi.

bpo-28698: Fix c_wchar_p doc example (GH-1160)

bpo-30052: Link `bytes` & `bytearray` to stdtypes not functions  (GH-1271)

Builtin container types have two potential link targets in the docs:

- their entry in the list of builtin callables
- their type documentation

This change brings `bytes` and `bytearray` into line with other
container types by having cross-references default to linking to
their type documentation, rather than their builtin callable entry.

bpo-30107: Make SuppressCrashReport quiet on macOS (#1279)

On macOS, SuppressCrashReport now redirects /usr/bin/defaults command
stderr into a pipe to not pollute stderr. It fixes a
test_io.test_daemon_threads_shutdown_stderr_deadlock() failure when
the CrashReporter domain doesn't exists. Message logged into stderr:

2017-04-24 16:57:21.432 defaults[41046:2462851]
The domain/default pair of (com.apple.CrashReporter, DialogType) does not exist

bpo:29950: Rename SlotWrapperType to WrapperDescriptorType (GH-926)

bpo-28851: Improve namedtuple documentation (GH-1274)

Clarify that a sequence of strings is the preferred value for 'field_names'.

bpo-29617: Remove Python 3.3 support from asyncio (GH-232)

bpo-30132: distutils test_build_ext() uses temp_cwd() (#1278)

test_build_ext() of test_distutils now uses support.temp_cwd() to
prevent the creation of a pdb file in the current working directory
on Windows.

tmtotuple(): use time_t for gmtoff (#1276)

timegm() return type is time_t, not int. Use time_t to prevent the
following compiler warning on Windows:

timemodule.c: warning C4244: '=': conversion from 'time_t' to 'int',
              possible loss of data

bpo-30131: Cleanup threads in test_logging (#1275)

* Use @support.reap_threads on unit tests creating threads
* Call TestCase.fail() on thread.join(timeout) failure

bpo-29822: Make inspect.isabstract() work during __init_subclass__. (#678)

At the time when an abstract base class' __init_subclass__ runs,
ABCMeta.__new__ has not yet finished running, so in the presence of
__init_subclass__, inspect.isabstract() can no longer depend only on
TPFLAGS_IS_ABSTRACT.

bpo-30144: Import collections ABC from collections.abc rather than collections. (#1263)

bpo-29751: add Cheryl Sabella to Misc/ACKS (GH-1268)

bpo-29751: Improve PyLong_FromString documentation (GH-915)

bpo-15718: Document the upper bound constrain on the __len__ return value. (#1256)

Remove outdated note about constraining of the bit shift right operand. (#1258)

The constrain was removed in bpo-29816.

Fix trailing colon and newline in test.rst (#1250)

Remove unneeded Misc/NEWS entry for bpo-29802. (#1251)

The bug was added in still not released version.

bpo-29960 _random.Random corrupted on exception in setstate(). (#1019)

bpo-29867: Add asserts in PyTuple_GET_SIZE, PyList_GET_SIZE and PySet_GET_SIZE. (#751)

bpo-30125: disable faulthandler in ctypes test_SEH (#1237)

Disable faulthandler to run test_SEH() of test_ctypes to prevent the
following log with a traceback:

    Windows fatal exception: access violation

Add support.disable_faulthandler() context manager.

bpo-30098: Clarify that run_coroutine_threadsafe expects asyncio.Future   (GH-1170)

Correct the README link in Unix install docs (#1245)

bpo-30125: Fix faulthandler.disable() on Windows (#1240)

* bpo-30125: Cleanup faulthandler.c

* Use size_t type for iterators
* Add { ... }

* bpo-30125: Fix faulthandler.disable() on Windows

On Windows, faulthandler.disable() now removes the exception handler
installed by faulthandler.enable().

bpo-30107: don't dump core on expected test_io crash (#1235)

test_io has two unit tests which trigger a deadlock:

* test_daemon_threads_shutdown_stdout_deadlock()
* test_daemon_threads_shutdown_stderr_deadlock()

These tests call Py_FatalError() if the expected bug is triggered
which calls abort(). Use test.support.SuppressCrashReport to prevent
the creation on a core dump, to fix the warning:

Warning -- files was modified by test_io
  Before: []
  After:  ['python.core']

bpo-30106: Fix test_asyncore.test_quick_connect() (#1234)

test_quick_connect() runs a thread up to 50 seconds, whereas the
socket is connected in 0.2 second and then the thread is expected to
end in less than 3 second. On Linux, the thread ends quickly because
select() seems to always return quickly. On FreeBSD, sometimes
select() fails with timeout and so the thread runs much longer than
expected.

Fix the thread timeout to fix a race condition in the test.

bpo-30104: configure now detects when cc is clang (#1233)

Detect when the "cc" compiler (and the $CC variable) is the Clang
compiler. The test is needed to add the -fno-strict-aliasing option
on FreeBSD where cc is clang.

bpo-30104: Use -fno-strict-aliasing on clang (#1221)

Python/dtoa.c is not compiled correctly with clang 4.0 and
optimization level -O2 or higher, because of an aliasing issue on
the double/ULong[2] union.

LLVM bug report:
https://bugs.llvm.org//show_bug.cgi?id=31928

remove configure test for inline keyword (#1231)

We require C99, so a configure test for this standard feature is not needed.

bpo-29191: Add liblzma.vcxproj to pcbuild.sln and other missing entries (#1222)

liblzma is missing from pcbuild.sln. This causes the build of _lzma to fail when building the solution and not using build.bat.

Add missing .gitignore entries for VS2015 IntelliSense DB (#1223)

bpo-29802: Fix reference counting in module-level struct functions (#1213)

when pass arguments of wrong type.

Only define get_zone() and get_gmtoff() if needed (#1193)

Only define the get_zone() and get_gmtoff() private functions in the
time module if these functions are needed to initialize the module.

The change fixes the following warnings on AIX:

Modules/timemodule.c:1175:1: warning: 'get_gmtoff' defined but not used [-Wunused-function]
Modules/timemodule.c:1164:1: warning: 'get_zone' defined but not used [-Wunused-function]

support.threading_cleanup() log a warning on fail (#1195)

The @reap_threads decorator and the threading_cleanup() function of
test.support now log a warning if they fail to clenaup threads.

Fix also the usage of support.threading_cleanup() in
test_urllib2_localnet.

The log may help to debug such other warning seen on the AMD64
FreeBSD CURRENT Non-Debug 3.x buildbot:

Warning -- threading._dangling was modified by test_logging

bpo-30108: Restore sys.path in test_site (#1197)

Add setUpModule() and tearDownModule() functions to test_site to
save/restore sys.path at the module level to prevent warning if the
user site directory is created, since site.addsitedir() modifies
sys.path.

bpo-12414: Update code_sizeof() to take in account co_extra memory. (#1168)

bpo-30109: Fix reindent.py (GH-1207)

Skip the file if it has bad encoding.

bpo-10379: Add %char examples to locale.format() docs (GH-1145)

Remove redundant comma in argparse HOWTO (#1141)

Reported by Sean Canavan on docs@p.o.

bpo-30078: Add an example of passing a path to unittest (#1178)

bpo-30106: Fix tearDown() of test_asyncore (#1194)

Call asyncore.close_all() with ignore_all=True in the tearDown()
method of the test_asyncore base test case. It should prevent keeping
alive sockets in asyncore.socket_map if close() fails with an
unexpected error.

Revert also an unwanted change of my previous commit: remove name
parameter of Thread in test_quick_connect().

bpo-29887: test_normalization handles PermissionError (#1196)

Skip test_normalization.test_main() if download raises a permission
error.

regrtest: always show before/after of modified env (#1192)

Buildbots don't run tests with -vv and so only log "xxx was modified
by test_xxx" which is not enough to debug such random issue. In many
cases, I'm unable to reproduce the warning and so unable to fix it.

Always logging the value before and value after should help to debug
such warning on buildbots.

Fix/optimize test_asyncore.test_quick_connect() (#1188)

Don't use addCleanup() in test_quick_connect() because it keeps the
Thread object alive and so @reap_threads fails on its timeout of 1
second. "./python -m test -v test_asyncore -m test_quick_connect"
now takes 185 ms, instead of 11 seconds.

Other minor changes:

* Use "with sock:" to close the socket instead of
  try/finally: sock.close()
* Use self.skipTest() in test_quick_connect() to remove one
  indentation level and notice user that the test is specific to
  AF_INET and AF_INET6

bpo-30030: Revert f50354ad (tempfile) (#1187)

Revert f50354adaaafebe95ad09d09b825804a686ea843: it introduced a
regression in test_threadedtempfile.

bpo-30065: Fixed arguments validation in _posixsubprocess.fork_exec(). (#1110)

bpo-30070: Fixed leaks and crashes in errors handling in the parser module. (#1131)

bpo-22352: Adjust widths in the output of dis.dis() for large line numbers and (#1153)

instruction offsets.

Add tests for widths of opcode names.

bpo-30061: Check if PyObject_Size()/PySequence_Size()/PyMapping_Size() (#1096)

raised an error.

Replace them with using concrete types API that never fails if appropriate.

bpo-29925: Skip test_uuid1_safe() on OS X Tiger (#971)