merge 3.3 (#20102)

use with statement to ensure zipfile is always closed (closes #20102)

whatsnew: hmac accepts more bytes types, importlib decode_source, stat in C.

whatsnew: -m <namespace package>, plus 'using' doc updates.

inspect.signature: Use 'inspect.isbuiltin' in 'Signature.from_builtin'

whatsnew: some more importlib replacements for imp functions.

get_magic->util.MAGIC_NUMBER, source_from_cache, and cache_from_source.

whatsnew: filecmp.clear_cache, and reword description of cache in docs.

whatsnew: fix importlib.reload entry.

Turns out I committed a work-in-progress entry because of a time
gap between when I wrote it and when I committed.

asyncio doc: add "asyncio-" prefix to references

Update the python.gif icon for the Idle classbrowser and pathbowser
from the old green snake to the new new blue and yellow snakes.

Update the python.gif icon for the Idle classbrowser and pathbowser
from the old green snake to the new new blue and yellow snakes.

Issue #20400: Merge Tulip into Python: add the new asyncio.subprocess module

* Add a new asyncio.subprocess module
* Add new create_subprocess_exec() and create_subprocess_shell() functions
* The new asyncio.subprocess.SubprocessStreamProtocol creates stream readers
  for stdout and stderr and a stream writer for stdin.
* The new asyncio.subprocess.Process class offers an API close to the
  subprocess.Popen class:

  - pid, returncode, stdin, stdout and stderr attributes
  - communicate(), wait(), send_signal(), terminate() and kill() methods

* Remove STDIN (0), STDOUT (1) and STDERR (2) constants from base_subprocess
  and unix_events, to not be confused with the symbols with the same name of
  subprocess and asyncio.subprocess modules
* _ProactorBasePipeTransport.get_write_buffer_size() now counts also the size
  of the pending write
* _ProactorBaseWritePipeTransport._loop_writing() may now pause the protocol if
  the write buffer size is greater than the high water mark (64 KB by default)

#20288: merge with 3.3.

#20288: fix handling of invalid numeric charrefs in HTMLParser.

inspect.tests: Fix tests to work on python built with '--without-doc-strings' #20471

whatsnew: move of reload, update new windows-only ssl functions entry.

#Issue 20456: Several improvements and bugfixes for Argument Clinic,
including correctly generating code for Clinic blocks inside C
preprocessor conditional blocks.

Fix test_hash on "SPARC Solaris 10 (cc%2C 64b) [SB] 3.x" buildbot

I picked the value from the error message:

======================================================================
FAIL: test_ucs2_string (test.test_hash.StrHashRandomizationTests)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/home/cpython/buildslave/cc-64/3.x.snakebite-sol10-sparc-cc-64/build/Lib/test/test_hash.py", line 292, in test_ucs2_string
    self.assertEqual(self.get_hash(self.repr_ucs2, seed=42), h)
AssertionError: -3927695501187247084 != None

test_hash: Fix a BytesWarning in get_hash_command()

test_asyncio: relax timing, the "AMD64 Windows Server 2008 [SB] 3.x" buildbot
looks to be slow

tracemalloc: Fix slicing traces and fix slicing a traceback.

Issue #20354: Mention the fix in Misc/NEWS

Issue #20354: Fix alignment issue in the tracemalloc module on 64-bit
platforms. Bug seen on 64-bit Linux when using "make profile-opt".

Only align the "frame_t" structure on 32-bit when Visual Studio is used. Before
the alignment to 32-bit was applied to the whole file any compiler supporting
"#pragma pack(4)" which includes GCC.

Issue #20162: Fix an alignment issue in the siphash24() hash function which
caused a crash on PowerPC 64-bit (ppc64).

asyncio doc: add "Concurrency and multithreading" section

asyncio doc: document the granularity of the event loop

Improve also the "Logging" section

Issue #20452: Fix test_time_and_call_at() of test_asyncio on Windows

Use the granularity to check the minimum time delta, instead of arbitrary
value.

Issue #20452: test_asyncio checks also the granularity

Fix extra line added in 0bcf23a52d55

Issue #20319: concurrent.futures.wait() can block forever even if Futures have completed

inspect: Add some comments in Parameter.__eq__ method

inspect.Signauture.from_function: validate duck functions in Signature constructor #17159

inspect.signature: Support duck-types of Python functions (Cython, for instance) #17159

NEWS: Add news item for #18801

inspect.classify_class_attrs: Classify object.__new__ and __init__ correctly #18801

Issue #20460: Merge with 3.3

Issue #20460: Render 'bytes' as a class, not a function.
Patch by OSAMU NAKAMURA.

Merge with 3.3

Fix unfinished thought in xml overview page.  Suggested by Bo Bayles on docs@.

Typo fix

The function name for cmath.isinf in PyArg_ParseTuple() was wrong.

Issue #20452: test_asyncio: Add more info if the test fails

Issue #20455: Add a resolution attribute to IocpProactor (1 ms)

Issue #20455: asyncio: use the same code to round a timeout than the selectors
module

Sort also imports

Issue #20455: math.ceil() returns an int in Python 3, no need to cast the
result again to int

Windows buildbot: use --timeout feature in Tools/buildbot/test.bat

Use the same default timeout than Makefile: 1 hour (3600 seconds).

Issue #20390: Removing detritus from Argument Clinic "file preset" name change.

Issue #20455: asyncio: write a new write pipe transport class for proactor (on
Windows) instead of using the "duplex" pipe transport. The new class uses a
simpler overlapped read to be notified when the pipe is closed. So the protocol
doesn't need to implement eof_received(): connection_lost() is called instead.
_UnixWritePipeTransport has the same approach.

asyncio: Fix _UnixWritePipeTransport, raise BrokenPipeError when the pipe is
closed, but only if there was pending write

Issue #20311, #20452: poll and epoll now round the timeout away from zero,
instead of rounding towards zero, in select and selectors modules:
select.epoll.poll(), selectors.PollSelector.poll() and
selectors.EpollSelector.poll(). For example, a timeout of one microsecond
(1e-6) is now rounded to one millisecondi (1e-3), instead of being rounded to
zero.

Mention the change in Misc/NEWS.

Issue #20452: Remove debug code, no more needed

asyncio: Fix error message in BaseEventLoop.subprocess_shell(). Patch written
by Vajrasky Kok.

Issue #20452: select and selectors round (again) timeout away from zero for
poll and epoll

Improve also debug info to analyze the issue

Issue #20452: Oops, fix debug code :-/

Add also event more debug info

Issue #20452: add more info in case of test_asyncio failure to try to debug the
failure on buildbot "x86 Ubuntu Shared 3.x"

asyncio: Fix misc whitespace issues.

asyncio: Fix granularity of test_utils.TestLoop.

asyncio: Future.set_exception(exc) should instantiate exc if it is a class.

overlapped.c: Fix usage of the union

* read_buffer can only be used for TYPE_READ and TYPE_ACCEPT types
* write_buffer can only be used for TYPE_WRITE type

Remove issue 19081 Misc/NEWS entry since it isn't entirely fixed yet.

Remove issue 19081 Misc/NEWS entry since it isn't entirely fixed yet.

inspect.doc: Soften the note about inspect.signature not supporting
all builtin functions.

inspect.docs: Document constructors for Signature & Parameter #20442

inspect.docs: Document constructors for Signature & Parameter #20442

asyncio: document iscoroutine(), iscoroutinefunction() and wait_for()

Mention that wait_for() now accepts None for the timeout.

Issue #20373: generalize use of test.script_helper in test_warnings.  Patch by Arfrever.

Issue #20373: generalize use of test.script_helper in test_warnings.  Patch by Arfrever.

More asyncio news.

asyncio: subprocess_shell() and subprocess_exec() now raise ValueError instead of assert.

Moreover, bufsize different than 0 is now considered as an error.

asyncio: Fix _make_subprocess_transport(): pass extra value to the constructor.

asyncio: wait_for() now accepts None as timeout (Victor Stinner).

asyncio: Pass through pause/resume from subprocess pipe proto to subprocess proto. Also kill dummy eof_received().

asyncio: Refactor drain logic in streams.py to be reusable.

asyncio: Get rid of _try_connected().

asyncio: Add write flow control to unix pipes.

asyncio: Refactoring: move write flow control to a subclass/mixin.

asyncio: _fatal_error() of _UnixWritePipeTransport and _ProactorBasePipeTransport shouldn't log BrokenPipeError nor ConnectionResetError.

(Same behaviour as _SelectorTransport._fatal_error().)

inspect.Signature.from_function: Use CO_VARARGS & CO_VARKEYWORDS constants

inspect.signature: Make sure that if a callable object has '_patialmethod'
attribute, that attribute is an instance of 'functools.partialmethod'.

inspect.Signature.bind: Update method signature to rule out possiblity
of name conflict between '__bind_self' and actual keyword argument to
'bind' or 'bind_partial'.

inspect: Rename private helper function

inspect.test.getfullargspec: Add a unittest to ensure correct annotations
handling #17481

inspect.getfullargspec: Use inspect.signature API behind the scenes #17481

inspect.Signature: ensure that non-default params don't follow default ones #20427

inspect.signature: Add support for decorated (wrapped) builtins #20425

inspect.Signature: Make from_builtin to raise an exception if no signature can
be provided #20422

Issue #20424: Python implementation of io.StringIO now supports lone surrogates.

Move Misc/NEWS entries committed after releasing 3.4.0b3 to correct places.

Issue #20424: Python implementation of io.StringIO now supports lone surrogates.

Merge with 3.3

Idlelib: forward port changes that silenced 2.7 -3 deprecation warnings and
which are at least as efficient. On Py3, unpacking exceptions never works.

inspect.Signature.bind: Add **kwargs/positional-only check back

asyncio doc: close the loop at exit

inspect.Signature.bind: Fix pos-only params with defaults; fix *args in named args #19140

Initial patch by Yann Kaiser (epsy).

inspect: Fix docstrings for Parameter & Signature classes

inspect.signature: Handle bound methods with '(*args)' signature correctly #20401

inspect.tests: Remove redundant unittest

The removed unittest duplicates the other one (test_signature_on_builtins_no_signature)

Issue #20411: Use readline.get_current_history_length to check for the presence of a history, rather than get_history_item, which assumes a history is present.

Issue #9709: Revert 97fb852c5c26. Many extensions are not using PyMODINIT_FUNC.

Issue #20326: Argument Clinic now uses a simple, unique signature to
annotate text signatures in docstrings, resulting in fewer false
positives.  "self" parameters are also explicitly marked, allowing
inspect.Signature() to authoritatively detect (and skip) said parameters.

Issue #20326: Argument Clinic now generates separate checksums for the
input and output sections of the block, allowing external tools to verify
that the input has not changed (and thus the output is not out-of-date).