Null merge 3.4

Issue #23009: Add missing "import sys" in test_selectors

Merge 3.4

Issue #23009: Skip test_selectors.test_empty_select() on Windows

Merge 3.4 (asyncio)

Issue #23095, asyncio: IocpProactor.close() must not cancel pending
_WaitCancelFuture futures

asyncio: BaseEventLoop._create_connection_transport() catchs any exception, not
only Exception

Merge 3.4 (asyncio)

Issue #23095, asyncio: Rewrite _WaitHandleFuture.cancel()

This change fixes a race conditon related to _WaitHandleFuture.cancel() leading
to Python crash or "GetQueuedCompletionStatus() returned an unexpected event"
logs. Before, the overlapped object was destroyed too early, it was possible
that the wait completed whereas the overlapped object was already destroyed.
Sometimes, a different overlapped was allocated at the same address, leading to
unexpected completition.

_WaitHandleFuture.cancel() now waits until the wait is cancelled to clear its
reference to the overlapped object. To wait until the cancellation is done,
UnregisterWaitEx() is used with an event instead of UnregisterWait().

To wait for this event, a new _WaitCancelFuture class was added. It's a
simplified version of _WaitCancelFuture. For example, its cancel() method calls
UnregisterWait(), not UnregisterWaitEx(). _WaitCancelFuture should not be
cancelled.

The overlapped object is kept alive in _WaitHandleFuture until the wait is
unregistered.

Other changes:

* Add _overlapped.UnregisterWaitEx()
* Remove fast-path in IocpProactor.wait_for_handle() to immediatly set the
  result if the wait already completed. I'm not sure that it's safe to
  call immediatly UnregisterWaitEx() before the completion was signaled.
* Add IocpProactor._unregistered() to forget an overlapped which may never be
  signaled, but may be signaled for the next loop iteration. It avoids to
  block forever IocpProactor.close() if a wait was cancelled, and it may also
  avoid some "... unexpected event ..." warnings.

asyncio: pyflakes, remove unused import

tests: Remove unused function; inline another function

asyncio: Enhance BaseProactorEventLoop._loop_self_reading()

* Handle correctly CancelledError: just exit
* On error, log the exception and exit

Don't try to close the event loop, it is probably running and so it cannot be
closed.

Add the command line to the AssertionError raised by test.script_helper's
Python subprocess failure assertion error messages for easier debugging.

Adds a unittest for test.script_helper to confirm that this code works as
it is otherwise uncovered by an already passing test suite that uses it. :)

Add the command line to the AssertionError raised by test.script_helper's
Python subprocess failure assertion error messages for easier debugging.

Adds a unittest for test.script_helper to confirm that this code works as
it is otherwise uncovered by an already passing test suite that uses it. :)

Merge with 3.4 (closes #23280)

Issue #23280: Fix docstrings for binascii.(un)hexlify

Issue #20898: Enum names are only available in the http.client module as constants.

Noticed by Martin Panter.

Issue #22317: Document the action parameter in ArgumentParser.add_subparsers() docs.

Patch by Mike Short.

Issue #22317: Document the action parameter in ArgumentParser.add_subparsers() docs.

Patch by Mike Short.

Issue #20898: Add a "HTTP status codes" section to avoid duplication in HTTP docs.

This commit also removes a couple of non-standard status codes. They were
added as part of edf669b13482, so there is no backwards compatibility issue.

Patch by Demian Brecht.

A hybrid of and-masking and a conditional-set-to-zero produce even faster search loop.

Update copyright for 2015 updates.

Clean-up, simplify, and slightly speed-up bounds logic in set_pop().

Elsewhere in the setobject.c code we do a bitwise-and with the mask
instead of using a conditional to reset to zero on wrap-around.
Using that same technique here use gives cleaner, faster, and more
consistent code.

Issue #23266: Restore the performance of ipaddress.collapse_addresses() whith
duplicated addresses and simplify the code.

Issue 23261:  Clean-up the hack to store the set.pop() search finger in a hash field instead of the setobject.

Fixed tests for issue #23133 (pickling of IPv4Network was not tested).

Issue #23133: Pickling of ipaddress objects now produces more compact and
portable representation.

Issue #23248: Update ssl error codes from latest OpenSSL git master.

Issue #23248: Update ssl error codes from latest OpenSSL git master.

Issue #23266: Much faster implementation of ipaddress.collapse_addresses() when there are many non-consecutive addresses.

Issue #23181: More "codepoint" -> "code point".

Issue #23181: More "codepoint" -> "code point".

Issue #23098: 64-bit dev_t is now supported in the os module.

Issue #23098: 64-bit dev_t is now supported in the os module.

Issue #23180: merge from 3.4

Issue #23180: Rename IDLE "Windows" menu item to "Window".
Patch by Al Sweigart.

Issue #23211: null merge

Issue #23211: Fix patch for 3.4 differences.

Issue #23211: merge from 3.4

Issue #23211: Workaround test_logging failure on some OS X 10.6 systems:
getaddrinfo("localhost") can fail depending on the name server configuration,
use "127.0.0.0" instead.

Updated copyright year (after my patch from last year reverted it)

Issue #21817: When an exception is raised in a task submitted to a ProcessPoolExecutor, the remote traceback is now displayed in the parent process.
Patch by Claudiu Popa.

Issue #15955: Add an option to limit output size when decompressing LZMA data.
Patch by Nikolaus Rath and Martin Panter.

Merge with 3.4 (#23256)

Closes #23256: Avoid a crash in test_ctypes

Only happened with oddly capitalized debug executables on Windows.
Patch by Claudiu Popa.

merge 3.4 (#22986)

capitialize "HttpOnly" and "Secure" as they appear in the standard and other impls (closes #23250)

Patch by Jon Dufresne.

Merge 3.4 (asyncio)

Issue #22685: Fix test_pause_reading() of asyncio/test_subprocess

Override the connect_read_pipe() method of the loop to mock immediatly
pause_reading() and resume_reading() methods.

The test failed randomly on FreeBSD 9 buildbot and on Windows using trollius.

Merge 3.4 (asyncio)

Backout changeset 6ab2575bc12b

StreamWriter: close() now clears the reference to the transport

StreamWriter now raises an exception if it is closed: write(), writelines(),
write_eof(), can_write_eof(), get_extra_info(), drain().

Null merge from 3.4

Closes #23160: Respect the environment variable SVNROOT in external-common.bat (patch by anselm.kruis)

Issue 23018: Add version info to python[w].exe

Fixes sys.winver generation and removes dependency on user32.dll

Merge 3.4 (asyncio)

Closes #23219: cancelling asyncio.wait_for() now cancels the task

Merge 3.4 (asyncio)

asyncio: Close transports in tests

* Use test_utils.run_briefly() to execute pending calls to really close
  transports
* sslproto: mock also _SSLPipe.shutdown(), it's need to close the transport
* pipe test: the test doesn't close explicitly the PipeHandle, so ignore
  the warning instead
* test_popen: use the context manager ("with p:") to explicitly close pipes

asyncio: Close the transport on subprocess creation failure

Merge 3.4 (asyncio)

asyncio: Fix _ProactorBasePipeTransport.close()

Set the _read_fut attribute to None after cancelling it.

This change should fix a race condition with
_ProactorWritePipeTransport._pipe_closed().

asyncio: Fix _ProactorBasePipeTransport.__repr__()

Check if the _sock attribute is None to check if the transport is closed.

Merge 3.4 (asyncio)

Issue #23243: Close explicitly transports in asyncio tests

Issue #23243: Close explicitly event loops in asyncio tests

Issue #23243: Fix asyncio._UnixWritePipeTransport.close()

Do nothing if the transport is already closed. Before it was not possible to
close the transport twice.

SSLProtocol: set the _transport attribute in the constructor

Issue #23242: asyncio.SubprocessStreamProtocol now closes the subprocess
transport at subprocess exit.

Clear also its reference to the transport.

Merge 3.4 (asyncio)

Issue #22560: Fix typo: call -> call_soon

Issue #22560: Fix SSLProtocol._on_handshake_complete()

Don't call immediatly self._process_write_backlog() but schedule the call using
call_soon(). _on_handshake_complete() can be called indirectly from
_process_write_backlog(), and _process_write_backlog() is not reentrant.

Merge 3.4 (asyncio)

StreamWriter: close() now clears the reference to the transport

StreamWriter now raises an exception if it is closed: write(), writelines(),
write_eof(), can_write_eof(), get_extra_info(), drain().

merge with 3.4

Closes #23244: fix typo. Thanks Mayank Tripathi for the patch.

Issue22997: minor doc update; thanks to Simoen Visser

Issue22997: minor doc update; thanks to Simoen Visser

Issue22988: clarify yield and exception blocks

Issue22988: clarify yield and exception blocks

Issue20467: clarify __init__'s role

Issue20467: clarify __init__'s role

Issue20467: clarify __init__'s role

merge 3.4 (#23063)

fix parsing reST with code or code-block directives (closes #23063)

Patch by Marc Abramowitz.

Merge 3.4 (asyncio)

asyncio: sync with Tulip

* PipeHandle now uses None instead of -1 for a closed handle
* Sort imports in windows_utils.
* Fix test_events on Python older than 3.5. Skip SSL tests on the
  ProactorEventLoop if ssl.MemoryIO is missing
* Fix BaseEventLoop._create_connection_transport(). Close the transport if the
  creation of the transport (if the waiter) gets an exception.
* _ProactorBasePipeTransport now sets _sock to None when the transport is
  closed.
* Fix BaseSubprocessTransport.close(). Ignore pipes for which the protocol is
  not set yet (still equal to None).
* TestLoop.close() now calls the close() method of the parent class
  (BaseEventLoop).
* Cleanup BaseSelectorEventLoop: create the protocol on a separated line for
  readability and ease debugging.
* Fix BaseSubprocessTransport._kill_wait(). Set the _returncode attribute, so
  close() doesn't try to terminate the process.
* Tests: explicitly close event loops and transports
* UNIX pipe transports: add closed/closing in repr(). Add "closed" or "closing"
  state in the __repr__() method of _UnixReadPipeTransport and
  _UnixWritePipeTransport classes.

Merge 3.4 (asyncio)

Issue #23197: On SSL handshake failure on matching hostname, check if the
waiter is cancelled before setting its exception.

Closes #23234: Refactor subprocess

Use new OSError exceptions, factorize stdin.write() code.

Merge 3.4 (asyncio)

Issue #23197, asyncio: On SSL handshake failure, check if the waiter is
cancelled before setting its exception.

* Add unit tests for this case.
* Cleanup also sslproto.py

Issue #22038, configure: HAVE_STD_ATOMIC now also check that "atomic_int" and
"_Atomic void*" types work. Change needed on FreeBSD 10 where stdatomic.h is
available but the compiler fails on "_Atomic void*" with "_Atomic cannot be
applied to incomplete type 'void'".

Closes #23181: codepoint -> code point

No need to rebuild a constant dictionary on every call.  Move convert mapping to module level.

Merge 3.4 (asyncio)

Python issue #23173: sync with Tulip

* If an exception is raised during the creation of a subprocess, kill the
  subprocess (close pipes, kill and read the return status). Log an error in
  such case.
* Fix SubprocessStreamProtocol.connection_made() to handle cancelled waiter.
  Add unit test cancelling subprocess methods.

Merge 3.4 (asyncio)

Issue #23198: Reactor asyncio.StreamReader

- Add a new _wakeup_waiter() method
- Replace _create_waiter() method with a _wait_for_data() coroutine function
- Use the value None instead of True or False to wake up the waiter

Issue #22560, asyncio doc: ProactorEventLoop now supports SSL!

Merge 3.4 (asyncio: new SSL implementation)