asyncio: BaseSelectorEventLoop uses directly the private _debug attribute

Just try to be consistent: _debug was already used in some places, and always
used in BaseProactorEventLoop.

Fixes issue23390: make profile-opt causes -fprofile-generate and related flags
to end up in distutils CFLAGS.

Skip some tests that require a subinterpreter launched with -E or -I when the
interpreter under test is being run in an environment that requires the use of
environment variables such as PYTHONHOME in order to function at all.

Adds a private test.script_helper._interpreter_requires_environment() function
to be used with @unittest.skipIf on stdlib test methods requiring this.

asyncio, Tulip issue 221: Fix doc of QueueEmpty and QueueFull

Issue #23358: Add missing BaseServer entry to socketserver.__all__.

Patch by Martin Panter.

Issue #23099: Closing io.BytesIO with exported buffer is rejected now to
prevent corrupting exported buffer.

Issues #23363, #23364, #23365, #23366: Fixed itertools overflow tests.
Used PyMem_New to check overflow.

Issues #23363, #23364, #23365, #23366: Fixed itertools overflow tests.
Used PyMem_New to check overflow.

Issue #22896: Avoid to use PyObject_AsCharBuffer(), PyObject_AsReadBuffer()
and PyObject_AsWriteBuffer().

merge 3.3

reduce memory usage of test (closes #23369)

adjust for py3k module renaming

_clear_type_cache is cpython-only

Issue #23353, asyncio: Workaround CPython bug #23353

Don't use yield/yield-from in an except block of a generator. Store the
exception and handle it outside the except block.

revert lineno and col_offset changes from #16795 (closes #21295)

merge 3.3 (#23364, #23363)

check for overflows in permutations() and product() (closes #23363, closes #23364)

merge 3.3 (#23365)

check for overflow in combinations_with_replacement (closes #23365)

merge 3.3 (#23366)

detect overflow in combinations (closes #23366)

https goodness

fix tests on systems that can't validate python.org

merge 3.3

remove extra ws

merge 3.3 (#23369)

fix possible overflow in encode_basestring_ascii (closes #23369)

Whitespace.

Issue #23352: Document that Py_buffer.suboffsets must be NULL if no suboffsets
are required.

Issue #23370: Fix off-by-one error for non-contiguous buffers.

Added a cookbook entry on logging audible messages.

Issue #23212: Update Windows copy of OpenSSL to 1.0.1l

Issue #23353: Fix the exception handling of generators in PyEval_EvalFrameEx().
At entry, save or swap the exception state even if PyEval_EvalFrameEx() is
called with throwflag=0. At exit, the exception state is now always restored or
swapped, not only if why is WHY_YIELD or WHY_RETURN. Patch co-written with
Antoine Pitrou.

Issue #22765: Fixed test_gdb failures. Supressed unexpected gdb output.
Patch by Bohuslav Kabrda.

Fix asyncio doc typo.

asyncio doc: document the new ResourceWarning warnings

Issue #23347, asyncio: send_signal(), terminate(), kill() don't check if the
transport was closed. The check broken a Tulip example and this limitation is
arbitrary. Check if _proc is None should be enough.

Enhance also close(): do nothing when called the second time.

asyncio doc: add a section about task cancellation

Issue #21962, asyncio doc: Suggest the usage of wait_for() to replace
the lack of timeout parameter for locks and queues.

Issue #23347, asyncio: Make BaseSubprocessTransport.wait() private

asyncio: Fix ResourceWarning in test_subprocess.test_proc_exit()

asyncio: sync with Tulip

Issue #23347: send_signal(), kill() and terminate() methods of
BaseSubprocessTransport now check if the transport was closed and if the
process exited.

Issue #23347: Refactor creation of subprocess transports. Changes on
BaseSubprocessTransport:

* Add a wait() method to wait until the child process exit
* The constructor now accepts an optional waiter parameter. The _post_init()
  coroutine must not be called explicitly anymore. It makes subprocess
  transports closer to other transports, and it gives more freedom if we want
  later to change completly how subprocess transports are created.
* close() now kills the process instead of kindly terminate it: the child
  process may ignore SIGTERM and continue to run. Call explicitly terminate()
  and wait() if you want to kindly terminate the child process.
* close() now logs a warning in debug mode if the process is still running and
  needs to be killed
* _make_subprocess_transport() is now fully asynchronous again: if the creation
  of the transport failed, wait asynchronously for the process eixt. Before the
  wait was synchronous. This change requires close() to *kill*, and not
  terminate, the child process.
* Remove the _kill_wait() method, replaced with a more agressive close()
  method. It fixes _make_subprocess_transport() on error.
  BaseSubprocessTransport.close() calls the close() method of pipe transports,
  whereas _kill_wait() closed directly pipes of the subprocess.Popen object
  without unregistering file descriptors from the selector (which caused severe
  bugs).

These changes simplifies the code of subprocess.py.

Issue #23243, asyncio: Emit a ResourceWarning when an event loop or a transport
is not explicitly closed. Close also explicitly transports in test_sslproto.

Issue #22668: Remove endianness assumption in test.

Issue #22668: Ensure that format strings survive slicing after casting.

asyncio: sync with Tulip

* Cleanup gather(): use cancelled() method instead of using private Future
  attribute
* Fix _UnixReadPipeTransport and _UnixWritePipeTransport. Only start reading
  when connection_made() has been called.
* Issue #23333: Fix BaseSelectorEventLoop._accept_connection(). Close the
  transport on error. In debug mode, log errors using call_exception_handler()

asyncio doc: document Protocol state machine

asyncio: sync with Tulip

* _SelectorTransport constructor: extra parameter is now optional
* Fix _SelectorDatagramTransport constructor. Only start reading after
  connection_made() has been called.
* Fix _SelectorSslTransport.close(). Don't call protocol.connection_lost() if
  protocol.connection_made() was not called yet: if the SSL handshake failed or
  is still in progress. The close() method can be called if the creation of the
  connection is cancelled, by a timeout for example.

asyncio: BaseSubprocessTransport._kill_wait() now also call close()

close() closes pipes, which is not None yet by _kill_wait().

Always #define _PyLong_FromDev as we always need it to compile rather than
only defining it when HAVE_MKNOD && HAVE_MAKEDEV are true.

This "oops" issue reported by John E. Malmberg on core-mentorship.
(what kinds of systems don't HAVE_MKNOD && HAVE_MAKEDEV?)

asyncio: Fix _SelectorSocketTransport constructor

Only start reading when connection_made() has been called:
protocol.data_received() must not be called before protocol.connection_made().

asyncio: SSL transports now clear their reference to the waiter

* Rephrase also the comment explaining why the waiter is not awaken immediatly.
* SSLProtocol.eof_received() doesn't instanciate ConnectionResetError exception
  directly, it will be done by Future.set_exception(). The exception is not
  used if the waiter was cancelled or if there is no waiter.

asyncio: Fix SSLProtocol.eof_received()

Wake-up the waiter if it is not done yet.

Update setuptools to 12.0.5 and pip to 6.0.7

Fixed memory leak in marshal.

Issue #22079: PyType_Ready() now checks that statically allocated type has
no dynamically allocated bases.

Added a logging cookbook entry on customized exception formatting.

asyncio: sync with Tulip

* Remove unused SSLProtocol._closing attribute
* test_sslproto: skip test if ssl module is missing
* Python issue #23208: Don't use the traceback of the current handle if we
  already know the traceback of the source. The handle may be more revelant,
  but having 3 tracebacks (handle, source, exception) becomes more difficult to
  read. The handle may be preferred later but it requires more work to make
  this choice.

Issue #23055: Fixed a buffer overflow in PyUnicode_FromFormatV.  Analysis
and fix by Guido Vranken.

Issue #23286: Fix typo in the tutorial.

Patch by Mayank Tripathi.

asyncio, _overlapped.ConnectPipe(): release the GIL

asyncio, Tulip issue 204: Fix IocpProactor.recv()

If ReadFile() fails with ERROR_BROKEN_PIPE, the operation is not pending: don't
register the overlapped.

I don't know if WSARecv() can fail with ERROR_BROKEN_PIPE. Since
Overlapped.WSARecv() already handled ERROR_BROKEN_PIPE, let me guess that it
has the same behaviour than ReadFile().

Issue #23095, asyncio: Fix _WaitHandleFuture.cancel()

If UnregisterWaitEx() fais with ERROR_IO_PENDING, it doesn't mean that the wait
is unregistered yet. We still have to wait until the wait is cancelled.

Issue #23293, asyncio: Rewrite IocpProactor.connect_pipe() as a coroutine

Use a coroutine with asyncio.sleep() instead of call_later() to ensure that the
schedule call is cancelled.

Add also a unit test cancelling connect_pipe().

asyncio: PipeHandle.fileno() now raises an exception if the pipe is closed

asyncio: Fix ProactorEventLoop.start_serving_pipe()

If a client connected before the server was closed: drop the client (close the
pipe) and exit.

Issue #14099: Backout changeset e5bb3044402b (except adapted tests).

Merge heads

Issue #18518: timeit now rejects statements which can't be compiled outside
a function or a loop (e.g. "return" or "break").

Issue #23208, asyncio: Add BaseEventLoop._current_handle

In debug mode, BaseEventLoop._run_once() now sets the
BaseEventLoop._current_handle attribute to the handle currently executed.
In release mode or when no handle is executed, the attribute is None.

BaseEventLoop.default_exception_handler() displays the traceback of the current
handle if available.

Issue #23293, asyncio: Cleanup IocpProactor.close()

The special case for connect_pipe() is not more needed. connect_pipe() doesn't
use overlapped operations anymore.

asyncio: Close transports on error

Fix create_datagram_endpoint(), connect_read_pipe() and connect_write_pipe():
close the transport if the task is cancelled or on error.

Issue #23094: Fixed readline with frames in Python implementation of pickle.

Issue #7665: Fixed tests test_ntpath and test_urllib2 when ran in the
directory containing a backslash.

Add credits for Martin Panter.

Issue #23268: Fixed bugs in the comparison of ipaddress classes.

Issue #21408: The default __ne__() now returns NotImplemented if __eq__()
returned NotImplemented.  Removed incorrect implementations of __ne__().

handle headers with no key (closes #19996)

Patch by Cory Benfield.

Issue #23321: Fixed a crash in str.decode() when error handler returned
replacment string longer than mailformed input data.

#23215: reflow paragraph.

#23251: Note that time.sleep affects the calling thread only.

This change parallels the language used in the unix man page.

Increase http.client.HTTPConnection test coverage.

Added a new tunnel test to verify setting of _tunnel_host, _tunnel_port,
_tunnel_headers attributes on HTTPConnection object.

Issue #23305: clarified RotatingFileHandler documentation.

Issue #23207: logging.basicConfig() now does additional validation of its arguments.

Updated pyvenv documentation to match its current behaviour.

revert 7b833bd1f509.  I misread the side effect that the code was triggering.
*any* kwarg supplied to _assert_python causes it to not append -E to the
command line flags so without='-E' does effectively work.

Remove the unimplemented but ignored without='-E' parameters being passed to
script_helper.assert_python_failure().  No such feature has ever existed,
thus it doesn't do what the comment claims.  (It does add a 'without'
variable to the environment of the child process but that was not intended)

Only pass -E to the child interpreter if our interpreter was running in that
mode.  Explicitly remove the PYTHONFAULTHANDLER environment variable before
launching a child interpreter when its presence would impact the test (the
reason -E was being used in the first place).

This enables running the test in an environment where other Python environment
variables must be set in order for things to run (such as using PYTHONHOME to
tell an embedded interpreter where it should think it lives).

asyncio, Tulip issue 204: Fix IocpProactor.accept_pipe()

Overlapped.ConnectNamedPipe() now returns a boolean: True if the pipe is
connected (if ConnectNamedPipe() failed with ERROR_PIPE_CONNECTED), False if
the connection is in progress.

This change removes multiple hacks in IocpProactor.

Break up TestCommandLine.test_env_var into four distinct tests.

Issue #23293, asyncio: Rewrite IocpProactor.connect_pipe()

Add _overlapped.ConnectPipe() which tries to connect to the pipe for
asynchronous I/O (overlapped): call CreateFile() in a loop until it doesn't
fail with ERROR_PIPE_BUSY. Use an increasing delay between 1 ms and 100 ms.

Remove Overlapped.WaitNamedPipeAndConnect() which is no more used.

asyncio: IocpProactor.close() doesn't cancel anymore futures which are already
cancelled

Issue #23009: Add missing "import sys" in test_selectors

Issue #23009: Skip test_selectors.test_empty_select() on Windows

Issue #23095, asyncio: IocpProactor.close() must not cancel pending
_WaitCancelFuture futures

asyncio: BaseEventLoop._create_connection_transport() catchs any exception, not
only Exception

Issue #23095, asyncio: Rewrite _WaitHandleFuture.cancel()

This change fixes a race conditon related to _WaitHandleFuture.cancel() leading
to Python crash or "GetQueuedCompletionStatus() returned an unexpected event"
logs. Before, the overlapped object was destroyed too early, it was possible
that the wait completed whereas the overlapped object was already destroyed.
Sometimes, a different overlapped was allocated at the same address, leading to
unexpected completition.

_WaitHandleFuture.cancel() now waits until the wait is cancelled to clear its
reference to the overlapped object. To wait until the cancellation is done,
UnregisterWaitEx() is used with an event instead of UnregisterWait().

To wait for this event, a new _WaitCancelFuture class was added. It's a
simplified version of _WaitCancelFuture. For example, its cancel() method calls
UnregisterWait(), not UnregisterWaitEx(). _WaitCancelFuture should not be
cancelled.

The overlapped object is kept alive in _WaitHandleFuture until the wait is
unregistered.

Other changes:

* Add _overlapped.UnregisterWaitEx()
* Remove fast-path in IocpProactor.wait_for_handle() to immediatly set the
  result if the wait already completed. I'm not sure that it's safe to
  call immediatly UnregisterWaitEx() before the completion was signaled.
* Add IocpProactor._unregistered() to forget an overlapped which may never be
  signaled, but may be signaled for the next loop iteration. It avoids to
  block forever IocpProactor.close() if a wait was cancelled, and it may also
  avoid some "... unexpected event ..." warnings.

asyncio: pyflakes, remove unused import

tests: Remove unused function; inline another function

asyncio: Enhance BaseProactorEventLoop._loop_self_reading()

* Handle correctly CancelledError: just exit
* On error, log the exception and exit

Don't try to close the event loop, it is probably running and so it cannot be
closed.

Add the command line to the AssertionError raised by test.script_helper's
Python subprocess failure assertion error messages for easier debugging.

Adds a unittest for test.script_helper to confirm that this code works as
it is otherwise uncovered by an already passing test suite that uses it. :)