Merge 3.4 (asyncio)

asyncio: sync with Tulip

* Cleanup gather(): use cancelled() method instead of using private Future
  attribute
* Fix _UnixReadPipeTransport and _UnixWritePipeTransport. Only start reading
  when connection_made() has been called.
* Issue #23333: Fix BaseSelectorEventLoop._accept_connection(). Close the
  transport on error. In debug mode, log errors using call_exception_handler()

Merge 3.4 (asyncio doc)

asyncio doc: document Protocol state machine

Merge 3.4 (asyncio)

asyncio: sync with Tulip

* _SelectorTransport constructor: extra parameter is now optional
* Fix _SelectorDatagramTransport constructor. Only start reading after
  connection_made() has been called.
* Fix _SelectorSslTransport.close(). Don't call protocol.connection_lost() if
  protocol.connection_made() was not called yet: if the SSL handshake failed or
  is still in progress. The close() method can be called if the creation of the
  connection is cancelled, by a timeout for example.

Merge 3.4 (asyncio)

asyncio: BaseSubprocessTransport._kill_wait() now also call close()

close() closes pipes, which is not None yet by _kill_wait().

Always #define _PyLong_FromDev as we always need it to compile rather than
only defining it when HAVE_MKNOD && HAVE_MAKEDEV are true.

This "oops" issue reported by John E. Malmberg on core-mentorship.
(what kinds of systems don't HAVE_MKNOD && HAVE_MAKEDEV?)

Always #define _PyLong_FromDev as we always need it to compile rather than
only defining it when HAVE_MKNOD && HAVE_MAKEDEV are true.

This "oops" issue reported by John E. Malmberg on core-mentorship.
(what kinds of systems don't HAVE_MKNOD && HAVE_MAKEDEV?)

Merge 3.4 (asyncio)

asyncio: Fix _SelectorSocketTransport constructor

Only start reading when connection_made() has been called:
protocol.data_received() must not be called before protocol.connection_made().

asyncio: SSL transports now clear their reference to the waiter

* Rephrase also the comment explaining why the waiter is not awaken immediatly.
* SSLProtocol.eof_received() doesn't instanciate ConnectionResetError exception
  directly, it will be done by Future.set_exception(). The exception is not
  used if the waiter was cancelled or if there is no waiter.

asyncio: Fix SSLProtocol.eof_received()

Wake-up the waiter if it is not done yet.

Merge 3.4 into default - Upgrade setuptools to 12.0.5 and pip to 6.0.7

Update setuptools to 12.0.5 and pip to 6.0.7

ifdef our way to compatibility with old openssl (closes #23335)

Fixed memory leak in marshal.

Fixed memory leak in marshal.

Issue #22079: PyType_Ready() now checks that statically allocated type has
no dynamically allocated bases.

Issue #22079: PyType_Ready() now checks that statically allocated type has
no dynamically allocated bases.

Merged documentation update from 3.4.

Added a logging cookbook entry on customized exception formatting.

Merge 3.4 (asyncio)

asyncio: sync with Tulip

* Remove unused SSLProtocol._closing attribute
* test_sslproto: skip test if ssl module is missing
* Python issue #23208: Don't use the traceback of the current handle if we
  already know the traceback of the source. The handle may be more revelant,
  but having 3 tracebacks (handle, source, exception) becomes more difficult to
  read. The handle may be preferred later but it requires more work to make
  this choice.

disable ALPN on LibreSSL, which has a large version number, but not ALPN support (closes #23329)

Revert unintended part of the commit (the key==dummy test wasn't supposed to change).

Remove unneeded dummy test from the set search loop (when the hashes match we know the key is not a dummy).

Issue #23269:  Tighten search_loop in set_insert_clean()

Instead of masking and shifting every loopup, move the wrap-around
test outside of the inner-loop.

Add whatsnew entry for issue #5309.

Issue #23286: Fix typo in the tutorial.

Patch by Mayank Tripathi.

Issue #23286: Fix typo in the tutorial.

Patch by Mayank Tripathi.

Issue #22286, #23321: Fix failing test on Windows code page 932

There was a bug which was fixed. The unit test was also wrong.

Merge 3.4 (asyncio)

asyncio, _overlapped.ConnectPipe(): release the GIL

Merge 3.4 (asyncio)

asyncio, Tulip issue 204: Fix IocpProactor.recv()

If ReadFile() fails with ERROR_BROKEN_PIPE, the operation is not pending: don't
register the overlapped.

I don't know if WSARecv() can fail with ERROR_BROKEN_PIPE. Since
Overlapped.WSARecv() already handled ERROR_BROKEN_PIPE, let me guess that it
has the same behaviour than ReadFile().

Issue #23095, asyncio: Fix _WaitHandleFuture.cancel()

If UnregisterWaitEx() fais with ERROR_IO_PENDING, it doesn't mean that the wait
is unregistered yet. We still have to wait until the wait is cancelled.

Issue #20284: Fix a compilation warning on Windows

Explicitly cast the long to char.

Issue #15859: PyUnicode_EncodeFSDefault(), PyUnicode_EncodeMBCS() and
PyUnicode_EncodeCodePage() now raise an exception if the object is not an
Unicode object. For PyUnicode_EncodeFSDefault(), it was already the case on
platforms other than Windows. Patch written by Campbell Barton.

ensure ilen is initialized when it is assigned to len

Merge 3.4 (asyncio)

Issue #23293, asyncio: Rewrite IocpProactor.connect_pipe() as a coroutine

Use a coroutine with asyncio.sleep() instead of call_later() to ensure that the
schedule call is cancelled.

Add also a unit test cancelling connect_pipe().

asyncio: PipeHandle.fileno() now raises an exception if the pipe is closed

asyncio: Fix ProactorEventLoop.start_serving_pipe()

If a client connected before the server was closed: drop the client (close the
pipe) and exit.

Issue #14099: Restored support of writing ZIP files to tellable but
non-seekable streams.

Issue #14099: Writing to ZipFile and reading multiple ZipExtFiles is
threadsafe now.

Null merge

Issue #14099: Backout changeset e5bb3044402b (except adapted tests).

Issue #19361: JSON decoder now raises JSONDecodeError instead of ValueError.

Null merge

Merge heads

Merge heads

Issue #18518: timeit now rejects statements which can't be compiled outside
a function or a loop (e.g. "return" or "break").

Issue #18518: timeit now rejects statements which can't be compiled outside
a function or a loop (e.g. "return" or "break").

Merge 3.4 (asyncio)

Issue #23208, asyncio: Add BaseEventLoop._current_handle

In debug mode, BaseEventLoop._run_once() now sets the
BaseEventLoop._current_handle attribute to the handle currently executed.
In release mode or when no handle is executed, the attribute is None.

BaseEventLoop.default_exception_handler() displays the traceback of the current
handle if available.

Issue #23293, asyncio: Cleanup IocpProactor.close()

The special case for connect_pipe() is not more needed. connect_pipe() doesn't
use overlapped operations anymore.

asyncio: Close transports on error

Fix create_datagram_endpoint(), connect_read_pipe() and connect_write_pipe():
close the transport if the task is cancelled or on error.

Issue #23094: Fixed readline with frames in Python implementation of pickle.

Issue #23094: Fixed readline with frames in Python implementation of pickle.

Issue #7665: Fixed tests test_ntpath and test_urllib2 when ran in the
directory containing a backslash.

Issue #7665: Fixed tests test_ntpath and test_urllib2 when ran in the
directory containing a backslash.

Add credits for Martin Panter.

Add credits for Martin Panter.

Issue #23268: Fixed bugs in the comparison of ipaddress classes.

Issue #23268: Fixed bugs in the comparison of ipaddress classes.

Issue #21408: The default __ne__() now returns NotImplemented if __eq__()
returned NotImplemented.  Removed incorrect implementations of __ne__().

Issue #21408: The default __ne__() now returns NotImplemented if __eq__()
returned NotImplemented.  Removed incorrect implementations of __ne__().

Don't use deprecated assertEquals.

merge 3.4 (#19996)

handle headers with no key (closes #19996)

Patch by Cory Benfield.

Set the hash values of dummy entries to -1.  Improves quality of entry->hash == hash tests.

Update out-of-date comments.

Issue #23119:  Simplify setobject by inlining the special case for unicode equality testing.

Issue #23321: Fixed a crash in str.decode() when error handler returned
replacment string longer than mailformed input data.

Issue #23321: Fixed a crash in str.decode() when error handler returned
replacment string longer than mailformed input data.

Issue #22286: The "backslashreplace" error handlers now works with
decoding and translating.

Merge: #23215: note that time.sleep affects the current thread only.

#23215: reflow paragraph.

#23251: Note that time.sleep affects the calling thread only.

This change parallels the language used in the unix man page.

merge from 3.4

Increase http.client.HTTPConnection test coverage.

Added a new tunnel test to verify setting of _tunnel_host, _tunnel_port,
_tunnel_headers attributes on HTTPConnection object.

Increase http.client.HTTPConnection test coverage.

Added a new tunnel test to verify setting of _tunnel_host, _tunnel_port,
_tunnel_headers attributes on HTTPConnection object.

Closes #23253: Delay-load ShellExecute

Issue20284: Implement PEP461

prefer server alpn ordering over the client's

add support for ALPN (closes #20188)

Closes #23305: Merged documentation fix from 3.4.

Issue #23305: clarified RotatingFileHandler documentation.

Closes #23207: logging.basicConfig() now does additional validation of its arguments.

Issue #23207: logging.basicConfig() now does additional validation of its arguments.

Closes #23202: pyvenv documentation updated to match its behavior.

Updated pyvenv documentation to match its current behaviour.

http.client: disable Nagle's algorithm (closes #23302)

Patch by Demian Brecht.

revert 7b833bd1f509.  I misread the side effect that the code was triggering.
*any* kwarg supplied to _assert_python causes it to not append -E to the
command line flags so without='-E' does effectively work.

revert 7b833bd1f509.  I misread the side effect that the code was triggering.
*any* kwarg supplied to _assert_python causes it to not append -E to the
command line flags so without='-E' does effectively work.

Remove the unimplemented but ignored without='-E' parameters being passed to
script_helper.assert_python_failure().  No such feature has ever existed,
thus it doesn't do what the comment claims.  (It does add a 'without'
variable to the environment of the child process but that was not intended)

Remove the unimplemented but ignored without='-E' parameters being passed to
script_helper.assert_python_failure().  No such feature has ever existed,
thus it doesn't do what the comment claims.  (It does add a 'without'
variable to the environment of the child process but that was not intended)

Only pass -E to the child interpreter if our interpreter was running in that
mode.  Explicitly remove the PYTHONFAULTHANDLER environment variable before
launching a child interpreter when its presence would impact the test (the
reason -E was being used in the first place).

This enables running the test in an environment where other Python environment  variables must be set in order for things to run (such as using PYTHONHOME to
tell an embedded interpreter where it should think it lives).

Only pass -E to the child interpreter if our interpreter was running in that
mode.  Explicitly remove the PYTHONFAULTHANDLER environment variable before
launching a child interpreter when its presence would impact the test (the
reason -E was being used in the first place).

This enables running the test in an environment where other Python environment
variables must be set in order for things to run (such as using PYTHONHOME to
tell an embedded interpreter where it should think it lives).