merge 3.4 (#12855)

document what exactly str.splitlines() splits on (closes #12855)

Patch by Martin Panter.

Issue #23618: Enhance EINTR handling in socket.connect()

Call PyErr_CheckSignals() immediatly if connect() or select() fails with EINTR
in internal_connect().

Refactor also the code to limit indentaton and make it more readable.

Issue #23618: Fix EINTR handling in socket.connect()

Call PyErr_CheckSignals() if connect(), select() or getsockopt() failed with
EINTR.

Issue #23618: Cleanup internal_connect() in socketmodule.c

On Windows, it looks like using the C type socklen_t for getsockopt() (instead
of int) is fine, it was already used in socket.getsockopt().

Issue 23793:  Add deque support for __add__(), __mul__(), and __imul__().

Issue #23618: Refactor internal_connect()

On Windows, internal_connect() now reuses internal_connect_select() and always
calls getsockopt().

Issue #23618: Refactor internal_connect()

The function now returns the error code instead of using the global errno
(POSIX) or WSAGetLastError() (Windows).

internal_connect() now returns errno if getsockopt() fails.

Issue #22117: Fix integer overflow check in socket_parse_timeout() on Windows

Issue #23611: Fixed enums pickling tests.  Now all picklings work with all
protocols.

Issue #18473: Fixed pickle compatibility tests for optional modules.
Added WindowsError to compatibility mappings.

Issue #18473: Fixed pickle compatibility tests for optional modules.
Added WindowsError to compatibility mappings.

Issue #10395: Added os.path.commonpath().  Implemented in posixpath and ntpath.
Based on patch by Rafik Draoui.

Issue #23618: Fix internal_connect_select()

Issue #23618: internal_connect_select() now waits also for error events

Issue #23618: Refactor internal_select() to prepare socket.connect() for EINTR

Issue #23618: Refactor the _socket module

* Inline internal_select() function
* Rename internal_select_ex() internal_select()

What's New in Python 3.5, PEP 475: mention modified signal functions

Issue #23611: Serializing more "lookupable" objects (such as unbound methods
or nested classes) now are supported with pickle protocols < 4.

Issue #13583: sqlite3.Row now supports slice indexing.

Tests by Jessica McKellar.

Merge heads

Issue #18473: Fixed 2to3 and 3to2 compatible pickle mappings.
Fixed ambigious reverse mappings.  Added many new mappings.  Import mapping
is no longer applied to modules already mapped with full name mapping.

Added tests for compatible pickling and unpickling and for consistency of
_compat_pickle mappings.

Issue #18473: Fixed 2to3 and 3to2 compatible pickle mappings.
Fixed ambigious reverse mappings.  Added many new mappings.  Import mapping
is no longer applied to modules already mapped with full name mapping.

Added tests for compatible pickling and unpickling and for consistency of
_compat_pickle mappings.

Issue #23485: Enhance and update selectors doc and test_selectors

Selector.select() is now retried with the recomputed timeout when interrupted
by a signal.

Write an unit test with a signal handler raising an exception, and a unit with
a signal handler which does not raise an exception (it does nothing).

Issue #23485: select.devpoll.poll() is now retried when interrupted by a signal

Issue #23485: select.kqueue.control() is now retried when interrupted by a signal

Fix typo in Doc/whatsnew/3.5.rst.

merge

Issue #23729:  Improve docs for ElementTree namespace parsing

Issue #23485: select.epoll.poll() is now retried when interrupted by a signal

Issue #23485: select.poll.poll() is now retried when interrupted by a signal

Issue #23485: Add _PyTime_FromMillisecondsObject() function

Issue #23485: Fix test_signal, select.select() now retries the syscall if the
signal handler does not raise an exception

Ignore .rst files in the venv directory.

PEP 475: on EINTR, retry the function even if the timeout is equals to zero

Retry:

* signal.sigtimedwait()
* threading.Lock.acquire()
* threading.RLock.acquire()
* time.sleep()

Issue #23485: select.select() is now retried automatically with the recomputed
timeout when interrupted by a signal, except if the signal handler raises an
exception. This change is part of the PEP 475.

The asyncore and selectors module doesn't catch the InterruptedError exception
anymore when calling select.select(), since this function should not raise
InterruptedError anymore.

Partially revert 3603bae63c13 (issue23326) for asyncio.

#2211: Fix typo, address missed review comment.

Merge: #23792: also catch interrupt around pipe.write.

#23792: also catch interrupt around pipe.write.

The previous patch only dealt with KeyboardInterrupt when all of the
data had been consumed by the pager.  This deals with the interrupt
when some data is still pending.

What's New in Python 3.5: add pep 461 (bytes%args) and 465 (a@b)

Issue #23605: Fix typo in an os.walk() comment

Thanks Ben Hoyt for the report.

(Merge 3.4) Issue #22585: os.urandom() now releases the GIL when the
getentropy() is used (OpenBSD 5.6+).

Issue #22585: os.urandom() now releases the GIL when the getentropy() is used
(OpenBSD 5.6+).

Issue #22181: os.urandom() now releases the GIL when the getrandom()
implementation is used.

Fix PY_VERSION in Include/patchlevel.h to reflect our post-3.5.0a3 state.

Merge 3.5.0a3 release engineering changes back into trunk.

Issue #22117: Try to fix rounding in conversion from Python double to _PyTime_t
using the C volatile keyword.

Issue #23752: _Py_fstat() is now responsible to raise the Python exception

Add _Py_fstat_noraise() function when a Python exception is not welcome.

Issue #23785: Fixed memory leak in TextIOWrapper.tell() in rare circumstances.

Issue #23785: Fixed memory leak in TextIOWrapper.tell() in rare circumstances.

Issue #23783: Fixed memory leak in PyObject_ClearWeakRefs() in case of
MemoryError.

Issue #23783: Fixed memory leak in PyObject_ClearWeakRefs() in case of
MemoryError.

Issue #23466: %c, %o, %x, and %X in bytes formatting now raise TypeError on
non-integer input.

Issue #23171: csv.Writer.writerow() now supports arbitrary iterables.

Issue #22117: Remove _PyTime_ROUND_DOWN and _PyTime_ROUND_UP rounding methods

Use _PyTime_ROUND_FLOOR and _PyTime_ROUND_CEILING instead.

#23745: handle duplicate MIME parameter names in new parser.

This mimics get_param's error handling for the most part.  It is slightly
better in some regards as get_param can produce some really weird results for
duplicate *0* parts.  It departs from get_param slightly in that if we have a
mix of non-extended and extended pieces for the same parameter name, the new
parser assumes they were all supposed to be extended and concatenates all the
values, whereas get_param always picks the non-extended parameter value.  All
of this error recovery is pretty much arbitrary decisions...

Issue #22117: Replace usage of _PyTime_ROUND_UP with _PyTime_ROUND_CEILING

All these functions only accept positive timeouts, so this change has no effect
in practice.

Issue #22117: Add _PyTime_ROUND_CEILING rounding method for timestamps

Add also more tests for ROUNd_FLOOR.

Merge: #23745: handle duplicate MIME parameter names in new parser.

Issue #23752: When built from an existing file descriptor, io.FileIO() now only
calls fstat() once. Before fstat() was called twice, which was not necessary.

Issue #22117: Add assertions to _PyTime_AsTimeval() and _PyTime_AsTimespec() to
check that microseconds and nanoseconds fits into the specified range.

Issue #22117: Fix usage of _PyTime_AsTimeval()

Add _PyTime_AsTimeval_noraise() function. Call it when it's not possible (or
not useful) to raise a Python exception on overflow.

Issue #23694: Fix usage of _Py_open() in the _posixsubprocess module

Don't call _Py_open() from _close_open_fds_safe() because it is call just after
fork(). It's not good to play with locks (the GIL) between fork() and exec().

Use instead _Py_open_noraise() which doesn't touch to the GIL.

Issue #22117: Fix rounding of fromtimestamp() methods of datetime.datetime and
datetime.time: round towards minus infinity ("floor") instead of rounding
towards zero ("down").

Issue #22117: Fix os.utime(), it now rounds the timestamp towards minus
infinity (-inf) instead of rounding towards zero.

Replace _PyTime_ROUND_DOWN with _PyTime_ROUND_FLOOR.

Issue #22117: Fix rounding and implement _PyTime_ROUND_FLOOR in:

- _PyTime_ObjectToTime_t()
- _PyTime_ObjectToTimespec()
- _PyTime_ObjectToTimeval()

Added tag v3.5.0a3 for changeset 82656e28b5e5

Release bump for Python 3.5.0a3.

Regenerated pydoc topics and minor doc fixes for 3.5.0a3.

Issue #22390: test.regrtest now emits a warning if temporary files or
directories are left after running a test.

Issue #22117: Cleanup pytime.c/.h

Issue #22117: Use the _PyTime_t API in _datetime.datetime() constructor

* Remove _PyTime_gettimeofday()
* Add _PyTime_GetSystemClock()

Issue #22390: test.regrtest now emits a warning if temporary files or
directories are left after running a test.

Issue #14260: The groupindex attribute of regular expression pattern object
now is non-modifiable mapping.

#2211: properly document the Morsel behavior changes.

Also deprecate the undocumented set argument instead of removing
it already in 3.5.

Initial patch by Demian Brecht.

merge 3.4 (#23801)

Closes #23801 - Ignore entire preamble to multipart in cgi.FieldStorage

Merge: #23792: Ignore KeyboardInterrupt when the pydoc pager is active.

#23792: Ignore KeyboardInterrupt when the pydoc pager is active.

Previously, if you hit ctl-c while the pager was active, the python that
launched the subprocess for the pager would see the KeyboardInterrupt in the
__exit__ method of the subprocess context manager where it was waiting for the
subprocess to complete, ending the wait.  This would leave the pager running,
while the interactive interpreter, after handling the exception by printing
it, would go back to trying to post a prompt...but the pager would generally
have the terminal in raw mode, and in any case would be still trying to read
from stdin.  On some systems, even exiting python at that point would not
restore the terminal mode.  The problem with raw mode could also happen if
ctl-C was hit when pydoc was called from the shell command line and the pager
was active.

Instead, we now wait on the subprocess in a loop, ignoring KeyboardInterrupt
just like the pager does, until the pager actually exits.

(Note: this was a regression relative to python2...in python2 the pager
is called via system, and system does not return until the pager exits.)

Added explicit tests for issue #23803.

Issue #23803: Fixed str.partition() and str.rpartition() when a separator
is wider then partitioned string.

Removed unintentional trailing spaces in text files.

Make some tests more frienly to MemoryError.
Free memory, unlock hanging threads.

Make some tests more frienly to MemoryError.
Free memory, unlock hanging threads.

Issue #22117: Fix _PyTime_GetMonotonicClock() and
_PyTime_GetSystemClockWithInfo() to not raise an exception and return 0 on
error (it should never occur)

Issue #22117: Add the new _PyTime_ROUND_FLOOR rounding method for the datetime
module. time.clock_settime() now uses this rounding method instead of
_PyTime_ROUND_DOWN to handle correctly dates before 1970.

Issue #22117: Use the _PyTime_t API for time.clock_settime()

Remove also the now unused _PyTime_AddDouble() function.

Issue #22117: Use the new _PyTime_t API in the select module

Issue #22117: The thread module uses the new _PyTime_t timestamp API

Add also a new _PyTime_AsMicroseconds() function.

threading.TIMEOUT_MAX is now be smaller: only 292 years instead of 292,271
years on 64-bit system for example. Sorry, your threads will hang a *little
bit* shorter. Call me if you want to ensure that your locks wait longer, I can
share some tricks with you.

Issue #22117: Fix ssl to use _PyTime_t API on sock_timeout

I didn't notice that the ssl module uses private attributes of socket objects.

Issue #22117: remove _PyTime_INTERVAL() macro

Issue #22117: The socket module uses _PyTime_t timestamp for timeouts

Issue #22117: Write unit tests for _PyTime_AsTimeval()

* _PyTime_AsTimeval() now ensures that tv_usec is always positive
* _PyTime_AsTimespec() now ensures that tv_nsec is always positive
* _PyTime_AsTimeval() now returns an integer on overflow instead of raising an
  exception

Issue #23618, #22117: refactor socketmodule.c

Move Py_BEGIN_ALLOW_THREADS/Py_END_ALLOW_THREADS inside internal_select_ex() to
prepare a switch to the _PyTime_t type and retry syscall on EINTR.

Issue #22117: The signal modules uses the new _PyTime_t API

* Add _PyTime_AsTimespec()
* Add unit tests for _PyTime_AsTimespec()

Issue #22117: The gc module now uses _PyTime_t timestamp

Issue #22117: time.time() now uses the new _PyTime_t API

* Add _PyTime_GetSystemClockWithInfo()

Issue #22117: time.monotonic() now uses the new _PyTime_t API

* Add _PyTime_FromNanoseconds()
* Add _PyTime_AsSecondsDouble()
* Add unit tests for _PyTime_AsSecondsDouble()

format .. note properly