merge 3.4 (#10744)

support pep 3118 format strings for ctypes objects with nontrivial shapes (closes #10744)

Patch by Matti Picus.

Miscellaneous corrections and updates to the OS X README file.

Miscellaneous corrections and updates to the OS X README file.

Issue #21362: concurrent.futures does not validate that max_workers is proper

Upgrade pip to 1.5.6

Upgrade setuptools to 3.6

Issue #21503: Use test_both() consistently in test_importlib.

Fix a small typo in test_importlib.

Issue #13916: Fix surrogatepass error handler on Windows

Merge with 3.4

Issue #18104: revise docstrings, remove obsolete comments.

Mention ipaddress improvements.

Better organization of the what's new

Issue #21364: remove recommendation of broken pattern.

Issue #21364: remove recommendation of broken pattern.

Issue #20826: Optimize ipaddress.collapse_addresses().

Issue #21487: Optimize ipaddress.summarize_address_range() and ipaddress.{IPv4Network,IPv6Network}.subnets().

Issue #21486: Optimize parsing of netmasks in ipaddress.IPv4Network and ipaddress.IPv6Network.

Issue #13916: Disallowed the surrogatepass error handler for non UTF-*
encodings.

Merge 3.4

Issue #21488: Oops, the patch for codecs.encode/decode doc was written by
Berker Peksag (already present in Misc/ACKS). The issue was reported by Brad
Aylsworth.

Issue #20998: Fixed re.fullmatch() of repeated single character pattern
with ignore case.  Original patch by Matthew Barnett.

Issue #20998: Fixed re.fullmatch() of repeated single character pattern
with ignore case.  Original patch by Matthew Barnett.

Issue #21075: fileinput.FileInput now reads bytes from standard stream if
binary mode is specified.  Patch by Sam Kimbrel.

Issue #21075: fileinput.FileInput now reads bytes from standard stream if
binary mode is specified.  Patch by Sam Kimbrel.

Issue #21490: Add new C macros: Py_ABS() and Py_STRINGIFY()

Keep _Py_STRINGIZE() in PC/pyconfig.h to not introduce a dependency between
pyconfig.h and pymacros.h.

(Merge 3.4) Issue #21497: faulthandler functions now raise a better error if
sys.stderr is None: RuntimeError("sys.stderr is None") instead of
AttributeError("'NoneType' object has no attribute 'fileno'").

Issue #21497: faulthandler functions now raise a better error if sys.stderr is
None: RuntimeError("sys.stderr is None") instead of AttributeError("'NoneType'
object has no attribute 'fileno'").

Issue #21488: Add support of keyword arguments for codecs.encode and codecs.decode

Merge 3.4 (I commited a patch to the wrong branch and then used hg backout)

Backed out changeset 6ceedbd88b5f

Issue #21488: Add support of keyword arguments for codecs.encode and codecs.decode

Merge 3.4: ignore change specific to 3.4 for #21488, I had a different patch for Python 3.5

Issue #21488: Fix doc of codecs.decode() and codecs.encode(), no keyword support.
Patch written by Brad Aylsworth.

Merge: #21347: use string not list in shell=True example.

#21347: use string not list in shell=True example.

Patch by Akira.

merge

Issue #21470: Do a better job seeding the random number generator
to fully cover its state space.

Merge from 3.4 (for #21499).

Issue #21499: Ignore __builtins__ in several test_importlib.test_api tests.

Merge 3.4->default: Fix test-order-dependend asyncio test failure caused by rev 2af5a52b9b87 (in this branch).

Fix test-order-dependend asyncio test failure caused by rev 909ea8cc86bbab92dbb6231668f403b7360f30fa.

Merge from 3.4:
- Issue #17756: Fix test_code test when run from the installed location.

- Issue #17756: Fix test_code test when run from the installed location.

Issue #19775: Add a samefile() method to pathlib Path objects.

Initial patch by Vajrasky Kok.

Issue 21469:  Minor code modernization (convert and/or expression to an if/else expression).

Suggested by: Tal Einat

merge

Issue 21469:  Add missing news item

merge

Issue 21469:  Mitigate risk of false positives with robotparser.

* Repair the broken link to norobots-rfc.txt.

* HTTP response codes >= 500 treated as a failed read rather than as a not
found.  Not found means that we can assume the entire site is allowed.  A 5xx
server error tells us nothing.

* A successful read() or parse() updates the mtime (which is defined to be "the
  time the robots.txt file was last fetched").

* The can_fetch() method returns False unless we've had a read() with a 2xx or
4xx response.  This avoids false positives in the case where a user calls
can_fetch() before calling read().

* I don't see any easy way to test this patch without hitting internet
resources that might change or without use of mock objects that wouldn't
provide must reassurance.

Merge doc change from 3.3

Merge doc change from 3.3

Update docs to reflect resurrection of Setuptools over Distribute

Merge from 3.4 (for #21226).

(Merge 3.4) Issue #21398: Fix an unicode error in the pydoc pager when the
documentation contains characters not encodable to the stdout encoding.

Issue #21398: Fix an unicode error in the pydoc pager when the documentation
contains characters not encodable to the stdout encoding.

Issue #21226: Set all attrs in PyImport_ExecCodeModuleObject.

(Merge 3.4) Issue #21418: Fix a crash in the builtin function super() when
called without argument and without current frame (ex: embedded Python).

Issue #21418: Fix a crash in the builtin function super() when called without
argument and without current frame (ex: embedded Python).

(Merge 3.4) Issue #21485: remove unnecesary .flush() calls in the asyncio
subprocess code example

Issue #21485: remove unnecesary .flush() calls in the asyncio subprocess code
example

(Merge 3.4) Issue #21422: Add a test to check that bool << int and bool >> int
return an int

Issue #21422: Add a test to check that bool << int and bool >> int return an int

Issue #16531: ipaddress.IPv4Network and ipaddress.IPv6Network now accept an (address, netmask) tuple argument, so as to easily construct network objects from existing addresses.

Merge 3.4->default: asyncio: Fix upstream issue 168: StreamReader.read(-1) from pipe may hang if data exceeds buffer limit.

asyncio: Fix upstream issue 168: StreamReader.read(-1) from pipe may hang if data exceeds buffer limit.

Issue 21383: merge from 3.4

Issue #21383: Allow "make touch" to work when building outside of the
source directory.

Issue #18104: News for 3.4, in proper place.

#18104: null merge of 3.4 News entry

Issue #18104: News for 3.4 (which will not merge forward).

Merge with 3.4

whitespace

Merge with 3.4

Issue #18104: Add idlelib/idle_test/htest.py with a few sample tests to begin
consolidating and improving human-validated tests of Idle. Change other files
as needed to work with htest.  Running the module as __main__ runs all tests.

merge 3.4

use logical rather than bit and

Issue 21424:  Apply the nlargest() optimizations to nsmallest() as well.

merge from 3.4 - clean up the subprocess docs warning-soup and
s/Unix/POSIX/.

Change all references to Unix to POSIX in the subprocess docs.  It's
more accurate and sounds less like a strange tale of yore.

Remove the warning-soup from the subprocess documentation by adding
a Security Considerations section as preferred by both the devguide
and documentation users who do not wish to go insane.

merge 3.4

remove confusing delete indexing (closes #21466)

Null merge

Try to fix issue #21425 workaround for shared library builds

Try to fix issue #21425 workaround for shared library builds

Fix printing out error message when test fails and run with -bb

Fix printing out error message when test fails and run with -bb

Null merge

Remove debugging output

Try workaround for test issues in #21425

Try workaround for test issues in #21425

Fix debugging output to work with -W

Fix debugging output to work with -bb

Add debugging output for #21425

Issue #21425: Fix flushing of standard streams in the interactive interpreter.

Issue #21425: Fix flushing of standard streams in the interactive interpreter.

By popular demand, add back a security warning.

Issue #21424:  Optimize heaqp.nlargest() to make fewer tuple comparisons.

Consolidates the logic for nlargest() into a single function so that
decoration tuples (elem,order) or (key, order, elem) only need to
be formed when a new element is added to the heap.  Formerly, a tuple
was created for every element regardless of whether it was added to
the heap.

The change reduces the number of tuples created, the number of ordering
integers created, and total number of tuple comparisons.