merge with 3.2

Issue #1159051: Back out a fix for handling corrupted gzip files that
broke backwards compatibility.

merge heads

prevent IDLE from trying to close when sys.stdin is reassigned (#17838)

only close non-None files

-Wformat is needed by gcc 4.8 (closes #17547)

Issue #17237: Fix crash in the ASCII decoder on m68k.

I was confused before.  It's correct to not call .close() inside the with
statement, but add a comment that clarifies the purpose of the code.

#17841: remove missing codecs aliases from the documentation.  Patch by Thomas Fenzl.

#17700: update the curses HOWTO for 3.x

#17938: remove duplicate paragraphs.

#17809: fix a test failure in test_expanduser when $HOME has a trailing /.  Patch by Kubilay Kocak.

Issue #16601: Restarting iteration over tarfile no more continues from where
it left off.  Patch by Michael Birtwell.

#17877: skip test if the Olson's TZ database is missing.

#16523: improve attrgetter/itemgetter/methodcaller documentation.

#17714: document that the base64 codec adds a trailing newline.

#17871: fix unittest.TextTestRunner signature in the docs.  Patch by Yogesh Chaudhari.

Issue 17920:  Fix-up terminology in the set documentation

Issue #17289: The readline module now plays nicer with external modules or applications changing the rl_completer_word_break_characters global variable.
Initial patch by Bradley Froehle.

Issue #12181: select module: Fix struct kevent definition on OpenBSD 64-bit
platforms. Patch by Federico Schwindt.

#17833: fix test_gdb failures seen on PPC64 Linux in test_threads (test.test_gdb.PyBtTests)

#14187: Add glossary entry for 'function annotations'.

Patch by Chris Rebert.

Issue #17805: Add AsyncResult alias for ApplyResult

#13495: Avoid loading the color delegator twice in IDLE.

Issue 17862:  Improve the signature of itertools grouper() recipe.

Putting *n* after the *iterable* matches the signature of other itertools
and recipes.  Also, it reads better.

Suggested by Ezio Melotti.

#17798: Allow IDLE to edit new files when specified on command line.

Fix crash caused by 8c1385205a35
(thanks Arfrever for reporting).

Fix a test to not use an assertion for something that could be
legitimately false.

Issue #14173: Avoid crashing when reading a signal handler during interpreter shutdown.

Issue #17408: Avoid using an obsolete instance of the copyreg module when the interpreter is shutdown and then started again.

Elaborate on bytes-like objects.

#16518: use "bytes-like object" throughout the docs.

#7855: Add tests for ctypes/winreg for issues found in IronPython.  Initial patch by Dino Viehland.

Issue #16316: mimetypes now recognizes the .xz and .txz (.tar.xz) extensions.

Issue #15902: Fix imp.load_module() to accept None as a file when
trying to load an extension module.

While at it, also add a proper unittest.skipIf() guard to another test
involving imp.load_dynamic().

Issue #15535:  Fix pickling of named tuples.

#17802: Fix an UnboundLocalError in html.parser.  Initial tests by Thomas Barlow.

Issue #17529: Fix os.sendfile() documentation regarding the type of file
descriptor supported.

Issue #17712: Fix test_gdb failures on Ubuntu 13.04.

#16518: add "bytes-like object" to the glossary.

#17881: clarify documentation of plistlib.

fix the news entry, the description in 3.3 should be different
than the one merged from 3.2 to match the actual changes here.

news entry

news entry

null merge

This local change was lost during the fixing of issue17192 to update
libffi to 3.0.13.  (i'm not sure if it is needed anymore but see
issue 10309 for details which makes no mention of upstream; this
change is already in 3.3 and 3.4 but may need reapplying to 2.7
as done here)

* Fix remaining bits of issue 17192 for 3.3 - these changes
  were missing from a messed up merge during the libffi 3.0.13
  import.  the diffs from upstream libffi 3.0.13 are now small.

* Fix PART of issue 17192 for 3.3 - reapply the issue11729 patch
  that was undone in the merge fun from upstream which already
  had it in 3.0.13.
* Add the missing update to libffi.info.

* Fix issue 17192 for 3.2 - reapply the issue11729 patch that was undone
  in the merge fun from upstream which already had it in 3.0.13.
* Add the missing update to libffi.info.

ignore errors when trying to fetch sys.stdin.encoding (closes #17863)

raise an ImportError (rather than fatal) when __import__ is not found in __builtins__ (closes #17867)

#7152: Remove incorrectly added reference to DataHandler.

Issue #17358: imp.load_source() and load_compiled() should now return
modules which will typically work when reloaded.

A hack is used to support these functions as their API allowed them to
pass in a file object but then operate as if import had loaded them.
Unfortunately the hack kept a reference around for the file object
passed in which would be unusable on reload since it had been closed.
The solution is to simply use the hack for the initial load but then a
proper loader on the module so that imp.reload() at least has a chance
to work.

Reflow paragraphs.

I know one of them looks worse, but now it is <80 chars and
matches the 2.7 text.

#7152: Clarify that ProxyHandler is added only if proxy settings are detected.

Behavior confirmation and initial patch by Jessica McKellar.

Added base64 module tests for non-binary files.

Issue #17842. Added base64 module tests with bytearray arguments.
Original patch by Kushal Das.

Issue #17857: Prevent build failures with pre-3.5.0 versions of sqlite3,
such as was shipped with Centos 5 and Mac OS X 10.4.

Issue #17843: Remove bz2 test data that triggers antivirus warnings.

Issue #15535: Fix pickling of named tuples.

Issue #17857: Prevent build failures with pre-3.5.0 versions of sqlite3,
such as was shipped with Centos 5 and Mac OS X 10.4.

Issue #17357: Use more stern wording for
importlib.invalidate_caches().

Issue #17835: Fix test_io when the default OS pipe buffer size is larger than one million bytes.

clean the environment from pre-existing PYTHONWARNINGS for test_warnings

backported rev 79713 from 3.4, test_recursion_limit skipped for -O0

fix character index in ExtendedInterpolation's exception message

Ensure that plistlib doesn't corrupt deeply nested datastructures

Without this changeset plistlib would write empty tags for plistlib.Data
objects in deeply nested datastructures.

Fixes #17353

#17729: remove the Advocacy HOWTO from the index.

#17729: remove the outdated Advocacy HOWTO, as suggested by the author.

Issue #11714: Use 'with' statements to assure a Semaphore releases a
condition variable.  Original patch by Thomas Rachel.

Issue #17736: fix misleading comment in _elementtree.c
Patch by Jonas Wagner

Issue #17795: Reverted backwards-incompatible change in SysLogHandler with Unix domain sockets.

#15575: Clarify tutorial description of when modules are executed.

Issue #17670: Provide an example of expandtabs() usage.

#17065: Use process-unique key for winreg test.

Patch by Jeremy Kloth.

Fix reference leak in _pickle.

Remove trailing whitespace.

Remove duplicated tests.

Issue #17801: fix shebang line of gprof2html.py

Isuse #17720: Fix APPENDS handling in the Python implementation of Unpickler
to correctly process the opcode when it is used on non-list objects.

#17409: Document RLIM_INFINITY and use it to clarify the setrlimit docs.

#17413: make sure settrace funcs get passed exception instances for 'value'.

Patch by Ingrid Cheung and Brendan McLoughlin.

Minor typo in example.

Fix indentation.

#17790: test_set now works with unittest test discovery.  Patch by Zachary Ware.

#17789: test_random now works with unittest test discovery.  Patch by Zachary Ware.

#17779: test_osx_env now works with unittest test discovery.  Patch by Zachary Ware.

#17135: Add note in imp to use importlib for new programs.

Merge.

- Issue #17782: Fix undefined behaviour on platforms where ``struct timespec``'s "tv_nsec" member is not a C long.

Issue #17555: Fix ForkAwareThreadLock so that size of after fork
registry does not grow exponentially with generation of process.

Fix issue #17707: multiprocessing.Queue's get() method does not block for short timeouts.

#14735: Update IDLE docs to omit "Control-z on Windows".

#17771: fix typo.  Patch by Andriy Mysyk.

#17766: test_iterlen now works with unittest test discovery.  Patch by Zachary Ware.

#17740: fix links to the socket function.  Initial patch by Zachary Ware.

Issue #17739: fix the description of SSLSocket.getpeercert(binary_form=True) for server sockets.
Thanks to David D Lowe for reporting.

Remove unused import.

- Issue #17012: shutil.which() no longer fallbacks to the PATH environment
  variable if empty path argument is specified.  Patch by Serhiy Storchaka.

remove pointless code (closes #17738)