#18151 Merge from 3.3

#18151, part 2: Silence debug build resource warning for each file opened by
'Find in files' by replacing 'open with implicit close' by 'with open' in
GrepDialog method grep_it. Streamline code with enumerate(), direct file
iteration, and output tweak. Add test for this method, including output format.

Issue #11016: Add C implementation of the stat module as _stat

Merge from 3.3

#18113: avoid segfault if Py_XDECREF triggers code that calls set_panel_userptr again

Problem noted & original patch by Serhiy Storchaka; I tweaked the patch a bit.

... also TLSv1.1 and TLSv1.2

Add my SSL module patches to whatsnew 3.4

BSD: block devices are gone
http://www.freebsd.org/doc/en/books/arch-handbook/driverbasics-block.html

BSD: block devices are gone
http://www.freebsd.org/doc/en/books/arch-handbook/driverbasics-block.html

merge for issue #18278

Issue #18278: properly document how the loaders are called for FileFinder

marshal: optimize parsing of empty Unicode strings

Don't create a temporary buffer of zeroy byte nor call r_string() if the length
is zero, create directly the empty string.

Fix test_stat on BSD, /dev/da0 and /dev/ad0 are links

Fix test_stat on BSD, /dev/da0 and /dev/ad0 are links

Add tests for untested features of the 'stat' module (part of issue #11016)

Add tests for untested features of the 'stat' module (part of issue #11016)

#12716: reorganize docs for os module a bit

* Move the constants used by os.open() to after the description of os.open(),
  instead of putting them in their own section.

* Move RTLD_* constants to "Miscellaneous System Information" section, and
  mention the sys functions they're used with.

* Mention dir_fd parameter in os.open() text.

* Typo fix ("are a supported by").

#13226: update references from ctypes/DLFCN modules to os module

Merge from 3.3

Closes #18218: use correct variable name for starting point

Closes #18239: correct description of count() in module docstring

Closes #18247: add Lib/test/data/* to .gitignore

Merge from 3.3

Closes #18267: use floor division in code example

Grammatical mistake in a comment

Merge from 3.3

Closes #18272: use 'builtins' for 3.3 instead of __builtin__

whatsnew/3.4: mention functools.singledispatch, PEP 443

whatsnew/3.4: mention the new enum module, PEP 435

Merge from 3.3

#4153: update Unicode howto for Python 3.3

* state that python3 source encoding is UTF-8, and give examples

* mention surrogateescape in the 'tips and tricks' section, and
  backslashreplace in the "Python's Unicode Support" section.

* Describe Unicode support provided by the re module.

* link to Nick Coghlan's and Ned Batchelder's notes/presentations.

* default filesystem encoding is now UTF-8, not ascii.

* Describe StreamRecoder class.

* update acks section

* remove usage of "I think", "I'm not going to", etc.

* various edits

* remove revision history and original outline

merge from 3.3

Add -b and -X options to python man page.
Patch contributed by Corey Brune.

Add -b and -X options to python man page.
Patch contributed by Corey Brune.

Merge: Tweak programming faq examples so that it (mostly) passes doctest.

Tweak programming faq examples so that it (mostly) passes doctest.

The exception is the import related questions at the end, which
need to be rewritten anyway.

merge 3.3 (#18248)

fix libffi build on AIX (closes #18248)

Issue #18202: Fix minor bugs and cleanup test_source_encoding.py.

Issue #18202: Fix minor bugs and cleanup test_coding.py.

merge

Issue #17177: Clarify some deprecations

fixed libffi on PPC without __NO_FPRS__
ISO C90 forbids mixed declarations and code

fixed libffi on PPC without __NO_FPRS__
ISO C90 forbids mixed declarations and code

merge heads

merge heads

Issue #18259: Declare sethostname in socketmodule.c for AIX

Issue #18259: Declare sethostname in socketmodule.c for AIX

Fix compilation warning with gcc 4.8 (unused typedef)

Issue #18256: Compilation fix for recent AIX releases.  Patch by David Edelsohn.

Issue #18256: Compilation fix for recent AIX releases.  Patch by David Edelsohn.

Fix for r84195: add HAVE_ALLOCA_H to configure and only include alloca.h if it's available

Fix for r84195: add HAVE_ALLOCA_H to configure and only include alloca.h if it's available

Grammar tweak

Issue #17222: fix a mix-up in some exception messages.

Reported by Arfrever Frehtes Taifersar Arahesis.

(Merge 3.3) test_faulthandler: use _sigsegv() instead of _read_null()

faulthandler._read_null() is not reliable: it does not crash on AIX.

test_faulthandler: use _sigsegv() instead of _read_null()

faulthandler._read_null() is not reliable: it does not crash on AIX.

(Merge 3.3) ctypes: AIX needs an explicit #include <alloca.h> to get alloca()

ctypes: AIX needs an explicit #include <alloca.h> to get alloca()

(Merge 3.3) Issue #18238: Skip test_signal.test_sigwaitinfo_interrupted() on AIX

sigwaitinfo() can be interrupted on Linux (raises InterruptedError), but not on
AIX.

Issue #18238: Skip test_signal.test_sigwaitinfo_interrupted() on AIX

sigwaitinfo() can be interrupted on Linux (raises InterruptedError), but not on
AIX.

Issue #18228: Use locale.setlocale(name, None) instead of
locale.getlocale(name) in test.regrtest.saved_test_environment

locale.getlocale() parses the locale, which is useless for
saved_test_environment.

Issue #18228: Fix locale test of test.regrtest.saved_test_environment

Skip LC_ALL becore getlocale(locale.LC_ALL) always fail, and catch also
ValueError.

(Merge 3.3) regrtest.py: Fix another typo in the usage of the faulthandler module

regrtest.py: Fix another typo in the usage of the faulthandler module

(Merge 3.3) regrtest.py: Fix typo in the usage of the faulthandler module

regrtest.py: Fix typo in the usage of the faulthandler module

merge heads

Issue #18147: Add diagnostic functions to ssl.SSLContext().

get_ca_list() lists all loaded CA certificates and cert_store_stats() returns
amount of loaded X.509 certs, X.509 CA certs and CRLs.

Merge heads

Issue #18167: cgi.FieldStorage no more fails to handle multipart/form-data
when \r\n appears at end of 65535 bytes without other newlines.

Issue #18167: cgi.FieldStorage no more fails to handle multipart/form-data
when \r\n appears at end of 65535 bytes without other newlines.

Issue #18207: Fix test_ssl for some versions of OpenSSL that ignore seconds
in ASN1_TIME fields.

Issue #18223: Refactor test_tarfile.

* Use mixins for generating tests for different compression types.
* Make test_tarfile discoverable.
* Use more special tests (i.e. assertEqual, assertIs) instead of assertTrue.
* Add explicit test skips instead of reporting skipped tests as passed.
* Wrap long lines.
* Correct a comment for test_hardlink_extraction1.
* Add support.requires_gzip.
* Replace ImportError by  ModuleNotFoundError.

and some other minor enhancements.

Issue #18223: Refactor test_tarfile.

* Use mixins for generating tests for different compression types.
* Make test_tarfile discoverable.
* Use more special tests (i.e. assertEqual, assertIs) instead of assertTrue.
* Add explicit test skips instead of reporting skipped tests as passed.
* Wrap long lines.
* Correct a comment for test_hardlink_extraction1.
* Add support.requires_gzip.

and some other minor enhancements.

documentation suggesting something which doesn't exist

Merge doc/argument name fix

merge

Fix a misnaming of a method and an argument

Issue #18076: Introduce imoportlib.util.decode_source().

The helper function makes it easier to implement
imoprtlib.abc.InspectLoader.get_source() by making that function
require just the raw bytes for source code and handling all other
details.

importlib.abc.SourceLoader.get_source() was re-raising SyntaxError and
UnicodeDecodeError as ImportError. That was over-reaching the point of
raising ImportError in get_source() (which is to signal the source
code was not found when it should have). Conflating the two exceptions
with ImportError could lead to masking errors with the source which
should be known outside of whether there was an error simply getting
the source to begin with.

Issue #18115: Abstract out managing the cleanup of modules to use in
loaders where C code provides the loaded module.

Check that warnings.showwarning() is not changed.

Issues #18058, 18057: Make importlib._bootstrap.NamespaceLoader
conform the the InspectLoader ABC. Perk of this is that runpy/-m can
now work with namespace packages.

merge

Issue #17177: The imp module is pending deprecation.

To make sure there is no issue with code that is both Python 2 and 3
compatible, there are no plans to remove the module any sooner than
Python 4 (unless the community moves to Python 3 solidly before then).

Merge with 3.3

Describe 'surrogateescape' in the documentation.

Also, improve some docstring descriptions of the 'errors' parameter.

Closes #14015.

Stop using the deprecated unittest.TestCase.assertRaisesRegexp()

Make test_builtin work when executed directly

Prevent a possible double close of parent pipe fds when the subprocess
exec runs into an error.  Prevent a regular multi-close of the /dev/null
fd when any of stdin, stdout and stderr was set to DEVNULL.

news entry for subprocess double close fix.

Prevent a possible double close of parent pipe fds when the subprocess
exec runs into an error.  Prevent a regular multi-close of the /dev/null
fd when any of stdin, stdout and stderr was set to DEVNULL.

Issue #17177: stop using imp in test_importlib

Issue #17177: update checkpyc to stop using imp

Issue # 17177: Stop using imp in setup.py

Issue # 17177: Stop using imp in turtledemo

Issue #17177: Stop using imp in zipfile

Issue #17177: Stop using imp in a bunch of tests

Merge with 3.3

Issue #17177: Stop using imp in sysconfig