merge 3.2

this is only a borrowed ref in Brett's branch

Issue #13590: merge

Issue #13590: On OS X 10.7 and 10.6 with Xcode 4.2, building
Distutils-based packages with C extension modules may fail because
Apple has removed gcc-4.2, the version used to build python.org
64-bit/32-bit Pythons.  If the user does not explicitly override
the default C compiler by setting the CC environment variable,
Distutils will now attempt to compile extension modules with clang
if gcc-4.2 is required but not found. Also as a convenience, if
the user does explicitly set CC, substitute its value as the default
compiler in the Distutils LDSHARED configuration variable for OS X.
(Note, the python.org 32-bit-only Pythons use gcc-4.0 and the 10.4u
SDK, neither of which are available in Xcode 4.  This change does not
attempt to override settings to support their use with Xcode 4.)

#13960: merge with 3.2.

#13960: HTMLParser is now able to handle broken comments when strict=False.

Use sys.version_info instead of sys.version in packaging.

The contents of this attribute are an implementation detail, as
documented for #9442, so we should not parse it, to support non-CPython
VMs with distutils2 in the future.

Unfortunately, one use comes directly from PEP 345, so an edit will have
to be agreed before fixing the code (see comment in p7g.markers).

Other remaining uses are found in p7g.compiler and could be replaced by
the platform module (which also parses sys.version, but then it wouldn’t
be my fault :)

Branch merge

Start improving 2to3 code in packaging (#13462).

- Change the fixers used in tests to something not provided by lib2to3
- Test conversion of doctests in text files
- Factor out test boilerplate into a common method

Synchronize packaging.tests.support with distutils2

More boolean tests for packaging metadata environment markers

Remove unneeded import

Undocument and clean up sqlite3.OptimizedUnicode

Closes #13921.

Group commands by topic in “pysetup run --list-commands” output.

This fixes a regression from distutils, where “setup.py --help-commands”
prints out commands grouped by topic (i.e. building vs. installing),
which is more useful than using sorted.

merge from 3.2

Issue #9021 - Introduce copy module better in the docs.

Issue #9021 - Introduce copy module better. Doc changes suggested by Terry
Reedy.

merged from 3.2

Issue #6005: Examples in the socket library documentation use sendall, where
relevant, instead send method.

Fix Issue #6005: Examples in the socket library documentation use sendall,
where relevant, instead send method.

Undo a bad mq management thingy.

Whitespace normalization.

Clarify a NEWS entry.

Use the cwd when the empty string is found in sys.path. This leads to
__file__ being an absolute path when the module is found in the
current directory.

Move setup code from importlib.__init__ to
importlib._bootstrap._setup().

Don't fail in the face of a lacking attribute when wrapping a
function.

get_terminal_size() can also fail with ENOTTY if the fd is not connected to a terminal.

Relax tests to fix buildbot failure

Issue #13609: Add two functions to query the terminal size:
os.get_terminal_size (low level) and shutil.get_terminal_size (high level).
Patch by Zbigniew Jędrzejewski-Szmek.

Backout f8409b3d6449: the PEP 410 is not accepted yet

Issue #13845: Fix NEWS entry, the change is specific to Windows

Skip test_threading.test_reinit_tls_after_fork() on platforms where fork()
can't be called reliably from a worker thread.

PEP 410

Skip test_threading.test_reinit_tls_after_fork() on platforms where fork()
can't be called reliably from a worker thread.

Issue #8184: multiprocessing: On Windows, don't set SO_REUSEADDR on Connection
sockets, and set FILE_FLAG_FIRST_PIPE_INSTANCE on named pipes, to make sure two
listeners can't bind to the same socket/pipe (or any existing socket/pipe).

Issue #13964: Skip os.*utime*() tests if os.stat() doesn't support timestamp
with a subsecond resolution

Issue #13964: Split os.*utime*() subsecond tests into multiple tests to help
debugging

Issue #13964: Test also os.futimesat()

Issue #13964: Write tests for new os.*utime*() functions

What's New in 3.3: reorder modules

Remove also duplicate functions in the "os" module section

What's New in 3.3: Fix time module doc

Issue #13845: time.time() now uses GetSystemTimeAsFileTime() instead of ftime()
to have a resolution of 100 ns instead of 1 ms (the clock accuracy is between
0.5 ms and 15 ms).

Issue #13846: Add time.monotonic(), monotonic clock.

Backout d2c1521ad0a1: _Py_IDENTIFIER() uses UTF-8 again

Re-order importlib benchmarks to be consistent. Also print out what implementation of __import__ is used.

Merge

Have importlib.test.benchmark test with tabnanny as a medium-sized test.

Null merge for reverted fix for #13807.

Null merge for reverted fix for #13807.

Merge branch '3.2'

Issue #10811: Fix recursive usage of cursors. Instead of crashing, raise a ProgrammingError now.

Following Nick's suggestion, rename posix.fdlistdir() to posix.flistdir(), to
be consistent with other functions accepting file descriptors (fdlistdir() was
added in 3.3, so hasn't been released yet).

merge 3.2

merge heads

bltinmod is borrowed, so it shouldn't be decrefed

Fix typos in comments.

Reported by David-Sarah Hopwood on the Bitbucket bug tracker of
Tarek’s former verlib/distutils.version project.

Issue #10881: merge

Issue #10881: Fix test_site failure with OS X framework builds.

Merge with 3.2 #964437

Issue 964437 Make IDLE help window non-modal.
Patch by Guilherme Polo and Roger Serwy.

Merge with 3.2
#13933 refine patch using 'new' builtin

#13933 refine patch using 'new' builtin

Issue #13734: Add os.fwalk(), a directory walking function yielding file
descriptors.

Make lzma docs consistent with other compression modules (cf. changeset 11bd2d32b4e8).

Merge edits from 3.2 (#13716, #1040439, #2945, #13770, #6715)

Branch merge

Really make bztar support in shutil conditional.

This dict entry is added a few lines after if the bzip2 module is
available, but removing this line was forgotten.

Null merge.

Clarify note in BZ2File docs about lack of multi-stream support (issue #1625).

Branch merge

Stop converting package_data to extra_files in pysetup create (#13712).

pysetup create, the setup.cfg creation helper, used to convert
package_data (from an existing setup.py) into extra_files, the
replacement for MANIFEST.in, but these files are only present in sdists,
not installed: they don’t have the same use case at all, so converting
one into the other did not work.

merge with 3.2

Closes #13944: fix capitalization of class name.

Issue #12142: Fixed reference cycle when importing ctypes

Issue #12142: Fixed reference cycle when importing ctypes

_Py_Identifier are always ASCII strings

Null merge.

Issue #1625: Document BZ2File's lack of support for multi-stream inputs.

Allow multiple values for package_data in setup.cfg (#11805).

Even though the resources system obsoletes data_files and package_data
(see bug discussion), package_data still exists to allow compatibility
with distutils and thus an easier transition.  In setup.py, the values
are lists of glob patterns, so the setup.cfg syntax needed a way to
express multiple values too.

Doc for this option will be added later as part of the big packaging doc
patches.  For now, the test serves as example.

Reported by Erik Bray.

Improve one packaging test, remove a setuptoolism in another

Issue #13933: merge

Issue #13933: IDLE auto-complete did not work with some imported
module, like hashlib.  (Patch by Roger Serwy)

Fix failing test on big-endian machines (issue #13806).

Fix failing test on big-endian machines (issue #13806).

merge 3.2

threading primitives now have timeouts

Issue #8184: Fix a potential file descriptor leak when a
multiprocessing.Connection socket can't be bound.

Issue #8184: Fix a potential file descriptor leak when a
multiprocessing.Connection socket can't be bound.

Document that some of LZMAFile.__init__()'s args are keyword-only.

Make BZ2File.__init__()'s fileobj argument keyword-only.

Update docstring for BZ2File.__init__().

Small grammar fixes by Mark Summerfield.

merge 3.2

put returns on their own lines

merge 3.2

remove unused import

Issue #13861: merge

Issue #13861: Prevent test_apropos* test case failures in test_pydoc.

Revert fix for #13807 mistakenly applied in this branch.

Merge

Check for errors in creating sub-interpreters when testing the C API.

Issue #13777: Add PF_SYSTEM sockets on OS X.
Patch by Michael Goderbauer.