Merge heads

Issue #18184: PyUnicode_FromFormat() and PyUnicode_FromFormatV() now raise
OverflowError when an argument of %c format is out of range.

Fixed issue #18260: configparser TypeError on source name specified as bytes

Solaris' /dev/null is a symlink. The device test now uses stat instead of lstat to compensate
for symlinks.

Issue #18135: Fix a possible integer overflow in ssl.SSLSocket.write()
and in ssl.SSLContext.load_cert_chain() for strings and passwords longer
than 2 gigabytes.

_ssl.c: strip trailing spaces

Issue #18137: Detect integer overflow on precision in float.__format__() and
complex.__format__().

Closes #18220: expand itertools.islice docstring to 2 lines

Close #18285: add 'repeat' parameter to docstring for product

#18151, part 2: Silence debug build resource warning for each file opened by
'Find in files' by replacing 'open with implicit close' by 'with open' in
GrepDialog method grep_it. Streamline code with enumerate(), direct file
iteration, and output tweak. Add test for this method, including output format.

#18113: avoid segfault if Py_XDECREF triggers code that calls set_panel_userptr again

Problem noted & original patch by Serhiy Storchaka; I tweaked the patch a bit.

BSD: block devices are gone
http://www.freebsd.org/doc/en/books/arch-handbook/driverbasics-block.html

Issue #18278: properly document how the loaders are called for FileFinder

Fix test_stat on BSD, /dev/da0 and /dev/ad0 are links

Add tests for untested features of the 'stat' module (part of issue #11016)

Closes #18218: use correct variable name for starting point

Closes #18239: correct description of count() in module docstring

Closes #18267: use floor division in code example

Closes #18272: use 'builtins' for 3.3 instead of __builtin__

#4153: update Unicode howto for Python 3.3

* state that python3 source encoding is UTF-8, and give examples

* mention surrogateescape in the 'tips and tricks' section, and
  backslashreplace in the "Python's Unicode Support" section.

* Describe Unicode support provided by the re module.

* link to Nick Coghlan's and Ned Batchelder's notes/presentations.

* default filesystem encoding is now UTF-8, not ascii.

* Describe StreamRecoder class.

* update acks section

* remove usage of "I think", "I'm not going to", etc.

* various edits

* remove revision history and original outline

Add -b and -X options to python man page.
Patch contributed by Corey Brune.

Tweak programming faq examples so that it (mostly) passes doctest.

The exception is the import related questions at the end, which
need to be rewritten anyway.

fix libffi build on AIX (closes #18248)

Issue #18202: Fix minor bugs and cleanup test_coding.py.

fixed libffi on PPC without __NO_FPRS__
ISO C90 forbids mixed declarations and code

merge heads

Issue #18259: Declare sethostname in socketmodule.c for AIX

Issue #18256: Compilation fix for recent AIX releases.  Patch by David Edelsohn.

Fix for r84195: add HAVE_ALLOCA_H to configure and only include alloca.h if it's available

test_faulthandler: use _sigsegv() instead of _read_null()

faulthandler._read_null() is not reliable: it does not crash on AIX.

ctypes: AIX needs an explicit #include <alloca.h> to get alloca()

Issue #18238: Skip test_signal.test_sigwaitinfo_interrupted() on AIX

sigwaitinfo() can be interrupted on Linux (raises InterruptedError), but not on
AIX.

regrtest.py: Fix another typo in the usage of the faulthandler module

regrtest.py: Fix typo in the usage of the faulthandler module

Issue #18167: cgi.FieldStorage no more fails to handle multipart/form-data
when \r\n appears at end of 65535 bytes without other newlines.

Issue #18223: Refactor test_tarfile.

* Use mixins for generating tests for different compression types.
* Make test_tarfile discoverable.
* Use more special tests (i.e. assertEqual, assertIs) instead of assertTrue.
* Add explicit test skips instead of reporting skipped tests as passed.
* Wrap long lines.
* Correct a comment for test_hardlink_extraction1.
* Add support.requires_gzip.

and some other minor enhancements.

merge

Fix a misnaming of a method and an argument

Describe 'surrogateescape' in the documentation.

Also, improve some docstring descriptions of the 'errors' parameter.

Closes #14015.

news entry for subprocess double close fix.

Prevent a possible double close of parent pipe fds when the subprocess
exec runs into an error.  Prevent a regular multi-close of the /dev/null
fd when any of stdin, stdout and stderr was set to DEVNULL.

#18113: Objects associated to a curses.panel object with set_userptr() were leaked.

Reported by Atsuo Ishimoto.

Drop some dead imports of imp

Issue #15172: Document NASM 2.10+ as requirement for building OpenSSL 1.0.1 on Windows

Add tests for issue #18183.

#18196: Avoid displaying spurious SystemExit tracebacks.

#5492: Avoid traceback when exiting IDLE caused by a race condition.

Issue #18187: Fix broken link in venv documentation. Patch by Berker Peksag.

#17511: Keep IDLE find dialog open after clicking "Find Next".
Original patch by Sarah K.

remove MAX_MAXCHAR because it's unsafe for computing maximum codepoitn value (see #18183)

Issue #18174: Fix fd leaks in tests.

Issue #18180: Fix ref leak in _PyImport_GetDynLoadWindows().

Ensure that the fix for #17269 also works on OSX 10.4

AI_NUMERICSERV isn't defined on OSX 10.4.

Issue #16102: Make uuid._netbios_getnode() work again on Python 3.

Issue #15239: Make mkstringprep.py work again on Python 3.

Issue #18038: SyntaxError raised during compilation sources with illegal
encoding now always contains an encoding name.

#18126: update NumPy links in the documentation.  Patch by Yury V. Zaytsev.

#17691: test_univnewlines now works with unittest test discovery.  Patch by Zachary Ware.

#18151, part 1: Backport idlelilb portion of Andrew Svetlov's 3.4 patch
changing IOError to OSError (#16715).

Issue #18055: Move to importlib from imp for IDLE.

Issue 18130: delete extra spaces

Issue18130: Test class idlelib.configSectionNameDialog.GetCfgSectionNameDialog.
Fix bug in existing human test and add instructions; fix two bugs in tested
code; remove redundancies, add spaces, and change two internal method names.
Add mock_tk with mocks for tkinter.Variable subclasses and tkinter.messagebox.
Use mocks in test_config_name to unittest methods that are otherwise gui-free.

Close #18109: os.uname() now decodes fields from the locale encoding, and
socket.gethostname() now decodes the hostname from the locale encoding, instead
of using the UTF-8 encoding in strict mode.

Fix #17967 - Fix related to regression on Windows.

os.path.join(*self.dirs) produces an invalid path on windows.
ftp paths are always forward-slash seperated like this. /pub/dir.

Clarify which dictionaries are updateable
by using the wording from the Py2.7 docs.

Fix thishost helper funtion in urllib. Returns the ipaddress of localhost when
hostname is resolvable by socket.gethostname for local machine. This all fixes
certain freebsd builtbot failures.

Fix #17967: For ftp urls CWD to target instead of hopping to each directory
towards target. This fixes a bug where target is accessible, but parent
directories are restricted.

Issue #18094: test_uuid no more reports skipped tests as passed.

Issue #15392: Finish news entry.

Support multiarch build in tests.

Backport bff16086f03b and bcaaaa00425b.

Issue #17768: Support newline fill character in decimal.py and NUL fill
character in _decimal.c.

#17403: urllib.parse.robotparser normalizes the urls before adding to ruleline.
This helps in handling certain types invalid urls in a conservative manner.

Issue #15392: Do not run tests if threading/_thread not available. Otherwise
touchup test_idle. Rename README.txt.

Issue #18080: When building a C extension module on OS X, if the compiler
is overriden with the CC environment variable, use the new compiler as
the default for linking if LDSHARED is not also overriden.  This restores
Distutils behavior introduced in 3.2.3 and inadvertently dropped in 3.3.0.

Issue #18085: Fix PyObject_CallMethodObjArgs()'s entry in refcounts.dat.

Issue #18025: Fixed a segfault in io.BufferedIOBase.readinto() when raw
stream's read() returns more bytes than requested.

Issue #17746: Skip test_shutil.test_non_matching_mode when run as root or
on unsuitable platform/environment.

Issue #18011: base64.b32decode() now raises a binascii.Error if there are
non-alphabet characters present in the input string to conform a docstring.
Updated the module documentation.

Issue #18079: Fix a typo in the tutorial.

Use simple call to os.symlink for broken link (intended for previous commit)

Issue #13772: Restored directory detection of targets in `os.symlink` on Windows, which was temporarily removed in Python 3.2.3 due to an incomplete implementation. The implementation now works even if the symlink is created in a location other than the current directory.

Issue #15392: Create a unittest framework for IDLE.
Preliminary patch by Rajagopalasarma Jayakrishnan.

Fix typo in embedding doc and update examples to 3.3.

Issue #18063: fix some struct specifications in the tests for sys.getsizeof().

Mention __cached__ in the import ref.

Add a missing parenthesis.

Various tweaks to importlib docs.

Clean-up duplicated code in tests

Issue #13612: handle unknown encodings without a buffer overflow.

This affects pyexpat and _elementtree. PyExpat_CAPI now exposes a new
function - DefaultUnknownEncodingHandler.

Based on a patch by Serhiy Storchaka.

Fix test_bad_address on Ubuntu 13.04

indicate that read/write work with bytes (closes #18009)

Issue #17953: document that sys.modules shouldn't be replaced (thanks
to interp->modules) and that deleting essential items from the dict
can cause Python to blow up.

Thanks to Terry Reedy for coming up with initial wording and Yogesh
Chaudhari for coming up with a patch using that wording in parallel to
my own patch.

Issue #17269: Workaround for a platform bug in getaddrinfo on OSX

Without this patch socket.getaddrinfo crashed when called
with some unusual argument combinations.

Fix #18007 : Document CookieJar.add_cookie_header request parameter changes in 3.3

Issue 17844: Clarify meaning of different codec tables

Issue #18031:  %-formatting isn't dead yet and might pull through.

Issue #17532: Always include Options menu for IDLE on OS X.
Patch by Guilherme Simões.

add test for inequality

Issue #16986: ElementTree now correctly parses a string input not only when
an internal XML encoding is UTF-8 or US-ASCII.