Fix massive slowdown in string formatting with the % operator

Issue #7367: merge from 3.2

Issue #7367: add NEWS item.

merge from 3.2

Issue #7367: Fix pkgutil.walk_paths to skip directories whose
contents cannot be read.

Issue #7367: Add test case to test_pkgutil for walking path with
an unreadable directory.

Issue #7425: Refactor test_pydoc test case for '-k' behavior and add
new test cases for importing bad packages and unreadable packages dirs.

fix compiler warnings

Fix expected memory consumption for test_translate

Fix size estimate for test_unicode_repr

Fix test_splitlines to reach its size estimate

Make the formula for this estimate more explicit

Ensure that 1-char singletons get used

Fix size estimation for test_bigmem.StrTest.test_format

Fix the expected memory consumption for some tests

Issue #10141: Don't use hardcoded frame size in example, use struct.calcsize()

Issue #10141: socket: add SocketCAN (PF_CAN) support. Initial patch by Matthias
Fuchs, updated by Tiago Gonçalves.

Remove now duplicate code in _json.c; instead, reuse the new private lib

Issue #12911: Fix memory consumption when calculating the repr() of huge tuples or lists.

This introduces a small private API for this common pattern.
The issue has been discovered thanks to Martin's huge-mem buildbot.

Issue #12911: Fix memory consumption when calculating the repr() of huge tuples or lists.

This introduces a small private API for this common pattern.
The issue has been discovered thanks to Martin's huge-mem buildbot.

Fix PyUnicode_Join() for len==1 and non-exact string

Fix PyUnicode_CHARACTER_SIZE and PyUnicode_KIND_SIZE

Fix compilation warnings under 64-bit Windows

Fix compilation warnings under 64-bit Windows

Issue #3163: The struct module gets new format characters 'n' and 'N'
supporting C integer types `ssize_t` and `size_t`, respectively.

Fix compilation under Windows

Fix assertion in unicode_adjust_maxchar()

Merge 3.2

Branch merge

Branch merge

Fix my last change on PyUnicode_Join(): don't process separator if len==1

str.replace() avoids memory when it's possible

Fix return code of “pysetup run COMMAND” (closes #12222)

Minor: improve one test name, address pyflakes warnings

Add test that was promised in a comment but not actually written

Fix incorrect test.

The packaging.install.remove function (a.k.a. the uninstall feature)
takes a path argument to allow client code to use custom directories
instead of sys.path.  The test used to give self.root_dir as path, which
corresponds to a prefix option, but prefix is not on sys.path, it’s only
the base directory used to compute the stdlib and site-packages
directory paths.  The test now gives a valid site-packages path to the
function.

Change one name in packaging’s test_uninstall to avoid confusion.

install_lib may be the name of a module, a command or an option, so I
find it clearer to use site_packages to refer to a string object
containing the path of the site-packages directory created in a
temporary directory during tests.

_copy_characters() fails more quickly in debug mode on inconsistent state

Add regrtest check for caches in packaging.database (see #12167)

Fix find_module_path(): make the string ready

Fix a compiler warning: don't define unicode_is_singleton() in release mode

Fix _warnings.c: make the filename string ready

rephrase PyUnicode_1BYTE_KIND documentation

Don't check for the maximum character when copying from unicodeobject.c

 * Create copy_characters() function which doesn't check for the maximum
   character in release mode
 * _PyUnicode_CheckConsistency() is no more static to be able to use it
   in _PyUnicode_FormatAdvanced() (in formatter_unicode.c)
 * _PyUnicode_CheckConsistency() checks the string hash

Fix post-condition in unicode_repr(): check the result, not the input

replace() uses unicode_fromascii() if the input and replace string is ASCII

unicode_fromascii() checks that the input is ASCII in debug mode

traceback: fix dump_ascii() for string with kind=PyUnicode_WCHAR_KIND

Merge from 3.2

Enable the only tests for sys.gettrace

Issue #13070: Fix a crash when a TextIOWrapper caught in a reference cycle
would be finalized after the reference to its underlying BufferedRWPair's
writer got cleared by the GC.

Issue13104 - Fix urllib.request.thishost() utility function.

Issue  #13073 - Address the review comments made by Ezio.

Merge 3.2

Update skip message printed by test.support.get_attribute.

This helper was changed to work with any object instead of only modules
(or technically something with a __name__ attribute, see code in 3.2)
but the message stayed as is.

Cosmetic fixes for whitespace and a regex in packaging.

The goal of the regex is to catch a (alpha), b (beta), c or rc
(release candidate), so the existing pattern puzzled me. Tests were
OK before and after the change.

Add tests for comparing candidate and final versions in packaging (#11841).

This used to be buggy; Filip Gruszczyński contributed tests and a code
patch but the latter is not needed.

Fix typo and case in a recently added test

Fix markup used in the documentation of sys.prefix and sys.exec_prefix.

- Using the file role with {placeholders} is IMO clearer than fake
  Python code.

- The fact that sys.version[:3] gives '3.2' is a CPython detail and
  should not be advertised (see #9442), even if some stdlib modules
  currently rely on that detail.

Move doc of sys.dont_write_bytecode to make all attributes sorted again

Remove inline comment, no longer supported by configparser.

(Deleted rather than moved because multilib implementations vary.)

Fix typo

Fix minor wording issue.

sys.maxunicode is not called and thus does not return anything; it *is*
something.  (I checked the doc quickly to see if it tells that
expression return things but found nothing.)

I also removed markup that would just generate a useless link to the
enclosing section.

More info about PEP 393 in whatsnew and NEWS

Minor updates to the whatsnew maintenance rules

os.geteuid() may not be available...

Issue #11956: Always skip test_import.test_unwritable_directory when run as
root, since the semantics varies across Unix variants.

Issue #11956: Skip test_import.test_unwritable_directory on FreeBSD when run as
root (directory permissions are ignored).

Also fix pickletester

An embarassing litle typo

When expandtabs() would be a no-op, don't create a duplicate string

Migrate test_bigmem to PEP 393-compliant size calculations (hopefully)

Migrate str.expandtabs to the new API

Try to fix linking failures under Windows

Try to fix linking failures under Windows

Remove all other uses of the C tolower()/toupper() which could break with a Turkish locale.

Remove all other uses of the C tolower()/toupper() which could break with a Turkish locale.

Issue #13099: Fix sqlite3.Cursor.lastrowid under a Turkish locale.
Reported and diagnosed by Thomas Kluyver.

Issue #13099: Fix sqlite3.Cursor.lastrowid under a Turkish locale.
Reported and diagnosed by Thomas Kluyver.

Fix compilation error under Windows

Issue #13087: BufferedReader.seek() now always raises UnsupportedOperation
if the underlying raw stream is unseekable, even if the seek could be
satisfied using the internal buffer.  Patch by John OConnor.

Add John to ACKS

Issue #13087: BufferedReader.seek() now always raises UnsupportedOperation
if the underlying raw stream is unseekable, even if the seek could be
satisfied using the internal buffer.  Patch by John O'Connor.

Collect stats a bit more often

Use the faulthandler module's infrastructure to write a GIL-less
memory watchdog for timely stats collection.

Fix test failure

Start fixing test_bigmem:
- bigmemtest is replaced by precisionbigmemtest
- add a poor man's watchdog thread to print memory consumption

Start fixing test_bigmem:
- bigmemtest is replaced by precisionbigmemtest
- add a poor man's watchdog thread to print memory consumption

Issue #7689: Allow pickling of dynamically created classes when their
metaclass is registered with copyreg.  Patch by Nicolas M. Thiéry and
Craig Citro.

Issue #7689: Allow pickling of dynamically created classes when their
metaclass is registered with copyreg.  Patch by Nicolas M. Thiéry and
Craig Citro.

Issue #12881: ctypes: Fix segfault with large structure field names.

Issue #12881: ctypes: Fix segfault with large structure field names.

fix parens

fix formatting

fix compiler warnings

Complete documentation of compact ASCII strings

Move in-place Unicode append to its own subfunction

Reindent internal Unicode macros

Document utf8_length and wstr_length states

Ensure these states with assertions in _PyUnicode_CheckConsistency().

resize_inplace() sets utf8_length to zero if the utf8 is not shared8

Cleanup also the code.