Branch merge

Fix my last change on PyUnicode_Join(): don't process separator if len==1

str.replace() avoids memory when it's possible

Fix return code of “pysetup run COMMAND” (closes #12222)

Minor: improve one test name, address pyflakes warnings

Add test that was promised in a comment but not actually written

Fix incorrect test.

The packaging.install.remove function (a.k.a. the uninstall feature)
takes a path argument to allow client code to use custom directories
instead of sys.path.  The test used to give self.root_dir as path, which
corresponds to a prefix option, but prefix is not on sys.path, it’s only
the base directory used to compute the stdlib and site-packages
directory paths.  The test now gives a valid site-packages path to the
function.

Change one name in packaging’s test_uninstall to avoid confusion.

install_lib may be the name of a module, a command or an option, so I
find it clearer to use site_packages to refer to a string object
containing the path of the site-packages directory created in a
temporary directory during tests.

_copy_characters() fails more quickly in debug mode on inconsistent state

Add regrtest check for caches in packaging.database (see #12167)

Fix find_module_path(): make the string ready

Fix a compiler warning: don't define unicode_is_singleton() in release mode

Fix _warnings.c: make the filename string ready

rephrase PyUnicode_1BYTE_KIND documentation

Don't check for the maximum character when copying from unicodeobject.c

 * Create copy_characters() function which doesn't check for the maximum
   character in release mode
 * _PyUnicode_CheckConsistency() is no more static to be able to use it
   in _PyUnicode_FormatAdvanced() (in formatter_unicode.c)
 * _PyUnicode_CheckConsistency() checks the string hash

Fix post-condition in unicode_repr(): check the result, not the input

replace() uses unicode_fromascii() if the input and replace string is ASCII

unicode_fromascii() checks that the input is ASCII in debug mode

traceback: fix dump_ascii() for string with kind=PyUnicode_WCHAR_KIND

Merge from 3.2

Enable the only tests for sys.gettrace

Issue #13070: Fix a crash when a TextIOWrapper caught in a reference cycle
would be finalized after the reference to its underlying BufferedRWPair's
writer got cleared by the GC.

Issue13104 - Fix urllib.request.thishost() utility function.

Issue  #13073 - Address the review comments made by Ezio.

Merge 3.2

Update skip message printed by test.support.get_attribute.

This helper was changed to work with any object instead of only modules
(or technically something with a __name__ attribute, see code in 3.2)
but the message stayed as is.

Cosmetic fixes for whitespace and a regex in packaging.

The goal of the regex is to catch a (alpha), b (beta), c or rc
(release candidate), so the existing pattern puzzled me. Tests were
OK before and after the change.

Add tests for comparing candidate and final versions in packaging (#11841).

This used to be buggy; Filip Gruszczyński contributed tests and a code
patch but the latter is not needed.

Fix typo and case in a recently added test

Fix markup used in the documentation of sys.prefix and sys.exec_prefix.

- Using the file role with {placeholders} is IMO clearer than fake
  Python code.

- The fact that sys.version[:3] gives '3.2' is a CPython detail and
  should not be advertised (see #9442), even if some stdlib modules
  currently rely on that detail.

Move doc of sys.dont_write_bytecode to make all attributes sorted again

Remove inline comment, no longer supported by configparser.

(Deleted rather than moved because multilib implementations vary.)

Fix typo

Fix minor wording issue.

sys.maxunicode is not called and thus does not return anything; it *is*
something.  (I checked the doc quickly to see if it tells that
expression return things but found nothing.)

I also removed markup that would just generate a useless link to the
enclosing section.

More info about PEP 393 in whatsnew and NEWS

Minor updates to the whatsnew maintenance rules

os.geteuid() may not be available...

Issue #11956: Always skip test_import.test_unwritable_directory when run as
root, since the semantics varies across Unix variants.

Issue #11956: Skip test_import.test_unwritable_directory on FreeBSD when run as
root (directory permissions are ignored).

Also fix pickletester

An embarassing litle typo

When expandtabs() would be a no-op, don't create a duplicate string

Migrate test_bigmem to PEP 393-compliant size calculations (hopefully)

Migrate str.expandtabs to the new API

Try to fix linking failures under Windows

Try to fix linking failures under Windows

Remove all other uses of the C tolower()/toupper() which could break with a Turkish locale.

Remove all other uses of the C tolower()/toupper() which could break with a Turkish locale.

Issue #13099: Fix sqlite3.Cursor.lastrowid under a Turkish locale.
Reported and diagnosed by Thomas Kluyver.

Issue #13099: Fix sqlite3.Cursor.lastrowid under a Turkish locale.
Reported and diagnosed by Thomas Kluyver.

Fix compilation error under Windows

Issue #13087: BufferedReader.seek() now always raises UnsupportedOperation
if the underlying raw stream is unseekable, even if the seek could be
satisfied using the internal buffer.  Patch by John OConnor.

Add John to ACKS

Issue #13087: BufferedReader.seek() now always raises UnsupportedOperation
if the underlying raw stream is unseekable, even if the seek could be
satisfied using the internal buffer.  Patch by John O'Connor.

Collect stats a bit more often

Use the faulthandler module's infrastructure to write a GIL-less
memory watchdog for timely stats collection.

Fix test failure

Start fixing test_bigmem:
- bigmemtest is replaced by precisionbigmemtest
- add a poor man's watchdog thread to print memory consumption

Start fixing test_bigmem:
- bigmemtest is replaced by precisionbigmemtest
- add a poor man's watchdog thread to print memory consumption

Issue #7689: Allow pickling of dynamically created classes when their
metaclass is registered with copyreg.  Patch by Nicolas M. Thiéry and
Craig Citro.

Issue #7689: Allow pickling of dynamically created classes when their
metaclass is registered with copyreg.  Patch by Nicolas M. Thiéry and
Craig Citro.

Issue #12881: ctypes: Fix segfault with large structure field names.

Issue #12881: ctypes: Fix segfault with large structure field names.

fix parens

fix formatting

fix compiler warnings

Complete documentation of compact ASCII strings

Move in-place Unicode append to its own subfunction

Reindent internal Unicode macros

Document utf8_length and wstr_length states

Ensure these states with assertions in _PyUnicode_CheckConsistency().

resize_inplace() sets utf8_length to zero if the utf8 is not shared8

Cleanup also the code.

PyUnicode_New() sets utf8_length to zero for latin1

Unicode: raise SystemError instead of ValueError or RuntimeError on invalid
state

Unicode: document when the wstr pointer is shared with data

Add also related assertions to _PyUnicode_CheckConsistency().

Add _PyUnicode_HAS_WSTR_MEMORY() macro

PyUnicode_Join() checks output length in debug mode

PyUnicode_CopyCharacters() may copies less character than requested size, if
the input string is smaller than the argument. (This is very unlikely, but who
knows!?)

Avoid also calling PyUnicode_CopyCharacters() if the string is empty.

Fix a compiler warning in PyUnicode_Append()

Don't check PyUnicode_CopyCharacters() in release mode. Rename also some
variables.

Improve string forms and PyUnicode_Resize() documentation

Remove also the FIXME for resize_copy(): as discussed with Martin, copy the
string on resize if the string is not resizable is just fine.

Fix a few ResourceWarnings in idle

Add asciilib: similar to ucs1, ucs2 and ucs4 library, but specialized to ASCII

ucs1, ucs2 and ucs4 libraries have to scan created substring to find the
maximum character, whereas it is not need to ASCII strings. Because ASCII
strings are common, it is useful to optimize ASCII.

Fix PyUnicode_Partition(): str_in->str_obj

Fix my_basename(): make the string ready

Issue #13070: Fix a crash when a TextIOWrapper caught in a reference cycle
would be finalized after the reference to its underlying BufferedRWPair's
writer got cleared by the GC.

Ensure that newly created strings use the most efficient store in debug mode

Document requierements of Unicode kinds

Replace PyUnicodeObject* with PyObject* where it was inappropriate

unicodeobject.c doesn't make output strings ready in debug mode

Try to only create non ready strings in debug mode to ensure that all functions
(not only in unicodeobject.c, everywhere) make input strings ready.

merge from 3.2.  Issue13104 - Fix urllib.request.thishost() utility function.

merge from 3.2. Issue  #13073 - Address the review comments made by Ezio.

More fixes.

More typoes.

Fix a few typos in the unicode header.

Fix grammar.

Speedup str[a:b:step] for step != 1

Try to stop the scanner of the maximum character before the end using a limit
depending on the kind (e.g. 256 for PyUnicode_2BYTE_KIND).

Speedup find_maxchar_surrogates() for 32-bit wchar_t

If we have at least one character in U+10000-U+10FFFF, we know that we must use
PyUnicode_4BYTE_KIND kind.

Speedup str[a:b] and PyUnicode_FromKindAndData

 * str[a:b] doesn't scan the string for the maximum character if the string
   is ascii only
 * PyUnicode_FromKindAndData() stops if we are sure that we cannot use a
   shorter character type. For example, _PyUnicode_FromUCS1() stops if we
   have at least one character in range U+0080-U+00FF

Speedup the ASCII decoder

It is faster for long string and a little bit faster for short strings,
benchmark on Linux 32 bits, Intel Core i5 @ 3.33GHz:

./python -m timeit 'x=b"a"' 'x.decode("ascii")'
./python -m timeit 'x=b"x"*80' 'x.decode("ascii")'
./python -m timeit 'x=b"abc"*4096' 'x.decode("ascii")'

length |   before   | after
-------+------------+-----------
     1 | 0.234 usec | 0.229 usec
    80 | 0.381 usec | 0.357 usec
12,288 |  11.2 usec |  3.01 usec

Fix text failures when ctypes is not available
(followup to Victor's 85d11cf67aa8 and 7a50e549bd11)

Merge.

os.geteuid() may not be available...