merge from 3.2. Issue  #13073 - Address the review comments made by Ezio.

Issue  #13073 - Address the review comments made by Ezio.

More fixes.

More typoes.

Fix a few typos in the unicode header.

Fix grammar.

Speedup str[a:b:step] for step != 1

Try to stop the scanner of the maximum character before the end using a limit
depending on the kind (e.g. 256 for PyUnicode_2BYTE_KIND).

Speedup find_maxchar_surrogates() for 32-bit wchar_t

If we have at least one character in U+10000-U+10FFFF, we know that we must use
PyUnicode_4BYTE_KIND kind.

Speedup str[a:b] and PyUnicode_FromKindAndData

 * str[a:b] doesn't scan the string for the maximum character if the string
   is ascii only
 * PyUnicode_FromKindAndData() stops if we are sure that we cannot use a
   shorter character type. For example, _PyUnicode_FromUCS1() stops if we
   have at least one character in range U+0080-U+00FF

Speedup the ASCII decoder

It is faster for long string and a little bit faster for short strings,
benchmark on Linux 32 bits, Intel Core i5 @ 3.33GHz:

./python -m timeit 'x=b"a"' 'x.decode("ascii")'
./python -m timeit 'x=b"x"*80' 'x.decode("ascii")'
./python -m timeit 'x=b"abc"*4096' 'x.decode("ascii")'

length |   before   | after
-------+------------+-----------
     1 | 0.234 usec | 0.229 usec
    80 | 0.381 usec | 0.357 usec
12,288 |  11.2 usec |  3.01 usec

Fix text failures when ctypes is not available
(followup to Victor's 85d11cf67aa8 and 7a50e549bd11)

Merge.

os.geteuid() may not be available...

os.geteuid() may not be available...

Fix usage og PyUnicode_READY()

_PyUnicode_READY_REPLACE() cannot be used in unicode_subtype_new()

Issue #11956: Always skip test_import.test_unwritable_directory when run as
root, since the semantics varies across Unix variants.

Issue #11956: Always skip test_import.test_unwritable_directory when run as
root, since the semantics varies across Unix variants.

Add DONT_MAKE_RESULT_READY to unicodeobject.c to help detecting bugs

Use also _PyUnicode_READY_REPLACE() when it's applicable.

Add assertion to _Py_ReleaseInternedUnicodeStrings() if READY fails

Fix naïve heuristic in unicode slicing (followup to 1b4f886dc9e2)

Merge.

Issue #11956: Skip test_import.test_unwritable_directory on FreeBSD when run as
root (directory permissions are ignored).

Issue #11956: Skip test_import.test_unwritable_directory on FreeBSD when run as
root (directory permissions are ignored).

Merge

Add a necessary call to PyUnicode_READY() (followup to ab5086539ab9)

Optimize string slicing to use the new API

#13054: fix usage of sys.maxunicode after PEP-393.

Also fix pickletester

An embarassing litle typo

When expandtabs() would be a no-op, don't create a duplicate string

Migrate test_bigmem to PEP 393-compliant size calculations (hopefully)

Migrate str.expandtabs to the new API

Try to fix linking failures under Windows

Try to fix linking failures under Windows

Remove all other uses of the C tolower()/toupper() which could break with a Turkish locale.

Remove all other uses of the C tolower()/toupper() which could break with a Turkish locale.

Issue #13099: Fix sqlite3.Cursor.lastrowid under a Turkish locale.
Reported and diagnosed by Thomas Kluyver.

Issue #13099: Fix sqlite3.Cursor.lastrowid under a Turkish locale.
Reported and diagnosed by Thomas Kluyver.

Fix compilation error under Windows

Issue #13087: BufferedReader.seek() now always raises UnsupportedOperation
if the underlying raw stream is unseekable, even if the seek could be
satisfied using the internal buffer.  Patch by John OConnor.

Add John to ACKS

Issue #13087: BufferedReader.seek() now always raises UnsupportedOperation
if the underlying raw stream is unseekable, even if the seek could be
satisfied using the internal buffer.  Patch by John O'Connor.

Collect stats a bit more often

Use the faulthandler module's infrastructure to write a GIL-less
memory watchdog for timely stats collection.

Fix test failure

Start fixing test_bigmem:
- bigmemtest is replaced by precisionbigmemtest
- add a poor man's watchdog thread to print memory consumption

Start fixing test_bigmem:
- bigmemtest is replaced by precisionbigmemtest
- add a poor man's watchdog thread to print memory consumption

Issue #7689: Allow pickling of dynamically created classes when their
metaclass is registered with copyreg.  Patch by Nicolas M. Thiéry and
Craig Citro.

Issue #7689: Allow pickling of dynamically created classes when their
metaclass is registered with copyreg.  Patch by Nicolas M. Thiéry and
Craig Citro.

Issue #12881: ctypes: Fix segfault with large structure field names.

Issue #12881: ctypes: Fix segfault with large structure field names.

fix parens

fix formatting

fix compiler warnings

Complete documentation of compact ASCII strings

Move in-place Unicode append to its own subfunction

Reindent internal Unicode macros

Document utf8_length and wstr_length states

Ensure these states with assertions in _PyUnicode_CheckConsistency().

resize_inplace() sets utf8_length to zero if the utf8 is not shared8

Cleanup also the code.

PyUnicode_New() sets utf8_length to zero for latin1

Unicode: raise SystemError instead of ValueError or RuntimeError on invalid
state

Unicode: document when the wstr pointer is shared with data

Add also related assertions to _PyUnicode_CheckConsistency().

Add _PyUnicode_HAS_WSTR_MEMORY() macro

PyUnicode_Join() checks output length in debug mode

PyUnicode_CopyCharacters() may copies less character than requested size, if
the input string is smaller than the argument. (This is very unlikely, but who
knows!?)

Avoid also calling PyUnicode_CopyCharacters() if the string is empty.

Fix a compiler warning in PyUnicode_Append()

Don't check PyUnicode_CopyCharacters() in release mode. Rename also some
variables.

Improve string forms and PyUnicode_Resize() documentation

Remove also the FIXME for resize_copy(): as discussed with Martin, copy the
string on resize if the string is not resizable is just fine.

Simplify unicode_resizable(): singletons reference count is at least 2

Issue #13001: Fix test_socket.testRecvmsgTrunc failure on FreeBSD < 8, which
doesn't always set the MSG_TRUNC flag when a truncated datagram is received.

Introduce support.requires_freebsd_version decorator.

_PyUnicode_CheckConsistency() checks utf8 field consistency

unicode_subtype_new() copies also the ascii flag

unicode_kind_name() doesn't check consistency anymore

It is is called from _PyUnicode_Dump() and so must not fail.

PyUnicode_Ready() now sets ascii=1 if maxchar < 128

ascii=1 is no more reserved to PyASCIIObject. Use
PyUnicode_IS_COMPACT_ASCII(obj) to check if obj is a PyASCIIObject (as before).

Create _PyUnicode_READY_REPLACE() to reuse singleton

Only use _PyUnicode_READY_REPLACE() on just created strings.

Fix resize_compact() and resize_inplace(); reenable full resize optimizations

 * resize_compact() updates also wstr_len for non-ascii strings sharing wstr
 * resize_inplace() updates also utf8_len/wstr_len for strings sharing
   utf8/wstr

resize_inplace() has been fixed: reenable this optimization

_PyUnicode_Dump() indicates if wstr and/or utf8 are shared

Fix resize_inplace(): update shared utf8 pointer

Disable unicode_resize() optimization on Windows (16-bit wchar_t)

_PyUnicode_Ready() for 16-bit wchar_t

Fix compilation error on Windows

Fix also a compiler warning.

Document message_body arg in HTTPConnection.endheaders

Fix ResourceWarnings in the TIPC socket tests.

ceval.c: restore str+=str optimization

Use PyUnicode_WCHAR_KIND to check if a string is a wstr string

Simplify the test in wstr pointer in unicode_sizeof().

Add _PyUnicode_CheckConsistency() macro to help debugging

 * Document Unicode string states
 * Use _PyUnicode_CheckConsistency() to ensure that objects are always
   consistent.

In release mode, PyUnicode_InternInPlace() does nothing if the input is NULL or
not a unicode, instead of failing with a fatal error.

Use assertions in debug mode (provide better error messages).

PyUnicode_Append() now works in-place when it's possible

Rewrite PyUnicode_Resize()

 * Rename _PyUnicode_Resize() to unicode_resize()
 * unicode_resize() creates a copy if the string cannot be resized instead
   of failing
 * Optimize resize_copy() for wstr strings
 * Disable temporary resize_inplace()

Add _PyUnicode_HAS_UTF8_MEMORY() macro

PyUnicode_READ_CHAR() ensures that the string is ready

Write _PyUnicode_Dump() to help debugging

PyUnicode_CopyCharacters() fails when copying latin1 into ascii

unicode_convert_wchar_to_ucs4() cannot fail

Add _PyUnicode_DATA_ANY(op) private macro

unicode_empty and unicode_latin1 are PyObject* objects, not PyUnicodeObject*

Check error when calling PyUnicode_AppendAndDel()

PyCodec_ReplaceErrors() uses "C" format instead of "u#" to build result

merge from 3.2 -  Document message_body arg in HTTPConnection.endheaders