replace() uses unicode_fromascii() if the input and replace string is ASCII

unicode_fromascii() checks that the input is ASCII in debug mode

traceback: fix dump_ascii() for string with kind=PyUnicode_WCHAR_KIND

Merge from 3.2

Enable the only tests for sys.gettrace

Issue #13070: Fix a crash when a TextIOWrapper caught in a reference cycle
would be finalized after the reference to its underlying BufferedRWPair's
writer got cleared by the GC.

Issue13104 - Fix urllib.request.thishost() utility function.

Issue  #13073 - Address the review comments made by Ezio.

os.geteuid() may not be available...

Issue #11956: Always skip test_import.test_unwritable_directory when run as
root, since the semantics varies across Unix variants.

Issue #11956: Skip test_import.test_unwritable_directory on FreeBSD when run as
root (directory permissions are ignored).

Try to fix linking failures under Windows

Remove all other uses of the C tolower()/toupper() which could break with a Turkish locale.

Issue #13099: Fix sqlite3.Cursor.lastrowid under a Turkish locale.
Reported and diagnosed by Thomas Kluyver.

Add John to ACKS

Issue #13087: BufferedReader.seek() now always raises UnsupportedOperation
if the underlying raw stream is unseekable, even if the seek could be
satisfied using the internal buffer.  Patch by John O'Connor.

Start fixing test_bigmem:
- bigmemtest is replaced by precisionbigmemtest
- add a poor man's watchdog thread to print memory consumption

Issue #7689: Allow pickling of dynamically created classes when their
metaclass is registered with copyreg.  Patch by Nicolas M. Thiéry and
Craig Citro.

Issue #12881: ctypes: Fix segfault with large structure field names.

Fix a few ResourceWarnings in idle

Add asciilib: similar to ucs1, ucs2 and ucs4 library, but specialized to ASCII

ucs1, ucs2 and ucs4 libraries have to scan created substring to find the
maximum character, whereas it is not need to ASCII strings. Because ASCII
strings are common, it is useful to optimize ASCII.

Fix PyUnicode_Partition(): str_in->str_obj

Fix my_basename(): make the string ready

Issue #13070: Fix a crash when a TextIOWrapper caught in a reference cycle
would be finalized after the reference to its underlying BufferedRWPair's
writer got cleared by the GC.

Ensure that newly created strings use the most efficient store in debug mode

Document requierements of Unicode kinds

Replace PyUnicodeObject* with PyObject* where it was inappropriate

unicodeobject.c doesn't make output strings ready in debug mode

Try to only create non ready strings in debug mode to ensure that all functions
(not only in unicodeobject.c, everywhere) make input strings ready.

merge from 3.2.  Issue13104 - Fix urllib.request.thishost() utility function.

merge from 3.2. Issue  #13073 - Address the review comments made by Ezio.

More fixes.

More typoes.

Fix a few typos in the unicode header.

Fix grammar.

Speedup str[a:b:step] for step != 1

Try to stop the scanner of the maximum character before the end using a limit
depending on the kind (e.g. 256 for PyUnicode_2BYTE_KIND).

Speedup find_maxchar_surrogates() for 32-bit wchar_t

If we have at least one character in U+10000-U+10FFFF, we know that we must use
PyUnicode_4BYTE_KIND kind.

Speedup str[a:b] and PyUnicode_FromKindAndData

 * str[a:b] doesn't scan the string for the maximum character if the string
   is ascii only
 * PyUnicode_FromKindAndData() stops if we are sure that we cannot use a
   shorter character type. For example, _PyUnicode_FromUCS1() stops if we
   have at least one character in range U+0080-U+00FF

Speedup the ASCII decoder

It is faster for long string and a little bit faster for short strings,
benchmark on Linux 32 bits, Intel Core i5 @ 3.33GHz:

./python -m timeit 'x=b"a"' 'x.decode("ascii")'
./python -m timeit 'x=b"x"*80' 'x.decode("ascii")'
./python -m timeit 'x=b"abc"*4096' 'x.decode("ascii")'

length |   before   | after
-------+------------+-----------
     1 | 0.234 usec | 0.229 usec
    80 | 0.381 usec | 0.357 usec
12,288 |  11.2 usec |  3.01 usec

Fix text failures when ctypes is not available
(followup to Victor's 85d11cf67aa8 and 7a50e549bd11)

Merge.

os.geteuid() may not be available...

Fix usage og PyUnicode_READY()

_PyUnicode_READY_REPLACE() cannot be used in unicode_subtype_new()

Issue #11956: Always skip test_import.test_unwritable_directory when run as
root, since the semantics varies across Unix variants.

Add DONT_MAKE_RESULT_READY to unicodeobject.c to help detecting bugs

Use also _PyUnicode_READY_REPLACE() when it's applicable.

Add assertion to _Py_ReleaseInternedUnicodeStrings() if READY fails

Fix naïve heuristic in unicode slicing (followup to 1b4f886dc9e2)

Merge.

Issue #11956: Skip test_import.test_unwritable_directory on FreeBSD when run as
root (directory permissions are ignored).

Merge

Add a necessary call to PyUnicode_READY() (followup to ab5086539ab9)

Optimize string slicing to use the new API

#13054: fix usage of sys.maxunicode after PEP-393.

Also fix pickletester

An embarassing litle typo

When expandtabs() would be a no-op, don't create a duplicate string

Migrate test_bigmem to PEP 393-compliant size calculations (hopefully)

Migrate str.expandtabs to the new API

Try to fix linking failures under Windows

Remove all other uses of the C tolower()/toupper() which could break with a Turkish locale.

Issue #13099: Fix sqlite3.Cursor.lastrowid under a Turkish locale.
Reported and diagnosed by Thomas Kluyver.

Fix compilation error under Windows

Issue #13087: BufferedReader.seek() now always raises UnsupportedOperation
if the underlying raw stream is unseekable, even if the seek could be
satisfied using the internal buffer.  Patch by John OConnor.

Collect stats a bit more often

Use the faulthandler module's infrastructure to write a GIL-less
memory watchdog for timely stats collection.

Fix test failure

Start fixing test_bigmem:
- bigmemtest is replaced by precisionbigmemtest
- add a poor man's watchdog thread to print memory consumption

Issue #7689: Allow pickling of dynamically created classes when their
metaclass is registered with copyreg.  Patch by Nicolas M. Thiéry and
Craig Citro.

Issue #12881: ctypes: Fix segfault with large structure field names.

fix parens

fix formatting

fix compiler warnings

Complete documentation of compact ASCII strings

Move in-place Unicode append to its own subfunction

Reindent internal Unicode macros

Document utf8_length and wstr_length states

Ensure these states with assertions in _PyUnicode_CheckConsistency().

resize_inplace() sets utf8_length to zero if the utf8 is not shared8

Cleanup also the code.

PyUnicode_New() sets utf8_length to zero for latin1

Unicode: raise SystemError instead of ValueError or RuntimeError on invalid
state

Unicode: document when the wstr pointer is shared with data

Add also related assertions to _PyUnicode_CheckConsistency().

Add _PyUnicode_HAS_WSTR_MEMORY() macro

PyUnicode_Join() checks output length in debug mode

PyUnicode_CopyCharacters() may copies less character than requested size, if
the input string is smaller than the argument. (This is very unlikely, but who
knows!?)

Avoid also calling PyUnicode_CopyCharacters() if the string is empty.

Fix a compiler warning in PyUnicode_Append()

Don't check PyUnicode_CopyCharacters() in release mode. Rename also some
variables.

Improve string forms and PyUnicode_Resize() documentation

Remove also the FIXME for resize_copy(): as discussed with Martin, copy the
string on resize if the string is not resizable is just fine.

Simplify unicode_resizable(): singletons reference count is at least 2

Issue #13001: Fix test_socket.testRecvmsgTrunc failure on FreeBSD < 8, which
doesn't always set the MSG_TRUNC flag when a truncated datagram is received.

Introduce support.requires_freebsd_version decorator.

_PyUnicode_CheckConsistency() checks utf8 field consistency

unicode_subtype_new() copies also the ascii flag

unicode_kind_name() doesn't check consistency anymore

It is is called from _PyUnicode_Dump() and so must not fail.

PyUnicode_Ready() now sets ascii=1 if maxchar < 128

ascii=1 is no more reserved to PyASCIIObject. Use
PyUnicode_IS_COMPACT_ASCII(obj) to check if obj is a PyASCIIObject (as before).

Create _PyUnicode_READY_REPLACE() to reuse singleton

Only use _PyUnicode_READY_REPLACE() on just created strings.

Fix resize_compact() and resize_inplace(); reenable full resize optimizations

 * resize_compact() updates also wstr_len for non-ascii strings sharing wstr
 * resize_inplace() updates also utf8_len/wstr_len for strings sharing
   utf8/wstr

resize_inplace() has been fixed: reenable this optimization

_PyUnicode_Dump() indicates if wstr and/or utf8 are shared

Fix resize_inplace(): update shared utf8 pointer

Disable unicode_resize() optimization on Windows (16-bit wchar_t)

_PyUnicode_Ready() for 16-bit wchar_t

Fix compilation error on Windows

Fix also a compiler warning.

Document message_body arg in HTTPConnection.endheaders