Improve string forms and PyUnicode_Resize() documentation

Remove also the FIXME for resize_copy(): as discussed with Martin, copy the
string on resize if the string is not resizable is just fine.

Simplify unicode_resizable(): singletons reference count is at least 2

Issue #13001: Fix test_socket.testRecvmsgTrunc failure on FreeBSD < 8, which
doesn't always set the MSG_TRUNC flag when a truncated datagram is received.

Introduce support.requires_freebsd_version decorator.

_PyUnicode_CheckConsistency() checks utf8 field consistency

unicode_subtype_new() copies also the ascii flag

unicode_kind_name() doesn't check consistency anymore

It is is called from _PyUnicode_Dump() and so must not fail.

PyUnicode_Ready() now sets ascii=1 if maxchar < 128

ascii=1 is no more reserved to PyASCIIObject. Use
PyUnicode_IS_COMPACT_ASCII(obj) to check if obj is a PyASCIIObject (as before).

Create _PyUnicode_READY_REPLACE() to reuse singleton

Only use _PyUnicode_READY_REPLACE() on just created strings.

Fix resize_compact() and resize_inplace(); reenable full resize optimizations

 * resize_compact() updates also wstr_len for non-ascii strings sharing wstr
 * resize_inplace() updates also utf8_len/wstr_len for strings sharing
   utf8/wstr

resize_inplace() has been fixed: reenable this optimization

_PyUnicode_Dump() indicates if wstr and/or utf8 are shared

Fix resize_inplace(): update shared utf8 pointer

Disable unicode_resize() optimization on Windows (16-bit wchar_t)

_PyUnicode_Ready() for 16-bit wchar_t

Fix compilation error on Windows

Fix also a compiler warning.

ceval.c: restore str+=str optimization

Use PyUnicode_WCHAR_KIND to check if a string is a wstr string

Simplify the test in wstr pointer in unicode_sizeof().

Add _PyUnicode_CheckConsistency() macro to help debugging

 * Document Unicode string states
 * Use _PyUnicode_CheckConsistency() to ensure that objects are always
   consistent.

In release mode, PyUnicode_InternInPlace() does nothing if the input is NULL or
not a unicode, instead of failing with a fatal error.

Use assertions in debug mode (provide better error messages).

PyUnicode_Append() now works in-place when it's possible

Rewrite PyUnicode_Resize()

 * Rename _PyUnicode_Resize() to unicode_resize()
 * unicode_resize() creates a copy if the string cannot be resized instead
   of failing
 * Optimize resize_copy() for wstr strings
 * Disable temporary resize_inplace()

Add _PyUnicode_HAS_UTF8_MEMORY() macro

PyUnicode_READ_CHAR() ensures that the string is ready

Write _PyUnicode_Dump() to help debugging

PyUnicode_CopyCharacters() fails when copying latin1 into ascii

unicode_convert_wchar_to_ucs4() cannot fail

Add _PyUnicode_DATA_ANY(op) private macro

unicode_empty and unicode_latin1 are PyObject* objects, not PyUnicodeObject*

Check error when calling PyUnicode_AppendAndDel()

PyCodec_ReplaceErrors() uses "C" format instead of "u#" to build result

merge from 3.2 -  Document message_body arg in HTTPConnection.endheaders

Document message_body arg in HTTPConnection.endheaders

Fix ResourceWarnings in the TIPC socket tests.

Fix ResourceWarnings in the TIPC socket tests.

merge heads

remove unused label

Issue #13084: Fix a test_signal failure: the delivery order is only defined for
real-time signals.

#13076: merge with 3.2.

#13076: fix links to datetime.time and datetime.datetime.

PyUnicode_FindChar() raises a IndexError on invalid index

Optimize _PyUnicode_AsKind() for UCS1->UCS4 and UCS2->UCS4

 * Ensure that the input string is ready
 * Raise a ValueError instead of of a fatal error

Use Py_UCS1 instead of unsigned char in unicodeobject.h

Fix usage of PyUnicode_READY() in PyUnicode_GetLength()

PyUnicode_WriteChar() raises IndexError on invalid index

PyUnicode_WriteChar() raises also a ValueError if the string has more than 1
reference.

PyUnicode_ReadChar() raises a IndexError if the index in invalid

unicode_getitem() reuses PyUnicode_ReadChar()

PyUnicode_FromKindAndData() raises a ValueError if the kind is unknown

merge #4147: minidom's toprettyxml no longer adds whitespace to text nodes.

#4147: minidom's toprettyxml no longer adds whitespace to text nodes.

Patch by Dan Kenigsberg.

Issue #13034: When decoding some SSL certificates, the subjectAltName extension could be unreported.

Issue #13034: When decoding some SSL certificates, the subjectAltName extension could be unreported.

Optimize unicode_subtype_new(): don't encode to wchar_t and decode from wchar_t

Rewrite unicode_subtype_new(): allocate directly the right type.

Add _PyUnicode_UTF8() and _PyUnicode_UTF8_LENGTH() macros

 * Rename existing _PyUnicode_UTF8() macro to PyUnicode_UTF8()
 * Rename existing _PyUnicode_UTF8_LENGTH() macro to PyUnicode_UTF8_LENGTH()
 * PyUnicode_UTF8() and PyUnicode_UTF8_LENGTH() are more strict

Backout of changeset 228fd2bd83a5 by Nadeem Vawda in branch 'default':
Issue #12804: Prevent "make test" from using network resources.

Issue 13085: Fix some memory leaks. Patch by Stefan Krah.

merge heads

remove reference to non-existent file

PyUnicode_Substring() now accepts end bigger than string length

Fix also a bug: call PyUnicode_READY() before reading string length.

_PyUnicode_AsKind() is *not* part of the stable ABI

remove "fast-path" for (i)adding strings

These were just an artifact of the old unicode concatenation hack and likely
just penalized other kinds of adding. Also, this fixes __(i)add__ on string
subclasses.

Ooops, avoid a division by zero in unicode_repeat()

PyUnicode_FromObject() ensures that its output is a ready string

I want a super fast 'a' * n!

 * Optimize unicode_repeat() for a special case with memset()
 * Simplify integer overflow checking; remove the second check because
   PyUnicode_New() already does it and uses a smaller limit (Py_ssize_t vs
   size_t)

PyUnicode_CHARACTER_SIZE(): add a reference to PyUnicode_KIND_SIZE()

Fix usage of PyUnicode_READY in unicodeobject.c

Remove private substring() function, reuse public PyUnicode_Substring()

 * PyUnicode_Substring() now fails if start or end is invalid
 * PyUnicode_Substring() reuses PyUnicode_Copy() for non-exact strings

Optimize PyUnicode_Copy(): don't recompute maximum character

Remove commented code: str+=str is no more super-optimized

PyUnicode_FromObject() reuses PyUnicode_Copy()

 * PyUnicode_Copy() is faster than substring()
 * Fix also a compiler warning

pyexat uses the new Unicode API

Fix ResourceWarnings in makeunicodedata.py.

Add PyUnicode_Copy() function, include it to the public API

PyUnicode_CopyCharacters() uses exceptions instead of assertions

Call PyErr_BadInternalCall() if inputs are not unicode strings.

Fix a compiler warning

Fix array.array('u') constructor

posix module catches PyUnicode_AsUnicode() failure

 * Replace PyUnicode_AS_UNICODE by PyUnicode_AsUnicode, PyUnicode_AS_UNICODE is
   no more a real macro
 * Replace Py_UNICODE by wchar_t in code specific to Windows

array module uses the new Unicode API

 * Use Py_UCS4* buffer instead of Py_UNICODE*
 * Use "I" or "L" format, instead of "u" format

array module stores the typecode in a char, instead of Py_UNICODE

raw_unicode_escape() uses the new Unicode API

Strip trailing spaces of _pickle.c

PyLocale_strxfrm() uses the new Unicode API

fileio_init() checks for failure on conversion to Py_UNICODE*

Fix test_codeccallbacks for Windows: check size of wchar_t, not sys.maxunicode

Fix test_codecs for Windows: check size of wchar_t, not sys.maxunicode

Merge.

Issue #13058: ossaudiodev: fix a file descriptor leak on error. Patch by Thomas
Jarosch.

Issue #13058: ossaudiodev: fix a file descriptor leak on error. Patch by Thomas
Jarosch.

_PyUnicode_Ready() cannot be used on ready strings anymore

 * Change its prototype: PyObject* instead of PyUnicodeoObject*.
 * Remove an old assertion, the result of PyUnicode_READY (_PyUnicode_Ready)
   must be checked instead

Move _PyUnicode_UTF8() and _PyUnicode_UTF8_LENGTH() outside unicodeobject.h

Move these macros to unicodeobject.c

Add a note in PyUnicode_CopyCharacters() doc: it doesn't write null character

Cleanup also the code (avoid the goto).

Re-enable test.

Port normalization to new API.

Rename Py_BUILD_ASSERT to Py_BUILD_ASSERT_EXPR

To make it clearer that Py_BUILD_ASSERT_EXPR(cond) cannot be used as
assert(cond).

pymacro.h: Inline _Py_ARRAY_LENGTH_CHECK() and add http://ccodearchive.net/

Merge heads.

Update and reorganize the whatsnew entry for PEP 393.

Fix hex_digit_to_int() prototype: expect Py_UCS4, not Py_UNICODE

modsupport.c reuses Py_UNICODE_strlen()

Remove now useless redefinition of chr/ord for narrow builds in test_multibytecodec_support.py.

_io.textio: fix character type, use Py_UCS4 instead of Py_UNICODE