merge heads

merge 3.4 (#24407)

merge 3.3 (#24407)

protect against mutation of the dict during insertion (closes #24407)

Issue #24330: merge from 3.4

Issue #24330: Update IDLE doc and help to note "Configure IDLE" difference
on OS X.  Original patch by André Freitas.

Merge: #24584: replace dead link with pointer to archive.org.

#24584: replace dead link with pointer to archive.org.

Ignore user environment/site-packages for ensurepip and compile_all
Remove build condition to prevent old strings hanging around
Add -h option to build.bat

Updates to the OS X installer for 3.5.0b3:
- update installer ReadMe file
- suppress installer per-file byte-compilation messages to system log
- speed up installer byte-compilation
- isolate ensurepip install from user site-packages

Issue #24432: Update OS X 10.5+ installer builds to use OpenSSL 1.0.2c.

Issue #24432: Update OS X 10.5+ installer builds to use OpenSSL 1.0.2c.

Issue #24432: Update Windows builds to use OpenSSL 1.0.2c.

Issue #24432: Update Windows builds to use OpenSSL 1.0.2c.

Issue #24400: Resurrect inspect.isawaitable()

collections.abc.Awaitable and collections.abc.Coroutine no longer
use __instancecheck__ hook to detect generator-based coroutines.

inspect.isawaitable() can be used to detect generator-based coroutines
and to distinguish them from regular generator objects.

Fixes warnings when building python3.dll due to the .def file accumulating multiple copies of each line.
Adds shebang line to prepare_ssl so it will run with py.exe.

Close #24458: PEP 489 documentation

Patch by Petr Viktorin.

Add a rudimentary test for StopAsyncIteration in test_exceptions.

Issue #19235: Add new RecursionError exception. Patch by Georg Brandl.

Merge 3.4 (Issue #24450)

Issue #24450: Proxy gi_yieldfrom & cr_await in asyncio.CoroWrapper

Issue #24450: Proxy cr_await and gi_yieldfrom in @types.coroutine

Issue #24450: Add gi_yieldfrom to generators; cr_await to coroutines.

Patch by Benno Leslie and Yury Selivanov.

merge 3.4

use correct __new__ method (closes #24552)

merge 3.4 (#24552)

fix use after free (closes #24552)

Issue #24543: Use AC_LINK instead of AC_COMPILE in order to prevent false
positives with the -flto option (gcc >= 4.9.0 and clang).

Merge with 3.4: Issue #24514: tarfile now tolerates number fields consisting of only whitespace.

Issue #24514: tarfile now tolerates number fields consisting of only whitespace.

Merge 3.4

remove stray '(' (closes #24547)

docs/conf: Undo changes in b2a3baa1c2b0; issue #24400

Issue #24400: Mention that __instancecheck__ is used in abc.Awaitable and Coroutine

Issue #24400: Add one more unittest for CoroutineType.__await__

merge in setuptools/pip update

Update setuptools to 18.0.1 and pip to 7.1.0

Issue #24487: Rename async() -> ensure_future() in asyncio docs.

Patch by Martin Panter.

Issue #24541: Drop test_inspect.test_eightteen unittest; update docs

Suggested by Martin Panter.

Issue #24541: Update comment in test_inspect.test_eightteen

Issue #24400: Fix failing unittest

Note removal of inspect.isawaitable() in the NEWS file

Issue #24400: Remove inspect.isawaitable().

isawaitable() was added before collections.abc.Awaitable; now,
with Awaitable, it is no longer needed (we don't have ishashable()
or isiterable() methods in the inspect module either).

test_coroutines: remove whitespace

Issue #24528: Improve error message for awaits in comprehensions

Issue #19176: Fixed doctype() related bugs in C implementation of ElementTree.
A deprecation warning no longer issued by XMLParser subclass with default
doctype() method.  Direct call of doctype() now issues a warning.  Parser's
doctype() now is not called if target's doctype() is called.  Based on patch
by Martin Panter.

Issue #19176: Fixed doctype() related bugs in C implementation of ElementTree.
A deprecation warning no longer issued by XMLParser subclass with default
doctype() method.  Direct call of doctype() now issues a warning.  Parser's
doctype() now is not called if target's doctype() is called.  Based on patch
by Martin Panter.

Issue #24467: Fixed possible buffer over-read in bytearray. The bytearray
object now always allocates place for trailing null byte and it's buffer now
is always null-terminated.

Issue #24467: Fixed possible buffer over-read in bytearray. The bytearray
object now always allocates place for trailing null byte and it's buffer now
is always null-terminated.

Issue #20387: Merge test and patch from 3.4.4

Issue #20387: Merge

Issue #24456: Fixed possible buffer over-read in adpcm2lin() and lin2adpcm()
functions of the audioop module.

Issue #24456: Fixed possible buffer over-read in adpcm2lin() and lin2adpcm()
functions of the audioop module.

Issue #20387: Merge patch and test

Issue #24336: The contextmanager decorator now works with functions with
keyword arguments called "func" and "self".  Patch by Martin Panter.

Issue #24336: The contextmanager decorator now works with functions with
keyword arguments called "func" and "self".  Patch by Martin Panter.

upgrade to Unicode 8.0.0

prevent integer overflow in escape_unicode (closes #24522)

merge 3.4

merge 3.3

add issue number

merge 3.4

merge 3.3

use safe allocation and reallocation macros

Issue #20387: Update Misc/NEWS

Issue #23684: Clarify the return value of the scheme attribute of ParseResult and SplitResult objects.

Patch by Martin Panter.

Issue #23684: Clarify the return value of the scheme attribute of ParseResult and SplitResult objects.

Patch by Martin Panter.

Merge 3.4 (issue #24509)

Issue #24509: Clarify Handle.cancel() and loop.call_* methods.

Merge 3.4

asyncio.docs: Use less confusing title

Issue #24439: Update tulip_coro.dia

Issue #24400, #24325: More tests for types._GeneratorWrapper

Also, make 'wrapped' and 'isgen' private.

Issue #24325, #24400: Add more unittests for types.coroutine; tweak wrapper implementation.

Issue #24439: Improve PEP 492 related docs.

Patch by Martin Panter.

Issue #24495, #24400: Test asyncio.Task.repr in debug mode

Fix asyncio unittests in debug mode

Fix asyncio unittests in debug mode

Issue #24400: Fix CoroWrapper for 'async def' coroutines

Issue #24400: Fix CoroWrapper for 'async def' coroutines

Merge 3.4

asyncio: Merge changes from issue #24400.

Closes #24244: Removes invalid test from test_time

docs.whatsnew: Update ref to tp_as_async

docs.capi: Fix tp_as_async doc

Issue #24489: ensure a previously set C errno doesn't disturb cmath.polar().

Issue #24489: ensure a previously set C errno doesn't disturb cmath.polar().

Issue #24400: Introduce a distinct type for 'async def' coroutines.

Summary of changes:

1. Coroutines now have a distinct, separate from generators
   type at the C level: PyGen_Type, and a new typedef PyCoroObject.
   PyCoroObject shares the initial segment of struct layout with
   PyGenObject, making it possible to reuse existing generators
   machinery.  The new type is exposed as 'types.CoroutineType'.

   As a consequence of having a new type, CO_GENERATOR flag is
   no longer applied to coroutines.

2. Having a separate type for coroutines made it possible to add
   an __await__ method to the type.  Although it is not used by the
   interpreter (see details on that below), it makes coroutines
   naturally (without using __instancecheck__) conform to
   collections.abc.Coroutine and collections.abc.Awaitable ABCs.

   [The __instancecheck__ is still used for generator-based
   coroutines, as we don't want to add __await__ for generators.]

3. Add new opcode: GET_YIELD_FROM_ITER.  The opcode is needed to
   allow passing native coroutines to the YIELD_FROM opcode.

   Before this change, 'yield from o' expression was compiled to:

      (o)
      GET_ITER
      LOAD_CONST
      YIELD_FROM

   Now, we use GET_YIELD_FROM_ITER instead of GET_ITER.

   The reason for adding a new opcode is that GET_ITER is used
   in some contexts (such as 'for .. in' loops) where passing
   a coroutine object is invalid.

4. Add two new introspection functions to the inspec module:
   getcoroutinestate(c) and getcoroutinelocals(c).

5. inspect.iscoroutine(o) is updated to test if 'o' is a native
   coroutine object.  Before this commit it used abc.Coroutine,
   and it was requested to update inspect.isgenerator(o) to use
   abc.Generator; it was decided, however, that inspect functions
   should really be tailored for checking for native types.

6. sys.set_coroutine_wrapper(w) API is updated to work with only
   native coroutines.  Since types.coroutine decorator supports
   any type of callables now, it would be confusing that it does
   not work for all types of coroutines.

7. Exceptions logic in generators C implementation was updated
   to raise clearer messages for coroutines:

   Before: TypeError("generator raised StopIteration")
   After: TypeError("coroutine raised StopIteration")

Issue #20387: Restore retention of indentation during untokenize.

Issue #20387: Correct test to properly capture expectation.

Fixed documentation of functions with const char* arguments.

Fixed documentation of functions with const char* arguments.

Added the const qualifier for char* argument of Py_EnterRecursiveCall().

Added the const qualifier for char* argument of Py_EnterRecursiveCall().

Issue #24436: Added const qualifiers for char* arguments of _PyTraceback_Add.
Patch by Michael Ensslin.

Issue #24436: Added const qualifiers for char* arguments of _PyTraceback_Add.
Patch by Michael Ensslin.

Issue #24408: Fixed test for tkinter.Font on OS X.
Based on patch by Martin Panter.

Issue #24408: Fixed test for tkinter.Font on OS X.
Based on patch by Martin Panter.

Issue #20387: Add test capturing failure to roundtrip indented code in tokenize module.

Remove unused import and remove doctest-only import into doctests.