Issue #29507: Update test_exceptions

test_unraisable() of test_exceptions expects that PyErr_WriteUnraisable(method)
fails on repr(method).

Before the previous change (7b8df4a5d81d), slot_tp_finalize() called
PyErr_WriteUnraisable() with a PyMethodObject. In this case, repr(method) calls
repr(self) which is BrokenRepr.__repr__() and the calls raises a new exception.

After the previous change, slot_tp_finalize() uses an unbound method: repr() is
called on a regular __del__() method which doesn't call repr(self). repr()
doesn't fail anymore.

PyErr_WriteUnraisable() doesn't call __repr__() anymore, so remove BrokenRepr
unit test.

Optimize slots: avoid temporary PyMethodObject

Issue #29507: Optimize slots calling Python methods. For Python methods, get
the unbound Python function and prepend arguments with self, rather than
calling the descriptor which creates a temporary PyMethodObject.

Add a new _PyObject_FastCall_Prepend() function used to call the unbound Python
method with self. It avoids the creation of a temporary tuple to pass
positional arguments.

Avoiding temporary PyMethodObject and avoiding temporary tuple makes Python
slots up to 1.46x faster. Microbenchmark on a __getitem__() method implemented
in Python:

Median +- std dev: 121 ns +- 5 ns -> 82.8 ns +- 1.0 ns: 1.46x faster (-31%)

Co-Authored-by: INADA Naoki <songofacandy@gmail.com>

Null merge

Issue #29513: Fix outdated comment and remove redundand code is os.scandir().

Issue #29513: Fixed a reference leak in os.scandir() added in issue #29034.

Merge issue #26355 fix from 3.6

Merge issue #26355 fix from Python 3.5

Issue #26355: Specify canonical URLs in docs pages

Add canonical header link on each page to corresponding major
version of the documentation.

Patch by Matthias Bussonnier.

Fix PyCFunction_Call() performance issue

Issue #29259, #29465: PyCFunction_Call() doesn't create anymore a redundant
tuple to pass positional arguments for METH_VARARGS.

Add a new cfunction_call() subfunction.

support: temp_dir() and change_cwd() uses repr() in error message

Serhiy Storshaka pointed me that str(path) can emit a BytesWarning: use
repr(path) instead.

Fix refleaks if Py_EnterRecursiveCall() fails

Issue #29306: Destroy argstuple and kwdict if Py_EnterRecursiveCall() fails.

Fix regrtest -j0 -R output

Write also dots into stderr, instead of stdout.

Update test_support for my temp_dir/change_cwd changes

support: add more info on temp_dir() and change_cwd() failure

Log the OSError exception message.

Issue #29306: Fix usage of Py_EnterRecursiveCall()

* *PyCFunction_*Call*() functions now call Py_EnterRecursiveCall().
* PyObject_Call() now calls directly _PyFunction_FastCallDict() and
  PyCFunction_Call() to avoid calling Py_EnterRecursiveCall() twice per
  function call

Issue #29441: Merge from 3.6

Issue #29441: Merge from 3.5

Issue #29441: Update examples to use async and await keywords in asyncio-task.rst

Issue #29314: Merge with 3.6

Issue #29314: Merge with 3.5

Issue #29314: Set the stacklevel to two in asyncio.async() Deprecation Warning

Issue #29371: merge with 3.6

Issue #29371: merge with 3.5

Issue #29371: Clarify bitwise OR operation in doctest option flags.

Issue #28164: Improves test on Windows 7

Issue #28164: Improves test on Windows 7

Includes ensurepip and venv packages in nuget package.

Includes ensurepip and venv packages in nuget package.

Includes ensurepip and venv packages in nuget package.

merge

Substitute a more readable f-string

Optimize deque index, insert and rotate() methods

Issue #29452: Use METH_FASTCALL calling convention for index(), insert() and
rotate() methods of collections.deque to avoid the creation a temporary tuple
to pass position arguments. Speedup on deque methods:

* d.rotate(): 1.10x faster
* d.rotate(1): 1.24x faster
* d.insert(): 1.18x faster
* d.index(): 1.24x faster

Prohibit implicit C function declarations

Issue #27659: use -Werror=implicit-function-declaration when possible (GCC and
Clang, but it depends on the compiler version).

Patch written by Chi Hsuan Yen.

regrtest: don't fail immediately if a child does crash

Issue #29362: Catch a crash of a worker process as a normal failure and
continue to run next tests. It allows to get the usual test summary: single
line result (OK/FAIL), total duration, etc.

Merge from 3.6

Fix usage of data directive

Issue #29460: _PyArg_NoKeywords(), _PyArg_NoStackKeywords() and
_PyArg_NoPositional() now are macros.

Issue #29405: Make total calculation in _guess_delimiter more accurate.

Issue #20186: Regenerated Argument Clinic.

Merge from 3.6

Adds precheck for console filename to fix Windows 7.

Issue #28489: Merge from 3.6

Issue #28489: Fix comment in tokenizer.c

Patch by Ryan Gonzalez.

Merge from 3.6

Updates test_winconsoleio to better show the source of its issues.

Issue #29319: Prevent RunMainFromImporter overwriting sys.path[0].

Issue #29319: Prevent RunMainFromImporter overwriting sys.path[0].

Issue #29319: Prevent RunMainFromImporter overwriting sys.path[0].

Issue #29326: Ignores blank lines in ._pth files (Patch by Alexey Izbyshev)

Issue #29326: Ignores blank lines in ._pth files (Patch by Alexey Izbyshev)

Merge issue #28164 and issue #29409

Issue #28164: Correctly handle special console filenames (patch by Eryk Sun)

Issue #29392: Prevent crash when passing invalid arguments into msvcrt module.

Issue #29392: Prevent crash when passing invalid arguments into msvcrt module.

Issue #29392: Prevent crash when passing invalid arguments into msvcrt module.

Issue #29416: Prevent infinite loop in pathlib.Path.mkdir

Issue #29416: Prevent infinite loop in pathlib.Path.mkdir

Issue #29416: Prevent infinite loop in pathlib.Path.mkdir

Issue #29409: Implement PEP 529 for io.FileIO (Patch by Eryk Sun)

Issue #29444: Fixed out-of-bounds buffer access in the group() method of
the match object.  Based on patch by WGH.

Issue #29444: Fixed out-of-bounds buffer access in the group() method of
the match object.  Based on patch by WGH.

Issue #29444: Fixed out-of-bounds buffer access in the group() method of
the match object.  Based on patch by WGH.

Merge 3.6.

Issue29439: _decimal on Android requires linking with libm.
Patch by Chi Hsuan Yen.

Reduce load factor (from 66% to 60%) to improve effectiveness of linear probing.
Decreased density gives better collision statistics (average of 2.5 probes in a
full table versus 3.0 previously) and fewer occurences of starting a second
possibly overlapping sequence of 10 linear probes.  Makes resizes a little more
frequent but each with less work (fewer insertions and fewer collisions).

Issue #20186: Converted the tracemalloc module to Argument Clinic.
Based on patch by Georg Brandl.

Issue #20186: Converted the symtable module to Argument Clinic.
Original patch by Georg Brandl.

Removed redundant Argument Clinic directives.

Issue #20185: Converted the gc module to Argument Clinic.

Issue #29300: Use Argument Clinic for getting struct object from the format.

Issue #27867: Silenced may-be-used-uninitialized warnings after
using PySlice_GetIndicesEx() in debug builds.

Issue #27867: Silenced may-be-used-uninitialized warnings after
using PySlice_GetIndicesEx() in debug builds.

Issue #27867: Silenced may-be-used-uninitialized warnings after
using PySlice_GetIndicesEx() in debug builds.

Issue #29198: Merge from 3.6

Issue #29198: Merge from 3.5

Issue #29198: Fix indentation and markup in typing.rst

Patch by Jelle Zijlstra.

Issue #29198: Merge from 3.6

Issue #29198: Merge from 3.5

Issue #29198: Document typing.AsyncGenerator

Patch by Jelle Zijlstra.

Issue #29311: Regenerate Argument Clinic.

null merge

Issue #29263: LOAD_METHOD support for C methods

Calling builtin method is at most 10% faster.

Closes #29213: Merged fix from 3.6.

Fixes #29213: merged fix from 3.5.

Fixes #29213: regularised EOLs of venv scripts.

Closes #24875: Merged fix from 3.6.

Fixes #24875: Merged fix from 3.5.

Fixes #24875: pip can now be installed in a venv with --system-site-packages.

Remove unnecessary variables.
* so->used never gets changed during a resize
* so->filled only changes when dummies are present and being eliminated

Issue #29421: Make int.to_bytes() and int.from_bytes() slightly faster
(10-20% for small integers).

Rename struct.unpack() 2nd parameter to "buffer"

Issue #29300: Rename struct.unpack() second parameter from "inputstr" to
"buffer", and use the Py_buffer type.

Fix also unit tests on struct.unpack() which passed a Unicode string instead of
a bytes string as struct.unpack() second parameter. The purpose of
test_trailing_counter() is to test invalid format strings, not to test the
buffer parameter.

Null merge 3.6

Merge 3.5

Issue #29300: test_struct tests unpack_from() with keywords

Add an unit test on the _struct.Struct.unpack_from() method to test passing
arguments as keywords.

Issue #29300: Convert _struct module to Argument Clinic

* The struct module now requires contiguous buffers.
* Convert most functions and methods of the _struct module to Argument Clinic
* Use "Py_buffer" type for the "buffer" argument. Argument Clinic is
  responsible to create and release the Py_buffer object.
* Use "PyStructObject *" type for self to avoid explicit conversions.
* Add an unit test on the _struct.Struct.unpack_from() method to test passing
  arguments as keywords.
* Rephrase docstrings.
* Rename "fmt" argument to "format" in docstrings and the documentation.

As a side effect, functions and methods which used METH_VARARGS calling
convention like struct.pack() now use the METH_FASTCALL calling convention
which avoids the creation of temporary tuple to pass positional arguments and
so is faster. For example, struct.pack("i", 1) becomes 1.56x faster (-36%)::

    $ ./python -m perf timeit \
        -s 'import struct; pack=struct.pack' 'pack("i", 1)' \
        --compare-to=../default-ref/python
    Median +- std dev: 119 ns +- 1 ns -> 76.8 ns +- 0.4 ns: 1.56x faster (-36%)
    Significant (t=295.91)

Patch co-written with Serhiy Storchaka.

Issue #29368: Fix _Pickle_FastCall() usage in do_append()

_Pickle_FastCall() has a surprising API: it decrements the reference counter of
its second argument.

Issue #29368: The extend() method is now called instead of the append()
method when unpickle collections.deque and other list-like objects.
This can speed up unpickling to 2 times.

Issue #29381: merge with 3.6

Issue #29381: Clarify ordering of UNIX shebang line as source encoding line

Backed out changeset 3d712292f2fa