bpo-34739: Get rid of tp_getattro in xml.etree.ElementTree.XMLParser. (GH-9420)

Use tp_members and tp_getset instead.

closes bpo-34869: Remove LDLAST. (GH-9667)

bpo-34872: Fix self-cancellation in C implementation of asyncio.Task (GH-9679)

The C implementation of asyncio.Task currently fails to perform the
cancellation cleanup correctly in the following scenario.

    async def task1():
        async def task2():
            await task3     # task3 is never cancelled

        asyncio.current_task().cancel()
        await asyncio.create_task(task2())

The actuall error is a hardcoded call to `future_cancel()` instead of
calling the `cancel()` method of a future-like object.

Thanks to Vladimir Matveev for noticing the code discrepancy and to
Yury Selivanov for coming up with a pathological scenario.

bpo-34879: Fix a possible null pointer dereference in bytesobject.c (GH-9683)

formatfloat() was not checking if PyBytes_FromStringAndSize()
failed, which could lead to a null pointer dereference in
_PyBytes_FormatEx().

Make it clear that the msg argument to assertWarns/assertWarnsRegex/assertRaisesRegex is keyword-only. (GH-9680)

A follow up to be4e5b89204283a62e369439025f00362d0424f6.

bpo-34172: multiprocessing.Pool leaks resources after being deleted (GH-8450)

Fix a reference issue inside multiprocessing.Pool that caused the pool to remain alive if it was deleted without being closed or terminated explicitly.

bpo-34728: Fix asyncio tests to run under "-Werror" (GH-9661)

Remove recent from logging cookbook (GH-9636)

closes bpo-34862: Guard definition of convert_sched_param with POSIX_SPAWN_SETSCHEDULER. (GH-9658)

Fixes broken build on OpenBSD-current.

Make it clear that the msg argument to assertRaises is keyword-only. (GH-9670)

closes bpo-34868: Improve error message with '_' is combined with an invalid type specifier. (GH-9666)

bpo-31865: Fix a couple of typos in the html.unescape() docs. (GH-9662)

bpo-30167: Add test for module.__cached__ is None (GH-7617)

bpo-34476: Document that asyncio.sleep() always suspends. (#9643)

bpo-30156: Remove property_descr_get() optimization (GH-9541)

property_descr_get() uses a "cached" tuple to optimize function
calls. But this tuple can be discovered in debug mode with
sys.getobjects(). Remove the optimization, it's not really worth it
and it causes 3 different crashes last years.

Microbenchmark:

./python -m perf timeit -v \
    -s "from collections import namedtuple; P = namedtuple('P', 'x y'); p = P(1, 2)" \
    --duplicate 1024 "p.x"

Result:

Mean +- std dev: [ref] 32.8 ns +- 0.8 ns -> [patch] 40.4 ns +- 1.3 ns: 1.23x slower (+23%)

Fix name of argument in docs for functools.reduce(). (#9634)

bpo-34850: Replace is with == in idlelib.iomenu (GH-9649)

Patch by Serhiy Storchaka (in PR #9642).

bpo-34854: Fix compiling string annotations containing lambdas. (GH-9645)

* Compiling a string annotation containing a lambda with keyword-only
argument without default value caused a crash.

* Remove the final "*" (it is incorrect syntax) in the representation of
lambda without *args and keyword-only arguments when compile from AST.

* Improve the representation of lambda without arguments.

bpo-34849: Don't log wating for selector.select in asyncio loop iteration (GH-9641)

The waiting is pretty normal for any asyncio program, logging its time just adds
a noise to logs without any useful information provided.

https://bugs.python.org/issue34849

Speed-up math.dist() by 30% (GH-9628)

bpo-27351: Fix ConfigParser.read() documentation and docstring (GH-8123)

Switch "list" with "iterable" to match with the implementation.

bpo-31370: Remove references to threadless builds (#8805)

Support for threadless builds was removed in a6a4dc81.

Fix astuple in dataclasses documentation (GH-9631)

Fix incorrect error handling in _pickle.Unpickler.__init__() (GH-9630)

_pickle.Unpickler.__init__() should return -1 if Pdata_New() fails, not 1.

bpo-34797: Convert heapq to the argument clinic (GH-9560)

bpo-34687: Update asyncio doc for ProactorEventLoop (GH-9623)

Since ProactorEventLoop is now the default in 3.8, remove examples
using it explicitly on Windows.

https://bugs.python.org/issue34687

bpo-34521: Fix tests in test_multiprocessing_spawn to use correctly CMSG_SPACE (GH-9613)

After some failures in AMD64 FreeBSD CURRENT Debug 3.x buildbots
regarding tests in test_multiprocessing_spawn and after examining
similar failures in test_socket, some errors in the calculation of
ancillary data buffers were found in multiprocessing.reduction.

CMSG_LEN() can often be used as the buffer size for recvmsg() to
receive a single item of ancillary data, but RFC 3542 requires portable
applications to use CMSG_SPACE() and thus include space for padding,
even when the item will be the last in the buffer.

The failures we experience are due to the usage of CMSG_LEN() instead of
CMSG_SPACE().

bpo-34736: improve error message for invalid length b64decode inputs (GH-9563)

Improvements:
1. Include the number of valid data characters in the error message.
2. Mention "number of data characters" rather than "length".

https://bugs.python.org/issue34736

bpo-34248: Add filename to error raised in {gnu,ndbm}.open() (GH-8590)

Report the filename to the exception when raising {gdbm,dbm.ndbm}.error in
dbm.gnu.open() and dbm.ndbm.open() functions, so it gets printed when the
exception is raised, and can also be obtained by the filename attribute of the
exception object.

bpo-34802: Fix asyncio.iscoroutine() docs (GH-9611)

bpo-34762: Update PyContext* to PyObject* in asyncio and decimal (GH-9609)

This fixes various compiler warnings.

bpo-32892: Use ast.Constant instead of specific constant AST types. (GH-9445)

bpo-34819: Use a monotonic clock to compute timeouts in concurrent.futures (GH-9599)

Use a monotonic clock to compute timeouts in :meth:`Executor.map` and :func:`as_completed`, in order to prevent timeouts from deviating when the system clock is adjusted.

This may not be sufficient on all systems. On POSIX for example, the actual waiting (e.g. in ``sem_timedwait``) is specified to rely on the CLOCK_REALTIME clock.

Fix tests in test_socket to use correctly CMSG_LEN (GH-9594)

After some failures in AMD64 FreeBSD CURRENT Debug 3.x buildbots
regarding tests in test_socket that are using
testFDPassSeparateMinSpace(), FreeBDS revision 337423 was pointed
out to be the reason the test started to fail.

A close examination of the manpage for cmsg_space(3) reveals that
the number of file descriptors needs to be taken into account when
using CMSG_LEN().

This commit fixes tests in test_socket to use correctly CMSG_LEN, taking
into account the number of FDs.

bpo-31425: fix versionadded in docs and add attribution in NEWS (GH-9595)

Clarify that Type[SomeTypeVar] is legal (#9585)

Currently, the docs state that when doing `Type[X]`, X is only allowed to
be a class, a union of classes, and Any. This pull request amends
that sentence to clarify X may also be a typevar (or a union involving
classes, Any, and TypeVars).

bpo-31425: Expose AF_QIPCRTR in socket module (GH-3706)

The AF_QIPCRTR address family was introduced in Linux v4.7.

Co-authored-by: Bjorn Andersson <bjorn.andersson@linaro.org>

bpo-34320: Fix dict(o) didn't copy order of dict subclass (GH-8624)

When dict subclass overrides order (`__iter__()`, `keys()`, and `items()`), `dict(o)`
should use it instead of dict ordering.

https://bugs.python.org/issue34320

bpo-34334: Don't log traceback twice in QueueHandler (GH-9537)

asyncio/docs: Replace Python 4.0 -> 3.10 (GH-9579)

bpo-5950: Support reading zips with comments in zipimport (#9548)

* bpo-5950: Support reading zips with comments in zipimport

bpo-34790: [docs] Passing coroutines to asyncio.wait() can be confusing. (GH-9543)

bpo-34162: idlelib/NEWS.txt entry for squeezer (GH-9573)

bpo-1529353: IDLE - Squeezer What's New for 3.8 (#9572)

bpo-1529353: IDLE - Squeezer What's New for 3.7.1 (#9568)

bpo-1529353: IDLE: Squeezer What's New for 3.6.7 (#9567)

bpo-33937: Catch ENOMEM error in test_socket (#9557)

Fix test_socket.SendmsgSCTPStreamTest: catch ENOMEM error.
testSendmsgTimeout() and testSendmsgDontWait() randomly fail on
Travis CI with: "OSError: [Errno 12] Cannot allocate memory".

bpo-34687: Make asynico use ProactorEventLoop by default (GH-9538)

bpo-32557: allow shutil.disk_usage to take a file path on Windows also (GH-9372)

https://bugs.python.org/issue32557

bpo-1529353: IDLE: squeeze large output in the shell (GH-7626)

Improved the more elaborate multiprocessing example in the logging cookbook (GH-9326)

bpo-34770: Fix a possible null pointer dereference in pyshellext.cpp (GH-9497)

The GlobalLock() call in UpdateDropDescription() was not checked for
failure.

https://bugs.python.org/issue34770

Fix wrong exception reference: BrokenThreadPool -> BrokenProcessPool (GH-9533)

bpo-34162: Update idlelib/NEWS.txt to 2018-9-24. (GH-9551)

bpo-34162: Add entry for idlelib/NEWS.txt already included for 3.6/3.7 (GH-9549)

bpo-34683: Make SyntaxError column offsets consistently 1-indexed (gh-9338)

Also point to start of tokens in parsing errors.

Fixes bpo-34683

bpo-34791: xml package obeys ignore env flags (GH-9544)

The xml.sax and xml.dom.domreg modules now obey
sys.flags.ignore_environment.

Signed-off-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue34791

bpo-34783: Add test_cmd_line_script.test_nonexisting_script() (GH-9535)

Make sure that "./python script.py" does not crash if the script
file doesn't exist.

bpo-34582: Fixes Python version used for patch check (GH-9532)

https://bugs.python.org/issue34582

Update Azure Pipelines badge (GH-9529)

bpo-34582: Update syntax of Azure Pipelines builds (GH-9521)

bpo-24937: Replace the extension module porting HOWTO by links to external projects (GH-9317)

bpo-34728: Remove deprecate *loop* argument in asyncio.sleep (GH-9415)

* Insert the warn in the asyncio.sleep when the loop argument is used

* Insert the warn in the asyncio.wait and asyncio.wait_for when the loop argument is used

* Better format of the code

* Add news file

* change calls for get_event_loop() to calls for get_running_loop()

* Change message to be more clear in News

* Improve the comments in test_tasks

Migrate datetime.date.fromtimestamp to Argument Clinic (GH-8535)

bpo-34659: Adds initial kwarg to itertools.accumulate() (GH-9345)

bpo-34548: IDLE: use configured theme colors in TextView (GH-9008)

https://bugs.python.org/issue34548

Use in-memory streams instead of NamedTemporaryFile. (GH-9508)

bpo-17239: Disable external entities in SAX parser (GH-9217)

The SAX parser no longer processes general external entities by default
to increase security. Before, the parser created network connections
to fetch remote files or loaded local files from the file system for DTD
and entities.

Signed-off-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue17239

bpo-34670: Add TLS 1.3 post handshake auth (GH-9460)

Add SSLContext.post_handshake_auth and
SSLSocket.verify_client_post_handshake for TLS 1.3 post-handshake
authentication.

Signed-off-by: Christian Heimes <christian@python.org>q
https://bugs.python.org/issue34670

bpo-34421: Improve distutils logging for non-ASCII strings. (GH-9126)

Use "backslashreplace" instead of "unicode-escape".  It is not
implementation depended and escapes only non-encodable characters.

Also simplify the code.

bpo-32117: Iterable unpacking in return and yield documentation (GH-9487)

News entry clean up, added to what's new

Requested by @gvanrossum in https://github.com/python/cpython/pull/4509

https://bugs.python.org/issue32117

Fix pickletools doc for NEWFALSE. (GH-9432)

Also make docs for NEWFALSE and NEWTRUE more consistent
with docs for other opcodes.

bpo-34759: Fix error handling in ssl 'unwrap()' (GH-9468)

OpenSSL follows the convention that whenever you call a function, it
returns an error indicator value; and if this value is negative, then
you need to go look at the actual error code to see what happened.

Commit c6fd1c1c3a introduced a small mistake in
_ssl__SSLSocket_shutdown_impl: instead of checking whether the error
indicator was negative, it started checking whether the actual error
code was negative, and it turns out that the error codes are never
negative. So the effect was that 'unwrap()' lost the ability to raise
SSL errors.

https://bugs.python.org/issue34759

bpo-34623: Mention CVE-2018-14647 in news entry (GH-9482)

https://bugs.python.org/issue34623

bpo-29577: Enum: mixin classes don't mix well with already mixed Enums (GH-9328)

* bpo-29577: allow multiple mixin classes

bpo-32117: Allow tuple unpacking in return and yield statements (gh-4509)

Iterable unpacking is now allowed without parentheses in yield and return
statements, e.g. ``yield 1, 2, 3, *rest``. Thanks to David Cuthbert for the
change and jChapman for added tests.

bpo-34537: Fix test_gdb:test_strings with LC_ALL=C (GH-9483)

We cannot simply call locale.getpreferredencoding() here,
as GDB might have been linked against a different version
of Python with a different encoding and coercion policy
with respect to PEP 538 and PEP 540.

Thanks to Victor Stinner for a hint on how to fix this.

bpo-32718: Make Activate.ps1 for venv cross-platform and available on all platforms (GH-9321)

PowerShell Core 6.1 is the cross-platform port of Windows PowerShell. This change updates Activate.ps1 to not make Windows assumptions as well as installing it into the bin/Scripts directory on all operating systems.

Requires PowerShell Core 6.1 for proper readline support once the shell has been activated for the virtual environment.

bpo-33649: Fix gather() docs; fix title; few other nits. (GH-9475)

Make docs of exitcode for subprocess.getstatusoutput more clear. (GH-9477)

Make it more accurate and not limited to UNIX.

bpo-34762: Fix contextvars C API to use PyObject* pointer types. (GH-9473)

Minor performance tweak for deque.index() with a start argument (GH-9440)

bpo-34755: Add few minor optimizations in _asynciomodule.c. (GH-9455)

bpo-34735: Fix a memory leak in Modules/timemodule.c (GH-9418)

There was a missing PyMem_Free(format) in time_strftime().

Simplify PyInit_timezone. (GH-9467)

Reduce the knotty preprocessor conditional logic, dedent unnecessarily nested
code, and handle errors properly.

The first edition of this change (afde1c1a05cc8a1e8adf6403c451f6708509a605)
failed (bpo-34715) because FreeBSD doesn't define the timezone globals. That's
why we're now checking for HAVE_DECL_TZNAME.

closes bpo-34656: Avoid relying on signed overflow in _pickle memos. (GH-9261)

bpo-34011: Fixes missing venv files and other tests (GH-9458)

bpo-34754: Fix test_flush_return_value on FreeBSD (GH-9451)

Apparently, FreeBSD doesn't raise OSError when offset is
not a multiple of mmap.PAGESIZE.

bpo-33649: More improvements (GH-9439)

bpo-19756: Prevent test failures due to EADDRNOTAVAIL (GH-9446)

bpo-34743: Fix test_database_source_name under SQLite 3.7.9 (GH-9426)

bpo-32215: Fix performance regression in sqlite3 (GH-8511)

bpo-34746: Fix stop -> close (GH-9437)

Enables test result collection for CI builds (GH-9433)

Revert "bpo-34589: Add -X coerce_c_locale command line option (GH-9378)" (GH-9430)

* Revert "bpo-34589: Add -X coerce_c_locale command line option (GH-9378)"

This reverts commit dbdee0073cf0b88fe541980ace1f650900f455cc.

* Revert "bpo-34589: C locale coercion off by default (GH-9073)"

This reverts commit 7a0791b6992d420dc52536257f2f093851ed7215.

* Revert "bpo-34589: Make _PyCoreConfig.coerce_c_locale private (GH-9371)"

This reverts commit 188ebfa475a6f6aa2d0ea14ca8e1fbe7865b6d27.

Ignores failure to update lists (GH-9424)

bpo-25711: Remove outdated zipimport tests. (GH-9404)

They were specific to the C implementation.

bpo-34712: Fix style in examples in "Input and Output" (GH-9361)

A couple of fixes here to make this more PEP-8:

* Avoid multiple statements on one line with `;` statement separator -- this is very rare in Python and is "generally discouraged" in PEP 8 (and if used, per PEP 8 there shouldn't be a space before the `;`)
* Add output for the first "Formatted String Literals" example. (Side note: are the doctests for this being run? If so, why didn't it fail?)
* Avoid space before `!r`. I have generally not seen spaces before the `!`, and this also matches the style used in the docs here: https://docs.python.org/3/library/string.html#format-string-syntax

https://bugs.python.org/issue34712

bpo-34125: Enable profiling of method_descriptor in all cases (GH-8416)

`list.append([], None)` was profiled but `list.append([], None, **{})` was not profiled.
Enable profiling for later case.

https://bugs.python.org/issue34125

run autoconf (GH-9411)

Follow up to 2a9c3805ddedf282881ef7811a561c70b74f80b1 (bpo-34585).