Fix astuple in dataclasses documentation (GH-9631)

Fix incorrect error handling in _pickle.Unpickler.__init__() (GH-9630)

_pickle.Unpickler.__init__() should return -1 if Pdata_New() fails, not 1.

bpo-34797: Convert heapq to the argument clinic (GH-9560)

bpo-34687: Update asyncio doc for ProactorEventLoop (GH-9623)

Since ProactorEventLoop is now the default in 3.8, remove examples
using it explicitly on Windows.

https://bugs.python.org/issue34687

bpo-34521: Fix tests in test_multiprocessing_spawn to use correctly CMSG_SPACE (GH-9613)

After some failures in AMD64 FreeBSD CURRENT Debug 3.x buildbots
regarding tests in test_multiprocessing_spawn and after examining
similar failures in test_socket, some errors in the calculation of
ancillary data buffers were found in multiprocessing.reduction.

CMSG_LEN() can often be used as the buffer size for recvmsg() to
receive a single item of ancillary data, but RFC 3542 requires portable
applications to use CMSG_SPACE() and thus include space for padding,
even when the item will be the last in the buffer.

The failures we experience are due to the usage of CMSG_LEN() instead of
CMSG_SPACE().

bpo-34736: improve error message for invalid length b64decode inputs (GH-9563)

Improvements:
1. Include the number of valid data characters in the error message.
2. Mention "number of data characters" rather than "length".

https://bugs.python.org/issue34736

bpo-34248: Add filename to error raised in {gnu,ndbm}.open() (GH-8590)

Report the filename to the exception when raising {gdbm,dbm.ndbm}.error in
dbm.gnu.open() and dbm.ndbm.open() functions, so it gets printed when the
exception is raised, and can also be obtained by the filename attribute of the
exception object.

bpo-34802: Fix asyncio.iscoroutine() docs (GH-9611)

bpo-34762: Update PyContext* to PyObject* in asyncio and decimal (GH-9609)

This fixes various compiler warnings.

bpo-32892: Use ast.Constant instead of specific constant AST types. (GH-9445)

bpo-34819: Use a monotonic clock to compute timeouts in concurrent.futures (GH-9599)

Use a monotonic clock to compute timeouts in :meth:`Executor.map` and :func:`as_completed`, in order to prevent timeouts from deviating when the system clock is adjusted.

This may not be sufficient on all systems. On POSIX for example, the actual waiting (e.g. in ``sem_timedwait``) is specified to rely on the CLOCK_REALTIME clock.

Fix tests in test_socket to use correctly CMSG_LEN (GH-9594)

After some failures in AMD64 FreeBSD CURRENT Debug 3.x buildbots
regarding tests in test_socket that are using
testFDPassSeparateMinSpace(), FreeBDS revision 337423 was pointed
out to be the reason the test started to fail.

A close examination of the manpage for cmsg_space(3) reveals that
the number of file descriptors needs to be taken into account when
using CMSG_LEN().

This commit fixes tests in test_socket to use correctly CMSG_LEN, taking
into account the number of FDs.

bpo-31425: fix versionadded in docs and add attribution in NEWS (GH-9595)

Clarify that Type[SomeTypeVar] is legal (#9585)

Currently, the docs state that when doing `Type[X]`, X is only allowed to
be a class, a union of classes, and Any. This pull request amends
that sentence to clarify X may also be a typevar (or a union involving
classes, Any, and TypeVars).

bpo-31425: Expose AF_QIPCRTR in socket module (GH-3706)

The AF_QIPCRTR address family was introduced in Linux v4.7.

Co-authored-by: Bjorn Andersson <bjorn.andersson@linaro.org>

bpo-34320: Fix dict(o) didn't copy order of dict subclass (GH-8624)

When dict subclass overrides order (`__iter__()`, `keys()`, and `items()`), `dict(o)`
should use it instead of dict ordering.

https://bugs.python.org/issue34320

bpo-34334: Don't log traceback twice in QueueHandler (GH-9537)

asyncio/docs: Replace Python 4.0 -> 3.10 (GH-9579)

bpo-5950: Support reading zips with comments in zipimport (#9548)

* bpo-5950: Support reading zips with comments in zipimport

bpo-34790: [docs] Passing coroutines to asyncio.wait() can be confusing. (GH-9543)

bpo-34162: idlelib/NEWS.txt entry for squeezer (GH-9573)

bpo-1529353: IDLE - Squeezer What's New for 3.8 (#9572)

bpo-1529353: IDLE - Squeezer What's New for 3.7.1 (#9568)

bpo-1529353: IDLE: Squeezer What's New for 3.6.7 (#9567)

bpo-33937: Catch ENOMEM error in test_socket (#9557)

Fix test_socket.SendmsgSCTPStreamTest: catch ENOMEM error.
testSendmsgTimeout() and testSendmsgDontWait() randomly fail on
Travis CI with: "OSError: [Errno 12] Cannot allocate memory".

bpo-34687: Make asynico use ProactorEventLoop by default (GH-9538)

bpo-32557: allow shutil.disk_usage to take a file path on Windows also (GH-9372)

https://bugs.python.org/issue32557

bpo-1529353: IDLE: squeeze large output in the shell (GH-7626)

Improved the more elaborate multiprocessing example in the logging cookbook (GH-9326)

bpo-34770: Fix a possible null pointer dereference in pyshellext.cpp (GH-9497)

The GlobalLock() call in UpdateDropDescription() was not checked for
failure.

https://bugs.python.org/issue34770

Fix wrong exception reference: BrokenThreadPool -> BrokenProcessPool (GH-9533)

bpo-34162: Update idlelib/NEWS.txt to 2018-9-24. (GH-9551)

bpo-34162: Add entry for idlelib/NEWS.txt already included for 3.6/3.7 (GH-9549)

bpo-34683: Make SyntaxError column offsets consistently 1-indexed (gh-9338)

Also point to start of tokens in parsing errors.

Fixes bpo-34683

bpo-34791: xml package obeys ignore env flags (GH-9544)

The xml.sax and xml.dom.domreg modules now obey
sys.flags.ignore_environment.

Signed-off-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue34791

bpo-34783: Add test_cmd_line_script.test_nonexisting_script() (GH-9535)

Make sure that "./python script.py" does not crash if the script
file doesn't exist.

bpo-34582: Fixes Python version used for patch check (GH-9532)

https://bugs.python.org/issue34582

Update Azure Pipelines badge (GH-9529)

bpo-34582: Update syntax of Azure Pipelines builds (GH-9521)

bpo-24937: Replace the extension module porting HOWTO by links to external projects (GH-9317)

bpo-34728: Remove deprecate *loop* argument in asyncio.sleep (GH-9415)

* Insert the warn in the asyncio.sleep when the loop argument is used

* Insert the warn in the asyncio.wait and asyncio.wait_for when the loop argument is used

* Better format of the code

* Add news file

* change calls for get_event_loop() to calls for get_running_loop()

* Change message to be more clear in News

* Improve the comments in test_tasks

Migrate datetime.date.fromtimestamp to Argument Clinic (GH-8535)

bpo-34659: Adds initial kwarg to itertools.accumulate() (GH-9345)

bpo-34548: IDLE: use configured theme colors in TextView (GH-9008)

https://bugs.python.org/issue34548

Use in-memory streams instead of NamedTemporaryFile. (GH-9508)

bpo-17239: Disable external entities in SAX parser (GH-9217)

The SAX parser no longer processes general external entities by default
to increase security. Before, the parser created network connections
to fetch remote files or loaded local files from the file system for DTD
and entities.

Signed-off-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue17239

bpo-34670: Add TLS 1.3 post handshake auth (GH-9460)

Add SSLContext.post_handshake_auth and
SSLSocket.verify_client_post_handshake for TLS 1.3 post-handshake
authentication.

Signed-off-by: Christian Heimes <christian@python.org>q
https://bugs.python.org/issue34670

bpo-34421: Improve distutils logging for non-ASCII strings. (GH-9126)

Use "backslashreplace" instead of "unicode-escape".  It is not
implementation depended and escapes only non-encodable characters.

Also simplify the code.

bpo-32117: Iterable unpacking in return and yield documentation (GH-9487)

News entry clean up, added to what's new

Requested by @gvanrossum in https://github.com/python/cpython/pull/4509

https://bugs.python.org/issue32117

Fix pickletools doc for NEWFALSE. (GH-9432)

Also make docs for NEWFALSE and NEWTRUE more consistent
with docs for other opcodes.

bpo-34759: Fix error handling in ssl 'unwrap()' (GH-9468)

OpenSSL follows the convention that whenever you call a function, it
returns an error indicator value; and if this value is negative, then
you need to go look at the actual error code to see what happened.

Commit c6fd1c1c3a introduced a small mistake in
_ssl__SSLSocket_shutdown_impl: instead of checking whether the error
indicator was negative, it started checking whether the actual error
code was negative, and it turns out that the error codes are never
negative. So the effect was that 'unwrap()' lost the ability to raise
SSL errors.

https://bugs.python.org/issue34759

bpo-34623: Mention CVE-2018-14647 in news entry (GH-9482)

https://bugs.python.org/issue34623

bpo-29577: Enum: mixin classes don't mix well with already mixed Enums (GH-9328)

* bpo-29577: allow multiple mixin classes

bpo-32117: Allow tuple unpacking in return and yield statements (gh-4509)

Iterable unpacking is now allowed without parentheses in yield and return
statements, e.g. ``yield 1, 2, 3, *rest``. Thanks to David Cuthbert for the
change and jChapman for added tests.

bpo-34537: Fix test_gdb:test_strings with LC_ALL=C (GH-9483)

We cannot simply call locale.getpreferredencoding() here,
as GDB might have been linked against a different version
of Python with a different encoding and coercion policy
with respect to PEP 538 and PEP 540.

Thanks to Victor Stinner for a hint on how to fix this.

bpo-32718: Make Activate.ps1 for venv cross-platform and available on all platforms (GH-9321)

PowerShell Core 6.1 is the cross-platform port of Windows PowerShell. This change updates Activate.ps1 to not make Windows assumptions as well as installing it into the bin/Scripts directory on all operating systems.

Requires PowerShell Core 6.1 for proper readline support once the shell has been activated for the virtual environment.

bpo-33649: Fix gather() docs; fix title; few other nits. (GH-9475)

Make docs of exitcode for subprocess.getstatusoutput more clear. (GH-9477)

Make it more accurate and not limited to UNIX.

bpo-34762: Fix contextvars C API to use PyObject* pointer types. (GH-9473)

Minor performance tweak for deque.index() with a start argument (GH-9440)

bpo-34755: Add few minor optimizations in _asynciomodule.c. (GH-9455)

bpo-34735: Fix a memory leak in Modules/timemodule.c (GH-9418)

There was a missing PyMem_Free(format) in time_strftime().

Simplify PyInit_timezone. (GH-9467)

Reduce the knotty preprocessor conditional logic, dedent unnecessarily nested
code, and handle errors properly.

The first edition of this change (afde1c1a05cc8a1e8adf6403c451f6708509a605)
failed (bpo-34715) because FreeBSD doesn't define the timezone globals. That's
why we're now checking for HAVE_DECL_TZNAME.

closes bpo-34656: Avoid relying on signed overflow in _pickle memos. (GH-9261)

bpo-34011: Fixes missing venv files and other tests (GH-9458)

bpo-34754: Fix test_flush_return_value on FreeBSD (GH-9451)

Apparently, FreeBSD doesn't raise OSError when offset is
not a multiple of mmap.PAGESIZE.

bpo-33649: More improvements (GH-9439)

bpo-19756: Prevent test failures due to EADDRNOTAVAIL (GH-9446)

bpo-34743: Fix test_database_source_name under SQLite 3.7.9 (GH-9426)

bpo-32215: Fix performance regression in sqlite3 (GH-8511)

bpo-34746: Fix stop -> close (GH-9437)

Enables test result collection for CI builds (GH-9433)

Revert "bpo-34589: Add -X coerce_c_locale command line option (GH-9378)" (GH-9430)

* Revert "bpo-34589: Add -X coerce_c_locale command line option (GH-9378)"

This reverts commit dbdee0073cf0b88fe541980ace1f650900f455cc.

* Revert "bpo-34589: C locale coercion off by default (GH-9073)"

This reverts commit 7a0791b6992d420dc52536257f2f093851ed7215.

* Revert "bpo-34589: Make _PyCoreConfig.coerce_c_locale private (GH-9371)"

This reverts commit 188ebfa475a6f6aa2d0ea14ca8e1fbe7865b6d27.

Ignores failure to update lists (GH-9424)

bpo-25711: Remove outdated zipimport tests. (GH-9404)

They were specific to the C implementation.

bpo-34712: Fix style in examples in "Input and Output" (GH-9361)

A couple of fixes here to make this more PEP-8:

* Avoid multiple statements on one line with `;` statement separator -- this is very rare in Python and is "generally discouraged" in PEP 8 (and if used, per PEP 8 there shouldn't be a space before the `;`)
* Add output for the first "Formatted String Literals" example. (Side note: are the doctests for this being run? If so, why didn't it fail?)
* Avoid space before `!r`. I have generally not seen spaces before the `!`, and this also matches the style used in the docs here: https://docs.python.org/3/library/string.html#format-string-syntax

https://bugs.python.org/issue34712

bpo-34125: Enable profiling of method_descriptor in all cases (GH-8416)

`list.append([], None)` was profiled but `list.append([], None, **{})` was not profiled.
Enable profiling for later case.

https://bugs.python.org/issue34125

run autoconf (GH-9411)

Follow up to 2a9c3805ddedf282881ef7811a561c70b74f80b1 (bpo-34585).

bpo-25711: Move _ZipImportResourceReader from importlib to zipimport. (GH-9406)

closes bpo-34585: Don't do runtime test to get float byte order. (GH-9085)

Currently configure.ac uses AC_RUN_IFELSE to determine the byte order of doubles, but this silently fails under cross compilation and Python doesn't do floats properly.

Instead, steal a macro from autoconf-archive which compiles code using magic doubles (which encode to ASCII) and grep for the representation in the binary.

RFC because this doesn't yet handle the weird ancient ARMv4 OABI 'mixed-endian' encoding properly. This encoding is ancient and I don't believe the union of "Python 3.8 users" and "OABI users" has anything in. Should the support for this just be dropped too? Alternatively, someone will need to find an OABI toolchain to verify the encoding of the magic double.

bpo-33649: Add a high-level section about Futures; few quick fixes (GH-9403)

Co-authored-by: Elvis Pranskevichus <elvis@magic.io>

Clarify that AsyncExitStack works with coroutine functions (GH-9405)

The docs were ambiguous about whether you pass in a coroutine function
or a coroutine object, e.g. is it:

  aestack.push_async_exit(some_async_func)

or

  aestack.push_async_exit(some_async_func())

(It's the first one.)

bpo-25711: Rewrite zipimport in pure Python. (GH-6809)

bpo-34472: Add data descriptor signature to zipfile (GH-8871)

This makes streamed zips compatible with MacOS Archive Utility and
other applications.

bpo-34582: Adds JUnit XML output for regression tests (GH-9210)

bpo-34623: Use XML_SetHashSalt in _elementtree (GH-9146)

The C accelerated _elementtree module now initializes hash randomization
salt from _Py_HashSecret instead of libexpat's default CPRNG.

Signed-off-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue34623

 bpo-33721: Make some os.path functions and pathlib.Path methods be tolerant to invalid paths.  (#7695)

Such functions as os.path.exists(), os.path.lexists(), os.path.isdir(),
os.path.isfile(), os.path.islink(), and os.path.ismount() now return False
instead of raising ValueError or its subclasses UnicodeEncodeError
and UnicodeDecodeError for paths that contain characters or bytes
unrepresentative at the OS level.

bpo-32455: Add jump parameter to dis.stack_effect(). (GH-6610)

Add C API function PyCompile_OpcodeStackEffectWithJump().

bpo-33649: Fix markup; add another note that asyncio.run is 3.7+ (GH-9389)

bpo-34681: Rename class Pattern in sre_parse to State. (GH-9310)

Also rename corresponding attributes, parameters and variables.

Fix syntax error on Asyncio example in doc (GH-9387)

The `gather` method requires to close the parenthesis, but it is being closed twice.

Change "set_after" reference to `say_after`. (GH-9384)

bpo-33649: Note that asyncio.run() calls shutdown_asyncgens() (GH-9380)

bpo-34589: Add -X coerce_c_locale command line option (GH-9378)

Add a new -X coerce_c_locale command line option to control C locale
coercion (PEP 538).

bpo-34589: C locale coercion off by default (GH-9073)

Py_Initialize() and Py_Main() cannot enable the C locale coercion
(PEP 538) anymore: it is always disabled. It can now only be enabled
by the Python program ("python3).

test_embed: get_filesystem_encoding() doesn't have to set PYTHONUTF8
nor PYTHONCOERCECLOCALE, these variables are already set in the
parent.

bpo-33649: A copy-editing pass on asyncio documentation (GH-9376)

bpo-33649: Add a hello world example to asyncio.rst (GH-9374)

bpo-34589: Make _PyCoreConfig.coerce_c_locale private (GH-9371)

_PyCoreConfig:

* Rename coerce_c_locale to _coerce_c_locale
* Rename coerce_c_locale_warn to _coerce_c_locale_warn

These fields are now private (name prefixed by "_").

bpo-34717: Stop numbering stdlib titles/sections in the docs (GH-9370)

bpo-34267: Update find_python.bat to use 3.7 if available (GH-8552)