bpo-17239: Disable external entities in SAX parser (GH-9217)

The SAX parser no longer processes general external entities by default
to increase security. Before, the parser created network connections
to fetch remote files or loaded local files from the file system for DTD
and entities.

Signed-off-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue17239

bpo-34670: Add TLS 1.3 post handshake auth (GH-9460)

Add SSLContext.post_handshake_auth and
SSLSocket.verify_client_post_handshake for TLS 1.3 post-handshake
authentication.

Signed-off-by: Christian Heimes <christian@python.org>q
https://bugs.python.org/issue34670

bpo-34421: Improve distutils logging for non-ASCII strings. (GH-9126)

Use "backslashreplace" instead of "unicode-escape".  It is not
implementation depended and escapes only non-encodable characters.

Also simplify the code.

bpo-32117: Iterable unpacking in return and yield documentation (GH-9487)

News entry clean up, added to what's new

Requested by @gvanrossum in https://github.com/python/cpython/pull/4509

https://bugs.python.org/issue32117

Fix pickletools doc for NEWFALSE. (GH-9432)

Also make docs for NEWFALSE and NEWTRUE more consistent
with docs for other opcodes.

bpo-34759: Fix error handling in ssl 'unwrap()' (GH-9468)

OpenSSL follows the convention that whenever you call a function, it
returns an error indicator value; and if this value is negative, then
you need to go look at the actual error code to see what happened.

Commit c6fd1c1c3a introduced a small mistake in
_ssl__SSLSocket_shutdown_impl: instead of checking whether the error
indicator was negative, it started checking whether the actual error
code was negative, and it turns out that the error codes are never
negative. So the effect was that 'unwrap()' lost the ability to raise
SSL errors.

https://bugs.python.org/issue34759

bpo-34623: Mention CVE-2018-14647 in news entry (GH-9482)

https://bugs.python.org/issue34623

bpo-29577: Enum: mixin classes don't mix well with already mixed Enums (GH-9328)

* bpo-29577: allow multiple mixin classes

bpo-32117: Allow tuple unpacking in return and yield statements (gh-4509)

Iterable unpacking is now allowed without parentheses in yield and return
statements, e.g. ``yield 1, 2, 3, *rest``. Thanks to David Cuthbert for the
change and jChapman for added tests.

bpo-34537: Fix test_gdb:test_strings with LC_ALL=C (GH-9483)

We cannot simply call locale.getpreferredencoding() here,
as GDB might have been linked against a different version
of Python with a different encoding and coercion policy
with respect to PEP 538 and PEP 540.

Thanks to Victor Stinner for a hint on how to fix this.

bpo-32718: Make Activate.ps1 for venv cross-platform and available on all platforms (GH-9321)

PowerShell Core 6.1 is the cross-platform port of Windows PowerShell. This change updates Activate.ps1 to not make Windows assumptions as well as installing it into the bin/Scripts directory on all operating systems.

Requires PowerShell Core 6.1 for proper readline support once the shell has been activated for the virtual environment.

bpo-33649: Fix gather() docs; fix title; few other nits. (GH-9475)

Make docs of exitcode for subprocess.getstatusoutput more clear. (GH-9477)

Make it more accurate and not limited to UNIX.

bpo-34762: Fix contextvars C API to use PyObject* pointer types. (GH-9473)

Minor performance tweak for deque.index() with a start argument (GH-9440)

bpo-34755: Add few minor optimizations in _asynciomodule.c. (GH-9455)

bpo-34735: Fix a memory leak in Modules/timemodule.c (GH-9418)

There was a missing PyMem_Free(format) in time_strftime().

Simplify PyInit_timezone. (GH-9467)

Reduce the knotty preprocessor conditional logic, dedent unnecessarily nested
code, and handle errors properly.

The first edition of this change (afde1c1a05cc8a1e8adf6403c451f6708509a605)
failed (bpo-34715) because FreeBSD doesn't define the timezone globals. That's
why we're now checking for HAVE_DECL_TZNAME.

closes bpo-34656: Avoid relying on signed overflow in _pickle memos. (GH-9261)

bpo-34011: Fixes missing venv files and other tests (GH-9458)

bpo-34754: Fix test_flush_return_value on FreeBSD (GH-9451)

Apparently, FreeBSD doesn't raise OSError when offset is
not a multiple of mmap.PAGESIZE.

bpo-33649: More improvements (GH-9439)

bpo-19756: Prevent test failures due to EADDRNOTAVAIL (GH-9446)

bpo-34743: Fix test_database_source_name under SQLite 3.7.9 (GH-9426)

bpo-32215: Fix performance regression in sqlite3 (GH-8511)

bpo-34746: Fix stop -> close (GH-9437)

Enables test result collection for CI builds (GH-9433)

Revert "bpo-34589: Add -X coerce_c_locale command line option (GH-9378)" (GH-9430)

* Revert "bpo-34589: Add -X coerce_c_locale command line option (GH-9378)"

This reverts commit dbdee0073cf0b88fe541980ace1f650900f455cc.

* Revert "bpo-34589: C locale coercion off by default (GH-9073)"

This reverts commit 7a0791b6992d420dc52536257f2f093851ed7215.

* Revert "bpo-34589: Make _PyCoreConfig.coerce_c_locale private (GH-9371)"

This reverts commit 188ebfa475a6f6aa2d0ea14ca8e1fbe7865b6d27.

Ignores failure to update lists (GH-9424)

bpo-25711: Remove outdated zipimport tests. (GH-9404)

They were specific to the C implementation.

bpo-34712: Fix style in examples in "Input and Output" (GH-9361)

A couple of fixes here to make this more PEP-8:

* Avoid multiple statements on one line with `;` statement separator -- this is very rare in Python and is "generally discouraged" in PEP 8 (and if used, per PEP 8 there shouldn't be a space before the `;`)
* Add output for the first "Formatted String Literals" example. (Side note: are the doctests for this being run? If so, why didn't it fail?)
* Avoid space before `!r`. I have generally not seen spaces before the `!`, and this also matches the style used in the docs here: https://docs.python.org/3/library/string.html#format-string-syntax

https://bugs.python.org/issue34712

bpo-34125: Enable profiling of method_descriptor in all cases (GH-8416)

`list.append([], None)` was profiled but `list.append([], None, **{})` was not profiled.
Enable profiling for later case.

https://bugs.python.org/issue34125

run autoconf (GH-9411)

Follow up to 2a9c3805ddedf282881ef7811a561c70b74f80b1 (bpo-34585).

bpo-25711: Move _ZipImportResourceReader from importlib to zipimport. (GH-9406)

closes bpo-34585: Don't do runtime test to get float byte order. (GH-9085)

Currently configure.ac uses AC_RUN_IFELSE to determine the byte order of doubles, but this silently fails under cross compilation and Python doesn't do floats properly.

Instead, steal a macro from autoconf-archive which compiles code using magic doubles (which encode to ASCII) and grep for the representation in the binary.

RFC because this doesn't yet handle the weird ancient ARMv4 OABI 'mixed-endian' encoding properly. This encoding is ancient and I don't believe the union of "Python 3.8 users" and "OABI users" has anything in. Should the support for this just be dropped too? Alternatively, someone will need to find an OABI toolchain to verify the encoding of the magic double.

bpo-33649: Add a high-level section about Futures; few quick fixes (GH-9403)

Co-authored-by: Elvis Pranskevichus <elvis@magic.io>

Clarify that AsyncExitStack works with coroutine functions (GH-9405)

The docs were ambiguous about whether you pass in a coroutine function
or a coroutine object, e.g. is it:

  aestack.push_async_exit(some_async_func)

or

  aestack.push_async_exit(some_async_func())

(It's the first one.)

bpo-25711: Rewrite zipimport in pure Python. (GH-6809)

bpo-34472: Add data descriptor signature to zipfile (GH-8871)

This makes streamed zips compatible with MacOS Archive Utility and
other applications.

bpo-34582: Adds JUnit XML output for regression tests (GH-9210)

bpo-34623: Use XML_SetHashSalt in _elementtree (GH-9146)

The C accelerated _elementtree module now initializes hash randomization
salt from _Py_HashSecret instead of libexpat's default CPRNG.

Signed-off-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue34623

 bpo-33721: Make some os.path functions and pathlib.Path methods be tolerant to invalid paths.  (#7695)

Such functions as os.path.exists(), os.path.lexists(), os.path.isdir(),
os.path.isfile(), os.path.islink(), and os.path.ismount() now return False
instead of raising ValueError or its subclasses UnicodeEncodeError
and UnicodeDecodeError for paths that contain characters or bytes
unrepresentative at the OS level.

bpo-32455: Add jump parameter to dis.stack_effect(). (GH-6610)

Add C API function PyCompile_OpcodeStackEffectWithJump().

bpo-33649: Fix markup; add another note that asyncio.run is 3.7+ (GH-9389)

bpo-34681: Rename class Pattern in sre_parse to State. (GH-9310)

Also rename corresponding attributes, parameters and variables.

Fix syntax error on Asyncio example in doc (GH-9387)

The `gather` method requires to close the parenthesis, but it is being closed twice.

Change "set_after" reference to `say_after`. (GH-9384)

bpo-33649: Note that asyncio.run() calls shutdown_asyncgens() (GH-9380)

bpo-34589: Add -X coerce_c_locale command line option (GH-9378)

Add a new -X coerce_c_locale command line option to control C locale
coercion (PEP 538).

bpo-34589: C locale coercion off by default (GH-9073)

Py_Initialize() and Py_Main() cannot enable the C locale coercion
(PEP 538) anymore: it is always disabled. It can now only be enabled
by the Python program ("python3).

test_embed: get_filesystem_encoding() doesn't have to set PYTHONUTF8
nor PYTHONCOERCECLOCALE, these variables are already set in the
parent.

bpo-33649: A copy-editing pass on asyncio documentation (GH-9376)

bpo-33649: Add a hello world example to asyncio.rst (GH-9374)

bpo-34589: Make _PyCoreConfig.coerce_c_locale private (GH-9371)

_PyCoreConfig:

* Rename coerce_c_locale to _coerce_c_locale
* Rename coerce_c_locale_warn to _coerce_c_locale_warn

These fields are now private (name prefixed by "_").

bpo-34717: Stop numbering stdlib titles/sections in the docs (GH-9370)

bpo-34267: Update find_python.bat to use 3.7 if available (GH-8552)

bpo-34587, test_socket: remove RDSTest.testCongestion() (GH-9277)

The test tries to fill the receiver's socket buffer and expects an
error. But the RDS protocol doesn't require that. Moreover, the Linux
implementation of RDS expects that the producer of the messages
reduces its rate, it's not the role of the receiver to trigger an
error.

The test fails on Fedora 28 by design, so remove it.

bpo-34715: Revert "Simplify PyInit_timezone. (GH-9323)" (GH-9366)

This reverts commit afde1c1a05cc8a1e8adf6403c451f6708509a605.

bpo-33649: Add low-level APIs index. (GH-9364)

bpo-32533: Fixed thread-safety of error handling in _ssl. (GH-7158)

Convert os.readlink() to Argument Clinic. (GH-8778)

Also convert os.get_blocking() and os.set_blocking().

bpo-34341: Fix appending to ZIP archives with the ZIP64 extension. (GH-8683)

bpo-12458: Fix line numbers for multiline expressions. (GH-8774)

bpo-33216: Improve the documentation for CALL_FUNCTION_* (GH-8338) (GH-8784)

bpo-34710: fix SSL module build (GH-9347)

Include ``openssl/dh.h`` header file to fix implicit function declaration of ``DH_free()``.

Signed-off-by: Alexandru Ardelean <ardeleanalex@gmail.com>

bpo-34610: Fixed iterator of multiprocessing.managers.DictProxy. (GH-9113)

closes bpo-34673: Tweaks to make ceval more editable. (GH-9289)

Two major changes:
- Move case statements out of the TARGET macro.
- Move PREDICT macro invocations after the case label.

bpo-33649: Clarify protocol_factory as a method parameter (GH-9330)

bpo-34603, ctypes/libffi_msvc: Fix returning structs from functions (GH-9258)

closes bpo-34515: Support non-ASCII identifiers in lib2to3. (GH-8950)

bpo-34579: Fix test_embed DEFAULT_CON AIX (GH-9063)

* Modify DEFAULT_CONFIG for AIX

* bedevere/news did not like old name

* Modify NEWS entry

* Modified per peer review

* Define and use NULL_STR constant to account for AIX libc behavior

* Modify per peer review

* Modify NEWS

Add myself for HTML-related modules (#9325)

bpo-33649: Fix asyncio-dev (GH-9324)

Simplify PyInit_timezone. (GH-9323)

Assume tzname exists. Only use a hack to compute altzone if it's not defined.

bpo-33486: regen autotools files using autoupdate+autoreconf (GH-6853)

bpo-34685: Skip posix_spawn scheduler tests on BSD (GH-9316)

* Skip posix_spawn scheduler tests on BSD. We were already skyping similar tests as the behaviour can depend on the implementation in some cases.

bpo-33649: Add high-level APIs cheat-sheet (GH-9319)

bpo-33649: Refresh asyncio docs landing page (GH-9322)

Grammar fix (GH-9318)

bpo-34651: Only allow the main interpreter to fork. (gh-9279)

When os.fork() is called (on platforms that support it) all threads but the current one are destroyed in the child process. Consequently we must ensure that all but the associated interpreter are likewise destroyed. The main interpreter is critical for runtime operation, so we must ensure that fork only happens in the main interpreter.

https://bugs.python.org/issue34651

bpo-33649: Refresh Tasks and Futures pages (#9314)

* bpo-33649: Refresh Tasks and Futures pages

* Fixes

* Fix markup

closes bpo-28955: Clarified comparisons between NaN and number in reference documentation (GH-5982)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

bpo-34672: Don't pass NULL to gmtime_r. (GH-9312)

Fix "Python" casing in a few places (GH-9001)

bpo-33649 Polish asyncio docs on queues, protocols, and subproccesses (#9306)

* small clarification

* edits to protocols doc

* Edit async queue doc

bpo-34672: Try to pass the C library's own timezone strings back to it. (GH-9288)

Don't run AC_STRUCT_TIMEZONE twice. (GH-9305)

bpo-34363: dataclasses.asdict() and .astuple() now handle fields which are namedtuples. (GH-9151)

Fix compiler warning with a type cast (GH-9300)

Fix-up parenthesis, organization, and NULL check (GH-9297)

Note that distinct argument patterns can be cached separately (GH-9298)

bpo-33073: Adding as_integer_ratio to ints. (GH-8750)

Change the xkcd link in comment over https. (GH-5452)

bpo-6721: Hold logging locks across fork() (GH-4071)

bpo-6721: When os.fork() was called while another thread holds a logging lock, the child process may deadlock when it tries to log.  This fixes that by acquiring all logging locks before fork and releasing them afterwards.

A regression test that fails before this change is included.

Within the new unittest itself: There is a small _potential_ due to mixing of fork and a thread in the child process if the parent's thread happened to hold a non-reentrant library call lock (malloc?) when the os.fork() happens.  buildbots and time will tell if this actually manifests itself in this test or not.  :/  A functionality test that avoids that would be a challenge.

An alternate test that isn't trying to produce the deadlock itself but just checking that the release and acquire calls are made would be the next best alternative if so.

bpo-34674: Assume unistd.h exists on Unix. (GH-9290)

bpo-34552: Clarify built-in types comparisons (GH-9035)

Some updates to ancient text about comparisons; fixes bp-34552.

Remove wording that could be deemed to be perjorative (GH-9287)

bpo-33649: Polish asyncio subprocess and sync docs (GH-9285)

Second pass for asyncio subprocess and sync docs.

https://bugs.python.org/issue33649

bpo-34666: Implement stream.awrite() and stream.aclose() (GH-9274)

Fix test_asyncio for AIX - do not call transport.get_extra_info('sockname') (#8907)

polish exceptions and platforms (GH-9272)