Doc: Python 3.9 in sidebar and version switcher. (GH-13824)

bpo-34282: Remove deprecated enum _convert method (GH-13823)

Bump version in AppVeyor config (#13822)

Bump to 3.9.0a0

Merge tag 'v3.8.0b1'

Python 3.8.0b1

bpo-35047: Update whatsnew/3.8 for better mock error message (GH-13746)

bpo-30835: email: Fix AttributeError when parsing invalid CTE (GH-13598)

* bpo-30835: email: Fix AttributeError when parsing invalid Content-Transfer-Encoding

Parsing an email containing a multipart Content-Type, along with a
Content-Transfer-Encoding containing an invalid (non-ASCII-decodable) byte
will fail. email.feedparser.FeedParser._parsegen() gets the header and
attempts to convert it to lowercase before comparing it with the accepted
encodings, but as the header contains an invalid byte, it's returned as a
Header object rather than a str.

Cast the Content-Transfer-Encoding header to a str to avoid this.

Found using the AFL fuzzer.

Reported-by: Daniel Axtens <dja@axtens.net>
Signed-off-by: Andrew Donnellan <andrew@donnellan.id.au>
* Add email and NEWS entry for the bugfix.

Python 3.8.0b1

bpo-35805: Add parser for Message-ID email header. (GH-13397)

* bpo-35805: Add parser for Message-ID header.

This parser is based on the definition of Identification Fields from RFC 5322
Sec 3.6.4.

This should also prevent folding of Message-ID header using RFC 2047 encoded
words and hence fix bpo-35805.

* Prevent folding of non-ascii message-id headers.
* Add fold method to MsgID token to prevent folding.

bpo-37153: test_venv.test_mutiprocessing() calls pool.terminate() (GH-13816)

test_venv.test_mutiprocessing() now explicitly calls pool.terminate()
to wait until the pool completes.

bpo-36742: Corrects fix to handle decomposition in usernames (#13812)

Fix extraneous whitespace in QueueListener.prepare (GH-13803)

bpo-30699: Improve example on datetime tzinfo instances (GH-4290)

* Improve example on tzinfo instances

Move from GMTX to TZX when naming the classes, as GMT1 might be rather
confusing as seen in the reported issue.
In addition, move to UTC over GMT and improve the tzname implementation.

* Simplify datetime with tzinfo example

Move the example in the documentation to just use timezone.utc and a
user defined Kabul timezone rather than having two user defined
timezones with DST.

Kabul timezone is still interesting as it changes its offset but not
based on DST. This is more accurate as the previous example was missing
information about the fold attribute. Additionally, implementing the fold
attribute was rather complex and probably not relevant enough for the
section "datetime with tzinfo".

bpo-36778: Remove outdated comment from CodePageTest (GH-13807)

CP65001Test has been removed.

bpo-26219: Fix compiler warning in _PyCode_InitOpcache() (GH-13809)

Fix this MSVC warning:

    objects\codeobject.c(264): warning C4244: '=':
    conversion from 'Py_ssize_t' to 'unsigned char', possible loss of data

bpo-37142: Make asyncio stream tests more robust again (GH-13804)

Make test_stream_server_close() implementation following test_stream_server_abort().
 Add explicit timeout for tests that can hang.

Make StreamServer.close() tests more robust (GH-13790)

Revert "bpo-34037, asyncio: add BaseEventLoop.wait_executor_on_close (GH-13786)" (#13802)

This reverts commit 0f0a30f4da4b529e0f7df857b9f575b231b32758.

Fix grammar (GH-13801)

More updates to the annotated assignments docs (GH-13794)

bpo-37148: Fix asyncio test that check for warning when running the test suite with huntleaks (GH-13800)

bpo-35431: Drop the k <= n requirement (GH-13798)

Revert "bpo-36818: Add PyInterpreterState.runtime field. (gh-13129)" (GH-13795)

This reverts commit 396e0a8d9dc65453cb9d53500d0a620602656cfe.

Revert "bpo-35621: Support running subprocesses in asyncio when loop is executed in non-main thread (#13630)" (GH-13793)

https://bugs.python.org/issue35621

bpo-37146: disable opcache when Py_DEBUG is defined (GH-13787)

--with-pydebug is commonly used to find memory leaks.
But opcache makes it harder.
So disable opcache when Py_DEBUG is defined.

bpo-34037, asyncio: add BaseEventLoop.wait_executor_on_close (GH-13786)

Add BaseEventLoop.wait_executor_on_close attribute: true by default.

loop.close() now waits for the default executor to finish by default.
Set loop.wait_executor_on_close attribute to False to not wait for
the executor.

bpo-37120: Add SSLContext.num_tickets (GH-13719)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-36868: Fix what's new for SSLContext.hostname_checks_common_name (GH-13248)

What's new now mentions SSLContext.hostname_checks_common_name instead of SSLContext.host_flags.

https://bugs.python.org/issue36868

bpo-34271: Fix compatibility with 1.0.2 (GH-13728)

Fix various compatibility issues with LibreSSL and OpenSSL 1.0.2
introduced by bpo-34271.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-37081: Test with OpenSSL 1.1.1c (GH-13631)

Signed-off-by: Christian Heimes <christian@python.org>

Revert "bpo-33608: Factor out a private, per-interpreter _Py_AddPendingCall(). (gh-13714)" (GH-13780)

This reverts commit 6a150bcaeb190d1731b38ab9c7a5d1a352847ddc.

bpo-37137: Fix test_asyncio: use TestCase.set_event_loop() (GH-13779)

Replace asyncio.set_event_loop() with TestCase.set_event_loop() of
test_asyncio.utils: this method calls TestCase.close_loop() which
waits until the executor completes, to avoid leaking dangling
threads.

Inherit from test_asyncio.utils.TestCase rather than
unittest.TestCase.

bpo-37087: Adding native ID support for OpenBSD (GH-13654)

Doc fix: duplicate object description of email.message (GH-13742)

Add credits to What's New in Python 3.8 (GH-13776)

* Credit myself and others.
* Complete asyncio changes.

bpo-26219: remove unused code (GH-13775)

This code was for deoptimization, which is removed from
PR-12884.

bpo-26219: per opcode cache for LOAD_GLOBAL (GH-12884)

This patch implements per opcode cache mechanism, and use it in
only LOAD_GLOBAL opcode.

Based on Yury's opcache3.patch in bpo-26219.

Pin macOS installer Sphinx to v2.0.1 (GH-13774)

bpo-36231:  Support building on macOS without /usr/include (GH-13773)

bpo-35814: Allow unpacking in r.h.s of annotated assignment expressions (GH-13760)

IDLE: Fix typos in docs and comments (GH-13749)

bpo-36546: Add design notes to aid future discussions (GH-13769)

Fix variable name copy/paste error in build-installer.py (GH-13038)

bpo-33569 Preserve type information with dataclasses.InitVar (GH-8927)

bpo-37069: tests use catch_unraisable_exception() (GH-13762)

Modify test_coroutines, test_cprofile, test_generators, test_raise,
test_ssl and test_yield_from to use
support.catch_unraisable_exception() rather than
support.captured_stderr().

test_thread: remove test_save_exception_state_on_error() which is now
updated. test_unraisable_exception() checks that sys.unraisablehook()
is called to handle _thread.start_new_thread() exception.

test_cprofile now rely on unittest for test discovery: replace
support.run_unittest() with unittest.main().

bpo-36896: Clarify that some types constructors are unstable (GH-13271)

bpo-36027: Really fix "incompatible pointer type" compiler warning (GH-13761)

Apologies for the earlier hasty attempt.

bpo-36974: add some assertions for PEP 590 (GH-13682)

bpo-36974: document PEP 590 (GH-13450)

Update the annotated assignment docs (GH-13757)

bpo-37100: Fix test_coroutines with -Werror (GH-13756)

test_coroutines: test_unawaited_warning_when_module_broken() now uses
support.check_warnings() to catch expected RuntimeWarning.

bpo-37012: Clean up special cases in PyType_FromSpecWithBases slot assignments (GH-13496)

The main slot assignment loop is now if-else if ladder, making the
control flow clearer.

Based on suggestion by Victor Stinner in:
https://github.com/python/cpython/pull/10304/#issuecomment-491123026

Fix typos in docs and docstrings (GH-13745)

bpo-36027 bpo-36974: Fix "incompatible pointer type" compiler warnings (GH-13758)

bpo-35621: Fix tests when SafeChildWatcher is expected instead of ThreadedChildWatcher (GH-13754)

https://bugs.python.org/issue35621

bpo-36974: Make tp_call=PyVectorcall_Call work for inherited types (GH-13699)

When inheriting a heap subclass from a vectorcall class that sets
`.tp_call=PyVectorcall_Call` (as recommended in PEP 590), the subclass does
not inherit `_Py_TPFLAGS_HAVE_VECTORCALL`, and thus `PyVectorcall_Call` does
not work for it.

This attempts to solve the issue by:
* always inheriting `tp_vectorcall_offset` unless `tp_call` is overridden
  in the subclass
* inheriting _Py_TPFLAGS_HAVE_VECTORCALL for static types, unless `tp_call`
  is overridden
* making `PyVectorcall_Call` ignore `_Py_TPFLAGS_HAVE_VECTORCALL`

This means it'll be ever more important to only call `PyVectorcall_Call`
on classes that support vectorcall. In `PyVectorcall_Call`'s intended role
as `tp_call` filler, that's not a problem.

bpo-19184: Update the documentation of dis module. (GH-13652)

* bpo-19184: Update the documentation of dis module

* Explain the behavior of the number of arguments of RAISE_VARGARGS
  opcode.

* bpo-19184: Update blurb.

* bpo-19184: Fix typo in the dis Documentation.

* bpo-19184: Address review comments and improve the doc

* bpo-19184: Remove news file.

test_gdb.test_pycfunction: test more calling conventions (GH-13668)

As the code paths for various METH_* conventions are diverging due
to optimizations, we should check they continue to be covered by
GDB integration.

bpo-36829: test_threading: Fix a ref cycle (GH-13752)

bpo-37014: Update docstring and Documentation of fileinput.FileInput(). (GH-13545)

* bpo-37014: Update docstring and Documentation of fileinput.FileInput()

* Explain the behavior of fileinput.FileInput() when reading stdin.

* Update blurb.

* bpo-37014: Fix typo in the docstring and documentation.

Call PyObject_GC_UnTrack in structseq dealloc (GH-13751)

bpo-37124: Fix reference leak in test_msilib (GH-13750)

bpo-35610: IDLE - Replace .context_use_ps1 with .prompt_last_line (GH-11307)

Changes in bpo- 31858 made the less informative 'context_use_ps1' redundant.

Add description to the command line help of the argument clinic (GH-8518)

bpo-37126: Allow structseq objects to be tracked by the GC (GH-13729)

bpo-35621: Support running subprocesses in asyncio when loop is executed in non-main thread (#13630)

bpo-36027: Extend three-argument pow to negative second argument (GH-13266)

bpo-37128: Add math.perm(). (GH-13731)

Add more tests for preserving identity in marshal. (GH-13736)

Improve version added references in `typing` module docs (GH-13457)

Put math.comb() docs is correct place alphabetically (GH-13734)

bpo-33608: Factor out a private, per-interpreter _Py_AddPendingCall(). (gh-13714)

bpo-29414: Change 'the for statement is such an iterator' in Tutorial (GH-273)

Fix the error handling in bytesio_sizeof(). (GH-10459)

bytesio_sizeof() must check if an error has occurred in _PySys_GetSizeOf().

bpo-20092. Use __index__ in constructors of int, float and complex. (GH-13108)

bpo-32411: IDLE: Remove line number sort in browser.py (#5011)

Insertion in line order makes sorting keys by line order unneeded.

bpo-34303: Micro-optimizations in functools.reduce() (GH-8598)

bpo-36842: Pass positional only parameters to code_new audit hook (GH-13707)

Fix compiler warnings in the pystrehex module (GH-13730)

Clean up and reduce visual clutter in the makeunicode.py script. (GH-7558)

bpo-28595: Allow shlex whitespace_split with punctuation_chars (GH-2071)

bpo-35431: Refactor math.comb() implementation. (GH-13725)

* Fixed some bugs.
* Added support for index-likes objects.
* Improved error messages.
* Cleaned up and optimized the code.
* Added more tests.

Improve exception message for str.format (GH-12675)

bpo-37122: Make co->co_argcount represent the total number of positonal arguments in the code object (GH-13726)

bpo-31968: Documentation -- add clarification on the globals dict for exec() (GH-13140)

Doc: Correct the creation year and the credits of the Logo Programming language (GH-13520)

Move whats-new entry for math.factorial to the math module section. (GH-13723)

bpo-36813: Fix QueueListener to call task_done() upon termination. (GH-13113)

Fixed QueueListener in order to avoid random deadlocks.
Unable to add regression tests atm due to time constraints, will add it in a bit.
Regarding implementation, although it's nested, it does not cause performance issues whatsoever, and does not call task_done() in case of an exception (which is the right thing to do IMHO).

https://bugs.python.org/issue36813

Use more PEP 570 syntax in the documentation. (GH-13720)

bpo-37116: Use PEP 570 syntax for positional-only parameters. (GH-13700)

bpo-35431: Implemented math.comb (GH-11414)

bpo-18911: clarify that the minidom XML writer receives texts but not bytes (GH-13352)

Add option to trace to run modules (GH-5134)

Adds a new option in trace that allows tracing runnable modules. It is
exposed as `--module module_name` as `-m` is already in use for another
argument.

bpo-29984: Improve 'heapq' test coverage (GH-992)

Improve docstring of list.sort (GH-8516)

bpo-36818: Add PyInterpreterState.runtime field. (gh-13129)

https://bugs.python.org/issue36818

bpo-37029:  keep usable_arenas in sorted order without searching (#13612)

This adds a vector of "search fingers" so that usable_arenas can be kept in sorted order (by number of free pools) via constant-time operations instead of linear search.

This should reduce worst-case time for reclaiming a great many objects from O(A**2) to O(A), where A is the number of arenas.  See bpo-37029.

bpo-12202: Properly check MsiSummaryInfoGetProperty() calls in msilib (GH-13711)

bpo-37105: Add deprecated-remove information on stream doc (#13672)

* Add deprecated-remove information on stream doc

According to the code on streams.py the functions:
``open_connection()``, ``start_server()``, ``open_unix_connection()``,
``start_unix_server()`` are deprecated. I infor that on
documentation.

bpo-15115: Document deprecation of email.encoders in Python 3 (GH-5354)