bpo-29505: Fuzz json module, enforce size limit on int(x) fuzz (GH-13991)

* bpo-29505: Enable fuzz testing of the json module, enforce size limit on int(x) fuzz and json input size to avoid timeouts.

Contributed by by Ammar Askar for Google.
(cherry picked from commit a6e190e94b47324f14e22a09200c68b722d55699)

Co-authored-by: Ammar Askar <aaskar@google.com>

bpo-32625: Updated documentation for EXTENDED_ARG. (GH-13985)

Python 3.6 changed the size of bytecode instruction, while the documentation for `EXTENDED_ARG` was not updated accordingly.
(cherry picked from commit 405f648db7c44b07348582b5101d4716e0ce5ac3)

Co-authored-by: Yao Zuo <laike9m@users.noreply.github.com>

bpo-36918: Fix "Exception ignored in" in test_urllib (GH-13996)

Mock the HTTPConnection.close() method in a few unit tests to avoid
logging "Exception ignored in: ..." messages.
(cherry picked from commit eb976e47e261760330c1bed224019b073b05e994)

Co-authored-by: Victor Stinner <vstinner@redhat.com>

bpo-35766: Change format for feature_version to (major, minor) (GH-13992) (GH-13993)

(A single int is still allowed, but undocumented.)

https://bugs.python.org/issue35766
(cherry picked from commit 10b55c1643b512b3a2cae8ab89c53683a13ca43e)

Co-authored-by: Guido van Rossum <guido@python.org>

[3.8] bpo-36520: Email header folded incorrectly (GH-13608) (GH-13909)

* [bpo-36520](https://bugs.python.org/issue36520): reset the encoded word offset when starting a new
line during an email header folding operation

* 📜🤖 Added by blurb_it.

* [bpo-36520](https://bugs.python.org/issue36520): add an additional test case, and provide descriptive
comments for the test_folding_with_utf8_encoding_* tests

* [bpo-36520](https://bugs.python.org/issue36520): fix whitespace issue

* [bpo-36520](https://bugs.python.org/issue36520): changes per reviewer request -- remove extraneous
backslashes; add whitespace between terminating quotes and
line-continuation backslashes; use "bpo-" instead of
"issue GH-" in comments
(cherry picked from commit f6713e84afc5addcfa8477dbdf2c027787f711c0)

Co-authored-by: websurfer5 <49998481+websurfer5@users.noreply.github.com>
https://bugs.python.org/issue36520

bpo-37238: Enable building for Windows using Visual Studio 2019 (GH-13988)

(cherry picked from commit 04856c2193eb72d72c46b57fa08095235d732a73)

Co-authored-by: Paul Monson <paulmon@users.noreply.github.com>

bpo-35766: What's new in the ast and typing modules (GH-13984)

(cherry picked from commit 9b33ce48a7846dbdad32d4f8936b08e6b78a2faf)

Co-authored-by: Guido van Rossum <guido@python.org>

bpo-36607: Eliminate RuntimeError raised by asyncio.all_tasks() (GH-13971)

If internal tasks weak set is changed by another thread during iteration.

https://bugs.python.org/issue36607
(cherry picked from commit 65aa64fae89a24491aae84ba0329eb8f3c68c389)

Co-authored-by: Andrew Svetlov <andrew.svetlov@gmail.com>

Fix test_posix if RWF_HIPRI is defined but not preadv2. (GH-13980)

If preadv2 is not available, preadv will raise NotImplementedError.
(cherry picked from commit 44867bb9376e324493f0149ac8b3c33f23c9050d)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

closes bpo-33758: Skip test_get_type_hints_modules_forwardref. (GH-13977)

This test "works" if things are run in the right order, so it's better to use @skip than @expectedFailure here.
(cherry picked from commit 910b3fcb01c29f18ffd53086e36cd2cb9e5fae55)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

bpo-37219: Remove erroneous optimization for differencing an empty set (GH-13965) (GH-13967)

(cherry picked from commit 1f11cf9521114447b3e32e2ac88f075ffaa37555)

Co-authored-by: Raymond Hettinger <rhettinger@users.noreply.github.com>

[3.8] bpo-37216: Fix version and filename in Mac using document (GH-13964)

closes bpo-35184: Fix XML_POOR_ENTROPY option that breaks makesetup parsing of pyexpat line in Setup. (GH-13064)

When the line is uncommented, the equals character causes it to be incorrectly interpreted
as a macro definition by makesetup.  This results in invalid Makefile output.

The expat code only requires XML_POOR_ENTROPY to be defined; the value is unnecessary.
(cherry picked from commit 408a2ef1aceff1f4270c44552fa39ef93d9283e3)

Co-authored-by: aaronpaulhurst <aaronpaulhurst@gmail.com>

bpo-37215: Fix dtrace issue introduce by bpo-36842 (GH-13940)

Signed-off-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue37215
(cherry picked from commit 8a8b59c9794674b50b2242698c29038034f4864c)

Co-authored-by: Christian Heimes <christian@python.org>

bpo-11122: fix hardcoded path checking for rpmbuild in bdist_rpm.py (GH-10594)

(cherry picked from commit 45a14942c969ed508b35abd5e116cb18f84ce5b4)

Co-authored-by: Marcin Niemira <marcin.niemira@gmail.com>

bpo-37178: Allow a one argument form of math.perm() (GH-13905) (GH-13919)

(cherry picked from commit e119b3d136bd94d880bce4b382096f6de3f38062)

Co-authored-by: Raymond Hettinger <rhettinger@users.noreply.github.com>

bpo-34886: Fix subprocess.run handling of exclusive arguments (GH-11727)

Fix an unintended ValueError from :func:`subprocess.run` when checking for
conflicting `input` and `stdin` or `capture_output` and `stdout` or `stderr` args
when they were explicitly provided but with `None` values within a passed in
`**kwargs` dict rather than as passed directly by name.
(cherry picked from commit 8cc605acdda5aff250ab4c9b524a7560f90ca9f3)

Co-authored-by: Rémi Lapeyre <remi.lapeyre@henki.fr>

bpo-29505: Fix interpreter in fuzzing targets to be relocatable (GH-13907)

(cherry picked from commit a15a7bcaea54e1845ab2abe27e6f583294cd715b)

Co-authored-by: Ammar Askar <ammar@ammaraskar.com>

bpo-37173: Show passed class in inspect.getfile error (GH-13861)

Currently, inspect.getfile(str) will report nonsense:

```pytb
>>> inspect.getfile(str)
TypeError: <module 'builtins' (built-in)> is a built-in class
```

This fixes that

https://bugs.python.org/issue37173
(cherry picked from commit d407d2a7265f6102e51a1d62b3fd28b4f7a78d16)

Co-authored-by: Philipp A <flying-sheep@web.de>

[3.8] bpo-37188: Fix a divide-by-zero in arrays of size-0 objects (#13911)

cross port importlib-metadata PR GH-76 (GH-13903)

https://gitlab.com/python-devs/importlib_metadata/merge_requests/76
(cherry picked from commit 65e5860fcc8ffe66f3c325d5484112f3b6540e8c)

Co-authored-by: Anthony Sottile <asottile@umich.edu>

bpo-37150: Throw ValueError if FileType class object was passed in add_argument (GH-13805)

There is a possibility that someone (like me) accidentally will omit parentheses with `FileType` arguments after `FileType`, and parser will contain wrong file until someone will try to use it.

Example:
```python
parser = argparse.ArgumentParser()
parser.add_argument('-x', type=argparse.FileType)
```

https://bugs.python.org/issue37150
(cherry picked from commit 03d5831a2d62c68654ec223168e574cd546efbf6)

Co-authored-by: zygocephalus <grrrr@protonmail.com>

IDLE: Standardize naming convention for DummyEditwin in tests (GH-13876) (#13885)

* Change from Dummy_Editwin to DummyEditwin to match other tests.
(cherry picked from commit 7f8a38a7c47823c17adab469fcb4f762f4e945b7)

Co-authored-by: Cheryl Sabella <cheryl.sabella@gmail.com>

bpo-37138: fix undefined behaviour with memcpy() on NULL array (GH-13867)

(cherry picked from commit 1f9531764cc0f8dbca1d8f429d162dc28282f4b4)

Co-authored-by: Jeroen Demeyer <J.Demeyer@UGent.be>

bpo-37181: Fix test_regrtest failures on Windows arm64 (GH-13872)

(cherry picked from commit e7e5039d6940e41839dcef0433262ff363408dad)

Co-authored-by: Paul Monson <paulmon@users.noreply.github.com>

bpo-37191: Avoid declaration-after-statement in header included from Python.h (GH-13887)

bpo-37191: Move TestPEP590 from test_capi to test_call (GH-13892)

(cherry picked from commit 740a84de73ad8d02655de0a084036f4b7e49a01b)

Co-authored-by: Victor Stinner <vstinner@redhat.com>

bpo-37169: Rewrite _PyObject_IsFreed() unit tests (GH-13888) (GH-13895)

Replace two Python function calls with a single one to ensure that no
memory allocation is done between the invalid object is created and
when _PyObject_IsFreed() is called.

(cherry picked from commit 3bf0f3ad2046ac674d8e8a2c074a5a8b3327797d)

[3.8] bpo-37170: Fix the cast on error in PyLong_AsUnsignedLongLongMask() (GH-13860) (GH-13891)

(cherry picked from commit dc2476500d91082f0c907772c83a044bf49af279)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

bpo-37177: make IDLE's search dialogs transient (GH-13869)

This avoids the search dialogs being hidden behind the editor window.
(cherry picked from commit 554450fb4e95066e825bdb4a2d544a490daeebdc)

Co-authored-by: Tal Einat <taleinat@gmail.com>

bpo-37134: Add PEP570 notation to the signature of byte{array}.translate (GH-13874)

(cherry picked from commit de76c07a8cd0216c3dce215e4d542e2f45aa022f)

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>

bpo-37156: Fix libssl DLL tag in MSI sources (GH-13866)

(cherry picked from commit e0c0c7e8c9f8153a54b92e43aa3d09e69a9fd0c0)

Co-authored-by: Steve Dower <steve.dower@python.org>

bpo-36763, _testembed: enable assert() in release mode (GH-13857)

(cherry picked from commit 013a18a65167725f140c0395211050ae03501b12)

Co-authored-by: Victor Stinner <vstinner@redhat.com>

bpo-37134: Use PEP570 syntax for sum() (GH-13851)

(cherry picked from commit c4c421d619baf2ff2f7e09f55b7ae22b8f863c7b)

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>

bpo-37165: Convert _count_elements to the argument clinic (GH-13848)

(cherry picked from commit e985804207473796a1326585b3e1b9e18c764345)

Co-authored-by: Raymond Hettinger <rhettinger@users.noreply.github.com>

bpo-33725, multiprocessing doc: rephase warning against fork on macOS (GH-13841)

Co-Authored-By: Barry Warsaw <barry@python.org>
(cherry picked from commit 1e77ab0a35cf95318bb4893f7253a30f73201163)

Co-authored-by: Victor Stinner <vstinner@redhat.com>

bpo-37158: Simplify and speed-up statistics.fmean() (GH-13832) (GH-13843)

(cherry picked from commit 6c01ebcc0dfc6be22950fabb46bdc10dcb6202c9)

Co-authored-by: Raymond Hettinger <rhettinger@users.noreply.github.com>

bpo-26836: Document os.memfd_create() name parameter (GH-13838) (GH-13839)

https://bugs.python.org/issue26836
(cherry picked from commit ccf0efbb21f6bbf6efd5f8cb560fed11079ce1a2)

Co-authored-by: Victor Stinner <vstinner@redhat.com>

bpo-34767: Do not always create a collections.deque() in asyncio.Lock() (GH-13834)

https://bugs.python.org/issue34767
(cherry picked from commit 9aa78566fbeeb8cdaa669ad22f92cf63765f4135)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

Fix documentation (GH-13721)

Based on the source code https://github.com/python/cpython/blob/4a686504eb2bbf69adf78077458508a7ba131667/Lib/multiprocessing/pool.pyGH-L755 AsyncResult.successful() raises a ValueError, not an AssertionError.
(cherry picked from commit d4cf099dff4720a25208b5fa247dc16d86b11ac3)

Co-authored-by: Benjamin Yeh <bentyeh@users.noreply.github.com>

bpo-36373:  Deprecate explicit loop parameter in all public asyncio APIs [streams] (GH-13671)

This PR deprecate explicit loop parameters in all public asyncio APIs

This issues is split to be easier to review.

Second step: streams.py

https://bugs.python.org/issue36373
(cherry picked from commit 6d64a8f49eb321116f585c4b036c81bb976d2d5c)

Co-authored-by: Emmanuel Arias <emmanuelarias30@gmail.com>

bpo-35763: Make IDLE calltip note about '/' less obtrusive (GH-13791)

Add it to the end of the first line if there is room.  Tests were reworked.
(cherry picked from commit 949fe976d5c62ae63ed505ecf729f815d0baccfc)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

Doc: Python 3.9 in sidebar and version switcher. (GH-13824)

(cherry picked from commit 59e7bbcaa4d0d556591f774c5ea4869c41fa95b0)

Co-authored-by: Julien Palard <julien@palard.fr>

Post v3.8.0b1

Merge tag 'v3.8.0b1'

Python 3.8.0b1

bpo-35047: Update whatsnew/3.8 for better mock error message (GH-13746)

bpo-30835: email: Fix AttributeError when parsing invalid CTE (GH-13598)

* bpo-30835: email: Fix AttributeError when parsing invalid Content-Transfer-Encoding

Parsing an email containing a multipart Content-Type, along with a
Content-Transfer-Encoding containing an invalid (non-ASCII-decodable) byte
will fail. email.feedparser.FeedParser._parsegen() gets the header and
attempts to convert it to lowercase before comparing it with the accepted
encodings, but as the header contains an invalid byte, it's returned as a
Header object rather than a str.

Cast the Content-Transfer-Encoding header to a str to avoid this.

Found using the AFL fuzzer.

Reported-by: Daniel Axtens <dja@axtens.net>
Signed-off-by: Andrew Donnellan <andrew@donnellan.id.au>
* Add email and NEWS entry for the bugfix.

Python 3.8.0b1

bpo-35805: Add parser for Message-ID email header. (GH-13397)

* bpo-35805: Add parser for Message-ID header.

This parser is based on the definition of Identification Fields from RFC 5322
Sec 3.6.4.

This should also prevent folding of Message-ID header using RFC 2047 encoded
words and hence fix bpo-35805.

* Prevent folding of non-ascii message-id headers.
* Add fold method to MsgID token to prevent folding.

bpo-37153: test_venv.test_mutiprocessing() calls pool.terminate() (GH-13816)

test_venv.test_mutiprocessing() now explicitly calls pool.terminate()
to wait until the pool completes.

bpo-36742: Corrects fix to handle decomposition in usernames (#13812)

Fix extraneous whitespace in QueueListener.prepare (GH-13803)

bpo-30699: Improve example on datetime tzinfo instances (GH-4290)

* Improve example on tzinfo instances

Move from GMTX to TZX when naming the classes, as GMT1 might be rather
confusing as seen in the reported issue.
In addition, move to UTC over GMT and improve the tzname implementation.

* Simplify datetime with tzinfo example

Move the example in the documentation to just use timezone.utc and a
user defined Kabul timezone rather than having two user defined
timezones with DST.

Kabul timezone is still interesting as it changes its offset but not
based on DST. This is more accurate as the previous example was missing
information about the fold attribute. Additionally, implementing the fold
attribute was rather complex and probably not relevant enough for the
section "datetime with tzinfo".

bpo-36778: Remove outdated comment from CodePageTest (GH-13807)

CP65001Test has been removed.

bpo-26219: Fix compiler warning in _PyCode_InitOpcache() (GH-13809)

Fix this MSVC warning:

    objects\codeobject.c(264): warning C4244: '=':
    conversion from 'Py_ssize_t' to 'unsigned char', possible loss of data

bpo-37142: Make asyncio stream tests more robust again (GH-13804)

Make test_stream_server_close() implementation following test_stream_server_abort().
 Add explicit timeout for tests that can hang.

Make StreamServer.close() tests more robust (GH-13790)

Revert "bpo-34037, asyncio: add BaseEventLoop.wait_executor_on_close (GH-13786)" (#13802)

This reverts commit 0f0a30f4da4b529e0f7df857b9f575b231b32758.

Fix grammar (GH-13801)

More updates to the annotated assignments docs (GH-13794)

bpo-37148: Fix asyncio test that check for warning when running the test suite with huntleaks (GH-13800)

bpo-35431: Drop the k <= n requirement (GH-13798)

Revert "bpo-36818: Add PyInterpreterState.runtime field. (gh-13129)" (GH-13795)

This reverts commit 396e0a8d9dc65453cb9d53500d0a620602656cfe.

Revert "bpo-35621: Support running subprocesses in asyncio when loop is executed in non-main thread (#13630)" (GH-13793)

https://bugs.python.org/issue35621

bpo-37146: disable opcache when Py_DEBUG is defined (GH-13787)

--with-pydebug is commonly used to find memory leaks.
But opcache makes it harder.
So disable opcache when Py_DEBUG is defined.

bpo-34037, asyncio: add BaseEventLoop.wait_executor_on_close (GH-13786)

Add BaseEventLoop.wait_executor_on_close attribute: true by default.

loop.close() now waits for the default executor to finish by default.
Set loop.wait_executor_on_close attribute to False to not wait for
the executor.

bpo-37120: Add SSLContext.num_tickets (GH-13719)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-36868: Fix what's new for SSLContext.hostname_checks_common_name (GH-13248)

What's new now mentions SSLContext.hostname_checks_common_name instead of SSLContext.host_flags.

https://bugs.python.org/issue36868

bpo-34271: Fix compatibility with 1.0.2 (GH-13728)

Fix various compatibility issues with LibreSSL and OpenSSL 1.0.2
introduced by bpo-34271.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-37081: Test with OpenSSL 1.1.1c (GH-13631)

Signed-off-by: Christian Heimes <christian@python.org>

Revert "bpo-33608: Factor out a private, per-interpreter _Py_AddPendingCall(). (gh-13714)" (GH-13780)

This reverts commit 6a150bcaeb190d1731b38ab9c7a5d1a352847ddc.

bpo-37137: Fix test_asyncio: use TestCase.set_event_loop() (GH-13779)

Replace asyncio.set_event_loop() with TestCase.set_event_loop() of
test_asyncio.utils: this method calls TestCase.close_loop() which
waits until the executor completes, to avoid leaking dangling
threads.

Inherit from test_asyncio.utils.TestCase rather than
unittest.TestCase.

bpo-37087: Adding native ID support for OpenBSD (GH-13654)

Doc fix: duplicate object description of email.message (GH-13742)

Add credits to What's New in Python 3.8 (GH-13776)

* Credit myself and others.
* Complete asyncio changes.

bpo-26219: remove unused code (GH-13775)

This code was for deoptimization, which is removed from
PR-12884.

bpo-26219: per opcode cache for LOAD_GLOBAL (GH-12884)

This patch implements per opcode cache mechanism, and use it in
only LOAD_GLOBAL opcode.

Based on Yury's opcache3.patch in bpo-26219.

Pin macOS installer Sphinx to v2.0.1 (GH-13774)

bpo-36231:  Support building on macOS without /usr/include (GH-13773)

bpo-35814: Allow unpacking in r.h.s of annotated assignment expressions (GH-13760)

IDLE: Fix typos in docs and comments (GH-13749)

bpo-36546: Add design notes to aid future discussions (GH-13769)

Fix variable name copy/paste error in build-installer.py (GH-13038)

bpo-33569 Preserve type information with dataclasses.InitVar (GH-8927)

bpo-37069: tests use catch_unraisable_exception() (GH-13762)

Modify test_coroutines, test_cprofile, test_generators, test_raise,
test_ssl and test_yield_from to use
support.catch_unraisable_exception() rather than
support.captured_stderr().

test_thread: remove test_save_exception_state_on_error() which is now
updated. test_unraisable_exception() checks that sys.unraisablehook()
is called to handle _thread.start_new_thread() exception.

test_cprofile now rely on unittest for test discovery: replace
support.run_unittest() with unittest.main().

bpo-36896: Clarify that some types constructors are unstable (GH-13271)

bpo-36027: Really fix "incompatible pointer type" compiler warning (GH-13761)

Apologies for the earlier hasty attempt.

bpo-36974: add some assertions for PEP 590 (GH-13682)

bpo-36974: document PEP 590 (GH-13450)

Update the annotated assignment docs (GH-13757)

bpo-37100: Fix test_coroutines with -Werror (GH-13756)

test_coroutines: test_unawaited_warning_when_module_broken() now uses
support.check_warnings() to catch expected RuntimeWarning.

bpo-37012: Clean up special cases in PyType_FromSpecWithBases slot assignments (GH-13496)

The main slot assignment loop is now if-else if ladder, making the
control flow clearer.

Based on suggestion by Victor Stinner in:
https://github.com/python/cpython/pull/10304/#issuecomment-491123026

Fix typos in docs and docstrings (GH-13745)

bpo-36027 bpo-36974: Fix "incompatible pointer type" compiler warnings (GH-13758)

bpo-35621: Fix tests when SafeChildWatcher is expected instead of ThreadedChildWatcher (GH-13754)

https://bugs.python.org/issue35621

bpo-36974: Make tp_call=PyVectorcall_Call work for inherited types (GH-13699)

When inheriting a heap subclass from a vectorcall class that sets
`.tp_call=PyVectorcall_Call` (as recommended in PEP 590), the subclass does
not inherit `_Py_TPFLAGS_HAVE_VECTORCALL`, and thus `PyVectorcall_Call` does
not work for it.

This attempts to solve the issue by:
* always inheriting `tp_vectorcall_offset` unless `tp_call` is overridden
  in the subclass
* inheriting _Py_TPFLAGS_HAVE_VECTORCALL for static types, unless `tp_call`
  is overridden
* making `PyVectorcall_Call` ignore `_Py_TPFLAGS_HAVE_VECTORCALL`

This means it'll be ever more important to only call `PyVectorcall_Call`
on classes that support vectorcall. In `PyVectorcall_Call`'s intended role
as `tp_call` filler, that's not a problem.

bpo-19184: Update the documentation of dis module. (GH-13652)

* bpo-19184: Update the documentation of dis module

* Explain the behavior of the number of arguments of RAISE_VARGARGS
  opcode.

* bpo-19184: Update blurb.

* bpo-19184: Fix typo in the dis Documentation.

* bpo-19184: Address review comments and improve the doc

* bpo-19184: Remove news file.

test_gdb.test_pycfunction: test more calling conventions (GH-13668)

As the code paths for various METH_* conventions are diverging due
to optimizations, we should check they continue to be covered by
GDB integration.

bpo-36829: test_threading: Fix a ref cycle (GH-13752)

bpo-37014: Update docstring and Documentation of fileinput.FileInput(). (GH-13545)

* bpo-37014: Update docstring and Documentation of fileinput.FileInput()

* Explain the behavior of fileinput.FileInput() when reading stdin.

* Update blurb.

* bpo-37014: Fix typo in the docstring and documentation.