bpo-37947: Avoid double-decrement in symtable recursion counting (GH-15593)

With `symtable_visit_expr` now correctly adjusting the recursion depth for named
expressions, `symtable_handle_namedexpr` should be leaving it alone.

Also adds a new check to `PySymtable_BuildObject` that raises `SystemError`
if a successful first symbol analysis pass fails to keep the stack depth
accounting clean.

bpo-36833: Add tests for Datetime C API Macros (GH-14842)

Added tests for PyDateTime_xxx_GET_xxx() macros of the C API of
the datetime module.

bpo-10978: Semaphores can release multiple threads at a time (GH-15588)

bpo-36743: __get__ is sometimes called without the owner argument (#12992)

bpo-16468: Clarify which objects can be passed to "choices" in argparse (GH-15566)

bpo-23674:  Clarify ambiguities in super() docs (#15564)

bpo-37372: Fix error unpickling datetime.time objects from Python 2 with seconds>=24. (GH-14307)

bpo-37950: Fix ast.dump() when call with incompletely initialized node. (GH-15510)

bpo-37960: Silence only necessary errors in repr() of buffered and text streams. (GH-15543)

bpo-35946: Improve assert_called_with documentation (GH-11796)

bpo-36871: Ensure method signature is used when asserting mock calls to a method (GH13261)

* Fix call_matcher for mock when using methods

* Add NEWS entry

* Use None check and convert doctest to unittest

* Use better name for mock in tests. Handle _SpecState when the attribute was not accessed and add tests.

* Use reset_mock instead of reinitialization. Change inner class constructor signature for check

* Reword comment regarding call object lookup logic

bpo-25777: Wording describes a lookup, not a call (GH-15573)

bpo-36167: fix an incorrect capitalization (GH-14482)

bpo-37964: Make sure test works if TESTFN is in a non-ASCII directory. (GH-15568)

bpo-18378: Recognize "UTF-8" as a valid name in locale._parse_localename (GH-14736)

Raise a RuntimeError when tee iterator is consumed from different threads (GH-15567)

closes bpo-37964: add F_GETPATH command to fcntl (GH-15550)

https://bugs.python.org/issue37964

Automerge-Triggered-By: @benjaminp

bpo-23878: Remove an unneeded fseek() call in _Py_FindEnvConfigValue() (GH-15424)

closes bpo-37965: Fix compiler warning of distutils CCompiler.test_function. (GH-15560)

https://bugs.python.org/issue37965

https://bugs.python.org/issue37965

Automerge-Triggered-By: @benjaminp

bpo-36582: Make collections.UserString.encode() return bytes, not str (GH-13138)

bpo-37951: Lift subprocess's fork() restriction (GH-15544)

Add Florian Ernst to ACKS (GH-15524)

bpo-37936: Remove some .gitignore rules that were intended locally. (GH-15542)

These appeared in commit c5ae169e1.  The comment on them, as well as
the presence among them of a rule for the .gitignore file itself,
indicate that the author intended these lines to remain only in their
own local working tree -- not to get committed even to their own repo,
let alone merged upstream.

They did nevertheless get committed, because it turns out that Git
takes no notice of what .gitignore says about files that it's already
tracking... for example, this .gitignore file itself.

Give effect to these lines' original intention, by deleting them. :-)

Git tip, for reference: the `.git/info/exclude` file is a handy way
to do exactly what these lines were originally intended to do.  A
related handy file is `~/.config/git/ignore`.  See gitignore(5),
aka `git help ignore`, for details.

https://bugs.python.org/issue37936

Automerge-Triggered-By: @zware

Fix unused variable and signed/unsigned warnings (GH-15537)

bpo-36205: Fix the rusage implementation of time.process_time() (GH-15538)

bpo-37328: remove deprecated HTMLParser.unescape (GH-14186)

It is deprecated since Python 3.4.

bpo-36763: Make Py_BytesMain() public (GH-15532)

Declare Py_BytesMain() in Include/pylifecycle.h, rather in
Include/internal/pycore_pylifecycle.h.

Fix an invalid assertEqual() call in test_descr.py (GH-15318)

Make PyXXX_Fini() functions private (GH-15531)

For example, rename PyTuple_Fini() to _PyTuple_Fini().

These functions are only declared in the internal C API.

bpo-37925: Mention --embed in python-config usage (GH-15458)

bpo-37798: Minor code formatting and comment clean-ups. (GH-15526)

bpo-37664: Update ensurepip bundled wheels, again (GH-15483)

/cc @ambv since this needs to be included in 3.8 -- see https://github.com/pypa/pip/issues/6885.

Sorry about the last minute PR!

https://bugs.python.org/issue37664

Automerge-Triggered-By: @zooba

bpo-37055: fix warnings in _blake2 module (GH-14646)

https://bugs.python.org/issue37055

Automerge-Triggered-By: @tiran

correct roman numeral VII description (GH-15523)

Fix typo: Pyssize_t => Py_ssize_t (GH-15411)

bpo-37954: Fix reference leak in the symtable (GH-15514)

Remove leftovers from the times when long long wasn't required (GH-15501)

In a38e9d139929a227e3899fbb638bc46c6cc6d8ba pyconfig.h.in was
manually edited and that edit was overwritten when running autoreconf.

bpo-37947: Adjust correctly the recursion level in symtable for named expressions (GH-15499)

bpo-34679: Restore instantiation Windows IOCP event loop from non-main thread (#15492)

* Restore running proactor event loop from non-main thread

Co-Authored-By: Kyle Stanley <aeros167@gmail.com>

bpo-27575: port set intersection logic into dictview intersection (GH-7696)

bpo-36917: Add default implementation of ast.NodeVisitor.visit_Constant(). (GH-15490)

It emits a deprecation warning and calls corresponding method
visit_Num(), visit_Str(), etc.

bpo-37805: Add tests for json.dump(..., skipkeys=True) (GH-15489)

https://bugs.python.org/issue37805

Automerge-Triggered-By: @methane

bpo-15542: Documentation incorrectly suggests __init__ called after direct  __new__ call (GH-15478)

bpo-37824: Properly handle user input warnings in IDLE shell. (GH-15500)

Cease turning SyntaxWarnings into SyntaxErrors.

Doc: Keep the venv/* exclude pattern. (GH-15229)

In case it has been previously created.

bpo-29553: Fix ArgumentParser.format_usage() for mutually exclusive groups (GH-14976)

Co-authored-by: Andrew Nester <andrew.nester.dev@gmail.com>

bpo-37757: Disallow PEP 572 cases that expose implementation details (GH-15131)

- drop TargetScopeError in favour of raising SyntaxError directly
  as per the updated PEP 572
- comprehension iteration variables are explicitly local, but
  named expression targets in comprehensions are nonlocal or
  global. Raise SyntaxError as specified in PEP 572
- named expression targets in the outermost iterable of a
  comprehension have an ambiguous target scope. Avoid resolving
  that question now by raising SyntaxError. PEP 572
  originally required this only for cases where the bound name
  conflicts with the iteration variable in the comprehension,
  but CPython can't easily restrict the exception to that case
  (as it doesn't know the target variable names when visiting
  the outermost iterator expression)

bpo-34880: Add the LOAD_ASSERTION_ERROR opcode. (GH-15073)

Fix assert statement misbehavior if AssertionError is shadowed.

bpo-37905: Improve docs for NormalDist (GH-15486)

bpo-37929: IDLE: avoid Squeezer-related config dialog crashes (GH-15452)

These were caused by keeping around a reference to the Squeezer
instance and calling it's load_font() upon config changes, which
sometimes happened even if the shell window no longer existed.

This change completely removes that mechanism, instead having the
editor window properly update its width attribute, which can then
be used by Squeezer.

bpo-37942: Improve argument clinic float converter (GH-15470)

bpo-19072: Make @classmethod support chained decorators (GH-8405)

Fix typo and rearrange words in IDLE news item (GH-15471)

Redo of #15402 by GeeTransit and Kyle Stanley.

Clarify argument types in datetime docs. (GH-15459)

"Arguments may be integers... " could be misunderstand as they also
could be strings.

New wording makes it clear that arguments have to be integers.

modified:   Doc/library/datetime.rst

Automerge-Triggered-By: @pganssle

bpo-14112: Allow beginners to explore shallowness in greater depth ;-) (GH-15465)

Revert "(TH-15402)" (#15468)

This reverts commit a50f0a4c2bd997e4534162ecc1853cb54c7ae902.

Fix typos in the documentation of Parser/pgen (GH-15416)

Co-Authored-By: Antoine <43954001+awecx@users.noreply.github.com>

bpo-37798: Test both Python and C versions in test_statistics.py (GH-15453)

bpo-32118:  Simplify docs for sequence comparison (GH-15450)

bpo-37812: Convert CHECK_SMALL_INT macro to a function so the return is explicit. (GH-15216)

(TH-15402)

bpo-37772: fix zipfile.Path.iterdir() outputs (GH-15170)

* fix Path._add_implied_dirs to include all implied directories

* fix Path._add_implied_dirs to include all implied directories

* Optimize code by using sets instead of lists

* 📜🤖 Added by blurb_it.

* fix Path._add_implied_dirs to include all implied directories

* Optimize code by using sets instead of lists

* 📜🤖 Added by blurb_it.

* Add tests to zipfile.Path.iterdir() fix

* Update test for zipfile.Path.iterdir()

* remove whitespace from test file

* Rewrite NEWS blurb to describe the user-facing impact and avoid implementation details.

* remove redundant [] within set comprehension

* Update to use unique_everseen to maintain order and other suggestions in review

* remove whitespace and add back add_dirs in tests

* Add new standalone function parents using posixpath to get parents of a directory

* removing whitespace (sorry)

* Remove import pathlib from zipfile.py

* Rewrite _parents as a slice on a generator of the ancestry of a path.

* Remove check for '.' and '/', now that parents no longer returns those.

* Separate calculation of implied dirs from adding those

* Re-use _implied_dirs in tests for generating zipfile with dir entries.

* Replace three fixtures (abcde, abcdef, abde) with one representative example alpharep.

* Simplify implementation of _implied_dirs by collapsing the generation of parent directories for each name.

bpo-37830: Fix compilation of break and continue in finally. (GH-15320)

Fix compilation of "break" and "continue" in the
"finally" block when the corresponding "try" block
contains "return" with a non-constant value.

bpo-29535: Remove promize about hash randomization of datetime objects. (GH-15269)

bpo-19119: Remove invalid test and rename a misnamed test (GH-15442)

Fix link to changelog in 3.9 What's New page (GH-15445)

Fix funny typo in  Doc/bugs. (GH-15412)

Fix typo in description of link to mozilla bug report writing guidelines.

Though the URL is misleading, we're indeed trying to write bug _reports_, not to add bugs.

Automerge-Triggered-By: @ned-deily

bpo-37798: Add C fastpath for statistics.NormalDist.inv_cdf() (GH-15266)

bpo-37549: os.dup() fails for standard streams on Windows 7 (GH-15389)

bpo-26589: Add http status code 451 (GH-15413)

bpo-36763: PyConfig_Read() handles PySys_AddXOption() (GH-15431)

PyConfig_Read() is now responsible to handle early calls to
PySys_AddXOption() and PySys_AddWarnOption().

Options added by PySys_AddXOption() are now handled the same way than
PyConfig.xoptions and command line -X options.

For example, PySys_AddXOption(L"faulthandler") enables faulthandler
as expected.

bpo-36763, doc: Add links in the new C API init doc (GH-15433)

bpo-36763: Implement PyWideStringList_Insert() of PEP 587 (GH-15423)

Fix _PyTime_MIN/MAX values (GH-15384)

_PyTime_t type is defined as int64_t, and so min/max are INT64_MIN/INT64_MAX,
not PY_LLONG_MIN/PY_LLONG_MAX.

bpo-14465: Add an indent() function to xml.etree.ElementTree to pretty-print XML trees (GH-15200)

test_gdb: use unittest test discovery (GH-15405)

Replace test.support.run_unittest() with unittest.main()
to automatically discover test cases, instead of having
an maintaing manually a list which may be incomplete.

Remove also an unused variable.

bpo-37531: Fix regrtest _timedout() function on timeout (GH-15419)

Fix code handling TimeoutExpired exception in _timedout().

bpo-37926: Fix PySys_SetArgvEx(0, NULL, 0) crash (GH-15415)

empty_argv is no longer static in Python 3.8, but it is declared in
a temporary scope, whereas argv keeps a reference to it.
empty_argv memory (allocated on the stack) is reused by
make_sys_argv() code which is inlined when using gcc -O3.

Define empty_argv in PySys_SetArgvEx() body, to ensure
that it remains valid for the whole lifetime of
the PySys_SetArgvEx() call.

Correct minor grammar mistake (GH-15404)

bpo-30826: Improve control flow examples (GH-15407)

bpo-12634: Clarify an awkward section of the tutorial (GH-15406)

bpo-30550: Clarify JSON ordering guarantees (GH-15397)

bpo-37915: Fix comparison between tzinfo objects and timezone objects (GH-15390)

https://bugs.python.org/issue37915

Automerge-Triggered-By: @pablogsal

bpo-28556: Add a regression test to typing (GH-15396)

This adds a regression test for the issue found in the Python 2 backport, see https://github.com/python/typing/issues/656

https://bugs.python.org/issue28556

bpo-32554: Deprecate hashing arbitrary types in random.seed() (GH-15382)

bpo-14050: Note that not all data can be sorted (GH-15381)

bpo-27961: Remove leftovers from the times when long long wasn't required (GH-15388)

Add missing space to warning message (GH-14915)

This typo was introduced in GH-13409 when changing the message text.

Refactor Parser/pgen and add documentation and explanations (GH-15373)

* Refactor Parser/pgen and add documentation and explanations

To improve the readability and maintainability of the parser
generator perform the following transformations:

    * Separate the metagrammar parser in its own class to simplify
      the parser generator logic.

    * Create separate classes for DFAs and NFAs and move methods that
      act exclusively on them from the parser generator to these
      classes.

    * Add docstrings and comment documenting the process to go from
      the grammar file into NFAs and then DFAs. Detail some of the
      algorithms and give some background explanations of some concepts
      that will helps readers not familiar with the parser generation
      process.

    * Select more descriptive names for some variables and variables.

    * PEP8 formatting and quote-style homogenization.

The output of the parser generator remains the same (Include/graminit.h
and Python/graminit.c remain untouched by running the new parser generator).

bpo-37834: Fix test on Windows 7 (GH-15377)

bpo-9949: Call normpath() in realpath() and avoid unnecessary prefixes (GH-15369)

bpo-36311: Fixes decoding multibyte characters around chunk boundaries and improves decoding performance (GH-15083)

bpo-37482: Fix email address name with encoded words and special chars (GH-14561)

Special characters in email address header display names are normally
put within double quotes. However, encoded words (=?charset?x?...?=) are
not allowed withing double quotes. When the header contains a word with
special characters and another word that must be encoded, the first one
must also be encoded.

In the next example, the display name in the From header is quoted and
therefore the comma is allowed; in the To header, the comma is not
within quotes and not encoded, which is not allowed and therefore
rejected by some mail servers.

From: "Foo Bar, France" <foo@example.com>
To: Foo Bar, =?utf-8?q?Espa=C3=B1a?= <foo@example.com>

https://bugs.python.org/issue37482

bpo-37663: have venv activation scripts all consistently use __VENV_PROMPT__ for prompt customization (GH-14941)

The activation scripts generated by venv were inconsistent in how they changed the shell's prompt. Some used `__VENV_PROMPT__` exclusively, some used `__VENV_PROMPT__` if it was set even though by default `__VENV_PROMPT__` is always set and the fallback matched the default, and one ignored `__VENV_PROMPT__` and used `__VENV_NAME__` instead (and even used a differing format to the default prompt). This change now has all activation scripts use `__VENV_PROMPT__` only and relies on the fact that venv sets that value by default.

The color of the customization is also now set in fish to the blue from the Python logo for as hex color support is built into that shell (much like PowerShell where the built-in green color is used).

bpo-37834: Normalise handling of reparse points on Windows (GH-15231)

bpo-37834: Normalise handling of reparse points on Windows
* ntpath.realpath() and nt.stat() will traverse all supported reparse points (previously was mixed)
* nt.lstat() will let the OS traverse reparse points that are not name surrogates (previously would not traverse any reparse point)
* nt.[l]stat() will only set S_IFLNK for symlinks (previous behaviour)
* nt.readlink() will read destinations for symlinks and junction points only

bpo-1311: os.path.exists('nul') now returns True on Windows
* nt.stat('nul').st_mode is now S_IFCHR (previously was an error)

Revert mode change that loses information in directory listings on Linux. (#15366)

bpo-9949: Enable symlink traversal for ntpath.realpath (GH-15287)

Fix difflib `?` hint in diff output when dealing with tabs (#15201)

Update asyncio.ensure_future() documentation (GH-15347)

Added back mention that ensure_future actually scheduled obj. This documentation just mentions what ensure_future returns, so I did not realize that ensure_future also schedules obj.

bpo-37751: Fix codecs.lookup() normalization (GH-15092)

Fix codecs.lookup() to normalize the encoding name the same way
than encodings.normalize_encoding(), except that codecs.lookup()
also converts the name to lower case.