bpo-25172: Add test for crypt ImportError on Windows (GH-15252)

bpo-37689: add Path.is_relative_to() method (GH-14982)

bpo-37814: Document the empty tuple type annotation syntax (GH-15208)

https://bugs.python.org/issue37814:

> The empty tuple syntax in type annotations, `Tuple[()]`, is not obvious from the examples given in the documentation (I naively expected `Tuple[]` to work); it has been documented in PEP 484 and in mypy, but not in the documentation for the typing module.

https://bugs.python.org/issue37814

bpo-37583: Add err 113 to support.get_socket_conn_refused_errs() (GH-14729)

Add error number 113 EHOSTUNREACH to get_socket_conn_refused_errs()
of test.support.

bpo-37841: Remove python_uwp dependency on msvcp140.dll (GH-15253)

bpo-37760: Constant-fold some old options in makeunicodedata. (GH-15129)

The `expand` option was introduced in 2000 in commit fad27aee1.
It appears to have been always set since it was committed, and
what it does is tell the code to do something essential.  So,
just always do that, and cut the option.

Also cut the `linebreakprops` option, which isn't consulted anymore.

bpo-37758: Clean out vestigial script-bits from test_unicodedata. (GH-15126)

This file started life as a script, before conversion to a
`unittest` test file.  Clear out some legacies of that conversion
that are a bit confusing about how it works.

Most notably, it's unlikely there's still a good reason to try
to recover from `unicodedata` failing to import -- as there was
when that logic was first added, when the module was very new.
So take that out entirely.  Keep `self.db` working, though, to
avoid a noisy diff.

bpo-37760: Mark all generated Unicode data headers as generated. (GH-15171)

This causes them to be collapsed by default in diffs shown on GitHub.

https://bugs.python.org/issue37760

Automerge-Triggered-By: @benjaminp

bpo-37760: Factor out the basic UCD parsing logic of makeunicodedata. (GH-15130)

There were 10 copies of this, and almost as many distinct versions of
exactly how it was written.  They're all implementing the same
standard.  Pull them out to the top, so the more interesting logic
that remains becomes easier to read.

bpo-37759: Second round of edits to Whatsnew 3.8 (GH-15204)

Remove versioned executables from non-APPX packages (GH-15237)

bpo-37354: Sign Activate.ps1 for release (GH-15235)

bpo-37354: Make Powershell Activate.ps1 script static to allow for signing (GH-14967)

- Remove use of replacement text in the script
- Make use of the pyvenv.cfg file for prompt value.
- Add parameters to allow more flexibility
- Make use of the current path, and assumptions about where env puts things, to compensate
- Make the script a bit more 'idiomatic' Powershell
- Add script documentation (Get-Help .\.venv\Scripts\Activate.ps1 shows PS help page now

bpo-37804: Remove the deprecated method threading.Thread.isAlive() (GH-15225)

Fix docs for assert_called and assert_called_once (#15197)

bpo-37819: Add Fraction.as_integer_ratio() (GH-15212)

bpo-32178: Fix IndexError trying to parse 'To' header starting with ':'. (GH-15044)

This should fix the IndexError trying to retrieve `DisplayName.display_name` and `DisplayName.value` when the `value` is basically an empty string.

https://bugs.python.org/issue32178

Delete leftover clinic-generated file for C zipimport. (GH-15174)

bpo-32912: Revert SyntaxWarning on invalid escape sequences. (GH-15195)

DeprecationWarning will continue to be emitted for invalid escape
sequences in string and bytes literals just as it did in 3.7.

SyntaxWarning may be emitted in the future. But per mailing list
discussion, we don't yet know when because we haven't settled on how to
do so in a non-disruptive manner.

(Applies 4c5b6bac2408f879231c7cd38d67657dd4804e7c to the master branch).
(This is https://github.com/python/cpython/pull/15142 for master/3.9)

https://bugs.python.org/issue32912

Automerge-Triggered-By: @gpshead

bpo-37642: Update acceptable offsets in timezone (GH-14878)

This fixes an inconsistency between the Python and C implementations of
the datetime module. The pure python version of the code was not
accepting offsets greater than 23:59 but less than 24:00. This is an
accidental legacy of the original implementation, which was put in place
before tzinfo allowed sub-minute time zone offsets.

GH-14878

bpo-36511: Fix failures in Windows ARM32 buildbot (GH-15181)

bpo-37795: Capture DeprecationWarnings in the test suite (GH-15184)

bpo-37268: test_parser fails when run with -Werror (GH-15183)

Use warnings.filterwarnings() when importing the deprecated parser
module.

@pablogsal

https://bugs.python.org/issue37268

Automerge-Triggered-By: @pablogsal

bpo-25172: Raise appropriate ImportError msg when crypt module used on Windows (GH-15149)

bpo-37587: optimize json.loads (GH-15134)

Use a tighter scope temporary variable to help register allocation.
1% speedup for large string.

Use PyDict_SetItemDefault() for memoizing keys.
At most 4% speedup when the cache hit ratio is low.

bpo-35892: Add usage note to mode() (GH-15122)

bpo-37685: Use singletons ALWAYS_EQ and NEVER_EQ in more tests. (GH-15167)

bpo-37685: Fixed __eq__, __lt__ etc implementations in some classes. (GH-14952)

They now return NotImplemented for unsupported type of the other operand.

bpo-34775: Return NotImplemented in PurePath division. (GH-9509)

bpo-37734: Remove unnecessary brace escapes in PC/layout script (GH-15165)

bpo-37778: Fixes the icons used for file associations to the Microsoft Store package (GH-15150)

bpo-37734: Fix use of registry values to launch Python from Microsoft Store app (GH-15146)

Update pickle.rst (GH-14128)

* Edits for readability and grammar

bpo-37004: Documented asymmetry of string arguments in difflib.SequenceMatcher for ratio method (GH-13482)

https://bugs.python.org/issue37004

bpo-37646:  Document that eval() cannot access nested scopes (GH-15117)

bpo-34488: optimize BytesIO.writelines() (GH-8904)

Avoid the creation of unused int object for each line.

Make importlib.metadata a simple module (#15153)

Improve signal documentation (GH-14274)

* add a missing ``.. availability::`` reST explicit markup;
* more consistent "see man page" sentences.

bpo-37759:  First round of major edits to Whatsnew 3.8 (GH-15127)

bpo-36419: IDLE - Refactor autocompete and improve testing. (#15121)

Adds Tim Hopper and Dan Lidral-Porter to ACKS (GH-15101)

Tim and Dan were authors for GH-11847

bpo-37748: Re-order the Run menu. (GH-15115)

Put the most common choice, Run Module, at the top.

Update itertools docs (GH-15114)

* Remove suggestion that is less relevant now that global lookups are much faster
* Add link for installing the recipes

bpo-28292: Mark calendar.py helper functions as private. (GH-15113)

bpo-36324: Update comments to include the target hash sums (GH-15110)

bpo-37706: IDLE - fix sidebar code bug and drag tests (GH-15103)

Convert mouse y to line number in the sidebar rather than the text.

bpo-37648: Fixed minor inconsistency in some __contains__. (GH-14904)

The collection's item is now always at the left and
the needle is on the right of ==.

bpo-37685: Fixed comparisons of datetime.timedelta and datetime.timezone. (GH-14996)

There was a discrepancy between the Python and C implementations.

Add singletons ALWAYS_EQ, LARGEST and SMALLEST in test.support
to test mixed type comparison.

Correct description of HTTP status code 308. (GH-15078)

Permanent redirect was explained as a temporary redirect.

bpo-18049: Define THREAD_STACK_SIZE for AIX to pass default recursion limit test (GH-15081)

* Define THREAD_STACK_SIZE for AIX to pass default recursion limit test

bpo-37444: Update differing exception between builtins and importlib (GH-14869)

Imports now raise `TypeError` instead of `ValueError` for relative import failures. This makes things consistent between `builtins.__import__` and `importlib.__import__` as well as using a more natural import for the failure.

https://bugs.python.org/issue37444

Automerge-Triggered-By: @brettcannon

bpo-30974: Change os.path.samefile docstring to match docs (GH-7337)

bpo-20523: pdb searches for .pdbrc in ~ instead of $HOME (GH-11847)

Previously pdb checked the $HOME environmental variable
to find the user .pdbrc. If $HOME is not set, the user
.pdbrc would not be found.

Change pdb to use `os.path.expanduser('~')` to determine
the user's home directory. Thus, if $HOME is not set (as
in tox or on Windows), os.path.expanduser('~') falls
back on other techniques for locating the user's home
directory.

This follows pip's implementation for loading .piprc.

Co-authored-by: Dan Lidral-Porter <dlp@aperiodic.org>

bpo-36590: Add Bluetooth RFCOMM and support for Windows. (GH-12767)

Support for RFCOMM, L2CAP, HCI, SCO is based on the BTPROTO_* macros
being defined. Winsock only supports RFCOMM, even though it has a
BTHPROTO_L2CAP macro. L2CAP support would build on windows, but not
necessarily work.

This also adds some basic unittests for constants (all of which existed
prior to this commit, just not on windows) and creating sockets.

pair: Nate Duarte <slacknate@gmail.com>

bpo-37742: Return the root logger when logging.getLogger('root') is c… (#15077)

* bpo-37742: Return the root logger when logging.getLogger('root') is called.

* Added type check guard on logger name in logging.getLogger() and refined a test.

bpo-36487: Make C-API docs  clear about what the main interpreter is. (gh-12666)

bpo-37729: gc: write stats at once (GH-15050)

gc used several PySys_WriteStderr() calls to write stats.
It caused stats mixed up when stderr is shared by multiple
processes like this:

  gc: collecting generation 2...
  gc: objects in each generation: 0 0gc: collecting generation 2...
  gc: objects in each generation: 0 0 126077 126077
  gc: objects in permanent generation: 0

  gc: objects in permanent generation: 0
  gc: done, 112575 unreachable, 0 uncollectablegc: done, 112575 unreachable, 0 uncollectable, 0.2223s elapsed
  , 0.2344s elapsed

bpo-16970: Adding error message for invalid args (GH-14844)

BPO -16970: Adding error message for invalid args

Applied the patch argparse-v2 patch issue 16970, ran patch check and the test suite, test_argparse with 0 errors

https://bugs.python.org/issue16970

bpo-37726: Prefer argparse over getopt in stdlib tutorial (#15052)

bpo-36302: Sort list of sources (GH-12341)

When building packages (e.g. for openSUSE Linux)
(random) filesystem order of input files
influences ordering of functions in the output .so files.
Thus without the patch, builds (in disposable VMs) would usually differ.

Without this patch, all callers have to be patched individually
https://github.com/dugsong/libdnet/pull/42
https://github.com/sass/libsass-python/pull/212
https://github.com/tahoe-lafs/pycryptopp/pull/41
https://github.com/yt-project/yt/pull/2206
https://github.com/pyproj4/pyproj/pull/142
https://github.com/pytries/datrie/pull/49
https://github.com/Roche/pyreadstat/pull/37
but that is an infinite effort.

See https://reproducible-builds.org/ for why this matters.

bpo-18049: Sync thread stack size to main thread size on macOS (GH-14748)

This changeset increases the default size of the stack
for threads on macOS to the size of the stack
of the main thread and reenables the relevant
recursion test.

bpo-37730: Fix usage of NotImplemented instead of NotImplementedError in docs. (GH-15062)

bpo-37723: Fix performance regression on regular expression parsing. (GH-15030)

Improve performance of sre_parse._uniq function.

bpo-34101: Add doc of PyBuffer_GetPointer (GH-14994)

bpo-37695: Correct unget_wch error message. (GH-14986)

bpo-37085: Expose SocketCAN bcm_msg_head flags (#13646)

Expose the CAN_BCM SocketCAN constants used in the bcm_msg_head struct
flags (provided by <linux/can/bcm.h>) under the socket library.

This adds the following constants with a CAN_BCM prefix:

  * SETTIMER
  * STARTTIMER
  * TX_COUNTEVT
  * TX_ANNOUNCE
  * TX_CP_CAN_ID
  * RX_FILTER_ID
  * RX_CHECK_DLC
  * RX_NO_AUTOTIMER
  * RX_ANNOUNCE_RESUME
  * TX_RESET_MULTI_IDX
  * RX_RTR_FRAME
  * CAN_FD_FRAME

The CAN_FD_FRAME flag was introduced in the 4.8 kernel, while the other
ones were present since SocketCAN drivers were mainlined in 2.6.25. As
such, it is probably unnecessary to guard against these constants being
missing.

Refined Qt GUI example in the logging cookbook. (GH-15045)

IDLE: changelog correction and addition (GH-15042)

bpo-33821: Update IDLE section of What's New 3.7 (#15036)

* bpo-33821: Update IDLE section of What's New 3.7

* Fix roles.

bpo-33822: Add IDLE section of What's New 3.8 (#15035)

* bpo-33822: Add IDLE section of What's New 3.8

* Fix role.

bpo-34162: Add missing items to idlelib/NEWS.txt. (GH-15034)

Fix typos in comments, docs and test names (#15018)

* Fix typos in comments, docs and test names

* Update test_pyparse.py

account for change in string length

* Apply suggestion: splitable -> splittable

Co-Authored-By: Terry Jan Reedy <tjreedy@udel.edu>
* Apply suggestion: splitable -> splittable

Co-Authored-By: Terry Jan Reedy <tjreedy@udel.edu>
* Apply suggestion: Dealloccte -> Deallocate

Co-Authored-By: Terry Jan Reedy <tjreedy@udel.edu>
* Update posixmodule checksum.

* Reverse idlelib changes.

Fix idlelib typos discovered by min ho, pr 15018. (GH-15029)

bpo-36084: Add threading Native ID information to What's New documentation (GH-14845)

Don't skip pickle check_frame_opcodes() (GH-15025)

This looks like the only place that proto 4 framing gets exercised
so leave it as part of the PGO task.

bpo-37707: Exclude expensive unit tests from PGO task (GH-15009)

Mark some individual tests to skip when --pgo is used.  The tests
marked increase the PGO task time significantly and likely don't
help improve optimization of the final executable.

bpo-37704: Remove Tools/scripts/h2py.py (GH-15000)

Use cffi to access a C API in Python.

bpo-37587: Make json.loads faster for long strings (GH-14752)

When scanning the string, most characters are valid, so
checking for invalid characters first means never needing
to check the value of strict on valid strings, and only
needing to check it on invalid characters when doing
non-strict parsing of invalid strings.

This provides a measurable reduction in per-character
processing time (~11% in the pre-merge patch testing).

bpo-37268: Add deprecation notice and a DeprecationWarning for the parser module (GH-15017)

Deprecate the parser module and add a deprecation warning triggered on import and a warning block in the documentation.

https://bugs.python.org/issue37268

Automerge-Triggered-By: @pablogsal

bpo-34162: Update idlelib/news.txt. (#15011)

bpo-37706: Disable 3 IDLE scrollbar tests on Mac. (#15010)

They pass with tk 8.5.9 (Azure) but fail with the 8.6.x we install.

Fix publishing of Windows release (GH-15006)

Add additional test for multi-line SyntaxError (GH-15003)

Fix `SyntaxError` indicator printing too many spaces for multi-line strings (GH-14433)

bpo-36044: Avoid warnings in Windows PGO build and add lzma, bz2 and sqlite coverage (GH-14985)

https://bugs.python.org/issue36044

Automerge-Triggered-By: @zooba

bpo-37697: Sync with importlib_metadata 0.19 (#14993)

* bpo-37697: Sync with importlib_metadata 0.19

* Run make regen-importlib

* 📜🤖 Added by blurb_it.

bpo-37692: Improve highlight config sample (#14983)

Use an example shell interaction in the sample and better labels for shell elements.

Remove trailing .0 from version changed note (GH-14987)

bpo-37691: Let math.dist() accept sequences and iterables for coordinates (GH-14975)

bpo-37628: Fix IDLE config sample sizes (#14958)

The boxes for the font and highlight samples are now constrained by the overall config dialog size.  They gain scrollbars when the when a large font size makes the samples too large for the box.

Add Qt GUI example to the logging cookbook. (GH-14978)

bpo-17535: Increase line number horizontal padding by 2 pixels (GH-14959)

bpo-32910: Remove implementation detail in venv documentation. (GH-14968)

bpo-35524: Update Windows installer image in docs (GH-14966)

bpo-37664: Update regex for ignoring cache warning on some buildbots (GH-14960)

bpo-37340: remove free_list for bound method objects (GH-14232)

bpo-29446: tkinter 'import *' only imports what it should (GH-14864)

Add __all__ to tkinter.__init__ and submodules.  Replace 'import *'
with explicit imports in some submodules.

bpo-37641 preserve relative file location in embeddable zip (GH-14884)

Previously, pyc files in the embeddable distribution reported their
location as <build path>/<file stem>.py. This causes a little confusion
when interpreting stack traces as the file is in a (almost certainly)
incorrect location, and lacks the full relative path to Lib (e.g.
email/mime/image.py will only show image.py).

This change preserves the Lib relative location of the source file as a
path so that stack traces are (hopefully) less misleading and more
informative.

Co-Authored-By: Kyle Stanley <aeros167@gmail.com>

Swap 'if' branches so content matches to condition in importlib example (GH-14947)

Prior to this change the guard on an 'elif' used an assignment expression whose value was used in a later 'else' block, causing some confusion for people.

(Discussion on Twitter: https://twitter.com/brettsky/status/1153861041068994566.)

Automerge-Triggered-By: @brettcannon

bpo-37502: handle default parameter for buffers argument of pickle.loads correctly (GH-14593)