bpo-36419: IDLE - Refactor autocompete and improve testing. (#15121)

Adds Tim Hopper and Dan Lidral-Porter to ACKS (GH-15101)

Tim and Dan were authors for GH-11847

bpo-37748: Re-order the Run menu. (GH-15115)

Put the most common choice, Run Module, at the top.

Update itertools docs (GH-15114)

* Remove suggestion that is less relevant now that global lookups are much faster
* Add link for installing the recipes

bpo-28292: Mark calendar.py helper functions as private. (GH-15113)

bpo-36324: Update comments to include the target hash sums (GH-15110)

bpo-37706: IDLE - fix sidebar code bug and drag tests (GH-15103)

Convert mouse y to line number in the sidebar rather than the text.

bpo-37648: Fixed minor inconsistency in some __contains__. (GH-14904)

The collection's item is now always at the left and
the needle is on the right of ==.

bpo-37685: Fixed comparisons of datetime.timedelta and datetime.timezone. (GH-14996)

There was a discrepancy between the Python and C implementations.

Add singletons ALWAYS_EQ, LARGEST and SMALLEST in test.support
to test mixed type comparison.

Correct description of HTTP status code 308. (GH-15078)

Permanent redirect was explained as a temporary redirect.

bpo-18049: Define THREAD_STACK_SIZE for AIX to pass default recursion limit test (GH-15081)

* Define THREAD_STACK_SIZE for AIX to pass default recursion limit test

bpo-37444: Update differing exception between builtins and importlib (GH-14869)

Imports now raise `TypeError` instead of `ValueError` for relative import failures. This makes things consistent between `builtins.__import__` and `importlib.__import__` as well as using a more natural import for the failure.

https://bugs.python.org/issue37444

Automerge-Triggered-By: @brettcannon

bpo-30974: Change os.path.samefile docstring to match docs (GH-7337)

bpo-20523: pdb searches for .pdbrc in ~ instead of $HOME (GH-11847)

Previously pdb checked the $HOME environmental variable
to find the user .pdbrc. If $HOME is not set, the user
.pdbrc would not be found.

Change pdb to use `os.path.expanduser('~')` to determine
the user's home directory. Thus, if $HOME is not set (as
in tox or on Windows), os.path.expanduser('~') falls
back on other techniques for locating the user's home
directory.

This follows pip's implementation for loading .piprc.

Co-authored-by: Dan Lidral-Porter <dlp@aperiodic.org>

bpo-36590: Add Bluetooth RFCOMM and support for Windows. (GH-12767)

Support for RFCOMM, L2CAP, HCI, SCO is based on the BTPROTO_* macros
being defined. Winsock only supports RFCOMM, even though it has a
BTHPROTO_L2CAP macro. L2CAP support would build on windows, but not
necessarily work.

This also adds some basic unittests for constants (all of which existed
prior to this commit, just not on windows) and creating sockets.

pair: Nate Duarte <slacknate@gmail.com>

bpo-37742: Return the root logger when logging.getLogger('root') is c… (#15077)

* bpo-37742: Return the root logger when logging.getLogger('root') is called.

* Added type check guard on logger name in logging.getLogger() and refined a test.

bpo-36487: Make C-API docs  clear about what the main interpreter is. (gh-12666)

bpo-37729: gc: write stats at once (GH-15050)

gc used several PySys_WriteStderr() calls to write stats.
It caused stats mixed up when stderr is shared by multiple
processes like this:

  gc: collecting generation 2...
  gc: objects in each generation: 0 0gc: collecting generation 2...
  gc: objects in each generation: 0 0 126077 126077
  gc: objects in permanent generation: 0

  gc: objects in permanent generation: 0
  gc: done, 112575 unreachable, 0 uncollectablegc: done, 112575 unreachable, 0 uncollectable, 0.2223s elapsed
  , 0.2344s elapsed

bpo-16970: Adding error message for invalid args (GH-14844)

BPO -16970: Adding error message for invalid args

Applied the patch argparse-v2 patch issue 16970, ran patch check and the test suite, test_argparse with 0 errors

https://bugs.python.org/issue16970

bpo-37726: Prefer argparse over getopt in stdlib tutorial (#15052)

bpo-36302: Sort list of sources (GH-12341)

When building packages (e.g. for openSUSE Linux)
(random) filesystem order of input files
influences ordering of functions in the output .so files.
Thus without the patch, builds (in disposable VMs) would usually differ.

Without this patch, all callers have to be patched individually
https://github.com/dugsong/libdnet/pull/42
https://github.com/sass/libsass-python/pull/212
https://github.com/tahoe-lafs/pycryptopp/pull/41
https://github.com/yt-project/yt/pull/2206
https://github.com/pyproj4/pyproj/pull/142
https://github.com/pytries/datrie/pull/49
https://github.com/Roche/pyreadstat/pull/37
but that is an infinite effort.

See https://reproducible-builds.org/ for why this matters.

bpo-18049: Sync thread stack size to main thread size on macOS (GH-14748)

This changeset increases the default size of the stack
for threads on macOS to the size of the stack
of the main thread and reenables the relevant
recursion test.

bpo-37730: Fix usage of NotImplemented instead of NotImplementedError in docs. (GH-15062)

bpo-37723: Fix performance regression on regular expression parsing. (GH-15030)

Improve performance of sre_parse._uniq function.

bpo-34101: Add doc of PyBuffer_GetPointer (GH-14994)

bpo-37695: Correct unget_wch error message. (GH-14986)

bpo-37085: Expose SocketCAN bcm_msg_head flags (#13646)

Expose the CAN_BCM SocketCAN constants used in the bcm_msg_head struct
flags (provided by <linux/can/bcm.h>) under the socket library.

This adds the following constants with a CAN_BCM prefix:

  * SETTIMER
  * STARTTIMER
  * TX_COUNTEVT
  * TX_ANNOUNCE
  * TX_CP_CAN_ID
  * RX_FILTER_ID
  * RX_CHECK_DLC
  * RX_NO_AUTOTIMER
  * RX_ANNOUNCE_RESUME
  * TX_RESET_MULTI_IDX
  * RX_RTR_FRAME
  * CAN_FD_FRAME

The CAN_FD_FRAME flag was introduced in the 4.8 kernel, while the other
ones were present since SocketCAN drivers were mainlined in 2.6.25. As
such, it is probably unnecessary to guard against these constants being
missing.

Refined Qt GUI example in the logging cookbook. (GH-15045)

IDLE: changelog correction and addition (GH-15042)

bpo-33821: Update IDLE section of What's New 3.7 (#15036)

* bpo-33821: Update IDLE section of What's New 3.7

* Fix roles.

bpo-33822: Add IDLE section of What's New 3.8 (#15035)

* bpo-33822: Add IDLE section of What's New 3.8

* Fix role.

bpo-34162: Add missing items to idlelib/NEWS.txt. (GH-15034)

Fix typos in comments, docs and test names (#15018)

* Fix typos in comments, docs and test names

* Update test_pyparse.py

account for change in string length

* Apply suggestion: splitable -> splittable

Co-Authored-By: Terry Jan Reedy <tjreedy@udel.edu>
* Apply suggestion: splitable -> splittable

Co-Authored-By: Terry Jan Reedy <tjreedy@udel.edu>
* Apply suggestion: Dealloccte -> Deallocate

Co-Authored-By: Terry Jan Reedy <tjreedy@udel.edu>
* Update posixmodule checksum.

* Reverse idlelib changes.

Fix idlelib typos discovered by min ho, pr 15018. (GH-15029)

bpo-36084: Add threading Native ID information to What's New documentation (GH-14845)

Don't skip pickle check_frame_opcodes() (GH-15025)

This looks like the only place that proto 4 framing gets exercised
so leave it as part of the PGO task.

bpo-37707: Exclude expensive unit tests from PGO task (GH-15009)

Mark some individual tests to skip when --pgo is used.  The tests
marked increase the PGO task time significantly and likely don't
help improve optimization of the final executable.

bpo-37704: Remove Tools/scripts/h2py.py (GH-15000)

Use cffi to access a C API in Python.

bpo-37587: Make json.loads faster for long strings (GH-14752)

When scanning the string, most characters are valid, so
checking for invalid characters first means never needing
to check the value of strict on valid strings, and only
needing to check it on invalid characters when doing
non-strict parsing of invalid strings.

This provides a measurable reduction in per-character
processing time (~11% in the pre-merge patch testing).

bpo-37268: Add deprecation notice and a DeprecationWarning for the parser module (GH-15017)

Deprecate the parser module and add a deprecation warning triggered on import and a warning block in the documentation.

https://bugs.python.org/issue37268

Automerge-Triggered-By: @pablogsal

bpo-34162: Update idlelib/news.txt. (#15011)

bpo-37706: Disable 3 IDLE scrollbar tests on Mac. (#15010)

They pass with tk 8.5.9 (Azure) but fail with the 8.6.x we install.

Fix publishing of Windows release (GH-15006)

Add additional test for multi-line SyntaxError (GH-15003)

Fix `SyntaxError` indicator printing too many spaces for multi-line strings (GH-14433)

bpo-36044: Avoid warnings in Windows PGO build and add lzma, bz2 and sqlite coverage (GH-14985)

https://bugs.python.org/issue36044

Automerge-Triggered-By: @zooba

bpo-37697: Sync with importlib_metadata 0.19 (#14993)

* bpo-37697: Sync with importlib_metadata 0.19

* Run make regen-importlib

* 📜🤖 Added by blurb_it.

bpo-37692: Improve highlight config sample (#14983)

Use an example shell interaction in the sample and better labels for shell elements.

Remove trailing .0 from version changed note (GH-14987)

bpo-37691: Let math.dist() accept sequences and iterables for coordinates (GH-14975)

bpo-37628: Fix IDLE config sample sizes (#14958)

The boxes for the font and highlight samples are now constrained by the overall config dialog size.  They gain scrollbars when the when a large font size makes the samples too large for the box.

Add Qt GUI example to the logging cookbook. (GH-14978)

bpo-17535: Increase line number horizontal padding by 2 pixels (GH-14959)

bpo-32910: Remove implementation detail in venv documentation. (GH-14968)

bpo-35524: Update Windows installer image in docs (GH-14966)

bpo-37664: Update regex for ignoring cache warning on some buildbots (GH-14960)

bpo-37340: remove free_list for bound method objects (GH-14232)

bpo-29446: tkinter 'import *' only imports what it should (GH-14864)

Add __all__ to tkinter.__init__ and submodules.  Replace 'import *'
with explicit imports in some submodules.

bpo-37641 preserve relative file location in embeddable zip (GH-14884)

Previously, pyc files in the embeddable distribution reported their
location as <build path>/<file stem>.py. This causes a little confusion
when interpreting stack traces as the file is in a (almost certainly)
incorrect location, and lacks the full relative path to Lib (e.g.
email/mime/image.py will only show image.py).

This change preserves the Lib relative location of the source file as a
path so that stack traces are (hopefully) less misleading and more
informative.

Co-Authored-By: Kyle Stanley <aeros167@gmail.com>

Swap 'if' branches so content matches to condition in importlib example (GH-14947)

Prior to this change the guard on an 'elif' used an assignment expression whose value was used in a later 'else' block, causing some confusion for people.

(Discussion on Twitter: https://twitter.com/brettsky/status/1153861041068994566.)

Automerge-Triggered-By: @brettcannon

bpo-37502: handle default parameter for buffers argument of pickle.loads correctly (GH-14593)

closes bpo-37675: Use pkgutil.iter_modules to find fixers in a package rather than listdir. (14942)

bpo-37672: Switch Windows Store package to use pip.ini for user mode (GH-14939)

Remove duplicate call to strip method in Parser/pgen/token.py (GH-14938)

bpo-37664: Update bundled pip to 19.2.1 and setuptools to 41.0.1 (GH-14934)

bpo-34160: explain how to deal with attribute order in ElementTree (GH-14867)

* Fix the formatting in the documentation of the tostring() functions.

* bpo-34160: Document that the tostring() and tostringlist() functions also preserve the attribute order now.

* bpo-34160: Add an explanation of how users should deal with the attribute order.

bpo-37399: Correctly attach tail text to the last element/comment/pi (GH-14856)

* bpo-37399: Correctly attach tail text to the last element/comment/pi, even when comments or pis are discarded.
Also fixes the insertion of PIs when "insert_pis=True" is configured for a TreeBuilder.

bpo-29548: deprecate PyEval_Call* functions (GH-14804)

bpo-37667: Add regression test for regrtest. (GH-14929)

Verify that it appears to find roughly the right number of tests in the stdlib's testsuite.

Only setup PGO tests when --pgo is enabled. (GH-14927)

Touch up venv docs (GH-14922)

bpo-29446: IDLE -- add explicit imports (GH-14919)

Stop depending on tkinter import *.

bpo-37653: Fix libinstall target in Makefile (GH-14911)

bpo-17535: IDLE editor line numbers (GH-14030)

bpo-33610: validate non-negative integer inputs in IDLE's config (GH-14822)

bpo-36044: Reduce number of unit tests run for PGO build (GH-14702)

Reduce the number of unit tests run for the PGO generation task.  This
speeds up the task by a factor of about 15x.  Running the full unit test
suite is slow.  This change may result in a slightly less optimized build
since not as many code branches will be executed.  If you are willing to
wait for the much slower build, the old behavior can be restored using
'./configure [..] PROFILE_TASK="-m test --pgo-extended"'.  We make no
guarantees as to which PGO task set produces a faster build.  Users who
care should run their own relevant benchmarks as results can depend on
the environment, workload, and compiler tool chain.

Update logging cookbook to show multiple worker processes using the concurrent.futures module. (#14905)

bpo-21478: Record calls to parent when autospecced objects are used as child with attach_mock (GH 14688)

* Clear name and parent of mock in autospecced objects used with attach_mock

* Add NEWS entry

* Fix reversed order of comparison

* Test child and standalone function calls

* Use a helper function extracting mock to avoid code duplication and refactor tests.

Add examples to elucidate the formulas (GH-14898)

bpo-37627: Add acknowledgment (#14883)

Fix typos in docs, comments and test assert messages (#14872)

Fix typo found by Min ho Kim (#14879)

Minor whitespace, indentation, and quoting changes to improve internal consistency and appease linters (GH-14888)

Bpo-37644: update suspicious.csv for distutils/examples (GH-14885)

bpo-37627: Initialize IDLE Custom Run dialog with previous entries (#14870)

Repeat the command line arguments most recently entered before so the user can edit them.

bpo-36324: Make internal attributes for statistics.NormalDist() private. (GH-14871)

* Make internals private

* Finish making mu and sigma private

* Add missing __hash__() method

* Add blurb

bpo-37476: Adding tests for asutf8 and asutf8andsize (GH-14531)

bpo-36546:  Clean-up comments (GH-14857)

bpo-37624: Document weight assumptions for random.choices() (GH-14855)

bpo-37547: Fix a compiler warning in winconsoleio.c (GH-14785)

The compiler warning was introduced in
59ad110d7a7784d53d0b502eebce0346597a6bef.

bpo-37610: improve Using Python doc wrt Editors & IDE (GH-14850)

Move the Editors and IDE section out of the Unix section, to its own section.

https://bugs.python.org/issue37610

bpo-33610: IDLE's code-context always shows current context immediately (GH-14821)

Eliminate delay of up to 100ms and accompanying visual artifact.
Fix bug of never showing context when hide and show.

bpo-34443: Use __qualname__ instead of __name__ in enum exception messages. (GH-14809)

* Use __qualname__ instead of __name__ in enum exception messages.

Adjust builtins.zip() docstring to better communicate its signature (GH-14833)

bpo-37552: Skip failing tests in strptime/strftime with UCRT version 17763.615 (#14460)

A bug in MSVC UCRT version 17763.615 (which has been fixed in newer versions) is causing test failures in some strptime/strftime tests when the default code page is c65001. This change selectively skips the tests affected by this.

bpo-36390: Gather IDLE Format menu functions into format.py (#14827)

Add two indent spec methods from editor and Rstrip to existing file.
Tests are not added for indent methods because they need change
in lights of 3.x's prohibition on mixing tabs and spaces.

bpo-34155: Dont parse domains containing @ (GH-13079)

Before:

        >>> email.message_from_string('From: a@malicious.org@important.com', policy=email.policy.default)['from'].addresses
        (Address(display_name='', username='a', domain='malicious.org'),)

        >>> parseaddr('a@malicious.org@important.com')
        ('', 'a@malicious.org')

    After:

        >>> email.message_from_string('From: a@malicious.org@important.com', policy=email.policy.default)['from'].addresses
        (Address(display_name='', username='', domain=''),)

        >>> parseaddr('a@malicious.org@important.com')
        ('', 'a@')

https://bugs.python.org/issue34155

Fix IndexError when parsing unexpectedly ending quoted-string. (GH-14813)

This exception was caused because the input ended unexpectedly with only one
single quote instead of a pair with some value inside it.

bpo-37461: Fix infinite loop in parsing of specially crafted email headers (GH-14794)

* bpo-37461: Fix infinite loop in parsing of specially crafted email headers.

Some crafted email header would cause the get_parameter method to run in an
infinite loop causing a DoS attack surface when parsing those headers. This
patch fixes that by making sure the DQUOTE character is handled to prevent
going into an infinite loop.

bpo-36390: IDLE: Combine region formatting methods. (GH-12481)

Rename paragraph.py to format.py and add region formatting methods
from editor.py.  Add tests for the latter.