Fix idlelib typos discovered by min ho, pr 15018. (GH-15029)

bpo-36084: Add threading Native ID information to What's New documentation (GH-14845)

Don't skip pickle check_frame_opcodes() (GH-15025)

This looks like the only place that proto 4 framing gets exercised
so leave it as part of the PGO task.

bpo-37707: Exclude expensive unit tests from PGO task (GH-15009)

Mark some individual tests to skip when --pgo is used.  The tests
marked increase the PGO task time significantly and likely don't
help improve optimization of the final executable.

bpo-37704: Remove Tools/scripts/h2py.py (GH-15000)

Use cffi to access a C API in Python.

bpo-37587: Make json.loads faster for long strings (GH-14752)

When scanning the string, most characters are valid, so
checking for invalid characters first means never needing
to check the value of strict on valid strings, and only
needing to check it on invalid characters when doing
non-strict parsing of invalid strings.

This provides a measurable reduction in per-character
processing time (~11% in the pre-merge patch testing).

bpo-37268: Add deprecation notice and a DeprecationWarning for the parser module (GH-15017)

Deprecate the parser module and add a deprecation warning triggered on import and a warning block in the documentation.

https://bugs.python.org/issue37268

Automerge-Triggered-By: @pablogsal

bpo-34162: Update idlelib/news.txt. (#15011)

bpo-37706: Disable 3 IDLE scrollbar tests on Mac. (#15010)

They pass with tk 8.5.9 (Azure) but fail with the 8.6.x we install.

Fix publishing of Windows release (GH-15006)

Add additional test for multi-line SyntaxError (GH-15003)

Fix `SyntaxError` indicator printing too many spaces for multi-line strings (GH-14433)

bpo-36044: Avoid warnings in Windows PGO build and add lzma, bz2 and sqlite coverage (GH-14985)

https://bugs.python.org/issue36044

Automerge-Triggered-By: @zooba

bpo-37697: Sync with importlib_metadata 0.19 (#14993)

* bpo-37697: Sync with importlib_metadata 0.19

* Run make regen-importlib

* 📜🤖 Added by blurb_it.

bpo-37692: Improve highlight config sample (#14983)

Use an example shell interaction in the sample and better labels for shell elements.

Remove trailing .0 from version changed note (GH-14987)

bpo-37691: Let math.dist() accept sequences and iterables for coordinates (GH-14975)

bpo-37628: Fix IDLE config sample sizes (#14958)

The boxes for the font and highlight samples are now constrained by the overall config dialog size.  They gain scrollbars when the when a large font size makes the samples too large for the box.

Add Qt GUI example to the logging cookbook. (GH-14978)

bpo-17535: Increase line number horizontal padding by 2 pixels (GH-14959)

bpo-32910: Remove implementation detail in venv documentation. (GH-14968)

bpo-35524: Update Windows installer image in docs (GH-14966)

bpo-37664: Update regex for ignoring cache warning on some buildbots (GH-14960)

bpo-37340: remove free_list for bound method objects (GH-14232)

bpo-29446: tkinter 'import *' only imports what it should (GH-14864)

Add __all__ to tkinter.__init__ and submodules.  Replace 'import *'
with explicit imports in some submodules.

bpo-37641 preserve relative file location in embeddable zip (GH-14884)

Previously, pyc files in the embeddable distribution reported their
location as <build path>/<file stem>.py. This causes a little confusion
when interpreting stack traces as the file is in a (almost certainly)
incorrect location, and lacks the full relative path to Lib (e.g.
email/mime/image.py will only show image.py).

This change preserves the Lib relative location of the source file as a
path so that stack traces are (hopefully) less misleading and more
informative.

Co-Authored-By: Kyle Stanley <aeros167@gmail.com>

Swap 'if' branches so content matches to condition in importlib example (GH-14947)

Prior to this change the guard on an 'elif' used an assignment expression whose value was used in a later 'else' block, causing some confusion for people.

(Discussion on Twitter: https://twitter.com/brettsky/status/1153861041068994566.)

Automerge-Triggered-By: @brettcannon

bpo-37502: handle default parameter for buffers argument of pickle.loads correctly (GH-14593)

closes bpo-37675: Use pkgutil.iter_modules to find fixers in a package rather than listdir. (14942)

bpo-37672: Switch Windows Store package to use pip.ini for user mode (GH-14939)

Remove duplicate call to strip method in Parser/pgen/token.py (GH-14938)

bpo-37664: Update bundled pip to 19.2.1 and setuptools to 41.0.1 (GH-14934)

bpo-34160: explain how to deal with attribute order in ElementTree (GH-14867)

* Fix the formatting in the documentation of the tostring() functions.

* bpo-34160: Document that the tostring() and tostringlist() functions also preserve the attribute order now.

* bpo-34160: Add an explanation of how users should deal with the attribute order.

bpo-37399: Correctly attach tail text to the last element/comment/pi (GH-14856)

* bpo-37399: Correctly attach tail text to the last element/comment/pi, even when comments or pis are discarded.
Also fixes the insertion of PIs when "insert_pis=True" is configured for a TreeBuilder.

bpo-29548: deprecate PyEval_Call* functions (GH-14804)

bpo-37667: Add regression test for regrtest. (GH-14929)

Verify that it appears to find roughly the right number of tests in the stdlib's testsuite.

Only setup PGO tests when --pgo is enabled. (GH-14927)

Touch up venv docs (GH-14922)

bpo-29446: IDLE -- add explicit imports (GH-14919)

Stop depending on tkinter import *.

bpo-37653: Fix libinstall target in Makefile (GH-14911)

bpo-17535: IDLE editor line numbers (GH-14030)

bpo-33610: validate non-negative integer inputs in IDLE's config (GH-14822)

bpo-36044: Reduce number of unit tests run for PGO build (GH-14702)

Reduce the number of unit tests run for the PGO generation task.  This
speeds up the task by a factor of about 15x.  Running the full unit test
suite is slow.  This change may result in a slightly less optimized build
since not as many code branches will be executed.  If you are willing to
wait for the much slower build, the old behavior can be restored using
'./configure [..] PROFILE_TASK="-m test --pgo-extended"'.  We make no
guarantees as to which PGO task set produces a faster build.  Users who
care should run their own relevant benchmarks as results can depend on
the environment, workload, and compiler tool chain.

Update logging cookbook to show multiple worker processes using the concurrent.futures module. (#14905)

bpo-21478: Record calls to parent when autospecced objects are used as child with attach_mock (GH 14688)

* Clear name and parent of mock in autospecced objects used with attach_mock

* Add NEWS entry

* Fix reversed order of comparison

* Test child and standalone function calls

* Use a helper function extracting mock to avoid code duplication and refactor tests.

Add examples to elucidate the formulas (GH-14898)

bpo-37627: Add acknowledgment (#14883)

Fix typos in docs, comments and test assert messages (#14872)

Fix typo found by Min ho Kim (#14879)

Minor whitespace, indentation, and quoting changes to improve internal consistency and appease linters (GH-14888)

Bpo-37644: update suspicious.csv for distutils/examples (GH-14885)

bpo-37627: Initialize IDLE Custom Run dialog with previous entries (#14870)

Repeat the command line arguments most recently entered before so the user can edit them.

bpo-36324: Make internal attributes for statistics.NormalDist() private. (GH-14871)

* Make internals private

* Finish making mu and sigma private

* Add missing __hash__() method

* Add blurb

bpo-37476: Adding tests for asutf8 and asutf8andsize (GH-14531)

bpo-36546:  Clean-up comments (GH-14857)

bpo-37624: Document weight assumptions for random.choices() (GH-14855)

bpo-37547: Fix a compiler warning in winconsoleio.c (GH-14785)

The compiler warning was introduced in
59ad110d7a7784d53d0b502eebce0346597a6bef.

bpo-37610: improve Using Python doc wrt Editors & IDE (GH-14850)

Move the Editors and IDE section out of the Unix section, to its own section.

https://bugs.python.org/issue37610

bpo-33610: IDLE's code-context always shows current context immediately (GH-14821)

Eliminate delay of up to 100ms and accompanying visual artifact.
Fix bug of never showing context when hide and show.

bpo-34443: Use __qualname__ instead of __name__ in enum exception messages. (GH-14809)

* Use __qualname__ instead of __name__ in enum exception messages.

Adjust builtins.zip() docstring to better communicate its signature (GH-14833)

bpo-37552: Skip failing tests in strptime/strftime with UCRT version 17763.615 (#14460)

A bug in MSVC UCRT version 17763.615 (which has been fixed in newer versions) is causing test failures in some strptime/strftime tests when the default code page is c65001. This change selectively skips the tests affected by this.

bpo-36390: Gather IDLE Format menu functions into format.py (#14827)

Add two indent spec methods from editor and Rstrip to existing file.
Tests are not added for indent methods because they need change
in lights of 3.x's prohibition on mixing tabs and spaces.

bpo-34155: Dont parse domains containing @ (GH-13079)

Before:

        >>> email.message_from_string('From: a@malicious.org@important.com', policy=email.policy.default)['from'].addresses
        (Address(display_name='', username='a', domain='malicious.org'),)

        >>> parseaddr('a@malicious.org@important.com')
        ('', 'a@malicious.org')

    After:

        >>> email.message_from_string('From: a@malicious.org@important.com', policy=email.policy.default)['from'].addresses
        (Address(display_name='', username='', domain=''),)

        >>> parseaddr('a@malicious.org@important.com')
        ('', 'a@')

https://bugs.python.org/issue34155

Fix IndexError when parsing unexpectedly ending quoted-string. (GH-14813)

This exception was caused because the input ended unexpectedly with only one
single quote instead of a pair with some value inside it.

bpo-37461: Fix infinite loop in parsing of specially crafted email headers (GH-14794)

* bpo-37461: Fix infinite loop in parsing of specially crafted email headers.

Some crafted email header would cause the get_parameter method to run in an
infinite loop causing a DoS attack surface when parsing those headers. This
patch fixes that by making sure the DQUOTE character is handled to prevent
going into an infinite loop.

bpo-36390: IDLE: Combine region formatting methods. (GH-12481)

Rename paragraph.py to format.py and add region formatting methods
from editor.py.  Add tests for the latter.

bpo-37543: optimize pymalloc (#14674)

PyObject_Malloc() and PyObject_Free() inlines pymalloc_alloc and
pymalloc_free partially.
But when PGO is not used, compiler don't know where is the hot part
in pymalloc_alloc and pymalloc_free.

bpo-37530: simplify, optimize and clean up IDLE code context (GH-14675)

* Only create CodeContext instances for "real" editors windows, but
  not e.g. shell or output windows.
* Remove configuration update Tk event fired every second, by having
  the editor window ask its code context widget to update when
  necessary, i.e. upon font or highlighting updates.
* When code context isn't being shown, avoid having a Tk event fired
  every 100ms to check whether the code context needs to be updated.
* Use the editor window's getlineno() method where applicable.
* Update font of the code context widget before the main text widget

Docs: Correct formatting of a multiline code block (GH-13806)

bpo-27452: IDLE: Cleanup config.py code (GH-14577)

Fix infinite loop in email folding logic (GH-12732)

As far as I can tell, this infinite loop would be triggered if:

1. The value being folded contains a single word (no spaces) longer than
   max_line_length
2. The max_line_length is shorter than the encoding's name + 9
   characters.

bpo-36564: https://bugs.python.org/issue36564

bpo-37599: Remove a vague statement in documentation of Integer Objects (#14786)

* Remove a vague statement in documentation

* Remove another vague sentence

A sentence starting with "So it should be possible..." shouldn't be in the docs either.

Co-Authored-By: Kyle Stanley <aeros167@gmail.com>
* Include the removal of the previous line

Co-Authored-By: Kyle Stanley <aeros167@gmail.com>
* Remove an extra space

bpo-37352: Minor word-smithing for design.rst (GH #14730)

Replace backquote with command substitution in subprocess doc example (GH-13941)

Replace backquotes with POSIXy command substitution in example.

bpo-37468: make install no longer install wininst-*.exe files (GH-14511)

make install no longer installs "wininst-*.exe" files used by
distutils bdist_wininst: bdist_wininst only works on Windows.

bpo-37284: Add note to sys.implementation doc (GH-14328)

Add a brief note to indicate that any new required attributes must go through the PEP process.

https://bugs.python.org/issue37284

bpo-37500: Make sure dead code does not generate bytecode but also detect syntax errors (GH-14612)

https://bugs.python.org/issue37500

Add a new field to the compiler structure that allows to be configured
so no bytecode is emitted. In this way is possible to detect errors by
walking the nodes while preserving optimizations.

https://bugs.python.org/issue37500

bpo-37593: Swap the positions of posonlyargs and args in the constructor of ast.parameters nodes (GH-14778)

https://bugs.python.org/issue37593

bpo-37473: Don't import importlib ASAP in tests (GH-14661)

bpo-15386, bpo-37473: test_import, regrtest and libregrtest no longer
import importlib as soon as possible, as the first import, "to test
bpo-15386".

It is tested by test_import.test_there_can_be_only_one().

Sort test_import imports.

bpo-34749: Improved performance of binascii.a2b_base64(). (GH-9444)

https://bugs.python.org/issue34749

Clarify that plistlib's load and dump functions take a binary file object (GH-9825)

The documentation says that the fp parameter to plistlib.load "should be a
readable and binary file object" but the docstring only mentions that it
should be readable. Similarly, plistlib.dump's docstring only mentions
"writable". This commit clarifies that fp should also be binary.

https://docs.python.org/3/library/plistlib.html#plistlib.load
https://docs.python.org/3/library/plistlib.html#plistlib.dump

bpo-37553: SendfileUsingSendTest tests timeout too short for Windows ARM32 (GH-14716)

Remove redundant docs of PyEval_EvalFrameEx (GH-14765)

bpo-37571: Remove extra space in ctypes docs (GH14764)

bpo-37571: Add 'b' to prevent the TypeError exception. (GH-14721)

Co-Authored-By: Kyle Stanley <aeros167@gmail.com>

bpo-36261: Improve example of the preamble field in email docs (GH-14751)

bpo-26967: fix flag grouping with allow_abbrev=False (GH-14316)

The `allow_abbrev` option for ArgumentParser is documented and intended to disable support for unique prefixes of --options, which may sometimes be ambiguous due to deferred parsing.

However, the initial implementation also broke parsing of grouped short flags, such as `-ab` meaning `-a -b` (or `-a=b`).  Checking the argument for a leading `--` before rejecting it fixes this.

This was prompted by pytest-dev/pytest#5469, so a backport to at least 3.8 would be great :smile:
And this is my first PR to CPython, so please let me know if I've missed anything!

https://bugs.python.org/issue26967

Fix inconsequential typo in math.remainder algorithm comments. (#14746)

bpo-30088: Document that existing dir structure isn't verified by mailbox.Maildir (GH-1163)

Hi,

I've faced an issue w/ `mailbox.Maildir()`. The case is following:
1. I create a folder with `tempfile.TemporaryDirectory()`, so it's empty
2. I pass that folder path as an argument when instantiating `mailbox.Maildir()`
3. Then I receive an exception happening because "there's no such file or directory" (namely `cur`, `tmp` or `new`) during interaction with Maildir

**Expected result:** subdirs are created during `Maildir()` instance creation.

**Actual result:** subdirs are assumed as existing which leads to exceptions during use.

**Workaround:** remove the actual dir before passing the path to `Maildir()`. It will be created automatically with all subdirs needed.

**Fix:** This PR. Basically it adds creation of subdirs regardless of whether the base dir existed before.

https://bugs.python.org/issue30088

bpo-37358: Use vectorcall for functools.partial (GH-14284)

https://bugs.python.org/issue37358

bpo-37548: Document range of atan, acos and asin (GH-14717)

bpo-37579: Improve equality behavior for pure Python datetime and time (GH-14726)

Returns NotImplemented for timedelta and time in __eq__ for different types in Python implementation, which matches the C implementation.

This also adds tests to enforce that these objects will fall back to the right hand side's __eq__ and/or __ne__ implementation.

bpo-37579

bpo-28269: Replace strcasecmp with system function _stricmp. (GH-13095)

bpo-37580: Fix typo in http.cookiejar documentation (GH-14731)

[bpo-37580](https://bugs.python.org/issue37580): Markup typo in http.cookiejar doc

https://bugs.python.org/issue37580

Enable publish of Windows releases through Azure Pipelines (GH-14720)

Fix typo in re.escape documentation (GH-14722)

closes bpo-37347: Fix refcount problem in sqlite3. (GH-14268)

bpo-37521: No longer treat insertion into sys.modules as optional in importlib examples (GH-14723)

Fix importlib examples to insert any newly created modules via importlib.util.module_from_spec() immediately into sys.modules instead of after calling loader.exec_module().

Thanks to Benjamin Mintz for finding the bug.

https://bugs.python.org/issue37521

bpo-19696: Move threaded_import_hangers (GH-14655)

Move `threaded_import_hangers`, a dependency of `test_threaded_import`, to the directory `test_importlib/`. Also update the import references for `threaded_import_hangers` in `test_threaded_import`.

https://bugs.python.org/issue19696