bpo-36781: Optimize sum() for bools. (#13074)

* Optimize sum() for bools.

* Fix sum([], False).

* Add a NEWS entry.

 Note regarding + mode truncation applies to both text and binary mode (#11314)

* Improve doc on open's mode +

* Improve wording

* Address comment from Rémi

bpo-38073: Make pwd module PEP-384 compatible (GH-15790)

Makes the pwd module PEP-384 compatible

https://bugs.python.org/issue38073

Automerge-Triggered-By: @tiran

bpo-38066: Hide internal Stream methods (GH-15762)

feed_eof(), feed_data(), set_exception(), and set_transport() are prefixed with underscore now.

https://bugs.python.org/issue38066

bpo-21018: added missing documentation about escaping characters for configparser (GH-6137)

Document how $ and % can be escaped in configparser.

closes bpo-25461: Update os.walk() docstring to match the online docs. (GH-11836)

bpo-36373: Deprecate explicit loop parameter in all public asyncio APIs [queue] (GH-13950)

This PR deprecate explicit loop parameters in all public asyncio APIs

This issues is split to be easier to review.

fourth step: queue.py

https://bugs.python.org/issue36373

bpo-37619: update_one_slot() should not ignore wrapper descriptors for wrong type (GH-14836)

bpo-37499: Test various C calling conventions (GH-15776)

Add functions with various calling conventions to `_testcapi`, expose them as module-level functions, bound methods, class methods, and static methods, and test calling them and introspecting them through GDB.

https://bugs.python.org/issue37499

Co-authored-by: Jeroen Demeyer <J.Demeyer@UGent.be>
Automerge-Triggered-By: @pganssle

bpo-37251: Removes __code__ check from _is_async_obj. (GH-15830)

bpo-38069: Convert _posixsubprocess to PEP-384 (GH-15780)

Summary:
Eliminate uses of `_Py_IDENTIFIER` from `_posixsubprocess`, replacing them with interned strings.

Also tries to find an existing version of the module, which will allow subinterpreters.

https://bugs.python.org/issue38069

 bpo-36373: Deprecate explicit loop parameter in all public asyncio APIs [locks] (GH-13920)

This PR deprecate explicit loop parameters in all public asyncio APIs

This issues is split to be easier to review.

Third step: locks.py

https://bugs.python.org/issue36373

bpo-36971: add subsections in C API "Common Object Structures" page (#13446)

bpo-38068: Clean up gettimeofday configure logic. (GH-15775)

Assume gettimeofday exists and takes two arguments.

bpo-37052: Add examples for mocking async iterators and context managers (GH-14660)

Add examples for mocking asynchronous iterators and asynchronous context managers.

https://bugs.python.org/issue37052

bpo-38071: Make termios PEP-384 compatible (GH-15785)

Make the termios module PEP-384 compatible.

bpo-38072: PEP-384 grpmodule (GH-15788)

Make the grp module PEP-384 compliant.

Fix calling order of PyEval_InitThreads. (GH-4602)

As described in Doc/c-api/init.rst, PyEval_InitThreads() cannot be called
before Py_Initialize() function.

Remove macOS tests from Travis. (GH-15809)

Azure runs macOS, so we don't need Travis to do it.

Skip zoneinfo tests on VxWorks (#13535)

bpo-38074: Make zlib extension module PEP-384 compatible (GH-15792)

Updated zlibmodule.c to be PEP 384 compliant.

bpo-38076: Make struct module PEP-384 compatible (#15805)

* PEP-384 _struct

* More PEP-384 fixes for _struct

Summary: Add a couple of more fixes for `_struct` that were previously missed such as removing `tp_*` accessors and using `PyBytesWriter` instead of calling `PyBytes_FromStringAndSize` with `NULL`. Also added a test to confirm that `iter_unpack` type is still uninstantiable.

* 📜🤖 Added by blurb_it.

bpo-38083: Minor improvements in asdl_c.py and Python-ast.c. (GH-15824)

* Use the const qualifier for constant C strings.
* Intern field and attribute names.
* Temporary incref a borrowed reference to a list item.

Fix typo in dict object comment (#15814)

bpo-37725: have "make clean" remove PGO task data (#15033)

Change "clean" makefile target to also clean the program guided
optimization (PGO) data.  Previously you would have to use "make
clean" and "make profile-removal", or "make clobber".

bpo-38043: Move unicodedata.normalize tests into test_unicodedata. (GH-15712)

Having these in a separate file from the one that's named after the
module in the usual way makes it very easy to miss them when looking
for tests for these two functions.

(In fact when working recently on is_normalized, I'd been surprised to
see no tests for it here and concluded the function had evaded being
tested at all.  I'd gone as far as to write up some tests myself
before I spotted this other file.)

Mostly this just means moving all the one file's code into the other,
and moving code from the module toplevel to inside the test class to
keep it tidily separate from the rest of the file's code.

There's one substantive change, which reduces by a bit the amount of
code to be moved: we drop the `x > sys.maxunicode` conditional and all
the `RangeError` logic behind it.  Now if that condition ever occurs
it will cause an error at `chr(x)`, and a test failure.  That's the
right result because, since PEP 393 in Python 3.3, there is no longer
such a thing as an "unsupported character".

Expand comment explaining update_one_slot (GH-14810)

bpo-25237: Documentation for tkinter modules (GH-1870)

Cut tricky `goto` that isn't needed, in _PyBytes_DecodeEscape. (GH-15825)

This is the sort of `goto` that requires the reader to stare hard at
the code to unpick what it's doing.

On doing so, the answer is... not very much!

* It jumps from the bottom of the loop to almost the top; the effect
  is to bypass the loop condition `s < end` and also the
  `if`-condition `*s != '\\'`, acting as if both are true.

* We've just decremented `s`, after incrementing it in the `switch`
  condition.  So it has the same value as when `s == end` failed.
  Before that was another increment... and before that we had
  `s < end`.  So `s < end` true, then increment, then `s == end`
  false... that means `s < end` is still true.

* Also this means `s` points to the same character as it did for the
  `switch` condition.  And there was a `case '\\'`, which we didn't
  hit -- so `*s != '\\'` is also true.

* That means this has no effect on the behavior!  The most it might do
  is an optimization -- we get to skip those two checks, because (as
  just proven above) we know they're true.

* But gosh, this is the *invalid escape sequence* path.  This does not
  seem like the kind of code path that calls for extreme optimization
  tricks.

So, take the `goto` and the label out.

Perhaps the compiler will notice the exact same facts we showed above,
and generate identical code.  Or perhaps it won't!  That'll be OK.

But then, crucially, if some future edit to this loop causes the
reasoning above to *stop* holding true... the compiler will adjust
this jump accordingly.  One of us fallible humans might not.

bpo-38018: Fix test for multiprocessing.shared_memory in BSD systems (GH-15821)

bpo-38077: IDLE no longer adds 'argv' to the user namespace (GH-15818)

This only happened when initializing the subprocess to run a module.
This recent bug only affected 3.7.4 and 3.8.0b2 to 3.8.0b4.

bpo-34293: Fix PDF documentation paper size (GH-8585)

The "A4" pdfs were previously the wrong size due to a change in the options in Sphinx 1.5.

See also sphinx-doc/sphinx#5235

bpo-36511: clean up python process before deploy on ARM Windows buildbots (GH-14431)

Correct overflow check in PyTuple_New() (GH-14838)

bpo-38049: Add command-line interface for the ast module. (GH-15724)

bpo-37383: Updates docs to reflect AsyncMock call_count after await. (#15761)

* bpo-351428: Updates documentation to reflect AsyncMock call_count after await.

* Adds skip and fixes warning.

* Removes extra >>>.

* Adds ... in front of await mock().

bpo-38018: Increase code coverage for multiprocessing.shared_memory (GH-15662)

bpo-36502: Update link to UAX #44, the Unicode doc on the UCD. (GH-15301)

The link we have points to the version from Unicode 6.0.0, dated 2010.
There have been numerous updates to it since then:
  https://www.unicode.org/reports/tr44/#Modifications

Change the link to one that points to the current version. Also, use HTTPS.

bpo-37995: Add an option to ast.dump() to produce a multiline output. (GH-15631)

bpo-37840: Fix handling of negative indices in bytearray_getitem() (GH-15250)

bpo-35941: Fix performance regression in new code (GH-12610)

Accumulate certificates in a set instead of doing a costly list contain
operation. A Windows cert store can easily contain over hundred
certificates. The old code would result in way over 5,000 comparison
operations

Signed-off-by: Christian Heimes <christian@python.org>

bpo-37649: Fix exec_prefix check (GH-14897)

Fix punctuation in `os.execvpe` docstring. (GH-15051)

bpo-35803: Document and test dir=PathLike for tempfile (GH-11644)

Co-Authored-By: Ammar Askar <ammar_askar@hotmail.com>

Clarify that shutil's copy functions can accept path-like values (GH-15141)

Fix docs bz.open default mode (GH-15100)

bz2.open()'s default mode is rb, not r

bpo-36279: Ensure os.wait3() rusage is initialized (GH-15111)

Co-Authored-By: David Wilson <dw@botanicus.net>

bpo-38070: visit_decref() calls _PyObject_IsFreed() (GH-15782)

In debug mode, visit_decref() now calls _PyObject_IsFreed() to ensure
that the object is not freed. If it's freed, the program fails with
an assertion error and Python dumps informations about the freed
object.

bpo-37758: Cut always-constant conditionals on sys.maxunicode. (GH-15302)

Since PEP 393 in Python 3.3, this value is always 0x10ffff, the
maximum codepoint in Unicode; there's no longer such a thing as a
UCS-2 build of Python, which couldn't properly represent some
characters.

There are a couple of spots left where we still condition on the value
of this constant.  Take them out.

bpo-20490: Improve circular import error message (GH-15308)

Minor changes in Doc/faq/library. (#15449)

* Minor changes.

* Update Doc/faq/library.rst

Co-Authored-By: Kyle Stanley <aeros167@gmail.com>
* Apply suggestions from aeros167.

* Update Doc/faq/library.rst

Co-Authored-By: Kyle Stanley <aeros167@gmail.com>
* Apply suggestions from aeros167 + re-add a "a" that was accidentally deleted.

bpo-38006: Avoid closure in weakref.WeakValueDictionary (GH-15641)

weakref.WeakValueDictionary defines a local remove() function used as
callback for weak references. This function was created with a
closure.  Modify the implementation to avoid the closure.

bpo-37876: Tests for ROT-13 codec (GH-15314)

The Rot-13 codec is for educational use but does not have unit tests,
dragging down test coverage. This adds a few very simple tests.

docs: Add references to AsyncMock in unittest.mock.patch (#13681)

Update the docs as patch can now return an AsyncMock if the patched
object is an async function.

Mark files as executable that are meant as scripts. (GH-15354)

This is the converse of GH-15353 -- in addition to plenty of
scripts in the tree that are marked with the executable bit
(and so can be directly executed), there are a few that have
a leading `#!` which could let them be executed, but it doesn't
do anything because they don't have the executable bit set.

Here's a command which finds such files and marks them.  The
first line finds files in the tree with a `#!` line *anywhere*;
the next-to-last step checks that the *first* line is actually of
that form.  In between we filter out files that already have the
bit set, and some files that are meant as fragments to be
consumed by one or another kind of preprocessor.

    $ git grep -l '^#!' \
      | grep -vxFf <( \
          git ls-files --stage \
          | perl -lane 'print $F[3] if (!/^100644/)' \
        ) \
      | grep -ve '\.in$' -e '^Doc/includes/' \
      | while read f; do
          head -c2 "$f" | grep -qxF '#!' \
          && chmod a+x "$f"; \
        done

bpo-38059: Using sys.exit() over exit() in inspect.py (GH-15666)

Constants added by the site module like exit() "should not be used in programs"

bpo-38053 Update documentation for plistlib (GH-15727)

* Update documentation for plistlib

-  Update "Mac OS X" to "Apple" since plists are used more widely than just macOS
-  Re-add the UID class documentation (oops, removed in GH-15615)

Fix typo in the algorithm description (GH-15774)

bpo-34596: Fallback to a default reason when @unittest.skip is uncalled (#9082)

* bpo-34596: Fallback to a default reason when @unittest.skip is uncalled

* Change default reason to empty string

* Fix rst formatting of NEWS entry

bpo-37662: Documented venv.EnvBuilder.upgrade_dependencies(). (GH-15768)

bpo-38037: Fix reference counters in signal module (GH-15753)

bpo-32587: Fixes unsafe downcast in PC/winreg.c (GH-15766)

bpo-26185: Fix repr() on empty ZipInfo object (#13441)

* bpo-26185: Fix repr() on empty ZipInfo object

It was failing on AttributeError due to inexistant
but required attributes file_size and compress_size.
They are now initialized to 0 in ZipInfo.__init__().

* Remove useless hasattr() in ZipInfo._open_to_write()

* Completely remove file_size setting in _open_to_write().

Fix typo in math.prod example (GH-15614)

bpo-37702: Fix SSL's certificate-store leak on Windows (GH-15632)

ssl_collect_certificates function in _ssl.c has a memory leak.
Calling CertOpenStore() and CertAddStoreToCollection(), a store's refcnt gets incremented by 2.
But CertCloseStore() is called only once and the refcnt leaves 1.

bpo-37589: Add a few missing dependencies on .h files in the Makefile. (GH-15757)

The missing dependencies prevented incremental builds from working when you touched any
of these files. Based on GH-14758 by @vemakereporter.

bpo-37283: Ensure command-line and unattend.xml setting override previously detected states in Windows installer (GH-15759)

bpo-34652 again: Remove lchmod from the default AC_CHECK_FUNCS list. (GH-15758)

logging.Formatter docs: Add missing `validate` parameter, clarify `style` parameter (GH-15222)

bpo-37212: Preserve keyword argument order in unittest.mock.call and error messages (GH-14310)

Doc: Fix PDF build (NoUri). (GH-15739)

Future-proof .travis.yml for Python 3.10 (GH-14831)

bpo-36250: ignore ValueError from signal in non-main thread (GH-12251)

Authored-By: blueyed <github@thequod.de>

bpo-37705: Improve the implementation of winerror_to_errno() (GH-15623)

winerror_to_errno() is no longer automatically generated.
Do not rely on the old _dosmapperr() function.
Add ERROR_NO_UNICODE_TRANSLATION (1113) -> EILSEQ.

bpo-37936: Avoid ignoring files that we actually do track. (GH-15451)

There were about 14 files that are actually in the repo but that are
covered by the rules in .gitignore.

Git itself takes no notice of what .gitignore says about files that
it's already tracking... but the discrepancy can be confusing to a
human that adds a new file unexpectedly covered by these rules, as
well as to non-Git software that looks at .gitignore but doesn't
implement this wrinkle in its semantics.  (E.g., `rg`.)

Several of these are from rules that apply more broadly than
intended: for example, `Makefile` applies to `Doc/Makefile` and
`Tools/freeze/test/Makefile`, whereas `/Makefile` means only the
`Makefile` at the repo's root.

And the `Modules/Setup` rule simply wasn't updated after 961d54c5c.

https://bugs.python.org/issue37936

bpo-32587: Make winreg.REG_MULTI_SZ support zero-length strings (#13239)

* bpo-32587: Make winreg.REG_MULTI_SZ support PendingFileRenameOperations

* Address review comments.

bpo-37445: Include FORMAT_MESSAGE_IGNORE_INSERTS in FormatMessageW() calls (GH-14462)

If FormatMessageW() is passed the FORMAT_MESSAGE_FROM_SYSTEM flag without FORMAT_MESSAGE_IGNORE_INSERTS, it will fail if there are insert sequences in the message definition.

bpo-38043: Use `bool` for boolean flags on is_normalized_quickcheck. (GH-15711)

bpo-11953: Extend table of Windows WSA* error codes (GH-15004)

bpo-15817: gdbinit: Document commands after defining them (GH-15021)

The gdb manual[1] says the following for "document":

  The command commandname must already be defined.

[1] https://sourceware.org/gdb/current/onlinedocs/gdb/Define.html

And indeed when trying to use the gdbinit file with gdb 8.3, I get:

  .../cpython/Misc/gdbinit:17: Error in sourced command file:
  Undefined command: "pyo".  Try "help".

Fix this by moving all documentation blocks after the define blocks.

This was introduced in GH-6384.

Fix assertions regarding magic methods function body that was not executed (GH-14154)

bpo-34410: Fix a crash in the tee iterator when re-enter it. (GH-15625)

RuntimeError is now raised in this case.

Revert "Raise a RuntimeError when tee iterator is consumed from different threads (GH-15567)" (GH-15736)

This reverts commit fa220ec7633e9674baccc28dde987f29d7f65141.

bpo-36018: Address more reviewer feedback (GH-15733)

bpo-36946:Fix possible signed integer overflow when handling slices. (GH-15639)

This is a complement to PR 13375.

Correct Roman-numeral example in Unicode HOWTO. (GH-15541)

bpo-38038: Remove urllib.parse._splittype from xmlrpc.client. (GH-15703)

Remove some unused defines in multiprocessing.h. (GH-15661)

It looks like they are unused since
87cf220972c9cb400ddcd577962883dcc5dca51a.

bpo-20806: Reference both times(2) and times(3) and link to MSDN. (GH-15479)

 bpo-38041: Refine IDLE Shell restart lines.  (GH-15709)

 Restart lines now always start with '=' and never end with ' ' and fill the width of the window unless that would require ending with ' ', which could be wrapped by itself and possible confusing the user.

bpo-15088 : Remove PyGen_NeedsFinalizing() (GH-15702)

Remove PyGen_NeedsFinalizing(): it was not
documented, tested or used anywhere within CPython after
the implementation of PEP 442.

More refinements to the statistics docs (GH-15713)

replace inline function `is_small_int` with a macro version (GH-15710)

bpo-37064: Skip test_tools.test_pathfix if installed (GH-15705)

If Python is installed, skip test_tools.test_pathfix test because
Tools/scripts/pathfix.py script is not installed.

bpo-37878: Remove PyThreadState_DeleteCurrent() function (GH-15315)

* Rename PyThreadState_DeleteCurrent()
  to _PyThreadState_DeleteCurrent()
* Move it to the internal C API

Co-Authored-By: Carol Willing <carolcode@willingconsulting.com>

bpo-36797: Fix a dead link in  Doc/distutils/apiref (GH-15700)

https://bugs.python.org/issue36797

bpo-37064: Add option -k to Tools/scripts/pathfix.py (GH-15548)

Add flag -k to pathscript.py script: preserve shebang flags.

Correct minor gramatical mistake in sys.settrace doc (GH-15637)

bpo-36409: Remove old plistlib API deprecated in 3.4 (GH-15615)

* Remove implementation for old plistlib API deprecated in 3.4

bpo-36324:  Apply review comment from Jake Vanderplas (GH-15695)