bpo-31523: Reliability improvements to the Windows build files (#3900)

PEP 553 built-in breakpoint() function (bpo-31353) (#3355)

Implement PEP 553, built-in breakpoint() with support from sys.breakpointhook(), along with documentation and tests.  Closes bpo-31353

bpo-31556: asyncio.wait_for can cancel futures faster with timeout <= 0 (#3703)

bpo-31178: Mock os.waitpid() in test_subprocess (#3896)

Fix test_exception_errpipe_bad_data() and
test_exception_errpipe_normal() of test_subprocess: mock os.waitpid()
to avoid calling the real os.waitpid(0, 0) which is an unexpected
side effect of the test.

bpo-31671: re: Convert RegexFlag to int before compile (GH-3862)

sre_compile does bit test (e.g. `flags & SRE_FLAG_IGNORECASE`) in loop.
`IntFlag.__and__` and `IntFlag.__new__` made it slower.

So this commit convert it to normal int before passing flags to `sre_compile()`.

closes bpo-27494: Fix 2to3 handling of trailing comma after a generator expression (#3771)

remove tabs from getcompiler.c (#3892)

closes bpo-31596: Add an interface for pthread_getcpuclockid(3) (#3756)

Add self and idlelib to CODEOWNERS file. (#3889)

Followed format of other entries.

bpo-30872: Update the curses docs to Python 3. (#2620)

Refactor multiplication and division of timedelta and float. (#3656)

Implementations of these operations are virtually identical.

bpo-31667: Fix gettext related links. (#3860)

* Fix incorrect links.
* Remove redundant links.
* Add signatures and index entries for gettext related
functions in the locale module.

bpo-30404: The -u option now makes the stdout and stderr streams totally unbuffered. (#1667)

bpo-30397: Add re.Pattern and re.Match. (#1646)

bpo-31683: Py_FatalError() now supports long error messages (#3878)

On Windows, Py_FatalError() now limits the size to 256 bytes of the
buffer used to call OutputDebugStringW(). Previously, the size
depended on the length of the error message.

bpo-31677: email: Remove re.IGNORECASE flag (GH-3868)

While there is not real bug in this case, using re.IGNORECASE without re.ASCII
leads unexpected behavior.
Instead of adding re.ASCII, this commit removes re.IGNORECASE flag because
it's easier and simpler.

This commit removes dead copy of the pattern in email.util module too.
While the pattern is same, it is compiled separately because it had different flags.

Remove retired and security branches from active docs (#3879)

bpo-31675: Fix memory leaks in Tkinter's methods splitlist() and split() (#3866)

when pass a string larger than 2 GiB.

Decrease memory requirements for Tcl's bigmem tests.

bpo-31673: Fixed typo in the name of Tkinter's method adderrorinfo(). (#3864)

bpo-31657: Add test coverage for the __debug__ case (GH-3450)

Update the compile tests for optimization levels to also check that
__debug__ blocks are included or excluded based on the optimization
level.
Patch by Diana Clarke.

bpo-31619: Fixed a ValueError when convert a string with large number of underscores (#3827)

to integer with binary base.

bpo-31415: Add `-X importtime` option (GH-3490)

It shows show import time of each module.
It's useful for optimizing startup time.

Typical usage: python -X importtime -c 'import requests'

bpo-31540: Allow passing multiprocessing context to ProcessPoolExecutor (#3682)

bpo-31662: Fix typos in uploadrelease.bat script

bpo-31510: Fix multiprocessing test_many_processes() on macOS (#3857)

On macOS, a process can exit with -SIGKILL if it is killed "early"
with SIGTERM.

bpo-11063: Fix _uuid module on macOS (#3855)

On macOS, use uuid_generate_time() instead of
uuid_generate_time_safe() of libuuid, since uuid_generate_time_safe()
is not available.

bpo-31516: current_thread() should not return a dummy thread at shutdown (#3673)

bpo-31516: current_thread() should not return a dummy thread at shutdown

bpo-31158: Fix nondeterministic read in test_pty (#3808)

* bpo-31158: Fix nondeterministic read in test_pty

* Reuse existing readline implementation from io.

Thx to @pitrou

* Updated comment

Ideally, this commit is fixuped into the previous commit. Since there is
already a comment on github, I won't rebase.

bpo-31659: Use simple slicing to format PEM cert (GH-3849)

DER_cert_to_PEM_cert() used textwrap.fill() to format PEM.
But it's library to wrap lines on word boundary, while PEM is
base64 encoded string.

Additionally, importing textwrap is little slow.

remove comment about long-gone SGI modules (#3850)

IDLE: make filetypes a tuple constant. (#3847)

Save a bit of code, plus non-tuples get converted anyway to tuples by tkinter for the tk call.

bpo-31336: Speed up type creation. (#3279)

Speed up class creation by 10-20% by reducing the overhead in the
necessary special method lookups.

bpo-31460: Simplify the API of IDLE's Module Browser. (#3842)

Passing a widget instead of an flist with a root widget opens the option of
creating a browser frame that is only part of a window. Passing a full file
name instead of pieces assumed to come from a .py file opens the possibility
of browsing python files that do not end in .py.

bpo-31649: Make IDLE's _htest, _utest parameters keyword-only. (#3839)

bpo-31592: Fix an assertion failure in Python parser in case of a bad unicodedata.normalize(). (#3767)

bpo-31627: Make test_mailbox be lenient to empty hostname. (#3821)

bpo-31648: Improve ElementPath (#3835)

* Allow whitespace inside of ElementPath predicates.
* Add ElementPath predicate support for text comparison of the current node, like "[.='text']".

bpo-31581: Reduce the number of imports for functools (GH-3757)

bpo-30806 netrc.__repr__() is broken for writing to file (GH-2491)

netrc file format doesn't support quotes and escapes.

See https://linux.die.net/man/5/netrc

bpo-31574: importlib dtrace (#3749)

Importlib was instrumented with two dtrace probes to profile import timing.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-31641: Allow arbitrary iterables in `concurrent.futures.as_completed()` (#3830)

This was possible before.  GH-1560 introduced a regression after 3.6.2 got
released where only sequences were accepted now.  This commit addresses this
problem.

bpo-31602: Fix an assertion failure in zipimporter.get_source() in case of a bad zlib.decompress() (GH-3784)

While a rare potential failure (it requires swapping out zlib.decompress() itself and forcing it to return a non-bytes object), this change prevents a potential C-level assertion failure and instead substitutes it with an exception.

Thanks to Oren Milman for the patch.

Tweak formatting of PR message template (#3828)

bpo-31285: Remove splitlines identifier from Python/_warnings.c (#3803)

(forgot to remove it in #3219)

bpo-31638: Add compression support to zipapp (GH-3819)

Add optional argument `compressed` to `zipapp.create_archive`, and add
option `--compress` to the command line interface of `zipapp`.

explicitly list objects for the ar command (#3824)

$^ is not portable.

closes bpo-31625

stop using ranlib (closes bpo-31625) (#3815)

Instead, simply pass 's' to ar.

bpo-25351: avoid activate failure on strict shells (GH-3804)

remove support for BSD/OS (closes bpo-31624) (#3812)

bpo-11063, bpo-20519: avoid ctypes and improve import time for uuid (#3796)

bpo-11063, bpo-20519: avoid ctypes and improve import time for uuid.

Fix typo in Simple Statements documentation (GH-3809)

Replace "restriction" with "restrictions".

bpo-31478: Fix an assertion failure in random.seed() in case a seed has a bad __abs__() method. (#3596)

Trivial readability improvement (#3791)

bpo-31588: Validate return value of __prepare__() methods (GH-3764)

Class execution requires that __prepare__() methods return
a proper execution namespace. Check for that immediately
after calling __prepare__(), rather than passing it through
to the code execution machinery and potentially triggering
SystemError (in debug builds) or a cryptic TypeError
(in release builds).

Patch by Oren Milman.

point to the module-level get_ident function rather than the one in _thread (#3782)

closes bpo-22140: Prevent double substitution of prefix in python-config.sh (#3769)

Fix the logic in python-config.sh to avoid attempting to substitute
prefix in a variable that might have already been subject to
substitution. This e.g. happened if @exec_prefix@ was defined as
"${prefix}" (which is the default of the configure script) -- in which
case the exec_prefix_build variable was initialized with
already-subtituted prefix, and then another round of substitution was
performed which might have resulted in duplicate prefix.

To avoid that, rename the variables so that the variables matching
likely configure names (prefix, exec_prefix) retain their original
values and a '_real' suffix is used for the real values of prefix.

Furthermore, replace the unnecessary prefix and exec_prefix
substitutions with direct prefix_real references since the sed
always replaced the whole string anyway by design.

bpo-31586: Use _count_element fast path for real dicts.

bpo-30347: Stop crashes when concurrently iterate over itertools.groupby() iterators. (#1557)

bpo-28293: Don't completely dump the regex cache when full. (#3768)

bpo-31579: Fixed a possible leak in enumerate() with large indices. (#3753)

bpo-31571: Remove duplicated info in Lexical Analysis documentation (GH-3691)

- Remove the second mention about the `u` prefix
- Remove the second mention about numeric literals do not include a sign

bpo-30152: Reduce the number of imports for argparse. (#1269)

bpo-31569: correct PCBuild/ case to PCbuild/ in build scripts and docs (GH-3711)

bpo-26491 Defer DECREFs until enumobject is in a consistent state (#3747)

bpo-31170: Write unit test for Expat 2.2.4 UTF-8 bug (#3570)

Non-regression tests for the Expat 2.2.3 UTF-8 decoder bug.

bpo-27385: Clarify docstring for groupby() (#3738)

bpo-31311: Fix a SystemError and a crash in ctypes._CData.__setstate__(), in case of a bad __dict__. (#3254)

bpo-23702: Update Descriptor-HOWTO to reflect the removal of unbound methods (#3739)

bpo-18558: Clarify glossary entry for "Iterable" (#3732)

remove configure check for memmove (#3716)

Python requires C implementations provide memmove, so we shouldn't need to check for it. The only place using this configure check was expat, where we can simply always define HAVE_MEMMOVE.

bpo-30085: Improve documentation for operator (#1171)

The dunderless functions are preferred; dunder are retained for back compatilibity.
Patch by Sanket Dasgupta.

bpo-31566: Fix an assertion failure in _warnings.warn() in case of a bad __name__ global. (#3717)

bpo-31285: Fix an assertion failure and a SystemError in warnings.warn_explicit. (#3219)

Update Email library documentation example (GH-3720)

A `"` was missing from an `<a href>` tag.

bpo-27319, bpo-31508: Document deprecation in Treeview.selection(). (#3667)

Defer removing old behavior to 3.8.
Document new feature of selection_set() and friends.

bpo-30346: An iterator produced by the itertools.groupby() iterator (#1569)

now becames exhausted after advancing the groupby iterator.

bpo-31311: Impove error reporting in case the first argument to PyCData_setstate() isn't a dictionary. (#3255)

bpo-31505: Fix an assertion failure in json, in case _json.make_encoder() received a bad encoder() argument. (#3643)

bpo-31564: Update typing documentation (GH-3696)

Mention that ``NewType`` can derive from another ``NewType``.

bpo-25359: Add missed "goto error" after setting an exception. (#3712)

bpo-31459: Rename IDLE's module browser from Class Browser to Module Browser. (#3704)

The original module-level class and method browser became a module
browser, with the addition of module-level functions, years ago.
Nested classes and functions were added yesterday.  For back-
compatibility, the virtual event <<open-class-browser>>, which
appears on the Keys tab of the Settings dialog, is not changed.
Patch by Cheryl Sabella.

bpo-31559: Remove test order dependence in idle_test.test_browser. (#3708)

Order dependence caused leak-test buildbots to fail when running test_idle repeatedly.

Docs: correct hashlib.blake2 keyed hashing example (bpo-31560)

sqlite: delete some bsddb cargo-culted code to work around Python 2.3/2.4 bugs

bpo-1612262: IDLE: Class Browser shows nested functions, classes (#2573)

Original patches for code and tests by Guilherme Polo and
Cheryl Sabella, respectively.

bpo-17852: Maintain a list of BufferedWriter objects.  Flush them on exit. (#3372)

* Maintain a list of BufferedWriter objects.  Flush them on exit.

In Python 3, the buffer and the underlying file object are separate
and so the order in which objects are finalized matters.  This is
unlike Python 2 where the file and buffer were a single object and
finalization was done for both at the same time.  In Python 3, if
the file is finalized and closed before the buffer then the data in
the buffer is lost.

This change adds a doubly linked list of open file buffers.  An atexit
hook ensures they are flushed before proceeding with interpreter
shutdown.  This is addition does not remove the need to properly close
files as there are other reasons why buffered data could get lost during
finalization.

Initial patch by Armin Rigo.

* Use weakref.WeakSet instead of WeakKeyDictionary.

* Simplify buffered double-linked list types.

* In _flush_all_writers(), suppress errors from flush().

* Remove NEWS entry, use blurb.

* Take more care when flushing file buffers from atexit.

The previous implementation was not careful enough to avoid
causing issues in multi-threaded cases.  Check for buf->ok
and buf->finalizing before actually doing the flush.  Also,
increase the refcnt to ensure the object does not disappear.

bpo-31423: Fix building the PDF documentation (GH-3693)

Use prefixed macro names for the `authoraddress` function, add T2A to the font encoding in LaTeX sources to support Cyrillic characters in the PDF documentation, and replace the deprecated `font_size` config option with `pointsize`.

bpo-31389 Add an optional `header` argument to pdb.set_trace() (#3438)

* Give pdb.set_trace() an optional `header` argument

* What's new.

* Give pdb.set_trace() an optional `header` argument

* What's new.

bpo-31443: Update included code. (#3697)

bpo-31443: Formulate the type slot initialization rules in terms of C99. (#3688)

bpo-31410: Optimized calling wrapper and classmethod descriptors. (#3481)

bpo-27541: Reprs of subclasses of some classes now contain actual type name. (#3631)

Affected classes are bytearray, array, deque, defaultdict, count and repeat.

bpo-31351: Set return code in ensurepip when pip fails (GH-3626)

Previously ensurepip would always report success, even if the
pip installation failed.

bpo-31500: IDLE: Scale default fonts on HiDPI displays. (#3639)

bpo-31532: Fix memory corruption due to allocator mix (#3679)

Fix a memory corruption in getpath.c due to mixed memory allocators
between Py_GetPath() and Py_SetPath().

The fix use the Raw allocator to mimic the windows version.

This patch should be used from python3.6 to the current version

for more details, see the bug report and
  https://github.com/pyinstaller/pyinstaller/issues/2812

bpo-31536: Avoid wholesale rebuild after `make regen-all` (#3678)

* bpo-31536: Avoid wholesale rebuild after `make regen-all`

* Add NEWS

bpo-26510: make argparse subparsers required by default (#3027)

This fixes a regression from Python 2.  To get optional subparsers,
use the new parameter ``add_subparsers(required=False)``.

Patch by Anthony Sottile.

bpo-31533: fix broken link to OpenSSL docs (#3674)

closes bpo-31525: require sqlite3_prepare_v2 (#3666)

This is based on
https://github.com/ghaering/pysqlite/commit/40b349cadbd87c42f70fc92e5e1aee6d02564c6d#diff-0489411409cd2934730e88bf7767790,
though we can be a bit more aggressive about deleting code.

bpo-30486: Make cell_set_contents() symbol private (#3668)

Don't export the cell_set_contents() symbol in the C API.