bpo-33095: Add reference to isolated mode in -m and script option (GH-7764)

Attempt to make isolated mode easier to discover via additional inline documentation.

Co-Authored-By: Julien Palard <julien@palard.fr>

bpo-38005: Fixed comparing and creating of InterpreterID and ChannelID. (GH-15652)

* Fix a crash in comparing with float (and maybe other crashes).
* They are now never equal to strings and non-integer numbers.
* Comparison with a large number no longer raises OverflowError.
* Arbitrary exceptions no longer silenced in constructors and comparisons.
* TypeError raised in the constructor contains now the name of the type.
* Accept only ChannelID and int-like objects in channel functions.
* Accept only InterpreterId, int-like objects and str in the InterpreterId constructor.
* Accept int-like objects, not just int in interpreter related functions.

bpo-37953: Fix ForwardRef hash and equality checks (GH-15400)

Ideally if we stick a ForwardRef in a dictionary we would like to reliably be able to get it out again.

https://bugs.python.org/issue37953

Doc: fcntl.lockf() is more powerful than written (GH-6750)

Fix typo in test_api.py. (GH-16119)

bpo-32790: Add info about alt format using # for 'g' in chart (GH-6624)

bpo-38150 Fix refleak in the finalizer of a _testcapimodule type (GH-16115)

The PyLong created in the finalizer was not being cleaned up

https://bugs.python.org/issue38150

Automerge-Triggered-By: @matrixise

bpo-38122: minor fixes to AsyncMock spec handling (GH-16099)

bpo-38092: Reduce overhead when using multiprocessing in a Windows virtual environment (GH-16098)

https://bugs.python.org/issue38092

bpo-34706: Preserve subclassing in inspect.Signature.from_callable (GH-16108)

https://bugs.python.org/issue34706

Specifically in the case of a class that does not override its
constructor signature inherited from object.

These are Buck Evan @bukzor's changes cherrypicked from GH-9344.

bpo-37449: Move ensurepip off of pkgutil and to importlib.resources (GH-15109)

Move ensurepip off of pkgutil and to importlib.resources.

https://bugs.python.org/issue37449

bpo-37555: Update _CallList.__contains__ to respect ANY (#14700)

* Flip equality to use mock calls' __eq__

* bpo-37555: Regression test demonstrating assert_has_calls not working with ANY and spec_set

Co-authored-by: Neal Finne <neal@nealfinne.com>
* Revert "Flip equality to use mock calls' __eq__"

This reverts commit 94ddf54c5a8aab7d00d9ab93e1cc5695c28d73e7.

* bpo-37555: Add regression tests for mock ANY ordering issues

Add regression tests for whether __eq__ is order agnostic on _Call and _CallList, which is useful for comparisons involving ANY, especially if the ANY comparison is to a class not defaulting __eq__ to NotImplemented.

Co-authored-by: Neal Finne <neal@nealfinne.com>
* bpo-37555: Fix _CallList and _Call order sensitivity

_Call and _CallList depend on ordering to correctly process that an object being compared to ANY with __eq__ should return True. This fix updates the comparison to check both a == b and b == a and return True if either condition is met, fixing situations from the tests in the previous two commits where assertEqual would not be commutative if checking _Call or _CallList objects. This seems like a reasonable fix considering that the Python data model specifies that if an object doesn't know how to compare itself to another object it should return NotImplemented, and that on getting NotImplemented from a == b, it should try b == a, implying that good behavior for __eq__ is commutative. This also flips the order of comparison in _CallList's __contains__ method, guaranteeing ANY will be on the left and have it's __eq__ called for equality checking, fixing the interaction between assert_has_calls and ANY.

Co-author: Neal Finne <neal@neal.finne.com>

* bpo-37555: Ensure _call_matcher returns _Call object

* Adding ACK and news entry

* bpo-37555: Replacing __eq__ with == to sidestep NotImplemented

bool(NotImplemented) returns True, so it's necessary to use ==
instead of __eq__ in this comparison.

* bpo-37555: cleaning up changes unnecessary to the final product

* bpo-37555: Fixed call on bound arguments to respect args and kwargs

* Revert "bpo-37555: Add regression tests for mock ANY ordering issues"

This reverts commit 49c5310ad493c4356dd3bc58c03653cd9466c4fa.

* Revert "bpo-37555: cleaning up changes unnecessary to the final product"

This reverts commit 18e964ba0126d8964d89842cb95534b63c2d326e.

* Revert "bpo-37555: Replacing __eq__ with == to sidestep NotImplemented"

This reverts commit f295eaca5bceac6636c0e2b10e6c7d9a8ee8296a.

* Revert "bpo-37555: Fix _CallList and _Call order sensitivity"

This reverts commit 874fb697b8376fcea130116e56189061f944fde6.

* Updated NEWS.d

* bpo-37555: Add tests checking every function using _call_matcher both with and without spec

* bpo-37555: Ensure all assert methods using _call_matcher are actually passing calls

* Remove AnyCompare and use call objects everywhere.

* Revert "Remove AnyCompare and use call objects everywhere."

This reverts commit 24973c0b32ce7d796a7f4eeaf259832222aae0f5.

* Check for exception in assert_any_await

bpo-37199: Replace the early returns added in c2cda63. (GH-14535)

Run autoreconf. (GH-16106)

bpo-25068: urllib.request.ProxyHandler now lowercases the dict keys (GH-13489)

bpo-36046: Fix buildbot failures (GH-16091)

Varying user/group/permission check needs on platforms.

closes bpo-36002: Use AC_PATH_TOOL to find llvm-profdata and llvm-ar. (GH-14998)

Adjust code ownership so @gpshead don't get asyncio subprocess PRs. (GH-16100)

bpo-26468: Doc: improve the documentation of shutil.copy2 when it can fail. (GH-13765)

bpo-38153: Normalize hashlib algorithm names (GH-16083)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-29986: Doc: Delete tip to raise TypeError from tp_richcompare. (GH-16095)

Doc: Improve consistency of os.path.normcase with other os.path functions (GH-14004)

bpo-38148: Add slots to asyncio transports (GH-16077)

* bpo-38148: Add slots to asyncio transports

* Update Misc/NEWS.d/next/Library/2019-09-13-08-55-43.bpo-38148.Lnww6D.rst

Co-Authored-By: Kyle Stanley <aeros167@gmail.com>

bpo-12707: deprecate info(), geturl(), getcode() methods in favor of headers, url, and status properties for HTTPResponse and addinfourl (GH-11447)

Co-Authored-By: epicfaace <aramaswamis@gmail.com>

bpo-12144: Handle cookies with expires attribute in CookieJar.make_cookies (GH-13921)

Handle time comparison for cookies with `expires` attribute when `CookieJar.make_cookies` is called.

Co-authored-by: Demian Brecht <demianbrecht@gmail.com>
https://bugs.python.org/issue12144

Automerge-Triggered-By: @asvetlov

bpo-36889: Document Stream class and add docstrings (GH-14488)

* This just copies the docs from `StreamWriter` and `StreamReader`.
* Add docstring for asyncio functions.

https://bugs.python.org/issue36889

Automerge-Triggered-By: @asvetlov

bpo-8538: Add support for boolean actions to argparse (GH-11478)

Co-Authored-By: remilapeyre <remi.lapeyre@henki.fr>

bpo-38075: Port _randommodule.c to PEP-384 (GH-15798)

- Migrate `Random_Type` to `PyType_FromSpec`
- To simulate an old use of `PyLong_Type.tp_as_number->nb_absolute`, I added
  code to the module init function to stash `int.__abs__` for later
  use. Ideally we'd use `PyType_GetSlot()` instead, but it doesn't currently
  work for static types in CPython, and implementing it just for this case
  doesn't seem worth it.
- Do exact check for long and dispatch to PyNumber_Absolute, use vector call when not exact.

bpo-37785: Fix xgettext warning in argparse (GH-15161)

Doc: Add example snippet for str.isupper() (GH-14681)

bpo-9216: Add usedforsecurity to hashlib constructors (GH-16044)

The usedforsecurity keyword only argument added to the hash constructors is useful for FIPS builds and similar restrictive environment with non-technical requirements that legacy algorithms be forbidden by their implementations without being explicitly annotated as not being used for any security related purposes.  Linux distros with FIPS support benefit from this being standard rather than making up their own way(s) to do it.

Contributed and Signed-off-by: Christian Heimes christian@python.org

Cut disused recode_encoding logic in _PyBytes_DecodeEscape. (GH-16013)

All call sites pass NULL for `recode_encoding`, so this path is
completely untested.  That's been true since before Python 3.0.
It adds significant complexity to this logic, so it's best to
take it out.

All call sites now have a literal NULL, and that's been true since
commit 768921cf3 eliminated a conditional (`foo ? bar : NULL`) at
the call site in Python/ast.c where we're parsing a bytes literal.
But even before then, that condition `foo` had been a constant
since unadorned string literals started meaning Unicode, in commit
572dbf8f1 aka v3.0a1~1035 .

The `unicode` parameter is already unused, so mark it as unused too.
The code that acted on it was also taken out before Python 3.0, in
commit 8d30cc014 aka v3.0a1~1031 .

The function (PyBytes_DecodeEscape) is exposed in the API, but it's
never been documented.

Move Eric's TODO file into his directory. (GH-16072)

bpo-38133: Allow py.exe launcher to locate installations from the Microsoft Store (GH-16025)

bpo-36046: Add user and group parameters to subprocess (GH-11950)

* subprocess: Add user, group and extra_groups paremeters to subprocess.Popen

This adds a `user` parameter to the Popen constructor that will call
setreuid() in the child before calling exec(). This allows processes
running as root to safely drop privileges before running the subprocess
without having to use a preexec_fn.

This also adds a `group` parameter that will call setregid() in
the child process before calling exec().

Finally an `extra_groups` parameter was added that will call
setgroups() to set the supplimental groups.

Emphasize the need to always call PySequence_Fast. (GH-11140)

bpo-36876: Fix the globals checker tool. (gh-16058)

closes bpo-37803: pdb: fix handling of options (--help / --version) (GH-15193)

The "--" should not be included with long options passed to
getopt.getopt.

Fixes https://bugs.python.org/issue37803

bpo-37908: Add an example of ArgumentParser.exit() (GH-15455)

Co-Authored-By: Brandt Bucher <brandtbucher@gmail.com>

bpo-38096:  Complete the "structseq" and "named tuple" cleanup (GH-16010)

bpo-37802: Slightly improve perfomance of PyLong_FromUnsigned*() (GH-15192)

bpo-38138: Fix memory leak introduced by interned strings (GH-16053)

Interned string needs to be decref'd

https://bugs.python.org/issue38138

Automerge-Triggered-By: @matrixise

bpo-38137: Re-add OpenSSL 1.0.2 compat (GH-16051)

The defines are required for OpenSSL 1.0.2 and LibreSSL.

https://bugs.python.org/issue38134

Automerge-Triggered-By: @tiran

bpo-21872: fix lzma library decompresses data incompletely (GH-14048)

* 1. add test case with wrong behavior
* 2. fix bug when max_length == -1
* 3. allow b"" as valid input data for decompress_buf()
* 4. when max_length >= 0, let needs_input mechanism works
* add more asserts to test case

bpo-36991: Fix incorrect exception escaping ZipFile.extract() (GH-13632)

Revert "Fix depth-first-search computation in compile.c (GH-16042)" (GH-16050)

This reverts commit 355f3e1e5caf16198255df573a1f5e8b98b30105.

bpo-38135

Fix depth-first-search computation in compile.c (GH-16042)

bpo-38132: Check EVP_DigestUpdate for error (GH-16041)

Doc: Add -m reference in context of code execution (GH-16045)

bpo-37363: Document internal audit events (GH-14663)

Three internal cpython events were not documented, yet.

Signed-off-by: Christian Heimes <christian@python.org>
https://bugs.python.org/issue37363

bpo-37935: Added tests for os.walk(), glob.iglob() and Path.glob() (GH-15956)

Test that they do not keep too many file descriptors open for the host OS in a reasonable test scenario.

See [bpo-37935](https://bugs.python.org/issue37935).

bpo-38132: Simplify _hashopenssl code (GH-16023)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-36373: Deprecate explicit loop in task and subprocess API (GH-16033)

Enhance Py_UNREACHABLE macro (GH-16032)

bpo-26868: Fix example usage of PyModule_AddObject. (#15725)

* Add a note to the PyModule_AddObject docs.

* Correct example usages of PyModule_AddObject.

* Whitespace.

* Clean up wording.

* 📜🤖 Added by blurb_it.

* First code review.

* Add < 0 in the tests with PyModule_AddObject

bpo-35325: Doc: imp.find_module() return value documentation discrepancy (GH-11040)

bpo-38134: Remove PKBDF2_HMAC_fast from _hashopenssl (GH-16028)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-35685: Add examples of unittest.mock.patch.dict usage (GH-11456)

bpo-36675: Remove obsolete code. (GH-16024)

Does no longer work since Sphinx moved the trim_doctest_flag option in
the configuration.

bpo-32008: Prefer client or TLSv1_2 in examples (GH-5797)

Prefer client or TLSv1_2 in examples

Signed-off-by: Christian Heimes <christian@python.org>

bpo-9938: Add optional keyword argument exit_on_error to argparse.ArgumentParser (GH-15362)

Co-Authored-by: Xuanji Li <xuanji@gmail.com>
https://bugs.python.org/issue9938

Automerge-Triggered-By: @matrixise

bpo-13927: time.ctime and time.asctime return string explantion (GH-11303)

* bpo-13927: time.ctime and time.asctime return string explantion

* Add note explaining that time.ctime and time.asctime returns a space padded date value in case it contains a single digit date

* Reformat linebreaks

bpo-38008: Move builtin protocol whitelist to mapping instead of list (GH-15647)

Fixes https://bugs.python.org/issue38008

closes bpo-38127: _ctypes: PyObject_IsSubclass() should be checked for failure. (GH-16011)

An exception may occur during a PyObject_IsSubclass() call.

closes bpo-37405: Make socket.getsockname() always return a tuple for AF_CAN. (GH-14392)

This fixes a regression from 3.5. In recent releases, `getsockname()` in the AF_CAN case has returned a string.

bpo-36876: Skip test_check_c_globals for now. (gh-16017)

Doc: Add example of dict() function with positional and keyword arguments (GH-15220)

Fix the ImportWarning regarding __spec__ and __package__ being None (GH-16003)

bpo-38121: Sync importlib.metadata with 0.22 backport (GH-15993)

* bpo-38121: Sync importlib.metadata with 0.22 backport

* 📜🤖 Added by blurb_it.

bpo-21120: Exclude Python-ast.h, ast.h and asdl.h from the limited API (#14634)

The PyArena type is not part of the limited API, so these headers
shouldn't be part of it either.

closes bpo-37758: Extend unicodedata checksum tests to cover all of Unicode. (GH-15125)

Unicode has grown since Python first gained support for it,
when Unicode itself was still rather new.

This pair of test cases was added in commit 6a20ee7de back in 2000,
and they haven't needed to change much since then.  But do change
them to look beyond the Basic Multilingual Plane (range(0x10000))
and cover all 17 planes of Unicode's final form.

This adds about 5 seconds to the test suite's runtime.  Mark the
tests as CPU-using accordingly.

bpo-37760: Convert from length-18 lists to a dataclass, in makeunicodedata. (GH-15265)

Now the fields have names!  Much easier to keep straight as a
reader than the elements of an 18-tuple.

Runs about 10-15% slower: from 10.8s to 12.3s, on my laptop.
Fortunately that's perfectly fine for this maintenance script.

bpo-37879: Fix warnings in _testcapimodule (GH-16004)

bpo-32820: __format__ method for ipaddress (#5627)

* bits method and test_bits

* Cleaned up assert string

* blurb

* added docstring

* Faster method, per Eric Smith

* redoing as __format__

* added ipv6 method

* test cases and cleanup

* updated news

* cleanup and NEWS.d

* cleaned up old NEWS

* removed cut and paste leftover

* one more cleanup

* moved to regexp, moved away from v4- and v6-specific versions of __format__

* More cleanup, added ipv6 test cases

* more cleanup

* more cleanup

* cleanup

* cleanup

* cleanup per review, part 1

* addressed review comments around help string and regexp matching

* wrapped v6 test strings. contiguous integers: break at 72char. with underscores: break so that it looks clean.

*  's' and '' tests for pv4 and ipv6

* whitespace cleanup

* Remove trailing whitespace

* Remove more trailing whitespace

* Remove an excess blank line

bpo-18578: Rename and document test.bytecode_helper as test.support.bytecode_helper (GH-15168)

Rename and document test.bytecode_helper as test.support.bytecode_helper

bpo-38120: Fix DeprecationWarning in test_random for invalid type of arguments to random.seed. (GH-15987)

Correct typos in the codecs module documentation (#15135)

closes bpo-38124: Fix bounds check in PyState_AddModule. (GH-16007)

The >=, checking whether a module index was in already in the module-by-index list, needed to be strict.

Also, fold nested ifs into one and fix some bad spacing.

bpo-36876: Add a tool that identifies unsupported global C variables. (#15877)

bpo-36270: Doc: add link to traceback object reference (GH-13119)

Correct typo in min version test (GH-16000)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-37698: Update doc of PyBuffer_ToContiguous (GH-14992)

https://bugs.python.org/issue37698

bpo-34001: Fix test_ssl with LibreSSL (GH-13783)

Doc: recursive glob ** follows symlinks to directories (GH-12918)

bpo-38113: Update the Python-ast.c generator to PEP384 (gh-15957)

Summary: This mostly migrates Python-ast.c to PEP384 and removes all statics from the whole file. This modifies the generator itself that generates the Python-ast.c. It leaves in the usage of _PyObject_LookupAttr even though it's not fully PEP384 compatible (this could always be shimmed in by anyone who needs it).

bpo-28724: Add methods send_fds and recv_fds to the socket module (GH-12889)

The socket module now has the socket.send_fds() and socket.recv.fds() functions.
Contributed by Joannah Nanjekye, Shinya Okano (original patch)
and Victor Stinner.

Co-Authored-By: Victor Stinner <vstinner@redhat.com>

bpo-38117: Test with OpenSSL 1.1.1d (GH-15983)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-37750: Add doc of PyBuffer_FromContiguous (GH-15988)

https://bugs.python.org/issue37750

Automerge-Triggered-By: @matrixise

bpo-32592: Set Windows 8 as the minimum required version for API support (GH-15951)

bpo-36528: Remove duplicate re tests. (GH-2689)

Co-Authored-By: Makdon <makdon@makdon.me>

bpo-35923: Update the BuiltinImporter to use loader._ORIGIN instead of a hard-coded value (GH-15651)

Doc: Fix missing negation. (GH-14640)

Reported by Hug Capella on docs@.

Automerge-Triggered-By: @matrixise

bpo-38113: Update Python/ast.c to PEP-384 (GH-15975)

Removes statics for better subinterpreter support and moves to _PyType_Name

https://bugs.python.org/issue38113

Automerge-Triggered-By: @tiran

Improve clarity of try-return-finally-return (GH-15677)

Clarify execution in try-return-finally-return case.

bpo-34331: Fix incorrectly pluralized abstract class error message. (GH-8670)

bpo-38114: Do not include pip.ini in Nuget package (GH-15964)

bpo-33166: Change os.cpu_count to return active (real) processors (GH-15949)

bpo-38110: Use fdwalk for os.closerange() when available. (GH-15224)

Use fdwalk() on platforms that support it to implement os.closerange().

bpo-36182: Update pathlib.Path.write_text() docs (GH-12161)

with the case of an existing file

bpo-36260: Add pitfalls to zipfile module documentation (#13378)

* bpo-36260: Add pitfalls to zipfile module documentation

We saw vulnerability warning description (including zip bomb) in Doc/library/xml.rst file.
This gave us the idea of documentation improvement.

So, we moved a little bit forward :P
And the doc patch can be found (pr).

* fix trailing whitespace

* 📜🤖 Added by blurb_it.

* Reformat text for consistency.