bpo-38136: Updates await_count and call_count to be different things (GH-16192)

closes bpo-16637: libpython: construct integer object directly from gdbvalue (GH-15232)

This fixes the exception '`ValueError: invalid literal for int() with base 10`
if `str(gdbval)` returns a hexadecimal value (e.g. '0xa0'). This is the case if
the output-radix is set to 16 in gdb. See
https://sourceware.org/gdb/onlinedocs/gdb/Numbers.html for more information.

closes bpo-38253: Fix typo of Py_SET_ERANGE_IF_OVERFLOW in pyport.h. (GH-16230)

bpo-38234: read_pth_file() now returns PyStatus (GH-16338)

Refactor path configuration code:

* read_pth_file() now returns PyStatus to report errors, rather than
  calling Py_FatalError().
* Move argv0_path and zip_path buffers out of PyCalculatePath
  structures.
* On Windows, _PyPathConfig.home is now preferred over PyConfig.home.

bpo-38234: Fix _PyConfig_InitPathConfig() (GH-16335)

* _PyConfig_InitPathConfig() now starts by copying the global path
  configuration, and then override values set in PyConfig.
* _PyPathConfig_Calculate() implementations no longer override
  _PyPathConfig fields which are already computed. For example,
  if _PyPathConfig.prefix is not NULL, leave it unchanged.
* If Py_SetPath() has been called, _PyConfig_InitPathConfig() doesn't
  call _PyPathConfig_Calculate() anymore.
* _PyPathConfig_Calculate() no longer uses PyConfig,
  except to initialize PyCalculatePath structure.
* pathconfig_calculate(): remove useless temporary
  "_PyPathConfig new_config" variable.
* calculate_module_search_path(): remove hack to workaround memory
  allocation failure, call Py_FatalError() instead.
* Fix get_program_full_path(): handle memory allocation failure.

bpo-38236: Fix init_dump_ascii_wstr() (GH-16333)

Add missing "return;" (to not dereference NULL pointer).

bpo-38236: Dump path config at first import error (GH-16300)

Python now dumps path configuration if it fails to import the Python
codecs of the filesystem and stdio encodings.

bpo-38209: Simplify dataclasses.InitVar by using __class_getitem__(). (GH-16255)

Updated incorrect level-setting code to use setLevel(). (GH-16325)

Shorter docstring (GH-16322)

Doc: Add whatsnew entry for loop.shutdown_default_executor() (GH-16308)

Doc: Fix spelling errors of 'initial' in enum.py (GH-16314)

Minor code and comment cleanup (GH-16315)

bpo-38237: Make pow's arguments have more descriptive names and be keyword passable (GH-16302)

Edit: `math.pow` changes removed on Mark's request.

https://bugs.python.org/issue38237

Automerge-Triggered-By: @rhettinger

bpo-38234: Fix PyConfig_Read() when Py_SetPath() was called (GH-16298)

* If Py_SetPath() has been called, _PyConfig_InitPathConfig() now
  uses its value.
* Py_Initialize() now longer copies path configuration from PyConfig
  to the global path configuration (_Py_path_config).

Doc: Remove provisional note for asyncio.run() (GH-16310)

Based on a comment from @asvetlov https://github.com/python/cpython/pull/15735#discussion_r323619076, this removes the provisional note for ``asyncio.run()`` in the documentation.

Automerge-Triggered-By: @1st1

bpo-38234: Remove _PyPathConfig.dll_path (GH-16307)

The DLL path is not computed from any user configuration and cannot
be configured by PyConfig. Instead, add a new _Py_dll_path global variable.

Remove _PyConfig_SetPathConfig(): replaced with _PyPathConfig_Init().

Py_Initialize() now longer sets the "global path configuration",
but only initialize _Py_dll_path.

bpo-38205: Py_UNREACHABLE() calls Py_FatalError() (GH-16290)

bpo-33694: Remove test_asyncio ProactorDatagramTransportTests (GH-16288)

ProactorDatagramTransportTests tests are too close to the
implementation.

bpo-6559: Update _posixsubprocess.fork_exec doc (GH-16283)

It did not list the argument added in d4cc7bf993eda4149a05ed25f2f33e18e43fd7c1.

https://bugs.python.org/issue6559

Automerge-Triggered-By: @gpshead

bpo-37937: Mention frame.f_trace in sys.settrace docs (GH-15439)

Mention frame.f_trace in sys.settrace docs, as well as the fact you still
need to call `sys.settrace` to enable the tracing machinery before setting
`frame.f_trace` will have any effect.

bpo-37353: Updated parser note about source code compatibility(GH-14277)

bpo-38093: Correctly returns AsyncMock for async subclasses. (GH-15947)

bpo-34002: Minor efficiency and clarity improvements in email package. (GH-7999)

* Check intersection of two sets explicitly

Comparing ``len(a) > ``len(a - b)`` is essentially looking for an
intersection between the two sets. If set ``b`` does not intersect ``a``
then ``len(a - b)`` will be equal to ``len(a)``. This logic is more
clearly expressed as ``a & b``.

* Change while/pop to a for-loop

Copying the list, then repeatedly popping the first element was
unnecessarily slow. I also cleaned up a couple other inefficiencies.
There's no need to unpack a tuple, then re-pack and append it. The list
can be created with the first element instead of empty. Secondly, the
``endswith`` method returns a bool, so there's no need for an if-
statement to set ``encoding`` to True or False.

* Use set.intersection to check for intersections

``a.intersection(b)`` method is more clear of purpose than ``not
a.isdisjoint(b)`` and avoids an unnecessary set construction that ``a &
set(b)`` performs.

* Use not isdisjoint instead of intersection

While it reads slightly worse, the isdisjoint method will stop when it
finds a counterexample and returns a bool, rather than looping over the
entire iterable and constructing a new set.

bpo-38140: Make dict and weakref offsets opaque for C heap types (#16076)

* Make dict and weakref offsets opaque for C heap types

* Add news

bpo-34037: test_asyncio uses shutdown_default_executor() (GH-16284)

bpo-37531: Skip test_regrtest.test_multiprocessing_timeout() on all platforms (GH-16282)

bpo-38155: Add __all__ to datetime module (GH-16203)

https://bugs.python.org/issue38155

bpo-34037: Fix test_asyncio failure and add loop.shutdown_default_executor() (GH-15735)

Doc: Clarify dict equality irrespective of ordering. (GH-16266)

Doc: Corrected syntax for return annotation (GH-16265)

Signed-off-by: Jason Plurad <pluradj@us.ibm.com>

bpo-35696: Simplify long_compare() (GH-16146)

Fix _PyTraceMalloc_Fini() definition (GH-16259)

The function return type is void, not int.

bpo-38203: faulthandler.dump_traceback_later() is always available (GH-16249)

dump_traceback_later() and cancel_dump_traceback_later() functions of
the faulthandler module are always available since Python 3.7.

bpo-38203: regrtest: put a 2 min timeout on Python exit (GH-16250)

bpo-36546: No longer a need to make "data" positional only (GH-16252)

bpo-37531: Skip test_regrtest.test_multiprocessing_timeout() on Windows (GH-16247)

It is a known and tracked bug: disable the test until it's fixed.

bpo-38070: Py_FatalError() logs runtime state (GH-16246)

bpo-38070: Add _PyRuntimeState.preinitializing (GH-16245)

Add _PyRuntimeState.preinitializing field: set to 1 while
Py_PreInitialize() is running.

_PyRuntimeState: rename also pre_initialized field to preinitialized.

bpo-38070: Enhance _PyObject_Dump() (GH-16243)

_PyObject_Dump() now dumps the object address for freed objects and
objects with ob_type=NULL.

bpo-38070: _Py_DumpTraceback() writes <no Python frame> (GH-16244)

When a Python thread has no frame, _Py_DumpTraceback() and
_Py_DumpTracebackThreads() now write "<no Python frame>", rather than
writing nothing.

bpo-38191: Turn warnings into errors in NamedTuple() and TypedDict(). (GH-16238)

bpo-38191: Accept arbitrary keyword names in NamedTuple() and TypedDict(). (GH-16222)

This includes such names as "cls", "self", "typename", "_typename",
"fields" and "_fields".
Passing positional arguments by keyword is deprecated.

bpo-37904: Edition on python tutorial - section 4 (GH-16169)

A little change on first paragraph of python tutorial to be more clearly

https://bugs.python.org/issue37904

Automerge-Triggered-By: @ericvsmith

bpo-38187: Fix reference leak in test_tools (GH-16233)

bpo-38013: make async_generator_athrow object tolerant to throwing exceptions (GH-16070)

Even when the helper is not started yet.

This behavior follows conventional generator one.
There is no reason for `async_generator_athrow` to handle `gen.throw()` differently.

https://bugs.python.org/issue38013

bpo-37828: Fix default mock_name in unittest.mock.assert_called error (GH-16166)

In the format string for assert_called the evaluation order is incorrect and hence for mock's without name, 'None' is printed whereas it should be 'mock' like for other messages. The error message is ("Expected '%s' to have been called." % self._mock_name or 'mock').

Doc: Fix grammar/spelling in ssl.VERIFY_CRL_CHECK_LEAF docs (GH-16221)

bpo-37531: regrtest main process uses shorter timeout (GH-16220)

When using multiprocesss (-jN), the main process now uses a timeout
of 60 seconds instead of the double of the --timeout value. The
buildbot server stops a job which does not produce any output in 1200
seconds.

bpo-38192: Fix remaining passing of "loop" in the protocol examples (GH-16202)

See https://bugs.python.org/issue38192 .

https://bugs.python.org/issue38192

bpo-38185: Fixed case-insensitive string comparison in sqlite3.Row indexing. (GH-16190)

bpo-35379: When exiting IDLE, catch any AttributeError. (GH-16212)

One happens when EditorWindow.close is called twice.
Printing a traceback, when IDLE is run from a terminal,
is useless and annoying.

Doc: Add list(dict) in stdtypes library (GH-16209)

bpo-38183: Test_idle ignores user config directory GH-16198)

It no longer tries to create or access .idlerc or any files within.
Users must run IDLE to discover problems with saving settings.

bpo-28556: Update the opening note in typing docs (GH-16204)

This PR replaces the old note mentioning that `typing` is a provisional module with a new one mentioning types are not enforced at runtime. I am not sure if there was any official announcement about making `typing` non-provisional, but _de-facto_ no new features were added during Python 3.7, and no backwards incompatible changes were made except for few small things that were considered bugs.

bpo-33936: Don't call obsolete init methods with OpenSSL 1.1.0+ (GH-16140)

``OPENSSL_VERSION_1_1`` was never defined in ``_hashopenssl.c``.

https://bugs.python.org/issue33936

Doc: Fix Wikipedia link for functools.lru_cache (GH-16183)

bpo-38175: Fix a memory leak in comparison of sqlite3.Row objects. (GH-16155)

bpo-38100: Fix spelling error in unittest.mock code (GH-16168)

Doc: Add link of GNU Readline library to interpreter tutorial (GH-16152)

bpo-38081: Add more non-fatal error codes for ntpath.realpath (GH-16156)

bpo-38117: Update bundled Windows OpenSSL to 1.1.1d (GH-16184)

Doc: remove duplicate word in controlflow tutorial (GH-16163)

Fix a possbile refleak in setint() of mmapmodule.c (GH-16136)

bpo-38117: Updated OpenSSL to 1.1.1d in macOS installer. (GH-16170)

bpo-38178: Don't explicitly pass "loop" to EchoClientProtocol. (GH-16159)

https://bugs.python.org/issue38178

bpo-37798: Prevent undefined behavior in direct calls to the C helper function. (#16149)

Fix missing dec ref (#16158)

bpo38158: Removing nonexistant member "doc" from PyType_Spec documentation (GH-16142)

bpo-37635: Update arg name for seek() in IO tutorial (GH-16147)

Typically, the second positional argument for ``seek()`` is *whence*. That is the POSIX standard name (http://man7.org/linux/man-pages/man3/lseek.3p.html) and the name listed in the documentation for ``io`` module (https://docs.python.org/3/library/io.html#io.IOBase.seek).

The tutorial for IO is the only location where the second positional argument for ``seek()`` is referred to as *from_what*. I suspect this was created at an early point in Python's history, and was never updated (as this section predates the GitHub repository):

```
$ git grep "from_what"
Doc/tutorial/inputoutput.rst:To change the file object's position, use ``f.seek(offset, from_what)``.  The position is computed
Doc/tutorial/inputoutput.rst:the *from_what* argument.  A *from_what* value of 0 measures from the beginning
Doc/tutorial/inputoutput.rst:the reference point.  *from_what* can be omitted and defaults to 0, using the
```

For consistency, I am suggesting that the tutorial be updated to use the same argument name as the IO documentation and POSIX standard for ``seek()``, particularly since this is the only location where *from_what* is being used.

Note: In the POSIX standard, *whence* is technically the third positional argument, but the first argument *fildes* (file descriptor) is implicit in Python.

https://bugs.python.org/issue37635

bpo-38153: detect shake independently from sha3 (GH-16143)

XOF digests (SHAKE) are not available in OpenSSL 1.1.0 but SHA3 fixed-length digests are.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-38116: Convert select module to PEP-384 (#15971)

* Convert select module to PEP-384

Summary: Do the necessary versions to be Pyro-compatible, including migrating `PyType_Ready` to `PyType_FromSpec` and moving static data into a new `_selectstate` struct.

* 📜🤖 Added by blurb_it.

* Fixup Mac OS/X build

Fix leaks in Python-ast.c (#16127)

bpo-37206: Unrepresentable default values no longer represented as None. (GH-13933)

In ArgumentClinic, value "NULL" should now be used only for unrepresentable default values
(like in the optional third parameter of getattr). "None" should be used if None is accepted
as argument and passing None has the same effect as not passing the argument at all.

bpo-37953: Fix deprecation warnings in test_typing (GH-16133)

self.assertEquals() is deprecated.

```
./python -We -m test test_typing
Run tests sequentially
0:00:00 load avg: 0.23 [1/1] test_typing
test test_typing failed -- Traceback (most recent call last):
  File "/home/lubuntu2/cpython/Lib/test/test_typing.py", line 2382, in test_forward_equality_gth
    self.assertEquals(Union[c1, c1_gth], Union[c1])
  File "/home/lubuntu2/cpython/Lib/unittest/case.py", line 1390, in deprecated_func
    warnings.warn(
DeprecationWarning: Please use assertEqual instead.

test_typing failed

== Tests result: FAILURE ==

1 test failed:
    test_typing

Total duration: 140 ms
Tests result: FAILURE
```

https://bugs.python.org/issue37953

Doc: Fix link to window.getch in curses documentation (GH-16132)

bpo-33095: Add reference to isolated mode in -m and script option (GH-7764)

Attempt to make isolated mode easier to discover via additional inline documentation.

Co-Authored-By: Julien Palard <julien@palard.fr>

bpo-38005: Fixed comparing and creating of InterpreterID and ChannelID. (GH-15652)

* Fix a crash in comparing with float (and maybe other crashes).
* They are now never equal to strings and non-integer numbers.
* Comparison with a large number no longer raises OverflowError.
* Arbitrary exceptions no longer silenced in constructors and comparisons.
* TypeError raised in the constructor contains now the name of the type.
* Accept only ChannelID and int-like objects in channel functions.
* Accept only InterpreterId, int-like objects and str in the InterpreterId constructor.
* Accept int-like objects, not just int in interpreter related functions.

bpo-37953: Fix ForwardRef hash and equality checks (GH-15400)

Ideally if we stick a ForwardRef in a dictionary we would like to reliably be able to get it out again.

https://bugs.python.org/issue37953

Doc: fcntl.lockf() is more powerful than written (GH-6750)

Fix typo in test_api.py. (GH-16119)

bpo-32790: Add info about alt format using # for 'g' in chart (GH-6624)

bpo-38150 Fix refleak in the finalizer of a _testcapimodule type (GH-16115)

The PyLong created in the finalizer was not being cleaned up

https://bugs.python.org/issue38150

Automerge-Triggered-By: @matrixise

bpo-38122: minor fixes to AsyncMock spec handling (GH-16099)

bpo-38092: Reduce overhead when using multiprocessing in a Windows virtual environment (GH-16098)

https://bugs.python.org/issue38092

bpo-34706: Preserve subclassing in inspect.Signature.from_callable (GH-16108)

https://bugs.python.org/issue34706

Specifically in the case of a class that does not override its
constructor signature inherited from object.

These are Buck Evan @bukzor's changes cherrypicked from GH-9344.

bpo-37449: Move ensurepip off of pkgutil and to importlib.resources (GH-15109)

Move ensurepip off of pkgutil and to importlib.resources.

https://bugs.python.org/issue37449

bpo-37555: Update _CallList.__contains__ to respect ANY (#14700)

* Flip equality to use mock calls' __eq__

* bpo-37555: Regression test demonstrating assert_has_calls not working with ANY and spec_set

Co-authored-by: Neal Finne <neal@nealfinne.com>
* Revert "Flip equality to use mock calls' __eq__"

This reverts commit 94ddf54c5a8aab7d00d9ab93e1cc5695c28d73e7.

* bpo-37555: Add regression tests for mock ANY ordering issues

Add regression tests for whether __eq__ is order agnostic on _Call and _CallList, which is useful for comparisons involving ANY, especially if the ANY comparison is to a class not defaulting __eq__ to NotImplemented.

Co-authored-by: Neal Finne <neal@nealfinne.com>
* bpo-37555: Fix _CallList and _Call order sensitivity

_Call and _CallList depend on ordering to correctly process that an object being compared to ANY with __eq__ should return True. This fix updates the comparison to check both a == b and b == a and return True if either condition is met, fixing situations from the tests in the previous two commits where assertEqual would not be commutative if checking _Call or _CallList objects. This seems like a reasonable fix considering that the Python data model specifies that if an object doesn't know how to compare itself to another object it should return NotImplemented, and that on getting NotImplemented from a == b, it should try b == a, implying that good behavior for __eq__ is commutative. This also flips the order of comparison in _CallList's __contains__ method, guaranteeing ANY will be on the left and have it's __eq__ called for equality checking, fixing the interaction between assert_has_calls and ANY.

Co-author: Neal Finne <neal@neal.finne.com>

* bpo-37555: Ensure _call_matcher returns _Call object

* Adding ACK and news entry

* bpo-37555: Replacing __eq__ with == to sidestep NotImplemented

bool(NotImplemented) returns True, so it's necessary to use ==
instead of __eq__ in this comparison.

* bpo-37555: cleaning up changes unnecessary to the final product

* bpo-37555: Fixed call on bound arguments to respect args and kwargs

* Revert "bpo-37555: Add regression tests for mock ANY ordering issues"

This reverts commit 49c5310ad493c4356dd3bc58c03653cd9466c4fa.

* Revert "bpo-37555: cleaning up changes unnecessary to the final product"

This reverts commit 18e964ba0126d8964d89842cb95534b63c2d326e.

* Revert "bpo-37555: Replacing __eq__ with == to sidestep NotImplemented"

This reverts commit f295eaca5bceac6636c0e2b10e6c7d9a8ee8296a.

* Revert "bpo-37555: Fix _CallList and _Call order sensitivity"

This reverts commit 874fb697b8376fcea130116e56189061f944fde6.

* Updated NEWS.d

* bpo-37555: Add tests checking every function using _call_matcher both with and without spec

* bpo-37555: Ensure all assert methods using _call_matcher are actually passing calls

* Remove AnyCompare and use call objects everywhere.

* Revert "Remove AnyCompare and use call objects everywhere."

This reverts commit 24973c0b32ce7d796a7f4eeaf259832222aae0f5.

* Check for exception in assert_any_await

bpo-37199: Replace the early returns added in c2cda63. (GH-14535)

Run autoreconf. (GH-16106)

bpo-25068: urllib.request.ProxyHandler now lowercases the dict keys (GH-13489)

bpo-36046: Fix buildbot failures (GH-16091)

Varying user/group/permission check needs on platforms.

closes bpo-36002: Use AC_PATH_TOOL to find llvm-profdata and llvm-ar. (GH-14998)

Adjust code ownership so @gpshead don't get asyncio subprocess PRs. (GH-16100)

bpo-26468: Doc: improve the documentation of shutil.copy2 when it can fail. (GH-13765)

bpo-38153: Normalize hashlib algorithm names (GH-16083)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-29986: Doc: Delete tip to raise TypeError from tp_richcompare. (GH-16095)

Doc: Improve consistency of os.path.normcase with other os.path functions (GH-14004)

bpo-38148: Add slots to asyncio transports (GH-16077)

* bpo-38148: Add slots to asyncio transports

* Update Misc/NEWS.d/next/Library/2019-09-13-08-55-43.bpo-38148.Lnww6D.rst

Co-Authored-By: Kyle Stanley <aeros167@gmail.com>

bpo-12707: deprecate info(), geturl(), getcode() methods in favor of headers, url, and status properties for HTTPResponse and addinfourl (GH-11447)

Co-Authored-By: epicfaace <aramaswamis@gmail.com>