bpo-36146: Refactor setup.py: Add PyBuildExt.srcdir (GH-12124)

* Add PyBuildExt.srcdir atribute in setup.py: the source directory is
  now always absolute.
* Add PyBuildExt.inc_dirs and PyBuildExt.lib_dirs attributes:
  replace 'inc_dirs' and 'lib_dirs' local variables of
  detect_modules().
* Replace "from distutils.errors import *"
  with "from distutils.errors import CCompilerError, DistutilsError"
  to be able to use static analyzers like pyflakes
* Reorder imports.

bpo-36146: Refactor setup.py: PyBuildExt.add() method (GH-12097)

* Add PyBuildExt.add() which adds the extension directly to
  self.extensions, rather than using a temporary 'exts' local
  variable in detect_modules() and then add 'exts' to self.extensions
* Convert 'missing' local variable from detect_modules()
  into PyBuildExt.missing attribute
* _detect_openssl(), _decimal_ext() and _detect_nis() now call
  directly self.add(), rather than returning an extension
  (or None if not found).
* Rename _decimal_ext() to _detect_decimal() for consistency with
  other methods.

bpo-36146: Fix inc_dirs in setup.py on macOS (GH-12098)

Fix setup.py on macOS: only add /usr/include/ffi to include
directories of _ctypes, not for all extensions.

bpo-36142: Remove _PyMain structure (GH-12120)

* Move fields from _PyMain to _PyCoreConfig:

  * skip_first_line
  * run_command
  * run_module
  * run_filename

* Replace _PyMain.stdin_is_interactive with a new
  stdin_is_interactive(config) function
* Rename _PyMain to _PyArgv. Add "const _PyArgv *args" field
  to _PyCmdline.

bpo-36142: Rework error reporting in pymain_main() (GH-12113)

Add a new _Py_INIT_EXIT() macro to be able to exit Python with an
exitcode using _PyInitError API. Rewrite function calls by
pymain_main() to use _PyInitError.

Changes:

* Remove _PyMain.err and _PyMain.status field
* Add _Py_INIT_EXIT() macro and _PyInitError.exitcode field.
* Rename _Py_FatalInitError() to _Py_ExitInitError().

bpo-36152: IDLE: Remove unused parameter from colorizer (GH-12109)

Remove colorizer.ColorDelegator.close_when_done and the corresponding argument of .close().  In IDLE, both have always been None or False since 2007.

bpo-36155: Check for identity on test_gc.test_get_objects (GH-12116)

bpo-36018: Add documentation link to "random variable" (GH-12114)

https://bugs.python.org/issue36018

bpo-36142: Exclude coreconfig.h from Py_LIMITED_API (GH-12111)

The whole coreconfig.h header is now excluded from Py_LIMITED_API.
Move functions definitions into a new internal pycore_coreconfig.h
header.

* Move Include/coreconfig.h to Include/cpython/coreconfig.h
* coreconfig.h header is now excluded from Py_LIMITED_API
* Move functions to pycore_coreconfig.h

bpo-29571: Fix test_re.test_locale_flag() (GH-12099)

Use locale.getpreferredencoding() rather than locale.getlocale() to
get the locale encoding. With some locales, locale.getlocale()
returns the wrong encoding.

For example, on Fedora 29, locale.getlocale() returns ISO-8859-1
encoding for the "en_IN" locale, whereas
locale.getpreferredencoding() reports the correct encoding: UTF-8.

bpo-36018: Add special value tests and make minor tweaks to the docs (GH-12096)

https://bugs.python.org/issue36018

Add versionadded directives to ssl.minimum_version and ssl.maximum_version (GH-11894)

bpo-36146: Refactor setup.py (GH-12093)

* Rename globals to upper case to better distinguish if a variable is
  global or local:

  * Rename cross_compiling to CROSS_COMPILING
  * Rename host_platform to HOST_PLATFORM
  * Rename disabled_module_list to DISABLED_MODULE_LIST

* Add MS_WINDOWS, CYGWIN and MACOS constants.
* Use booleans: replace "return 0" with "return False"
  and replace "return 1" with "return True"

Document the surprising sideeffect PyErr_Print(). (#12081)

Did you know an API documented as printing the pending traceback would sometimes exit the process?

You do now.

Fix grammar error in timeit module docs (GH-12066)

skip issue
skip news

Update FAQ to point to Infrastructure Team website. (GH-12077)

bpo-36096: IDLE: Refactor class variables in colorizer (GH-12002)

bpo-31904: Add cross-build support for VxWorks RTOS (GH-11968)

bpo-36123: Fix test_socket.testWithTimeoutTriggeredSend() race condition (GH-12053)

Use longer timeout for accept() in the server and block on accept in the client.
The client now only sets the timeout once the socket is connected.

bpo-35652: shutil.copytree(copy_function=...) erroneously pass DirEntry instead of path str (GH-11997)

closes bpo-36115: Fix some reference leaks in typeobject.c. (GH-12045)

a24107b04c1277e3c1105f98aff5bfa3a98b33a0 introduced a few refleaks.

https://bugs.python.org/issue36115

bpo-36106: Resolve sinpi name clash with libm (IEEE-754 violation). (GH-12027)

The standard math library (libm) may follow IEEE-754 recommendation to
include an implementation of sinPi(), i.e. sinPi(x):=sin(pi*x).
And this triggers a name clash, found by FreeBSD developer
Steve Kargl, who worken on putting sinpi into libm used on FreeBSD
(it has to be named "sinpi", not "sinPi", cf. e.g.
https://en.cppreference.com/w/c/experimental/fpext4).

bpo-36109: Fix random test_descr failure. (GH-12044)

Run autoreconf.

closes bpo-13497: Fix `broken nice` configure test. (GH-12041)

Per POSIX, `nice(3)` requires `unistd.h` and `exit(3)` requires `stdlib.h`.

Fixing the test will prevent false positives with pedantic compilers like clang.

bpo-24643: Fix "#define timezone _timezone" clashes on Windows (GH-12019)

bpo-36102: Prepend slash to all POSIX shared memory block names (#12036)

Clean up code which checked presence of os.{stat,lstat,chmod} (#11643)

Autospec functions should propagate mock calls to parent GH-11273

bpo-36030: Remove _PyStack_AsTuple() and _PyStack_AsTupleSlice() (GH-12032)

Post v3.8.0a2

Merge tag 'v3.8.0a2'

Python 3.8.0a2

bpo-36030: Add _PyTuple_FromArray() function (GH-11954)

Remove empty Dictionaries section from programming FAQ (GH-12026)

bpo-35459: Use PyDict_GetItemWithError() instead of PyDict_GetItem(). (GH-11112)

bpo-28450: Fix and improve the documentation for unknown escapes in RE. (GH-11920)

bpo-36048: Use __index__() instead of __int__() for implicit conversion if available. (GH-11952)

Deprecate using the __int__() method in implicit conversions of Python
numbers to C integers.

Correct name of 'defaultobj' parameter in PyDict_SetDefault() signature. (GH-11929)

v3.8.0a2

closes bpo-36083: Fix formatting of the manpage Synopsis. (GH-12017)

More specifically, the options of --check-hash-based-pycs.

bpo-33671: allow setting shutil.copyfile() bufsize globally (GH-12016)

bpo-33608: Factor out a private, per-interpreter _Py_AddPendingCall(). (GH-11617)

This involves moving the global "pending calls" state to PyInterpreterState.

https://bugs.python.org/issue33608

bpo-36101: remove non-ascii characters in docstring (GH-12018)

* remove non-ascii characters in docstring
* clinic.py emits a warning when docstring has non-ascii character

bpo-36018: Add properties for mean and stdev (GH-12022)

Responding to suggestions on the tracker and some off-line suggestions.

Davin suggested that english named accessors instead of greek letters would result in more intelligible user code. Steven suggested that the parameters still need to be *mu* and *theta* which are used elsewhere (and I noted those parameter names are used in linked-to resources).

Michael suggested proving-out the API by seeing whether it generalized to *Lognormal*.  I did so and found that Lognormal distribution parameters *mu* and *sigma*  do not represent the mean and standard deviation of the lognormal distribution (instead, they are for the underlying regular normal distribution).

Putting these ideas together, we have NormalDist parameterized by *mu* and *sigma* but offering English named properties for accessors.  That gives lets us match other API that access mu and sigma, it matches the external resources on the topic, gives us clear english names in user code. The API extends nicely to LogNormal where the parameters and the summary statistic accessors are not the same.

https://bugs.python.org/issue36018

bpo-35512: Resolve string target to patch.dict decorator during function call GH#12000

* Resolve string target to patch.dict during function call

* Add NEWS entry

* Remove unneeded call

* Restore original value for support.target and refactor assertions

* Add extra assertion to verify unpatched dict

bpo-27313: Avoid test_ttk_guionly ComboboxTest fail with macOS Cocoa Tk (GH-12011)

bpo-36018: Make __pos__ return a distinct instance of NormDist (GH-12009)

https://bugs.python.org/issue36018

bpo-35813: Tests and docs for shared_memory (#11816)

* Added tests for shared_memory submodule.

* Added tests for ShareableList.

* Fix bug in allocationn size during creation of empty ShareableList illuminated by existing test run on Linux.

* Initial set of docs for shared_memory module.

* Added docs for ShareableList, added doctree entry for shared_memory submodule, name refactoring for greater clarity.

* Added examples to SharedMemoryManager docs, for ease of documentation switched away from exclusively registered functions to some explicit methods on SharedMemoryManager.

* Wording tweaks to docs.

* Fix test failures on Windows.

* Added tests around SharedMemoryManager.

* Documentation tweaks.

* Fix inappropriate test on Windows.

* Further documentation tweaks.

* Fix bare exception.

* Removed __copyright__.

* Fixed typo in doc, removed comment.

* Updated SharedMemoryManager preliminary tests to reflect change of not supporting all registered functions on SyncManager.

* Added Sphinx doctest run controls.

* CloseHandle should be in a finally block in case MapViewOfFile fails.

* Missed opportunity to use with statement.

* Switch to self.addCleanup to spare long try/finally blocks and save one indentation, change to use decorator to skip test instead.

* Simplify the posixshmem extension module.

Provide shm_open() and shm_unlink() functions.  Move other
functionality into the shared_memory.py module.

* Added to doc around size parameter of SharedMemory.

* Changed PosixSharedMemory.size to use os.fstat.

* Change SharedMemory.buf to a read-only property as well as NamedSharedMemory.size.

* Marked as provisional per PEP411 in docstring.

* Changed SharedMemoryTracker to be private.

* Removed registered Proxy Objects from SharedMemoryManager.

* Removed shareable_wrap().

* Removed shareable_wrap() and dangling references to it.

* For consistency added __reduce__ to key classes.

* Fix for potential race condition on Windows for O_CREX.

* Remove unused imports.

* Update access to kernel32 on Windows per feedback from eryksun.

* Moved kernel32 calls to _winapi.

* Removed ShareableList.copy as redundant.

* Changes to _winapi use from eryksun feedback.

* Adopt simpler SharedMemory API, collapsing PosixSharedMemory and WindowsNamedSharedMemory into one.

* Fix missing docstring on class, add test for ignoring size when attaching.

* Moved SharedMemoryManager to managers module, tweak to fragile test.

* Tweak to exception in OpenFileMapping suggested by eryksun.

* Mark a few dangling bits as private as suggested by Giampaolo.

bpo-24310: Document IDLE settings dialog font tab sample (GH-12007)

fix _abc.c compile error on Cygwin (GH-8445)

bpo-36018: Add the NormalDist class to the statistics module (GH-11973)

bpo-35724: Explicitly require the main interpreter for signal-handling. (GH-11530)

Ensure that the main interpreter is active (in the main thread) for signal-handling operations. This is increasingly relevant as people use subinterpreters more.

https://bugs.python.org/issue35724

bpo-1054041: Add What's New docs. (GH-11999)

Add What's New docs about the Ctrl-C improvement. Correct the issue number in the NEWS entry.

bpo-35886: Make PyInterpreterState an opaque type in the public API. (GH-11731)

Move PyInterpreterState into the "internal" header files.

bpo-36016: Add generation option to gc.getobjects() (GH-11909)

bpo-36074: Result of  `asyncio.Server.sockets` after `Server.close()` after  is not clear (GH-11987)

[bpo-36074](https://bugs.python.org/issue36074): It becomes clear on  that the None is still return for server closed.

https://bugs.python.org/issue36074

bpo-36019: Use pythontest.net instead of example.com in network tests (GH-11941)

Include the --prompt flag in venv's help output (GH-10711)

Document usage of the existing `--prompt` option in the command line help.

Doc: Missing backquotes. (GH-11982)

bpo-28235: Fix xml.etree.ElementTree.fromstring docs (GH-11903)

bpo-35904: Add statistics.fmean() (GH-11892)

bpo-36068: Make _tuplegetter objects serializable (GH-11981)

bpo-36057 Update docs and tests for ordering in collections.Counter [no behavior change] (#11962)

* Add tests for Counter order.  No behavior change.

* Update docs and tests

* Fix doctest output and capitalization

bpo-36060: Document how collections.ChainMap() determines iteration order (GH-11969)

Document other performance implication for __slots__ (GH-11974)

bpo-36052: Raise a SyntaxError when assigning a value to __debug__ with := (GH-11958)

Trying to assign a value to __debug__ using the assignment operator is supposed to fail, but
a missing check for forbidden names when setting the context in the ast was preventing this behaviour.

bpo-36063: Minor performance tweak in long_divmod(). (GH-11915)

bpo-36059: Update OrderedDict() docs to reflect that regular dicts are now ordered (GH-11966)

Doc: fix example for iter() function. (GH-11959)

read() returns bytes for a file opened in binary mode,
so b'' should be used as a sentinel instead of ''.
Otherwise the loop will be infinite.

bpo-33989: Ensure that ms.key_compare is always initialized in list_sort_impl(). (GH-8710)

bpo-36062: Minor speed-up for list slicing and copying. (GH-11967)

Re-init _Py_UnhandledKeyboardInterrupt before run. (GH-11963)

Explicitly reinitialize this every eval *just in case* someone is
calling into an embedded Python where they don't care about an uncaught
KeyboardInterrupt exception (why didn't they leave
`config.install_signal_handlers` set to `0`?!?) but then later call
`Py_Main()` itself (which *checks* this flag and dies with a signal after
its interpreter exits).  We don't want a previous embedded interpreter's
uncaught exception to trigger an unexplained signal exit from a future
`Py_Main()` based one.

bpo-31982: Improve sequence of presentation in ChainMap docs (GH-11960)

https://bugs.python.org/issue31982

bpo-36012: Avoid linear slot search for non-dunder methods (GH-11907)

bpo-35993: Fix _PyInterpreterState_DeleteExceptMain() (GH-11852)

 Fix a crash on fork when using subinterpreters.

bpo-12822: use monotonic clock for condvar if possible (GH-11723)

bpo-36049: Fix compiler warning in Python/ast.c (GH-11949)

bpo-35584: Clarify role of caret in a class class (GH-11946)

https://bugs.python.org/issue35584

bpo-36037: Fix test_ssl for strict OpenSSL policy (GH-11940)

Fix test_ssl for strict OpenSSL configuration like RHEL8 strict crypto policy.
Use older TLS version for minimum TLS version of the server SSL context if
needed, to test TLS version older than default minimum TLS version.

bpo-35153: Add headers parameter to xmlrpc.client.ServerProxy (GH-10308)

Allow to add HTTP headers to XML-RPC requests sent to the server.

Doc: Fix typo. (GH-11315)

From: https://mail.python.org/pipermail/docs/2018-December/038583.html

bpo-31506: Clarify error messages for object.__new__ and object.__init__ (GH-11641)

`object.__new__` and `object.__init__` do take one argument each,
they just don't take extra user supplied arguments.

Patch by Sanyam Khurana.

Fix a misnamed test for lists. (GH-11933)

Fix syntax warnings in tests introduced in bpo-35942. (GH-11934)

Fix syntax warnings in tests introduced in bpo-15248. (GH-11932)

bpo-35798: Add test.support.check_syntax_warning(). (#11895)

It checks that a SyntaxWarning is raised when compile specified
statement, that it is raised only once, that it is converted to
a SyntaxError when raised as exception, and that both warning and
exception objects have corresponding attributes.

bpo-35689: IDLE: Add docstrings and unittests for colorizer.py (GH-11472)

bpo-34572: change _pickle unpickling to use import rather than retrieving from sys.modules (GH-9047)

Fix C implementation of pickle.loads to use importlib's locking mechanisms, and thereby avoid using partially-loaded modules.

bpo-34294: re module, fix wrong capturing groups in rare cases. (GH-11546)

Need to reset capturing groups between two SRE(match) callings in loops, this fixes wrong capturing groups in rare cases.

Also add a missing index in re.rst.

bpo-35704: Include correct NEWS entry (GH-11914)

The wrong NEWS snippet was inadvertently included in
GH-11500, this switches to the correct one.

https://bugs.python.org/issue35704

bpo-35704: Prevent test_shutil fail result when AIX is 32-bit and MAXDATA < 0x20000000 (GH-11500)

https://bugs.python.org/issue35704

bpo-35942: Improve the error message if __fspath__ returns invalid types in path_converter (GH-11831)

The error message emitted when returning invalid types from __fspath__ in interfaces that allow passing PathLike objects has been improved and now it does explain the origin of the error.

bpo-35992: Use PySequence_GetItem only if sq_item is not NULL (GH-11857)

Not using `__class_getitem__()` fallback if there is a non-subcriptable metaclass was caused by a certain asymmetry between how `PySequenceMethods` and `PyMappingMethods` are used in `PyObject_GetItem`. This PR removes this asymmetry. No tests failed, so I assume it was not intentional.

bpo-34720: Fix test_importlib.test_bad_traverse for AIX (GH-9391)

Fix  Modules/_testmultiphase.c so that it exits with non-zero status on AIX just as other systems do (non zero exit status, e.g. as result of a segmentation fault) when a NULL pointer is accessed for data.

https://bugs.python.org/issue34720

bpo-36013: delete fragile interactive shell SIGINT test (GH-11902)

It makes the existing smaller test more readable and robust at the same time.

The execution of a shell in interactive mode from CI and buildbot test automation wasn't working out.  What would work locally in our terminals would only work within a fraction of automation systems.  The integration test was a nice to have.  painful.  deleting. :)

Convert range to repeat for choices() (#11889)

bpo-1054041: Exit properly after an uncaught ^C. (#11862)

* bpo-1054041: Exit properly by a signal after a ^C.

An uncaught KeyboardInterrupt exception means the user pressed ^C and
our code did not handle it.  Programs that install SIGINT handlers are
supposed to reraise the SIGINT signal to the SIG_DFL handler in order
to exit in a manner that their calling process can detect that they
died due to a Ctrl-C.  https://www.cons.org/cracauer/sigint.html

After this change on POSIX systems

 while true; do python -c 'import time; time.sleep(23)'; done

can be stopped via a simple Ctrl-C instead of the shell infinitely
restarting a new python process.

What to do on Windows, or if anything needs to be done there has not
yet been determined.  That belongs in its own PR.

TODO(gpshead): A unittest for this behavior is still needed.

* Do the unhandled ^C check after pymain_free.

* Return STATUS_CONTROL_C_EXIT on Windows.

* Fix ifdef around unistd.h include.

* 📜🤖 Added by blurb_it.

* Add STATUS_CTRL_C_EXIT to the os module on Windows

* Add unittests.

* Don't send CTRL_C_EVENT in the Windows test.

It was causing CI systems to bail out of the entire test suite.

See https://dev.azure.com/Python/cpython/_build/results?buildId=37980
for example.

* Correct posix test (fail on macOS?) check.

* STATUS_CONTROL_C_EXIT must be unsigned.

* Improve the error message.

* test typo :)

* Skip if the bash version is too old.

...and rename the windows test to reflect what it does.

* min bash version is 4.4, detect no bash.

* restore a blank line i didn't mean to delete.

* PyErr_Occurred() before the Py_DECREF(co);

* Don't add os.STATUS_CONTROL_C_EXIT as a constant.

* Update the Windows test comment.

* Refactor common logic into a run_eval_code_obj fn.

 bpo-35884: Add missing FIFO queue benchmark (GH-11898)

https://bugs.python.org/issue35884

bpo-33234: Add another attribution in Whatsnew (GH-11899)

https://bugs.python.org/issue33234

bpo-32492: Add missing whatsnew entries for itemgetter and namedtuple (GH-11897)

https://bugs.python.org/issue32492