bpo-33666: Add what's new entry for os.errno removal (GH-#8497)

Co-authored-by: Petr Viktorin <encukou@gmail.com>

bpo-33921: Clarify how to bind to all interfaces using socket (GH-7877)

Clarify how to bind to all interfaces using socket

bpo-5978: Document that profiling needs cmd/function to return (GH-7938)

<!-- issue-number: bpo-5978 -->
https://bugs.python.org/issue5978
<!-- /issue-number -->

bpo-29710: Clarify documentation for Bitwise binary operation (GH-1691)

Mathematically, bitwise operations on integers behave as if there were an
infinite number of sign bits. Pragmatically, that gives the same answer as
using one extra sign bit for the bitwise logical operations.

bpo-30722: Fix NEWS entries (GH-8501)

Remove some unused code in _pysqlite_query_execute() (GH-8495)

Unused since commit ab994ed8b97e1b0dac151ec827c857f5e7277565.

vsts: Avoid conflict with Homebrew Python (GH-8430)

/usr/local/lib/pythonX.Y is used by Homebrew's Python already.

bpo-12743: Delete comment from marshal.rst (GH-8457)

Also, update the list of exceptions that may raised by PyMarshal_*
functions. We usually don't document exceptions raised by a
function, but in this case most of them were already documented
in C API and standard library documentation.

bpo-34239: Convert test_bz2 to use tempfile (#8485)

* bpo-34239: Convert test_bz2 to use tempfile

test_bz2 currently uses the test.support.TESTFN functionality which creates a temporary file local to the test directory named around the pid.

This can give rise to race conditions where tests are competing with each other to delete and recreate the file.

This change converts the tests to use tempfile.mkstemp which gives a different file every time from the system's temp area

bpo-34170, test_embed: write Py_Initialize() tests (GH-8484)

Fix typo: variables(s) (GH-8482)

Remove extra `(s)` in the documentation of `compound_stmts`.

bpo-34201: Tweak test_buffer. (GH-8481)

bpo-34170: Cleanup pymain_read_conf() (GH-8476)

* Config: Rename ignore_environment field to use_environment.
* _PyCoreConfig_Read(): if isolated is set, use_environment and
  site_import are now always set to 0.
* Inline pymain_free_raw() into pymain_free()
* Move config_init_warnoptions() call into pymain_read_conf_impl()
* _PyCoreConfig_Read(): don't replace values if they are already set:
  faulthandler, pycache_prefix, home.

bpo-34225: Ensure INCLUDE and LIB directories do not end with a backslash. (GH-8464)

bpo-34201: Make ndarray.readonly a bool and use stricter tests in test_buffer. (GH-8414)

bpo-20260: Implement non-bitwise unsigned int converters for Argument Clinic. (GH-8434)

bpo-34197: Make _csv.Dialect attributes booleans. (GH-8440)

Attributes skipinitialspace, doublequote and strict are now
booleans instead of integers 0 or 1.

bpo-34170: Enhance _PyCoreConfig_Read() (GH-8468)

* Inline cmdline_get_env_flags() into config_read_env_vars():
  _PyCoreConfig_Read() now reads much more environment variables like
  PYTHONVERBOSE.
* Allow to override faulthandler and allocator even if dev_mode=1.
  PYTHONMALLOC is now the priority over PYTHONDEVMODE.
* Fix _PyCoreConfig_Copy(): copy also install_signal_handlers,
  coerce_c_locale and coerce_c_locale_warn
* _PyCoreConfig.install_signal_handlers default is now 1: install
  signals by default
* Fix also a compiler warning: don't define _PyPathConfig type twice.

bpo-32663 Make SMTPUTF8SimTests run (#5314)

Enable and fix SMTPUTF8SimTests in test_smtplib.

The tests for SMTPUTF8SimTests in test_smtplib.py were not actually
being run because test_smtplib was still using the 'test_main' pattern,
and the class was never added to test_main.

Additionally, one of the tests needed to be moved to the non-UTF8 server
class because it relies on the server not being UTF-8 compatible (and it
had a bug in in).

bpo-34228: Allow PYTHONTRACEMALLOC=0 (GH-8467)

PYTHONTRACEMALLOC=0 environment variable and -X tracemalloc=0 command
line option are now allowed to disable explicitly tracemalloc at
startup.

bpo-29097: Forego fold detection on windows for low timestamp values (GH-2385)

On Windows, passing a negative value to local results in an OSError because localtime_s on Windows does not support negative timestamps. Unfortunately this means that fold detection for timestamps between 0 and max_fold_seconds will result in this OSError since we subtract max_fold_seconds from the timestamp to detect a fold. However, since we know there haven't been any folds in the interval [0, max_fold_seconds) in any timezone, we can hackily just forego fold detection for this time range on Windows.

bpo-13041: Use shutil.get_terminal_size() in argparse.HelpFormatter (GH-8459)

bpo-28677: Improve phrasing of when instance attribute is referenced (GH-6208)

bpo-34195: Fix case-sensitive comparison in test_nt_helpers (GH-8448)

* Fix case-sensitive comparison

test_nt_helpers assumed that two versions of a Windows path could be compared case-sensitively. This is not the case, and the difference can be triggered (apparently) by running the test on a path somewhere below a Junction.

bpo-34218: Fix a leak in _elementtree.c introduced in GH-6769. (GH-8460)

bpo-34170: Cleanup pymain_run_python() (GH-8455)

* Move _PyMain.main_importer_path inside pymain_run_python
* If main_importer_path is non-NULL, update sys.path[0] earlier

bpo-34170: Add _Py_InitializeFromConfig() (GH-8454)

* If _Py_InitializeCore() is called twice, the second call now copies
  and apply (partially) the new configuration.
* Rename _Py_CommandLineDetails to _PyCmdline
* Move more code into pymain_init(). The core configuration created
  by Py_Main() is new destroyed before running Python to reduce the
  memory footprint.
* _Py_InitializeCore() now returns the created interpreter.
  _Py_InitializeMainInterpreter() now expects an interpreter.
* Remove _Py_InitializeEx_Private(): _freeze_importlib now uses
  _Py_InitializeFromConfig()
* _PyCoreConfig_InitPathConfig() now only computes the path
  configuration if needed.

bpo-34217: Use lowercase header for Windows (GH-8453)

bpo-34170: Add _PyCoreConfig.bytes_warning (GH-8447)

Add more fields to _PyCoreConfig:

* _check_hash_pycs_mode
* bytes_warning
* debug
* inspect
* interactive
* legacy_windows_fs_encoding
* legacy_windows_stdio
* optimization_level
* quiet
* unbuffered_stdio
* user_site_directory
* verbose
* write_bytecode

Changes:

* Remove pymain_get_global_config() and pymain_set_global_config()
  which became useless. These functions have been replaced by
  _PyCoreConfig_GetGlobalConfig() and
  _PyCoreConfig_SetGlobalConfig().
* sys.flags.dont_write_bytecode value is now restricted to 1 even if
  -B option is specified multiple times on the command line.
* PyThreadState_Clear() now uses the config from the current
  interpreter rather than using global Py_VerboseFlag

Fix site module documentation. (GH-8441)

The script will exit with the number 0 (zero), instead of the letter O.

bpo-34136: Make test_do_not_recreate_annotations more lenient. (GH-8437)

bpo-34170: Add _PyCoreConfig.isolated (GH-8417)

* _PyCoreConfig: add isolated and site_import attributes
* Replace Py_IgnoreEnvironment with config->ignore_environment when
  reading the current configuration
* _PyCoreConfig_Read() now sets ignore_environment, utf8_mode,
  isolated and site_import from Py_IgnoreEnvironment, Py_UTF8Mode,
  Py_IsolatedFlag and Py_NoSiteFlag
* _Py_InitializeCore() now sets Py_xxx flags from the configuration
* pymain_read_conf() now uses _PyCoreConfig_Copy() to save/restore
  the configuration.
* Rename _disable_importlib of _PyCoreConfig to _install_importlib
* _PyCoreConfig_SetGlobalConfig() now also set
  Py_HashRandomizationFlag
* Replace !Py_NoSiteFlag with core_config->site_import

bpo-34164: Fix handling of incorrect padding in base64.b32decode(). (GH-8351)

Now base64.Error is always raised instead of UnboundLocalError or
OverflowError.

bpo-29209: Remove old-deprecated features in ElementTree. (GH-6769)

Also make getchildren() and getiterator() emitting
a DeprecationWarning instead of PendingDeprecationWarning.

bpo-33720: Refactor marshalling/unmarshalling floats. (GH-8071)

bpo-34149: Behavior of the min/max with key=None (GH-8328)

Improve consistency with the signature for sorted(), heapq.nsmallest(), heapq.nlargest(), and itertools.groupby().

bpo-33468: Add try-finally contextlib.contextmanager example (GH-7816)

bpo-32500: Fix error messages for sequence and mapping C API. (GH-7846)

Fix error messages for PySequence_Size(), PySequence_GetItem(),
PySequence_SetItem() and PySequence_DelItem() called with a mapping
and PyMapping_Size() called with a sequence.

bpo-34084: Fix setting an error message for the "Barry as BDFL" easter egg. (GH-8262)

bpo-34183: Fix running Lib/test/test_contextlib_async.py as a script. (GH-8381)

bpo-34184: Fix running Lib/test/test_dataclasses.py as a script. (GH-8382)

bpo-34190: Fix reference leak in call_function() (GH-8413)

bpo-33336, imaplib: Legalize MOVE command (GH-6569)

imaplib now allows MOVE command in IMAP4.uid() (RFC 6851:
IMAP MOVE Extension) and potentially as a name of supported
method of IMAP4 object.

bpo-25094: Fix test_tools.test_sundry() on Windows (GH-8406)

When Python is installed on Windows, python -m test test_tools failed
because it tried to run Tools\scripts\2to3.py which requires an
argument. Skip this script. On other platforms or on Windows but when
run from source code (not installed), the script is called "2to3"
instead of "2to.py" and so was already skipped.

Modify also the unit test to unload all modules which have been
loaded by the test.

AppVeyor: build Python in 64-bit mode (GH-8363)

Previously, Python was built in 32-bit mode and so issues specific to
64-bit mode like compiler warnings could be missed.

bpo-21446: Update reload fixer to use importlib (GH-8391)

bpo-940286: Fix pydoc to show cross refs correctly (GH-8390)

bpo-34127: Fix grammar in error message with respect to argument count (GH-8395)

bpo-34189: Fix checking for bugfix Tcl version. (GH-8397)

bpo-34189: Add simple tests for new Tk widget options. (GH-8396)

Fix versionchanged indentation in popitem documentation (GH-8387)

bpo-34181: Fix running Lib/test/test_typing.py as a script. (GH-8380)

bpo-34179:  Make sure decimal context doesn't affect other tests.  (#8376)

bpo-34126: Fix crashes while profiling invalid calls. (GH-8300)

bpo-34166: Fix warnings in Tools/msgfmt.py. (GH-8367)

bpo-34136: Make test_do_not_recreate_annotations more reliable. (GH-8364)

bpo-34170: _PyCoreConfig_Read() leaves Py_IsolatedFlag unchanged (GH-8361)

* _PyCoreConfig_Read() no longer directly modifies Py_IsolatedFlag
  and Py_NoSiteFlag global configuration flags. The function now
  requires two pointers to integer, so these flags can be set later,
  to avoid side effets in _PyCoreConfig_Read().
* pathconfig_global_init() now leaves Py_IsolatedFlag and
  Py_NoSiteFlag unchanged.
* Fix pathconfig_global_init(): avoid computing the path
  configuration twice, use _PyCoreConfig_SetPathConfig().

Fix Windows compiler warning in tokenize.c (GH-8359)

Fix the following warning on Windows:

parser\tokenizer.c(1297): warning C4244: 'function': conversion from
'__int64' to 'int', possible loss of data.

bpo-33723: Fix test_time.test_process_time() (GH-8358)

The test failed on my laptop because the busy loop took 15.9 ms
whereas the test expects at least 20 ms. Modify test_process_time()
as test_thread_time() has been modified recently: only require 15 ms
instead of 20 ms.

bpo-34170: Rework _PyCoreConfig_Read() to avoid side effect (GH-8353)

Rework _PyCoreConfig_Read() function which *reads* core configuration
to not *modify* the path configuration.

A new _PyCoreConfig_SetPathConfig() function now recreates the path
configuration from the core configuration. This function is now
called very late in _Py_InitializeCore(), just before calling
initimport().

Changes:

* Add _PyCoreConfig.dll_path
* Py_SetPath() now fails with a fatal python error on memory
   allocation failure.
* Rename _PyPathConfig_Calculate() to _PyPathConfig_Calculate_impl()
* Replace _PyPathConfig_Init() with _PyPathConfig_Calculate(): the
  function now requires a _PyPathConfig
* Add _PyPathConfig_SetGlobal() to set the _Py_path_config global
  variable.
* Add _PyCoreConfig_InitPathConfig(): compute the path configuration
* Add _PyCoreConfig_SetPathConfig(): set path configuration from core
  configuration
* Rename wstrlist_append() to _Py_wstrlist_append()
* _Py_wstrlist_append() now handles integer overflow.

bpo-34011: Update code copying DLLs and init.tcl into venvs. (GH-8253)

Remove extra parentheses in output formatting tutorial (GH-8350)

The parentheses were incorrect.

bpo-34008: Allow to call Py_Main() after Py_Initialize() (GH-8043)

Py_Main() can again be called after Py_Initialize(), as in Python
3.6. The new configuration is ignored, except of
_PyMainInterpreterConfig.argv which is used to update sys.argv.

bpo-34162: idlelib/NEWS.txt entries to 2018-7-20 (GH-8345)

bpo-30237: Output error when ReadConsole is canceled by CancelSynchronousIo. (GH-7911)

bpo-32692: Fix test_threading.test_set_and_clear() (GH-8331)

Increase the timeout: give timeout x 4 instead of timeout x 2 to
threads to wait until the Event is set, but reduce the sleep from 500
ms to 250 ms. So the test should be more reliable and faster!

bpo-34130: Fix test_signal.test_warn_on_full_buffer() (GH-8327)

On Windows, sometimes test_signal.test_warn_on_full_buffer() fails to
fill the socketpair buffer. In that case, the C signal handler
succeed to write into the socket, it doesn't log the expected send
error, and so the test fail.

On Windows, the test now uses a timeout of 50 ms to fill the
socketpair buffer to fix this race condition.

Other changes:

* Begin with large chunk size to fill the buffer to speed up the
  test.
* Add error messages to assertion errors to more easily identify
  which assertion failed.
* Don't set the read end of the socketpair as non-blocking.

bpo-34130: Fix test_signal.test_socket() (GH-8326)

test_signal.test_socket(): On Windows, sometimes even if the C signal handler
succeed to write the signal number into the write end of the socketpair, the
test fails with a BlockingIOError on the non-blocking read.recv(1) because the
read end of the socketpair didn't receive the byte yet.

Fix the race condition on Windows by setting the read end as blocking.

bpo-34141: Optimized pickling simple non-recursive values. (GH-8318)

Clarify ValueError's broad applicability (GH-8313)

bpo-34068: _io__IOBase_close_impl could call _PyObject_SetAttrId with an exception set (GH-8282)

bpo-33967: Fix wrong use of assertRaises (GH-8306)

bpo-34123: Fix missed documentation update for dict.popitem(). (GH-8292)

bpo-34124: Fix markup of message_from_binary_file() signature (GH-8297)

bpo-32430: Rename Modules/Setup.dist to Modules/Setup (GH-8229)

bpo-32430: Rename Modules/Setup.dist to Modules/Setup

Remove the necessity to copy the former manually to the latter when updating the local source tree.

bpo-33911: Fixed deprecation warning in xmlrpc.server (GH-7847)

Replace deprecated inspect.getfullargspec() with inspect.signature().

bpo-24618: Add a check in the code constructor. (GH-8283)

Check that the size of the varnames tuple is enough at least for all arguments.

bpo-34121: Fix detection of C11 atomic support on clang. (GH-8288)

bpo-34087: Fix buffer overflow in int(s) and similar functions (GH-8274)

`_PyUnicode_TransformDecimalAndSpaceToASCII()` missed trailing NUL char.
It caused buffer overflow in `_Py_string_to_number_with_underscores()`.

This bug is introduced in 9b6c60cb.

bpo-34108: Fix double carriage return in 2to3 on Windows (#8271)

* Add test capturing failure.
* Honor newlines as present in the original file.

bpo-4260: Document that ctypes.xFUNCTYPE are decorators (GH-7924)

bpo-33723: Fix test_time.test_thread_time() (GH-8267)

The test failed on AMD64 Debian root 3.x buildbot because the busy
loop of 100 ms only increased time.thread_time() by 19.9 ms which is
smaller than 20 ms. Modify the test to tolerate a delta of at least
15 ms instead of 20 ms.

bpo-33967: Remove use of deprecated assertRaisesRegexp() (GH-8261)

It was added in test_functools at 445f1b3.

bpo-34080: Fix a memory leak in the compiler. (GH-8222)

Enable GUI testing on Travis Linux builds via Xvfb (GH-7887)

bpo-23927: Make getargs.c skipitem() skipping 'w*'. (GH-8192)

bpo-33648: Remove PY_WARN_ON_C_LOCALE (GH-7114)

This code does not appear to be used anywhere in the python code base.
The use was removed in eb81795d7d3a8c898fa89.

bpo-34092, test_logging: increase SMTPHandlerTest timeout (GH-8245)

Change test_logging.SMTPHandlerTest timeout from 8 seconds to 1
minute. The test failed randomly on the slow x86 Gentoo Refleaks 3.7
buildbot.

Simplify __all__ in multiprocessing (GH-6856)

bpo-34083: Update dict order in Functional HOWTO (GH-8230)

Doc: Point to Simple statements section instead of PEP (GH-8238)

bpo-29442: Replace optparse with argparse in setup.py (GH-139)

bpo-33597: Add What's New for PyGC_Head (GH-8236)

Dataclasses: Fix example on 30.6.8, add method should receive a list rather than an integer. (GH-8038)

Change example function to append rather than add lists.

Fix documentation for input and output tutorial (GH-8231)

The ValueError message ends with a period.

bpo-34009: Expand on platform support changes (GH-8022)

Many users won't realise the implications the OpenSSL 1.0.2
minimum version requirement has when it comes to Ubuntu
14.04 and Debian 8, so expand on that in the platform support
section.

Also explicitly note the non-ASCII-based locale requirement for
full Unicode text handling support on non-Windows systems.

Factor-out two substantially identical code blocks. (GH-8219)

bpo-34031: fix incorrect usage of self.fail in two tests (GH-8091)

Contributed by Bradley Laney.

bpo-33597: Reduce PyGC_Head size (GH-7043)

bpo-33967: Fix singledispatch raised IndexError when no args (GH-8184)