bpo-34170: Rework _PyCoreConfig_Read() to avoid side effect (GH-8353)

Rework _PyCoreConfig_Read() function which *reads* core configuration
to not *modify* the path configuration.

A new _PyCoreConfig_SetPathConfig() function now recreates the path
configuration from the core configuration. This function is now
called very late in _Py_InitializeCore(), just before calling
initimport().

Changes:

* Add _PyCoreConfig.dll_path
* Py_SetPath() now fails with a fatal python error on memory
   allocation failure.
* Rename _PyPathConfig_Calculate() to _PyPathConfig_Calculate_impl()
* Replace _PyPathConfig_Init() with _PyPathConfig_Calculate(): the
  function now requires a _PyPathConfig
* Add _PyPathConfig_SetGlobal() to set the _Py_path_config global
  variable.
* Add _PyCoreConfig_InitPathConfig(): compute the path configuration
* Add _PyCoreConfig_SetPathConfig(): set path configuration from core
  configuration
* Rename wstrlist_append() to _Py_wstrlist_append()
* _Py_wstrlist_append() now handles integer overflow.

bpo-34011: Update code copying DLLs and init.tcl into venvs. (GH-8253)

Remove extra parentheses in output formatting tutorial (GH-8350)

The parentheses were incorrect.

bpo-34008: Allow to call Py_Main() after Py_Initialize() (GH-8043)

Py_Main() can again be called after Py_Initialize(), as in Python
3.6. The new configuration is ignored, except of
_PyMainInterpreterConfig.argv which is used to update sys.argv.

bpo-34162: idlelib/NEWS.txt entries to 2018-7-20 (GH-8345)

bpo-30237: Output error when ReadConsole is canceled by CancelSynchronousIo. (GH-7911)

bpo-32692: Fix test_threading.test_set_and_clear() (GH-8331)

Increase the timeout: give timeout x 4 instead of timeout x 2 to
threads to wait until the Event is set, but reduce the sleep from 500
ms to 250 ms. So the test should be more reliable and faster!

bpo-34130: Fix test_signal.test_warn_on_full_buffer() (GH-8327)

On Windows, sometimes test_signal.test_warn_on_full_buffer() fails to
fill the socketpair buffer. In that case, the C signal handler
succeed to write into the socket, it doesn't log the expected send
error, and so the test fail.

On Windows, the test now uses a timeout of 50 ms to fill the
socketpair buffer to fix this race condition.

Other changes:

* Begin with large chunk size to fill the buffer to speed up the
  test.
* Add error messages to assertion errors to more easily identify
  which assertion failed.
* Don't set the read end of the socketpair as non-blocking.

bpo-34130: Fix test_signal.test_socket() (GH-8326)

test_signal.test_socket(): On Windows, sometimes even if the C signal handler
succeed to write the signal number into the write end of the socketpair, the
test fails with a BlockingIOError on the non-blocking read.recv(1) because the
read end of the socketpair didn't receive the byte yet.

Fix the race condition on Windows by setting the read end as blocking.

bpo-34141: Optimized pickling simple non-recursive values. (GH-8318)

Clarify ValueError's broad applicability (GH-8313)

bpo-34068: _io__IOBase_close_impl could call _PyObject_SetAttrId with an exception set (GH-8282)

bpo-33967: Fix wrong use of assertRaises (GH-8306)

bpo-34123: Fix missed documentation update for dict.popitem(). (GH-8292)

bpo-34124: Fix markup of message_from_binary_file() signature (GH-8297)

bpo-32430: Rename Modules/Setup.dist to Modules/Setup (GH-8229)

bpo-32430: Rename Modules/Setup.dist to Modules/Setup

Remove the necessity to copy the former manually to the latter when updating the local source tree.

bpo-33911: Fixed deprecation warning in xmlrpc.server (GH-7847)

Replace deprecated inspect.getfullargspec() with inspect.signature().

bpo-24618: Add a check in the code constructor. (GH-8283)

Check that the size of the varnames tuple is enough at least for all arguments.

bpo-34121: Fix detection of C11 atomic support on clang. (GH-8288)

bpo-34087: Fix buffer overflow in int(s) and similar functions (GH-8274)

`_PyUnicode_TransformDecimalAndSpaceToASCII()` missed trailing NUL char.
It caused buffer overflow in `_Py_string_to_number_with_underscores()`.

This bug is introduced in 9b6c60cb.

bpo-34108: Fix double carriage return in 2to3 on Windows (#8271)

* Add test capturing failure.
* Honor newlines as present in the original file.

bpo-4260: Document that ctypes.xFUNCTYPE are decorators (GH-7924)

bpo-33723: Fix test_time.test_thread_time() (GH-8267)

The test failed on AMD64 Debian root 3.x buildbot because the busy
loop of 100 ms only increased time.thread_time() by 19.9 ms which is
smaller than 20 ms. Modify the test to tolerate a delta of at least
15 ms instead of 20 ms.

bpo-33967: Remove use of deprecated assertRaisesRegexp() (GH-8261)

It was added in test_functools at 445f1b3.

bpo-34080: Fix a memory leak in the compiler. (GH-8222)

Enable GUI testing on Travis Linux builds via Xvfb (GH-7887)

bpo-23927: Make getargs.c skipitem() skipping 'w*'. (GH-8192)

bpo-33648: Remove PY_WARN_ON_C_LOCALE (GH-7114)

This code does not appear to be used anywhere in the python code base.
The use was removed in eb81795d7d3a8c898fa89.

bpo-34092, test_logging: increase SMTPHandlerTest timeout (GH-8245)

Change test_logging.SMTPHandlerTest timeout from 8 seconds to 1
minute. The test failed randomly on the slow x86 Gentoo Refleaks 3.7
buildbot.

Simplify __all__ in multiprocessing (GH-6856)

bpo-34083: Update dict order in Functional HOWTO (GH-8230)

Doc: Point to Simple statements section instead of PEP (GH-8238)

bpo-29442: Replace optparse with argparse in setup.py (GH-139)

bpo-33597: Add What's New for PyGC_Head (GH-8236)

Dataclasses: Fix example on 30.6.8, add method should receive a list rather than an integer. (GH-8038)

Change example function to append rather than add lists.

Fix documentation for input and output tutorial (GH-8231)

The ValueError message ends with a period.

bpo-34009: Expand on platform support changes (GH-8022)

Many users won't realise the implications the OpenSSL 1.0.2
minimum version requirement has when it comes to Ubuntu
14.04 and Debian 8, so expand on that in the platform support
section.

Also explicitly note the non-ASCII-based locale requirement for
full Unicode text handling support on non-Windows systems.

Factor-out two substantially identical code blocks. (GH-8219)

bpo-34031: fix incorrect usage of self.fail in two tests (GH-8091)

Contributed by Bradley Laney.

bpo-33597: Reduce PyGC_Head size (GH-7043)

bpo-33967: Fix singledispatch raised IndexError when no args (GH-8184)

prefix internal sqlite symbols with _pysqlite_ (GH-8215)

delete some unused pysqlite forward declarations (GH-8211)

Move Code_of_Conduct.rst to the root level. (GH-8209)

Follow up from https://github.com/python/peps/pull/712#issuecomment-403591108:

"people using the repo without using GitHub still ought to be reminded of the COC" - GvR

bpo-11572: Make minor improvements to copy module (GH-8208)

* When doing getattr lookups with a default of "None", it now
  uses an "is" comparison against None which is more correct
* Removed outdated code

Patch by Brandon Rhodes.

bpo-24459: Document missing env variables in python.man (GH-4142)

Initial patch by Joshua Jay Herman.

bpo-22689: Copy the result of getenv() in sys_breakpointhook(). (GH-8194)

Fixed several assertTrue() that were intended to be assertEqual(). (GH-8191)

Fixed also testing the "always" warning filter.

bpo-34067: Include a more easily understood example for nullcontext (GH-8158)

Include a more easily understood example for nullcontext

bpo-34066: Disabled interruption before SETUP_WITH and BEFORE_ASYNC_WITH. (GH-8159)

This will prevent emitting a resource warning when the execution was
interrupted by Ctrl-C between calling open() and entering a 'with' block
in "with open()".

bpo-33305: Improve SyntaxError for invalid numerical literals. (GH-6517)

bpo-26544: Fixed implementation of platform.libc_ver(). (GH-7684)

Fix margin in sentinel and mock_open (GH-8188)

bpo-34061: Document sqlite3.NotSupportedError (GH-8172)

bpo-31014: Fix the webbrowser module. (GH-7267)

webbrowser._synthesize() called webbrowser.register() with
outdated signature.

Co-Authored-By: John Still <john@jmsdvl.com>

bpo-34041: Allow creating deterministic functions in Connection.create_function() (GH-8086)

bpo-33888: Use CPython instead of Python in the FAQ (GH-7767)

Make the change where discussing the CPython implementation of lists and dicts.

closes bpo-34050: Fix link in SSL docs (GH-8173)

Make PySimpleQueueType static. (GH-8175)

bpo-28626: rearrange discussion of output formatting to encourage f-strings (#6036)

The 'output formatting' section of the tutorial talks a lot about manual formatting with things like .rjust() and .zfill(), with only a passing reference to 3.6's new f-strings.

This doesn't drop all of the old material, but it does rearrange the topics into a more modern order: f-strings first, discussing formatting specifiers a bit; then calling .format(); finally manual formatting with .ljust().

bpo-33702: Add some missing links in production lists and do a little polish (GH-7259)

bpo-33804: Document that the argument for io.TextIOBase.read() is optional (GH-7510)

Fix moduleauthor/sectionauthor directives in Enum (GH-8117)

Add missing closing parentheses (GH-8144)

Make various internal _testbuffer symbols static. (GH-8160)

Fix typo in TypeVar docstring (#8142)

"can be used do declare" → "can be used to declare"

bpo-34065: Improve the markup of logging.basicConfig() arguments (GH-8153)

Hide some symbols from _xxsubinterpreters. (GH-8151)

Make two PyModuleDef_Slot symbols static in _testmultiphase. (GH-8147)

closes bpo-34056: Always return bytes from _HackedGetData.get_data(). (GH-8130)

* Always return bytes from _HackedGetData.get_data().

Ensure the imp.load_source shim always returns bytes by reopening the file in
binary mode if needed. Hash-based pycs have to receive the source code in bytes.

It's tempting to change imp.get_suffixes() to always return 'rb' as a mode, but
that breaks some stdlib tests and likely 3rdparty code, too.

bpo-23493: json: Change sort_keys in Python encoder same to C (GH-8131)

Stop using key=lambda.  This behavior is same to C version encoder.

bpo-34042: Fix dict.copy() to maintain correct total refcount (GH-8119)

Clarify that example in comment is about fromkeys() (GH-8141)

bpo-34054: multiprocessing uses time.monotonic() (GH-8118)

The multiprocessing module now uses the monotonic clock
time.monotonic() instead of the system clock time.time() to implement
timeouts.

fix two typos in Objects/odictobject.c comments (GH-8040)

bpo-20180: complete AC conversion of Objects/stringlib/transmogrify.h (GH-8039)

* converted bytes methods: expandtabs, ljust, rjust, center, zfill
* updated char_convertor to properly set the C default value

Doc: Remove superfluous markup. (GH-8112)

The line is speaking of a list of commands, not the list command.

Fix GCC warning in Python/hamt.c (GH-7618)

bpo-33899: Make tokenize module mirror end-of-file is end-of-line behavior (GH-7891)

Most of the change involves fixing up the test suite, which previously made
the assumption that there wouldn't be a new line if the input didn't end in
one.

Contributed by Ammar Askar.

Make TaskStepMethWrapper_Type and TaskWakeupMethWrapper_Type static. (GH-8127)

bpo-34043: Optimize tarfile uncompress performance (GH-8089)

tarfile._Stream has two buffer for compressed and uncompressed data.
Those buffers are not aligned so unnecessary bytes slicing happens
for every reading chunks.

This commit bypass compressed buffering.

In this benchmark [1], user time become 250ms from 300ms.

[1]: https://bugs.python.org/msg320763

versionadded -> versionchanged for all 'X parameter was added' for uniformity. (GH8114)

Per the recommendation in our Developer's Guide:
  https://devguide.python.org/documenting/#paragraph-level-markup

Add more detail to the Counter.fromkeys() comment block (GH-8124)

classify abs() argument type (GH-8103)

Fix typo in dataclasses documentation (GH-8102)

bpo-34044: subprocess.Popen copies startupinfo (GH-8090)

subprocess.Popen now copies the startupinfo argument to leave it
unchanged: it will modify the copy, so that the same STARTUPINFO
object can be used multiple times.

Add subprocess.STARTUPINFO.copy() method.

Fix fuzz testing for marshal.loads(). (GH-8106)

bpo-33720: Improve tests for the stack overflow in marshal.loads(). (GH-7336)

Removed unused import from tzinfo_examples.py. (GH-7994)

Update Stackless Python wiki URL (GH-8072)

It was moved from bitbucket to GitHub.

Minor code refactoring.  Compute len() one fewer times on one code path. (GH-8094)

DOC: In `reduce`, refer to `accumulate` (GH-7930)

bpo-30516: Fix documentation issue with -timedelta in datetime (GH-7348)

This commit fixes the -timedelta overfllow issue not documented properly.

Signed-off-by: Farhaan Bukhsh <farhaan.bukhsh@gmail.com>

bpo-32942: Fix environment dependent test_script_helper (GH-8034)

Result of function interpreter_requires_environment() depends on os.environ.
This was not covered by the tests, leading to fail when PYTHONHOME was set.

bpo-34040, multiprocessing: Fix test_forkserver_sigkill() (GH-8081)

Fix test_forkserver_sigkill() of test_multiprocessing_forkserver:
give more time to the first child process to complete, double the
sleep in the parent process.

Reduce also the child process sleep from 1000 ms to 500 ms, to not change
the total duration of the test.

bpo-34010: Fix tarfile read performance regression (GH-8020)

During buffered read, use a list followed by join instead of extending a bytes object.
This is how it was done before but changed in commit b506dc32c1a.

Make GenericAlias_Type and Generic_Type static. (GH-8076)

Don't export pending_threadfunc from _testcapi. (GH-8075)

bpo-33418: Add tp_clear for function object (GH-8058)

Without tp_clear, GC can't break cyclic reference.
It will cause memory leak when cyclic reference is
created intentionally.

bpo-24596: Decref module in PyRun_SimpleFileExFlags() on SystemExit (GH-7918)

PyErr_Print() will not return when the exception is a SystemExit, so
decref the __main__ module object in that case.