bpo-31810: added missing keywords to docs. (#4140)

async and await keywords has been merged into upstream, but they are
all missing in the lexical analysis docs. This change adds them to the
appropriate keywords section in documentation.

bpo-29179: Document the Py_UNUSED macro (#4341)

Py_UNUSED has a public name, and is used in the wild outside CPython,
but was not documented. Rectify that.

The macro was added in bpo-19976 and referenced in bpo-26179.

bpo-31934: Abort when building out of a not clean source tree (GH-4255)

bpo-31884 subprocess: add Windows constants for process priority (#4150)

bpo-31338: C API intro: add missing versionadded (#4339)

Fix broken link in Doc/whatsnew/3.7.rst (GH-4335)

Docs: Mention that Py_UNREACHABLE was added in 3.7 (#4337)

The macro was added for bpo-31338 in commit b2e5794870eb4728ddfaafc0f79a40299576434f

bpo-21862: Add -m option to cProfile for profiling modules (#4297)

* bpo-21862: Add -m option to cProfile for profiling modules

Remove unused var from CheckCancelOperation test (GH-4317)

It looks like this was copied from one of the previous tests, which did use it.

Added :const:`mmap.ACCESS_DEFAULT` constant. (#4093)

bpo-31620: have asyncio/queues not leak memory when you've exceptions during waiting (#3813)

Fix a typo (#4323)

bpo-31793: Doc: Specialize smart-quotes for Japanese (GH-4006)

bpo-31970: Reduce performance overhead of asyncio debug mode. (#4314)

* bpo-31970: Reduce performance overhead of asyncio debug mode.

bpo-31965: fix doc for multiprocessing.connection.Client and Listener (#4304)

* fix doc for multiprocessing.connection.Client

The authenticate argument does not exist on either Client or Listener:
- https://github.com/python/cpython/blob/master/Lib/multiprocessing/connection.py#L483 (master)
- https://github.com/python/cpython/blob/3.6/Lib/multiprocessing/connection.py#L478 (3.6)
- https://github.com/python/cpython/blob/3.5/Lib/multiprocessing/connection.py#L478 (3.5)
- https://github.com/python/cpython/blob/3.4/Lib/multiprocessing/connection.py#L487 (3.4)
The documentation also claimed that these functions will call `current_process().auth_key`, for which I could find no evidence in the code. I rewrote the documentation to reflect the actual behavior.

Also made some small changes to vary sentence structure.

bpo-31960: Fix asyncio.Future documentation for thread (un)safety. (#4319)

Fix the sizeof test for dicts with shared keys. (#4311)

By accident the size of the empty dict keys object matched the
size of values array.

bpo-20486: Implement Database.Close() method in msilib (GH-4141)

bpo-31626: Mark ends of the reallocated block in debug build. (#4210)

Few bytes at the begin and at the end of the reallocated blocks, as well
as the header and the trailer, now are erased before calling realloc()
in debug build.  This will help to detect using or double freeing the
reallocated block.

Fix a memory leak in _msi.c (#4127)

bpo-31950: Improve event loop policy doc (#4306)

Add asyncio.Handle.cancelled() method (#2388)

bpo-31415: Improve error handling and caching of the importtime option. (#4138)

bpo-28791: Update Windows builds to use SQLite 3.21.0. (GH-4246)

Fix a minor typo and hyphenate "multi-threading" (#4237)

bpo-31843: sqlite3.connect() now accepts PathLike objects as database name (#4299)

bpo-31764: Prevent a crash in sqlite3.Cursor.close() in case the Cursor object is uninitialized (#3958)

bpo-31770: Prevent a crash and refleaks when calling sqlite3.Cursor.__init__() more than once (#3968)

bpo-31945: Configurable blocksize in HTTP(S)Connection (#4279)

blocksize was hardcoded to 8192, preventing efficient upload when using
file-like body. Add blocksize argument to __init__, so users can
configure the blocksize to fit their needs.

I tested this uploading data from /dev/zero to a web server dropping the
received data, to test the overhead of the HTTPConnection.send() with a
file-like object.

Here is an example 10g upload with the default buffer size (8192):

$ time ~/src/cpython/release/python upload-httplib.py 10 https://localhost:8000/
Uploaded 10.00g in 17.53 seconds (584.00m/s)

real 0m17.574s
user 0m8.887s
sys 0m5.971s

Same with 512k blocksize:

$ time ~/src/cpython/release/python upload-httplib.py 10 https://localhost:8000/
Uploaded 10.00g in 6.60 seconds (1551.15m/s)

real 0m6.641s
user 0m3.426s
sys 0m2.162s

In real world usage the difference will be smaller, depending on the
local and remote storage and the network.

See https://github.com/nirs/http-bench for more info.

bpo-31957: Fixes version detection. (#4298)

Remove outdated with_threads checks in configure.ac (GH-4294)

Fix miscellaneous typos (#4275)

bpo-28994: PyErr_NormalizeException() no longer use C stack for recursion. (#2035)

MemoryError raised when normalizing a RecursionError raised during exception normalization now not always causes a fatal error.

bpo-22257: Mention startup refactoring in What's New (GH-4286)

While technically a purely internal change, bpo-31845 was
a fairly significant externally visible bug caused by
these changes (environment variable based configuration
was being ignored due to a change in the relative order
of reading the environment and reading command line settings,
and the test suite was only testing the command line options)

Hence this note to essentially say "If you see odd startup
problems in 3.7 that you've never seen in previous releases,
it's probably our fault, so let us know, and we'll fix it".

bpo-31609: Fixes quotes in PCbuild/clean.bat (#4280)

bpo-31944: Fixes build and Modify button (#4278)

bpo-31923: Fix spelling in sqlite3 docs (GH-4227)

Add version{changed,added} markers and make minor style changes (GH-4273)

bpo-28564: Use os.scandir() in shutil.rmtree(). (#4085)

This speeds up it to 20-40%.

bpo-31678: Fix typo in PyDateTime_DELTA_GET_MICROSECONDS (GH-3869)

bpo-21423: Add an initializer argument to {Process,Thread}PoolExecutor (#4241)

* bpo-21423: Add an initializer argument to {Process,Thread}PoolExecutor

* Fix docstring

bpo-18699: Corrected documentation for window.chgat in curses module (#1430)

bpo-9678: Fix determining the MAC address in the uuid module. (#4264)

* Using ifconfig on NetBSD and OpenBSD.
* Using arp on Linux, FreeBSD, NetBSD and OpenBSD.

Based on patch by Takayuki Shimizukawa.

Fix a grammatical problem and reword for clarity. (#4257)

bpo-31936

bpo-31933: fix blake2 multi-byte params on big endian platforms (#4250)

All Blake2 params have to be encoded in little-endian byte order. For
the two multi-byte integer params, leaf_length and node_offset, that
means that assigning a native-endian integer to them appears to work on
little-endian platforms, but gives the wrong result on big-endian. The
current libb2 API doesn't make that very clear, and @sneves is working
on new API functions in the GH issue above. In the meantime, we can work
around the problem by explicitly assigning little-endian values to the
parameter block.

See https://github.com/BLAKE2/libb2/issues/12.

bpo-30057: Fix potential missed signal in signal.signal(). (#4258)

Bug report and patch by Jeroen Demeyer.

bpo-31924: Fix test_curses on NetBSD 8. (#4228)

bpo-31310: multiprocessing's semaphore tracker should be launched again if crashed (#3247)

* bpo-31310: multiprocessing's semaphore tracker should be launched again if crashed

* Avoid mucking with process state in test.
Add a warning if the semaphore process died, as semaphores may then be leaked.

* Add NEWS entry

bpo-31308: If multiprocessing's forkserver dies, launch it again when necessary (#3246)

* bpo-31308: If multiprocessing's forkserver dies, launch it again when necessary.

* Fix test on Windows

* Add NEWS entry

* Adopt a different approach: ignore SIGINT and SIGTERM, as in semaphore tracker.

* Fix comment

* Make sure the test doesn't muck with process state

* Also test previously-started processes

* Update 2017-08-30-17-59-36.bpo-31308.KbexyC.rst

* Avoid masking SIGTERM in forkserver.  It's not necessary and causes a race condition in test_many_processes.

bpo-31926: fix missing *_METHODDEF statements by argument clinic (#4230)

When a single .c file contains several functions and/or methods with
the same name, a safety _METHODDEF #define statement is generated
only for one of them.

This fixes the bug by using the full name of the function to avoid
duplicates rather than just the name.

bpo-31415: Support PYTHONPROFILEIMPORTTIME envvar equivalent to -X importtime (#4240)

Support PYTHONPROFILEIMPORTTIME envvar equivalent to -X importtime

bpo-31890: define METH_STACKLESS (#4159)

Add METH_STACKLESS to prevent future collisions.

bpo-28643: Record profile-opt build progress with stamp files (#4223)

* bpo-28643: Record profile-opt build progress with stamp files

The profile-opt makefile target is expensive to build. Since the
makefile does not contain complete dependency information for this
target, much extra work can get done if the build is interrupted and
re-started.  Even running "make" a second time will result in a huge
amount of redundant work.

As a minimal fix (rather than removing recursive "make" and adding a
proper dependency graph), split the profile-opt target into parts:

- ensure tree is clean (profile-clean-stamp)
- build with profile generation enabled (profile-gen-stamp)
- run task to generate profile information (profile-run-stamp)
- build optimized Python using above information (profile-opt)

We use "stamp" files to record completion of the steps.  Running
"make clean" will not remove the profile-run-stamp file.

Other minor changes:

- remove the "build_all_use_profile" target.  I don't expect callers
  of the makefile to use this target so that should be safe.

- remove execution of "profile-removal" at end of "profile-opt".  I
  don't see any reason to not to keep the profile information, given
  the cost to generate it.  Removing the "profile-run-stamp" file
  will force re-generation of it.

Update multissltests: 1.0.2m, 1.1.0g (#4232)

Returning 1 from the set_progress_handler handler cancels query (GH-4120)

bpo-31784: Implement PEP 564: add time.time_ns() (#3989)

Add new time functions:

* time.clock_gettime_ns()
* time.clock_settime_ns()
* time.monotonic_ns()
* time.perf_counter_ns()
* time.process_time_ns()
* time.time_ns()

Add new _PyTime functions:

* _PyTime_FromTimespec()
* _PyTime_FromNanosecondsObject()
* _PyTime_FromTimeval()

Other changes:

* Add also os.times() tests to test_os.
* pytime_fromtimeval() and pytime_fromtimeval() now return
  _PyTime_MAX or _PyTime_MIN on overflow, rather than undefined
  behaviour
* _PyTime_FromNanoseconds() parameter type changes from long long to
  _PyTime_t

bpo-31307: Make ConfigParser.read() accept bytes objects (GH-3420)

bpo-31917: Add 3 new clock identifiers (#4207)

Add new clock identfiers:

* time.CLOCK_BOOTTIME
* time.CLOCK_PROF
* time.CLOCK_UPTIME

bpo-23699: Use a macro to reduce boilerplate code in rich comparison functions (GH-793)

bpo-27666: Fixed stack corruption in curses.box() and curses.ungetmouse(). (#4220)

bpo-15037: Add a workaround for getkey() in curses for ncurses 5.7 and earlier. (#3826)

Skip a test for unget_wch()/get_wch() on OpenBSD since they are broken
in ncurses 5.7.

[asyncio] bpo-30423: add regression test for orphan future causes "RuntimeError: Event loop stopped before Future completed." (#3295)

* call remove_done_callback in finally section

* [asyncio] bpo-30423 bug: add regression test for orphan future causes "RuntimeError: Event loop stopped before Future completed."

bpo-31919: Fix building the curses module on OpenIndiana. (#4211)

Remove nested comments in blake2 (#4173)

Replace occurence of nested comments in blake2 reference implementation
with preprocessor directive for disabling unused code.

`blake2s-load-xop.h` is conditionally pulled in only on chips with XOP
support, among others the AMD Bulldozer. The malformed comments in the
source file breaks the build of `hashlib`'s `_blake2` on GCC 6.3.0.

Official reference code on github uses `#if` so this change should be
uncontroversial.

bpo-25720: Fix the method for checking pad state of curses WINDOW (#4164)

Modify the code to use ncurses is_pad() instead of checking WINDOW
_flags field.  If your platform does not provide the is_pad(), the
existing way that checks the field will be enabled.

Note: This change does not drop support for platforms where do not
have both WINDOW _flags field and is_pad().

Fix test_socket.test_create_connection() (#4206)

bpo-31910: test_create_connection() now catchs also EADDRNOTAVAIL to
fix the test on Travis CI.

bpo-18835: Cleanup pymalloc (#4200)

Cleanup pymalloc:

* Rename _PyObject_Alloc() to pymalloc_alloc()
* Rename _PyObject_FreeImpl() to pymalloc_free()
* Rename _PyObject_Realloc() to pymalloc_realloc()
* pymalloc_alloc() and pymalloc_realloc() don't fallback on the raw
  allocator anymore, it now must be done by the caller
* Add "success" and "failed" labels to pymalloc_alloc() and
  pymalloc_free()
* pymalloc_alloc() and pymalloc_free() don't update
  num_allocated_blocks anymore: it should be done in the caller
* _PyObject_Calloc() is now responsible to fill the memory block
  allocated by pymalloc with zeros
* Simplify pymalloc_alloc() prototype
* _PyObject_Realloc() now calls _PyObject_Malloc() rather than
  calling directly pymalloc_alloc()

_PyMem_DebugRawAlloc() and _PyMem_DebugRawRealloc():

* document the layout of a memory block
* don't increase the serial number if the allocation failed
* check for integer overflow before computing the total size
* add a 'data' variable to make the code easiler to follow

test_setallocators() of _testcapimodule.c now test also the context.

bpo-20064: Document PyObject_Malloc() (#4199)

Document the following functions:

* PyObject_Malloc()
* PyObject_Calloc()
* PyObject_Realloc()
* PyObject_Free()

Fix also PyMem_RawFree() documentation.

bpo-31893: Fix errors in b9052a0f91d2e83bbc27267247a5920c82b242a3. (#4196)

* Fix a compilation error on FreeBSD.
* Fix the data attribute size on Mac OS X.

pythoninfo: add Py_DEBUG (#4198)

test_capi.test__testcapi() becomes more verbose (#4197)

Write the name of each subtest on a new line to help debugging when
a test does crash Python.

bpo-31897: Convert unexpected errors when read bogus binary plists into InvalidFileException. (#4171)

bpo-31626: Fixed a bug in debug memory allocator. (#3844)

Removed a code that incorrectly detected in-place resizing in realloc()
 and wrote to freed memory.

bpo-31893: Fixed select.kqueue(). (#4166)

* Fixed the layout of the kqueue_event structure on OpenBSD and NetBSD.
* Fixed the comparison of the kqueue_event objects.

bpo-31891: Fix building the curses module on NetBSD. (#4165)

bpo-31629: Add support.SaveSignals (#4183)

test_curses now saves/restores signals. On FreeBSD, the curses module
sets handlers of some signals, but don't restore old handlers when
the module is deinitialized.

Remove tiny bit of deadcode from wsgiref.validate (#3996)

bpo-31304: Update starmap_async documentation. (GH-4168)

Update the kwarg in the documentation of `multiprocessing.pool.Pool.starmap_async`, from `error_back` to `error_callback` to match the source code..

bpo-31245: Asyncio unix socket datagram (#3164)

bpo-20047: Make bytearray methods partition() and rpartition() rejecting (#4158)

separators that are not bytes-like objects.

bpo-31836: Test_code_module now passes with sys.ps1, ps2 set (#4070)

IDLE -- Restrict shell prompt manipulaton to the shell. (#4143)

Editor and output windows only see an empty last prompt line.
This simplifies the code and fixes a minor bug when newline is inserted.
Sys.ps1, if present, is read on Shell start-up, but is not set or changed.

bpo-31860: Make the font sample in the IDLE font configuration dialog editable. (#4106)

Changes persist while IDLE remains open

faulthandler: use _PyTime_t rather than double for timeout (#4139)

Use the _PyTime_t type rather than double for the faulthandler
timeout in dump_traceback_later().

This change should fix the following Coverity warning:

CID 1420311:  Incorrect expression  (UNINTENDED_INTEGER_DIVISION)
Dividing integer expressions "9223372036854775807LL" and "1000LL",
and then converting the integer quotient to type "double". Any
remainder, or fractional part of the quotient, is ignored.

    if ((timeout * 1e6) >= (double) PY_TIMEOUT_MAX) {

The warning comes from (double)PY_TIMEOUT_MAX with:

    #define PY_TIMEOUT_MAX (PY_LLONG_MAX / 1000)

bpo-31174: Improve the code of test_tools.test_unparse. (#4146)

bpo-16135: Cleanup: Code rot left over from OS/2 support (GH-4147)

Remove dangling references to PYCC_VACPP that are not relelvant
since removal of OS/2 support.

bpo-31545: Update documentation containing timedelta repr. (GH-3687)

This is a fix to the documentation to reflect the changes merged
in as part of bpo-30302.

Fix _socket module compilation on Cygwin. (#4137)

bpo-31877: Add _Py_LegacyLocaleDetected and _PyCoerceLegacyLocale to pylifecycle.h (GH-4134)

Only declaring these as interns inside the CLI's main C module
caused build problems on some platforms (notably Cygwin), so
this switches them to a regular underscore prefixed "private" C
API declaration.

Fixed sorting order of the LogRecord attributes in the documentation. (GH-4133)

bpo-30989: Sort in TimedRotatingFileHandler only when needed. (GH-2812)

TimedRotatingFileHandler.getFilesToDelete() now sorts only when needed.

bpo-31053: Remove redundant 'venv' argument in venv example (GH-2907)

bpo-28936: Detect lexically first syntax error first (#4097)

Lexically first global and nonlocal syntax errors at given scope should be detected first.

Closes bpo-28281: Remove year (1-9999) limits on the weekday() function. (#4109)

Patch by Mark Gollahon.

bpo-30553: Add status code 421 to http.HTTPStatus (GH-2589)

Fix trailing whitespaces in C files. (#4130)

bpo-30697: Fix PyErr_NormalizeException() when no memory (GH-2327)

bpo-30937: Make usage of newline='' consistent in csv docs (GH-2730)

bpo-21720: Restore the Python 2.7 logic in handling a fromlist. (#4118)

BytesWarning no longer emitted when the fromlist argument of
__import__() or the __all__ attribute of the module contain bytes
instances.

fixes bpo-31866: remove code pertaining to AtheOS support (#4115)

We stop support this OS in 2007 with commit
19fab761b71a1687aee3415db3a937b5ce31975d. Let's finish.