bpo-31917: Add 3 new clock identifiers (#4207)

Add new clock identfiers:

* time.CLOCK_BOOTTIME
* time.CLOCK_PROF
* time.CLOCK_UPTIME

bpo-23699: Use a macro to reduce boilerplate code in rich comparison functions (GH-793)

bpo-27666: Fixed stack corruption in curses.box() and curses.ungetmouse(). (#4220)

bpo-15037: Add a workaround for getkey() in curses for ncurses 5.7 and earlier. (#3826)

Skip a test for unget_wch()/get_wch() on OpenBSD since they are broken
in ncurses 5.7.

[asyncio] bpo-30423: add regression test for orphan future causes "RuntimeError: Event loop stopped before Future completed." (#3295)

* call remove_done_callback in finally section

* [asyncio] bpo-30423 bug: add regression test for orphan future causes "RuntimeError: Event loop stopped before Future completed."

bpo-31919: Fix building the curses module on OpenIndiana. (#4211)

Remove nested comments in blake2 (#4173)

Replace occurence of nested comments in blake2 reference implementation
with preprocessor directive for disabling unused code.

`blake2s-load-xop.h` is conditionally pulled in only on chips with XOP
support, among others the AMD Bulldozer. The malformed comments in the
source file breaks the build of `hashlib`'s `_blake2` on GCC 6.3.0.

Official reference code on github uses `#if` so this change should be
uncontroversial.

bpo-25720: Fix the method for checking pad state of curses WINDOW (#4164)

Modify the code to use ncurses is_pad() instead of checking WINDOW
_flags field.  If your platform does not provide the is_pad(), the
existing way that checks the field will be enabled.

Note: This change does not drop support for platforms where do not
have both WINDOW _flags field and is_pad().

Fix test_socket.test_create_connection() (#4206)

bpo-31910: test_create_connection() now catchs also EADDRNOTAVAIL to
fix the test on Travis CI.

bpo-18835: Cleanup pymalloc (#4200)

Cleanup pymalloc:

* Rename _PyObject_Alloc() to pymalloc_alloc()
* Rename _PyObject_FreeImpl() to pymalloc_free()
* Rename _PyObject_Realloc() to pymalloc_realloc()
* pymalloc_alloc() and pymalloc_realloc() don't fallback on the raw
  allocator anymore, it now must be done by the caller
* Add "success" and "failed" labels to pymalloc_alloc() and
  pymalloc_free()
* pymalloc_alloc() and pymalloc_free() don't update
  num_allocated_blocks anymore: it should be done in the caller
* _PyObject_Calloc() is now responsible to fill the memory block
  allocated by pymalloc with zeros
* Simplify pymalloc_alloc() prototype
* _PyObject_Realloc() now calls _PyObject_Malloc() rather than
  calling directly pymalloc_alloc()

_PyMem_DebugRawAlloc() and _PyMem_DebugRawRealloc():

* document the layout of a memory block
* don't increase the serial number if the allocation failed
* check for integer overflow before computing the total size
* add a 'data' variable to make the code easiler to follow

test_setallocators() of _testcapimodule.c now test also the context.

bpo-20064: Document PyObject_Malloc() (#4199)

Document the following functions:

* PyObject_Malloc()
* PyObject_Calloc()
* PyObject_Realloc()
* PyObject_Free()

Fix also PyMem_RawFree() documentation.

bpo-31893: Fix errors in b9052a0f91d2e83bbc27267247a5920c82b242a3. (#4196)

* Fix a compilation error on FreeBSD.
* Fix the data attribute size on Mac OS X.

pythoninfo: add Py_DEBUG (#4198)

test_capi.test__testcapi() becomes more verbose (#4197)

Write the name of each subtest on a new line to help debugging when
a test does crash Python.

bpo-31897: Convert unexpected errors when read bogus binary plists into InvalidFileException. (#4171)

bpo-31626: Fixed a bug in debug memory allocator. (#3844)

Removed a code that incorrectly detected in-place resizing in realloc()
 and wrote to freed memory.

bpo-31893: Fixed select.kqueue(). (#4166)

* Fixed the layout of the kqueue_event structure on OpenBSD and NetBSD.
* Fixed the comparison of the kqueue_event objects.

bpo-31891: Fix building the curses module on NetBSD. (#4165)

bpo-31629: Add support.SaveSignals (#4183)

test_curses now saves/restores signals. On FreeBSD, the curses module
sets handlers of some signals, but don't restore old handlers when
the module is deinitialized.

Remove tiny bit of deadcode from wsgiref.validate (#3996)

bpo-31304: Update starmap_async documentation. (GH-4168)

Update the kwarg in the documentation of `multiprocessing.pool.Pool.starmap_async`, from `error_back` to `error_callback` to match the source code..

bpo-31245: Asyncio unix socket datagram (#3164)

bpo-20047: Make bytearray methods partition() and rpartition() rejecting (#4158)

separators that are not bytes-like objects.

bpo-31836: Test_code_module now passes with sys.ps1, ps2 set (#4070)

IDLE -- Restrict shell prompt manipulaton to the shell. (#4143)

Editor and output windows only see an empty last prompt line.
This simplifies the code and fixes a minor bug when newline is inserted.
Sys.ps1, if present, is read on Shell start-up, but is not set or changed.

bpo-31860: Make the font sample in the IDLE font configuration dialog editable. (#4106)

Changes persist while IDLE remains open

faulthandler: use _PyTime_t rather than double for timeout (#4139)

Use the _PyTime_t type rather than double for the faulthandler
timeout in dump_traceback_later().

This change should fix the following Coverity warning:

CID 1420311:  Incorrect expression  (UNINTENDED_INTEGER_DIVISION)
Dividing integer expressions "9223372036854775807LL" and "1000LL",
and then converting the integer quotient to type "double". Any
remainder, or fractional part of the quotient, is ignored.

    if ((timeout * 1e6) >= (double) PY_TIMEOUT_MAX) {

The warning comes from (double)PY_TIMEOUT_MAX with:

    #define PY_TIMEOUT_MAX (PY_LLONG_MAX / 1000)

bpo-31174: Improve the code of test_tools.test_unparse. (#4146)

bpo-16135: Cleanup: Code rot left over from OS/2 support (GH-4147)

Remove dangling references to PYCC_VACPP that are not relelvant
since removal of OS/2 support.

bpo-31545: Update documentation containing timedelta repr. (GH-3687)

This is a fix to the documentation to reflect the changes merged
in as part of bpo-30302.

Fix _socket module compilation on Cygwin. (#4137)

bpo-31877: Add _Py_LegacyLocaleDetected and _PyCoerceLegacyLocale to pylifecycle.h (GH-4134)

Only declaring these as interns inside the CLI's main C module
caused build problems on some platforms (notably Cygwin), so
this switches them to a regular underscore prefixed "private" C
API declaration.

Fixed sorting order of the LogRecord attributes in the documentation. (GH-4133)

bpo-30989: Sort in TimedRotatingFileHandler only when needed. (GH-2812)

TimedRotatingFileHandler.getFilesToDelete() now sorts only when needed.

bpo-31053: Remove redundant 'venv' argument in venv example (GH-2907)

bpo-28936: Detect lexically first syntax error first (#4097)

Lexically first global and nonlocal syntax errors at given scope should be detected first.

Closes bpo-28281: Remove year (1-9999) limits on the weekday() function. (#4109)

Patch by Mark Gollahon.

bpo-30553: Add status code 421 to http.HTTPStatus (GH-2589)

Fix trailing whitespaces in C files. (#4130)

bpo-30697: Fix PyErr_NormalizeException() when no memory (GH-2327)

bpo-30937: Make usage of newline='' consistent in csv docs (GH-2730)

bpo-21720: Restore the Python 2.7 logic in handling a fromlist. (#4118)

BytesWarning no longer emitted when the fromlist argument of
__import__() or the __all__ attribute of the module contain bytes
instances.

fixes bpo-31866: remove code pertaining to AtheOS support (#4115)

We stop support this OS in 2007 with commit
19fab761b71a1687aee3415db3a937b5ce31975d. Let's finish.

bpo-31857: Make the behavior of USE_STACKCHECK deterministic (#4098)

Closes bpo-31800: Support for colon when parsing time offsets (#4015)

Add support to strptime to parse time offsets with a colon between the hour and the minutes.

bpo-31664: Fix test_crypt for the openwall implementation of crypt. (#4116)

bpo-31835: Optimize also FASTCALL using __future__ (#4087)

_PyFunction_FastCallDict() and _PyFunction_FastCallKeywords() now
also takes the fast path if the code object uses __future__
(CO_FUTURE_xxx flags).

remove support for splitting the ceval switch into multiple switches (#4099)

This kludge is from 1992. Any C99 compiler is going to be able to handle the
ceval dispatch switch.

Anyway, we have much bigger switches than the ceval dispatch one around. (See,
e.g., Objects/unicodetype_db.h.)

bpo-31845: Fix reading flags from environment (GH-4105)

The startup refactoring means command line settings
are now applied after settings are read from the
environment.

This updates the way command line settings are applied
to account for that, ensures more settings are first read
from the environment in _PyInitializeCore, and adds a
simple test case covering the flags that are easy to check.

bpo-30768: Recompute timeout on interrupted lock (GH-4103)

Fix the pthread+semaphore implementation of
PyThread_acquire_lock_timed() when called with timeout > 0 and
intr_flag=0: recompute the timeout if sem_timedwait() is interrupted
by a signal (EINTR).

See also the PEP 475.

The pthread implementation of PyThread_acquire_lock() now fails with
a fatal error if the timeout is larger than PY_TIMEOUT_MAX, as done
in the Windows implementation.

The check prevents any risk of overflow in PyThread_acquire_lock().

Add also PY_DWORD_MAX constant.

bpo-31690: Allow the inline flags "a", "L", and "u" to be used as group flags for RE. (#3885)

Closes bpo-28292: Implemented Calendar.itermonthdays3() and itermonthdays4(). (#4079)

Calendar.itermonthdates() will now consistently raise an exception when a date falls outside of the 0001-01-01 through 9999-12-31 range. To support applications that cannot tolerate such exceptions, the new methods itermonthdays3() and itermonthdays4() are added. The new methods return tuples and are not restricted by the range supported by datetime.date.

Thanks @serhiy-storchaka for suggesting the itermonthdays4() method and for the review.

bpo-31664: Add support for the Blowfish method in crypt. (#3854)

Fix wording about Py_tss_NEEDS_INIT in docs (GH-4096)

Make more sense to replace the word "default value" with
"initializer" for Py_tss_NEEDS_INIT.

bpo-30639: Lazily compute repr for error (#2132)

bpo-31174: Fix test_tools.test_unparse (#4102)

test_unparse.DirectoryTestCase now stores the names sample to always
test the same files. It prevents false alarms when hunting reference
leaks.

bpo-31812: Add documentation translations to What's New in Python 3.7. (GH-4064)

bpo-31827: Remove os.stat_float_times() (GH-4061)

bpo-31810: Add smelly.py to check exported symbols (#4057)

* Add Tools/scripts/smelly.py: script checking if all symbols
  exported by libpython start with "Py" or "_Py".
* Modify "make smelly" to run smelly.py: the command now fails with a
  non-zero exit code if libpython leaks a "smelly" symbol.
* Travis CI now runs "make smelly"

fixes bpo-31834: Use optimized code for BLAKE2 only with SSSE3+ (#4066)

Rework the code choosing BLAKE2 code paths from using the optimized
variant on all x86_64 machines to using it when SSSE3 or better
supported instructions sets are available.

Firstly, this solves the problem of using pure SSE2 code path on x86_64
machines. As reported in the bug, this code is slower than the reference
code on all tested x86_64 machines. Furthermore, on Athlon64 that lacks
SSSE3, it is even 2.5 times slower than the reference code! Checking
for SSSE3 therefore ensures that the optimized implementation will only
be used when it has a chance of performing better.

Secondly, this makes it possible to use SSSE3+ optimizations on 32-bit
x86 systems. This allows for even 2 times speed gain on modern 32-bit
x86 systems (tested in a 32-bit chroot).

bpo-31847: Fix commented out tests in test_syntax. (#4084)

SyntaxError now is raised instead of SyntaxWarning.

bpo-31653: Remove deadcode in semlock_acquire() (#4091)

Fix the following Coverity warning:

>>>     CID 1420038:  Control flow issues  (DEADCODE)
>>>     Execution cannot reach this statement: "res = sem_trywait(self->han...".
321                     res = sem_trywait(self->handle);

The deadcode was introduced by the commit
c872d39d324cd6f1a71b73e10406bbaed192d35f.

bpo-30722: Make redemo work with Python 3.6+ (GH-2311)

bpo-30817: Fix PyErr_PrintEx() when no memory (#2526)

bpo-31752: Fix possible crash in timedelta constructor called with custom integers. (#3947)

Bad remainder in divmod() in intermediate calculations caused an assertion failure.

bpo-31756: subprocess.run should alias universal_newlines to text (#4049)

Improve human friendliness of the Popen API: Add text=False as a
keyword-only argument to subprocess.Popen along with a Popen
attribute .text_mode and set this based on the
encoding/errors/universal_newlines/text arguments.

The universal_newlines parameter and attribute are maintained for
backwards compatibility.

Move exc state to generator. Fixes bpo-25612 (#1773)

Move exception state information from frame objects to coroutine (generator/thread) object where it belongs.

bpo-20825: Containment test for ip_network in ip_network.

bpo-31572: Get rid of using _PyObject_HasAttrId() in pickle. (#3729)

bpo-31653: Don't release the GIL if we can acquire a multiprocessing semaphore immediately (#4078)

bpo-28286: Add tests for the mode argument of GzipFile. (#4074)

bpo-28326: Fix multiprocessing.Process when stdout and/or stderr is closed or None. (#4073)

Fix bytes warnings in test_struct (added in bpo-29802). (#4068)

bpo-31781: Prevent crashes when calling methods of an uninitialized zipimport.zipimporter object (GH-3986)

bpo-31825: Fixed OverflowError in the 'unicode-escape' codec (#4058)

and in codecs.escape_decode() when decode an escaped non-ascii byte.

bpo-31819: Add AbstractEventLoop.sock_recv_into() (#4051)

* bpo-31819: Add AbstractEventLoop.sock_recv_into()

* Add NEWS

* Add doc

bpo-31632: fix set_protocol() in _SSLProtocolTransport (#3817) (#3817)

bpo-31457: Don't omit inner ``process()`` calls with nested LogAdapters (#4044)

This used to be the case on Python 2.  Commit
212b590e118e3650b596917021ed9612a918180b changed the implementation for Python
3, making the `log()` method of LogAdapter call `logger._log()` directly.  This
makes nested log adapters not execute their ``process()`` method.  This patch
fixes the issue.

Also, now proxying `name`, too, to make `repr()` work with nested log adapters.

New tests added.

Add NEWS entry for opcode tracing change. (GH-4045)

drop unused configure check for pthread_atfork (#4046)

Move opcode tracing to occur after the possible update to f_lineno. (GH-3798)

bpo-31457: Make the `LoggerAdapter.manager` property settable (#4042)

Due to a bug in the initial fix, the setter was in fact creating a different
property.  This is now fixed.

Update TestCase.assertAlmostEqual and assertNotAlmostEqual docstrings. (GH-3998)

The word "difference" from missing the sentence.
This clarifies that it compares the difference between the two objects.

bpo-31806: Use _PyTime_ROUND_TIMEOUT for the timeout argument parsing in more functions (#4026)

Fix timeout rounding in time.sleep(), threading.Lock.acquire() and
socket.socket.settimeout() to round correctly negative timeouts between -1.0 and
0.0. The functions now block waiting for events as expected. Previously, the
call was incorrectly non-blocking.

Add Code of Conduct to .github folder. (GH-4029)

bpo-30928: Update idlelib/NEWS.txt to 2017 Oct 17. (#4025)

bpo-13802: Use non-Latin characters in IDLE's Font settings sample. (#3960)

Even if one selects a font that defines a limited subset of the unicode
Basic Multilingual Plane, tcl/tk will use other fonts that define a
character. The expanded example give users of non-Latin characters
a better idea of what they might see in the IDLE shell and editors.

To make room for the expanded sample, frames on the Font tab are
re-arranged. The Font/Tabs help explains a bit about the additions.

time.clock() now emits a DeprecationWarning (GH-4020)

bpo-31803: time.clock() and time.get_clock_info('clock') now emit a
DeprecationWarning warning.

Replace time.clock() with time.perf_counter() in tests and demos.

Remove also hasattr(time, 'monotonic') in test_time since time.monotonic()
is now always available since Python 3.5.

bpo-28603: Fix formatting tracebacks for unhashable exceptions (#4014)

bpo-31799: Make module.__spec__ more discoverable (#4010)

bpo-31799: Make module.__spec__ more discoverable

bpo-31334: Fix timeout in select.poll.poll() (GH-3277)

Always pass -1, or INFTIM where defined, to the poll() system call when
a negative timeout is passed to the poll.poll([timeout]) method in the
select module. Various OSes throw an error with arbitrary negative
values.

bpo-31786: Make functions in the select module blocking when timeout is a small negative value. (#4003)

bpo-30541: Add new method to seal mocks (GH61923)

The new method allows the developer to control when to stop the
feature of mocks that automagically creates new mocks when accessing
an attribute that was not declared before

Signed-off-by: Mario Corchero <mariocj89@gmail.com>

post 3.7.0a2 development

Bump to 3.7.0a2

Update NEWS and topics for 3.7.0a2

bpo-31558: Update NEWS and ACKS (#4013)

bpo-31558: Add gc.freeze() (#3705)

Freeze all the objects tracked by gc - move them to a permanent generation
and ignore all the future collections. This can be used before a POSIX
fork() call to make the gc copy-on-write friendly or to speed up collection.

bpo-31773: _PyTime_GetPerfCounter() uses _PyTime_t (GH-3983)

* Rewrite win_perf_counter() to only use integers internally.
* Add _PyTime_MulDiv() which compute "ticks * mul / div"
  in two parts (int part and remaining) to prevent integer overflow.
* Clock frequency is checked at initialization for integer overflow.
* Enhance also pymonotonic() to reduce the precision loss on macOS
  (mach_absolute_time() clock).

bpo-31776: Missing "raise from None" in Lib/xml/etree/ElementPath.py (#3978)