bpo-32576: use queue.SimpleQueue in critical places (#5216)

Where a queue may be invoked from a weakref callback, we need
to use the reentrant SimpleQueue.

Fix typo in thread_nt.h code comment (GH-5211)

The comment for PyThread_allocate_lock says "It has too be implemented ...".
There was an extra "o" in ".. to be implemented.."

Use assertCountEqual instead of assertEqual. (#5223)

This test doesn't care about order, the underlying filesystem APIs do not
guarantee directory listings on subsequent calls will be in the same order.

bpo-32226: Fix memory leak in generic_alias_dealloc() (#5212)

pythoninfo: add time.time and datetime.datetime.now (#5214)

bpo-32248: Fix test_importlib.test_open() (#5213)

Use the binary.file instead of utf-8.file to avoid issues with
Unix newlines vs Windows newlines.

Fix Git attributes of test_importlib data files (#5209)

bpo-32248: Make sure that Git checks out data files with Unix line
ending on Windows as well.

bpo-32549: Compile OpenSSL 1.1.0 on Travis CI (#5180)

Use an improved version of multissl test helper to compile a local copy
of OpenSSL 1.1.0g.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-32403: Faster date and datetime constructors (#4993)

* Add tests for date subclass alternate constructors

* Switch over alternate date constructors to fast path

* Switch datetime constructors to fastpath, fix bpo-32404

* Add fast path for datetime in date subclass constructor

* Set fold in constructor in datetime.combine

* Add news entries.

bpo-32410: Implement loop.sock_sendfile() (#4976)

Skip test_readline.test_nonascii() on C locale (#5203)

bpo-29240: On FreeBSD, if the LC_CTYPE locale is "C" or "POSIX",
writing and reading non-ASCII bytes into/from a TTY works,
but readline or ncurses ignores non-ASCII bytes on read.

bpo-31572: Get rid of PyObject_HasAttr() and _PyObject_HasAttrId() in the _io module. (#3726)

bpo-32544: Speed up hasattr() and getattr() (GH-5173)

AttributeError was raised always when attribute is not found.
This commit skip raising AttributeError when `tp_getattro` is `PyObject_GenericGetAttr`.
It makes hasattr() and getattr() about 4x faster when attribute is not found.

bpo-26163: Frozenset hash improvement (#5194)

bpo-14976: Reentrant simple queue (#3346)

Add a queue.SimpleQueue class, an unbounded FIFO queue with a reentrant C implementation of put().

Implement the get_resource_reader() API for file system imports (#5168)

Make asyncio tests run when there's no SSL module (#5196)

bpo-31900: Fix localeconv() encoding for LC_NUMERIC (#4174)

* Add _Py_GetLocaleconvNumeric() function: decode decimal_point and
  thousands_sep fields of localeconv() from the LC_NUMERIC encoding,
  rather than decoding from the LC_CTYPE encoding.
* Modify locale.localeconv() and "n" formatter of str.format() (for
  int, float and complex to use _Py_GetLocaleconvNumeric()
  internally.

bpo-29240: Fix locale encodings in UTF-8 Mode (#5170)

Modify locale.localeconv(), time.tzname, os.strerror() and other
functions to ignore the UTF-8 Mode: always use the current locale
encoding.

Changes:

* Add _Py_DecodeLocaleEx() and _Py_EncodeLocaleEx(). On decoding or
  encoding error, they return the position of the error and an error
  message which are used to raise Unicode errors in
  PyUnicode_DecodeLocale() and PyUnicode_EncodeLocale().
* Replace _Py_DecodeCurrentLocale() with _Py_DecodeLocaleEx().
* PyUnicode_DecodeLocale() now uses _Py_DecodeLocaleEx() for all
  cases, especially for the strict error handler.
* Add _Py_DecodeUTF8Ex(): return more information on decoding error
  and supports the strict error handler.
* Rename _Py_EncodeUTF8_surrogateescape() to _Py_EncodeUTF8Ex().
* Replace _Py_EncodeCurrentLocale() with _Py_EncodeLocaleEx().
* Ignore the UTF-8 mode to encode/decode localeconv(), strerror()
  and time zone name.
* Remove PyUnicode_DecodeLocale(), PyUnicode_DecodeLocaleAndSize()
  and PyUnicode_EncodeLocale() now ignore the UTF-8 mode: always use
  the "current" locale.
* Remove _PyUnicode_DecodeCurrentLocale(),
  _PyUnicode_DecodeCurrentLocaleAndSize() and
  _PyUnicode_EncodeCurrentLocale().

bpo-26330: Update shutil.disk_usage() documentation (GH-5184)

Clarify that on Windows, path must be a directory.
On Unix, path can be a file or a directory.

bpo-15221: Update os.path.is*() documentation (GH-5185)

`os.path.is*()` can return False if the file can't be accessed.
The behaviour is documented in details in `os.path.exists()`.
Link to `os.path.exists()` from `os.path.is*()`.

bpo-29476: Simplify set_add_entry() (#5175)

Add itertools recipe for directly finding the n-th combination (#5161)

Improve enum.Flag code example (GH-5167)

The code example that demonstrate how to use enum.Flag was missing
the import of enum.auto.

bpo-32248: Introduce the concept of Loader.get_resource_reader() (GH-5108)

bpo-31993: Do not use memoryview when pickle large strings. (#5154)

PyMemoryView_FromMemory() created a memoryview referring to
the internal data of the string.  When the string is destroyed
the memoryview become referring to a freed memory.

bpo-32521: nis libtirpc (#5137)

glibc has removed Sun RPC. Use replacement libtirpc headers and library in
nis module

Signed-off-by: Christian Heimes <christian@python.org>

bpo-32473: Improve ABCMeta._dump_registry() readability (GH-5091)

OrderedDict import is no longer needed (#4890)

Lexical Analysis ref doc: Fix a typo in the string concatenation internal link (GH-5157)

In lexical analysis reference documentation, the internal link to
the string literal concatenation section was written as`.. _string-catenation:`.
Changed that to `.. _string-concatenation:`.

bpo-31145: Use dataclasses to create a prioritization wrapper (#5153)

bpo-32467: Let collections.abc.ValuesView inherit from Collection (#5152)

bpo-31113: Get rid of recursion in the compiler for normal control flow. (#3015)

bpo-31993: Do not create frames for large bytes and str objects (#5114)

when serialize into memory buffer with C pickle implementations.

This optimization already is performed when serialize into memory
with Python pickle implementations or into a file with both
implementations.

bpo-29240: Ignore UTF-8 Mode in time module (#5148)

time.strftime() must use the current LC_CTYPE encoding, not UTF-8
if the UTF-8 mode is enabled.

Add _PyUnicode_DecodeCurrentLocale() function.

bpo-32320: Add default value support to collections.namedtuple() (#4859)

Fix obvious typos in docstrings (#5151)

bpo-29240: readline now ignores the UTF-8 Mode (#5145)

Add new fuctions ignoring the UTF-8 mode:

* _Py_DecodeCurrentLocale()
* _Py_EncodeCurrentLocale()
* _PyUnicode_DecodeCurrentLocaleAndSize()
* _PyUnicode_EncodeCurrentLocale()

Modify the readline module to use these functions.

Re-enable test_readline.test_nonascii().

Fix when parsing tz offsets microseconds shorter than 6 (#4781)

As the remainder was directly parsed as an int, strings like
.600 were parsed as 600 microseconds rather than milliseconds.

bpo-24340: Fix estimation of the code stack size. (#5076)

bpo-32493: Not only AIX, but FreeBSD has uuid_create support (#5089)

Allow building the _uuid extension module on FreeBSD and OpenBSD.

Post-release version bump to a4+

Fix several changelog items to use PEP markup.

Merge tag 'v3.7.0a4'

bpo-32507: Change Windows install to include app-local UCRT (#5119)

Bump to 3.7.0a4

Update docs for 3.7.0a4

bpo-32248: install new test_importlib directories (#5138)

bpo-31975 (PEP 565): Show DeprecationWarning in __main__ (GH-4458)

- primary change is to add a new default filter entry for
  'default::DeprecationWarning:__main__'
- secondary change is an internal one to cope with plain
  strings in the warning module's internal filter list
  (this avoids the need to create a compiled regex object
  early on during interpreter startup)
- assorted documentation updates, including many more
  examples of configuring the warnings settings
- additional tests to ensure that both the pure Python and
  the C accelerated warnings modules have the expected
  default configuration

bpo-32506: Change dataclasses from OrderedDict to plain dict. (gh-5131)

Fix version in AppVeyor config (GH-5124)

bpo-31802: Fix importing native path module before importing os. (#4017)

bpo-30579: Allow TracebackType creation and tb_next mutation from Python (GH-4793)

Third party projects may wish to hide their own internal machinery in
order to present more comprehensible tracebacks to end users
(e.g. Jinja2 and Trio both do this).

Previously such projects have had to rely on ctypes to do so:

  https://github.com/pallets/jinja/blob/fe3dadacdf4cf411d0a5b6bbd4d5234697a28af2/jinja2/debug.py#L345
  https://github.com/python-trio/trio/blob/1e86b1aee8c0c759f6f239ae53a05d0d3963c629/trio/_core/_multierror.py#L296

This provides a Python level API for creating and modifying real
Traceback objects, allowing tracebacks to be edited at runtime.

Patch by Nathaniel Smith.

Fix dataclasses docstring typo. (gh-5118)

Kill the AppVeyor file whitelist (GH-5121)

It's more trouble than it's worth, since AppVeyor only checks the HEAD commit of a PR rather than the full diff against the base branch to decide which files changed.

bpo-32282: Remove unnecessary check for `VersionHelpers.h` in `socketmodule.c` on Windows

 bpo-32279: Add additional params to make_dataclass(), pass through to dataclass(). (gh-5117)

bpo-32278: Allow dataclasses.make_dataclass() to omit type information. (gh-5115)

bpo-32499: Add dataclasses.is_dataclass(obj), which returns True if obj is a dataclass or an instance of one. (#5113)

bpo-31993: Do not allocate large temporary buffers in pickle dump. (#4353)

The picklers do no longer allocate temporary memory when dumping large
bytes and str objects into a file object. Instead the data is
directly streamed into the underlying file object.

Previously the C implementation would buffer all content and issue a
single call to file.write() at the end of the dump. With protocol 4
this behavior has changed to issue one call to file.write() per frame.

The Python pickler with protocol 4 now dumps each frame content as a
memoryview to an IOBytes instance that is never reused and the
memoryview is no longer released after the call to write. This makes it
possible for the file object to delay access to the memoryview of
previous frames without forcing any additional memory copy as was
already possible with the C pickler.

Cleanup grammar in unittest.mock.seal documentation (#5107)

bpo-32206: Pdb can now run modules (GH-4752)

Add a new argument "-m" to the pdb module to allow
users to run `python -m pdb -m my_module_name`.

This relies on private APIs in the runpy module to work,
but we can get away with that since they're both part of
the standard library and can be updated together if
the runpy internals get refactored.

bpo-29137: Remove fpectl module (#4789)

This module has never been enabled by default, never worked correctly
on x86-64, and caused ABI problems that caused C extension
compatibility. See bpo-29137 for details/discussion.

bpo-32390: Fix compilation failure on AIX after f_fsid was added to os.statvfs() (#4972)

bpo-31699 Deadlocks in `concurrent.futures.ProcessPoolExecutor` with pickling error (#3895)

Fix deadlocks in :class:`concurrent.futures.ProcessPoolExecutor` when task arguments or results cause pickling or unpickling errors.
This should make sure that calls to the :class:`ProcessPoolExecutor` API always eventually return.

advance copyright years to 2018 (#5094)

bpo-32226: Make __class_getitem__ an automatic class method. (#5098)

bpo-31672: Restore the former behavior when override flags in Template. (#5099)

Overriding flags to 0 will make the default pattern matching only
lower case letters.

Fix outdated comment in typeobject.c (GH-5090)

The comment was added in 3abca127fe1565ec80f6b0a1ae48d65186ad887d.
In d78448e912126410117723c7d240bbdfff06df16, it was changed to
use PyArg_ParseTuple instead.

bpo-31778: Make ast.literal_eval() more strict. (#4035)

Addition and subtraction of arbitrary numbers no longer allowed.

bpo-32308: Replace empty matches adjacent to a previous non-empty match in re.sub(). (#4846)

bpo-32482: Fix suspicious code in tests for syntax and grammar. (#5086)

Ignore importlib.h for automatic review requests from the import team. (GH-5087)

Otherwise the import team gets flagged for reviews any time the bytecode for
importlib.h changes (e.g new bytecode, optimizations, etc.).

bpo-32452: clarify term 'brackets' in generator tutorial (#5079)

Updates documentation for generator expressions in classes tutorial: Clarify usage of ambiguous term "brackets" by replacing with "square brackets". Updated subsequent lines to respect line breaks. (#5079)

bpo-32478: Add tests for 'break' and 'return' inside 'finally' clause. (#5078)

bpo-32416: Add two new tests in test_sys_settrace. (#5072)

Move other test to more proper place.

bpo-32468: Better frame repr() (#5067)

bpo-32468: Better frame repr()

closes bpo-32460: ensure all non-static globals have initializers (#5061)

Add missing backslashes in PCbuild bat files (GH-5056)

bpo-32399: Starting with AIX6.1 there is support in libc.a for uuid (RFC4122) (#4974)

Starting with AIX6.1 there is support in libc.a for uuid (RFC4122)
This patch provides the changes needed for this integration with the OS.

On AIX the base function is uuid_create() rather than uuid_generate_time()
The AIX uuid_t typedef is more aligned to the UUID field based definition
while the Linux typedef that is more aligned with UUID bytes
(or perhaps UUID bytes_le) definitions.

bpo-32458: Temporarily mask start-tls proactor test on Windows (#5054)

bpo-32248 - Implement importlib.resources (#4911)

Port importlib_resources to importlib.resources

bpo-32418: Postfix, raise NotImplementdError and close resources in tests (#5052)

bpo-32418: Add get_loop() method on Server, AbstractServer classes (#4997)

* Add abstract get_loop() method to Server, AbstractServer classes.
* Add test cases for get_loop() method in Server, AbstractServer classes
* Add documentation for get_loop() method

Fix typo (#5049)

bpo-32439: Clean up the code for compiling comparison expressions. (#5029)

bpo-23749: Implement loop.start_tls() (#5039)

return the new file descriptor from os.dup2 (closes bpo-32441) (#5041)

bpo-32427: Expose dataclasses.MISSING object. (#5045)

remove unused import (#5040)

make PatternCompiler use the packaged grammar if possible (more bpo-24960) (#5034)

bpo-32440: Update the docs URL to https in help() (GH-5030)

In pydoc.py, the reference to Python' documentation was in http.
The link has been updated to use https.

Fix minor spelling error in test_sys_settrace.py. (#5025)

bpo-32416: Refactor tests for the f_lineno setter and add new tests. (#4991)

bpo-32259: Make a TypeError message when unpack non-iterable more specific. (#4903)

bpo-26133: Fix typos (#5010)

* Fix typos
* Change warning text
* Add test

bpo-31721: Allow Future._log_traceback to only be set to False (#5009)

bpo-32422: Reduce lru_cache memory usage (GH-5008)

bpo-32363: Disable Task.set_exception() and Task.set_result() (#4923)

bpo-32372: Move __debug__ optimization to the AST level. (#4925)