bpo-30492: Allow make clinic to work out of tree. (#1836)

* bpo-30492: Allow make clinic to work out of tree.

* Use os.curdir instead of "." as the default value.

bpo-30290: IDLE: Refactor help_about to PEP8 names (#1714)

Patch by Cheryl Sabella.

bpo-20210: Support the *disabled* marker in Setup files (GH-132)

Extension modules listed after the *disabled* marker are not built at all,
neither by the Makefile nor by setup.py.

bpo-16500: Allow registering at-fork handlers (#1715)

* bpo-16500: Allow registering at-fork handlers

* Address Serhiy's comments

* Add doc for new C API

* Add doc for new Python-facing function

* Add NEWS entry + doc nit

bpo-30470: Deprecate invalid ctypes call protection on Windows. (GH-1810)

Calling Ctypes functions is deprecated in 3.6.2 and will be removed in 3.7

bpo-30310: Add a test for non-ascii font family. (#1567) (#1832)

bpo-30398: Add a docstring for re.error. (#1647)

Also document that some attributes may be None.

Fix the signature of JSONDecodeError (no end parameter). (#1827)

Unlikely to the simplejson module, json.JSONDecodeError doesn't accept the end argument.

bpo-22702: Clarify documentation of str.join & bytes.join (GH-156)

The "iterable iterable" phrasing created confusion between the term
reference and the parameter name.

This simplifies the phrasing to just use the parameter name
without linking directly to the term definition.

bpo-30449 Terse slots (#1819)

* correct __slots__ documentation with minimal changes

* add multiple inheritance info

* remove mapping from description

bpo-30420: List cwd parameter in subprocess convenience APIs (GH-1685)

Partially clarify the subprocess convenience API documentation by
explicitly listing the `cwd` parameter in their abbreviated signatures.

While this has been merged as an improvement, it doesn't fully
resolve the issue, as the `cwd` should also be covered in the
"Frequently Used Arguments" section, and the fact these APIs
pass unlisted keyword arguments down to the lower level APIs
is currently still unclear.

Drop a duplicate line. (#1809)

bpo-30414: multiprocessing.Queue._feed do not break from main loop on exc (#1683)

* bpo-30414: multiprocesing.Queue._feed do not break from main loop on exc

Queue background running thread was not handling exceptions correctly.
Any exception occurred inside thread (putting unpickable object) cause
feeder to finish running. After that every message put into queue is
silently ignored.

* bpo-30414: multiprocesing.Queue._feed do not break from main loop on exc

Queue background running thread was not handling exceptions correctly.
Any exception occurred inside thread (putting unpickable object) cause
feeder to finish running. After that every message put into queue is
silently ignored.

Delete sigcheck.c since it appears unused (#1723)

bpo-29104: Fixed parsing backslashes in f-strings. (#490)

bpo-30447: Fix/skip the subinterpreters test on some platforms. (#1791)

bpo-29851: Have importlib.reload() raise ImportError if the module's spec is not found (GH-972)

 bpo-30445: Allow appended output in RecursionError message

Running under coverage sometimes causes 'in comparison' to be added to the end of the RecursionError message, which is acceptable.

Patched by Maria Mckinley

bpo-28845: Clean up known issues for AIX (GH-1670)

Clean up `Misc/README.AIX` for addressed known issues.

- Issues that have been marked fixed: #11184, #11185
- Issues resolved by new AIX version: #1745108
- Issues resolved, but not yet marked fixed/closed: #11188

Signed-off-by: Eric N. Vander Weele <ericvw@gmail.com>

bpo-30442: Skips refcount test in test_xml_etree under coverage (#1767)

bpo-30160: Clarify intended usage of wfile (gh-1300)

The library does not enforce compliance with the HTTP protocol,
so violations are not technically disallowed. Extend the stream's
description to avoid suggesting that intentional protocol violations are
not supported.

Move directory in .gitignore (#1787)

Add .idea and .iml to .gitignore (#1764)

bpo-30377: Simplify handling of COMMENT and NL in tokenize.py (#1607)

bpo-28707: Add the directory parameter to http.server.SimpleHTTPRequestHandler and http.server module (#1776)

* bpo-28707: call the constructor of SimpleHTTPRequestHandler in the test with a mock object

* bpo-28707: Add the directory parameter to http.server.SimpleHTTPRequestHandler and http.server module

bpo-9146: Raise a ValueError if OpenSSL fails to init a hash func. (#1777)

This helps people in weird FIPS mode environments where common things
like MD5 are not available in the binary as a matter of policy.

Added effect of re.ASCII and reworded slightly (#1782)

bpo-22257: Private C-API for main interpreter initialization (PEP 432). (#1729)

(patch by Nick Coghlan)

bpo-30394: Fix a socket leak in smtplib.SMTP.__init__() (#1700)

bpo-22257: Private C-API for core runtime initialization (PEP 432). (#1772)

(patch by Nick Coghlan)

Revert "Fixed a typo in the HTMLParser.feed docstrings" (#1771)

* Revert "Fixed a typo in the HTMLParser.feed docstrings. The docstring started with an 'r', like a The docstring was correct. I read the patch in opposite direction, as *adding* the "r" prefix.
This reverts commit 5ba185039f1bd465d3f82531324fd3fe1ee42f0c.

Revert an invalid change to a test (from 6b4be19). (#1770)

Improves test_underpth_nosite_file to reveal why it fails. (#1763)

* Improves test_underpth_nosite_file to reveal why it fails.

* Enable building with Windows 10 SDK.

* Fix WinSDK detection

* Fix initialization on Windows when a ._pth file exists.

* Fix tabs

* Adds comment about Py_GetPath call.

bpo-29334: Fix ssl.getpeercert for auto-handshake (#1769)

Drop handshake_done and peer_cert members from PySSLSocket struct. The
peer certificate can be acquired from *SSL directly.
SSL_get_peer_certificate() does not trigger any network activity.
Instead of manually tracking the handshake state, simply use
SSL_is_init_finished().

In combination these changes fix auto-handshake for non-blocking
MemoryBIO connections.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-22257: Fix CLI by using int instead of char (compares to EOF). (#1765)

Update importlib.h (GH-1762)

bpo-29335 - apply suggested test_subprocess simplifications from haypo and Zach: (#1757)

use faulthandler._sigsegv() and ctypes.util.find_library('c')

Fixed a typo in the HTMLParser.feed docstrings. The docstring started with an 'r', like a rawstring. (#1759)

call remove_done_callback in finally section (#1688)

bpo-30432: FileInput doesn't accept PathLike objects for file names (#1732)

* Allow FileInput to accept a single PathLike object as a parameter for `files`

Fixes

bpo-30432: FileInput doesn't accept PathLike objects for file names

* Address comments from @ambv

bpo-21056: Document return type of next method of csv reader (#146)

bpo-22257: Small changes for PEP 432. (#1728)

PEP 432 specifies a number of large changes to interpreter startup code, including exposing a cleaner C-API. The major changes depend on a number of smaller changes. This patch includes all those smaller changes.

bpo-25532: Protect against infinite loops in inspect.unwrap() (#1717)

Some objects (like test mocks) auto-generate new objects on
attribute access, which can lead to an infinite loop in
inspect.unwrap().

Ensuring references are retained to otherwise temporary objects
and capping the size of the memo dict turns this case into a
conventional exception instead.

bpo-29102: Add a unique ID to PyInterpreterState. (#1639)

bpo-30376: Update outdated WindowObject references (#1630)

bpo-30395 _PyGILState_Reinit deadlock fix (#1734)

head_lock could be held by another thread when fork happened. We should
reset it to avoid deadlock.

bpo-23894: make lib2to3 recognize f-strings (#1733)

Note: this doesn't unpack f-strings into the underlying JoinedStr AST.

Ideally we'd fully implement JoinedStr here but given its additional
complexity, I think this is worth bandaiding as is. This unblocks tools like
https://github.com/google/yapf to format 3.6 syntax using f-strings.

Add --with-assertions configure flag to enable C assertions(#1731)

Defaults to 'no', but as before assertions are implied by --with-pydebug.

Make rb'' strings work in lib2to3 (#1724)

This partially solves bpo-23894.

Remove .bzrignore (GH-1661)

bpo-30372: Clarify that '__builtins__' is a CPython Implementation detail (GH-1725)

Fix spelling mistakes in tkinter.py (#1716)

Ran the docstrings through spell checker, and fixed spelling issues.

bpo-30003: Fix handling escape characters in HZ codec (#1556)

Corrected grammar mistake in documentation (#1713)

There was an unneeded space before a closing parenthesis in the `unittest.mock` documentation.

bpo-29619: Do not use HAVE_LARGEFILE_SUPPORT for type conversions (GH-1666).

bpo-29619: Do not use HAVE_LARGEFILE_SUPPORT for type conversions (GH-1666).

* Use only the LongLong form for the conversions.

bpo-30290: IDLE: Add more tests for help_about dialog (#1697)

Increases coverage to 99%

bpo-30415: Add new tests for the fnmatch module. (#1684)

#30014: refactor poll-related classes (#1035)

* #30014: refactor poll-related classes so that poll(), epoll() and devpoll() share the same methods for register(), unregister(), close() and select()

* remove unused attribute

* use specific class attributes instead of select.* constants

* have all classes except SelectSelector a _selector attribute

* BaseException -> Exception

* be explicit in defining a close() method only for selectors which have it

* fix AttributeError

bpo-27945: Fixed various segfaults with dict. (#1657)

Based on patches by Duane Griffin and Tim Mitchell.

bpo-17188: DOC: Document 'from None' in raise statement (#1671)

Original patch by Dennis Mårtensson.

bpo-25794: Fix `type.__setattr__()` for non-interned attribute names. (#1652)

Based on patch by Eryk Sun.

Fix typos in multiple `.rst` files (#1668)

Remove duplicate line in Lib/http/client.py (#1665)

Remove trailing semicolon in datetime doc example (GH-1653)

bpo-27103: regrtest disables -W if -R is used (#1651)

Workaround for a regrtest bug.

bpo-30296 Remove unnecessary tuples, lists, sets, and dicts (#1489)

* Replaced list(<generator expression>) with list comprehension
* Replaced dict(<generator expression>) with dict comprehension
* Replaced set(<list literal>) with set literal
* Replaced builtin func(<list comprehension>) with func(<generator
  expression>) when supported (e.g. any(), all(), tuple(), min(), &
  max())

bpo-29976: urllib.parse clarify '' in scheme values. (GH-984)

IDLE test_textview: add comments and test, increase coverage to 100% (#1641)

bpo-30303: IDLE: Add _utest argument to textview (#1499)

bpo-30039: Don't run signal handlers while resuming a yield from stack (#1081)

If we have a chain of generators/coroutines that are 'yield from'ing
each other, then resuming the stack works like:

- call send() on the outermost generator
- this enters _PyEval_EvalFrameDefault, which re-executes the
  YIELD_FROM opcode
- which calls send() on the next generator
- which enters _PyEval_EvalFrameDefault, which re-executes the
  YIELD_FROM opcode
- ...etc.

However, every time we enter _PyEval_EvalFrameDefault, the first thing
we do is to check for pending signals, and if there are any then we
run the signal handler. And if it raises an exception, then we
immediately propagate that exception *instead* of starting to execute
bytecode. This means that e.g. a SIGINT at the wrong moment can "break
the chain" – it can be raised in the middle of our yield from chain,
with the bottom part of the stack abandoned for the garbage collector.

The fix is pretty simple: there's already a special case in
_PyEval_EvalFrameEx where it skips running signal handlers if the next
opcode is SETUP_FINALLY. (I don't see how this accomplishes anything
useful, but that's another story.) If we extend this check to also
skip running signal handlers when the next opcode is YIELD_FROM, then
that closes the hole – now the exception can only be raised at the
innermost stack frame.

This shouldn't have any performance implications, because the opcode
check happens inside the "slow path" after we've already determined
that there's a pending signal or something similar for us to process;
the vast majority of the time this isn't true and the new check
doesn't run at all.

Fixes encodings in vcxproj files and adds script to automatically do it. (#1631)

Adds lib.pyproj file to solution (#1633)

* Adds lib.pyproj file to solution so that VS with Python support can open all the files in the standard library.

* Remove unexpected solution configuration.

* Remove lib.pyproj from solution to avoid memory issues on VS 2015.

bpo-30149: Fix partialmethod without explicit self parameter (#1308)

bpo-30387: Fix warning in test_threading (#1634)

test_is_alive_after_fork() now joins directly the thread to avoid the
following warning added by bpo-30357:

Warning -- threading_cleanup() failed to cleanup 0 threads
after 2 sec (count: 0, dangling: 21)

Use also a different exit code to catch generic exit code 1.

bpo-30301: Fix AttributeError when using SimpleQueue.empty() (#1601)

Under  *spawn* and *forkserver* start methods, SimpleQueue.empty() could
raise AttributeError due to not setting _poll in __setstate__.

bpo-30211: bdb: add docstrings (#1350)

bpo-30038: fix race condition in signal delivery + wakeup fd (#1082)

Before, it was possible to get the following sequence of
events (especially on Windows, where the C-level signal handler for
SIGINT is run in a separate thread):

- SIGINT arrives
- trip_signal is called
- trip_signal writes to the wakeup fd
- the main thread wakes up from select()-or-equivalent
- the main thread checks for pending signals, but doesn't see any
- the main thread drains the wakeup fd
- the main thread goes back to sleep
- trip_signal sets is_tripped=1 and calls Py_AddPendingCall to notify
  the main thread the it should run the Python-level signal handler
- the main thread doesn't notice because it's asleep

This has been causing repeated failures in the Trio test suite:
  https://github.com/python-trio/trio/issues/119

bpo-30380: Pin the version of Sphinx used to build the documentation (GH-1612)

bpo-30380: Fix Sphinx 1.6.1 warnings. (#1613)

* Use explicit numbering for footnotes referred by explicit number.
* Restore missed footnote reference in stdtypes.rst.
* Fix literal strings formatting in howto/urllib2.rst.
* Update susp-ignored.csv for zipapp.rst.
* Fix suspicious mark up in Misc/NEWS.

Fix ModuleNotFoundError typo in import reference (#1606)

bpo-30375: Correct the stacklevel of regex compiling warnings. (#1595)

Warnings emitted when compile a regular expression now always point
to the line in the user code.  Previously they could point into inners
of the re module if emitted from inside of groups or conditionals.

bpo-29898: Fix incorrect env variable name (GH-1576)

It should read PYTHONLEGACYWINDOWSSTDIO as stated
in section "Add legacy mode" in PEP 528.

Remove unused variable in test_urllibnet. (#1598)

 bpo-29651 - Cover edge case of square brackets in urllib docs (#1128)

bpo-30339: test_multiprocessing_main_handling timeout (#1593)

test_multiprocessing_main_handling: increase the test_source timeout
from 10 seconds to 60 seconds, since the test fails randomly on busy
buildbots.

bpo-30357: test_thread now uses threading_cleanup() (#1592)

test_thread: setUp() now uses support.threading_setup() and
support.threading_cleanup() to wait until threads complete to avoid
random side effects on following tests.

Co-Authored-By: Grzegorz Grzywacz <grzegorz.grzywacz@nazwa.pl>

bpo-30329: Catch Windows error 10022 on shutdown() (#1538)

Catch the Windows socket WSAEINVAL error (code 10022) in imaplib and
poplib on shutdown(SHUT_RDWR): An invalid operation was attempted

This error occurs sometimes on SSL connections.

bpo-29196: Removed old-deprecated classes Plist, Dict and _InternalDict (#488)

in the plistlib module.  Dict values in the result of functions
readPlist() and readPlistFromBytes() are now exact dicts.

bpo-9850: Document macpath deprecation in Misc/NEWS (#1590)

bpo-9850: Deprecate the macpath module (#1540)

Co-Authored-By: Chi Hsuan Yen <yan12125@gmail.com>.

bpo-30242: resolve some undefined behaviours in struct (#1418)

bpo-30110: fix resource leak in test_asyncio.test_events (#1413)

bpo-30224: remove outdated checks in struct (#1374)

bpo-30354: Update data model documentation for super() (GH-1561)

The data model section of the language reference was written well
before the zero-argument form of super() was added.

To avoid giving the impression that they're doing something
unusual, this updates the description of `__new__` and `__init__`
to use the zero-argument form.

Patch by Cheryl Sabella.

bpo-29763: Clean up _pth tests (GH-954)

bpo-30358: Document sort argument of profile.runctx() (GH-1566)

bpo-30299: Display a bytecode when compile a regex in debug mode. (#1491)

`re.compile(..., re.DEBUG)` now displays the compiled bytecode in
human readable form.

bpo-30340: Enhanced regular expressions optimization. (#1542)

This increased the performance of matching some patterns up to 25 times.

Move Codecov's configuration file under .github (GH-1494)

bpo-30178: Add Jim Fasarakis-Hilliard to Misc/ACKS (GH-1572)