Improve the subprocess restore_signals=True test. (GH-7414)

It wasn't testing functionality.  Now it is (on Linux anyways).

bpo-12486: Document tokenize.generate_tokens() as public API (#6957)

* Document tokenize.generate_tokens()

* Add news file

* Add test for generate_tokens

* Document behaviour around ENCODING token

* Add generate_tokens to __all__

bpo-33751: Fix test_file. (GH-7378)

testModeStrings and testTruncateOnWindows were depended on
a file leaked in other tests.

Also improve cleaning up after tests.

bpo-33755: Fix importlib.resources isolation tests (#7412)

bpo-33165: Added stacklevel parameter to logging APIs. (GH-7424)

bpo-31215: Add version changed notes for OpenSSL 1.1.0 compatibility (GH-7346)

bpo-33752: Fix a file leak in test_dbm. (GH-7376)

With addCleanup() f.close() was executed after tearDown().

bpo-33769: start_tls: Fix error message; cancel callbacks on error (GH-7403)

In addition to that, mark SSLTransport as "closed" in its "abort()" method to prevent bogus warnings.

bpo-33767: Fix improper use of SystemError by mmap.mmap objects (GH-7381)

Raise TypeError instead of SystemError for unsupported operations.

bpo-32392: Document env keyword argument of subprocess.run() (GH-7289)

bpo-5755: Move -Wstrict-prototypes to CFLAGS_NODIST (GH-7395)

bpo-33753: Refactor creating temporary files in test_fileinput. (GH-7377)

bpo-33609: Document dict insertion order guarantee as of 3.7 (GH-7093)

bpo-33720: Reduces maximum marshal recursion depth on release builds. (GH-7401)

bpo-33763: IDLE: Replace label widget with text widget in code context (GH-7367)

bpo-33664: Scroll IDLE editor text by lines (GH-7351)

Previously, the mouse wheel and scrollbar slider moved text by a fixed
number of pixels, resulting in partial lines at the top of the editor
box. The change also applies to the shell and grep output windows,
but not to read-only text views.

bpo-33734: asyncio/ssl: a bunch of bugfixes (#7321)

* Fix AttributeError (not all SSL exceptions have 'errno' attribute)

* Increase default handshake timeout from 10 to 60 seconds
* Make sure start_tls can be cancelled correctly
* Make sure any error in SSLProtocol gets propagated (instead of just being logged)

bpo-31849: Fix warning in pyhash.c (GH-6799)

bpo-27902: Add compatibility note to Profile docs (GH-7295)

bpo-33640, uuid.UUID doc: document endian of bytes parameter (GH-7263)

The bytes parameter uses big endian.

Regenerate configure after changing configure.ac in GH-6987. (GH-7344)

bpo-33509: Fix test_warnings for python3 -Werror (GH-7365)

Fix test_warnings.test_module_globals() when python3 is run with
-Werror.

travis: Fix macOS build (GH-7250)

Homebrew's python is now python3, but travis preinstalls old python2.
So updated Homebrew requires `brew upgrade python` now.

This commit disables auto update and use preinstalled version of Homebrew.

bpo-33759: Fix test.test_xmlrpc.ServerProxyTestCase. (GH-7362)

It depended on a global variable set by other tests.

bpo-33760: Fix file leaks in test_io. (GH-7361)

bpo-33764: Appveyor fixes (GH-7364)

* Prevent spurious message if taking a shortcut
* Fix YAML style
* Disable largefile tests

bpo-33761: Fix a file leak in test_iterparse in test_xml_etree. (GH-7358)

bpo-33750: Reset thread-local context precision in test_round(). (#7355)

bpo-27485: Change urlparse tests to use private methods. (GH-7070)

bpo-33744: Fix test_uu. (GH-7350)

Separate tests leaked files or were depended on files leaked in other tests.

bpo-23495: Correct the documentation for writerows() of csv Writer objects (GH-6316)

`writerows()` takes an iterable.

Fix typo in datamodel.rst (GH-6964)

This is a simple grammatical fix correcting "...object whose `__self__` attributes is ..." to "...object whose `__self__` attribute is ...".

Docs: fix some wrong words (GH-6987)

Fix typos in code comments: bdb.py and configure.ac.

bpo-33562: Check the global asyncio event loop policy isn't set after any tests (GH-7328)

bpo-33679: IDLE: Re-enable color configuration for code context (GH-7199)

The difference from before is that the settings are now on the
Highlights tab instead of the Extensions tab and only change one theme
at a time instead of all themes. The default for light themes is black
on light gray, as before. The default for the IDLE Dark theme is white
on dark gray, which better fits the dark theme.

When one starts IDLE from a console and loads a custom theme without
definitions for 'context', one will see a warning message on the console.
To stop the warning, go to Options => Configure IDLE => Highlights,
select the custom theme if not selected already, select 'Code Context',
and select foreground and background colors.

bpo-33615: Re-enable a subinterpreter test. (gh-7251)

For bpo-32604 I added extra subinterpreter-related tests (see #6914), which caused a few buildbots to crash. This patch fixes the crash by ensuring that refcounts in channels are handled properly.

bpo-33642: IDLE: Use variable number of lines in CodeContext. (GH-7106)

Instead of displaying a fixed number of lines, some blank, Code Context
now displays the variable number of actual context lines.  When there
are no context lines, it shows a single blank line to indicate that the
feature is turned on.

The Code Context configuration option is changed from 'numlines'
(default 3) to 'maxlines' (default 15) to avoid possible interference
between user settings for the old and new versions of Code Context.

bpo-33724: Use the right format code for int64_t in subinterpreters code. (gh-7330)

bpo-29235: Make cProfile.Profile a context manager (GH-6808)

bpo-33532: Fix test_multiprocessing_forkserver.test_ignore() (GH-7319)

Use also support.SOCK_MAX_SIZE, not only support.PIPE_MAX_SIZE, to
get the size for a blocking send into a multiprocessing pipe.

bpo-33540: Fix socketserver.ThreadingMixIn if block_on_close=False (GH-7310)

socketserver.ThreadingMixIn no longer tracks active threads if
block_on_close is false.

bpo-30654: Do not reset SIGINT handler to SIG_DFL in finisignal (GH-7146)

bpo-33400: Removed references to RFC3339 and ISO8601 from the logging documentation. (GH-7297)

bpo-32519: Removed misleading sentence from EnvBuilder documentation. (GH-7296)

bpo-33718: regrtest: enhance "running:" formatting (GH-7292)

* "running:" progress: Format number of seconds as hours and minutes
* format_duration(): count also minutes as hours
* Create Lib/test/libregrtest/utils.py

bpo-33692: pythoninfo detect libedit on Python 3.6 (GH-7293)

Check which readline implementation is used based on the readline
docstring.

bpo-33606: improve logging performance when logger is disabled (GH-7285)

A check has been added in Logger.isEnabledFor() to return False when the logger is disabled. This avoids unnecessary work being done when a disabled logger is used.

bpo-33718: regrtest keeps filters to re-run fails (GH-7291)

* No longer clear filters, like --match, to re-run failed tests in
  verbose mode (-w option).
* Tests result: always indicate if tests have been interrupted.
* Enhance tests summary

bpo-33717: pythoninfo: add CC --version (#7290)

Get the version of the C compiler.

bpo-33615: Temporarily disable a test that is triggering crashes on a few buildbots. (gh-7288)

For bpo-32604 I added some subinterpreter-related tests (see #6914) that are causing crashes on a few buildbots. I'm working on fixing the crashes (see #7251).  This change temporarily disables the triggering test.

bpo-33706: Fix pymain_parse_cmdline_impl() (GH-7283)

Fix a crash in Python initialization when parsing the command line
options.

Fix memcpy() size parameter: previously, we read one wchar_t after
the end of _PyOS_optarg. Moreover, don't copy the trailingg NUL
character: we write it manually anyway.

Thanks Christoph Gohlke for the bug report and the fix!

bpo-32911: Add the historical note about the magic number. (GH-7273)

Fix "ditribution" typo in NEWS entry. (GH-7274)

Adds new upload script for Windows releases (GH-7268)

bpo-33641: Convert RFC references into links. (GH-7103)

85% of them are already links.

bpo-33677: Fix signatures of tp_clear handlers for AST and deque. (GH-7196)

bpo-33532: Fix multiprocessing test_ignore() (#7262)

Fix test_ignore() of multiprocessing tests like
test_multiprocessing_forkserver: use support.PIPE_MAX_SIZE to make
sure that send_bytes() blocks.

bpo-31368: Enhance os.preadv() documentation (GH-7254)

3.6 what's new: fix a reference to PEP 528 (#7113)

bpo-33696: Install python-docs-theme even if SPHINXBUILD is defined (GH-7242)

bpo-33691: Add _PyAST_GetDocString(). (GH-7236)

Improve ensurepip's --help (GH-4686)

* Add a space to ensurepip's --altinstall option
* Add periods to the arguments of ensurepip that didn't have it

This makes --help for all optional arguments consistent and also makes it
consistent with pip --help.

bpo-33238: Add InvalidStateError to concurrent.futures. (GH-7056)

Future.set_result and Future.set_exception now raise InvalidStateError
if the futures are not pending or running. This mirrors the behavior
of asyncio.Future, and prevents AssertionErrors in asyncio.wrap_future
when set_result is called multiple times.

Revert "A better fix for asyncio test_stdin_broken_pipe (GH-7221)" (GH-7235)

This reverts commit ad74d50517c069359578014bb32e660828d68332.

Turns out it's not a good fix -- Travis has just crashed on this test.

A better fix for asyncio test_stdin_broken_pipe (#7221)

Revert "bpo-22087: Fix Policy.get_event_loop() to detect fork (GH-7208)" (#7232)

This reverts commit 5d97b7bcc19496617bf8c448d2f149cc28c73bc7.

Fix typo introduced in GH-7217 (#7230)

bpo-32684: Fix nits in tests (GH-7225)

Fix whatsnew entry about ThreadedHTTPServer. (GH-7220)

bpo-23859: Document that asyncio.wait() does not cancel its futures (#7217)

Unlike `asyncio.wait_for()`, `asyncio.wait()` does not cancel the passed
futures when a timeout accurs.

bpo-32751: Wait for task cancellation in asyncio.wait_for() (GH-7216)

Currently, asyncio.wait_for(fut), upon reaching the timeout deadline,
cancels the future and returns immediately.  This is problematic for
when *fut* is a Task, because it will be left running for an arbitrary
amount of time.  This behavior is iself surprising and may lead to
related bugs such as the one described in bpo-33638:

    condition = asyncio.Condition()
    async with condition:
        await asyncio.wait_for(condition.wait(), timeout=0.5)

Currently, instead of raising a TimeoutError, the above code will fail
with `RuntimeError: cannot wait on un-acquired lock`, because
`__aexit__` is reached _before_ `condition.wait()` finishes its
cancellation and re-acquires the condition lock.

To resolve this, make `wait_for` await for the task cancellation.
The tradeoff here is that the `timeout` promise may be broken if the
task decides to handle its cancellation in a slow way.  This represents
a behavior change and should probably not be back-patched to 3.6 and
earlier.

bpo-32684: Fix gather to propagate cancel of itself with return_exceptions (GH-7209)

bpo-31639: Change ThreadedHTTPServer to ThreadingHTTPServer class name (GH-7195)

bpo-22087: Fix Policy.get_event_loop() to detect fork (GH-7208)

Original patch by Dan O'Reilly.

bpo-30935: update get_event_loop docs (GH-2731)

Attempt to fix test_stdin_broken_pipe on Travis (#7210)

bpo-33622: Add checks for exceptions leaks in the garbage collector. (GH-7126)

* Failure in adding to gc.garbage is no longer fatal.
* An exception in tp_clear() no longer lead to crash (though tp_clear() should not leave exceptions).

bpo-33197: Update a error message of invalid inspect.Parameters. (GH-6636)

bpo-33353: test_asyncio use set_write_buffer_limits() (GH-7200)

Use transport.set_write_buffer_limits() in sendfile tests of
test_asyncio to make sure that the protocol is paused after sending
4 KiB. Previously,
test_sendfile_fallback_close_peer_in_the_middle_of_receiving() failed
on FreeBSD if the DATA was smaller than the default limit of 64 KiB.

bpo-32911: Revert bpo-29463. (GH-7121) (GH-7197)

Remove the docstring attribute of AST types and restore docstring
expression as a first stmt in their body.

Co-authored-by: INADA Naoki <methane@users.noreply.github.com>

bpo-33654: Support protocol type switching in SSLTransport.set_protocol() (#7194)

bpo-33674: Pause the transport as early as possible (#7192)

bpo-32878: Adds documentation for st_ino on Windows (GH-5764)

bpo-33674: asyncio: Fix SSLProtocol race (GH-7175)

Fix a race condition in SSLProtocol.connection_made() of
asyncio.sslproto: start immediately the handshake instead of using
call_soon(). Previously, data_received() could be called before the
handshake started, causing the handshake to hang or fail.

bpo-33670: Expose Sphinx errorlevel (GH-7156)

bpo-33673: Install python-docs-theme even if Sphinx is already installed (GH-7163)

bpo-32410: Avoid blocking on file IO in sendfile fallback code (GH-7172)

bpo-32610: Fix asyncio.all_tasks() to return only pending tasks. (GH-7174)

bpo-33469: RuntimeError after closing loop that used run_in_executor (GH-7171)

bro-33614: Override exit code in find_msbuild.bat (GH-7169)

bpo-33672: Fix Task.__repr__ crash with Cython's bogus coroutines (GH-7161)

bpo-32458: Further tune start_tls tests (#7166)

bpo-33614: Ensures module definition files for the stable ABI on Windows are correctly regenerated. (GH-7165)

regrtest: repeat summary after re-run (GH-7159)

Using -w, when failing tests are re-run in verbose mode, display
again the tests results at the end.

bpo-33654: Support BufferedProtocol in set_protocol() and start_tls() (GH-7130)

In this commit:

* Support BufferedProtocol in set_protocol() and start_tls()
* Fix proactor to cancel readers reliably
* Update tests to be compatible with OpenSSL 1.1.1
* Clarify BufferedProtocol docs
* Bump TLS tests timeouts to 60 seconds; eliminate possible race from start_serving
* Rewrite test_start_tls_server_1

bpo-33505: Optimize asyncio.ensure_future by reordering if conditions (GH-6836)

bpo-31647: Fix write_eof() after close() for SelectorSocketTransport (GH-7149)

Fixed bug where calling write_eof() on a _SelectorSocketTransport after
it's already closed raises AttributeError.

bpo-33623: Fix possible SIGSGV when asyncio.Future is created in __del__ (#7080)

bpo-32374: Ignore Python-level exceptions in test_bad_traverse (GH-7145)

bpo-33652: Remove __getstate__ and __setstate__ methods in typing. (GH-7144)