bpo-30687: Fixes build scripts to find msbuild.exe and stop relying on vcvarsall.bat (#2252)

* Fixes build scripts to find msbuild.exe and stop relying on vcvarsall.bat
Also fixes bdist_wininst.vcxproj to use correct version in generated name.

bpo-30565: Add PYTHONCOERCECLOCALE=warn runtime flag (GH-2260)

- removes PY_WARN_ON_C_LOCALE build time flag
- locale coercion and compatibility warnings are now always compiled
  in, but are off by default
- adds PYTHONCOERCECLOCALE=warn runtime option to aid in
  debugging potentially locale related compatibility problems

Due to not-yet-resolved test failures on *BSD systems (including
Mac OS X), this also temporarily disables UTF-8 as a locale coercion
target, and skips testing the interpreter's behavior in the POSIX locale.

bpo-30038: add Misc/NEWS entry. (#2258)

bpo-23894: add Misc/NEWS entry. (#2256)

bpo-30629: Remove second call of str.lower() in html.parser.parse_endtag. (#2099)

elem is the result of .lower() 6 lines above the handle_endtag call.
Patch by Motoki Naruse

Revert "bpo-30673: test.bat: add -t option (timeout) (#2211)" (#2245)

This reverts commit 258bfc462b1e58689b43f662a10e44ece3a10bef.

bpo-30523: Add --list-cases unittest (#2243)

* bpo-30523: Add --list-cases unittest

* Addressed haypo's request

* Addressed haypo's request

bpo-30682: Removed a too-strict assertion that failed for certain f-strings. (#2232)

This caused a segfault on eval("f'\\\n'") and eval("f'\\\r'") in debug build.

bpo-30523: regrtest: Add --list-cases option (#2238)

* bpo-30523: regrtest: Add --list-cases option

* bpo-30523: Enhance --list-cases

* Add get_abs_module() function, use it in list_cases()
* list_cases() now logs skipped tests into stderr

* Remove unused doctest

bpo-29783: Replace codecs.open() with io.open() (#599)

Add IDLE items to NEWS and idlelib/NEWS.txt (#2239)

bpo-30450: Add NEWS and whatsnew (GH-2236)

bpo-30176: Add missing curses cell attributes constants (GH-1302)

bpo-30631: Silence MSVC warnings in third-party code (GH-1963)

bpo-30450: Pull Windows dependencies from GitHub rather than svn (GH-1783)

The Windows build now depends on Python 3.6 to fetch externals, but it will be downloaded via NuGet (which is downloaded via PowerShell) if it is not available via `py -3.6`.  This means the only thing that must be installed on a modern Windows box to do a full build of CPython with all extensions is Visual Studio.

Also fixes an outdated note about _lzma in PCbuild/readme.txt

bpo-30620: Remove dead lines from textwrap.dedent (GH-2064)

bpo-30603: add tests to textwrap.dedent (GH-2206)

* test dedent with declining indent level
* add textwrap.dedent test cases

bpo-30673: test.bat: add -t option (timeout) (#2211)

bpo-30626: Fix error handling in PyImport_Import(). (#2103)

In rare circumstances PyImport_Import() could return NULL without raising
an error.

bpo-20627: Fix error message when keyword arguments are used (#2115)

bpo-30602: Fix refleak in os.spawnv() (#2212)

When os.spawnv() fails while handling arguments, free correctly
argvlist: pass lastarg+1 rather than lastarg to free_string_array()
to also free the first item.

bpo-28180: Standard stream & FS encoding differ on Mac OS X (GH-2208)

In the C locale on Mac OS X, the default filesystem encoding
used for operating system interfaces is UTF-8, but the
default encoding used on the standard streams is still ASCII.

Setting the POSIX locale also behaves differently from setting
other locales on Mac OS X, so skip that in the test suite for now.

bpo-29591: Upgrade Modules/expat to libexpat 2.2 (#2164)

* bpo-29591: Upgrade Modules/expat to libexpat 2.2

* bpo-29591: Restore Python changes on expat

* bpo-29591: Remove expat config of unsupported platforms

Remove the configuration (Modules/expat/*config.h) of unsupported
platforms:

* Amiga
* MacOS Classic on PPC32
* Open Watcom

* bpo-29591: Remove useless XML_HAS_SET_HASH_SALT

The XML_HAS_SET_HASH_SALT define of Modules/expat/expat.h became
useless since our local expat copy was upgrade to expat 2.1 (it's now
expat 2.2.0).

bpo-30284: Fix regrtest for out of tree build (#1481)

Use a build/ directory in the build directory, not in the source
directory, since the source directory may be read-only and must not
be modified.

Fallback on the source directory if the build directory is not
available (missing "abs_builddir" sysconfig variable).

bpo-30436: Raise ModuleNotFoundError for importlib.util.find_spec() when parent isn't a package (GH-1899)

Previously AttributeError was raised, but that's not very reflective of the fact that the requested module can't be found since the specified parent isn't actually a package.

bpo-15786: Fix IDLE autocomplete return problem. (#2198)

Before, <return> would not, for instance, complete 're.c' to 're.compile' even with 'compile' highlighted.  Now it does.  Before, <return> was inserted into text, which in Shell meant compile() and possibly execute.  Now cursor is left after completion.

bpo-30231: Remove skipped test_imaplib tests (#1419)

The public cyrus.andrew.cmu.edu IMAP server (port 993) doesn't accept
TLS connection using our self-signed x509 certificate. Remove the two
tests which are already skipped.

Write a new test_certfile_arg_warn() unit test for the certfile
deprecation warning.

bpo-15786: IDLE: Fix mouse clicks on autocompletetion window (#1811)

The root problem was non-check for hide_event. When user clicks
on autocomplete window (acw), root widget gets focusOut event, then triggers hide_window to
close the acw. It should only be hide when acw is active, and acw didn't
get focus at FocusOut event (this event bind on acw and widget), or when
widget get a ButtonPress event (this event only bind on widget).

MacOS  froze after double click on acw because when
doubleclick_event try to hide window at the end, hide_window function
destory whole acw, but tkinter didn't get focus back to widget. So set focus
on widget first, then destory acw.

Windows could not respond on double click event, because of the misbehavior
of Configure event.  When acw was shown, tkinter called winconfig
event multiple times.  That caused tkinter to not response to double
click event.  When on Windows, unbind Configure event first
time get into winconfig_event to prevent multiple call of this event.

Fix trivial typo in Readme (GH-2185)

Replace platform with platforms.

bpo-30602: Fix refleak in os.spawnve() (#2184)

When os.spawnve() fails while handling arguments, free correctly
argvlist: pass lastarg+1 rather than lastarg to free_string_array()
to also free the first item.

bpo-30649: Revert utime delta in test_os (#2176)

PPC64 Fedora 3.x buildbot requires at least a delta of 14 ms: revert
the utime delta to 20 ms.

I tried 10 ms, but test_os failed on the PPC64 Fedora 3.x buildbot.

bpo-25514: Improve IDLE's connection refused message (#2177)

When IDLE fail to start because the socket connection fails, direct people to a new subsection of the IDLE doc listing various causes and remedies.

bpo-30595: Increase test_queue_feeder_donot_stop_onexc() timeout (#2148)

_test_multiprocessing.test_queue_feeder_donot_stop_onexc() now uses a
timeout of 1 second on Queue.get(), instead of 0.1 second, for slow
buildbots.

bpo-30649: test_os tolerates 50 ms delta for utime (#2156)

On Windows, tolerate a delta of 50 ms instead of 20 ms in
test_utime_current() and test_utime_current_old() of test_os.

On other platforms, reduce the delta from 20 ms to 10 ms.

bpo-30659 : Use ** for kwargs in namedtuple._replace() signature (GH-2173)

bpo-30603: Add test case to textwrap.dedent (GH-2014)

bpo-27922: Stop gui flash from idle_test.test_parenmatch (#2171)

For unknown reasons, this does not work when running leak tests.

bpo-30656: Fix Python C API Module Objects documentation (GH-2170)

`PyModule_New()` now refers to `PyModule_NewObject()`

bpo-24744: Raises error in pkgutil.walk_packages if path is str (#1926)

bpo-24744: Raise error in pkgutil.walk_packages if path is str

Previously an empty result list was accidentallly returned, since the
code iterated over the string as if it were the expected list of paths,
and of course found nothing.

bpo-24484: Avoid race condition in multiprocessing cleanup (#2159)

* bpo-24484: Avoid race condition in multiprocessing cleanup

The finalizer registry can be mutated while inspected by multiprocessing
at process exit.

* Use test.support.start_threads()

* Add Misc/NEWS

Fix ref leak in idle_test.test_macosx (#2163)

bpo-30650: Fixed a syntax error: missed right parentheses (#2154)

bpo-28180: assume UTF-8 for Mac OS X PEP 538 tests (GH-2130)

bpo-30642: IDLE: Fix test_query refleak (#2147)

Patch by Louie Lu.

bpo-30635: Fix refleak in test_c_locale_coercion (#2126)

When checking for reference leaks, test_c_locale_coercion is run
multiple times and so _LocaleCoercionTargetsTestCase.setUpClass() is
called multiple times. setUpClass() appends new value at each call,
so it looks like a reference leak.

Moving the setup from setUpClass() to setUpModule() avoids
this, eliminating the false alarm.

bpo-28180: Fix test_capi.test_forced_io_encoding() (#2155)

Don't run Python in an empty environment, but copy the current
environment and set PYTHONIOENCODING. So the test works also on
Python compiled in shared mode (using libpython).

Mention how to disable signal fd wakeup (#2140)

bpo-30643: Fix race condition in signal wakeup in forkserver (followup to PR #1989) (#2139)

* Fix race condition in signal wakeup in forkserver (followup to PR #1989)

There's an admittedly well-known race condition where ECHILD can arrive
just before the C function epoll_wait() and the latter wouldn't therefore
return EINTR.  The solution is to use set_wakeup_fd(), which was designed
to avoid such race conditions.

* Reset wakeup fd in child

bpo-6519: Improve Python Input Output Tutorial (GH-2143)

Move up the discussion about 'with' keyword, so it appears earlier in the document.

bpo-30636: Fix the indentation for the help (#2131)

bpo-30177: add NEWS entry (#2135)

Fix bpo-30589: improve Process.exitcode with forkserver (#1989)

* Fix bpo-30589: improve Process.exitcode with forkserver

When the child is killed, Process.exitcode should return -signum, not 255.

* Add Misc/NEWS

bpo-30624 remaining bare except (#2108)

bpo-30624 / selectors: use bare 'except' clause instead of 'except
Exception'

bpo-30636: Add PYTHONCOERCECLOCALE to the help of the command line (GH-2125)

[email] bpo-29478: Fix passing max_line_length=None from Compat32 policy (GH-595)

If max_line_length=None is specified while using the Compat32 policy,
it is no longer ignored.

bpo-28994: Fixed errors handling in atexit._run_exitfuncs(). (#2034)

The traceback no longer displayed for SystemExit raised in a callback registered by atexit.

bpo-30621: Update Input Output Tutorial Example(GH-2074)

 import json before using json module

Revert "bpo-29406: asyncio SSL contexts leak sockets after calling close with certain servers (#409)" (#2111)

This reverts commit a608d2d5a7f1aabe9bcbfc220135c5e126189390.

bpo-30508: Don't log exceptions if Task/Future "cancel()" method called (#2050)

bpo-30501: Make the compiler producing optimized code for condition expressions. (#1851)

bpo-11822: Improve disassembly to show embedded code objects. (#1844)

The depth argument limits recursion.

remove extra word (#2101)

clarify recv() and send() on SSLObject (#2100)

SSLObject has recv() and send(), but they don't do any network io.

Show what's changed when Travis fails regen check (GH-2095)

Also fixed a few more line endings that were missed in GH-840, which were causing failure.

bpo-28180: Implementation for PEP 538 (#659)

- new PYTHONCOERCECLOCALE config setting
- coerces legacy C locale to C.UTF-8, C.utf8 or UTF-8 by default
- always uses C.UTF-8 on Android
- uses `surrogateescape` on stdin and stdout in the coercion
  target locales
- configure option to disable locale coercion at build time
- configure option to disable C locale warning at build time

Use Travis to make sure all generated files are up to date (GH-2080)

Update idlelib NEWS for 3.7 (#2089)

Add IDLE NEWS items for 3.7 (#2090)

#30624 / selectors: use bare except clause in order to not leave the fd in a bad state in case of error (#2082)

bpo-27425: Be more explicit in .gitattributes (GH-840)

Updates checked-in line endings on several files.

bpo-28556: Updates to typing module (#2076)

This PR contains two updates to typing module:

- Support ContextManager on all versions (original PR by Jelle Zijlstra).
- Add generic AsyncContextManager.

bpo-30312: Small correction in datastructures set code sample (GH-2081)

bpo-30599: Fix test_threaded_import reference leak (#2029)

Mock os.register_at_fork() when importing the random module, since
this function doesn't allow to unregister callbacks and so leaked
memory.

bpo-30595: Fix multiprocessing.Queue.get(timeout) (#2027)

multiprocessing.Queue.get() with a timeout now polls its reader in
non-blocking mode if it succeeded to aquire the lock but the acquire
took longer than the timeout.

Co-Authored-By: Grzegorz Grzywacz <grzgrzgrz3@gmail.com>

Regenerate Argument Clinic code for bpo-19180. (#2073)

bpo-30605: Fix compiling binary regexs with BytesWarnings enabled. (#2016)

Running our unit tests with `-bb` enabled triggered this failure.

bpo-30600: Fix error messages (condition order in Argument Clinic) (#2051)

The function '_PyArg_ParseStack()' and
'_PyArg_UnpackStack' were failing (with error
"XXX() takes Y argument (Z given)") before
the function '_PyArg_NoStackKeywords()' was called.
Thus, the latter did not raise its more meaningful
error : "XXX() takes no keyword arguments".

bpo-25409: Clarify fnmatch and fnmatchcase documentation (GH-1535)

Mention that fnmatchcase does not call normcase, and fnmatch does.

bpo-29406: asyncio SSL contexts leak sockets after calling close with certain servers (#409)

* asyncio SSL contexts leak sockets after calling close with certain servers

* cleanup _shutdown_timeout_handle on _fatal_error

Fix TypeError is asyncio/proactor_events (#993)

bpo-30417: Disable `cpu` resource on AppVeyor (GH-1951)

Make codecov config on master the only config used (GH-2041)

This will allow for centralized management of the Codecov config to prevent skew as well as easier management going forward.

Closes python/core-workflow#81.

Add a NEWS entry for #29870 (PR #981) (#2047)

Break circular references when closing SSLTransport objects (#981)

Closing transport during handshake process leaks socket (#480)

Clarify what --enable-optimizations does (GH-1847)

bpo-27585: Add a NEWS entry for #1031 (#2036)

bpo-30335: Add deprecation alias entry for assertNotRegexpMatches (GH-1536)

Document that assertNotRegexpMatches is a deprecated alias for assertNotRegex.

bpo-30014: make poll-like selector's modify() method faster (#1030)

* #30014: make selectors.DefaultSelector.modify() faster by relying on selector's modify() method instead of un/register()ing the fd

* #30014: add unit test

* speedup poll/epoll/devpoll modify() method by using internal modify() call

* update doc

* address PR comments

* update NEWS entries

* use != instead of 'is not'

Fix waiter cancellation in asyncio.Lock (#1031)

Avoid a deadlock when the waiter who is about to take the lock is
cancelled

Issue #27585

Fix regression in error message introduced in bpo-29951. (#2028)

* Fix regression in error message introduced in bpo-29951.

* Add test.

* Make the test more strong.

bpo-30266: support "= None" pattern in AbstractContextManager (#1448)

contextlib.AbstractContextManager now supports anti-registration
by setting __enter__ = None or __exit__ = None, following the pattern
introduced in bpo-25958.

bpo-30524: Write unit tests for FASTCALL (#2022)

Test C functions:

* _PyObject_FastCall()
* _PyObject_FastCallDict()
* _PyObject_FastCallKeywords()

bpo-30217: Add the operators ~ and | to the index (#1502)

bpo-19180: Updated references for RFC 1750, RFC 3280 & RFC 4366 (GH-148)

* RFC 1750 has been been obsoleted by RFC 4086.
* RFC 3280 has been obsoleted by RFC 5280.
* RFC 4366 has been obsoleted by RFC 6066.

Add a test for bad IDNA in ssl server_hostname (#1997)

See discussion:
  https://github.com/python/cpython/pull/1992#issuecomment-307024778

bpo-30540: regrtest: add --matchfile option (#1909)

* Add a new option taking a filename to get a list of test names to
  filter tests.
* support.match_tests becomes a list.
* Modify run_unittest() to accept to match the whole test identifier,
  not just a part of a test identifier.

For example, the following command only runs test_default_timeout()
of the BarrierTests class of test_threading:

$ ./python -m test -v test_threading -m test.test_threading.BarrierTests.test_default_timeout

Remove also some empty lines from test_regrtest.py to make flake8
tool happy.

bpo-24755: Document asyncio.wrap_future (GH-603)

bpo-30529: Fix errors for invalid whitespaces in f-string subexpressions. (#1888)

'invalid character in identifier' now is raised instead of
'f-string: empty expression not allowed' if a subexpression contains
only whitespaces and they are not accepted by Python parser.

bpo-30601: Fix a refleak in WindowsConsoleIO (#2003)

Fix a reference leak in _io._WindowsConsoleIO: PyUnicode_FSDecoder()
always initialize decodedname when it succeed and it doesn't clear
input decodedname object.