bpo-29585: Define PYTHONFRAMEWORK in PC/pyconfig.h (#2477)

* bpo-29585: Fix PC/pyconfig.h whitespaces

Run "make patchcheck".

* bpo-29585: Define PYTHONFRAMEWORK in PC/pyconfig.h

* site: Fix path separator in _get_path() on Windows

bpo-29585: optimize site.py startup time (GH-136)

Avoid importing `sysconfig` from `site` by copying minimum code.
Python startup is 5% faster on Linux and 30% faster on macOS

Clear potential ref cycle between Process and Process target (#2470)

* Clear potential ref cycle between Process and Process target

Besides Process.join() not being called, this was an indirect cause of bpo-30775.
The threading module already does this.

* Add issue reference

bpo-30775: Fix refleaks in test_multiprocessing (#2467)

Forgetting to call Process.join() can keep some resources alive.

Fix compiler warnings on Windows introduced in bpo-13617. (#2464)

[security] bpo-13617: Reject embedded null characters in wchar* strings. (#2302)

Based on patch by Victor Stinner.

Add private C API function _PyUnicode_AsUnicode() which is similar to
PyUnicode_AsUnicode(), but checks for null characters.

bpo-24813: IDLE  tagline is Integrated Development and Learning Environment (#2451)

Patch by Mark Roseman

bpo-30723: IDLE -- Enhance parenmatch; add style, flash, and help (#2306)

* Add 'parens' style to highlight both opener and closer.
* Make 'default' style, which is not default, a synonym for 'opener'.
* Make time-delay work the same with all styles.
* Add help for config dialog extensions tab, including parenmatch.
* Add new tests.
Original patch by Charles Wohlganger.

bpo-29512: Add test.bisect, bisect failing tests (#2452)

Add a new "python3 -m test.bisect" tool to bisect failing tests.

It can be used to find which test method(s) leak references, leak
files, etc.

bpo-30704, bpo-30604: Fix memleak in code_dealloc() (#2455)

Free also co_extra->ce_extras, not only co_extra.

Clarification to the `break` statement (GH-2453)

Clarify that the break statement breaks out of the innermost enclosing for or while loop.

bpo-30708: Check for null characters in PyUnicode_AsWideCharString(). (#2285)

Raise a ValueError if the second argument is NULL and the wchar_t\*
string contains null characters.

bpo-30674: IDLE: add docstrings to grep.py (#2213)

Patch by Cheryl Sabella

bpo-21519: IDLE basic custom key entry better detects duplicates. (#2428)

bpo-29910: IDLE no longer deletes a character after commenting out a region (#825)

This happened because shortcut has a class binding and 'break' was not returned.
Fix other potential conflicts between IDLE and default key bindings.

* Add news item

* Update NEWS

bpo-24813: IDLE: Add build bitness to About Idle title (#2380)

Patch by Cheryl Sabella.

bpo-30769: Fix reference leak introduced in 77703942c59 (#2416)

New error condition paths were introduced, which did not decrement
`key2` and `val2` objects.  Therefore, decrement references before
jumping to the error label.

Signed-off-by: Eric N. Vander Weele <ericvw@gmail.com>

bpo-30776: reduce regrtest -R false positives (#2422)

* Change the regrtest --huntrleaks checker to decide if a test file
  leaks or not. Require that each run leaks at least 1 reference.
* Warmup runs are now completely ignored: ignored in the checker test
  and not used anymore to compute the sum.
* Add an unit test for a reference leak.

Example of reference differences previously considered a failure
(leak) and now considered as success (success, no leak):

    [3, 0, 0]
    [0, 1, 0]
    [8, -8, 1]

bpo-30728: IDLE: Refactor configdialog to PEP8 names (#2307)

Also, change '*' in the tkinter import to an explicit list of names.
Patch by Cheryl Sabella.

bpo-30532: Fix whitespace folding in certain cases

Leading whitespace was incorrectly dropped during folding of certain lines in the _header_value_parser's folding algorithm.  This makes the whitespace handling code consistent.

bpo-30765: Avoid blocking when PyThread_acquire_lock() is asked not to (#2403)

* bpo-30765: Avoid blocking when PyThread_acquire_lock() is asked not to lock

This is especially important if PyThread_acquire_lock() is called reentrantly
(for example from a signal handler).

* Update 2017-06-26-14-29-50.bpo-30765.Q5iBmf.rst

* Avoid core logic when taking the mutex failed

bpo-30764: regrtest: add --fail-env-changed option (#2402)

* bpo-30764: regrtest: change exit code on failure

* Exit code 2 if failed tests ("bad")
* Exit code 3 if interrupted

* bpo-30764: regrtest: add --fail-env-changed option

If the option is set, mark a test as failed if it alters the
environment, for example if it creates a file without removing it.

bpo-30733: Fix typos in "What's New" entry (GH-2414)

bpo-30764: test_subprocess uses SuppressCrashReport (#2405)

bpo-30764, bpo-29335: test_child_terminated_in_stopped_state() of
test_subprocess now uses support.SuppressCrashReport() to prevent the
creation of a core dump on FreeBSD.

bpo-30523: regrtest --list-cases --match (#2401)

* regrtest --list-cases now supports --match and --match-file options.
  Example: ./python -m test --list-cases -m FileTests test_os
* --list-cases now also sets support.verbose to False to prevent
  messages to stdout when loading test modules.
* Add support._match_test() private function.

bpo-6739: IDLE: Check for valid keybinding in config_keys (#2377)

Verify user-entered key sequences by trying to bind them with tk.
Add tests for all 3 validation functions.
Original patch by G Polo.  Tests added by Cheryl Sabella.

bpo-30746: Port more tests for os.spawnvpe() and os.execve() from 2.7. (#2394)

bpo-30746: Prohibited the '=' character in environment variable names (#2382)

in `os.putenv()` and `os.spawn*()`.

Update `make patchcheck` for blurb and NEWS.d (#2381)

Check the whitespace of pull requests on Travis (GH-2367)

Fix bpo-30596: Add close() method to multiprocessing.Process (#2010)

* Fix bpo-30596: Add close() method to multiprocessing.Process

* Raise ValueError if close() is called before the Process is finished running

* Add docs

* Add NEWS blurb

bpo-30745: Fix compiler warnings introduced in bpo-30730. (#2376)

Fix a typo in a comment in coroutines.py (GH-2267)

defiend -> defined

bp-29304:  Simplify dictobject.c (GH-2347)

replace `(i << 2) + 1` with `i*5`

bpo-24813: IDLE: Add default title to help_about (#2366)

Patch by Cheryl Sabella.

bpo-30726: expat: Fix compiler warnings on Windows 64-bit (#2368)

Explicitly cast on integer downcasting to fix compiler warnings.

(cherry picked from libexpat commit 788bff7a3baad1983b15b17c29e19e1a1a795c48)

Trivial cleanup: remove redundant variable stores in ceval.c (#2012)

Redundant code leftover from cleanup in #16191: the variable `err` is being written to, even though it wasn't used after that point.

bpo-30664: The description of a unittest subtest now preserves the (#2265)

order of keyword arguments of TestCase.subTest().

bpo-30645: don't append to an inner loop path in imp.load_package() (GH-2268)

Bug didn't manifest itself when importing a module with source as .py files are always the first on the search path. The issue only showed up in bytecode-only packages where the calculated file path would be ``__init__.py/__init__.pyc``.

Patch by Alexandru Ardelean.

bpo-30730: Prevent environment variables injection in subprocess on Windows. (#2325)

Prevent passing other invalid environment variables and command arguments.

bpo-24813: IDLE: Add icon to help_about (#2335)

Patch by Cheryl Sabella

bpo-21071: struct.Struct.format type is now str (#845)

bpo-30604: Skip CoExtra tests if ctypes is missing (#2356)

bpo-30602: Fix lastarg in os.spawnve() (#2287)

Fix a regression introduced by myself in the commit
526b22657cb18fe79118c2ea68511aca09430c2c.

bpo-30726: Fix elementtree warnings on Windows due to expat upgrade (#2319)

* bpo-30726: Fix elementtree warnings on Windows

Caused by usage of `getenv` which should be safe. And a few integer
truncations which should also be ok.

* bpo-30726: Don't ignore libexpat warnings which haypo intends to fix upstream

bpo-30727: Fix a race condition in test_threading. (#2334)

bpo-30726: PCbuild _elementtree: remove duplicate defines (#2348)

bpo-30726, bpo-29591: libexpat 2.2.1 of Modules/expat/ now uses
a winconfig.h configuration file which already defines:

* XML_NS
* XML_DTD
* BYTEORDER=1234
* XML_CONTEXT_BYTES=1024
* HAVE_MEMMOVE

Remove these defines from PCbuild/_elementtree.vcxproj to prevent
compiler warnings.

Co-Authored-By: Jeremy Kloth <jeremy.kloth@gmail.com>

bpo-29304: simplify lookdict_index() function. (GH-2273)

bpo-30736: upgrade to Unicode 10.0 (#2344)

Straightforward. While we're at it, though, strip trailing whitespace from generated tables.

bpo-30709: Improve code example in Descriptor HowTo doc (GH-2339)

Add "Misc/NEWS.d" directory tree for "blurb". (GH-2316)

Add "Misc/NEWS.d" directory tree for "blurb".

CPython workflow is changing!  We're going to start using "blurb"
to manage Misc/NEWS entries:
    https://github.com/python/core-workflow
(This will be a big win for release managers, honest.)

This checkin simply populates the "Misc/NEWS.d" subdirectory tree
so that people can start putting their news entries in there.
No other changes (yet).

bpo-30619: Clarify typing.Union documentation (GH-2326)

When a class and its subclass are present, the latter is skipped.

bpo-29212: Fix the ugly repr() ThreadPoolExecutor thread name. (#2315)

bpo-29212: Fix the ugly ThreadPoolExecutor thread name.

Fixes the newly introduced ugly default thread name for concurrent.futures
thread.ThreadPoolExecutor threads.  They'll now resemble the old <=3.5
threading default Thread-x names by being named ThreadPoolExecutor-y_n.

Fix typo in idlelib.config_key.py (#2322)

bpo-30604: clean up co_extra support (#2144)

bpo-30604: port fix from 3.6 dropping binary compatibility tweaks

bpo-30183: Fixes HP-UX cc compilation error in pytime.c (#1351)

* bpo-30183: Fixes HP-UX cc compilation error in pytime.c

HP-UX does not support the CLOCK_MONOTONIC identifier, and will fail to
compile:

    "Python/pytime.c", line 723: error #2020: identifier
    "CLOCK_MONOTONIC" is undefined
          const clockid_t clk_id = CLOCK_MONOTONIC;

Add a new section for __hpux that calls 'gethrtime()' instead of
'clock_gettime()'.

* bpo-30183: Removes unnecessary return

bpo-30616: Functional API of enum allows to create empty enums. (#2304)

* bpo-30616: Functional API of enum allows to create empty enums.

* Update NEWS

move addition to avoid conflict

bpo-30694: Upgrade Modules/expat/ to libexpat 2.2.1 (#2300)

New file: Modules/expat/siphash.h.

Fix trivial typo in idlelib/config.py (GH-2309)

Comceptually -> Conceptually

Fix typo in 3.7 whatsnew (#2308)

Fix trivial typo in json module docstring (GH-2274)

bpo-29933: Improve set_write_buffer_limits description (GH-2262)

Improve the description of the high and low parameters for set_write_buffer_limits.
Also fixed a small grammatical issue.

bpo-30054: Expose tracemalloc C API (#1236)

* Make PyTraceMalloc_Track() and PyTraceMalloc_Untrack() functions
  public (remove the "_" prefix)
* Remove the _PyTraceMalloc_domain_t type: use directly unsigned
  int.
* Document methods

Note: methods are already tested in test_tracemalloc.

bpo-29755: Fixed the lgettext() family of functions in the gettext module. (#2266)

They now always return bytes.

Updated the gettext documentation.

bpo-30500: Fix the NEWS entry (#2293)

splithost() expects an URL starting with "//" not with "http://".

bpo-30597: Show expected input in custom 'print' error message. (#2009)

urllib: Simplify splithost by calling into urlparse. (#1849)

The current regex based splitting produces a wrong result. For example::

  http://abc#@def

Web browsers parse that URL as ``http://abc/#@def``, that is, the host
is ``abc``, the path is ``/``, and the fragment is ``#@def``.

bpo-30629: Add Motoki Naruse to Misc/ACKS (#2284)

bpo-30687: Fixes build scripts to find msbuild.exe and stop relying on vcvarsall.bat (#2252)

* Fixes build scripts to find msbuild.exe and stop relying on vcvarsall.bat
Also fixes bdist_wininst.vcxproj to use correct version in generated name.

bpo-30565: Add PYTHONCOERCECLOCALE=warn runtime flag (GH-2260)

- removes PY_WARN_ON_C_LOCALE build time flag
- locale coercion and compatibility warnings are now always compiled
  in, but are off by default
- adds PYTHONCOERCECLOCALE=warn runtime option to aid in
  debugging potentially locale related compatibility problems

Due to not-yet-resolved test failures on *BSD systems (including
Mac OS X), this also temporarily disables UTF-8 as a locale coercion
target, and skips testing the interpreter's behavior in the POSIX locale.

bpo-30038: add Misc/NEWS entry. (#2258)

bpo-23894: add Misc/NEWS entry. (#2256)

bpo-30629: Remove second call of str.lower() in html.parser.parse_endtag. (#2099)

elem is the result of .lower() 6 lines above the handle_endtag call.
Patch by Motoki Naruse

Revert "bpo-30673: test.bat: add -t option (timeout) (#2211)" (#2245)

This reverts commit 258bfc462b1e58689b43f662a10e44ece3a10bef.

bpo-30523: Add --list-cases unittest (#2243)

* bpo-30523: Add --list-cases unittest

* Addressed haypo's request

* Addressed haypo's request

bpo-30682: Removed a too-strict assertion that failed for certain f-strings. (#2232)

This caused a segfault on eval("f'\\\n'") and eval("f'\\\r'") in debug build.

bpo-30523: regrtest: Add --list-cases option (#2238)

* bpo-30523: regrtest: Add --list-cases option

* bpo-30523: Enhance --list-cases

* Add get_abs_module() function, use it in list_cases()
* list_cases() now logs skipped tests into stderr

* Remove unused doctest

bpo-29783: Replace codecs.open() with io.open() (#599)

Add IDLE items to NEWS and idlelib/NEWS.txt (#2239)

bpo-30450: Add NEWS and whatsnew (GH-2236)

bpo-30176: Add missing curses cell attributes constants (GH-1302)

bpo-30631: Silence MSVC warnings in third-party code (GH-1963)

bpo-30450: Pull Windows dependencies from GitHub rather than svn (GH-1783)

The Windows build now depends on Python 3.6 to fetch externals, but it will be downloaded via NuGet (which is downloaded via PowerShell) if it is not available via `py -3.6`.  This means the only thing that must be installed on a modern Windows box to do a full build of CPython with all extensions is Visual Studio.

Also fixes an outdated note about _lzma in PCbuild/readme.txt

bpo-30620: Remove dead lines from textwrap.dedent (GH-2064)

bpo-30603: add tests to textwrap.dedent (GH-2206)

* test dedent with declining indent level
* add textwrap.dedent test cases

bpo-30673: test.bat: add -t option (timeout) (#2211)

bpo-30626: Fix error handling in PyImport_Import(). (#2103)

In rare circumstances PyImport_Import() could return NULL without raising
an error.

bpo-20627: Fix error message when keyword arguments are used (#2115)

bpo-30602: Fix refleak in os.spawnv() (#2212)

When os.spawnv() fails while handling arguments, free correctly
argvlist: pass lastarg+1 rather than lastarg to free_string_array()
to also free the first item.

bpo-28180: Standard stream & FS encoding differ on Mac OS X (GH-2208)

In the C locale on Mac OS X, the default filesystem encoding
used for operating system interfaces is UTF-8, but the
default encoding used on the standard streams is still ASCII.

Setting the POSIX locale also behaves differently from setting
other locales on Mac OS X, so skip that in the test suite for now.

bpo-29591: Upgrade Modules/expat to libexpat 2.2 (#2164)

* bpo-29591: Upgrade Modules/expat to libexpat 2.2

* bpo-29591: Restore Python changes on expat

* bpo-29591: Remove expat config of unsupported platforms

Remove the configuration (Modules/expat/*config.h) of unsupported
platforms:

* Amiga
* MacOS Classic on PPC32
* Open Watcom

* bpo-29591: Remove useless XML_HAS_SET_HASH_SALT

The XML_HAS_SET_HASH_SALT define of Modules/expat/expat.h became
useless since our local expat copy was upgrade to expat 2.1 (it's now
expat 2.2.0).

bpo-30284: Fix regrtest for out of tree build (#1481)

Use a build/ directory in the build directory, not in the source
directory, since the source directory may be read-only and must not
be modified.

Fallback on the source directory if the build directory is not
available (missing "abs_builddir" sysconfig variable).

bpo-30436: Raise ModuleNotFoundError for importlib.util.find_spec() when parent isn't a package (GH-1899)

Previously AttributeError was raised, but that's not very reflective of the fact that the requested module can't be found since the specified parent isn't actually a package.

bpo-15786: Fix IDLE autocomplete return problem. (#2198)

Before, <return> would not, for instance, complete 're.c' to 're.compile' even with 'compile' highlighted.  Now it does.  Before, <return> was inserted into text, which in Shell meant compile() and possibly execute.  Now cursor is left after completion.

bpo-30231: Remove skipped test_imaplib tests (#1419)

The public cyrus.andrew.cmu.edu IMAP server (port 993) doesn't accept
TLS connection using our self-signed x509 certificate. Remove the two
tests which are already skipped.

Write a new test_certfile_arg_warn() unit test for the certfile
deprecation warning.

bpo-15786: IDLE: Fix mouse clicks on autocompletetion window (#1811)

The root problem was non-check for hide_event. When user clicks
on autocomplete window (acw), root widget gets focusOut event, then triggers hide_window to
close the acw. It should only be hide when acw is active, and acw didn't
get focus at FocusOut event (this event bind on acw and widget), or when
widget get a ButtonPress event (this event only bind on widget).

MacOS  froze after double click on acw because when
doubleclick_event try to hide window at the end, hide_window function
destory whole acw, but tkinter didn't get focus back to widget. So set focus
on widget first, then destory acw.

Windows could not respond on double click event, because of the misbehavior
of Configure event.  When acw was shown, tkinter called winconfig
event multiple times.  That caused tkinter to not response to double
click event.  When on Windows, unbind Configure event first
time get into winconfig_event to prevent multiple call of this event.

Fix trivial typo in Readme (GH-2185)

Replace platform with platforms.

bpo-30602: Fix refleak in os.spawnve() (#2184)

When os.spawnve() fails while handling arguments, free correctly
argvlist: pass lastarg+1 rather than lastarg to free_string_array()
to also free the first item.

bpo-30649: Revert utime delta in test_os (#2176)

PPC64 Fedora 3.x buildbot requires at least a delta of 14 ms: revert
the utime delta to 20 ms.

I tried 10 ms, but test_os failed on the PPC64 Fedora 3.x buildbot.

bpo-25514: Improve IDLE's connection refused message (#2177)

When IDLE fail to start because the socket connection fails, direct people to a new subsection of the IDLE doc listing various causes and remedies.