bpo-31802: Fix importing native path module before importing os. (GH-4017) (#5129)

(cherry picked from commit 3460198f6ba40a839f105c381f07179aba1e8c61)

[3.6] Kill the AppVeyor file whitelist (GH-5122)

It's more trouble than it's worth, since AppVeyor only checks the HEAD commit of a PR rather than the full diff against the base branch to decide which files changed.
(cherry picked from commit 7f7de371f947dc38e67505601927e9bc58fa268a)

advance copyright years to 2018 (GH-5094) (#5104)

(cherry picked from commit 65f2a6dcc2bc28a8566b74c8e9273f982331ec48)

Fix outdated comment in typeobject.c (GH-5090)

The comment was added in 3abca127fe1565ec80f6b0a1ae48d65186ad887d.
In d78448e912126410117723c7d240bbdfff06df16, it was changed to
use PyArg_ParseTuple instead.

(cherry picked from commit 78e24d4415c37e9e9951920bc31e9ee4868d86cb)

bpo-32482: Fix suspicious code in tests for syntax and grammar. (GH-5086) (#5095)

(cherry picked from commit 0cc99c8cd70d422e4b345837a907db30e9180ab9)

bpo-32211: Document the existing bug in re.findall() and re.finditer(). (#4695)

bpo-32452: clarify term 'brackets' in generator tutorial (GH-5079) (#5081)

Updates documentation for generator expressions in classes tutorial: Clarify usage of ambiguous term "brackets" by replacing with "square brackets". Updated subsequent lines to respect line breaks. (GH-5079)
(cherry picked from commit f190eb59e60e2ae7a7cbd396458389a7a076e0d3)

bpo-32478: Add tests for 'break' and 'return' inside 'finally' clause. (GH-5078) (#5083)

(cherry picked from commit 7cc42c356b0dc5ad9eaa9392789e84bd4aa1c7de)

bpo-32416: Add two new tests in test_sys_settrace. (GH-5072) (#5073)

Move other test to more proper place.
(cherry picked from commit e8ed96550c6aa9a1e39c36e67e892994e25e2c41)

Add missing backslashes in PCbuild bat files (GH-5056) (GH-5057)

(cherry picked from commit 6c6d3a46087bacb9c767c8cf2185505348d3796d)

remove unused import (GH-5040) (#5042)

(cherry picked from commit e325608740bee161ca7fefd09463d63099efa1b8)

make PatternCompiler use the packaged grammar if possible (more bpo-24960) (GH-5034) (#5036)

(cherry picked from commit e5f7dccefaa8d97ab53b3051acbb4a4d49379dc4)

bpo-32440: Update the docs URL to https in help() (GH-5030) (GH-5031)

In pydoc.py, the reference to Python' documentation was in http.
The link has been updated to use https.
(cherry picked from commit e5681b9822c633c77ddfeb94585d58895e0ecff5)

[3.6] bpo-32416: Refactor tests for the f_lineno setter and add new tests. (GH-4991). (#5016)

(cherry picked from commit 53f9135667226f33e049e327db60fb033afbd77a)

bpo-26133: Fix typos (GH-5010) (#5014)

* Fix typos
* Change warning text
* Add test
(cherry picked from commit a8f4e15f3d33084862ddd3a7d58cd00034e94f16)

bpo-29084: Exclude C API for OrderedDict from the limited C API. (GH-4900) (#5007)

(cherry picked from commit 1b3029ac8370ac76fa9571aef540e10aed0667ff)

bpo-26133: Clear signals list on interpreter finalizing (GH-5002) (#5003)

(cherry picked from commit 4f146f9ed133b9ad56d4ee7a653396836af34067)

correct wording (GH-4983) (#4984)

(cherry picked from commit d11e8e0d11c759cd0f96aebb59de914e4d62b8cd)

bpo-24960: use pkgutil.get_data in lib2to3 to read pickled grammar files (GH-4977) (#4979)

This is more complicated than it should be because we need to preserve the
useful mtime-based regeneration feature that lib2to3.pgen2.driver.load_grammar
has. We only look for the pickled grammar file with pkgutil.get_data and only if
the source file does not exist.
(cherry picked from commit 8a5877165e993afb2633cd48da5222326d3f6e0e)

bpo-20891: Skip test_embed.test_bpo20891() (#4967) (#4969)

Skip the test failing randomly because of known race condition.

Skip the test to fix macOS buildbots until a decision is made on the
proper fix for the race condition.

(cherry picked from commit 550ee051d605b909dd75ef686d8e1244a0994394)

bpo-26133: Dont unsubscribe signals in UNIX even loop on interpreter shutdown (GH-4956) (#4962)

(cherry picked from commit 4a02543cf97e8cbf9293741379f977b85531e4c2)

bpo-32323: urllib.parse.urlsplit() must not lowercase() IPv6 scope value (GH-4867) (#4959)

(cherry picked from commit fbd605151fcf2899b14575f4ddb9ce3c55e684ab)

Fix trivial typo in pickle.rst (GH-4955) (#4958)

(cherry picked from commit a8d25a16452f7ee8dfc350cd028b3ae172d28ada)

correct the typos (GH-4950) (#4951)

(cherry picked from commit 83cb778b4a3f856f2243b0f0d36fefb5c44b388f)

bpo-32306: Clarify c.f.Executor.map() documentation (GH-4947) (#4948)

The built-in map() function collects function arguments lazily, but concurrent.futures.Executor.map() does so eagerly.
(cherry picked from commit a7a751dd7b08a5bb6cb399c1b2a6ca7b24aba51d)

Improve the F-strings and format specifier documentation (GH-4931) (GH-4933)

Mention that the format-specifier mini language in f-strings
is the same one used by str.format.
(cherry picked from commit f4e21a2a72f76d75a6cc6f74faf910a5f3108482)

bpo-32377: improve __del__ docs and fix mention about resurrection (GH-4927) (#4929)

* Fix GH-32377: improve __del__ docs and fix mention about resurrection

* Mention that CPython only calls __del__ once.
(cherry picked from commit 4b965930e8625f77cb0e821daf5cc40e85b45f84)

3.6.4+

Merge tag 'v3.6.4' into 3.6

Update to 3.6.4

Update NEWS for 3.6.4 final

bpo-32284: Fix documentation of BinaryIO and TextIO (GH-4832) (#4833)

(cherry picked from commit c3e070f84931c847d1b35e7fb36aa71edd6215f6)

Allows non-critical upload steps to fail (GH-4742) (#4743)

(cherry picked from commit 9ab11b3a029fba36c1a7e869be87fb4f31ebcf24)

bpo-32365: Fix a reference leak when compile __debug__. (GH-4916) (#4918)

It was introduced in bpo-27169.
(cherry picked from commit bd6ec4d79e8575df3d08f8a89ba721930032714c)

bpo-27456: Ensure TCP_NODELAY is set on linux (#4231) (#4898)

(cherry picked from commit e796b2fe26f220107ac50667de6cc86c82b465e3)

Minor wording tweak for itertools documentation (GH-4893) (#4894)

(cherry picked from commit 6693d7af6670f8bda331e0b63bb77fce2e3efe9c)

F-strings docs: link to Format Specifiers (GH-4888) (GH-4889)

Link to the Format Specification Mini Language section from f-strings' documentation.
(cherry picked from commit d924fa523df766dbf2f8b6a28ae502eb3433bfe5)

bpo-32294: Fix multiprocessing test_semaphore_tracker() (GH-4885) (#4887)

Run the child process with -E option to ignore the PYTHONWARNINGS
environment variable.
(cherry picked from commit 9402c8367bf6ada1b84f620ad957750c33adbaf9)

compile.c: Remove unused varible (#4886)

Fix a compiler warning.

bpo-28393: Update encoding lookup docs wrt bpo-27938 (GH-4871) (#4881)

(cherry picked from commit 297fd876aad8ef443d8992618de22c46dbda258b)

[3.6] bpo-30416: Protect the optimizer during constant folding. (#4865)

It no longer spends much time doing complex calculations and no
longer consumes much memory for creating large constants that will
be dropped later.

This fixes also bpo-21074.

[3.6] bpo-27169: The __debug__ constant is now optimized out at compile time. (GH-4880) (#4882)

This fixes also bpo-22091..
(cherry picked from commit 3325a6780c81f1ea51190370b5454879c4862a37)

bpo-32329: Fix sys.flags.hash_randomization (#4875)

sys.flags.hash_randomization is now properly set to 0 when hash
randomization is turned off by PYTHONHASHSEED=0.

bpo-32277: Fix exception raised from chmod(..., follow_symlinks=False) (GH-4797) (#4869)

(cherry picked from commit 233ef249cc5c18d796fb581747179c5e062b4083)

pythoninfo: sync with master (#4844)

[3.6] bpo-32297: Fix misspellings in Python source code comments (GH-4803) (#4864)

* [3.6] bpo-32297: Few misspellings found in Python source code comments. (GH-4803)

* Fix multiple typos in code comments

* Add spacing in comments (test_logging.py, test_math.py)

* Fix spaces at the beginning of comments in test_logging.py.

(cherry picked from commit 53f7a7c2814fbfd8a29200926601a32fa48bacb3)

bpo-32302: Fix distutils bdist_wininst for CRT v142 (GH-4851) (#4861)

CRT v142 is binary compatible with CRT v140.
(cherry picked from commit 9e7c136ad8bc8e8eec50c2a8ae5ff02752f695a2)

bpo-32316: Travis CI: use PYTHON_FOR_REGEN=python3 (#4853)

"make regen-all" requires a working python3.6 or python3. Without
"python: 3.6", Travis CI provides a "python3.6" script which ony
write an error.

Use "python3" instead.

trivial: link updates in documentation (GH-2765) (#4835)

(cherry picked from commit 4f29f3c84b74de8c208980a14bc56bffa6363121)

[3.6] Test atexit shutdown mechanism in a subprocess (GH-4828) (#4829)

* Test atexit shutdown mechanism in a subprocess.
(cherry picked from commit fc5db95e0063eafa2bfb7f487fcaad5a7c4b65a1)

bpo-32284: Fix documentation of BinaryIO and TextIO (GH-4832) (#4833)

(cherry picked from commit c3e070f84931c847d1b35e7fb36aa71edd6215f6)

Fix improper use of re.escape() in tests. (GH-4814) (#4816)

(cherry picked from commit b748e3b2586e44bfc7011b601bce9cc6d16d89f1)

Fix implementation dependent assertion in test_plistlib. (GH-4813) (#4815)

It is failed with an advanced optimizer.
(cherry picked from commit 0e069a1597ce6791a5f0da8329da2c446766c80e)

bpo-31942: Document optional support of start and stop attributes in Sequence.index method (GH-4277) (#4811)

(cherry picked from commit 5ce0a2a100909104836f53a2c8823006ec46f8ad)

bpo-32255: Always quote a single empty field when write into a CSV file. (GH-4769) (#4810)

This allows to distinguish an empty row from a row consisting of a single empty field.
(cherry picked from commit 2001900b0c02a397d8cf1d776a7cc7fcb2a463e3)

Fix idlelib comment typos reported by Mike on pull request 4803. (GH-4807) (#4809)

(cherry picked from commit e570211406f9bfbe16eff8d10e614d90497e08df)

bpo-22671: Clarify and test default read method implementations (GH-4568) (#4796)

Original patch written by Martin Panter, enhanced by Sanyam Khurana.
(cherry picked from commit 1b74f9b77a6fa1d7828986cb79d5b10942ff9141)

bpo-32252: Fix faulthandler_suppress_crash_report() (GH-4794) (#4795)

Fix faulthandler_suppress_crash_report() used to prevent core dump files
when testing crashes. getrlimit() returns zero on success.
(cherry picked from commit 48d4dd974f0c8d47c54990eedd322b96b19c60ec)

Removed doubled 'bpo-'. (GH-4777) (#4780)

(cherry picked from commit f658641a05651e0eb717bb40e2c85dca3470369d)

bpo-32212: Updated logging documentation to make parameter names more consistent with source. (GH-4765) (GH-4767)

(cherry picked from commit a9f8df646aac7fc94ced0aefd1ed2c8566d14d10)

bpo-32208: update threading.Semaphore docs and add unit test (GH-4709) (#4750)

* fix issue32208: update threading.Semaphore docs and add unit test to validate correct behavior

* add test for blocking

* Update threading.rst

* semaphore: remove documentation validation tests and move 'return value' test to BaseSemaphore
(cherry picked from commit a0374dd34aa25f0895195d388b5ceff43b121b00)

bpo-32199:  The getnode() ip getter now uses 'ip link' instead of 'ip link list' (GH-4696) (#4747)

(cherry picked from commit 961dbe0548e26394b7716d41423c61b1e2e58ef7)

Allows non-critical upload steps to fail (GH-4742) (#4743)

(cherry picked from commit 9ab11b3a029fba36c1a7e869be87fb4f31ebcf24)

Bump to 3.6.4rc1+

Merge tag 'v3.6.4rc1' into 3.6

bpo-30928: update idlelib/NEWS.txt. (GH-4706) (#4707)

(cherry picked from commit 2c0c68d927bfa557f98bac26644f5b64c4b135a7)

Bump to 3.6.4rc1

Update NEWS and pydoc topics.

Tidy NEWS entry.

Add a missing space in tkinter documentation. (GH-4692) (GH-4722)

(cherry picked from commit ae342cf7deebdcf2035f4064609b32b2102dadcf)

[3.6] bpo-31380: Skip test_httpservers test_undecodable_file on macOS. (GH-4720) (#4721)

The undecodable file name cannot be created on macOS APFS file systems.
(cherry picked from commit b3edde8dd44c878e9f039a2165d00ff075157d4b)

bpo-28791: Update Windows builds to use SQLite 3.21.0. (GH-4246). (GH-4717)

(cherry picked from commit 31af650ee25f65794b75d4dfefed6fe4758781c1)

[3.6] bpo-31392: Update macOS installer to use OpenSSL 1.0.2m (GH-4715) (#4716)

(cherry picked from commit 24e046987b8e34bb4f1f3fd9bd31f1d605e347dc)

[bpo-28556] Minor fixes for typing module (GH-4710) (#4713)

(cherry picked from commit 29bc19321018ec6e58f9f4da9c18c42e9a9c580e)

[3.6] bpo-28791: Update macOS installer to use SQLite 3.21.0. (#4245) (#4711)

bpo-32207: Improve tk event exception tracebacks in IDLE. (GH-4703) (#4705)

When tk event handling is driven by IDLE's run loop, a confusing
and distracting queue.EMPTY traceback context is no longer added
to tk event exception tracebacks.  The traceback is now the same
as when event handling is driven by user code.  Patch based on
a suggestion by Serhiy Storchaka.
(cherry picked from commit 1e2fcac4972530aa2c963d7e4011021df5ba866e)

bpo-30928: Update idlelib/NEWS.txt to 2017 Dec 3. (GH-4701) (#4702)

Patches are in 3.7.0a3 even if this update is not.
(cherry picked from commit 21255fc3932a60c064f85c0fe68f2840f390ebe4)

bpo-27240 Rewrite the email header folding algorithm. (GH-3488) (#4693)

The original algorithm tried to delegate the folding to the tokens so
that those tokens whose folding rules differed could specify the
differences.  However, this resulted in a lot of duplicated code because
most of the rules were the same.

The new algorithm moves all folding logic into a set of functions
external to the token classes, but puts the information about which
tokens can be folded in which ways on the tokens...with the exception of
mime-parameters, which are a special case (which was not even
implemented in the old folder).

This algorithm can still probably be improved and hopefully simplified
somewhat.

Note that some of the test expectations are changed.  I believe the
changes are toward more desirable and consistent behavior: in general
when (re) folding a line the canonical version of the tokens is
generated, rather than preserving errors or extra whitespace.
(cherry picked from commit 85d5c18c9d83a1d54eecc4c2ad4dce63194107c6)

bpo-31619: Fixed integer overflow in converting huge strings to int. (GH-3884) (#4690)

(cherry picked from commit 29ba688034fc4eef0693b86002cf7bee55d692af)

[3.6] bpo-32176: Set CO_NOFREE in the code object constructor (GH-4684)

Previously, CO_NOFREE was set in the compiler, which meant
it could end up being set incorrectly when code objects
were created directly. Setting it in the constructor based
on freevars and cellvars ensures it is always accurate,
regardless of how the code object is defined.

(cherry picked from commit 078f1814f1a4413a2a0fdb8cf4490ee0fc98ef34)

[3.6] bpo-31589 : Build PDF using xelatex for better UTF8 support. (GH-3940) (#4683)

Also addresses doc build failures documented in bpo-32200.
(cherry picked from commit 7324b5ce8e7c031a0a3832a6a8d7c639111ae0ff)

Don't hide unexpected errors in PyErr_WarnExplicitObject(). (GH-4585) (#4662)

(cherry picked from commit a561862048555d555fa4850eaf832ae5474c7e1f)

bpo-32186: Release the GIL during lseek and fstat (GH-4652) (#4661)

In _io_FileIO_readall_impl(), lseek() and _Py_fstat_noraise() were called
without releasing the GIL. This can cause all threads to hang for
unlimited time when calling FileIO.read() and the NFS server is not
accessible.
(cherry picked from commit 6a89481680b921e7b317c29877bdda9a6031e5ad)

bpo-20891: Fix PyGILState_Ensure() (#4650) (#4655)

When PyGILState_Ensure() is called in a non-Python thread before
PyEval_InitThreads(), only call PyEval_InitThreads() after calling
PyThreadState_New() to fix a crash.

Add an unit test in test_embed.

Enhance also embedded tests, backport from master:

* Add test_pre_initialization_api()
* Set PYTHONIOENCODING environment variable in
  test_forced_io_encoding()

(cherry picked from commit b4d1e1f7c1af6ae33f0e371576c8bcafedb099db)

[3.6] make tags: index also Modules/_ctypes/ (#4648) (#4659)

* `make tags` fixes (GH-717)

* Fix `make tags` warnings

`make tags` target tries to find C sources and headers in "Grammar" and
"Mac" folders and generates these warnings:

    ctags: Warning: cannot open source file "Grammar/*.[ch]" : No such file or directory
    ctags: Warning: cannot open source file "Mac/*.[ch]" : No such file or directory

This commit changes $SRCDIRS variable in configure.ac to remote these
directories. This variable is used only for tags generation.

Also, "configure" was regenerated with `autoreconf`.

* Fix `make tags` fail on non-default tag names

When ctags overrides default tags filename (e.g. `-f .tags`) `make tags`
is failed because it assumes to see default `tags` filename:

    sort: cannot read: tags: No such file or directory

This commit explicitly specifies "tags" filename for tags generation.

(cherry picked from commit 8a543c0bc7347d5b333f334d157bf4a7cd33c14a)

* make tags: index also Modules/_ctypes/ (#4648)

Avoid also "cd $(srcdir)" to not change the current directory.

(cherry picked from commit 3be3b97a9709d3cd5303175ddbffa7dcca57ac3e)

bpo-32072: Fix issues with binary plists. (GH-4455) (#4654)

* Fixed saving bytearrays.
* Identical objects will be saved only once.
* Equal references will be load as identical objects.
* Added support for saving and loading recursive data structures.
(cherry picked from commit a897aeeef647259a938a36cb5eb6680c86021c6a)

bpo-28416: Break reference cycles in Pickler and Unpickler subclasses (GH-4080) (#4653)

with the persistent_id() and persistent_load() methods.
(cherry picked from commit 986375ebde0dd5ff2b7349e445a06bd28a3a8ee2)

Skip test_socket.test_sha256() on linux < 4.5 (GH-4643) (#4645)

bpo-31705.
(cherry picked from commit 86afc1f2a7fb3afe00779c6426bc141bc795d9a3)

[3.6] bpo-30923, bpo-31279: Fix GCC warnings (#4620)

* bpo-30923: Silence fall-through warnings in libexpat build. (#3205)

(cherry picked from commit 9e1e6f528f3fec16b9bd99f5ee38048ffec04a81)

* bpo-31279: Silence -Wstringop-overflow warning. (#3207)

(cherry picked from commit dce6502059f46a04f90938b9d832394c8215397b)

bpo-32030: Fix test_sys.test_getallocatedblocks() (#4637)

Skip the test if PYTHONMALLOC environment variable is set.

[3.6] bpo-32107 - Backport bitmask check fix (GH-4576) (#4591)

Remove a flakey test and rewrite another one for readability.

bpo-32139: test_strftime does not anymore modify the locale (GH-4569) (#4635)

(cherry picked from commit cc55e78acab93a495c974b9a2ea71c8bb9cc2f5d)

bpo-32164: Delete unused file idlelib/tabbedpages.py (GH-4628) (#4631)

(cherry picked from commit 041efd292ebff46060fc1680b0608b1d4c876a48)

bpo-30781: Remove unused imports in idlelib.configdialog. (GH-4627) (#4630)

(cherry picked from commit e8f7c78a868834bb53fa0ac903fc87785112f49e)

bpo-32100: Delete unneeded import in idlelib.pathbrowser. (GH-4626) (#4629)

(cherry picked from commit fd6f8c56b9a757210e8ceaea9edc50e502dc2085)

bpo-32110: codecs.StreamReader.read(n) now returns not more than n (GH-4499) (#4622)

characters/bytes for non-negative n.  This makes it compatible with
read() methods of other file-like objects.
(cherry picked from commit 219c2de5ad0fdac825298bed1bb251f16956c04a)

bpo-32155: Bugfixes found by flake8 F841 warnings (#4619)

* turtledemo: wait until macOS osascript command completes to not
  create a zombie process
* Tools/scripts/treesync.py: declare 'default_answer' and
  'create_files' as globals to modify them with the command line
  arguments. Previously, -y, -n, -f and -a options had no effect.

flake8 warning: "F841 local variable 'p' is assigned to but never
used".

Use raw strings in the re module examples. (GH-4616) (#4617)

(cherry picked from commit c615be5166ed338c052fa67fe781b9bfe0dfb78c)

bpo-31440: Changed default module search path for windows (#4613)

(cherry picked from commit 08d2b86a1058b733bb7f1ae2b55818dd9687d21c)

asyncio: Fix BaseSelectorEventLoopTests (GH-4595) (#4599)

Currently, two tests fail with PYTHONASYNCIODEBUG=1 (or using -X
dev).
(cherry picked from commit 92f9339a58a613a56683510499509d1b702921a8)