Minor wording tweak for itertools documentation (GH-4893) (#4894)

(cherry picked from commit 6693d7af6670f8bda331e0b63bb77fce2e3efe9c)

F-strings docs: link to Format Specifiers (GH-4888) (GH-4889)

Link to the Format Specification Mini Language section from f-strings' documentation.
(cherry picked from commit d924fa523df766dbf2f8b6a28ae502eb3433bfe5)

bpo-32294: Fix multiprocessing test_semaphore_tracker() (GH-4885) (#4887)

Run the child process with -E option to ignore the PYTHONWARNINGS
environment variable.
(cherry picked from commit 9402c8367bf6ada1b84f620ad957750c33adbaf9)

compile.c: Remove unused varible (#4886)

Fix a compiler warning.

bpo-28393: Update encoding lookup docs wrt bpo-27938 (GH-4871) (#4881)

(cherry picked from commit 297fd876aad8ef443d8992618de22c46dbda258b)

[3.6] bpo-30416: Protect the optimizer during constant folding. (#4865)

It no longer spends much time doing complex calculations and no
longer consumes much memory for creating large constants that will
be dropped later.

This fixes also bpo-21074.

[3.6] bpo-27169: The __debug__ constant is now optimized out at compile time. (GH-4880) (#4882)

This fixes also bpo-22091..
(cherry picked from commit 3325a6780c81f1ea51190370b5454879c4862a37)

bpo-32329: Fix sys.flags.hash_randomization (#4875)

sys.flags.hash_randomization is now properly set to 0 when hash
randomization is turned off by PYTHONHASHSEED=0.

bpo-32277: Fix exception raised from chmod(..., follow_symlinks=False) (GH-4797) (#4869)

(cherry picked from commit 233ef249cc5c18d796fb581747179c5e062b4083)

pythoninfo: sync with master (#4844)

[3.6] bpo-32297: Fix misspellings in Python source code comments (GH-4803) (#4864)

* [3.6] bpo-32297: Few misspellings found in Python source code comments. (GH-4803)

* Fix multiple typos in code comments

* Add spacing in comments (test_logging.py, test_math.py)

* Fix spaces at the beginning of comments in test_logging.py.

(cherry picked from commit 53f7a7c2814fbfd8a29200926601a32fa48bacb3)

bpo-32302: Fix distutils bdist_wininst for CRT v142 (GH-4851) (#4861)

CRT v142 is binary compatible with CRT v140.
(cherry picked from commit 9e7c136ad8bc8e8eec50c2a8ae5ff02752f695a2)

bpo-32316: Travis CI: use PYTHON_FOR_REGEN=python3 (#4853)

"make regen-all" requires a working python3.6 or python3. Without
"python: 3.6", Travis CI provides a "python3.6" script which ony
write an error.

Use "python3" instead.

trivial: link updates in documentation (GH-2765) (#4835)

(cherry picked from commit 4f29f3c84b74de8c208980a14bc56bffa6363121)

[3.6] Test atexit shutdown mechanism in a subprocess (GH-4828) (#4829)

* Test atexit shutdown mechanism in a subprocess.
(cherry picked from commit fc5db95e0063eafa2bfb7f487fcaad5a7c4b65a1)

bpo-32284: Fix documentation of BinaryIO and TextIO (GH-4832) (#4833)

(cherry picked from commit c3e070f84931c847d1b35e7fb36aa71edd6215f6)

Fix improper use of re.escape() in tests. (GH-4814) (#4816)

(cherry picked from commit b748e3b2586e44bfc7011b601bce9cc6d16d89f1)

Fix implementation dependent assertion in test_plistlib. (GH-4813) (#4815)

It is failed with an advanced optimizer.
(cherry picked from commit 0e069a1597ce6791a5f0da8329da2c446766c80e)

bpo-31942: Document optional support of start and stop attributes in Sequence.index method (GH-4277) (#4811)

(cherry picked from commit 5ce0a2a100909104836f53a2c8823006ec46f8ad)

bpo-32255: Always quote a single empty field when write into a CSV file. (GH-4769) (#4810)

This allows to distinguish an empty row from a row consisting of a single empty field.
(cherry picked from commit 2001900b0c02a397d8cf1d776a7cc7fcb2a463e3)

Fix idlelib comment typos reported by Mike on pull request 4803. (GH-4807) (#4809)

(cherry picked from commit e570211406f9bfbe16eff8d10e614d90497e08df)

bpo-22671: Clarify and test default read method implementations (GH-4568) (#4796)

Original patch written by Martin Panter, enhanced by Sanyam Khurana.
(cherry picked from commit 1b74f9b77a6fa1d7828986cb79d5b10942ff9141)

bpo-32252: Fix faulthandler_suppress_crash_report() (GH-4794) (#4795)

Fix faulthandler_suppress_crash_report() used to prevent core dump files
when testing crashes. getrlimit() returns zero on success.
(cherry picked from commit 48d4dd974f0c8d47c54990eedd322b96b19c60ec)

Removed doubled 'bpo-'. (GH-4777) (#4780)

(cherry picked from commit f658641a05651e0eb717bb40e2c85dca3470369d)

bpo-32212: Updated logging documentation to make parameter names more consistent with source. (GH-4765) (GH-4767)

(cherry picked from commit a9f8df646aac7fc94ced0aefd1ed2c8566d14d10)

bpo-32208: update threading.Semaphore docs and add unit test (GH-4709) (#4750)

* fix issue32208: update threading.Semaphore docs and add unit test to validate correct behavior

* add test for blocking

* Update threading.rst

* semaphore: remove documentation validation tests and move 'return value' test to BaseSemaphore
(cherry picked from commit a0374dd34aa25f0895195d388b5ceff43b121b00)

bpo-32199:  The getnode() ip getter now uses 'ip link' instead of 'ip link list' (GH-4696) (#4747)

(cherry picked from commit 961dbe0548e26394b7716d41423c61b1e2e58ef7)

Allows non-critical upload steps to fail (GH-4742) (#4743)

(cherry picked from commit 9ab11b3a029fba36c1a7e869be87fb4f31ebcf24)

Bump to 3.6.4rc1+

Merge tag 'v3.6.4rc1' into 3.6

bpo-30928: update idlelib/NEWS.txt. (GH-4706) (#4707)

(cherry picked from commit 2c0c68d927bfa557f98bac26644f5b64c4b135a7)

Bump to 3.6.4rc1

Update NEWS and pydoc topics.

Tidy NEWS entry.

Add a missing space in tkinter documentation. (GH-4692) (GH-4722)

(cherry picked from commit ae342cf7deebdcf2035f4064609b32b2102dadcf)

[3.6] bpo-31380: Skip test_httpservers test_undecodable_file on macOS. (GH-4720) (#4721)

The undecodable file name cannot be created on macOS APFS file systems.
(cherry picked from commit b3edde8dd44c878e9f039a2165d00ff075157d4b)

bpo-28791: Update Windows builds to use SQLite 3.21.0. (GH-4246). (GH-4717)

(cherry picked from commit 31af650ee25f65794b75d4dfefed6fe4758781c1)

[3.6] bpo-31392: Update macOS installer to use OpenSSL 1.0.2m (GH-4715) (#4716)

(cherry picked from commit 24e046987b8e34bb4f1f3fd9bd31f1d605e347dc)

[bpo-28556] Minor fixes for typing module (GH-4710) (#4713)

(cherry picked from commit 29bc19321018ec6e58f9f4da9c18c42e9a9c580e)

[3.6] bpo-28791: Update macOS installer to use SQLite 3.21.0. (#4245) (#4711)

bpo-32207: Improve tk event exception tracebacks in IDLE. (GH-4703) (#4705)

When tk event handling is driven by IDLE's run loop, a confusing
and distracting queue.EMPTY traceback context is no longer added
to tk event exception tracebacks.  The traceback is now the same
as when event handling is driven by user code.  Patch based on
a suggestion by Serhiy Storchaka.
(cherry picked from commit 1e2fcac4972530aa2c963d7e4011021df5ba866e)

bpo-30928: Update idlelib/NEWS.txt to 2017 Dec 3. (GH-4701) (#4702)

Patches are in 3.7.0a3 even if this update is not.
(cherry picked from commit 21255fc3932a60c064f85c0fe68f2840f390ebe4)

bpo-27240 Rewrite the email header folding algorithm. (GH-3488) (#4693)

The original algorithm tried to delegate the folding to the tokens so
that those tokens whose folding rules differed could specify the
differences.  However, this resulted in a lot of duplicated code because
most of the rules were the same.

The new algorithm moves all folding logic into a set of functions
external to the token classes, but puts the information about which
tokens can be folded in which ways on the tokens...with the exception of
mime-parameters, which are a special case (which was not even
implemented in the old folder).

This algorithm can still probably be improved and hopefully simplified
somewhat.

Note that some of the test expectations are changed.  I believe the
changes are toward more desirable and consistent behavior: in general
when (re) folding a line the canonical version of the tokens is
generated, rather than preserving errors or extra whitespace.
(cherry picked from commit 85d5c18c9d83a1d54eecc4c2ad4dce63194107c6)

bpo-31619: Fixed integer overflow in converting huge strings to int. (GH-3884) (#4690)

(cherry picked from commit 29ba688034fc4eef0693b86002cf7bee55d692af)

[3.6] bpo-32176: Set CO_NOFREE in the code object constructor (GH-4684)

Previously, CO_NOFREE was set in the compiler, which meant
it could end up being set incorrectly when code objects
were created directly. Setting it in the constructor based
on freevars and cellvars ensures it is always accurate,
regardless of how the code object is defined.

(cherry picked from commit 078f1814f1a4413a2a0fdb8cf4490ee0fc98ef34)

[3.6] bpo-31589 : Build PDF using xelatex for better UTF8 support. (GH-3940) (#4683)

Also addresses doc build failures documented in bpo-32200.
(cherry picked from commit 7324b5ce8e7c031a0a3832a6a8d7c639111ae0ff)

Don't hide unexpected errors in PyErr_WarnExplicitObject(). (GH-4585) (#4662)

(cherry picked from commit a561862048555d555fa4850eaf832ae5474c7e1f)

bpo-32186: Release the GIL during lseek and fstat (GH-4652) (#4661)

In _io_FileIO_readall_impl(), lseek() and _Py_fstat_noraise() were called
without releasing the GIL. This can cause all threads to hang for
unlimited time when calling FileIO.read() and the NFS server is not
accessible.
(cherry picked from commit 6a89481680b921e7b317c29877bdda9a6031e5ad)

bpo-20891: Fix PyGILState_Ensure() (#4650) (#4655)

When PyGILState_Ensure() is called in a non-Python thread before
PyEval_InitThreads(), only call PyEval_InitThreads() after calling
PyThreadState_New() to fix a crash.

Add an unit test in test_embed.

Enhance also embedded tests, backport from master:

* Add test_pre_initialization_api()
* Set PYTHONIOENCODING environment variable in
  test_forced_io_encoding()

(cherry picked from commit b4d1e1f7c1af6ae33f0e371576c8bcafedb099db)

[3.6] make tags: index also Modules/_ctypes/ (#4648) (#4659)

* `make tags` fixes (GH-717)

* Fix `make tags` warnings

`make tags` target tries to find C sources and headers in "Grammar" and
"Mac" folders and generates these warnings:

    ctags: Warning: cannot open source file "Grammar/*.[ch]" : No such file or directory
    ctags: Warning: cannot open source file "Mac/*.[ch]" : No such file or directory

This commit changes $SRCDIRS variable in configure.ac to remote these
directories. This variable is used only for tags generation.

Also, "configure" was regenerated with `autoreconf`.

* Fix `make tags` fail on non-default tag names

When ctags overrides default tags filename (e.g. `-f .tags`) `make tags`
is failed because it assumes to see default `tags` filename:

    sort: cannot read: tags: No such file or directory

This commit explicitly specifies "tags" filename for tags generation.

(cherry picked from commit 8a543c0bc7347d5b333f334d157bf4a7cd33c14a)

* make tags: index also Modules/_ctypes/ (#4648)

Avoid also "cd $(srcdir)" to not change the current directory.

(cherry picked from commit 3be3b97a9709d3cd5303175ddbffa7dcca57ac3e)

bpo-32072: Fix issues with binary plists. (GH-4455) (#4654)

* Fixed saving bytearrays.
* Identical objects will be saved only once.
* Equal references will be load as identical objects.
* Added support for saving and loading recursive data structures.
(cherry picked from commit a897aeeef647259a938a36cb5eb6680c86021c6a)

bpo-28416: Break reference cycles in Pickler and Unpickler subclasses (GH-4080) (#4653)

with the persistent_id() and persistent_load() methods.
(cherry picked from commit 986375ebde0dd5ff2b7349e445a06bd28a3a8ee2)

Skip test_socket.test_sha256() on linux < 4.5 (GH-4643) (#4645)

bpo-31705.
(cherry picked from commit 86afc1f2a7fb3afe00779c6426bc141bc795d9a3)

[3.6] bpo-30923, bpo-31279: Fix GCC warnings (#4620)

* bpo-30923: Silence fall-through warnings in libexpat build. (#3205)

(cherry picked from commit 9e1e6f528f3fec16b9bd99f5ee38048ffec04a81)

* bpo-31279: Silence -Wstringop-overflow warning. (#3207)

(cherry picked from commit dce6502059f46a04f90938b9d832394c8215397b)

bpo-32030: Fix test_sys.test_getallocatedblocks() (#4637)

Skip the test if PYTHONMALLOC environment variable is set.

[3.6] bpo-32107 - Backport bitmask check fix (GH-4576) (#4591)

Remove a flakey test and rewrite another one for readability.

bpo-32139: test_strftime does not anymore modify the locale (GH-4569) (#4635)

(cherry picked from commit cc55e78acab93a495c974b9a2ea71c8bb9cc2f5d)

bpo-32164: Delete unused file idlelib/tabbedpages.py (GH-4628) (#4631)

(cherry picked from commit 041efd292ebff46060fc1680b0608b1d4c876a48)

bpo-30781: Remove unused imports in idlelib.configdialog. (GH-4627) (#4630)

(cherry picked from commit e8f7c78a868834bb53fa0ac903fc87785112f49e)

bpo-32100: Delete unneeded import in idlelib.pathbrowser. (GH-4626) (#4629)

(cherry picked from commit fd6f8c56b9a757210e8ceaea9edc50e502dc2085)

bpo-32110: codecs.StreamReader.read(n) now returns not more than n (GH-4499) (#4622)

characters/bytes for non-negative n.  This makes it compatible with
read() methods of other file-like objects.
(cherry picked from commit 219c2de5ad0fdac825298bed1bb251f16956c04a)

bpo-32155: Bugfixes found by flake8 F841 warnings (#4619)

* turtledemo: wait until macOS osascript command completes to not
  create a zombie process
* Tools/scripts/treesync.py: declare 'default_answer' and
  'create_files' as globals to modify them with the command line
  arguments. Previously, -y, -n, -f and -a options had no effect.

flake8 warning: "F841 local variable 'p' is assigned to but never
used".

Use raw strings in the re module examples. (GH-4616) (#4617)

(cherry picked from commit c615be5166ed338c052fa67fe781b9bfe0dfb78c)

bpo-31440: Changed default module search path for windows (#4613)

(cherry picked from commit 08d2b86a1058b733bb7f1ae2b55818dd9687d21c)

asyncio: Fix BaseSelectorEventLoopTests (GH-4595) (#4599)

Currently, two tests fail with PYTHONASYNCIODEBUG=1 (or using -X
dev).
(cherry picked from commit 92f9339a58a613a56683510499509d1b702921a8)

asyncio: Remove unused Future._tb_logger attribute (GH-4596) (#4598)

It was only used on Python 3.3, now only Future._log_traceback is
used.
(cherry picked from commit c16bacec3c2f08a74e4dc282f7d84f17ec70d0d5)

pythoninfo: add Py_DEBUG (#4198) (#4580)

(cherry picked from commit afd055a59fe0291881fc2459215ce106e424da51)

bpo-32051: Fix name shadowing in multiprocessing docs (GH-4469)

(cherry picked from commit c172fc5031a4035986bef0b2fcef906706d7abf3)

bpo-29879: Update typing documentation. (GH-4573) (GH-4574)

- Add "version added: 3.5.2" note where it was missing.
- Remove the mention that Reversible is new in 3.5.2
(cherry picked from commit 0cd2e81bea639828d7c9a7afc61fb1da9699492c)

bpo-32059: setup.py now also searches the sysroot paths (GH-4452) (#4562)

detect_modules() in setup.py now also searches the sysroot paths when
cross-compiling.
(cherry picked from commit 77f5139954a878b856b0ac4c76486b27b6f4ec26)

[Doc] Update opcode for var-positional arguments (GH-4446) (#4457)

`BUILD_MAP_UNPACK_WITH_CALL` was duplicated as the opcode for both var-positional and var-keyword arguments. The opcode for the former was updated as `BUILD_TUPLE_UNPACK_WITH_CALL`.
(cherry picked from commit 0c71653cb8231f176d02140fdef3706de2e93b9f)

Improve Scheduler Objects documentation. (GH-4556) (GH-4557)

Mention that the lower the priority number, the higher priority it represents.
(cherry picked from commit 9d5ec808de2c1359f434cc2fa8378458e4339c96)

bpo-30004: Fix the code example of using group in Regex Howto Docs (GH-4443) (GH-4554)

The provided code example was supposed to find repeated words, however it returned false results.
(cherry picked from commit 610e5afdcbe3eca906ef32f4e0364e20e1b1ad23)

bpo-32128: Skip test_nntplib.test_article_head_body() (GH-4552) (#4553)

The NNTP server currently has troubles with SSL, whereas we don't
have the control on this server. This test blocks all CIs, so disable
it until a fix can be found.
(cherry picked from commit 706cb3162e15271ecfeba15909ed48a3a437009f)

Asyncion-Dev docs: Fix the reference to sys.excepthook (GH-4414) (GH-4549)

(cherry picked from commit f8802d80b32dbc64f9e0e72270695d24ac50e246)

Improve the String tutorial docs (GH-4541) (GH-4545)

The paragraph that contains example of string literal concatenation was placed
after the section about concatenation using the '+' sign.
Moved the paragraph to the appropriate section.
(cherry picked from commit 78a5722ae950b80a4b3d13377957f3932195aef3)

[3.6] bpo-12239: Make GetProperty() return None for VT_EMPTY (GH-4539)

The previous behavior was to raise an exception

    NotImplementedError: result of type 0

when the value of the property is VT_EMPTY.

(cherry picked from commit 19fb134185ce155bc53f517116fca73093ba55e9)

bpo-12382: Make OpenDatabase() raise better exception messages (GH-4528)

Previously, 'msilib.OpenDatabase()' function raised a
cryptical exception message when it couldn't open or
create an MSI file. For example:

    Traceback (most recent call last):
      File "<stdin>", line 1, in <module>
    _msi.MSIError: unknown error 6e

(cherry picked from commit 4864a619dc1cc9092780ccf5a6327e8abf66133d)

Extending Python Doc minor updates  (GH-4518) (GH-4535)

Move footnote markers to be closer to the related terminology:
before the end of the sentence, instead of after.
(cherry picked from commit cdfe910e746e1d0fc43429b8cc3384a65a19b358)

bpo-31325: Fix usage of namedtuple in RobotFileParser.parse() (GH-4529) (#4533)

(cherry picked from commit 3df02dbc8e197053105f9dffeae40b04ec66766e)

bpo-30456: Clarify example for duplicates in second argument of isinstance (GH-1699)

(cherry picked from commit 26248ef58dcf49619930ffa2e050ffa687a88601)

[3.6] bpo-31324: Optimize support._match_test() (#4523)

* bpo-31324: Optimize support._match_test() (#4421)

* Rename support._match_test() to support.match_test(): make it
  public
* Remove support.match_tests global variable. It is replaced with a
  new support.set_match_tests() function, so match_test() doesn't
  have to check each time if patterns were modified.
* Rewrite match_test(): use different code paths depending on the
  kind of patterns for best performances.

Co-Authored-By: Serhiy Storchaka <storchaka@gmail.com>
(cherry picked from commit 803ddd8ce22f0de3ab42fb98a225a704c000ef06)

* bpo-31324: Fix test.support.set_match_tests(None) (#4505)

(cherry picked from commit bb11c3c967afaf263e00844d4ab461b7fafd6d36)

bpo-1102: View.Fetch() now returns None when it's exhausted (GH-4459)

(cherry picked from commit bdb8315c21825487b54852ff0511fb4881ea2181)

[3.6] bpo-32100: IDLE: Fix pathbrowser errors; improve tests. (GH-4484) (#4512)

Patch mostly by Cheryl Sabella.
(cherry picked from commit 20d48a44a54ed5e4a6df00e89ae27e3983128265)

bpo-32105: add asyncio.BaseEventLoop.connect_accepted_socket versionadded to documentation. (GH-4491) (#4493)

(cherry picked from commit 431665bf1971e66c51f59abf0693f700ff7919e8)

Add comment and improve variable name in roundrobin() (GH-4486) (#4487)

(cherry picked from commit 337cbbace0a43f50fcd33ea4d3b7cb30733237db)

bpo-32050: Fix -x option documentation (GH-4475) (#4477)

The line number in correct when using the -x option: Py_Main() uses
ungetc() to not skip the first newline character.
(cherry picked from commit c5a2071586f735d2a61d1756e7011cfbb6ce86c9)

bpo-30904: Removed duplicated Host: header. (GH-4465) (#4468)

(cherry picked from commit e96ba183c43ad6633b5d014b3dc57433e2802faf)

bpo-30989: Sort in TimedRotatingFileHandler only when needed. (GH-2812) (GH-4466)

TimedRotatingFileHandler.getFilesToDelete() now sorts only when needed.
(cherry picked from commit afad147b59fe84b12317f7340ddd2deeecb22321)

Remove outdated .pyo reference from msilib docs (GH-4461)

Since f299abdafa0f2b6eb7abae274861b19b361c96bc
the remove_pyc() method no longer tries to
remove .pyo files.
(cherry picked from commit b56becb373f01c7e285f028bde640f0864d0240e)

Document parameters of BaseServer.finish_request() (GH-4445)

(cherry picked from commit 7750bded92d908cbc422c57b97214f8eec615b0d)

bpo-31691: Specify where to find installer build instructions for Windows (#4427)

bpo-31691: Specify where to find build instructions for the Windows installer (GH-4426) (#4431)

(cherry picked from commit fd0fa67464f75cebca67cd14d050476a0c73bd53)

Fix typo in atexit documentation. (GH-4419) (GH-4425)

`kargs` -> `kwargs`
(cherry picked from commit d505a29a15a6f9315d8c46445b8a0cccfc2048b8)

bpo-31701: faulthandler: ignore MSC and COM Windows exception (#3929) (#4416)

(cherry picked from commit 6e3d6b5dc22cd06d8c4d44a38a8a3415e4bebb16)

bpo-32034: Make IncompleteReadError & LimitOverrunError pickleable GH-4409 (#4411)

(cherry picked from commit 43605e6bfa8d49612df4a38460d063d6ba781906)

bpo-32011: Revert "Issue GH-15480: Remove the deprecated and unused TYPE_INT64 code from marshal." (GH-4381) (#4405)

Simplify the reverted code.

This reverts commit e9bbe8b87ba2874efba0474af5cc7d5941dbf742.
(cherry picked from commit 00987f6230fcdbecc8d9ab4b2b9fae8f99a1a4a9)

[3.6] bpo-31949: Fixed several issues in printing tracebacks (PyTraceBack_Print()). (GH-4289) (#4406)

* Setting sys.tracebacklimit to 0 or less now suppresses printing tracebacks.
* Setting sys.tracebacklimit to None now causes using the default limit.
* Setting sys.tracebacklimit to an integer larger than LONG_MAX now means using
  the limit LONG_MAX rather than the default limit.
* Fixed integer overflows in the case of more than 2**31 traceback items on
  Windows.
* Fixed output errors handling..
(cherry picked from commit edad8eebeee3c99e324a7f1ac5073167c2b0b54d)

bpo-32032: Test both implementations of module-level pickle API. (GH-4401) (#4403)

(cherry picked from commit 6545256df93ba54f811206107274cfa5a6d76b86)

bpo-31948: Fix broken links in msilib docs (GH-4397). (GH-4398)

(cherry picked from commit 3bda02222aa3783bf85fc3ff8bc042aefd9c4fd3)