bpo-18802: Add more details to ipaddress documentation (GH-6083)

Original patch by Jon Foster and Berker Peksag.
(cherry picked from commit 5609b78392d59c7362ef8aa5c4a4529325f01f27)

Co-authored-by: Cheryl Sabella <cheryl.sabella@gmail.com>

bpo-28247: Document Windows executable creation in zipapp (GH-6158)

(cherry picked from commit 4be79f29463f632cd8b48486feadc2ed308fb520)

Co-authored-by: Cheryl Sabella <cheryl.sabella@gmail.com>

[3.6] bpo-33021: Release the GIL during fstat() calls (GH-6019) (GH-6160)

fstat may block for long time if the file descriptor is on a
non-responsive NFS server, hanging all threads. Most fstat() calls are
handled by _Py_fstat(), releasing the GIL internally, but but
_Py_fstat_noraise() does not release the GIL, and most calls release the
GIL explicitly around it.

This patch fixes last 2 calls to _Py_fstat_no_raise(), avoiding hangs
when calling:
- mmap.mmap()
- os.urandom()
- random.seed()
(cherry picked from commit 4484f9dca9149da135bbae035f10a50d20d1cbbb)

Co-authored-by: Nir Soffer <nirsof@gmail.com>

bpo-19417: Add test_bdb.py (GH-5217)

(cherry picked from commit 3fe33043ee83d19e15551094fc1e0984617ded3c)

[3.6] bpo-33041: Add tests for jumps in/out of 'async with' blocks. (GH-6110). (GH-6141)

(cherry picked from commit bc300ce205f99acb1ef92c37de06dc76147e073b)

Update pip to 9.0.2 and setuptools to 38.6.1 (GH-6133) (#6136)

(cherry picked from commit 7f81bb2addbbccfa45a2fc1aa6030f26dcf4bd78)

Co-authored-by: Donald Stufft <donald@stufft.io>

bpo-32374:  m_traverse may be called with m_state=NULL (GH-5140)

Multi-phase initialized modules allow m_traverse to be called while the
module is still being initialized, so module authors may need to account
for that.
(cherry picked from commit c2b0b12d1a137ada1023ab7c10b8d9a0249d95f9)

Co-authored-by: Marcel Plch <gmarcel.plch@gmail.com>

[3.6] bpo-32885: Tools/scripts/pathfix.py: Add -n option for no backup~ (GH-5772) (#6104)

Creating backup files with ~ suffix can be undesirable in some environment,
such as when building RPM packages. Instead of requiring the user to remove
those files manually, option -n was added, that simply disables this feature.

-n was selected because 2to3 has the same option with this behavior.
(cherry picked from commit 5affd5c29eb1493cb31ef3cfdde15538ac134689)

Co-authored-by: Miro Hrončok <miro@hroncok.cz>

bpo-30622: Fix backport of NPN fix (#6102)

Fix backport a79591cf of bpo-30622 to 3.6 branch.

Signed-off-by: Christian Heimes <christian@python.org>

on to 3.6.6

Merge tag 'v3.6.5rc1' into 3.6

3.6.5rc1

bpo-32726: macOS installer changes for 3.6.5

Backport the new 10.9+ installer variant from 3.7.  This variant features
more modern options; like 64-bit only (Apple is deprecating 32-bit support
in future macOS releases); a built-in version of Tcl/Tk 8.6.8; built with
clang rather than gcc-4.2.  For 3.6.5, the 10.9+ variant will be offered
as an additional alternative to the traditional 10.6+ variant in earlier
3.6.x releases.  Binary extension modules (including wheels) built for
earlier versions of 3.6.x with the 10.6 variant should continue to work
with either 3.6.5 variant without recompilation.

In addition, both installer variants have updated 3rd-party libraries:
OpenSSL 1.0.2m -> 1.0.2n
XZ 5.2.2 -> 5.2.3
SQLite 3.21.0 -> 3.22.0

Also the 10.6 variant now sets CC=gcc instead of CC=gcc-4.2 and does not
search for the outdated 10.6 SDK.  The variant is built with the same
compiler as before.  As before, for extension module builds, the CC can
be overridden with the CC env variable and an SDK can be specified
with the SDKROOT env variable (see man xcrun).  These minor changes
should be transparent to nearly all users.

lib2to3: Add more tests (GH-6101) (#6109)

(cherry picked from commit 74f56878cdee18d485e4f8b485d55ce62e38f4c9)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

[3.7] bpo-17288: Prevent jumps from 'return' and 'exception' trace events. (GH-5928)

(cherry picked from commit e32bbaf376a09c149fa7c7f2919d7c9ce4e2a055)

Co-authored-by: xdegaye <xdegaye@gmail.com>

bpo-33064: lib2to3: support trailing comma after *args and **kwargs (GH-6096) (#6098)

New tests also added.

I also made the comments in line with the builtin Grammar/Grammar. PEP 306 was
withdrawn, Kees Blom's railroad program has been lost to the sands of time for
at least 16 years now (I found a python-dev post from people looking for it).
(cherry picked from commit b51f5de71163f096d2d5229ede5379cdb284f651)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

[3.6] bpo-31804: Fix multiprocessing.Process with broken standard streams (GH-6079) (GH-6081)

In some conditions the standard streams will be None or closed in the child process (for example if using "pythonw" instead of "python" on Windows).  Avoid failing with a non-0 exit code in those conditions.

Report and initial patch by poxthegreat..
(cherry picked from commit e756f66c83786ee82f5f7d45931ae50a6931dd7f)

[3.6] bpo-33026: Fix jumping out of "with" block by setting f_lineno. (GH-6026). (GH-6074) (GH-6075)

(cherry picked from commit 26c9f565d016db21257a60d29ab2c99383dd5ac7)
(cherry picked from commit 04aadf23eac51fec2e436c5960c1362bbb7d03de)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

bpo-33045: Fix typos in SSL documentation (GH-6065)

(cherry picked from commit 9cf8c42f3231d3f066670d087a997bd1278482a0)

Co-authored-by: Matt Eaton <agnosticdev@gmail.com>

[3.7] bpo-33041: Add missed error checks when compile "async for" (GH-6053) (GH-6060)

and remove redundant code.
(cherry picked from commit 67ee07795bcd84b679c000780212d4d81a1490a3)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
(cherry picked from commit 9e94c0d3c78d1bc582c865240ed9353fe9689b2a)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

[3.6] bpo-33037: Skip sending/receiving after SSL transport closing (GH-6044) (GH-6058)

* Skip write()/data_received() if sslpipe is destroyed.
(cherry picked from commit 5e80a71ab67045fecec46573a1892e240b569ace)

bpo-26701: Improve documentation for the rounding special methods. (GH-6054)

(cherry picked from commit 496431ffb6c29719332bf2af773349e8dd85e45a)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

bpo-26701: Add documentation for __trunc__ (GH-6050)

`int` fails back to `__trunc__` is `__int__` isn't defined, so cover
that in the docs.
(cherry picked from commit 308eab979d153f1ab934383dc08bc4546ced8b6c)

Co-authored-by: Eric Appelt <eric.appelt@gmail.com>

Warn that compile() can crash when compiling to an AST object (GH-6043) (GH-6046)

(cherry picked from commit f7a6ff6fcab32a53f262ba3f8a072c27afc330d7)

Co-authored-by: Brett Cannon <brettcannon@users.noreply.github.com>

bpo-32758: Warn that ast.parse() and ast.literal_eval() can segfault the interpreter (GH-5960) (GH-6042)

(cherry picked from commit 7a7f100eb352d08938ee0f5ba59c18f56dc4a7b5)

Co-authored-by: Brett Cannon <brettcannon@users.noreply.github.com>

controlflow: Use full example for "5 through 9" (GH-5907)

Replace example result of "5 through 9" with complete list: "5, 6, 7, 8, 9".
This format is more consistent with the surrounding examples.
(cherry picked from commit 83d7062d2dc5eacfef578e072bca4747c346fdae)

Co-authored-by: Steven M. Vascellaro <S.Vascellaro@gmail.com>

bpo-32517: fix test_read_pty_output() hangs on macOS 10.13.2+ (GH-6037)

test_asyncio hangs indefinitely on macOS 10.13.2+ on `read_pty_output()`
using the KqueueSelector. Closing `proto.transport` (as is done in
`write_pty_output()`) seems to fix it.

bpo-33016: Fix potential use of uninitialized memory in nt._getfinalpathname (GH-6032)

[3.6] bpo-30353: Fix pass by value for structs on 64-bit Cygwin/MinGW (GH-1559) (GH-5954)

(cherry picked from commit 9ba3aa4d02a110d1a1ea464a8aff3be7dd9c63c3)

Co-authored-by: Erik Bray <erik.m.bray@gmail.com>

Fix some ipaddress documentation errors (GH-6021)

* fix a typo: documention -> documentation
* fix the type of IPv?Network.hostmask
* add documentation about IPv?Network.netmask
* fix IPv6Network constructor doc that extended netmasks are not supported
(cherry picked from commit e405096ea91f516d411095b6fea4eec9668eac88)

Co-authored-by: Xiang Zhang <angwerzx@126.com>

bpo-32969: Expose some missing constants in zlib and fix the doc (GH-5988)

(cherry picked from commit bc3f2289b9007396bfb7f986bee477b6176c1822)

Co-authored-by: Xiang Zhang <angwerzx@126.com>

bpo-33009: Fix inspect.signature() for single-parameter partialmethods. (GH-6004)

(cherry picked from commit 8a387219bdfb6ee34928d6168ac42ca559f11c9a)

Co-authored-by: Yury Selivanov <yury@magic.io>

[3.6] bpo-33001: Prevent buffer overrun in os.symlink (GH-5989) (GH-5990)

bpo-32984: IDLE - set __file__ for startup files (GH-5981)

Like Python, IDLE optionally runs one startup file in the Shell window
before presenting the first interactive input prompt.  For IDLE,
option -s runs a file named in environmental variable IDLESTARTUP or
PYTHONSTARTUP; -r file runs file.  Python sets __file__ to the startup
file name before running the file and unsets it before the first
prompt.  IDLE now does the same when run normally, without the -n
option.
(cherry picked from commit 22c82be5df70c3d51e3f89b54fe1d4fb84728c1e)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-32857: Raise error when tkinter after_cancel() is called with None. (GH-5701)

(cherry picked from commit 74382a3f175ac285cc924a73fd758e8dc3cc41bb)

Co-authored-by: Cheryl Sabella <cheryl.sabella@gmail.com>

[3.6] bpo-32981: Fix catastrophic backtracking vulns (GH-5955)

* Prevent low-grade poplib REDOS (CVE-2018-1060)

The regex to test a mail server's timestamp is susceptible to
catastrophic backtracking on long evil responses from the server.

Happily, the maximum length of malicious inputs is 2K thanks
to a limit introduced in the fix for CVE-2013-1752.

A 2KB evil response from the mail server would result in small slowdowns
(milliseconds vs. microseconds) accumulated over many apop calls.
This is a potential DOS vector via accumulated slowdowns.

Replace it with a similar non-vulnerable regex.

The new regex is RFC compliant.
The old regex was non-compliant in edge cases.

* Prevent difflib REDOS (CVE-2018-1061)

The default regex for IS_LINE_JUNK is susceptible to
catastrophic backtracking.
This is a potential DOS vector.

Replace it with an equivalent non-vulnerable regex.

Also introduce unit and REDOS tests for difflib.

Co-authored-by: Tim Peters <tim.peters@gmail.com>
Co-authored-by: Christian Heimes <christian@python.org>.
(cherry picked from commit 0e6c8ee2358a2e23117501826c008842acb835ac)

Fix missing coroutine declaration in the asyncio documentation. (GH-5964)

(cherry picked from commit 13cfd57dcf58485d6242fd8118c6ea4b10e29aab)

Co-authored-by: Joongi Kim <me@daybreaker.info>

[3.6] bpo-32964: Reuse a testing implementation of the path protocol in tests. (GH-5930). (GH-5958)

(cherry picked from commit b21d155f57d284aecf9092a9bd24258293965c2f)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

bpo-32903: Fix a memory leak in os.chdir() on Windows (GH-5801) (#5946)

(cherry picked from commit 3e197c7a6740d564ad52fb7901c07d5ff49460f5)

Co-authored-by: Alexey Izbyshev <izbyshev@users.noreply.github.com>

bpo-32940: IDLE: Simplify StringTranslatePseudoMapping in pyparse (GH-5862)

The new code also runs faster.
(cherry picked from commit f0daa880a405c8de6743e44fa46006754aa145c9)

Co-authored-by: Cheryl Sabella <cheryl.sabella@gmail.com>

bpo-30928:  Update idlelib/NEWS.txt, possibly for 3.7.0b2  (GH-5932)

(cherry picked from commit 0954c9e9c8fbea452f56120df592f2061d3209c7)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

[3.6] bpo-32922: dbm.open() now encodes filename with the filesystem encoding. (GH-5832). (GH-5906)

(cherry picked from commit 6f600ff1734ca2fdcdd37a809adf8130f0d8cc4e)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

bpo-32713: Fix tarfile.itn for large/negative float values. (GH-5434)

(cherry picked from commit 72d9b2be36f091793ae7ffc5ad751f040c6e6ad3)

Co-authored-by: Joffrey F <f.joffrey@gmail.com>

bpo-32222: Fix pygettext skipping docstrings for funcs with arg typehints (GH-4745)

(cherry picked from commit eee72d4778a5513038edd5236cdd87ccce2bc60a)

Co-authored-by: Tobotimus <Tobotimus@users.noreply.github.com>

Fix _socket module compilation on Cygwin. (GH-4137) (GH-4145)

(cherry picked from commit 63ae04461fb0cc93ca57cd151103a8dd295581d6)

Revert "[3.6] bpo-32303 - Consistency fixes for namespace loaders (GH-5481) (#5504)" (#5911)

This reverts commit a71397fb6603d0fe673acd7765c74699cd28fe7b.

[3.6] bpo-32394: Remove some TCP options on older version Windows. (GH-5585)

bpo-18533: Avoid RecursionError from repr() of recursive dictview (GH-4823)

dictview_repr(): Use a Py_ReprEnter() / Py_ReprLeave() pair to check
for recursion, and produce "..." if so.

test_recursive_repr(): Check for the string rather than a
RecursionError.  (Test cannot be any tighter as contents are
implementation-dependent.)

test_deeply_nested_repr(): Add new test, replacing the original
test_recursive_repr().  It checks that a RecursionError is raised in
the case of a non-recursive but deeply nested structure.  (Very
similar to what test_repr_deep() in test/test_dict.py does for a
normal dict.)

OrderedDictTests: Add new test case, to test behavior on OrderedDict
instances containing their own values() or items().
(cherry picked from commit d7773d92bd11640a8c950d6c36a9cef1cee36f96)

bpo-31454: Include information about "import X as Y" in Modules tutorial (GH-4041)

(cherry picked from commit fbee88244e8921afdb29fde51a9a010a8ae18277)

Co-authored-by: Mario Corchero <mariocj89@gmail.com>

bpo-25059: Clarify the print separator usage in tutorial (GH-5879)

By default `print` adds spaces between its arguments.
(cherry picked from commit 84c4b0cc67ceb4b70842b78c718b6e8214874d6a)

Co-authored-by: Cheryl Sabella <cheryl.sabella@gmail.com>

Delete a broken threading.local example (GH-5870)

This code never did anything correct or useful. The class attribute will never be affected, and the condition will never be true.
(cherry picked from commit 5fb632e83136399bad9427ee23ec8b771695290a)

Co-authored-by: Aaron Gallagher <habnabit@users.noreply.github.com>

[3.6] bpo-30622: Fix NPN for OpenSSL 1.1.1-pre1 (GH-5876) (#5881)

Signed-off-by: Christian Heimes <christian@python.org>.
(cherry picked from commit 29eab55309b9f78b79074d26db16a44e7841c639)

Co-authored-by: Christian Heimes <christian@python.org>

[3.6] bpo-32647: Link ctypes extension with libdl. (GH-5550) (#5875)

The ctypes module used to depend on indirect linking for dlopen. The shared
extension is now explicitly linked against libdl on platforms with dl.

Signed-off-by: Christian Heimes <christian@python.org>
(cherry picked from commit 5bb9692575f10f4a7c7f1c2c0c70956baf6d5c23)

Co-authored-by: Christian Heimes <christian@python.org>

[3.6] bpo-30622: Improve NPN support detection (GH-5859) (#5861)

The ssl module now detects missing NPN support in LibreSSL.

Co-Authored-By: Bernard Spil <brnrd@FreeBSD.org>
Signed-off-by: Christian Heimes <christian@python.org>.
(cherry picked from commit 6cdb7954b0a578d899e4b78b868ea59eef08480a)

Co-authored-by: Christian Heimes <christian@python.org>

bpo-32185: Don't send IP in SNI TLS extension (#5865)

The SSL module no longer sends IP addresses in SNI TLS extension on
platforms with OpenSSL 1.0.2+ or inet_pton.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-17232: Clarify docs for -O and -OO command line options (GH-5839)

The 'optimization' is for space in the executable file, not for run time.
(cherry picked from commit 186b606d8a2ea4fd51b7286813302c8e8c7006cc)

Co-authored-by: Cheryl Sabella <cheryl.sabella@gmail.com>

bpo-31518: Change TLS protocol for Debian (#3660)

Debian Unstable has disabled TLS 1.0 and 1.1 for SSLv23_METHOD(). Change
TLS/SSL protocol of some tests to PROTOCOL_TLS or PROTOCOL_TLSv1_2 to
make them pass on Debian.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-31966: Fixed WindowsConsoleIO.write() for writing empty data. (GH-5754)

(cherry picked from commit 42c35d9c0c8175332f50fbe034a001fe52f057b9)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

bpo-32916: IDLE: Change `str` to `code` in pyparse (GH-5830)

Adjust tests and user modules to match.
(cherry picked from commit c29c03a34a9f3c82704b66f323ce5ea9dc89c8af)

Co-authored-by: Cheryl Sabella <cheryl.sabella@gmail.com>

bpo-32923: Unittest doc: replace `whilst` with `while` (GH-5833)

`whilst` and `while` are both english words, `whilst` is not as commonly used.
This can be confusing to readers whose primary language is not english.
(cherry picked from commit 98f42aac23f3863973cb6e9964c5212cfd3a1d98)

Co-authored-by: Mariatta <Mariatta@users.noreply.github.com>

[3.6] bpo-30028: make test.support.temp_cwd() fork-safe (GH-1066) (GH-5826)

Make test.support.temp_cwd() fork-safe. The context manager test.support.temp_cwd() no longer removes the temporary directory when executing in a process other than the parent it entered from.
If a forked child exits the context manager it won't do the cleanup..
(cherry picked from commit 33dddac00ba8d9b72cf21b8698504077eb3c23ad)

Co-authored-by: Anselm Kruis <a.kruis@science-computing.de>

bpo-32087: Doc: Make "deprecated-removed"  directive translatable (GH-4473)

(cherry picked from commit 0febc053736112d7bb9081742b3ac0ece7b973e7)

Co-authored-by: cocoatomo <cocoatomo77@gmail.com>

bpo-32457: Improves handling of denormalized executable path when launching Python (GH-5756) (#5818)

bpo-30449: Improve __slots__ documentation (GH-1819)

(cherry picked from commit 2b44e302ec3079363c4d5c875677945953705c58)

Co-authored-by: Aaron Hall, MBA <aaronchall@yahoo.com>

bpo-32905: IDLE - remove unused code in pyparse module (GH-5807)

dump is similar to print but less flexible.  lastopenbracketpos is now always initialized in _study2, as was stmt_bracketing, so the class settings are not needed.  get_last_open_bracket_pos is never called.
(cherry picked from commit 451d1edaf4d27c4e632d81246d308e8dd6ea945f)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-32874: IDLE: add tests for pyparse (GH-5755)

There are no code changes other than comments and docstrings.
(cherry picked from commit c84cf6c03fce1fb73bfaf91d7909f1c2708f14a2)

Co-authored-by: Cheryl Sabella <cheryl.sabella@gmail.com>

bpo-32889: update valgrind suppressions (GH-5779)

Py_ADDRESS_IN_RANGE was renamed address_in_range in 3.6
(commit 3924f93794fd740c547b44884f73303196475cd5).
(cherry picked from commit ba518804bf4c1ea01df5e622b333d3116cbaa3bd)

Co-authored-by: Paul Price <price@astro.princeton.edu>

bpo-32008: don't use PROTOCOL_TLSv1 in example (GH-5789)

It's bad form to pin to an old version of TLS. ssl.SSLContext has the right
protocol default, so let's not pass anyway.
(cherry picked from commit e9edee0b65650c4f9db90cefc2e9a8125bad762c)

Co-authored-by: Benjamin Peterson <benjamin@python.org>

bpo-28886: doc: Move deprecated abc decorators to separate section (GH-176)

(cherry picked from commit 52c6b89796a7ec391db20281e05b256f57e97b35)

Co-authored-by: Harshul jain <harshulrobo@gmail.com>

closes bpo-32859: Don't retry dup3() if it is not available at runtime (GH-5708)

os.dup2() tests for dup3() system call availability at runtime,
but doesn't remember the result across calls, repeating
the test on each call with inheritable=False.

Since the caller of os.dup2() is expected to hold the GIL,
fix this by making the variable holding the test result static.
(cherry picked from commit b3caf388a0418f6c031e4dbdcc0c1ce7e5cc36bd)

Co-authored-by: Alexey Izbyshev <izbyshev@users.noreply.github.com>

bpo-32540: Update venv documentation (GH-5736)

If the directory already exists, it will be re-used.
(cherry picked from commit e8eb972514cad6086b752754c1d34d703c04dd82)

Co-authored-by: TROUVERIE Joachim <joachim.trouverie@linoame.fr>

bpo-31848: Fix broken error handling in Aifc_read.initfp() when the SSND chunk is not found (GH-5240)

Initialize self._ssnd_chunk so that aifc.Error is raised as intended,
not AttributeError.
(cherry picked from commit 80d20b918bd8a882043c493a7f958333ecb41727)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

bpo-32500: Correct the documentation for PySequence_Size() and PySequence_Length() (GH-5767)

Dropped the part that says: "For objects that do not provide sequence protocol".
(cherry picked from commit 7a1e1786f98ad49caa157dcdf14ada9d0b07d0fd)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

bpo-32409: Ensures activate.bat can handle Unicode contents (GH-5766)

(cherry picked from commit 6240917b773b52f8883387b9e3a5f327a4372068)

Co-authored-by: Steve Dower <steve.dower@microsoft.com>

bpo-30121: Fix test_subprocess for Windows Debug builds (GH-5758)

(cherry picked from commit 5537646bfacec463b450871dde31cb06c44a0556)

Co-authored-by: Zachary Ware <zachary.ware@gmail.com>

bpo-32682: Improve libz version parsing in test_zilb (GH-5347)

(cherry picked from commit 4c7108a77144493d0aa6fc0105b67d3797e143f5)

Co-authored-by: pmp-p <pmp-p@users.noreply.github.com>

Improve error message for "setup.py upload" without dist files (GH-21060)

(cherry picked from commit 08a6926b2584040fe3c3f06263b0b5f1fbbdc24c)

Co-authored-by: Éric Araujo <merwok@netwok.org>

bpo-31972: Improve docstrings for pathlib classes (GH-5310)

(cherry picked from commit dfa015cf77a148d229ddc0a5b063562c9f9664f2)

Co-authored-by: chason <chason@gmail.com>

[3.6] Clean up Travis config (GH-5727)

(cherry picked from commit 7eb3f8226ea7b79dae4e4e8b05730cfe0d9af7c1)

bpo-32869: Fix incorrect dst buffer size for MultiByteToWideChar (GH-5739)

This function expects the destination buffer size to be given
in wide characters, not bytes.
(cherry picked from commit b3b4a9d3001f1fc7df8efcccdce081de54fa5eab)

Co-authored-by: Alexey Izbyshev <izbyshev@users.noreply.github.com>

[3.6] Improves the ability to build in CI (GH-5730)

[3.6] bpo-30638: Add clinic to `make regen-all` (GH-5671)

Also, use PYTHON_FOR_REGEN for clinic and blake2s_impl.c rather than PYTHON_FOR_BUILD, and update .travis.yml to make use of the change.
(cherry picked from commit d6ff8a7037903497eff95fa32bdac2b6adf71505)

bpo-32852: Fix trace changing sys.argv to tuple. (GH-5692)

(cherry picked from commit 9f4223261fd129ad7b9a09b2b0d625d1bb90b22b)

Co-authored-by: Kyle Altendorf <sda@fstab.net>

DOC: fix documentation for copyright and credits (GH-5706)

Adapt documentation for `copyright` and `credits` to reality.  Previously, the documentation implied that all each of `copyright`,
`credits`, and `license`, would print a message to call the object in order to see the full text.  In reality, only `license` exhibits this
behaviour, and `copyright` and `credit` print their full text either when printed, displayed, or called.
(cherry picked from commit 243d6d71265be1996a8326002deae429106a5fba)

Co-authored-by: Gerrit Holl <gerrit.holl@gmail.com>

bpo-32860: Fix a missing asterisk in the documentation for glob.iglob() (GH-5712)

(cherry picked from commit 6887d86e9a04b9c5718b08e5d9e1ca3cc1f53721)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

Update comment in posixmodule.c (GH-5681)

A closing parentheses was missing.

Signed-off-by: Ngie Cooper <yaneurabeya@gmail.com>
(cherry picked from commit 7745ec4e356ac1f4eaf43b155f4482c20a907d48)

Co-authored-by: ngie-eign <1574099+ngie-eign@users.noreply.github.com>

bpo-32841: Fix cancellation in awaiting asyncio.Condition (GH-5665) (GH-5683)

(cherry picked from commit 5746510b7aef423fa4afc92b2abb919307b1dbb9)

Co-authored-by: Bar Harel <bzvi7919@gmail.com>

[3.6] remove mercurial dot files (GH-5558)

(cherry picked from commit 2b86f4cb2cd339f545804a9abb8c4d4cc28d9488)

Fix installation instructions for *nix (GH-5605)

Remove pkg_add -r python from FreeBSD installation section.
Moved to OpenBSD.
(cherry picked from commit 3384d38d51a2c3450e742175db5d6d638fa5d2eb)

Co-authored-by: Eitan Adler <grimreaper@users.noreply.github.com>

bpo-27846: Delete incorrect note in base64 docs (GH-5666)

This note incorrectly stated that "Base64 has an expansion factor of 6
to 4" (it is actually 4 to 3). It was decided to remove the note.

(cherry picked from commit 88c38a4049ded0e1f197fec3e76be7c0c0e83d7a)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

bpo-31787: Skip refleak check when _hashlib is not available (GH-5660)

(cherry picked from commit f0bc645dfede8118c84844bad319cd952c4d1905)

Co-authored-by: INADA Naoki <methane@users.noreply.github.com>

bpo-31787: Prevent refleaks when calling __init__() more than once (GH-3995)

(cherry picked from commit d019bc8319ea35e93bf4baa38098ff1b57cd3ee5)

bpo-32827: Fix usage of _PyUnicodeWriter_Prepare() in decoding errors handler. (GH-5636)

(cherry picked from commit b7e2d67f7c035f09c921ca4e7a36529cd502ccf7)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

[3.6] bpo-32370: Use the correct encoding for ipconfig output in the uuid module. (GH-5608). (#5654)

(cherry picked from commit da6c3da6c33c6bf794f741e348b9c6d86cc43ec5)

Co-authored-by: Segev Finer <segev208@gmail.com>

bpo-32837: IDLE - require encoding argument for textview.view_file. (GH-5646)

Using the system and place-dependent default encoding for open()
is a bad idea for IDLE's system and location-independent files.
(cherry picked from commit 688722cedd6437910ff185ecf94fb3b749ad37f2)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-32826: Add "encoding=utf-8" to open() in idle_test/test_help_about. (GH-5639)

GUI test test_file_buttons() only looks at initial ascii-only lines,
but failed on systems where open() defaults to 'ascii' because
readline() internally reads and decodes far enough ahead to encounter
a non-ascii character in CREDITS.txt.
(cherry picked from commit f34e03ec0ea6a4cef8d966087c77e616c4a5893b)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-29248: Fix os.readlink() on Windows (GH-5577)

The PrintNameOffset field of the reparse data buffer
was treated as a number of characters instead of bytes.

(cherry picked from commit 3c34aad4e7a95913ec7db8e5e948a8fc69047bf7)

Co-authored-by: SSE4 <tomskside@gmail.com>

bpo-32720: Fixed the replacement field grammar documentation. (GH-5544) (GH-5547)

`arg_name` and `element_index` are defined as `digit`+ instead of `integer`.
(cherry picked from commit 7a561afd2c79f63a6008843b83733911d07f0119)

Co-authored-by: Mariatta <Mariatta@users.noreply.github.com>

Fix typo in Include/objimpl.h, the word "has" was missing (GH-5568) (GH-5570)

It now reads: ...be aware that Python has no control over...
(cherry picked from commit 517da1e58f4c489d4b31579852cde5f7113da08e)

Co-authored-by: Alexey <forestbiiird@gmail.com>

Fix AppVeyor doc short-circuit (GH-5634)

(cherry picked from commit 6ea20fc719dcaf102d2cefa1786f0421514f7a58)