[3.6] bpo-28603: Fix formatting tracebacks for unhashable exceptions (GH-4014) (#4024)

(cherry picked from commit de86073a761cd3539aaca6f886a1f55effc0d9da)

[3.6] bpo-31799: Make module.__spec__ more discoverable (GH-4010) (#4021)

bpo-31799: Make module.__spec__ more discoverable
(cherry picked from commit 191e3138200906e43cba9347177914325b54843f)

[3.6] bpo-31792: Restore os.environ in test_buffer when import numpy. (GH-4007) (#4009)

(cherry picked from commit 676db4bbf2e7c18dc7c35add17dd3bbdc2d3eeb3)

[3.6] completly -> completely (GH-3999) (closes bpo-31788) (#4008)

(cherry picked from commit 1295e11d397c6138427296d5f9653a9e7dd69062)

[3.6] bpo-31754: Fix type of 'itemsize' in PyBuffer_FillContiguousStrides (GH-3993)

(cherry picked from commit 1b9e76ed3a055a53ca67397e928e1b408461900b)

[3.6] bpo-31780: Fix incorrect error message for ',x', ',b', ',o' specs (GH-4002) (#4004)

Patch by Pablo.
(cherry picked from commit 28773ca7a7aa58a28e42a9eb0066acf71b5a8dc4)

[3.6] bpo-25588: Document autotest in idle_test/README.txt. (GH-4000) (#4001)

Follow-up to Victor's patch that enabled autotest to run in IDLE's Shell.
(cherry picked from commit 620f70e)

[3.6] bpo-31714: Improved regular expression documentation. (GH-3907). (#3994)

(cherry picked from commit cd195e2a7ac5c9b2574d5462752b7939641de4a9)

bpo-31672: Fix string.Template accidentally matched non-ASCII identifiers (GH-3872)

Pattern `[a-z]` with `IGNORECASE` flag can match to some non-ASCII characters.

Straightforward solution for this is using `IGNORECASE | ASCII` flag.
But users may subclass `Template` and override only `idpattern`. So we want to
avoid changing `Template.flags`.

So this commit uses local flag `-i` for `idpattern` and change `[a-z]` to `[a-zA-Z]`.
(cherry picked from commit b22273ec5d1992b0cbe078b887427ae9977dfb78)

[3.6] bpo-25588: Fix regrtest when run inside IDLE (GH-3962) (#3987)

When regrtest in run inside IDLE, sys.stdout and sys.stderr are not
TextIOWrapper objects and have no file descriptor associated:
sys.stderr.fileno() raises io.UnsupportedOperation.

Disable faulthandler and don't replace sys.stdout in that case.
(cherry picked from commit ccef823939d4ef602f2d8d13d0bfec29eda597a5)

[3.6] Improve test suite customization example (GH-3967)

Reported by John Gamboa on docs@p.o at
https://mail.python.org/pipermail/docs/2017-June/031942.html

(cherry picked from commit 925510449984399cf58711843ddfe2e8007c3878)

Exclude non-default VENVDIR in Doc builds (#3974) (#3975)

[3.6] bpo-30058: Fixed buffer overflow in select.kqueue.control(). (GH-1095) (#3973)

(cherry picked from commit de072100775cc29e6cd93a75466cecbd1086f258)

bpo-31766: restore 3.5 to docs version switchers (#3970)

[3.6] bpo-31567: add or fix decorator markup in docs (GH-3959) (GH-3966)

(cherry picked from commit 0e61e67a57deb4abc677808201d7cf3c38138e02)

bpo-28647: Update -u documentation (GH-3954)

* stdout and stderr are always opened in text mode
* and they are line-buffered

Initial patch by Gareth Rees.

[3.6] bpo-28157: Improvements for the time module documentation (GH-928)

* Separated functions and constants descriptions in sections.
* Added a note about the limitations of timezone constants.
* Removed redundant lists from the module docstring.

(cherry picked from commit 703ff381ffa946c23e7e25b0ae93a636a2607a40)

bpo-31537: Update readline documentation example. (GH-3925) (GH-3948)

Change the code example from using `get_history_length` to `get_current_history_length`.
(cherry picked from commit eeb5ffd54e56dd89a99c74eb512c36d62649cfec)

[3.6] bpo-31728: Prevent crashes in _elementtree due to unsafe cleanup of Element.text and Element.tail (GH-3924) (#3945)

(cherry picked from commit 39ecb9c71b6e55d8a61a710d0144231bd88f9ada)

Allow configure to handle PATH elements with spaces (#3935) (#3937)

Fix some tests in ./configure for determining macOS compiler choices that could fail if a $PATH element contained spaces.

[3.6] bpo-31642: Restore blocking "from" import by setting None in sys.modules. (GH-3834). (#3923)

(cherry picked from commit f07e2b64df6304a36fb5e29397d3c77a7ba17704)

[3.6] bpo-31724: Skip test_xmlrpc_net (GH-3922)

With the upgrade of buildbot.python.org from Buildbot 0.8.x to 0.9.x,
the xmlrpc interface has been removed.  This test is now skipped until
it can be rewritten to query a suitable substitute.

(cherry picked from commit 73ffd3f2036179ed54591ef0455e5ba5694ae5bd)

[3.6] bpo-31655: Validate keyword names in SimpleNamespace constructor. (GH-3909) (#3920)

(cherry picked from commit 79ba471488b936abda5ba5234b1ea90cbc94cae6)

bpo-31720: msilib documentation, change MsiError into MSIError (GH-3914) (GH-3917)

(cherry picked from commit 28f713601d3ec80820e842dcb25a234093f1ff18)

bpo-31507 Add docstring to parseaddr function in email.utils.parseaddr (GH-3647) (GH-3733)

(cherry picked from commit 9e7b9b21fe45f7d93eaf9382fedfa18247d0d2b2)

[3.6] bpo-31523: Reliability improvements to the Windows build files (GH-3900) (#3902)

(cherry picked from commit 2084b30e540d88b9fc752c5bdcc2f24334af4f2b)

[3.6] remove tabs from getcompiler.c (GH-3892) (#3893)

(cherry picked from commit a8ed11742b4c2115597977ce04fa8e043d9e0792)

[3.6] bpo-31178: Mock os.waitpid() in test_subprocess (GH-3896) (#3897)

Fix test_exception_errpipe_bad_data() and
test_exception_errpipe_normal() of test_subprocess: mock os.waitpid()
to avoid calling the real os.waitpid(0, 0) which is an unexpected
side effect of the test.
(cherry picked from commit 11045c9d8a21dd9bd182a3939189db02815f9783)

[3.6] bpo-30872: Update the curses docs to Python 3. (GH-2620) (#3887)

(cherry picked from commit 300dd552b15825abfe0e367ac14cec4c3e050dbc)

[3.6] bpo-31667: Fix gettext related links. (GH-3860) (#3886)

* Fix incorrect links.
* Remove redundant links.
* Add signatures and index entries for gettext related
functions in the locale module.
(cherry picked from commit c02a1f4ad8fcdbffad2911c5a31c71a17a89d713)

Remove retired and security branches from active docs (#3880)

[3.6] bpo-31675: Fix memory leaks in Tkinter's methods splitlist() and split() (GH-3866) (#3874)

when pass a string larger than 2 GiB.

Decrease memory requirements for Tcl's bigmem tests.
(cherry picked from commit 27c623c845dd6e4b8e1782666ca3a956636da266)

[3.6] bpo-31673: Fixed typo in the name of Tkinter's method adderrorinfo(). (GH-3864). (#3873)

(cherry picked from commit 929b40a601db868530d6beaafb3256822103a7fb)

[3.6] bpo-31619: Fixed a ValueError when convert a string with large number of underscores (GH-3827) (#3863)

to integer with binary base.
(cherry picked from commit 85c0b8941f0c8ef3ed787c9d504712c6ad3eb5d3)

Bump version to 3.6.3+

Merge v3.6.3 into 3.6 branch

Bump to 3.6.3

Update NEWS blurbs for 3.6.3 final

Improve/fix some Misc/NEWS entries

Add NEWS entries for 3.6.3 final cherrypicks.

[3.6] bpo-31662: Fix typos in uploadrelease.bat script (#3858)

(cherry picked from commit efb560eee28b6b2418e1231573ca62574d6dc07b)

[3.6] bpo-31641: Allow arbitrary iterables in `concurrent.futures.as_completed()` (GH-3830) (#3831)

This was possible before.  GH-1560 introduced a regression after 3.6.2 got
released where only sequences were accepted now.  This commit addresses this
problem.
(cherry picked from commit 574562c5ddb2f0429aab9af762442e6f9a3f26ab)

[3.6] bpo-31423: Fix building the PDF documentation (GH-3693) (GH-3699)

Use prefixed macro names for the `authoraddress` function, add T2A to the font encoding in LaTeX sources to support Cyrillic characters in the PDF documentation, and replace the deprecated `font_size` config option with `pointsize`.
(cherry picked from commit da9b4cfb488119f2493a762fcb1d85c58494f51d)

Fix build issues in Doc/make.bat (#3663)

[3.6] bpo-31662: Fix typos in uploadrelease.bat script (#3858)

(cherry picked from commit efb560eee28b6b2418e1231573ca62574d6dc07b)

[3.6] bpo-31516: current_thread() should not return a dummy thread at shutdown (GH-3673) (#3856)

bpo-31516: current_thread() should not return a dummy thread at shutdown
(cherry picked from commit 1023dbbcb7f05e76053486ae7ef7f73b4cdc5398)

[3.6] bpo-31158: Fix nondeterministic read in test_pty (GH-3808) (GH-3852)

(cherry picked from commit e6f62f69f07892b993910ff03c9db3ffa5cb9ca5)

[3.6] IDLE: make filetypes a tuple constant. (GH-3847) (#3848)

Save a bit of code, plus non-tuples get converted anyway to tuples by tkinter for the tk call.
(cherry picked from commit 5961e7c156f90c7f9444ae95b9d3e55114ca2169)

[3.6] bpo-31460: Simplify the API of IDLE's Module Browser. (GH-3842) (#3843)

Passing a widget instead of an flist with a root widget opens the option of
creating a browser frame that is only part of a window. Passing a full file
name instead of pieces assumed to come from a .py file opens the possibility
of browsing python files that do not end in .py.
(cherry picked from commit d6bb65f)

[3.6] bpo-31649: Make IDLE's _htest, _utest parameters keyword-only. (GH-3839) (#3841)

(cherry picked from commit bfebfd8)

[3.6] bpo-31627: Make test_mailbox be lenient to empty hostname. (GH-3821) (#3837)

(cherry picked from commit f4ea642cb60556231e714089a79d3c59c202661e)

[3.6] bpo-31592: Fix an assertion failure in Python parser in case of a bad unicodedata.normalize(). (GH-3767) (#3836)

(cherry picked from commit 7dc46d8cf5854d9f4ce3271b29c21aea4872e8ad)

[3.6] bpo-31641: Allow arbitrary iterables in `concurrent.futures.as_completed()` (GH-3830) (#3831)

This was possible before.  GH-1560 introduced a regression after 3.6.2 got
released where only sequences were accepted now.  This commit addresses this
problem.
(cherry picked from commit 574562c5ddb2f0429aab9af762442e6f9a3f26ab)

[3.6] bpo-31285: Remove splitlines identifier from Python/_warnings.c (GH-3803) (#3829)

(forgot to remove it in GH-3219)
(cherry picked from commit 8b4ff53c440dfcde40fbeb02c5e666c85190528f)

[3.6] bpo-25351: avoid activate failure on strict shells (GH-3804) (#3820)

(cherry picked from commit 90f1d989594f3340c5ffaa2cf9cef1876ac6bb89)

bpo-31621: Fix typo in Simple Statements documentation (GH-3809) (GH-3810)

Replace "restriction" with "restrictions".
(cherry picked from commit 8d59aca4a953b097a9b02b0ecafef840e4ac5855)

bpo-28129: fix ctypes crashes (#386) (#3799)

* init commit, with initial tests for from_param and fields __set__ and __get__, and some additions to from_buffer and from_buffer_copy

* added the rest of tests and patches. probably only a first draft.

* removed trailing spaces

* replace ctype with ctypes in error messages

* change back from ctypes instance to ctype instance

(cherry picked from commit 1bea762d9ec823544c530d567330a47f64d93d4f)

[3.6] bpo-31536: Avoid wholesale rebuild after `make regen-all` (GH-3678) (#3797)

bpo-31536: Avoid wholesale rebuild after `make regen-all`

[3.6] bpo-31478: Fix an assertion failure in random.seed() in case a seed has a bad __abs__() method. (GH-3596) (#3794)

(cherry picked from commit d780b2d588e68bd7047ef5d1f04e36da38b7a350)

[3.6] closes bpo-22140: Prevent double substitution of prefix in python-config.sh (GH-3769) (#3793)

Fix the logic in python-config.sh to avoid attempting to substitute
prefix in a variable that might have already been subject to
substitution. This e.g. happened if @exec_prefix@ was defined as
"${prefix}" (which is the default of the configure script) -- in which
case the exec_prefix_build variable was initialized with
already-subtituted prefix, and then another round of substitution was
performed which might have resulted in duplicate prefix.

To avoid that, rename the variables so that the variables matching
likely configure names (prefix, exec_prefix) retain their original
values and a '_real' suffix is used for the real values of prefix.

Furthermore, replace the unnecessary prefix and exec_prefix
substitutions with direct prefix_real references since the sed
always replaced the whole string anyway by design.
(cherry picked from commit 14086cfc5eed8c5e78342d79e5db87a135d75fa8)

[3.6] bpo-31588: Validate return value of __prepare__() methods (GH-3790)

Class execution requires that __prepare__() methods return
a proper execution namespace. Check for that immediately
after calling __prepare__(), rather than passing it through
to the code execution machinery and potentially triggering
SystemError (in debug builds) or a cryptic TypeError
(in release builds).

Patch by Oren Milman.
(cherry picked from commit 5837d0418f47933b2e3c139bdee8a79c248a943c)

bpo-31593: test_socketserver waits child processes (#3766)

[3.6] bpo-25532: Protect against infinite loops in inspect.unwrap() (GH-1717) (#3778)

Some objects (like test mocks) auto-generate new objects on
attribute access, which can lead to an infinite loop in
inspect.unwrap().

Ensuring references are retained to otherwise temporary objects
and capping the size of the memo dict turns this case into a
conventional exception instead..
(cherry picked from commit f9169ce6b48c7cc7cc62d9eb5e4ee1ac7066d14b)

[3.6] point to the module-level get_ident function rather than the one in _thread (GH-3782) (#3783)

(cherry picked from commit 236329ed9fee01edb85d698d30682e304439d198)

[3.6] bpo-31505: Fix an assertion failure in json, in case _json.make_encoder() received a bad encoder() argument. (GH-3643) (#3777)

(cherry picked from commit 2b382dd6121bb1e4b75470fb3ef8555665df3eb6)

[3.6] bpo-31285: Fix an assertion failure and a SystemError in warnings.warn_explicit. (GH-3219) (#3775)

(cherry picked from commit 91fb0afe181986b48abfc6092dcca912b39de51d)

[3.6] bpo-31490: Fix an assertion failure in ctypes in case an _anonymous_ attr is defined only outside _fields_. (GH-3615) (#3774)

(cherry picked from commit 30b61b51e05d2d43e8e2e783b0a9df738535423b)

[3.6] bpo-31492: Fix assertion failures in case of a module with a bad __name__ attribute. (GH-3620). (#3773)

(cherry picked from commit 6db7033192cd537ca987a65971acb01206c3ba82)

[3.6] bpo-31586: Use _count_element fast path for real dicts. (#3776)

(cherry picked from commit 31aca4bf79217e6ec4c1d056d3ad7ed4dd469c78)

[3.6] bpo-30347: Stop crashes when concurrently iterate over itertools.groupby() iterators. (GH-1557) (#3770)

(cherry picked from commit c740e4fe8a9bc5815dc18c38d7f7600b128c3c51)

[3.6] bpo-31579: Fixed a possible leak in enumerate() with large indices. (GH-3753). (#3760)

(cherry picked from commit 0e950dd22b075b4809c84afda8aede02b76ac0fa)

bpo-31571: Remove duplicated info in Lexical Analysis documentation (GH-3691) (GH-3754)

- Remove the second mention about the `u` prefix
- Remove the second mention about numeric literals do not include a sign
(cherry picked from commit 4a2d00cb4525fcb3209f04531472ba6a359ed418)

bpo-31170: Write unit test for Expat 2.2.4 UTF-8 bug (#3570) (#3746)

Non-regression tests for the Expat 2.2.3 UTF-8 decoder bug.

(cherry picked from commit e6d9fcbb8d0c325e57df08ae8781aafedb71eca2)

[3.6] bpo-31311: Fix a SystemError and a crash in ctypes._CData.__setstate__(), in case of a bad __dict__. (GH-3254) (#3743)

(cherry picked from commit 57c2561c8c5663aef55b00e3f29cba575ff36ccd)

[3.6] bpo-27385: Clarify docstring for groupby() (GH-3738) (#3744)

(cherry picked from commit 49392c63a243052c8013bef80d35202bb6d7c404)

[3.6] bpo-23702: Update Descriptor-HOWTO to reflect the removal of unbound methods (GH-3739) (#3742)

(cherry picked from commit 0d4497b9cae7942b7f731a6f99a73985c3fb4630)

[3.6] bpo-18558: Clarify glossary entry for "Iterable" (GH-3732) (#3741)

(cherry picked from commit 0bf287b6e0a42877b06cbea5d0fe6474d8061caa)

[3.6] bpo-30085: Improve documentation for operator (GH-1171) (#3736)

The dunderless functions are preferred; dunder are retained for back compatilibity.
Patch by Sanket Dasgupta.
(cherry picked from commit 5b9299d8c72aeadccadd77e4b8132094ba9a1f96)

[3.6] bpo-31566: Fix an assertion failure in _warnings.warn() in case of a bad __name__ global. (GH-3717) (#3730)

(cherry picked from commit 5d3e80021ab33360191eb0fbff34e0246c913884)

bpo-31570: Update Email library documentation example (GH-3720) (GH-3721)

A `"` was missing from an `<a href>` tag.
(cherry picked from commit 8337239d792bc2098c592def5fc3af84c3b0dfd1)

[3.6] bpo-27319, bpo-31508: Document deprecation in Treeview.selection(). (GH-3667) (#3719)

Defer removing old behavior to 3.8.
Document new feature of selection_set() and friends.
(cherry picked from commit 2fad10235460ac394cc8b869c41f47aba3d63594)

bpo-31564: Update typing documentation (GH-3696) (GH-3715)

Mention that ``NewType`` can derive from another ``NewType``.
(cherry picked from commit 039b25d8fd21f8d5d9e3cb536402d952cf068dc1)

[3.6] bpo-25359: Add missed "goto error" after setting an exception. (GH-3712) (#3714)

(cherry picked from commit d6238a76c655e0feb13478505220dc9049f1682f)

[3.6] bpo-31459: Rename IDLE's module browser from Class Browser to Module Browser. (GH-3704) (#3710)

The original module-level class and method browser became a module
browser, with the addition of module-level functions, years ago.
Nested classes and functions were added yesterday.  For back-
compatibility, the virtual event <<open-class-browser>>, which
appears on the Keys tab of the Settings dialog, is not changed.
Patch by Cheryl Sabella.
(cherry picked from commit cd99e79dc74c9d9dea83a5551d657c334b2cc6c9)

[3.6] bpo-31559: Remove test order dependence in idle_test.test_browser. (GH-3708) (#3709)

Order dependence caused leak-test buildbots to fail when running test_idle repeatedly.
(cherry picked from commit 99167f85b7373c8082b30a74211f009627bdedfa)

[3.6] Docs: correct hashlib.blake2 keyed hashing example (bpo-31560)

(cherry picked from commit aecc08ac3a14a73aa353655bb65ff8d965e935a0)

 [3.6] bpo-1612262: IDLE: Class Browser shows nested functions, classes (GH-2573)  (#3702)

Original patches for code and tests by Guilherme Polo and
Cheryl Sabella, respectively.

(cherry picked from commit 058de11360ea6816a6e978c7be0bcbea99a3f7da)

[3.6] bpo-31423: Fix building the PDF documentation (GH-3693) (GH-3699)

Use prefixed macro names for the `authoraddress` function, add T2A to the font encoding in LaTeX sources to support Cyrillic characters in the PDF documentation, and replace the deprecated `font_size` config option with `pointsize`.
(cherry picked from commit da9b4cfb488119f2493a762fcb1d85c58494f51d)

bpo-31351: Set return code in ensurepip when pip fails (GH-3626) (GH-3683)

Previously ensurepip would always report success, even if the
pip installation failed.
(cherry picked from commit 9adda0cdf89432386b7a04444a6199b580d287a1)

* Update version changed notice for backport

[3.6] bpo-31500: IDLE: Scale default fonts on HiDPI displays. (GH-3639) (#3686)

(cherry picked from commit a96c96f)

[3.6] closes bpo-31532: Fix memory corruption due to allocator mix (GH-3679) (#3681)

Fix a memory corruption in getpath.c due to mixed memory allocators
between Py_GetPath() and Py_SetPath().

The fix use the Raw allocator to mimic the windows version.

This patch should be used from python3.6 to the current version

for more details, see the bug report and
  https://github.com/pyinstaller/pyinstaller/issues/2812
(cherry picked from commit 3d1e2ab584ed0175592b5be2a0bc98dc1723776a)

bpo-31533: fix broken link to OpenSSL docs (GH-3674) (GH-3675)

(cherry picked from commit 19e4d9346db7fb65845b98a9cb9caacaaac8a81a)

[3.6] bpo-31500: Removed fixed size of IDLE config dialog. (GH-3664) (#3665)

This one line of Serhiy Storchacka's bpo-31500 patch for is needed for other issues.
(cherry picked from commit d6e2f26f3f7c62a4ddbf668027d3ba27cb0e1eca)

bpo-31501: Operator precedence description for arithmetic operators (GH-3633) (GH-3638)

(cherry picked from commit 9b47af65375fab9318e88ccb061394a36c8c6c33)

Fix build issues in Doc/make.bat (#3663)

[3.6] bpo-31482:  Missing bytes support for random.seed() version 1 (GH-3614) (GH-3659)

(cherry picked from commit 132a7d7cdbc7cb89fa1c1f4e8192241c3d68f549)

[3.6] pythoninfo: ignore OSError(ENOSYS) on getrandom() (GH-3655) (#3657)

(cherry picked from commit a92941ff12c1d554f42c05ed24621894a758b40f)

[3.6] bpo-31293: Fix crashes in truediv and mul of a timedelta by a float with a bad as_integer_ratio() method. (GH-3227) (#3654)

(cherry picked from commit 865e4b4f630e2ae91e61239258abb58b488f1d65)

[3.6] bpo-31315: Fix an assertion failure in imp.create_dynamic(), when spec.name is not a string. (GH-3257) (#3653)

(cherry picked from commit 9974e1bcf3d0cec9b38b39b39b7ec8a1ebd9ef54)

post 3.6.3rc1 development