bpo-31893: Fixed select.kqueue(). (GH-4166) (#4190)

* Fixed the layout of the kqueue_event structure on OpenBSD and NetBSD.
* Fixed the comparison of the kqueue_event objects.
(cherry picked from commit b9052a0f91d2e83bbc27267247a5920c82b242a3)

bpo-31891: Fix building the curses module on NetBSD. (GH-4165) (#4189)

(cherry picked from commit baac01e629d90f63dfde6b5cc433f4bc65c5feeb)

bpo-31629: Add support.SaveSignals (#4183) (#4187)

test_curses now saves/restores signals. On FreeBSD, the curses module
sets handlers of some signals, but don't restore old handlers when
the module is deinitialized.

(cherry picked from commit 19f68301a1295a9c30d9f28b8f1479cdcccd75aa)

[3.6] bpo-31852: Fix segfault caused by using the async soft keyword (GH-4122)

bpo-31304: Update starmap_async documentation. (GH-4168) (GH-4177)

Update the kwarg in the documentation of `multiprocessing.pool.Pool.starmap_async`, from `error_back` to `error_callback` to match the source code.
(cherry picked from commit 11225753a89c2907bb717e6c050fe907e5e11829)

[3.6] bpo-20047: Make bytearray methods partition() and rpartition() rejecting (GH-4158) (#4162)

separators that are not bytes-like objects..
(cherry picked from commit a2314283ff87c65e1745a42c2f2b716b1a209128)

bpo-31065: Add doc about Popen.poll returning None. (GH-3169)

(cherry picked from commit 006617ff7d6df3fdedcfe53e94ee2c52cc796437)

bpo-31836: Test_code_module now passes with sys.ps1, ps2 set (GH-4070) (#4156)

(cherry picked from commit 5a4bbcd479ce86f68bbe12bc8c16e3447f32e13a)

IDLE -- Restrict shell prompt manipulaton to the shell. (GH-4143) (#4155)

Editor and output windows only see an empty last prompt line.
This simplifies the code and fixes a minor bug when newline is inserted.
Sys.ps1, if present, is read on Shell start-up, but is not set or changed.
(cherry picked from commit e86172d63af5827a3c2b55b80351cb38a26190eb)

bpo-31860: Make the font sample in the IDLE font configuration dialog editable. (GH-4106) (#4154)

Changes persist while IDLE remains open
(cherry picked from commit ed6554c487fb2403bc88be6deee611c7a4171d33)

bpo-31174: Improve the code of test_tools.test_unparse. (GH-4146) (#4148)

(cherry picked from commit 7351f9e5a91c403d15c6d556f9989b443f1296f9)

bpo-31053: Remove redundant 'venv' argument in venv example (GH-2907)

(cherry picked from commit d609b0c24ebdb748cabcc6c062dfc86f9000e6c4)

[3.6] bpo-30697: Fix PyErr_NormalizeException() when no memory (GH-2327). (#4135)

(cherry picked from commit 56d1f5ca32892c7643eb8cee49c40c1644f1abfe)

Fix trailing whitespaces in C and Python files. (#4131)

[3.6] bpo-21720: Restore the Python 2.7 logic in handling a fromlist. (GH-4118) (#4128)

BytesWarning no longer emitted when the fromlist argument of
__import__() or the __all__ attribute of the module contain bytes
instances..
(cherry picked from commit 41c56940c6edf3ea169332a6b039b6c8796f0475)

bpo-30937: Make usage of newline='' consistent in csv docs (GH-2730)

(cherry picked from commit 275d2d9c4663a1ea8d1f7c8778567a735b0372c1)

bpo-25287: Backport new tests for crypt and skip test_crypt on OpenBSD. (#4111)

[3.6] bpo-30817: Fix PyErr_PrintEx() when no memory (GH-2526). (#4107)

(cherry picked from commit 66caacf2f0d6213b049a3097556e28e30440b900)

bpo-31174: Fix test_tools.test_unparse (GH-4102) (#4104)

test_unparse.DirectoryTestCase now stores the names sample to always
test the same files. It prevents false alarms when hunting reference
leaks.
(cherry picked from commit 8e482bea21cb942804234e36d3c6c896aabd32da)

bpo-31847: Fix commented out tests in test_syntax. (GH-4084) (#4095)

SyntaxError now is raised instead of SyntaxWarning.
(cherry picked from commit 3b66ebe7727dba68c2c6ccf0cd85a4c31255b9b4)

bpo-30722: Make redemo work with Python 3.6+ (GH-2311)

(cherry picked from commit 62adc55aff0b78447568f73bd1abc610d2784bf8)

bpo-31752: Fix possible crash in timedelta constructor called with custom integers. (GH-3947) (#4086)

Bad remainder in divmod() in intermediate calculations caused an assertion failure.
(cherry picked from commit 4ffd4653a7ec9c97775472276cf5e159e2366bb2)

[3.6] bpo-30695: Add set_nomemory(start, stop) to _testcapi (GH-2406) (#4083)

(cherry picked from commit 85f643023fed3d4e2fb8e399f9ad57f3a65ef237)

[3.6] bpo-31572: Get rid of using _PyObject_HasAttrId() in pickle. (GH-3729). (#4081)

(cherry picked from commit 04e36af9b88cd5e80fc818e51d46f07252a2ff3f)

bpo-28286: Add tests for the mode argument of GzipFile. (GH-4074) (#4076)

(cherry picked from commit bcbdd2f8db396c3f0ec9186162b39b5a34effa0e)

[3.6] bpo-28326: Fix multiprocessing.Process when stdout and/or stderr is closed or None. (GH-4073).  (#4075)

* bpo-28326: Fix multiprocessing.Process when stdout and/or stderr is closed or None. (#4073)

(cherry picked from commit daeefd2e049b74340307481112a39f77de0f4769)

* [3.6] bpo-28326: Fix multiprocessing.Process when stdout and/or stderr is closed or None. (GH-4073).
(cherry picked from commit daeefd2e049b74340307481112a39f77de0f4769)

bpo-31825: Fixed OverflowError in the 'unicode-escape' codec (GH-4058) (#4059)

and in codecs.escape_decode() when decode an escaped non-ascii byte.
(cherry picked from commit 56cb465cc93dcb35aaf7266ca3dbe2dcff1fac5f)

bpo-31632: fix set_protocol() in _SSLProtocolTransport (GH-3817) (GH-3817) (#4052)

(cherry picked from commit ea2ef5d0ca869d4550820ed53bdf56013dbb9546)

bpo-31457: Don't omit inner ``process()`` calls with nested LogAdapters (GH-4044) (GH-4050)

This used to be the case on Python 2.  Commit
212b590e118e3650b596917021ed9612a918180b changed the implementation for Python
3, making the `log()` method of LogAdapter call `logger._log()` directly.  This
makes nested log adapters not execute their ``process()`` method.  This patch
fixes the issue.

Also, now proxying `name`, too, to make `repr()` work with nested log adapters.

New tests added.
(cherry picked from commit ce9e62544571e7ade7186697d5dd065fb4c5243f)

[3.6] bpo-31457: Make the `LoggerAdapter.manager` property settable (GH-4042) (#4043)

Due to a bug in the initial fix, the setter was in fact creating a different
property.  This is now fixed.
(cherry picked from commit 0b6a118a45ac2eded1348fea6ed300d5651f7471)

Update TestCase.assertAlmostEqual and assertNotAlmostEqual docstrings. (GH-3998) (GH-4039)

The word "difference" from missing the sentence.
This clarifies that it compares the difference between the two objects.
(cherry picked from commit 032a6480e360427d4f964e31643604fad804ea14)

[3.6] bpo-31334: Fix timeout in select.poll.poll() (GH-3277) (#4033)

Always pass -1, or INFTIM where defined, to the poll() system call when
a negative timeout is passed to the poll.poll([timeout]) method in the
select module. Various OSes throw an error with arbitrary negative
values.
(cherry picked from commit 6cfa927ceb931ad968b5b03e4a2bffb64a8a0604)

[3.6] bpo-31806: Use _PyTime_ROUND_TIMEOUT for the timeout argument parsing in more functions (GH-4026) (#4032)

Fix timeout rounding in time.sleep(), threading.Lock.acquire() and
socket.socket.settimeout() to round correctly negative timeouts between -1.0 and
0.0. The functions now block waiting for events as expected. Previously, the
call was incorrectly non-blocking.
(cherry picked from commit 59af94fa61bf90adbe624508e909b5d6ef6e8464)

[3.6] bpo-31786: Make functions in the select module blocking when timeout is a small negative value. (GH-4003). (#4022)

(cherry picked from commit 2c15b29aea5d6b9c61aa42d2c24a07ff1edb4b46)

bpo-31676: Fix test_imp.test_load_source() side effect (GH-3871) (GH-3988)

test_load_source() now replaces the current __name__ module with a
temporary module to prevent side effects.
(cherry picked from commit a505ecdc5013cd8f930aacc1ec4fb2afa62d3853)

[3.6] bpo-30928: Update idlelib/NEWS.txt to 2017 Oct 17. (GH-4025) (#4028)

(cherry picked from commit 27288de0856c6fbe56354adb312ae706ce8bc7de)

[3.6] bpo-13802: Use non-Latin characters in IDLE's Font settings sample. (GH-3960) (#4027)

Even if one selects a font that defines a limited subset of the unicode
Basic Multilingual Plane, tcl/tk will use other fonts that define a
character. The expanded example give users of non-Latin characters
a better idea of what they might see in the IDLE shell and editors.

To make room for the expanded sample, frames on the Font tab are
re-arranged. The Font/Tabs help explains a bit about the additions.
(cherry picked from commit e2e42274ee5db1acedf57b63943e1f536d7a25bc)

[3.6] bpo-28603: Fix formatting tracebacks for unhashable exceptions (GH-4014) (#4024)

(cherry picked from commit de86073a761cd3539aaca6f886a1f55effc0d9da)

[3.6] bpo-31799: Make module.__spec__ more discoverable (GH-4010) (#4021)

bpo-31799: Make module.__spec__ more discoverable
(cherry picked from commit 191e3138200906e43cba9347177914325b54843f)

[3.6] bpo-31792: Restore os.environ in test_buffer when import numpy. (GH-4007) (#4009)

(cherry picked from commit 676db4bbf2e7c18dc7c35add17dd3bbdc2d3eeb3)

[3.6] completly -> completely (GH-3999) (closes bpo-31788) (#4008)

(cherry picked from commit 1295e11d397c6138427296d5f9653a9e7dd69062)

[3.6] bpo-31754: Fix type of 'itemsize' in PyBuffer_FillContiguousStrides (GH-3993)

(cherry picked from commit 1b9e76ed3a055a53ca67397e928e1b408461900b)

[3.6] bpo-31780: Fix incorrect error message for ',x', ',b', ',o' specs (GH-4002) (#4004)

Patch by Pablo.
(cherry picked from commit 28773ca7a7aa58a28e42a9eb0066acf71b5a8dc4)

[3.6] bpo-25588: Document autotest in idle_test/README.txt. (GH-4000) (#4001)

Follow-up to Victor's patch that enabled autotest to run in IDLE's Shell.
(cherry picked from commit 620f70e)

[3.6] bpo-31714: Improved regular expression documentation. (GH-3907). (#3994)

(cherry picked from commit cd195e2a7ac5c9b2574d5462752b7939641de4a9)

bpo-31672: Fix string.Template accidentally matched non-ASCII identifiers (GH-3872)

Pattern `[a-z]` with `IGNORECASE` flag can match to some non-ASCII characters.

Straightforward solution for this is using `IGNORECASE | ASCII` flag.
But users may subclass `Template` and override only `idpattern`. So we want to
avoid changing `Template.flags`.

So this commit uses local flag `-i` for `idpattern` and change `[a-z]` to `[a-zA-Z]`.
(cherry picked from commit b22273ec5d1992b0cbe078b887427ae9977dfb78)

[3.6] bpo-25588: Fix regrtest when run inside IDLE (GH-3962) (#3987)

When regrtest in run inside IDLE, sys.stdout and sys.stderr are not
TextIOWrapper objects and have no file descriptor associated:
sys.stderr.fileno() raises io.UnsupportedOperation.

Disable faulthandler and don't replace sys.stdout in that case.
(cherry picked from commit ccef823939d4ef602f2d8d13d0bfec29eda597a5)

[3.6] Improve test suite customization example (GH-3967)

Reported by John Gamboa on docs@p.o at
https://mail.python.org/pipermail/docs/2017-June/031942.html

(cherry picked from commit 925510449984399cf58711843ddfe2e8007c3878)

Exclude non-default VENVDIR in Doc builds (#3974) (#3975)

[3.6] bpo-30058: Fixed buffer overflow in select.kqueue.control(). (GH-1095) (#3973)

(cherry picked from commit de072100775cc29e6cd93a75466cecbd1086f258)

bpo-31766: restore 3.5 to docs version switchers (#3970)

[3.6] bpo-31567: add or fix decorator markup in docs (GH-3959) (GH-3966)

(cherry picked from commit 0e61e67a57deb4abc677808201d7cf3c38138e02)

bpo-28647: Update -u documentation (GH-3954)

* stdout and stderr are always opened in text mode
* and they are line-buffered

Initial patch by Gareth Rees.

[3.6] bpo-28157: Improvements for the time module documentation (GH-928)

* Separated functions and constants descriptions in sections.
* Added a note about the limitations of timezone constants.
* Removed redundant lists from the module docstring.

(cherry picked from commit 703ff381ffa946c23e7e25b0ae93a636a2607a40)

bpo-31537: Update readline documentation example. (GH-3925) (GH-3948)

Change the code example from using `get_history_length` to `get_current_history_length`.
(cherry picked from commit eeb5ffd54e56dd89a99c74eb512c36d62649cfec)

[3.6] bpo-31728: Prevent crashes in _elementtree due to unsafe cleanup of Element.text and Element.tail (GH-3924) (#3945)

(cherry picked from commit 39ecb9c71b6e55d8a61a710d0144231bd88f9ada)

Allow configure to handle PATH elements with spaces (#3935) (#3937)

Fix some tests in ./configure for determining macOS compiler choices that could fail if a $PATH element contained spaces.

[3.6] bpo-31642: Restore blocking "from" import by setting None in sys.modules. (GH-3834). (#3923)

(cherry picked from commit f07e2b64df6304a36fb5e29397d3c77a7ba17704)

[3.6] bpo-31724: Skip test_xmlrpc_net (GH-3922)

With the upgrade of buildbot.python.org from Buildbot 0.8.x to 0.9.x,
the xmlrpc interface has been removed.  This test is now skipped until
it can be rewritten to query a suitable substitute.

(cherry picked from commit 73ffd3f2036179ed54591ef0455e5ba5694ae5bd)

[3.6] bpo-31655: Validate keyword names in SimpleNamespace constructor. (GH-3909) (#3920)

(cherry picked from commit 79ba471488b936abda5ba5234b1ea90cbc94cae6)

bpo-31720: msilib documentation, change MsiError into MSIError (GH-3914) (GH-3917)

(cherry picked from commit 28f713601d3ec80820e842dcb25a234093f1ff18)

bpo-31507 Add docstring to parseaddr function in email.utils.parseaddr (GH-3647) (GH-3733)

(cherry picked from commit 9e7b9b21fe45f7d93eaf9382fedfa18247d0d2b2)

[3.6] bpo-31523: Reliability improvements to the Windows build files (GH-3900) (#3902)

(cherry picked from commit 2084b30e540d88b9fc752c5bdcc2f24334af4f2b)

[3.6] remove tabs from getcompiler.c (GH-3892) (#3893)

(cherry picked from commit a8ed11742b4c2115597977ce04fa8e043d9e0792)

[3.6] bpo-31178: Mock os.waitpid() in test_subprocess (GH-3896) (#3897)

Fix test_exception_errpipe_bad_data() and
test_exception_errpipe_normal() of test_subprocess: mock os.waitpid()
to avoid calling the real os.waitpid(0, 0) which is an unexpected
side effect of the test.
(cherry picked from commit 11045c9d8a21dd9bd182a3939189db02815f9783)

[3.6] bpo-30872: Update the curses docs to Python 3. (GH-2620) (#3887)

(cherry picked from commit 300dd552b15825abfe0e367ac14cec4c3e050dbc)

[3.6] bpo-31667: Fix gettext related links. (GH-3860) (#3886)

* Fix incorrect links.
* Remove redundant links.
* Add signatures and index entries for gettext related
functions in the locale module.
(cherry picked from commit c02a1f4ad8fcdbffad2911c5a31c71a17a89d713)

Remove retired and security branches from active docs (#3880)

[3.6] bpo-31675: Fix memory leaks in Tkinter's methods splitlist() and split() (GH-3866) (#3874)

when pass a string larger than 2 GiB.

Decrease memory requirements for Tcl's bigmem tests.
(cherry picked from commit 27c623c845dd6e4b8e1782666ca3a956636da266)

[3.6] bpo-31673: Fixed typo in the name of Tkinter's method adderrorinfo(). (GH-3864). (#3873)

(cherry picked from commit 929b40a601db868530d6beaafb3256822103a7fb)

[3.6] bpo-31619: Fixed a ValueError when convert a string with large number of underscores (GH-3827) (#3863)

to integer with binary base.
(cherry picked from commit 85c0b8941f0c8ef3ed787c9d504712c6ad3eb5d3)

Bump version to 3.6.3+

Merge v3.6.3 into 3.6 branch

Bump to 3.6.3

Update NEWS blurbs for 3.6.3 final

Improve/fix some Misc/NEWS entries

Add NEWS entries for 3.6.3 final cherrypicks.

[3.6] bpo-31662: Fix typos in uploadrelease.bat script (#3858)

(cherry picked from commit efb560eee28b6b2418e1231573ca62574d6dc07b)

[3.6] bpo-31641: Allow arbitrary iterables in `concurrent.futures.as_completed()` (GH-3830) (#3831)

This was possible before.  GH-1560 introduced a regression after 3.6.2 got
released where only sequences were accepted now.  This commit addresses this
problem.
(cherry picked from commit 574562c5ddb2f0429aab9af762442e6f9a3f26ab)

[3.6] bpo-31423: Fix building the PDF documentation (GH-3693) (GH-3699)

Use prefixed macro names for the `authoraddress` function, add T2A to the font encoding in LaTeX sources to support Cyrillic characters in the PDF documentation, and replace the deprecated `font_size` config option with `pointsize`.
(cherry picked from commit da9b4cfb488119f2493a762fcb1d85c58494f51d)

Fix build issues in Doc/make.bat (#3663)

[3.6] bpo-31662: Fix typos in uploadrelease.bat script (#3858)

(cherry picked from commit efb560eee28b6b2418e1231573ca62574d6dc07b)

[3.6] bpo-31516: current_thread() should not return a dummy thread at shutdown (GH-3673) (#3856)

bpo-31516: current_thread() should not return a dummy thread at shutdown
(cherry picked from commit 1023dbbcb7f05e76053486ae7ef7f73b4cdc5398)

[3.6] bpo-31158: Fix nondeterministic read in test_pty (GH-3808) (GH-3852)

(cherry picked from commit e6f62f69f07892b993910ff03c9db3ffa5cb9ca5)

[3.6] IDLE: make filetypes a tuple constant. (GH-3847) (#3848)

Save a bit of code, plus non-tuples get converted anyway to tuples by tkinter for the tk call.
(cherry picked from commit 5961e7c156f90c7f9444ae95b9d3e55114ca2169)

[3.6] bpo-31460: Simplify the API of IDLE's Module Browser. (GH-3842) (#3843)

Passing a widget instead of an flist with a root widget opens the option of
creating a browser frame that is only part of a window. Passing a full file
name instead of pieces assumed to come from a .py file opens the possibility
of browsing python files that do not end in .py.
(cherry picked from commit d6bb65f)

[3.6] bpo-31649: Make IDLE's _htest, _utest parameters keyword-only. (GH-3839) (#3841)

(cherry picked from commit bfebfd8)

[3.6] bpo-31627: Make test_mailbox be lenient to empty hostname. (GH-3821) (#3837)

(cherry picked from commit f4ea642cb60556231e714089a79d3c59c202661e)

[3.6] bpo-31592: Fix an assertion failure in Python parser in case of a bad unicodedata.normalize(). (GH-3767) (#3836)

(cherry picked from commit 7dc46d8cf5854d9f4ce3271b29c21aea4872e8ad)

[3.6] bpo-31641: Allow arbitrary iterables in `concurrent.futures.as_completed()` (GH-3830) (#3831)

This was possible before.  GH-1560 introduced a regression after 3.6.2 got
released where only sequences were accepted now.  This commit addresses this
problem.
(cherry picked from commit 574562c5ddb2f0429aab9af762442e6f9a3f26ab)

[3.6] bpo-31285: Remove splitlines identifier from Python/_warnings.c (GH-3803) (#3829)

(forgot to remove it in GH-3219)
(cherry picked from commit 8b4ff53c440dfcde40fbeb02c5e666c85190528f)

[3.6] bpo-25351: avoid activate failure on strict shells (GH-3804) (#3820)

(cherry picked from commit 90f1d989594f3340c5ffaa2cf9cef1876ac6bb89)

bpo-31621: Fix typo in Simple Statements documentation (GH-3809) (GH-3810)

Replace "restriction" with "restrictions".
(cherry picked from commit 8d59aca4a953b097a9b02b0ecafef840e4ac5855)

bpo-28129: fix ctypes crashes (#386) (#3799)

* init commit, with initial tests for from_param and fields __set__ and __get__, and some additions to from_buffer and from_buffer_copy

* added the rest of tests and patches. probably only a first draft.

* removed trailing spaces

* replace ctype with ctypes in error messages

* change back from ctypes instance to ctype instance

(cherry picked from commit 1bea762d9ec823544c530d567330a47f64d93d4f)

[3.6] bpo-31536: Avoid wholesale rebuild after `make regen-all` (GH-3678) (#3797)

bpo-31536: Avoid wholesale rebuild after `make regen-all`

[3.6] bpo-31478: Fix an assertion failure in random.seed() in case a seed has a bad __abs__() method. (GH-3596) (#3794)

(cherry picked from commit d780b2d588e68bd7047ef5d1f04e36da38b7a350)

[3.6] closes bpo-22140: Prevent double substitution of prefix in python-config.sh (GH-3769) (#3793)

Fix the logic in python-config.sh to avoid attempting to substitute
prefix in a variable that might have already been subject to
substitution. This e.g. happened if @exec_prefix@ was defined as
"${prefix}" (which is the default of the configure script) -- in which
case the exec_prefix_build variable was initialized with
already-subtituted prefix, and then another round of substitution was
performed which might have resulted in duplicate prefix.

To avoid that, rename the variables so that the variables matching
likely configure names (prefix, exec_prefix) retain their original
values and a '_real' suffix is used for the real values of prefix.

Furthermore, replace the unnecessary prefix and exec_prefix
substitutions with direct prefix_real references since the sed
always replaced the whole string anyway by design.
(cherry picked from commit 14086cfc5eed8c5e78342d79e5db87a135d75fa8)

[3.6] bpo-31588: Validate return value of __prepare__() methods (GH-3790)

Class execution requires that __prepare__() methods return
a proper execution namespace. Check for that immediately
after calling __prepare__(), rather than passing it through
to the code execution machinery and potentially triggering
SystemError (in debug builds) or a cryptic TypeError
(in release builds).

Patch by Oren Milman.
(cherry picked from commit 5837d0418f47933b2e3c139bdee8a79c248a943c)

bpo-31593: test_socketserver waits child processes (#3766)

[3.6] bpo-25532: Protect against infinite loops in inspect.unwrap() (GH-1717) (#3778)

Some objects (like test mocks) auto-generate new objects on
attribute access, which can lead to an infinite loop in
inspect.unwrap().

Ensuring references are retained to otherwise temporary objects
and capping the size of the memo dict turns this case into a
conventional exception instead..
(cherry picked from commit f9169ce6b48c7cc7cc62d9eb5e4ee1ac7066d14b)