bpo-12382: Make OpenDatabase() raise better exception messages (GH-4528)

Previously, 'msilib.OpenDatabase()' function raised a
cryptical exception message when it couldn't open or
create an MSI file. For example:

    Traceback (most recent call last):
      File "<stdin>", line 1, in <module>
    _msi.MSIError: unknown error 6e

(cherry picked from commit 4864a619dc1cc9092780ccf5a6327e8abf66133d)

Extending Python Doc minor updates  (GH-4518) (GH-4535)

Move footnote markers to be closer to the related terminology:
before the end of the sentence, instead of after.
(cherry picked from commit cdfe910e746e1d0fc43429b8cc3384a65a19b358)

bpo-31325: Fix usage of namedtuple in RobotFileParser.parse() (GH-4529) (#4533)

(cherry picked from commit 3df02dbc8e197053105f9dffeae40b04ec66766e)

bpo-30456: Clarify example for duplicates in second argument of isinstance (GH-1699)

(cherry picked from commit 26248ef58dcf49619930ffa2e050ffa687a88601)

[3.6] bpo-31324: Optimize support._match_test() (#4523)

* bpo-31324: Optimize support._match_test() (#4421)

* Rename support._match_test() to support.match_test(): make it
  public
* Remove support.match_tests global variable. It is replaced with a
  new support.set_match_tests() function, so match_test() doesn't
  have to check each time if patterns were modified.
* Rewrite match_test(): use different code paths depending on the
  kind of patterns for best performances.

Co-Authored-By: Serhiy Storchaka <storchaka@gmail.com>
(cherry picked from commit 803ddd8ce22f0de3ab42fb98a225a704c000ef06)

* bpo-31324: Fix test.support.set_match_tests(None) (#4505)

(cherry picked from commit bb11c3c967afaf263e00844d4ab461b7fafd6d36)

bpo-1102: View.Fetch() now returns None when it's exhausted (GH-4459)

(cherry picked from commit bdb8315c21825487b54852ff0511fb4881ea2181)

[3.6] bpo-32100: IDLE: Fix pathbrowser errors; improve tests. (GH-4484) (#4512)

Patch mostly by Cheryl Sabella.
(cherry picked from commit 20d48a44a54ed5e4a6df00e89ae27e3983128265)

bpo-32105: add asyncio.BaseEventLoop.connect_accepted_socket versionadded to documentation. (GH-4491) (#4493)

(cherry picked from commit 431665bf1971e66c51f59abf0693f700ff7919e8)

Add comment and improve variable name in roundrobin() (GH-4486) (#4487)

(cherry picked from commit 337cbbace0a43f50fcd33ea4d3b7cb30733237db)

bpo-32050: Fix -x option documentation (GH-4475) (#4477)

The line number in correct when using the -x option: Py_Main() uses
ungetc() to not skip the first newline character.
(cherry picked from commit c5a2071586f735d2a61d1756e7011cfbb6ce86c9)

bpo-30904: Removed duplicated Host: header. (GH-4465) (#4468)

(cherry picked from commit e96ba183c43ad6633b5d014b3dc57433e2802faf)

bpo-30989: Sort in TimedRotatingFileHandler only when needed. (GH-2812) (GH-4466)

TimedRotatingFileHandler.getFilesToDelete() now sorts only when needed.
(cherry picked from commit afad147b59fe84b12317f7340ddd2deeecb22321)

Remove outdated .pyo reference from msilib docs (GH-4461)

Since f299abdafa0f2b6eb7abae274861b19b361c96bc
the remove_pyc() method no longer tries to
remove .pyo files.
(cherry picked from commit b56becb373f01c7e285f028bde640f0864d0240e)

Document parameters of BaseServer.finish_request() (GH-4445)

(cherry picked from commit 7750bded92d908cbc422c57b97214f8eec615b0d)

bpo-31691: Specify where to find installer build instructions for Windows (#4427)

bpo-31691: Specify where to find build instructions for the Windows installer (GH-4426) (#4431)

(cherry picked from commit fd0fa67464f75cebca67cd14d050476a0c73bd53)

Fix typo in atexit documentation. (GH-4419) (GH-4425)

`kargs` -> `kwargs`
(cherry picked from commit d505a29a15a6f9315d8c46445b8a0cccfc2048b8)

bpo-31701: faulthandler: ignore MSC and COM Windows exception (#3929) (#4416)

(cherry picked from commit 6e3d6b5dc22cd06d8c4d44a38a8a3415e4bebb16)

bpo-32034: Make IncompleteReadError & LimitOverrunError pickleable GH-4409 (#4411)

(cherry picked from commit 43605e6bfa8d49612df4a38460d063d6ba781906)

bpo-32011: Revert "Issue GH-15480: Remove the deprecated and unused TYPE_INT64 code from marshal." (GH-4381) (#4405)

Simplify the reverted code.

This reverts commit e9bbe8b87ba2874efba0474af5cc7d5941dbf742.
(cherry picked from commit 00987f6230fcdbecc8d9ab4b2b9fae8f99a1a4a9)

[3.6] bpo-31949: Fixed several issues in printing tracebacks (PyTraceBack_Print()). (GH-4289) (#4406)

* Setting sys.tracebacklimit to 0 or less now suppresses printing tracebacks.
* Setting sys.tracebacklimit to None now causes using the default limit.
* Setting sys.tracebacklimit to an integer larger than LONG_MAX now means using
  the limit LONG_MAX rather than the default limit.
* Fixed integer overflows in the case of more than 2**31 traceback items on
  Windows.
* Fixed output errors handling..
(cherry picked from commit edad8eebeee3c99e324a7f1ac5073167c2b0b54d)

bpo-32032: Test both implementations of module-level pickle API. (GH-4401) (#4403)

(cherry picked from commit 6545256df93ba54f811206107274cfa5a6d76b86)

bpo-31948: Fix broken links in msilib docs (GH-4397). (GH-4398)

(cherry picked from commit 3bda02222aa3783bf85fc3ff8bc042aefd9c4fd3)

bpo-15606: Improve the re.VERBOSE documentation. (GH-4366) (#4394)

(cherry picked from commit b0b44b4b3337297007f5ef87220a75df204399f8)

[3.6] bpo-32015: Asyncio looping during simultaneously socket read/write an… (GH-4386) (#4393)

* bpo-32015: Asyncio cycling during simultaneously socket read/write and reconnection

* Tests fix

* Tests fix

* News add

* Add new unit tests.
(cherry picked from commit e1d62e0b7cc842d6b75b4d480391f4a94e503255)

bpo-16055: Fixes incorrect error text for int('1', base=1000) (GH-4376) (#4389)

(cherry picked from commit 28b624825eb92cb8c96fbf8da267d8d14a61a841)

bpo-32020: arraymodule: Correct missing Py_DECREF in failure case of make_array() (GH-4391) (#4392)

(cherry picked from commit 56935a53b11b9a70f3e13e460777ec81a5b9195e)

bpo-32013: _pickle: Add missing Py_DECREF in error case in fast_save_enter() (GH-4384) (#4385)

(cherry picked from commit f76231f89a7231fd486b37f728fbb4aab389e4d7)

[3.6] bpo-28759: Skip some tests on PermissionError raised by Android (GH-4350) (#4380)

(cherry picked from commit 92c2ca7633c881a56157f2fb8b2e1b8c7114e5fb)

[3.6] bpo-30696: Fix the REPL looping endlessly when no memory (GH-4160). (#4379)

(cherry picked from commit e0582a37c8d1776a2fd4968e9216f3a05f780276)

The termios man page is in section 3 (GH-2450)

(cherry picked from commit e197a8538bae3c5f2727dfdc8672aa15d9429e51)

Remove redundant 'exc = True' line (GH-4357)

It can be removed after https://github.com/python/peps/commit/c28890fb421c906241da6da718f9eacc5a3109ee
(cherry picked from commit 7c9da3e5ba060463b661da58ec3fe6beedce5566)

bpo-31824: Document default value of 'errors' parameters (GH-4328)

(cherry picked from commit e184cfd7bf8bcfd160e3b611d4351ca3ce52d9e2)

bpo-31999: Fix test_venv in case the zlib module is not available. (GH-4359) (#4360)

(cherry picked from commit 5e0df74b3bc6391e9a7eba0fd84531ed99a78ae9)

bpo-31222: Make (datetime|date|time).replace return subclass type in Pure Python (GH-4176) (#4356)

(cherry picked from commit 191e993365ac3206f46132dcf46236471ec54bfa)

[3.6] bpo-31927: Fix bugs in socketmodule.c on NetBSD and other issues. (GH-4235) (#4352)

* Fix compilation of the socket module on NetBSD 8.
* Fix the assertion failure or reading arbitrary data when parse
  a AF_BLUETOOTH address on NetBSD and DragonFly BSD.
* Fix other potential errors and make the code more reliable.
(cherry picked from commit d3187158c09cf899e9849f335bdff10594209167)

Correct the location of a function mentioned in a comment (GH-4327)

(cherry picked from commit 01ae58d44622a37304c74b2d8ed32e97a7fe1969)

[3.6] bpo-31934: Abort when building out of a not clean source tree (GH-4255). (#4340)

(cherry picked from commit 0de92859caf25e65fc968d4bb68626e9ba21b851)

bpo-31620: have asyncio/queues not leak memory when you've exceptions during waiting (GH-3813) (#4326)

(cherry picked from commit c62f0cb3b1f6f9ca4ce463b1c99b0543bdfa38d6)

bpo-31793: Doc: Specialize smart-quotes for Japanese (GH-4006)

(cherry picked from commit 5a66c8a64d180b5f3c80307924adaec53cc8faa3)

[3.6] bpo-31970: Reduce performance overhead of asyncio debug mode. (GH-4314) (#4322)

* bpo-31970: Reduce performance overhead of asyncio debug mode..
(cherry picked from commit 921e9432a1461bbf312c9c6dcc2b916be6c05fa0)

bpo-31960: Fix asyncio.Future documentation for thread (un)safety. (GH-4319) (#4320)

(cherry picked from commit 22b1128559bdeb96907da5840960691bb050d11a)

bpo-31965: fix doc for multiprocessing.connection.Client and Listener (GH-4304) (#4321)

* fix doc for multiprocessing.connection.Client

The authenticate argument does not exist on either Client or Listener:
- https://github.com/python/cpython/blob/master/Lib/multiprocessing/connection.pyGH-L483 (master)
- https://github.com/python/cpython/blob/3.6/Lib/multiprocessing/connection.pyGH-L478 (3.6)
- https://github.com/python/cpython/blob/3.5/Lib/multiprocessing/connection.pyGH-L478 (3.5)
- https://github.com/python/cpython/blob/3.4/Lib/multiprocessing/connection.pyGH-L487 (3.4)
The documentation also claimed that these functions will call `current_process().auth_key`, for which I could find no evidence in the code. I rewrote the documentation to reflect the actual behavior.

Also made some small changes to vary sentence structure.
(cherry picked from commit 1e5d54cfa031f1de9ee2d2e968e0551b6e2397b7)

Fix the sizeof test for dicts with shared keys. (GH-4311) (#4312)

By accident the size of the empty dict keys object matched the
size of values array.
(cherry picked from commit 39a156c505b7dc431a0a4cffcbefca577848db38)

Fix a memory leak in _msi.c (GH-4127) (#4309)

(cherry picked from commit cb04f7518292108d68e5ba4c685ca2bf2da18eab)

bpo-31950: Improve event loop policy doc (GH-4306) (#4307)

(cherry picked from commit 4135c89395726024abddb7340a0c7a42c801f616)

bpo-31764: Prevent a crash in sqlite3.Cursor.close() in case the Cursor object is uninitialized (GH-3958) (#4303)

(cherry picked from commit edb13ae48c17210fa4b2d40a6833ca09db5c121b)

bpo-31770: Prevent a crash and refleaks when calling sqlite3.Cursor.__init__() more than once (GH-3968) (#4301)

(cherry picked from commit e56ab746a965277ffcc4396d8a0902b6e072d049)

[3.6] bpo-31957: Fixes version detection. (GH-4298) (#4300)

[3.6] Fix miscellaneous typos in idlelib (GH-4275) (#4291)

Manual partial backport of patch that fixed nearly 50 other files.

bpo-31609: Fixes quotes in PCbuild/clean.bat (GH-4280) (#4285)

(cherry picked from commit aed08562220974b5c67371b908f23caa1be07e38)

bpo-31944: Fixes build and Modify button (GH-4278) (#4284)

(cherry picked from commit 0d2a9088d16826343344b04461c8be44b4008710)

bpo-31923: Fix spelling in sqlite3 docs (GH-4227)

(cherry picked from commit aafece7a9e010075fff4420cfbb16f1ec0342698)

bpo-31678: Fix typo in PyDateTime_DELTA_GET_MICROSECONDS (GH-3869)

(cherry picked from commit 82cd3cede804ca694fb0657fd985d5eff84a414f)

bpo-18699: Corrected documentation for window.chgat in curses module (GH-1430) (#4271)

(cherry picked from commit b838cc3ff4e039af949c6a19bd896e98e944dcbe)

bpo-9678: Fix determining the MAC address in the uuid module. (GH-4264) (#4269)

* Using ifconfig on NetBSD and OpenBSD.
* Using arp on Linux, FreeBSD, NetBSD and OpenBSD.

Based on patch by Takayuki Shimizukawa.
(cherry picked from commit ee1a9a2b78d5b6bb1a8148fc5fcf365e6d4e9e67)

bpo-31924: Fix test_curses on NetBSD 8. (GH-4228) (#4259)

(cherry picked from commit a7723d8b09f516a2b75837a3527b8cc7bee89fad)

bpo-31933: fix blake2 multi-byte params on big endian platforms (GH-4250) (#4262)

All Blake2 params have to be encoded in little-endian byte order. For
the two multi-byte integer params, leaf_length and node_offset, that
means that assigning a native-endian integer to them appears to work on
little-endian platforms, but gives the wrong result on big-endian. The
current libb2 API doesn't make that very clear, and @sneves is working
on new API functions in the GH issue above. In the meantime, we can work
around the problem by explicitly assigning little-endian values to the
parameter block.

See https://github.com/BLAKE2/libb2/issues/12.
(cherry picked from commit dcfb0e3c04f1b29a0d09bb0a81dcd5ee5a5fef1a)

bpo-30057: Fix potential missed signal in signal.signal(). (GH-4258) (#4261)

Bug report and patch by Jeroen Demeyer.
(cherry picked from commit f6f90ff079a22b79a58d47b6117cc8a8c7d366f3)

[3.6] bpo-31310: multiprocessing's semaphore tracker should be launched again if crashed (GH-3247) (#4254)

* bpo-31310: multiprocessing's semaphore tracker should be launched again if crashed

* Avoid mucking with process state in test.
Add a warning if the semaphore process died, as semaphores may then be leaked.

* Add NEWS entry
(cherry picked from commit cbe1756)

[3.6] bpo-31926: fix missing *_METHODDEF statements by argument clinic (GH-4230) (#4253)

When a single .c file contains several functions and/or methods with
the same name, a safety _METHODDEF GH-define statement is generated
only for one of them.

This fixes the bug by using the full name of the function to avoid
duplicates rather than just the name..
(cherry picked from commit 4f57409a2f7bdf8fb559cddc7c6533ca2c471c67)

[3.6] bpo-31308: If multiprocessing's forkserver dies, launch it again when necessary (GH-3246) (#4252)

* bpo-31308: If multiprocessing's forkserver dies, launch it again when necessary.

* Fix test on Windows

* Add NEWS entry

* Adopt a different approach: ignore SIGINT and SIGTERM, as in semaphore tracker.

* Fix comment

* Make sure the test doesn't muck with process state

* Also test previously-started processes

* Update 2017-08-30-17-59-36.bpo-31308.KbexyC.rst

* Avoid masking SIGTERM in forkserver.  It's not necessary and causes a race condition in test_many_processes..
(cherry picked from commit fc6b348b12ad401cab0261b7b71a65c60a08c0a8)

bpo-30806: Fix netrc.__repr__() format (GH-2491)

netrc file format doesn't support quotes and escapes.

See https://linux.die.net/man/5/netrc
(cherry picked from commit b24cd055ecb3eea9a15405a6ca72dafc739e6531)

Returning 1 from the set_progress_handler handler cancels query (GH-4120)

(cherry picked from commit ac03c03b305273f39d5374e2826526d4ab6bb415)

Update multissltests: 1.0.2m, 1.1.0g (GH-4232) (#4236)

(cherry picked from commit 0d2c645d41eee4ec7549c86ccc23970b692a48b0)

bpo-27666: Fixed stack corruption in curses.box() and curses.ungetmouse(). (GH-4220) (#4221)

(cherry picked from commit 4f469c096628af730b17798d0ebfd8925bfde836)

bpo-15037: Add a workaround for getkey() in curses for ncurses 5.7 and earlier. (GH-3826) (#4218)

Skip a test for unget_wch()/get_wch() on OpenBSD since they are broken
in ncurses 5.7.
(cherry picked from commit 7e68790f3db75a893d5dd336e6201a63bc70212b)

bpo-31919: Fix building the curses module on OpenIndiana. (GH-4211) (#4215)

(cherry picked from commit 894ebd065e02debf20c0657d26020ecc42b7534f)

Fix test_socket.test_create_connection() (GH-4206) (#4208)

bpo-31910: test_create_connection() now catchs also EADDRNOTAVAIL to
fix the test on Travis CI.
(cherry picked from commit 280c22a82a6756e9caffef031c564fd98f1b50e7)

Remove nested comments in blake2 (GH-4173) (#4214)

Replace occurence of nested comments in blake2 reference implementation
with preprocessor directive for disabling unused code.

`blake2s-load-xop.h` is conditionally pulled in only on chips with XOP
support, among others the AMD Bulldozer. The malformed comments in the
source file breaks the build of `hashlib`'s `_blake2` on GCC 6.3.0.

Official reference code on github uses `GH-if` so this change should be
uncontroversial.
(cherry picked from commit 388cd85e51aa9c73f8e7f35f0d06c258be7b579c)

bpo-25720: Fix the method for checking pad state of curses WINDOW (GH-4164) (#4212)

Modify the code to use ncurses is_pad() instead of checking WINDOW
_flags field.  If your platform does not provide the is_pad(), the
existing way that checks the field will be enabled.

Note: This change does not drop support for platforms where do not
have both WINDOW _flags field and is_pad().
(cherry picked from commit 8bc7d63560024681dce9f40445f2877b2987e92c)

bpo-31893: Fix errors in b9052a0f91d2e83bbc27267247a5920c82b242a3. (GH-4196) (#4201)

* Fix a compilation error on FreeBSD.
* Fix the data attribute size on Mac OS X.
(cherry picked from commit 2298fad5ff907dd48ea0fb5c71fa22334ef28c6b)

bpo-20064: Document PyObject_Malloc() (GH-4199) (#4203)

Document the following functions:

* PyObject_Malloc()
* PyObject_Calloc()
* PyObject_Realloc()
* PyObject_Free()

Fix also PyMem_RawFree() documentation.
(cherry picked from commit ec2cbdd1dff2c51788136480b2085e77506ebf34)

bpo-31897: Convert unexpected errors when read bogus binary plists into InvalidFileException. (GH-4171) (#4192)

(cherry picked from commit db91e0fe2417f075693a194a492b1699829871e7)

bpo-31626: Fixed a bug in debug memory allocator. (GH-3844) (#4191)

Removed a code that incorrectly detected in-place resizing in realloc()
 and wrote to freed memory.
(cherry picked from commit b484d5606ca76f9bbd0f5de7a6ef753400213e94)

bpo-31893: Fixed select.kqueue(). (GH-4166) (#4190)

* Fixed the layout of the kqueue_event structure on OpenBSD and NetBSD.
* Fixed the comparison of the kqueue_event objects.
(cherry picked from commit b9052a0f91d2e83bbc27267247a5920c82b242a3)

bpo-31891: Fix building the curses module on NetBSD. (GH-4165) (#4189)

(cherry picked from commit baac01e629d90f63dfde6b5cc433f4bc65c5feeb)

bpo-31629: Add support.SaveSignals (#4183) (#4187)

test_curses now saves/restores signals. On FreeBSD, the curses module
sets handlers of some signals, but don't restore old handlers when
the module is deinitialized.

(cherry picked from commit 19f68301a1295a9c30d9f28b8f1479cdcccd75aa)

[3.6] bpo-31852: Fix segfault caused by using the async soft keyword (GH-4122)

bpo-31304: Update starmap_async documentation. (GH-4168) (GH-4177)

Update the kwarg in the documentation of `multiprocessing.pool.Pool.starmap_async`, from `error_back` to `error_callback` to match the source code.
(cherry picked from commit 11225753a89c2907bb717e6c050fe907e5e11829)

[3.6] bpo-20047: Make bytearray methods partition() and rpartition() rejecting (GH-4158) (#4162)

separators that are not bytes-like objects..
(cherry picked from commit a2314283ff87c65e1745a42c2f2b716b1a209128)

bpo-31065: Add doc about Popen.poll returning None. (GH-3169)

(cherry picked from commit 006617ff7d6df3fdedcfe53e94ee2c52cc796437)

bpo-31836: Test_code_module now passes with sys.ps1, ps2 set (GH-4070) (#4156)

(cherry picked from commit 5a4bbcd479ce86f68bbe12bc8c16e3447f32e13a)

IDLE -- Restrict shell prompt manipulaton to the shell. (GH-4143) (#4155)

Editor and output windows only see an empty last prompt line.
This simplifies the code and fixes a minor bug when newline is inserted.
Sys.ps1, if present, is read on Shell start-up, but is not set or changed.
(cherry picked from commit e86172d63af5827a3c2b55b80351cb38a26190eb)

bpo-31860: Make the font sample in the IDLE font configuration dialog editable. (GH-4106) (#4154)

Changes persist while IDLE remains open
(cherry picked from commit ed6554c487fb2403bc88be6deee611c7a4171d33)

bpo-31174: Improve the code of test_tools.test_unparse. (GH-4146) (#4148)

(cherry picked from commit 7351f9e5a91c403d15c6d556f9989b443f1296f9)

bpo-31053: Remove redundant 'venv' argument in venv example (GH-2907)

(cherry picked from commit d609b0c24ebdb748cabcc6c062dfc86f9000e6c4)

[3.6] bpo-30697: Fix PyErr_NormalizeException() when no memory (GH-2327). (#4135)

(cherry picked from commit 56d1f5ca32892c7643eb8cee49c40c1644f1abfe)

Fix trailing whitespaces in C and Python files. (#4131)

[3.6] bpo-21720: Restore the Python 2.7 logic in handling a fromlist. (GH-4118) (#4128)

BytesWarning no longer emitted when the fromlist argument of
__import__() or the __all__ attribute of the module contain bytes
instances..
(cherry picked from commit 41c56940c6edf3ea169332a6b039b6c8796f0475)

bpo-30937: Make usage of newline='' consistent in csv docs (GH-2730)

(cherry picked from commit 275d2d9c4663a1ea8d1f7c8778567a735b0372c1)

bpo-25287: Backport new tests for crypt and skip test_crypt on OpenBSD. (#4111)

[3.6] bpo-30817: Fix PyErr_PrintEx() when no memory (GH-2526). (#4107)

(cherry picked from commit 66caacf2f0d6213b049a3097556e28e30440b900)

bpo-31174: Fix test_tools.test_unparse (GH-4102) (#4104)

test_unparse.DirectoryTestCase now stores the names sample to always
test the same files. It prevents false alarms when hunting reference
leaks.
(cherry picked from commit 8e482bea21cb942804234e36d3c6c896aabd32da)

bpo-31847: Fix commented out tests in test_syntax. (GH-4084) (#4095)

SyntaxError now is raised instead of SyntaxWarning.
(cherry picked from commit 3b66ebe7727dba68c2c6ccf0cd85a4c31255b9b4)

bpo-30722: Make redemo work with Python 3.6+ (GH-2311)

(cherry picked from commit 62adc55aff0b78447568f73bd1abc610d2784bf8)

bpo-31752: Fix possible crash in timedelta constructor called with custom integers. (GH-3947) (#4086)

Bad remainder in divmod() in intermediate calculations caused an assertion failure.
(cherry picked from commit 4ffd4653a7ec9c97775472276cf5e159e2366bb2)

[3.6] bpo-30695: Add set_nomemory(start, stop) to _testcapi (GH-2406) (#4083)

(cherry picked from commit 85f643023fed3d4e2fb8e399f9ad57f3a65ef237)

[3.6] bpo-31572: Get rid of using _PyObject_HasAttrId() in pickle. (GH-3729). (#4081)

(cherry picked from commit 04e36af9b88cd5e80fc818e51d46f07252a2ff3f)

bpo-28286: Add tests for the mode argument of GzipFile. (GH-4074) (#4076)

(cherry picked from commit bcbdd2f8db396c3f0ec9186162b39b5a34effa0e)