Revert "Issue #29094: Offsets in a ZIP file created with extern file object and modes" (#1467)

This reverts commit 0f4ed2cdc6e7887153c481f4c7298bc35e219d84 (though, the tests are retained) and the followup 58ab4b57da2e5db7ff9b9940dd21bbbe4d804957.

See discussion on bpo-29094.

bpo-23404: make touch becomes make regen-all (#1466)

Don't rebuild generated files based on file modification time
anymore, the action is now explicit. Replace "make touch"
with "make regen-all".

Changes:

* Remove "make touch", Tools/hg/hgtouch.py and .hgtouch
* Add a new "make regen-all" command to rebuild all generated files
* Add subcommands to only generate specific files:

  - regen-ast: Include/Python-ast.h and Python/Python-ast.c
  - regen-grammar: Include/graminit.h and Python/graminit.c
  - regen-opcode-targets: Python/opcode_targets.h

* Add PYTHON_FOR_REGEN variable
* pgen is now only built by by "make regen-grammar"
* Add $(srcdir)/ prefix to paths to source files to handle correctly
  compilation outside the source directory

bpo-30108: Fix test_site setUpModule() (#1460)

Oops, I forgot that PermissionError was introduced in Python 3.3!
Replace PermissionError with OSError and check on errno.

bpo-30108: Restore sys.path in test_site (#1197) (#1459)

Add setUpModule() and tearDownModule() functions to test_site to
save/restore sys.path at the module level to prevent warning if the
user site directory is created, since site.addsitedir() modifies
sys.path.
(cherry picked from commit b85c136903c6d2368162f7c4a58f258c9c69ead0)

Fix test_ftplib warning if IPv6 is not available (#1457)

DummyFTPServer now calls del_channel() on bind() error to prevent the
following warning in TestIPv6Environment.setUpClass():

Warning -- asyncore.socket_map was modified by test_ftplib
  Before: {}
  After:  {3: <test.test_ftplib.DummyFTPServer 127.0.0.1:0 at ...>}

test_distutils: test_build_ext uses EnvironGuard (#1458)

Use EnvironGuard on BuildExtTestCase to save/restore os.environ, to fix the
following warning:

Warning -- os.environ was modified by test_distutils

MSVCCompiler.initialize() of distutils.msvc9compiler modifies
os.environ.

[2.7] bpo-28315: Improve code examples in docs (GH-1372) (#1447)

Replace
   File "<stdin>", line 1, in ?
with
   File "<stdin>", line 1, in <module>.
(cherry picked from commit 8856940cf2e82cb17db2b684cd5732fe658605ca)

[2.7] bpo-30236: Backported regrtest options -m and -G. (#1394)

Add Appveyor to Python 2.7 branch (#1434)

* Add Appveyor to Python 2.7 branch

* Adapt AppVeyor config for Python 2

* Replace -j0 with -j2: -j0 is ignored on Python 2
* Replace --slowest with --slow
* Remove --timeout option (it was introduced in Python 3)

bpo-30257: _bsddb: Fix newDBObject() (#1428)

Don't set cursorSetReturnsNone to DEFAULT_CURSOR_SET_RETURNS_NONE
anymore if self->myenvobj is set.

Fix a GCC warning on the strange indentation.

bpo-30258: regrtest handles child process crash (#1431)

Backport the CHILD_ERROR status from master: a test is considered as
failed if a worker process running a test exited with a code
different than zero.

Change also the output: write stdout and stderr of the child process
after the test name, instead of writing it before.

accumulate_result(): don't use time of CHILD_ERROR or INTERRUPTED
results.

test_distutils: use EnvironGuard (#1433)

Use EnvironGuard on InstallTestCase and UtilTestCase.

Backport fixes from master to prevent the following warning:

Warning -- os.environ was modified by test_distutils

Update .gitignore (#1435)

Ignore more generated files and test data downloaded by tests.

bpo-30255: Clip step in _PySlice_Unpack() (#1429)

In PySlice_IndicesEx, clip the step to [-PY_SSIZE_T_MAX,
PY_SSIZE_T_MAX] rather than [PY_SSIZE_T_MIN, PY_SSIZE_T_MAX].

(cherry picked from commit e6fc7401a92c7b51a80782d8095819b9909a0322)

regrtest: always show before/after of modified env (#1407) (#1409)

Buildbots don't run tests with -vv and so only log "xxx was modified
by test_xxx" which is not enough to debug such random issue. In many
cases, I'm unable to reproduce the warning and so unable to fix it.

Always logging the value before and value after should help to debug
such warning on buildbots.
(cherry picked from commit ec4b17239d899550be4ee6104b61751bb3c70382)
(cherry picked from commit 22982350235f8c5821b71661a5616423e1c7fcc0)

bpo-30199: test_ssl closes all asyncore channels (#1381) (#1408)

AsyncoreEchoServer of test_ssl now calls
asyncore.close_all(ignore_all=True) to ensure that
asyncore.socket_map is cleared once the test completes, even if
ConnectionHandler was not correctly unregistered.

Fix the following warning:

Warning -- asyncore.socket_map was modified by test_ssl
  Before: {}
  After:  {6: <test.test_ssl.AsyncoreEchoServer.EchoServer.ConnectionHandler>}
(cherry picked from commit 1dae7450c68bad498e57800387b24cb103c461fa)

bpo-30232: Support Git worktree in configure.ac (#1402)

Don't test if .git/HEAD file exists, but only if the .git file (or
directory) exists.

bpo-30223: Add global in regrtest main_in_temp_cwd (#1399)

bpo-27593: Revise git SCM build info. (#744) (#746) (#1392)

Use --short form of git hash.  Use output from "git describe" for tag.

Expected outputs:
1. previous hg
2. previous git
3. updated git

Release (tagged) build:
1. Python 3.7.0a0 (v3.7.0a0:4def2a2901a5, ...
2. Python 3.7.0a0 (v3.7.0a0^0:05f53735c8912f8df1077e897f052571e13c3496, ...
3. Python 3.7.0a0 (v3.7.0a0:05f53735c8, ...

Development build:
1. Python 3.7.0a0 (default:41df79263a11, ...
2. Python 3.7.0a0 (master:05f53735c8912f8df1077e897f052571e13c3496, ...
3. Python 3.7.0a0 (heads/master-dirty:05f53735c8, ...

"dirty" means the working tree has uncommitted changes.
See "git help describe" for more info.
(cherry picked from commit 554626ada769abf82a5dabe6966afa4265acb6a6)
(cherry picked from commit ed512cba78af211da4d83cbb7cc533c39176f374)

[2.7] bpo-30223: Fix test_xpickle for Python 2.4. (#1395)

[2.7] bpo-30223: Add Lib/test/__main__.py. (#1373)

To unify running tests in Python 2.7 and Python 3, the test
package can be run as a script.  This is equivalent to running the
test.regrtest module as a script.

bpo-27593: Get SCM build info from git instead of hg (#1327)

Based on commit 5c4b0d063aba0a68c325073f5f312a2c9f40d178 by Ned
Deily, which is based on original patches by Brett Cannon and Steve
Dower.

Remove also the private _Py_svnversion() function and SVNVERSION
variable.

Note: Py_SubversionRevision() and Py_SubversionShortBranch() are
unchanged, they are part of the public API.

bpo-30207: Install the Lib/test/support directory. (#1369)

bpo-30207: Rename test.test_support to test.support. (#1353)

To simplify backports from Python 3, the test.test_support module
was converted into a package and renamed to test.support.  The
test.script_helper module was moved into the test.support package.
Names test.test_support and test.script_helper are left as aliases to
test.support and test.support.script_helper.

[2.7] bpo-30208: DOC: fix small typos in IDLE (#1358)

(cherry picked from commit d9af73330f46d79cc0c56d369f65ebeec3cb5334)

[2.7] bpo-30197: Enhance swap_attr() and backport swap_item() in test.test_support. (#1341) (#1347)

(cherry picked from commit d1a1def7bf221b04dcf3fc3a67aa19aa2f622f83)

Fix "make tags" command (#1337)

Backport enhancements from master, commits:

* 9c4bfa6669e220efdd379b9f8e7db32bb4e25e72: "make tags": remove -t
  option of ctags. The option was kept for backward compatibility,
  but it was completly removed recently. Patch written by Stéphane
  Wirtel.
* cf0ac6a71ae51249a05521f49c1a0fabbb948488: Fix "make tags": set
  locale to C to call sort
* 8a543c0bc7347d5b333f334d157bf4a7cd33c14a: `make tags` fixes (GH-717)

Update gitignore from master (#1329)

Ignore more generated files.

[2.7] bpo-30182: Use the correct name for ISO in Unicode HOWTO. (GH-1312). (#1315)

(cherry picked from commit 6fde770e4e940c19cd62de0b6aeb77840690843e)

[2.7] bpo-30142: Remove "callable" from the 2to3fixer documentation. (GH-1305)

[2.7] bpo-15718: Document the upper bound constrain on the __len__ return value. (GH-1256). (#1261)

(cherry picked from commit 85157cd89a6edac347a5b6871fcf20c500c6fbbf)

[2.7] Add missing .gitignore entries for VS2015 IntelliSense DB (GH-1223). (#1227)

(cherry picked from commit 8e675286a92f33837cfffac5914b5175dac5d573)

Remove redundant comma in argparse HOWTO (GH-1141)

Reported by Sean Canavan on docs@p.o.

(cherry picked from commit 8526fb74edf5ac9ca175b7cdcb0d82bb8780d2cf)

bpo-19225: Remove duplicated description for standard warning categories (GH-1068)

[2.7] [3.5] bpo-30070: Fixed leaks and crashes in errors handling in the parser module. (GH-1131). (GH-1185) (#1189)

(cherry picked from commit a79f4c219531c05fc8f670c1e4bbf12c081935d3).
(cherry picked from commit 952a05e4e2cf082b74a1676a2804f1f43a9b7702)

[2.7] bpo-30061: Check if PyObject_Size()/PySequence_Size()/PyMapping_Size() (GH-1096) (GH-1180) (#1183)

raised an error.

(cherry picked from commit bf623ae8843dc30b28c574bec8d29fc14be59d86)
(cherry picked from commit 680fea4)

Fix typo in HTTPConnection.set_tunnel description (#1179)

bpo-29943: Remove the PySlice_GetIndicesEx() macro. (#1050)

bpo-30074: Fix compile warnings of _PySlice_Unpack and convert missed (#1154)

PySlice_GetIndicesEx in _ctypes.c.

bpo-30011: Fixed race condition in HTMLParser.unescape(). (#1140)

bpo-30068: add missing iter(self) in _io._IOBase.readlines when hint is present (#1152)

[2.7] bpo-30059: Include Py_Ellipsis in C API documentation (GH-1018) (GH-1147)

[2.7] bpo-29738: Fix memory leak in _get_crl_dp (GH-526) (GH-1144)

* Remove conditional on free of `dps`, since `dps` is now allocated for
all versions of OpenSSL
* Remove call to `x509_check_ca` since it was only used to cache
the `crldp` field of the certificate
CRL_DIST_POINTS_free is available in all supported versions of OpenSSL
(recent 0.9.8+) and LibreSSL.
(cherry picked from commit 2849cc34a8db93d448a62d69c462402347b50dcb)

bpo-30021: Add examples for re.escape(). (#1048) (#1118)

And fix the parameter name.

(cherry picked from commit 8fc7bc2b7631ee819ee614e47b6f44bacebe1574)

bpo-30027: Fix Py3k warnings in test_xml_etree. (#1065)

[2.7] bpo-29521: Fix two minor documentation build warnings (GH-41) (GH-670)

(cherry picked from commit 3d707be950b387552585451071928e7b39cdfa53)

[2.7] Correct typo in configparser.rst (GH-1012) (GH-1026)

(cherry picked from commit 01fa9ae5460b00bf1ced500c797176ebd3fb060d)

bpo-29506: Clarify deep copy note in copy module

The reference to administrative data was confusing to readers,
so this simplifies the note to explain that deep copying may copy
more then you intended, such as data that you expected to be
shared between copies.

Patch by Sanyam Khurana.

Issue #29798: Handle git worktree in patchcheck (#1057)

The original attempted fix missed an `isdir()` call in
`get_base_branch()`.

bpo-27867: Expand the PySlice_GetIndicesEx macro. (#1023) (#1046)

(cherry picked from commit b879fe8)

[2.7] bpo-19225: Lack of c api exceptions doc (#964)

* Keep the c-api exception doc up-to-date

cherry-pick'ed from ec1f5df..e3d6db3 and fix conflict

Fix references within buffer protocol docs (#1016)

remove merge=union attribute for Misc/NEWS (GH-460) (GH-989)

(cherry picked from commit 060d2d776a29341c079cce37220324f9775140ba)

bpo-28087: Skip test_asyncore and test_eintr poll failures on macOS. (#462) (#973)

* bpo-28087: Skip test_asyncore and test_eintr poll failures on macOS

Skip some tests of select.poll when running on macOS due to unresolved
issues with the underlying system poll function on some macOS versions.

(cherry picked from commit de04644627f82d9dc48b3423def7ff5b4aa1926a)

Fix socket leaks (#351)

* Fix socket leaks

* Fixed sockets leak

bpo-27863: Fixed multiple crashes in ElementTree. (#765) (#903) (#963)

(cherry picked from commit 576def096ec7b64814e038f03290031f172886c3)

(cherry picked from commit a6b4e1902250d6f28ca6d083ce1c8d7e9b91974b)

bpo-15083: Convert ElementTree doctests to unittests. (#906)

bpo-29952: Use usual terminology of dict (GH-924)

s/keys and elements/keys and values/
(cherry picked from commit cdcac039fb447f2ab04efcacbe663751bb2cb4ec)

[2.7] bpo-22392: Improve documentation for __getinitargs__  (GH-899)

bpo-29942: Fix the use of recursion in itertools.chain.from_iterable. (#913)

Fix the use of recursion in itertools.chain.from_iterable. Using recursion
is unnecessary, and can easily cause stack overflows, especially when
building in low optimization modes or with Py_DEBUG enabled.
(cherry picked from commit 5466d4af5fe76ec0a5fbc8a05675287d9e8e9d14)

bpo-29935: Fixed error messages in the index() method of tuple and list (#887) (#907) (#910)

when pass indices of wrong type.
(cherry picked from commit d4edfc9abffca965e76ebc5957a92031a4d6c4d4)
(cherry picked from commit bf4bb2e43030661e568d5d4b046e8b9351cc164c)

bpo-29917: DOC: Remove link from PyMethodDef (#890) (#896)

(cherry picked from commit c3c7ef088583cc12bd218138036d1edb6de9c63f)

bpo-16011: clarify that 'in' always returns a boolean value (GH-152) (GH-883)

(cherry picked from commit 0ae7c8bd614d3aa1fcaf2d71a10ff1148c80d9b5)

bpo-29643: Fix check for --enable-optimizations (GH-873)

The presence of the ``--enable-optimizations`` flag is indicated by the
value of ``$enableval``, but the configure script was checking ``$withval``,
resulting in the ``--enable-optimizations`` flag being effectively ignored.
(cherry picked from commit 8cea5929f52801b0ce5928b46ef836e99a24321a)

Drop the standard gcc test build on Travis (GH-853) (GH-861)

Instead have gcc be used for the coverage build so gcc is exercised in at least one place.
(cherry picked from commit ad2f9e2c8a0b44b3e6aec9d28ba59e13239236f7)

bpo-29888: Fix the link referring to "Python download page" (GH-823)

bpo-29861: release references to multiprocessing Pool tasks (#743) (#803)

* bpo-29861: release references to multiprocessing Pool tasks (#743)

* bpo-29861: release references to multiprocessing Pool tasks

Release references to tasks, their arguments and their results as soon
as they are finished, instead of keeping them alive until another task
arrives.

* Comments in test

(cherry picked from commit 8988945cdc27ffa86ba8c624e095b51c459f5154)

* Fix Misc/NEWS ?

Insert a missing semicolon in sgmllib documentation (#772)

fix function name in tabnanny documentation (GH-764)

bpo-29876: fix DECREF for NULL value in subelement() (GH-760)

bpo-29874: fix INCREF for possible NULL values in select_select() (GH-758)

bpo-29873: fix INCREF for possible NULL value in element_getattr() (GH-757)

bpo-29856: Fix typo in curses documentation (GH-730) (GH-733)

From Shifted Dxit -> Shifted Exit in Doc/library/curses.rst
(cherry picked from commit 64508780d72769e4c7afc67a511c057261c578f6)

Drop C++ header compatibility test (#718) (#721)

The $CXX environment variable is not exported under the 'c' language on Travis.
(cherry picked from commit 77ed11552da3e01dd235b7d68988076866b1f604)

[2.7] Combine the C++ header CI build into the main C build (GH-697) (#706)

This will eliminate one of the builds in Travis, allowing for CI overall to complete faster.
(cherry picked from commit 993d4b3440f2282976901ce66879037c4443868a)

bpo-27880: Fixed integer overflow in cPickle when pickle large strings or (#662)

too many objects.

fix parameter names in ftplib documentation (GH-656)

bpo-29798: Handle git worktree in `make patchcheck` (#629) (#635)

In git worktree directories, `.git` is a configuration
file rather than a subdirectory
(cherry picked from commit 6a6d090612dd7deaac2bc0399fad743e5e2db606)

[2.7] bpo-29656: Handle PR branches in 'make patchcheck' (#302) (#628)

Additional changes needed to backport:

- dropped legacy SVN support from patchcheck
- use subprocess.PIPE to silence expected error output
- don't try to use subprocess.Popen as a context manager
- don't try to pass a keyword argument to str.split()

(cherry picked from commit 482f7a274fa52b7ba34ff308cd9acdcac9f41ba5)

Insert the line which should not have been deleted (#581)

see [bpo-29772](http://bugs.python.org/issue29772)

[2.7] bpo-29768: Fixed compile-time check for expat version. (#577)

(cherry picked from commit 22e707fa04476710ba5cc7e2206e4ac66743931b)

Issue #29682:Possible missing NULL check in pyexpat (#573)

bpo-29655: Fixed possible reference leaks in `import *`. (#301) (#510)

Original patch by Matthias Bussonnier.
(cherry picked from commit 160edb43571311a3785785c1dfa784afc52d87be)

PCbuild: Add -q option to svn export (GH-539)

Without this option, AppVeyor log is too unreadable.
(cherry picked from commit 8886d5f39286dffa7d9337857b151e7fb4af23fd)

bpo-27593: Updates Windows build to use information from git (#262) (#448)

* bpo-27593: Updates Windows build to use information from git (#262)

* bpo-27593: Updates Windows build to use information from git

* Fixes git command (#451)

bpo-29572: Update Windows build to OpenSSL 1.0.2k (GH-444)

bpo-29709: Improve Boolean Operations documentation (#433) (#438)

(cherry picked from commit 8eb531d9db0861e14222445fcaebe1a373bba170)

bpo-29697: Don't use OpenSSL <1.0.2 fallback on 1.1+ (GH-399)

Disable mention-bot for maintenance branches (GH-370)

bpo-26867: Ubuntu's openssl OP_NO_SSLv3 is forced on by default; fix test. (GH-374)

bpo-28598: Support __rmod__ for RHS subclasses of str in % string formatting operations (GH-366)

bpo-29110: Fix file object leak in aifc.open (GH-356)

bpo-22594: Add a link to the regex module in re documentation (GH-241) (GH-321)

(cherry picked from commit ed6795e46f7653e23b862efad240a93453e7df97)

mark various test data binary (#233) (#303)

[2.7] bpo-28929: Add to Misc/NEWS (GH-286)

mention bpo-28929 in the Documentation section of
What's New in Python 2.7.14

bpo-29165: doc: make extending/newtypes more Python 3 friendly (GH-211)

* Use PyVarObject_HEAD_INIT instead of PyObject_HEAD_INIT on type struct header.
* Backport many minor fixes from Python 3 doc to minimize diff.

reinit the TLS before anything else (#130)

PyEval_ReInitThread can run arbitrary Python code, which really ought to have
the TLS initialized.

bpo-29602: fix signed zero handling in complex constructor (#204)

* bpo-29602: fix signed zero handling in complex constructor

* Add missing have_getformat definition; remove use of unittest subtests.

bpo-29347: Fix possibly dereferencing undefined pointers when creating weakref objects (#128) (#187)

[2.7] Change some mercurial/ hg.python.org references. (#8) (#183)

(cherry picked from commit b2ee40ed9c9041dcff9c898aa19aacf9ec60308a)