bpo-33338: [tokenize] Minor code cleanup (#6573)

This change contains minor things that make diffing between Lib/tokenize.py and
Lib/lib2to3/pgen2/tokenize.py cleaner.

bpo-991266: Fix quoting of Comment attribute of SimpleCookie (GH-6555)

bpo-33297: Mention Pillow to work with more image formats. (#6505)

Also update PIL doc references to Pillow.

Clarify that __path__ can't be just any value (GH-6554)

bpo-25427: Remove pyvenv (GH-5962)

Spelling fixes to docs, docstrings, and comments (GH-6374)

bpo-33131: Upgrade ensurepip to bundle pip 10.0.1 (GH-6546)

Upgrade ensurepip to bundle pip 10.0.1

bpo-33312: update Tools/gdb/libpython.py to match. (GH-6548)

bpo-32232: by default, Setup modules are no longer built with -DPy_BUILD_CORE (GH-6489)

Setup modules are no longer built with -DPy_BUILD_CORE by default,
as using that flag may now require including additional internal-only header files.

Instead, only the modules that specifically need it use that setting.

bpo-33298: Wrap only constants with _PyCode_ConstantKey() in the compiler. (GH-6512)

bpo-33312: Fix clang ubsan out of bounds warnings in dict. (GH-6537)

Fix clang ubsan (undefined behavior sanitizer) warnings in dictobject.c by
adjusting how the internal struct _dictkeysobject shared keys structure is
declared.

This remains ABI compatible.  We get rid of the union at the end of the
struct being used for conveinence to avoid typecasting in favor of char[]
variable length array at the end of a struct. This is known to clang to be
used for variable sized objects and will not cause an undefined behavior
problem.  Similarly, char arrays do not have strict aliasing undefined
behavior when cast.

PEP-007 does not currently list variable length arrays (VLAs) as allowed
in our subset of C99.  If this turns out to be a problem, the fix to this is
to change the char `dk_indices[]` into `dk_indices[1]` and restore the
three size computation subtractions this change removes:
  `- Py_MEMBER_SIZE(PyDictKeysObject, dk_indices)`

If this works as is I'll make a separate PR to update PEP-007.

Clean up the readme text around PGO a bit. (GH-6538)

bpo-33189: pygettext.py now accepts only literal strings (GH-6364)

as docstrings and translatable strings, and rejects
bytes literals and f-string expressions.

bpo-33299: Return an object itself for some types in _PyCode_ConstantKey(). (GH-6513)

Update What's new in 3.7 to reference preadv, pwritev and posix_spawn (GH-6524)

bpo-31583: Fix 2to3 for using with --add-suffix option (GH-3758)

bpo-33308: Fix a crash in the parser module when convert an ST object. (#6519)

Converting with line_info=False and col_info=True crashed before.

bpo-11594: Ensure line-endings are respected when using 2to3 (GH-6483)

bpo-33295: Skip test using missing external site (GH-6504)

`test_urllib2net.OtherNetworkTests.test_sites_no_connection_close`
used `http://www.imdb.com/` but it is moved to https so the test is
not valid anymore.  Skip test for the moment to allow CI to proceed.

bpo-33144: random.Random and subclasses: split _randbelow implementation (GH-6291)

Fix spelling typo (GH-6443)

bpo-33205: dict: Change GROWTH_RATE to `used*3` (GH-6350)

fix pydoc-topics to work with Sphinx 1.7 (GH-6475)

In fact, we now require a newer Sphinx version because APIs have moved around.

bpo-33283: Mention PNG as a supported format by Tcl/Tk. (GH-6479)

Revert 725476222a3c1f2f93162d75a540e6bcdeaa36fd (#6494)

This note in documentation was never true.

[lib2to3] Make grammar pickling faster (#6491)

* Now uses pickle protocol 4

* Doesn't wrap the grammar's `__dict__` in ordered dictionaries anymore as
dictionaries in Python 3.6+ are ordered by default

This still produces deterministic pickles (that hash the same with MD5).
Tested with different PYTHONHASHSEED values.

acks += Zsolt Dollenstein (#6490)

Add support for all string literals to lib2to3 (#6457)

Remove to-be-deprecated urllib.request.urlretrieve function reference (#6454)

bpo-31947: remove None default for names param in Enum._create_ (GH-4288)

bpo-33270: Intern names for all anonymous code objects (#6472)

Removed a confusing line from a docstring in http.cookies (GH-6482)

There's no reason a cookie should _ever_ contain pickled data. That's just asking for a critical security vulnerability. Back in Python2 there were helpers for doing that, but they're no more in Python3. Now coded_value is used when the value needs to be encoded for any reason.

bpo-33185: Improve wording and markup (GH-6477)

Adds some working and markup fixes that I missed
in the initial commit for this issue.

(Follow-up to GH-6419)

bpo-33185: Fix regression in pydoc CLI sys.path handling (GH-6419)

The pydoc CLI assumed -m pydoc would add the empty string
to sys.path, and hence got confused when it switched to
adding the full initial working directory instead.

This refactors the pydoc CLI path manipulation to be
more testable, and ensures it won't accidentally
remove the standard library directory containing
pydoc itself from sys.path.

bpo-33176: Add a toreadonly() method to memoryviews. (GH-6466)

bpo-33184: Update Windows installer to OpenSSL 1.1.0h (GH-6463)

bpo-33265: use an actual method instead of a method-like function in ExitStack (GH-6456)

`MethodType` has the exact semantics that `ExitStack` needs,
so we can avoid creating a Python level closure.

itemgetter add dict example (GH-1280)

Fix error messages in argparse examples (GH-6435)

The examples in argparse documentation use `error: too few arguments`
error message which was removed in this commit f97c59a in 2011.

bpo-33260: Regenerate token.py after removing ASYNC and AWAIT. (GH-6447)

bpo-33097: Fix submit accepting callable after executor shutdown by interpreter exit (GH-6144)

Executors in concurrent.futures accepted tasks after executor was shutdown by interpreter exit. Tasks were left in PENDING state forever. This fix changes submit to instead raise a RuntimeError.

bpo-33253: Fix xxsubtype.bench() to accept correct str signature. (GH-6439)

bpo-31201: Clarify command to re-run failing test(s) with example (GH-6417)

bpo-31920: Fixed handling directories as arguments in the ``pygettext`` script. (GH-6259)

Based on patch by Oleg Krasnikov.

bpo-33031: Remove dead code in C implementation of OrderedDict. (GH-6120)

This code doesn't have effect on the final result, but causes
GCC 8 warnings and can have an undefined behavior.

bpo-32759: Free unused arenas in multiprocessing.heap (GH-5827)

Large shared arrays allocated using multiprocessing would remain allocated
until the process ends.

Fix misleading docsting of shelve.open(). (GH-6427)

The protocol parameter can be any protocol supported by the
pickle module.

Update docstring of tempfile._RandomNameSequence (GH-6414)

When bpo-12015 got resolved by increasing the length of the
random string generated by _RandomNameSequence from six to eight
characters, the docstring of the class was not adjusted accordingly.

Improve highlighting of some code blocks. (GH-6401)

Add a prepend() recipe to teach a chain() idiom (GH-6415)

bpo-29613: Added support for SameSite cookies (GH-6413)

* bpo-29613: Added support for SameSite cookies

Implemented as per draft
https://tools.ietf.org/html/draft-west-first-party-cookies-07

* Documented SameSite

And suggestions by members.

* Missing space :(

* Updated News and contributors

* Added version changed details.

* Fix in documentation

* fix in documentation

* Clubbed test cases for same attribute into single.

* Updates

* Style nits + expand tests

* review feedback

bpo-33201: Modernize "Extension types" doc (GH-6337)

* bpo-33201: Modernize "Extension types" doc
* Split tutorial and other topics
* Some small fixes
* Address some review comments
* Rename noddy* to custom* and shoddy to sublist
* Fix markup

bpo-33184: Update macOS installer build to use OpenSSL 1.1.0h. (GH-6407)

bpo-8243: Doc patch for curses.window.addstr and curses.window.addch (GH-5179)

bpo-33169: Remove values of `None` from sys.path_importer_cache when invalidating caches (GH-6402)

An entry of None in sys.path_importer_cache represents a negative/missing finder for a path, so clearing it out makes sense.

bpo-29673: fix gdb scripts pystack and pystackv (GH-6126)

fixed capitalization of class name (GH-6396)

bpo-33231: Fix potential leak in normalizestring() (GH-6386)

bpo-33224: PEP 479 fix for difflib.mdiff() (GH-6381)

bpo-15817: Expose command documentation to gdb help (GH-6384)

Original patch by Alexander Belopolsky.  Patch by Skip Montanaro.

bpo-33203: Ensure random.choice always raises IndexError on empty sequence (GH-6338)

Clean up and enhance frozen dataclass tests. (GH-6380)

* Add a test for frozen with unhashable field value.
* Improve a comment.

Add a webhook for Zulip to the Travis configuration (GH-6379)

bpo-32873: Remove a name hack for generic aliases in typing module (GH-6376)

This removes a hack and replaces it with a proper
mapping {'list': 'List', 'dict': 'Dict', ...}.

Call super in Generic.__init_subclass__ (#6356)

bpo-29922: Add more tests for error messages in 'async with'. (GH-6370)

Different paths are executed for normal exit and for leaving
the 'async with' block with 'break', 'continue' or 'return'.

bpo-23403: Bump pickle.DEFAULT_PROTOCOL to 4 (#6355)

This makes performance better and produces shorter pickles. This change is backwards compatible up to the oldest currently supported version of Python (3.4).

bpo-33195: Doc: Deprecate Py_UNICODE in c-api/arg (GH-6329)

Py_UNICODE is deprecated since Python 3.3.
But the deprecation is missed in the c-api/arg document.

bpo-32337: Update documentats about dict order (GH-4973)

bpo-33209: End framing at the end of C implementation of pickle.Pickler.dump(). (GH-6363)

bpo-32360: Remove object_pairs_hook=OrderedDict examples (GH-5001)

closes bpo-33202: fix os.walk mentioning os.listdir instead of os.scandir (GH-6335)

bpo-33199: Initialize ma_version_tag in PyDict_Copy (GH-6341)

bpo-29922: Improve error messages in 'async with' (GH-6352)

when __aenter__() or __aexit__() return non-awaitable object.

bpo-33204: IDLE - revise and extend colorizer test. (GH-6347)

Followup to primary PR for the issue, GH-6344.

bpo-33204: IDLE: consistently color invalid string prefixes (#6344)

A 'u' string prefix cannot be paired with either 'r' or 'f'.  Consistently
color as much of the prefix, starting at the right, as is valid.

bpo-20104: Add os.posix_spawn documentation. (#6334)

bpo-33132: Fix more reference counting issues in the compiler. (GH-6323)

Allow dynamic creation of generic dataclasses (GH-6319)

Fix socket type in DatagramHandler documentation: TCP -> UDP (GH-6272)

bpo-33182: Fix pointer types in _testembed (GH-6310)

bpo-33175: dataclasses should look up __set_name__ on class, not instance (GH-6305)

bpo-32726: macOS 10.6+ installer now builds Tcl/TK 8.6 (GH-6307)

Build and link with private copy of Tcl/Tk 8.6 for the macOS 10.6+
installer. The 10.9+ installer variant already does this.  This means that
the Python 3.7 provided by the python.org macOS installers no longer need or
use any external versions of Tcl/Tk, either system-provided or user-
installed, such as ActiveTcl.

FIX documentation and NEWS of ThreadedHTTPServer. (GH-6207)

Fix typos '.::' should typically just be '::'. (GH-6165)

Fix duplicating words words. (GH-6296)

Most of them have been added in 3.7.

bpo-33126: Document PyBuffer_ToContiguous() (#6292)

s/the the/the/ (GH-6287)

bpo-33163: Upgrade pip to 9.0.3 and setuptools to v39.0.1. (GH-6282)

bpo-32726: Do not force IDLE.app to launch in 32-bit mode. (GH-6279)

Forcing the macOS IDLE.app gui process to launch in 32-mode was
a necessary hack for old versions of Tk (Aqua Carbon as in Tk 8.4
and early versions of 8.5); it is not needed for current versions
of Tk.  Since 32-bit launching will no longer be supported on
future releases of macOS, allow IDLE.app to launch in 64-bit mode.

bpo-32872: Avoid regrtest compatibility issue with namespace packages. (GH-6276)

Fix senfile typo (#6265)

* Also in docs

bpo-32517: fix test_read_pty_output() hangs on macOS 10.13.2+ (GH-6037) (GH-6113)

test_asyncio hangs indefinitely on macOS 10.13.2+ on `read_pty_output()`
using the KqueueSelector. Closing `proto.transport` (as is done in
`write_pty_output()`) seems to fix it.
(cherry picked from commit 12f74d8608c15cacd9d5786524e2be9ca36f007e)

Co-authored-by: Nathan Henrie <n8henrie@users.noreply.github.com>
Also, re-enable test_read_pty_output on macOS.

bpo-33151: Handle submodule resources (GH-6268)

bpo-27212: Modify islice recipe to consume initial values preceding start (GH-6195)

bpo-32873: Treat type variables and special typing forms as immutable by copy and pickle (GH-6216)

This also fixes python/typing#512
This also fixes python/typing#511

As was discussed in both issues, some typing forms deserve to be treated
as immutable by copy and pickle modules, so that:
* copy(X) is X
* deepcopy(X) is X
* loads(dumps(X)) is X  # pickled by reference

This PR adds such behaviour to:
* Type variables
* Special forms like Union, Any, ClassVar
* Unsubscripted generic aliases to containers like List, Mapping, Iterable

This not only resolves inconsistencies mentioned in the issues, but also
improves backwards compatibility with previous versions of Python
(including 3.6).

Note that this requires some dances with __module__ for type variables
(similar to NamedTuple) because the class TypeVar itself is define in typing,
while type variables should get module where they were defined.

https://bugs.python.org/issue32873

bpo-32844: Fix a subprocess misredirection of a low fd (GH5689)

bpo-32844: subprocess: Fix a potential misredirection of a low fd to stderr.

When redirecting, subprocess attempts to achieve the following state:
each fd to be redirected to is less than or equal to the fd
it is redirected from, which is necessary because redirection
occurs in the ascending order of destination descriptors.
It fails to do so in a couple of corner cases,
for example, if 1 is redirected to 2 and 0 is closed in the parent.

bpo-33141: Have dataclasses.Field pass through __set_name__ to any default argument. (GH-6260)

This is part of PEP 487 and the descriptor protocol.

Fix error message in sqlite connection thread check. (GH-6028)

bpo-6986: Add a comment to clarify a test of _json.make_encoder(). (GH-3789)