bpo-32947: OpenSSL 1.1.1-pre1 / TLS 1.3 fixes (#5663)

* bpo-32947: OpenSSL 1.1.1-pre1 / TLS 1.3 fixes

Misc fixes and workarounds for compatibility with OpenSSL 1.1.1-pre1 and
TLS 1.3 support. With OpenSSL 1.1.1, Python negotiates TLS 1.3 by
default. Some test cases only apply to TLS 1.2. Other tests currently
fail because the threaded or async test servers stop after failure.

I'm going to address these issues when OpenSSL 1.1.1 reaches beta.

OpenSSL 1.1.1 has added a new option OP_ENABLE_MIDDLEBOX_COMPAT for TLS
1.3. The feature is enabled by default for maximum compatibility with
broken middle boxes. Users should be able to disable the hack and CPython's test suite needs
it to verify default options.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-32960: For dataclasses, disallow inheriting frozen from non-frozen classes and vice-versa, (GH-5919)

This restriction will be relaxed at a future date.

bpo-32713: Fix tarfile.itn for large/negative float values. (GH-5434)

bpo-32222: Fix pygettext skipping docstrings for funcs with arg typehints (GH-4745)

bpo-32836: Remove obsolete code from symtable pass (GH-5680)

When comprehensions switched to using a nested scope, the old
code for generating a temporary name to hold the accumulation
target became redundant, but was never actually removed.

Patch by Nitish Chandra.

bpo-32147: Improved perfomance of binascii.unhexlify(). (GH-4586)

bpo-32394: Remove some TCP options on old version Windows. (GH-5523)

Revert unneccessary changes made in bpo-30296 and apply other improvements. (GH-2624)

bpo-32922: dbm.open() now encodes filename with the filesystem encoding. (GH-5832)

Fix 'deecorator' typo in test/test_dataclasses (GH-5899)

bpo-32929: Dataclasses: Change the tri-state hash parameter to the boolean unsafe_hash. (#5891)

unsafe_hash=False is now the default. It is the same behavior as the old hash=None parameter. unsafe_hash=True will try to add __hash__. If it already exists, TypeError is raised.

Update PR template file, don't reference bpo 12345 (GH-5897)

Fixes https://github.com/python/core-workflow/issues/223

bpo-31454: Include information about "import X as Y" in Modules tutorial (GH-4041)

bpo-25059: Clarify the print separator usage in tutorial (GH-5879)

By default `print` adds spaces between its arguments.

bpo-32622: Native sendfile on windows (#5565)

* Support sendfile on Windows Proactor event loop naively.

Delete a broken threading.local example (#5870)

This code never did anything correct or useful. The class attribute will never be affected, and the condition will never be true.

bpo-30622: Fix NPN for OpenSSL 1.1.1-pre1 (#5876)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-32647: Link ctypes extension with libdl. (#5550)

The ctypes module used to depend on indirect linking for dlopen. The shared
extension is now explicitly linked against libdl on platforms with dl.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-31809: test secp ECDH curves (#4036)

Add tests to verify connection with secp384r1 ECDH curves.

bpo-17232: Clarify docs for -O and -OO command line options (#5839)

The 'optimization' is for space in the executable file, not for run time.

bpo-30622: Improve NPN support detection (#5859)

The ssl module now detects missing NPN support in LibreSSL.

Co-Authored-By: Bernard Spil <brnrd@FreeBSD.org>
Signed-off-by: Christian Heimes <christian@python.org>

bpo-24334: Cleanup SSLSocket (#5252)

* The SSLSocket is no longer implemented on top of SSLObject to
  avoid an extra level of indirection.
* Owner and session are now handled in the internal constructor.
* _ssl._SSLSocket now uses the same method names as SSLSocket and
  SSLObject.
* Channel binding type check is now handled in C code. Channel binding
  is always available.

The patch also changes the signature of SSLObject.__init__(). In my
opinion it's fine. A SSLObject is not a user-constructable object.
SSLContext.wrap_bio() is the only valid factory.

remove vestigal locking from obmalloc (GH-5805)

obmalloc has (empty) macros for locking in the allocator. These aren't needed in CPython; we rely on the GIL.

bpo-32931: fix macOS 10.9+ installer c++ compiler name (#5855)

bpo-31966: Fixed WindowsConsoleIO.write() for writing empty data. (GH-5754)

bpo-32819: Simplify and improve ssl.match_hostname (#5620)

ssl.match_hostname() has been simplified and no longer depends on re and
ipaddress module for wildcard and IP addresses. Error reporting for invalid
wildcards has been improved.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-32916: IDLE: Change `str` to `code` in pyparse (GH-5830)

Adjust tests and user modules to match.

[bpo-28414] Make all hostnames in SSL module IDN A-labels (GH-5128)

Previously, the ssl module stored international domain names (IDNs)
as U-labels. This is problematic for a number of reasons -- for
example, it made it impossible for users to use a different version
of IDNA than the one built into Python.

After this change, we always convert to A-labels as soon as possible,
and use them for all internal processing. In particular, server_hostname
attribute is now an A-label, and on the server side there's a new
sni_callback that receives the SNI servername as an A-label rather than
a U-label.

Update the Pull_request_template.md file (GH-5841)

Changed the template to be inside a comment tag.

Exhaustively test dataclass hashing when no hash= value is provided. This is in anticipation of changing how non-default hashing is handled. (#5834)

bpo-32923: Unittest doc: replace `whilst` with `while` (GH-5833)

`whilst` and `while` are both english words, `whilst` is not as commonly used.
This can be confusing to readers whose primary language is not english.

bpo-32901: Update Tcl and Tk versions to 8.6.8 (GH-5823)

bpo-32087: Doc: Make "deprecated-removed"  directive translatable (GH-4473)

ipaddress: Use str.isascii() instead of frozenset (GH-5811)

bpo-30028: make test.support.temp_cwd() fork-safe (GH-1066)

Make test.support.temp_cwd() fork-safe. The context manager test.support.temp_cwd() no longer removes the temporary directory when executing in a process other than the parent it entered from.
If a forked child exits the context manager it won't do the cleanup.

bpo-17611. Move unwinding of stack for "pseudo exceptions" from interpreter to compiler. (GH-5006)

Co-authored-by: Mark Shannon <mark@hotpy.org>
Co-authored-by: Antoine Pitrou <antoine@python.org>

bpo-32838: Fix Python versions in the table of magic numbers. (#5658)

Test that new_timezone can return the UTC singleton (gh-5318)

bpo-32457: Improves handling of denormalized executable path when launching Python (GH-5756)

bpo-32556: nt._getfinalpathname, nt._getvolumepathname and nt._getdiskusage now correctly convert from bytes. (GH-5761)

bpo-32905: IDLE - remove unused code in pyparse module (GH-5807)

dump is similar to print but less flexible.  lastopenbracketpos is now always initialized in _study2, as was stmt_bracketing, so the class settings are not needed.  get_last_open_bracket_pos is never called.

closes bpo-32898: Fix debug build crash with COUNT_ALLOCS (GH-5800)

bpo-32874: IDLE: add tests for pyparse (GH-5755)

There are no code changes other than comments and docstrings.

bpo-32889: update valgrind suppressions (GH-5779)

Py_ADDRESS_IN_RANGE was renamed address_in_range in 3.6
(commit 3924f93794fd740c547b44884f73303196475cd5).

bpo-32008: don't use PROTOCOL_TLSv1 in example (GH-5789)

It's bad form to pin to an old version of TLS. ssl.SSLContext has the right
protocol default, so let's not pass anyway.

bpo-28886: doc: Move deprecated abc decorators to separate section (GH-176)

bpo-32604: Swap threads only if the interpreter is different. (gh-5778)

The CPython runtime assumes that there is a one-to-one relationship (for a given interpreter) between PyThreadState and OS threads. Sending and receiving on a channel in the same interpreter was causing crashes because of this (specifically due to a check in PyThreadState_Swap()). The solution is to not switch threads if the interpreter is the same.

bpo-31848: Fix broken error handling in Aifc_read.initfp() when the SSND chunk is not found (#5240)

Initialize self._ssnd_chunk so that aifc.Error is raised as intended,
not AttributeError.

bpo-32500: Correct the documentation for PySequence_Size() and PySequence_Length() (GH-5767)

Dropped the part that says: "For objects that do not provide sequence protocol".

closes bpo-32859: Don't retry dup3() if it is not available at runtime (GH-5708)

os.dup2() tests for dup3() system call availability at runtime,
but doesn't remember the result across calls, repeating
the test on each call with inheritable=False.

Since the caller of os.dup2() is expected to hold the GIL,
fix this by making the variable holding the test result static.

bpo-32409: Ensures activate.bat can handle Unicode contents (GH-5757)

bpo-30121: Fix test_subprocess for Windows Debug builds (GH-5758)

bpo-32682: Improve libz version parsing in test_zilb (GH-5347)

bpo-31972: Improve docstrings for pathlib classes (#5310)

Improve error message for "setup.py upload" without dist files (#21060)

bpo-31333: Fix typo in whatsnew/3.7.rst (GH-5744)

bpo-32869: Fix incorrect dst buffer size for MultiByteToWideChar (#5739)

This function expects the destination buffer size to be given
in wide characters, not bytes.

Correct venv doc (fix #32540) (#5736)

Clean up Travis config (GH-5727)

bpo-31333: Re-implement ABCMeta in C (#5273)

This adds C versions of methods used by ABCMeta that
improve performance of various ABC operations.

Add missing backslashes to get_externals.bat (GH-5731)

Improves the ability to build in CI (GH-5728)

bpo-30638: Add clinic to `make regen-all` (GH-5671)

Also, use PYTHON_FOR_REGEN for clinic and blake2s_impl.c rather than PYTHON_FOR_BUILD, and update .travis.yml to make use of the change.

Fix a typo in asyncio docs (#5721)

bpo-32852: Fix trace changing sys.argv to tuple. (GH-5692)

DOC: fix documentation for copyright and credits (GH-5706)

Adapt documentation for `copyright` and `credits` to reality.  Previously, the documentation implied that all each of `copyright`,
`credits`, and `license`, would print a message to call the object in order to see the full text.  In reality, only `license` exhibits this
behaviour, and `copyright` and `credit` print their full text either when printed, displayed, or called.

bpo-32860: Fix a missing asterisk in the documentation for glob.iglob() (GH-5712)

bpo-32604: Clean up created subinterpreters before runtime finalization. (gh-5709)

bpo-32436: Add docs for contextvars (#5685)

Correct the code example in Python 3.7's What's New (GH-5696)

There was an extra dash in the example for re.sub().

Update and sync importlib.resources documentation (#5694)

Update comment in posixmodule.c (GH-5681)

A closing parentheses was missing.

Signed-off-by: Ngie Cooper <yaneurabeya@gmail.com>

bpo-32841: Fix cancellation in awaiting asyncio.Condition (#5665)

Fix installation instructions for *nix (GH-5605)

Remove pkg_add -r python from FreeBSD installation section.
Moved to OpenBSD.

remove mercurial dot files (GH-5558)

bpo-27846: Delete incorrect note in base64 docs (GH-5666)

This note incorrectly stated that "Base64 has an expansion factor of 6
to 4" (it is actually 4 to 3). It was decided to remove the note.

bpo-31787: Skip refleak check when _hashlib is not available (GH-5660)

bpo-29803: remove a redandunt op and fix a comment in unicodeobject.c (#660)

bpo-31787: Prevent refleaks when calling __init__() more than once (GH-3995)

bpo-30579: Docs for dynamic traceback creation (GH-5653)

bpo-32370: Use the correct encoding for ipconfig output in the uuid module. (GH-5608)

bpo-32827: Fix usage of _PyUnicodeWriter_Prepare() in decoding errors handler. (GH-5636)

bpo-32837: IDLE - require encoding argument for textview.view_file. (GH-5646)

Using the system and place-dependent default encoding for open()
is a bad idea for IDLE's system and location-independent files.

bpo-32826: Add "encoding=utf-8" to open() in idle_test/test_help_about. (GH-5639)

GUI test test_file_buttons() only looks at initial ascii-only lines,
but failed on systems where open() defaults to 'ascii' because
readline() internally reads and decodes far enough ahead to encounter
a non-ascii character in CREDITS.txt.

bpo-32221: makeipaddr(): remove interface part + speedup (GH-5449) (#5449)

bpo-29248: Fix os.readlink() on Windows (GH-5577)

The PrintNameOffset field of the reparse data buffer
was treated as a number of characters instead of bytes.

Fix AppVeyor doc short-circuit (GH-5632)

bpo-32815: Improve docs on the subprocess API *text* parameter (GH-5622)

Describe *text* as an alias for *universal_newlines* in more places that people are likely to be referred to.

Add short-circuit for doc changes to AppVeyor (GH-5519)

bpo-32604: Make _xxsubinterpreters build on Windows (GH-5516)

This is not the ideal solution; this means that a test module is now
always included in the main python3x.dll.  However, we're already
including xxsubtype, so why not?

Code beautification using f-strings (#5618)

bpo-11015: Update test.support documentation (GH-5610)

bpo-32792: Preserve mapping order in ChainMap() (GH-5586)

bpo-32800: Update link to w3c doc for xml default namespaces (GH-5609)

The new link is given in a red box on the old page.

travis: Use -O3 option (GH-5599)

We don't use debugger on Travis.

bpo-30688: Import unicodedata only when needed. (GH-5606)

Importing unicodedata in sre_parse leads to failure in compilation.
unicodedata is unused during compilation, and is not compiled when this
file is imported. The error occurs when generating posix variables,
pprint is required. The dependency chain goes on like this:

sysconfig -> pprint -> re -> sre_compile -> sre_parse (this file)

This commits fixes compilation issues introduced by
2272cec13b53c405d86c45d404f035f201c0baef.
(Issue 30688, GH-5588)

bpo-30688: Support \N{name} escapes in re patterns. (GH-5588)

Co-authored-by: Jonathan Eunice <jonathan.eunice@gmail.com>

bpo-30157: Fix csv.Sniffer.sniff() regex pattern. (GH-5601)

Co-authored-by: Jake Davis <jcdavis@awedge.net>

Fix some warnings produced by different compilers. (#5593)

Make formatting of some return codes conforming to the general style. (#5587)