bpo-37851: faulthandler allocates its stack on demand (GH-15358)

The faulthandler module no longer allocates its alternative stack at
Python startup. Now the stack is only allocated at the first
faulthandler usage.

faulthandler no longer ignores memory allocation failure when
allocating the stack. sigaltstack() failure now raises an OSError
exception, rather than being ignored.

The alternative stack is no longer used if sigaction() is
not available. In practice, sigaltstack() should only be available
when sigaction() is avaialble, so this change should have no effect
in practice.

faulthandler.dump_traceback_later() internal locks are now only
allocated at the first dump_traceback_later() call, rather than
always being allocated at Python startup.

bpo-37823: Fix open() link in telnetlib doc (GH-15281)

Fixed wrong link to Telnet.open() method in telnetlib documentation.

bpo-37531: Enhance regrtest multiprocess timeout (GH-15345)

* Write a message when killing a worker process
* Put a timeout on the second popen.communicate() call
  (after killing the process)
* Put a timeout on popen.wait() call
* Catch popen.kill() and popen.wait() exceptions

Unmark files as executable that can't actually be executed. (GH-15353)

There are plenty of legitimate scripts in the tree that begin with a
`#!`, but also a few that seem to be marked executable by mistake.

Found them with this command -- it gets executable files known to Git,
filters to the ones that don't start with a `#!`, and then unmarks
them as executable:

    $ git ls-files --stage \
      | perl -lane 'print $F[3] if (!/^100644/)' \
      | while read f; do
          head -c2 "$f" | grep -qxF '#!' \
          || chmod a-x "$f"; \
        done

Looking at the list by hand confirms that we didn't sweep up any
files that should have the executable bit after all.  In particular

 * The `.psd` files are images from Photoshop.

 * The `.bat` files sure look like things that can be run.
   But we have lots of other `.bat` files, and they don't have
   this bit set, so it must not be needed for them.

Automerge-Triggered-By: @benjaminp

bpo-35518: Skip test that relies on a deceased network service. (GH-15349)

If this service had thoroughly vanished, we could just ignore the
test until someone gets around to either recreating such a service
or redesigning the test to somehow work locally.  The
`support.transient_internet` mechanism catches the failure to
resolve the domain name, and skips the test.

But in fact the domain snakebite.net does still exist, as do its
nameservers -- and they can be quite slow to reply.  As a result
this test can easily take 20-30s before it gets auto-skipped.

So, skip the test explicitly up front.

abstract.c should not be executable. (GH-15348)

Remove a dead comment from ossaudiodev.c (#15346)

bpo-32793: Fix a duplicate debug message in smtplib (GH-15341)

_get_socket() already prints a debug message for the host and port.

https://bugs.python.org/issue32793

Automerge-Triggered-By: @maxking

bpo-15913: Implement PyBuffer_SizeFromFormat() (GH-13873)

Implement PyBuffer_SizeFromFormat() function (previously
documented but not implemented): call struct.calcsize().

bpo-37732: Fix GCC warning in _PyObject_Malloc() (GH-15333)

pymalloc_alloc() now returns directly the pointer, return NULL on
memory allocation error.

allocate_from_new_pool() already uses NULL as marker for "allocation
failed".

bpo-37868: Improve is_dataclass for instances. (GH-15325)

Minor documentation fixes on library/enum (GH-15234)

* Minor documentation fixes on library/enum

Delete stale comment in Python/getopt.c. (GH-14719)

Revert "bpo-37788: Fix a reference leak if a thread is not joined (GH-15228)" (GH-15338)

This reverts commit d3dcc92778807ae8f7ebe85178f36a29711cd478.

bpo-37788: Fix a reference leak if a thread is not joined (GH-15228)

Add threading.Thread.__del__() method to ensure that the thread state
lock is removed from the _shutdown_locks list when a thread
completes.

Remove 'unstable' warning for Windows Store package in docs (GH-15334)

bpo-36266: Add module name in ImportError when DLL not found on Windows (GH-15180)

Insert a missing close parenthesis (GH-15316)

fix link to time function from time_ns doc (GH-15285)

Because mod, func, class, etc all share one namespace, :func:time creates a link to the time module doc page rather than the time.time function.

Add a minor `Fraction.__hash__()` optimization (GH-15313)

* Add a minor `Fraction.__hash__` optimization that got lost in the shuffle.

Document the optimizations.

bpo-37540: vectorcall: keyword names must be strings (GH-14682)

The fact that keyword names are strings is now part of the vectorcall and `METH_FASTCALL` protocols. The biggest concrete change is that `_PyStack_UnpackDict` now checks that and raises `TypeError` if not.

CC @markshannon @vstinner

https://bugs.python.org/issue37540

bpo-37863: Optimize Fraction.__hash__() (#15298)

Indent code inside if block. (GH-15284)

Without indendation, seems like strcpy line is parallel to `if` condition.

bpo-37207: enable vectorcall for type.__call__ (GH-14588)

Base PR for other PRs that want to play with `type.__call__` such as #13930 and #14589.

The author is really @markshannon I just made the PR.

https://bugs.python.org/issue37207

Automerge-Triggered-By: @encukou

Replace usage of the obscure PEM_read_bio_X509_AUX with the more standard PEM_read_bio_X509 (GH-15303)

X509_AUX is an odd, note widely used, OpenSSL extension to the X509 file format. This function doesn't actually use any of the extra metadata that it parses, so just use the standard API.

Automerge-Triggered-By: @tiran

bpo-37760: Avoid cluttering work tree with downloaded Unicode files. (GH-15128)

bpo-37775: Update compileall doc for invalidation_mode parameter (GH-15148)

bpo-21131: Fix faulthandler.register(chain=True) stack (GH-15276)

faulthandler now allocates a dedicated stack of SIGSTKSZ*2 bytes,
instead of just SIGSTKSZ bytes. Calling the previous signal handler
in faulthandler signal handler uses more than SIGSTKSZ bytes of stack
memory on some platforms.

bpo-37811: FreeBSD, OSX: fix poll(2) usage in sockets module (GH-15202)

FreeBSD implementation of poll(2) restricts the timeout argument to be
either zero, or positive, or equal to INFTIM (-1).

Unless otherwise overridden, socket timeout defaults to -1. This value
is then converted to milliseconds (-1000) and used as argument to the
poll syscall. poll returns EINVAL (22), and the connection fails.

This bug was discovered during the EINTR handling testing, and the
reproduction code can be found in
https://bugs.python.org/issue23618 (see connect_eintr.py,
attached). On GNU/Linux, the example runs as expected.

This change is trivial:
If the supplied timeout value is negative, truncate it to -1.

bpo-37826: Document exception chaining in Python tutorial for errors. (GH-15243)

https://bugs.python.org/issue37826

bpo-37849: IDLE: fix completion window positioning above line (GH-15267)

bpo-36030: Improve performance of some tuple operations (GH-12052)

bpo-37531: Fix regrtest timeout for subprocesses (GH-15072)

Co-Authored-By: Joannah Nanjekye <joannah.nanjekye@ibm.com>

bpo-36502: Correct documentation of str.isspace() (GH-15019)

The documented definition was much broader than the real one:
there are tons of characters with general category "Other",
and we don't (and shouldn't) treat most of them as whitespace.

Rewrite the definition to agree with the comment on
_PyUnicode_IsWhitespace, and with the logic in makeunicodedata.py,
which is what generates that function and so ultimately governs.

Add suitable breadcrumbs so that a reader who wants to pin down
exactly what this definition means (what's a "bidirectional class"
of "B"?) can do so.  The `unicodedata` module documentation is an
appropriate central place for our references to Unicode's own copious
documentation, so point there.

Also add to the isspace() test a thorough check that the
implementation agrees with the intended definition.

bpo-37738: Fix curses addch(str, color_pair) (GH-15071)

Fix the implementation of curses addch(str, color_pair): pass the
color pair to setcchar(), instead of always passing 0 as the color
pair.

bpo-37681: no_sanitize_thread support from GCC 5.1 (GH-15096)

Fix the following warning with GCC 4.8.5:
Objects/obmalloc.c: warning: ‘no_sanitize_thread’ attribute directive ignored

bpo-37337: Fix a GCC 9 warning in Objects/descrobject.c (GH-14814)

Commit b1263d5a60d3f7ab02dd28409fff59b3815a3f67 causes GCC 9.1.0 to
give a warning in Objects/descrobject.c.

bpo-37760: Factor out standard range-expanding logic in makeunicodedata. (GH-15248)

Much like the lower-level logic in commit ef2af1ad4, we had
4 copies of this logic, written in a couple of different ways.
They're all implementing the same standard, so write it just once.

bpo-37256: Wording in Request class docs (#14792)

* bpo-37256: Wording in Request class docs

* 📜🤖 Added by blurb_it.

* Update Misc/NEWS.d/next/Documentation/2019-07-16-14-48-12.bpo-37256.qJTrBb.rst

Co-Authored-By: Kyle Stanley <aeros167@gmail.com>

bpo-25172: Add test for crypt ImportError on Windows (GH-15252)

bpo-37689: add Path.is_relative_to() method (GH-14982)

bpo-37814: Document the empty tuple type annotation syntax (GH-15208)

https://bugs.python.org/issue37814:

> The empty tuple syntax in type annotations, `Tuple[()]`, is not obvious from the examples given in the documentation (I naively expected `Tuple[]` to work); it has been documented in PEP 484 and in mypy, but not in the documentation for the typing module.

https://bugs.python.org/issue37814

bpo-37583: Add err 113 to support.get_socket_conn_refused_errs() (GH-14729)

Add error number 113 EHOSTUNREACH to get_socket_conn_refused_errs()
of test.support.

bpo-37841: Remove python_uwp dependency on msvcp140.dll (GH-15253)

bpo-37760: Constant-fold some old options in makeunicodedata. (GH-15129)

The `expand` option was introduced in 2000 in commit fad27aee1.
It appears to have been always set since it was committed, and
what it does is tell the code to do something essential.  So,
just always do that, and cut the option.

Also cut the `linebreakprops` option, which isn't consulted anymore.

bpo-37758: Clean out vestigial script-bits from test_unicodedata. (GH-15126)

This file started life as a script, before conversion to a
`unittest` test file.  Clear out some legacies of that conversion
that are a bit confusing about how it works.

Most notably, it's unlikely there's still a good reason to try
to recover from `unicodedata` failing to import -- as there was
when that logic was first added, when the module was very new.
So take that out entirely.  Keep `self.db` working, though, to
avoid a noisy diff.

bpo-37760: Mark all generated Unicode data headers as generated. (GH-15171)

This causes them to be collapsed by default in diffs shown on GitHub.

https://bugs.python.org/issue37760

Automerge-Triggered-By: @benjaminp

bpo-37760: Factor out the basic UCD parsing logic of makeunicodedata. (GH-15130)

There were 10 copies of this, and almost as many distinct versions of
exactly how it was written.  They're all implementing the same
standard.  Pull them out to the top, so the more interesting logic
that remains becomes easier to read.

bpo-37759: Second round of edits to Whatsnew 3.8 (GH-15204)

Remove versioned executables from non-APPX packages (GH-15237)

bpo-37354: Sign Activate.ps1 for release (GH-15235)

bpo-37354: Make Powershell Activate.ps1 script static to allow for signing (GH-14967)

- Remove use of replacement text in the script
- Make use of the pyvenv.cfg file for prompt value.
- Add parameters to allow more flexibility
- Make use of the current path, and assumptions about where env puts things, to compensate
- Make the script a bit more 'idiomatic' Powershell
- Add script documentation (Get-Help .\.venv\Scripts\Activate.ps1 shows PS help page now

bpo-37804: Remove the deprecated method threading.Thread.isAlive() (GH-15225)

Fix docs for assert_called and assert_called_once (#15197)

bpo-37819: Add Fraction.as_integer_ratio() (GH-15212)

bpo-32178: Fix IndexError trying to parse 'To' header starting with ':'. (GH-15044)

This should fix the IndexError trying to retrieve `DisplayName.display_name` and `DisplayName.value` when the `value` is basically an empty string.

https://bugs.python.org/issue32178

Delete leftover clinic-generated file for C zipimport. (GH-15174)

bpo-32912: Revert SyntaxWarning on invalid escape sequences. (GH-15195)

DeprecationWarning will continue to be emitted for invalid escape
sequences in string and bytes literals just as it did in 3.7.

SyntaxWarning may be emitted in the future. But per mailing list
discussion, we don't yet know when because we haven't settled on how to
do so in a non-disruptive manner.

(Applies 4c5b6bac2408f879231c7cd38d67657dd4804e7c to the master branch).
(This is https://github.com/python/cpython/pull/15142 for master/3.9)

https://bugs.python.org/issue32912

Automerge-Triggered-By: @gpshead

bpo-37642: Update acceptable offsets in timezone (GH-14878)

This fixes an inconsistency between the Python and C implementations of
the datetime module. The pure python version of the code was not
accepting offsets greater than 23:59 but less than 24:00. This is an
accidental legacy of the original implementation, which was put in place
before tzinfo allowed sub-minute time zone offsets.

GH-14878

bpo-36511: Fix failures in Windows ARM32 buildbot (GH-15181)

bpo-37795: Capture DeprecationWarnings in the test suite (GH-15184)

bpo-37268: test_parser fails when run with -Werror (GH-15183)

Use warnings.filterwarnings() when importing the deprecated parser
module.

@pablogsal

https://bugs.python.org/issue37268

Automerge-Triggered-By: @pablogsal

bpo-25172: Raise appropriate ImportError msg when crypt module used on Windows (GH-15149)

bpo-37587: optimize json.loads (GH-15134)

Use a tighter scope temporary variable to help register allocation.
1% speedup for large string.

Use PyDict_SetItemDefault() for memoizing keys.
At most 4% speedup when the cache hit ratio is low.

bpo-35892: Add usage note to mode() (GH-15122)

bpo-37685: Use singletons ALWAYS_EQ and NEVER_EQ in more tests. (GH-15167)

bpo-37685: Fixed __eq__, __lt__ etc implementations in some classes. (GH-14952)

They now return NotImplemented for unsupported type of the other operand.

bpo-34775: Return NotImplemented in PurePath division. (GH-9509)

bpo-37734: Remove unnecessary brace escapes in PC/layout script (GH-15165)

bpo-37778: Fixes the icons used for file associations to the Microsoft Store package (GH-15150)

bpo-37734: Fix use of registry values to launch Python from Microsoft Store app (GH-15146)

Update pickle.rst (GH-14128)

* Edits for readability and grammar

bpo-37004: Documented asymmetry of string arguments in difflib.SequenceMatcher for ratio method (GH-13482)

https://bugs.python.org/issue37004

bpo-37646:  Document that eval() cannot access nested scopes (GH-15117)

bpo-34488: optimize BytesIO.writelines() (GH-8904)

Avoid the creation of unused int object for each line.

Make importlib.metadata a simple module (#15153)

Improve signal documentation (GH-14274)

* add a missing ``.. availability::`` reST explicit markup;
* more consistent "see man page" sentences.

bpo-37759:  First round of major edits to Whatsnew 3.8 (GH-15127)

bpo-36419: IDLE - Refactor autocompete and improve testing. (#15121)

Adds Tim Hopper and Dan Lidral-Porter to ACKS (GH-15101)

Tim and Dan were authors for GH-11847

bpo-37748: Re-order the Run menu. (GH-15115)

Put the most common choice, Run Module, at the top.

Update itertools docs (GH-15114)

* Remove suggestion that is less relevant now that global lookups are much faster
* Add link for installing the recipes

bpo-28292: Mark calendar.py helper functions as private. (GH-15113)

bpo-36324: Update comments to include the target hash sums (GH-15110)

bpo-37706: IDLE - fix sidebar code bug and drag tests (GH-15103)

Convert mouse y to line number in the sidebar rather than the text.

bpo-37648: Fixed minor inconsistency in some __contains__. (GH-14904)

The collection's item is now always at the left and
the needle is on the right of ==.

bpo-37685: Fixed comparisons of datetime.timedelta and datetime.timezone. (GH-14996)

There was a discrepancy between the Python and C implementations.

Add singletons ALWAYS_EQ, LARGEST and SMALLEST in test.support
to test mixed type comparison.

Correct description of HTTP status code 308. (GH-15078)

Permanent redirect was explained as a temporary redirect.

bpo-18049: Define THREAD_STACK_SIZE for AIX to pass default recursion limit test (GH-15081)

* Define THREAD_STACK_SIZE for AIX to pass default recursion limit test

bpo-37444: Update differing exception between builtins and importlib (GH-14869)

Imports now raise `TypeError` instead of `ValueError` for relative import failures. This makes things consistent between `builtins.__import__` and `importlib.__import__` as well as using a more natural import for the failure.

https://bugs.python.org/issue37444

Automerge-Triggered-By: @brettcannon

bpo-30974: Change os.path.samefile docstring to match docs (GH-7337)

bpo-20523: pdb searches for .pdbrc in ~ instead of $HOME (GH-11847)

Previously pdb checked the $HOME environmental variable
to find the user .pdbrc. If $HOME is not set, the user
.pdbrc would not be found.

Change pdb to use `os.path.expanduser('~')` to determine
the user's home directory. Thus, if $HOME is not set (as
in tox or on Windows), os.path.expanduser('~') falls
back on other techniques for locating the user's home
directory.

This follows pip's implementation for loading .piprc.

Co-authored-by: Dan Lidral-Porter <dlp@aperiodic.org>

bpo-36590: Add Bluetooth RFCOMM and support for Windows. (GH-12767)

Support for RFCOMM, L2CAP, HCI, SCO is based on the BTPROTO_* macros
being defined. Winsock only supports RFCOMM, even though it has a
BTHPROTO_L2CAP macro. L2CAP support would build on windows, but not
necessarily work.

This also adds some basic unittests for constants (all of which existed
prior to this commit, just not on windows) and creating sockets.

pair: Nate Duarte <slacknate@gmail.com>

bpo-37742: Return the root logger when logging.getLogger('root') is c… (#15077)

* bpo-37742: Return the root logger when logging.getLogger('root') is called.

* Added type check guard on logger name in logging.getLogger() and refined a test.

bpo-36487: Make C-API docs  clear about what the main interpreter is. (gh-12666)

bpo-37729: gc: write stats at once (GH-15050)

gc used several PySys_WriteStderr() calls to write stats.
It caused stats mixed up when stderr is shared by multiple
processes like this:

  gc: collecting generation 2...
  gc: objects in each generation: 0 0gc: collecting generation 2...
  gc: objects in each generation: 0 0 126077 126077
  gc: objects in permanent generation: 0

  gc: objects in permanent generation: 0
  gc: done, 112575 unreachable, 0 uncollectablegc: done, 112575 unreachable, 0 uncollectable, 0.2223s elapsed
  , 0.2344s elapsed

bpo-16970: Adding error message for invalid args (GH-14844)

BPO -16970: Adding error message for invalid args

Applied the patch argparse-v2 patch issue 16970, ran patch check and the test suite, test_argparse with 0 errors

https://bugs.python.org/issue16970

bpo-37726: Prefer argparse over getopt in stdlib tutorial (#15052)

bpo-36302: Sort list of sources (GH-12341)

When building packages (e.g. for openSUSE Linux)
(random) filesystem order of input files
influences ordering of functions in the output .so files.
Thus without the patch, builds (in disposable VMs) would usually differ.

Without this patch, all callers have to be patched individually
https://github.com/dugsong/libdnet/pull/42
https://github.com/sass/libsass-python/pull/212
https://github.com/tahoe-lafs/pycryptopp/pull/41
https://github.com/yt-project/yt/pull/2206
https://github.com/pyproj4/pyproj/pull/142
https://github.com/pytries/datrie/pull/49
https://github.com/Roche/pyreadstat/pull/37
but that is an infinite effort.

See https://reproducible-builds.org/ for why this matters.

bpo-18049: Sync thread stack size to main thread size on macOS (GH-14748)

This changeset increases the default size of the stack
for threads on macOS to the size of the stack
of the main thread and reenables the relevant
recursion test.