bpo-32996: Enhancements to What's New based on feedback (GH-7988)

Forward port rest of NEWS changes as of 3.7.0

bpo-33842: Remove tarfile.filemode (GH-7661)

bpo-33958: Doc: Remove unused variable in example (GH-7927)

Forward port 3.7.0 final changes

bpo-33715: Fix multiprocessing test_wait_result() (GH-7971)

Increase timeouts from 10 seconds to 1 minute.

bpo-33913: Fix test_multiprocessing_main_handling (GH-7972)

bpo-30339, bpo-33913:

* Increase timeout from 10 seconds to 1 minute in
  test_source_main_skipped_in_children source of
  test_multiprocessing_main_handling.
* Replace time.time() with time.monotonic().
* On timeout, include the duration in the error message.

bpo-25007: Add copy protocol support to zlib compressors and decompressors (GH-7940)

bpo-30356: Fix test_mymanager_context() of multiprocessing (GH-7968)

test_mymanager_context() now also accepts -SIGTERM as an expected
exitcode for the manager process. The process is killed with SIGTERM
if it takes longer than 1 second to stop.

Prevent upload script uploading from the wrong directory (GH-7953)

bpo-31647: Fix bpo typo in NEWS entry. (GH-7964)

bpo-33929: Fix regression in spawn_main() (#7962)

OpenProcess() creates a new handle that must be closed later.

bpo-33929: multiprocessing: fix handle leak on race condition (GH-7921)

Fix a race condition in Popen of
multiprocessing.popen_spawn_win32. The child process now duplicates
the read end of pipe instead of "stealing" it.

Previously, the read end of pipe was "stolen" by the child process,
but it leaked a handle if the child process had been terminated
before it could steal the handle from the parent process.

bpo-30317, test_multiprocessing: fix test_timeout() (GH-7957)

Tolerate a different of 50 ms, instead of just 30 ms, in
test_timeout() of multiprocessing tests. This change should fix such
test failure on Windows:

FAIL: test_timeout (test.test_multiprocessing_spawn.WithProcessesTestQueue)
Traceback (most recent call last):
  File "lib\test\_test_multiprocessing.py", line 753, in test_timeout
    self.assertGreaterEqual(delta, 0.170)
AssertionError: 0.16138982772827148 not greater than or equal to 0.17

bpo-24567: Random subnormal.diff (#7954)

Handle subnormal weights for choices()

bpo-33975: Avoid small type when running IDLE's htests. (GH-7944)

Import pyshell first in htest to call SetProcessDpiAwareness on Windows
before tkinter.Tk() is called for the htest. Apparently, 'root.destroy()'
undoes a previous 'root = Tk()'. Since IDLE unittests always destroy roots,
a unittest before an htest does not require anything more to work right.
Since part of the purpose of human-viewed tests is to determine that
widgets look right, it is important that they look the same for testing
as when running IDLE.

use rich markup for PEP reference (GH-7939)

it's better to refer to PEP with `pep` role in reStructuredText. It also links to the PEP page.

bpo-29514: Make magic number test work for candidates

bpo-33956: update vendored expat to 2.2.5 (GH-7925)

bpo-33873: Fix bug in `runtest.py` and add checks for invalid `-R` parameters (GH-7735)

Fix bug in `Lib/test/libregrtest/runtest.py` that makes running tests an extra time than the specified number of runs.

Add check for invalid --huntrleaks/-R parameters.

bpo-33957: Doc: Use better wording (GH-7912)

bpo-33924: Add missed mac-specific 'windows' to 'window' changes (GH-7920)

These should have been included in PR 7836.

Revert "bpo-33671: Add support.MS_WINDOWS and support.MACOS (GH-7800)" (GH-7919)

This reverts commit 8fbbdf0c3107c3052659e166f73990b466eacbb0.

bpo-33573: docs to suggest median() alternatives for non-numeric data (GH-7587)

bpo-33952: Fix typo in str.upper() documentation (GH-7898)

bpo-33943: Add references in the docs for logging.basicConfig (GH-7858)

Adds references to info about file modes, `time.strftime()`, string formatting
syntaxes, and logging levels.

bpo-33897: Add a 'force' keyword argument to logging.basicConfig(). (GH-7873)

bpo-33951: IDLE test_configdialog: call page.update in setUpClass (GH-7892)

This avoids a failure in at least one case when running only a single
test method rather than all tests in the module.

The issue came up when testing the following on Windows 10 Pro 64-bit:
HighPageTest.test_highlight_target_text_mouse

Enable GUI tests in VSTS Linux builds via xvfb-run (GH-7890)

bpo-33451: Close pyc files before calling PyEval_EvalCode() (GH-7884)

Directly executed pyc files were being kept open longer than necessary.

[master] bpo-33885: Replace "hook function" with "callable" (GH-7765) (#7886)

(cherry picked from commit c45cb479074b5d25f0d382d3109f527520a9f03c)

Co-authored-by: Andrés Delfino <adelfino@gmail.com>

bpo-33950: Remove IDLE htest spec for a deleted file. (GH-7881)

In configdialog, the custom tabbedpages widget was replaced
by ttk.notebook several months ago.

bpo-33887: Add TOC to Design and History FAQ(GH-7766)

bpo-33805: Improve error message of dataclasses.replace() (GH-7580)

Remove tp_print implementation (GH-7857)

bpo-33916: Fix bz2 and lzma init when called twice (GH-7843)

bz2, lzma: When Decompressor.__init__() is called twice, free the old
lock to not leak memory.

suppress compiler warnings in _cursesmodule.c (#7860)

bpo-33877: Remove UNIX qualification for running complete programs (GH-7744)

The statement is true for Windows (and macOS) also.

Add test coverage reporting for C files (GH-7773)

bpo-33671: Add support.MS_WINDOWS and support.MACOS (GH-7800)

* Add support.MS_WINDOWS: True if Python is running on Microsoft Windows.
* Add support.MACOS: True if Python is running on Apple macOS.
* Replace support.is_android with support.ANDROID
* Replace support.is_jython with support.JYTHON
* Cleanup code to initialize unix_shell

bpo-33932: Calling Py_Initialize() twice does nothing (GH-7845)

Calling Py_Initialize() twice does nothing, instead of failing with a
fatal error: restore the Python 3.6 behaviour.

bpo-33905: Add test for idlelib.stackview.StackBrowser. (GH-7852)

Increases coverage by 44%.

bpo-33912: Fix test_warnings when run with -Werror (GH-7839)

Add missing warning filter to test_exec_filename().

bpo-33716, test_concurrent_futures: increase timeout (GH-7828)

Increase the timeout from 1 min to 5 min.

Replace also time.time() with time.monotonic() for timeouts.

Clarified the tempfile.tempdir documentation (GH-7829)

 bpo-33924: Change IDLE mainmenu.menudefs key 'windows' to 'window' (GH-7836)

Every other menudef key is the lowercase version of the
corresponding main menu entry (in this case, 'Window').

bpo-33906: Rename idlelib.windows as window (#7833)

Match Window on the main menu and remove last plural module name.
Change imports, test, and attribute references to match new name.

bpo-33917: Fix and document idlelib/idle_test/template.py (GH-7830)

The revised file compiles, runs, and tests OK. idle_test/README.txt
explains how to use it to create new IDLE test files.

Fix compiling error when missing gdbm version macros (GH-7823)

bpo-33499: PYTHONPYCACHEPREFIX What's New entry (GH-7749)

Initial What's New in Python 3.8 entry for `PYTHONPYCACHEPREFIX`.

bpo-33746: Fix test_unittest.testRegisterResult() in verbose mode (GH-7799)

Only make sure that the result is in unittest.signals._results, don't
check the full content of unittest.signals._results.

support._run_suite() uses TextTestRunner in verbose mode, but
TextTestRunner.run() calls registerResult(result) which made the test
fail with "odd object in result set".

Call also removeResult() to restore unittest.signals._results to
avoid test side effect.

bpo-33904:  In IDLE's rstrip, rename class RstripExtension as Rstrip (GH-7811)

bpo-33907: Rename an IDLE module and classes. (GH-7810)

Fix-up class name duplication in PR #7807. Combined effect is that
module calltips and its class CallTips are now calltip and Calltip.
In module calltip_w class CallTip is now CalltipWindow.

bpo-33908: Remove two superfluous assignments (GH-7116)

Signed-off-by: Srinivas Reddy Thatiparthy <thatiparthysreenivas@gmail.com>

bpo-33907: Rename an IDLE module and class. (GH-7807)

Improve consistency and appearance. Module idlelib.calltips is now calltip.
Class idlelib.calltip_w.CallTip is now Calltip.

bpo-33855: Still more edits and minimal tests for IDLE  (GH-7784)

Part 3 of 3, continuing PR #7689. This covers 14 idlelib modules and their tests,
rpc to zoomheight except for run (already done) and tooltip (being done separately).

bpo-33901: Add _gdbm._GDBM_VERSION (GH-7794)

* Fix also PyInit__gdbm() to catch errors.
* test.pythoninfo: add gdbm.version
* test_dbm_gnu now logs GDBM_VERSION when run in verbose mode.

* pythoninfo: rename function to collect_gdbm()

bpo-30345: Add -g to LDFLAGS for LTO (GH-7709)

Add -g to LDFLAGS when compiling with LTO to get debug symbols.

bpo-33901: Better test_dbm_gnu.test_reorganize() fix (GH-7795)

Fix test_dbm_gnu.test_reorganize() on macOS with gdbm 1.15: add a
larger value to make sure that the file size changes.

bpo-33671 / shutil.copyfile: use memoryview() with dynamic size on Windows (#7681)

bpo-33671
* use memoryview() with size == file size on Windows, see https://github.com/python/cpython/pull/7160#discussion_r195405230
* release intermediate (sliced) memoryview immediately
* replace "OSX" occurrences with "macOS"
* add some unittests for copyfileobj()

bpo-33365: print the header values beside the keys (GH-6611)

with debuglevel=1 only the header keys got printed. With
this change the header values get printed as well and the single
header entries get '\n' as a separator.

bpo-33901: Fix test_dbm_gnu for gdbm 1.15 (GH-7791)

Using gdbm 1.15, creating a database creates a file of 16 MiB. Adding
a small entry and then modifying the small entry doesn't change the
file size. Modify test_dbm_gnu to be less strict: allow that the file
size doesn't change.

Use more specific asserts in dbm tests. (GH-7786)

This may help to investigate bpo-33901.

Change tp_size to tp_basicsize in comment and realign the comments (GH-6775)

bpo-33843: Remove deprecated stuff in cgi module (GH-7662)

bpo-33630: Fix using of freed memory in old versions of glicb for posix_spawn(). (GH-7685)

bpo-33663: Convert content length to string before putting to header (GH-7754)

bpo-33866: enum: Stop using OrderedDict (GH-7698)

bpo-33855: More edits and new minimal tests for IDLE (GH-7761)

Part 2 of 3.  Continues PR #7689, changeset ee5ef30.
Edit and add tests for 18 modules, help_about to replace and run.

bpo-33892: Doc: Use gender neutral words (GH-7770)

bpo-33856: Add "help" to the welcome message of IDLE (GH-7755)

Make it the same as when one runs 'python'.

bpo-33861: Minor improvements of tests for os.path. (GH-7715)

* Test exists(), lexists(), isdir(), isfile(), islink(), ismount()
  with bytes paths.
* Remove unneeded silencing DeprecationWarning for ismount() with
  bytes path.
* Test common functions with unencodable and undecodable paths.
* Minor clean up and refactoring.

bpo-33859: Fix spelling mistakes in docs. (GH-7691)

bpo-33499: Add PYTHONPYCACHEPREFIX env var for alt bytecode cache location. (GH-6834)

In some development setups it is inconvenient or impossible to write bytecode
caches to the code tree, but the bytecode caches are still useful. The
PYTHONPYCACHEPREFIX environment variable allows specifying an alternate
location for cached bytecode files, within which a directory tree mirroring the code
tree will be created. This cache tree is then used (for both reading and writing)
instead of the local `__pycache__` subdirectory within each source directory.

Exposed at runtime as sys.pycache_prefix (defaulting to None), and can
be set from the CLI as "-X pycache_prefix=path".

Patch by Carl Meyer.

bpo-33571: Improve the glossary description for '...' prompt (GH-6971)

Mention that it can be triggered by triple quotes and after specifying decorators.

bpo-33836: Recommend keyword-only param for memoization in FAQ (GH-7687)

Update the the signature in the code example to make `_cache` a keyword-only parameter.

Use singular, we are talking about the access (GH-7727)

bpo-33873: regrtest: Add warning on -R 1:3 (GH-7736)

regrtest: Add warning when using less than 3 warmup runs like -R 1:3.

Add missing va_end() calls in PC/launcher.c (GH-7690)

bpo-33855: Minimally test all IDLE modules. (GH-7689)

Create a template for minimally testing a tkinter-using module by importing it and instantiating its class(es).  Add a test file for all non-startup IDLE modules.  Edit existing files and update coverage.  This is part 1 of 3, covering the 21 autocomplete to help modules and touching 33 idlelib files.

bpo-33824, bpo-32030: Fix pymain_read_conf() (GH-7712)

Fix "LC_ALL=C python3.7 -V": reset properly the command line parser
when the encoding changes after reading the Python configuration.

Fix pymain_read_conf(): use memset(0) to reset properly cmdline.

Revert "bpo-32962: Fix test_gdb failure in debug build with -mcet -fcf-protection -O0 (GH-6754)" (#7723)

This reverts commit 9b7c74ca32d1bec7128d550a9ab1b2ddc7046287.

bpo-33854: Add PEP 461 title to 'See also' note (GH-7688)

bpo-33847: Add '@' operator entry to index (GH-7669)

bpo-33852: Remove misplaced parentheses around 'list'. (GH-7672)

'expresson list' refers to the grammar term 'expression_list' in the subscription production.

bpo-32962: Fix test_gdb failure in debug build with -mcet -fcf-protection -O0 (#6754)

When Python is built with the intel control-flow protection flags,
-mcet -fcf-protection, gdb is not able to read the stack without
actually jumping inside the function. This means an extra
'next' command is required to make the $pc (program counter)
enter the function and make the stack of the function exposed to gdb.

gitattribute: Mark generated files (GH-7619)

Marked files are collapsed by default in Github pull request.
https://github.com/github/linguist#generated-code

bpo-29456: Fix bugs in unicodedata.normalize: u1176, u11a7 and u11c3 (GH-1958)

Hangul composition check boundaries are wrong for the second character
([0x1161, 0x1176) instead of [0x1161, 0x1176]) and third character ((0x11A7, 0x11C3)
instead of [0x11A7, 0x11C3]).

bpo-33818: PyExceptionClass_Name() will now return "const char *". (GH-7581)

bpo-33851: Fix ast.get_docstring() for a node that lacks a docstring. (GH-7682)

bpo-17045:  Improve C-API doc for PyTypeObject. (gh-7413)

The existing doc had a number of info gaps and was a little hard to use.  This patch provides several quick-reference tables as well as examples.

bpo-32962: python-gdb catchs UnicodeDecodeError (GH-7693)

python-gdb now catchs UnicodeDecodeError exceptions when calling
string().

bpo-32962: python-gdb catchs ValueError on read_var() (GH-7692)

python-gdb now catchs ValueError on read_var(): when Python has no
debug symbols for example.

bpo-33718: regrtest: use format_duration() to display failed tests (GH-7686)

* Enhance also format_duration(): work on integers and rounds towards
  +infinity (math.ceil).
* Write unit tests on format_duration()

bpo-19382: Adding test cases for module tabnanny (GH-851)

Testing strategy: whitebox.

bpo-33615: Re-enable subinterpreter tests. (#7552)

All the subinterpreter tests were disabled in gh-7513. This commit re-enables them, but leaves one bad test disabled. The test is partly causing problems because it makes assumptions about the availability of a high-level interpreters module (see PEP 554). So I'm disabling the test until such a high-level module is available.

bpo-31378: Document sqlite3.OperationalError exception (GH-7677)

bpo-33828: Add missing versionchanged note for string.Formatter. (GH-7668)

string.Formatter auto-numbering feature was added in 3.4 and there
is no versionchanged note in its documentation, making the documentation
ambiguous about which version the feature is available.

Fixes upload script to always run commands even when previous ones fail (GH-7670)

bpo-33671: efficient zero-copy for shutil.copy* functions (Linux, OSX and Win) (#7160)

* have shutil.copyfileobj use sendfile() if possible

* refactoring: use ctx manager

* add test with non-regular file obj

* emulate case where file size can't be determined

* reference _copyfileobj_sendfile directly

* add test for offset() at certain position

* add test for empty file

* add test for non regular file dst

* small refactoring

* leave copyfileobj() alone in order to not introduce any incompatibility

* minor refactoring

* remove old test

* update docstring

* update docstring; rename exception class

* detect platforms which only support file to socket zero copy

* don't run test on platforms where file-to-file zero copy is not supported

* use tempfiles

* reset verbosity

* add test for smaller chunks

* add big file size test

* add comment

* update doc

* update whatsnew doc

* update doc

* catch Exception

* remove unused import

* add test case for error on second sendfile() call

* turn docstring into comment

* add one more test

* update comment

* add Misc/NEWS entry

* get rid of COPY_BUFSIZE; it belongs to another PR

* update doc

* expose posix._fcopyfile() for OSX

* merge from linux branch

* merge from linux branch

* expose fcopyfile

* arg clinic for the win implementation

* convert path type to path_t

* expose CopyFileW

* fix windows tests

* release GIL

* minor refactoring

* update doc

* update comment

* update docstrings

* rename functions

* rename test classes

* update doc

* update doc

* update docstrings and comments

* avoid do import nt|posix modules if unnecessary

* set nt|posix modules to None if not available

* micro speedup

* update description

* add doc note

* use better wording in doc

* rename function using 'fastcopy' prefix instead of 'zerocopy'

* use :ref: in rst doc

* change wording in doc

* add test to make sure sendfile() doesn't get called aymore in case it doesn't support file to file copies

* move CopyFileW in _winapi and actually expose CopyFileExW instead

* fix line endings

* add tests for mode bits

* add docstring

* remove test file mode class; let's keep it for later when Istart addressing OSX fcopyfile() specific copies

* update doc to reflect new changes

* update doc

* adjust tests on win

* fix argument clinic error

* update doc

* OSX: expose copyfile(3) instead of fcopyfile(3); also expose flags arg to python

* osx / copyfile: use path_t instead of char

* do not set dst name in the OSError exception in order to remain consistent with platforms which cannot do that (e.g. linux)

* add same file test

* add test for same file

* have osx copyfile() pre-emptively check if src and dst are the same, otherwise it will return immedialtey and src file content gets deleted

* turn PermissionError into appropriate SameFileError

* expose ERROR_SHARING_VIOLATION in order to raise more appropriate SameFileError

* honour follow_symlinks arg when using CopyFileEx

* update Misc/NEWS

* expose CreateDirectoryEx mock

* change C type

* CreateDirectoryExW actual implementation

* provide specific makedirs() implementation for win

* fix typo

* skeleton for SetNamedSecurityInfo

* get security info for src path

* finally set security attrs

* add unit tests

* mimick os.makedirs() behavior and raise if dst dir exists

* set 2 paths for OSError object

* set 2 paths for OSError object

* expand windows test

* in case of exception on os.sendfile() set filename and filename2 exception attributes

* set 2 filenames (src, dst) for OSError in case copyfile() fails on OSX

* update doc

* do not use CreateDirectoryEx() in copytree() if source dir is a symlink (breaks test_copytree_symlink_dir); instead just create a plain dir and remain consistent with POSIX implementation

* use bytearray() and readinto()

* use memoryview() with bytearray()

* refactoring + introduce a new _fastcopy_binfileobj() fun

* remove CopyFileEx and other C wrappers

* remove code related to CopyFileEx

* Recognize binary files in copyfileobj()
...and use fastest _fastcopy_binfileobj() when possible

* set 1MB copy bufsize on win; also add a global _COPY_BUFSIZE variable

* use ctx manager for memoryview()

* update doc

* remove outdated doc

* remove last CopyFileEx remnants

* OSX - use fcopyfile(3) instead of copyfile(3)

...as an extra safety measure: in case src/dst are "exotic" files (non
regular or living on a network fs etc.) we better fail on open() instead
of copyfile(3) as we're not quite sure what's gonna happen in that
case.

* update doc