Merge #20206, #5803: more efficient algorithm that doesn't truncate output.

(No idea why test_tarfile is listed as changed...it isn't.)

#20206, #5803: more efficient algorithm that doesn't truncate output.

This fixes an edge case (20206) where if the input ended in a character
needing encoding but there was no newline on the string, the last byte
of the encoded character would be dropped.  The fix is to use a more
efficient algorithm, provided by Serhiy Storchaka (5803), that does not
have the bug.

Test the open of non-exitent tarfile in all modes.

Test the open of non-exitent tarfile in all modes.

fix refleak in the error case

Fixed typo.

Fixed typo.

merge from 3.3

Issue #19082: Working xmlrpc.server and xmlrpc.client examples. Both in modules and in documentation.

Issue #19082: Working xmlrpc.server and xmlrpc.client examples. Both in modules and in documentation.

Issue #20228: Argument Clinic now has special support for class special
methods.

Minor doc fix in Clinic howto.

Issue #20214: Fixed a number of small issues and documentation errors in
Argument Clinic (see issue for details).

Issue #20196: Fixed a bug where Argument Clinic did not generate correct
parsing code for functions with positional-only parameters where all arguments
are optional.

Issue19995: fixed typo; switched from test.support.check_warnings to assertWarns

Issue #20138: The wsgiref.application_uri() and wsgiref.request_uri()
functions now conform to PEP 3333 when handle non-ASCII URLs.

Issue #20138: The wsgiref.application_uri() and wsgiref.request_uri()
functions now conform to PEP 3333 when handle non-ASCII URLs.

Fixed incorrect merge in 1638360eea41.

Issue19995: issue deprecation warning for non-integer values to %c, %o, %x, %X

merge with 3.3

merge heads

Doc: update Sphinx toolchain also in make.bat

merge from 3.3

Issue #19092 - Raise a correct exception when cgi.FieldStorage is given an
invalid file-obj. Also use __bool__ to determine the bool of the FieldStorage
object.

Issue #19092 - Raise a correct exception when cgi.FieldStorage is given an
invalid file-obj. Also use __bool__ to determine the bool of the FieldStorage
object.

Merge with 3.3

Update Sphinx toolchain.

Fix minor markup bug: sub-toctrees should not have :numbered:

tkinter.Text.debug() now always returns 0/1.
Fixed a regression inroduced in issue #6157.

tkinter.Text.debug() now always returns 0/1.
Fixed a regression inroduced in issue #6157.

Fixed the serve.py script.
The application object must return an iterable yielding bytestrings.

Fixed the serve.py script.
The application object must return an iterable yielding bytestrings.

Fix ResourceWarning in test_asyncio.test_windows_events:
close the write end of the socket pair

Cleanup properly proactor event loop

* store the "self reading" future when the "self pipe" is closed (when the
  event loop is closed)
* store "accept" futures to cancel them when we stop serving
* close the "accept socket" if the "accept future" is cancelled

Fix many warnings which can be seen when unit tests are run in verbose mode.

Try to fix some ttk tests.  Error messages were changed in 8.6b3.

Try to fix some ttk tests.  Error messages were changed in 8.6b3.

asyncio: Minimal pty support in UNIX read pipe, by Jonathan Slenders.

asyncio: Fix race in subprocess transport, by Victor Stinner.

asyncio: Tiny cleanup in streams.py.

asyncio: Don't special-case GeneratorExit in Condition.wait().

null merge from 3.3

fix build when SCHED_SPORADIC is defined (closes #20217)

Issue #19804: The test_find_mac test in test_uuid is now skipped if the
ifconfig executable is not available.

Issue #19804: The test_find_mac test in test_uuid is now skipped if the
ifconfig executable is not available.

Remove an unneeded cast.

Issue #19886: Use better estimated memory requirements for bigmem tests.
Incorrect requirements can cause memory swapping.

Issue #19886: Use better estimated memory requirements for bigmem tests.
Incorrect requirements can cause memory swapping.

Closes #20200: Argument Clinic custom converter example should be in a
'python' clinic block, not a 'clinic' clinic block.  Patch written by
Ryan Smith-Roberts.

Issue #20152: import.c now uses Argument Clinic.

assertEquals is deprecated, use assertEqual instead.

Issue #13107: argparse and optparse no longer raises an exception when output
a help on environment with too small COLUMNS.  Based on patch by
Elazar Gershuni.

Issue #13107: argparse and optparse no longer raises an exception when output
a help on environment with too small COLUMNS.  Based on patch by
Elazar Gershuni.

Try to fix test_ssl failures on some buildbots

Try to fix test_ssl failures on some buildbots

Issue #20207: Always disable SSLv2 except when PROTOCOL_SSLv2 is explicitly asked for.

Remove conditional: it is useless at this point (OpenSSL headers are not yet included)

Issue #20207: Always disable SSLv2 except when PROTOCOL_SSLv2 is explicitly asked for.

Do not reset the line number because we already set file position to correct
value.

(fixes error in patch for issue #18960)

Do not reset the line number because we already set file position to correct
value.

(fixes error in patch for issue #18960)

merge 3.3

clear zip stat cache after each ref leak run

Issue #18960: Fix bugs with Python source code encoding in the second line.

* The first line of Python script could be executed twice when the source
encoding (not equal to 'utf-8') was specified on the second line.

* Now the source encoding declaration on the second line isn't effective if
the first line contains anything except a comment.

* As a consequence, 'python -x' works now again with files with the source
encoding declarations specified on the second file, and can be used again
to make Python batch files on Windows.

* The tokenize module now ignore the source encoding declaration on the second
line if the first line contains anything except a comment.

* IDLE now ignores the source encoding declaration on the second line if the
first line contains anything except a comment.

* 2to3 and the findnocoding.py script now ignore the source encoding
declaration on the second line if the first line contains anything except
a comment.

Issue #18960: Fix bugs with Python source code encoding in the second line.

* The first line of Python script could be executed twice when the source
encoding (not equal to 'utf-8') was specified on the second line.

* Now the source encoding declaration on the second line isn't effective if
the first line contains anything except a comment.

* As a consequence, 'python -x' works now again with files with the source
encoding declarations specified on the second file, and can be used again
to make Python batch files on Windows.

* The tokenize module now ignore the source encoding declaration on the second
line if the first line contains anything except a comment.

* IDLE now ignores the source encoding declaration on the second line if the
first line contains anything except a comment.

* 2to3 and the findnocoding.py script now ignore the source encoding
declaration on the second line if the first line contains anything except
a comment.

merge 3.3

fix zipimport ref leak

Issue #20078: Reading malformed zipfiles no longer hangs with 100% CPU
consumption.

Issue #20078: Reading malformed zipfiles no longer hangs with 100% CPU
consumption.

whatsnew: InspectLoader.get_code now concrete, b32decode raises binascii.Error.

And a news item rephrase.

Merge: Fix verb tense in base64 docs, and the phrasing of a news entry.

Fix verb tense in base64 docs, and the phrasing of a news entry.

whatsnew: FileIO.readall performance, os.cpu_count.

And more news item tweaks.

(Merge 3.3) Issue #20113: Fix test_posix on OpenIndiana

Issue #20113: Fix test_posix on OpenIndiana

(Merge 3.3) Issue #20113: os.readv() and os.writev() now raise an OSError
exception on error instead of returning -1.

Issue #20113: os.readv() and os.writev() now raise an OSError exception on
error instead of returning -1.

Issue 19713: Remove PEP 451-related code that should have been factored out.

This code was an artifact of issuing a DeprecationWarning for the lack
of loader.exec_module().  However, we have deferred such warnings to
later Python versions.

Fixes issue #19081: When a zipimport .zip file in sys.path being imported from
is modified during the lifetime of the Python process after zipimport has
already cached the zip's table of contents we detect this and recover
rather than read bad data from the .zip (causing odd import errors).

Fixes Issue #19081: When a zipimport .zip file in sys.path being imported from
is modified during the lifetime of the Python process after zipimport has
already cached the zip's table of contents we detect this and recover
rather than read bad data from the .zip (causing odd import errors).

Fix typo in asyncio/streams.py.

Issue #19723: Missed one conversion to the new Argument Clinic syntax.

Issue #19723: Fix issue number typo in Misc/NEWS

Issue #12837: Silence a Clang compiler warning on OS X.

Now makes CPython build without warnings on OS X under Clang with
-Wno-unused-value -Wno-empty-body -Qunused-arguments
-Wno-deprecated-declarations.

Thanks to David Watson for taking an initial stab at a solution.

Issue #19719: Update various finder and loader ABCs such that their
old methods now provide implementations when PEP 451 APIs are present.

This should help with backwards-compatibility with code which has not
been updated to work with PEP 451.

Issue #19273: The marker comments Argument Clinic uses have been changed
to improve readability.

Issue #20157: When Argument Clinic renames a parameter because its name
collides with a C keyword, it no longer exposes that rename to PyArg_Parse.

Issue #20141: Improved Argument Clinic's support for the PyArg_Parse "O!"
format unit.

Issue #20144: Argument Clinic now supports simple constants as parameter
default values.  inspect.Signature correspondingly supports them in
__text_signature__ fields for builtins.

whatsnew: expand 'dis' entry.

Also add one missing versionadded.

Issue #20072: Fixed multiple errors in tkinter with wantobjects is False.

* Misc.image_names(), Misc.image_types(), Wm.wm_colormapwindows(), and
  LabelFrame.panes() now always return a tuple.
* Fixed error of comparing str and int in tt.LabeledScale._adjust().
* ttk.Notebook.index() now always returns int.
* ttk.Notebook.tabs() now always returns a tuple.
* ttk.Entry.bbox() now always returns a tuple of ints.
* ttk.Entry.validate() now always correctly works.
* ttk.Combobox.current() now always returns int.
* ttk.Panedwindow.sashpos() now always returns int.
* ttk.Treeview.bbox() now always returns a tuple of ints.
* ttk.Treeview.get_children() now always returns a tuple.
* ttk.Treeview.exists() now always correctly works.
* ttk.Treeview.index() now always returns int.
* ttk.Treeview.tag_has() now always returns 0 or 1.
* And numerous other errors in methods which returns a tuple, list or dict.
* Fixed ttk tests for wantobjects is False.

Issue #20072: Fixed multiple errors in tkinter with wantobjects is False.

* Misc.image_names(), Misc.image_types(), Wm.wm_colormapwindows(), and
  LabelFrame.panes() now always return a tuple.
* Fixed error of comparing str and int in tt.LabeledScale._adjust().
* ttk.Notebook.index() now always returns int.
* ttk.Notebook.tabs() now always returns a tuple.
* ttk.Entry.bbox() now always returns a tuple of ints.
* ttk.Entry.validate() now always correctly works.
* ttk.Combobox.current() now always returns int.
* ttk.Panedwindow.sashpos() now always returns int.
* ttk.Treeview.bbox() now always returns a tuple of ints.
* ttk.Treeview.get_children() now always returns a tuple.
* ttk.Treeview.exists() now always correctly works.
* ttk.Treeview.index() now always returns int.
* ttk.Treeview.tag_has() now always returns 0 or 1.
* And numerous other errors in methods which returns a tuple, list or dict.
* Fixed ttk tests for wantobjects is False.

Issue #20096: Update the Python 2/3 porting HOWTO to focus on
source-compatibility instead of 2to3.

Issue #20162: test_hash_distribution() uses subTest() to mention the prefix in
the error message.

Issue 19713: Add PEP 451-related deprecations.

Remove more usage of APIs deprecated by PEP 451.

Issue #19703: Update pydoc to use the new importer APIs.

Remove dead PEP 451 code.

asyncio: Fix deadlock in readexactly(). Fixes issue #20154.

whatsnew: ssl getpeercert/do_handshake raise OSError, weakref __callback__.

Also add a missing word to gc entry, and delete a now-obsolete doc note
in the weakref __callback__ docs.  (Opened an issue for rewriting
the section that compares finalizers and __del__ method.)

whatsnew: pydoc.Scanner removal, check_output input parm, operator.py.

Also fleshed out the entry on struct.iter_unpack.

Issue #20143: The line numbers reported in Argument Clinic errors are
now more accurate.

Issue #20142: Py_buffer variables generated by Argument Clinic are now
initialized with a default value.

Merge 3.4.0b2 release revisions back into mainline.