bpo-35028: cgi: Fix max_num_fields off by one error (GH-9973)

https://bugs.python.org/issue35028

bpo-35046: do only one system call per line (logging.StreamHandler) (GH-10042)

bpo-34482: test datetime classes' handling of non-UTF-8-encodable strings (GH-8878)

bpo-34748: link to :ref:`partial-objects` in functools.partial doc. (GH-9809)

bpo-34454: Clean up datetime.fromisoformat surrogate handling (GH-8959)

* Use _PyUnicode_Copy in sanitize_isoformat_str

* Use repr in fromisoformat error message

This reverses commit 67b74a98b2 per Serhiy Storchaka's suggestion:

     I suggested to use %R in the error message because including the raw
     string can be confusing in the case of empty string, or string
     containing trailing whitespaces, invisible or unprintable characters.

We agree that it is better to change both the C and pure Python versions
to use repr.

* Retain non-sanitized dtstr for error printing

This does not create an extra string, it just holds on to a reference to
the original input string for purposes of creating the error message.

* PEP 7 fixes to from_isoformat

* Separate handling of Unicode and other errors

In the initial implementation, errors other than encoding errors would
both raise an error indicating an invalid format, which would not be
true for errors like MemoryError.

* Drop needs_decref from _sanitize_isoformat_str

Instead _sanitize_isoformat_str returns a new reference, even to the
original string.

Fix issue 34551 - remove redundant store (#9009)

The assignment of i/2 to nk is redundant because on this code path, nk is already the size of the dictionary, and i is already twice the size of the dictionary. I've replaced the store with an assertion that i/2 is nk.

bpo-29843: raise AttributeError if given negative _length_ (GH-10029)

Raise ValueError OverflowError in case of a negative
_length_ in a ctypes.Array subclass.  Also raise TypeError
instead of AttributeError for non-integer _length_.

Co-authored-by: Oren Milman <orenmn@gmail.com>

bpo-34081: Fix wrong example link that was linking to distutils (GH-8248)

bpo-35036: Remove empty log line in the suspicious.py tool (GH-10024)

Previous to commit ee171a2 the logline was working because of self.info() (now
deprecated) defaults to an empty message.

bpo-34984: Improve error messages for bytes and bytearray constructors. (GH-9874)

bpo-34973: Fix crash in bytes constructor. (GH-9841)

Constructing bytes from mutating list could cause a crash.

bpo-8525: help() on a type now shows builtin subclasses (GH-5066)

For builtin types with builtin subclasses, help() on the type now shows up
to 4 of the subclasses. This partially replaces the exception hierarchy
information previously displayed in Python 2.7.

bpo-35029: Replace the SyntaxWarning exception with a SyntaxError. (GH-9999)

If SyntaxWarning was raised as an exception, it will be replaced
with a SyntaxError for better error reporting.

Update codeowners to match experts list change (#10022)

closes bpo-35025: Properly guard the `CLOCK_GETTIME` et al macros in timemodule.c. (GH-9961)

Guard the `CLOCK_GETTIME` et al macros in `timemodule` based on the availability of the parent functions

Remove ">>>" from testsetup. (GH-10017)

Fixes doc build breakage from 890a4b92933be8e7c554222d99ef829c88fa8637.

bpo-35020: Link to sorting examples from list.sort() (GH-9931)

bpo-34576 - Fix the formatting for security considerations in http.server.rst (#10005)

* bpo-34576 - Fix the formatting for security considerations in http.server.rst

* Address review comment.

Encrypt Zulip webhook address (GH-10010)

This should reduce false failure reports to the Zulip 'core/test runs'
stream from Travis failures on private forks.

bpo-35032: Remove inaccessible videos from faq/Windows (GH-10004)

https://bugs.python.org/issue35032

bpo-34839: Add a 'before 3.6' in the section 'warnings' of doctest (GH-9736)

bpo-34574: Prevent OrderedDict iterators from exhaustion during pickling. (GH-9051)

bpo-34909: NEWS entry (GH-9995)

bpo-32256: Make patchcheck.py work for out-of-tree builds (GH-4760)

Set SRCDIR as the current directory for git.

bpo-34983: Expose symtable.Symbol.is_nonlocal() in the symtable module (GH-9872)

The symbol table was not exposing functionality to query the nonlocal symbols
in a function or to check if a particular symbol is nonlocal.

bpo-34573: Simplify __reduce__() of set and dict iterators. (GH-9050)

Simplify the pickling of set and dictionary objects iterators by consuming
the iterator into a list with PySequence_List.

bpo-32798: Add restriction on the offset parameter for mmap.flush in the docs (#5621)

Add restriction on the offset parameter for mmap.flush.

Explain that ALLOCATIONGRANULARITY is the same as PAGESIZE in Unix.

bpo-21196: Clarify name mangling rules in tutorial (GH-5667)

Initial patch by Chandan Kumar.

bpo-32890, os: Use errno instead of GetLastError() in execve() and truncate() (GH-5784)

path_error() uses GetLastError() on Windows, but some os functions
are implemented via CRT APIs which report errors via errno.
This may result in raising OSError with invalid error code (such
as zero).

Introduce posix_path_error() function and use it where appropriate.

bpo-32236: open() emits RuntimeWarning if buffering=1 for binary mode (GH-4842)

If buffering=1 is specified for open() in binary mode, it is silently
treated as buffering=-1 (i.e., the default buffer size).
Coupled with the fact that line buffering is always supported in Python 2,
such behavior caused several issues (e.g., bpo-10344, bpo-21332).

Warn that line buffering is not supported if open() is called with
binary mode and buffering=1.

bpo-34536: Cleanup test_enum imports (GH-9979)

sys and threading were imported twice.

bpo-33594: Add deprecation info in inspect.py module (GH-7036)

bpo-33726, doc: Add short descriptions to PEP references in seealso (GH-7294)

bpo-33712: OrderedDict only creates od_fast_nodes cache if needed (GH-7349)

Elaborate datetime.timedelta docstring (GH-7458)

bpo-34070: open() only checks for isatty if buffering < 0 (GH-8187)

queue doc: Clarify that the simple FIFO queue is SimpleQueue (GH-8372)

unittest.mock doc: Fix references to recursive seal of Mocks (GH-9028)

The docs in `library/unittest.mock` have been updated to remove
confusing terms about submock and be explicit about the behavior
expected.

bpo-25750: Add test on bad descriptor __get__() (GH-9084)

bpo-33073: Rework int.as_integer_ratio() implementation (GH-9303)

* Simplify the C code.
* Simplify tests and make them more strict and robust.
* Add references in the documentation.

Use dict unpacking in functools.partial() docs (GH-9412)

Fix typos in comments (GH-9905)

bpo-20216: Correct docstrings of digest() methods in hashlib. (GH-9873)

bpo-33947:  dataclasses no longer can raise RecursionError in repr (GF9916)

The reprlib code was copied here instead of importing reprlib. I'm not sure if we really need to avoid the import, but since I expect dataclasses to be more common that reprlib, it seems wise. Plus, the code is small.

bpo-34741: Get rid of tp_getattro and tp_setattro in pyexpat.xmlparser. (GH-9422)

Use tp_members and tp_getset instead.

bpo-32912: Replace a DeprecationWarning with a SyntaxWarning (GH-9652)

for invalid escape sequences in string and bytes literals.

bpo-34866: Adding max_num_fields to cgi.FieldStorage (GH-9660)

Adding `max_num_fields` to `cgi.FieldStorage` to make DOS attacks harder by
limiting the number of `MiniFieldStorage` objects created by `FieldStorage`.

bpo-35013: Add more type checks for children of Element. (GH-9944)

It is now guarantied that children of xml.etree.ElementTree.Element
are Elements (at least in C implementation). Previously methods
__setitem__(), __setstate__() and __deepcopy__() could be used for
adding non-Element children.

Fix several reference counting bugs in pyexpat.c. (GH-9955)

bpo-31522: mailbox.get_string: pass `from_` parameter to `get_bytes` (#9857)

This allows *from_* to be successfully set to a non-default value when calling mbox.get_string.

bpo-26441: Remove documentation for deleted to_splittable and from_splittable methods (#9865)

Update opcode.h header comment to mention the source data file (GH-9935)

This is intended to help code explorers find out more about what's defined there.

bpo-34936: Fix TclError in tkinter.Spinbox.selection_element(). (GH-9760)

Updated documentation on logging.debug(). (GH-9946)

bpo-34765: Update the install-sh file (GH-9592)

Update the outdated install-sh file to the latest
revision from automake v1.16.1

bpo-35008: Fix possible leaks in Element.__setstate__(). (GH-9924)

C implementation of xml.etree.ElementTree.Element.__setstate__()
leaked references to children when called for already initialized
element.

bpo-35011: Restore use of pyexpatns.h in libexpat (GH-9939)

Restores the use of pyexpatns.h to isolate our embedded copy of the expat C
library so that its symbols do not conflict at link or dynamic loading time
with an embedding application or other extension modules with their own
version of libexpat.

https://github.com/python/cpython/commit/5dc3f23b5fb0b510926012cb3732dae63cddea60#diff-3afaf7274c90ce1b7405f75ad825f545 inadvertently removed it when upgrading expat.

bpo-24658: Fix read/write greater than 2 GiB on macOS (GH-1705)

 On macOS, fix reading from and writing into a file with a size larger than 2 GiB.

Add missing comma to wsgiref doc (GH-9932)

 bpo-23420: Verify the value of '-s' when execute the CLI of cProfile (GH-9925)

Verify the value for the parameter '-s' of the cProfile CLI. Patch by Robert
Kuska.

Co-authored-by: Robert Kuska <rkuska@gmail.com>

Doc: Fix is_prime (GH-9909)

In email docs, correct spelling of foregoing (#9856)

In email.parser in message_from_bytes, update `strict` to `policy` (#9854)

According to the versionchanged note, the `strict` argument was removed in 3.3 and `policy` was added, but the name of the argument in the paragraph wasn't updated.

bpo-34997: Fix test_logging.ConfigDictTest.test_out_of_order (GH-9913)

When runnint test_logging with --huntrleaks after commit
18fb1fb943b7dbd7f8a76017ee2a67ef13effb85, test_out_of_order fails
to raise ValueError due to the fact that the new test
test_out_of_order_with_dollar_style mutates the out_of_order
dictionary. Even if the test copies the dictionary first, the mutation
is done in a very deep level so the original one is also affected.

Added CLI starter example to logging cookbook. (GH-9910)

bpo-34783: Fix test_nonexisting_script() (GH-9896)

Fix test_cmd_line_script.test_nonexisting_script(): the test must not
rely on sys.executable, since main.c uses config->program which can
be different than sys.executable in many cases (for example, on macOS
when using the framework).

bpo-23554: Change echo server example class name from EchoServerClientProtocol to EchoServerProtocol (GH-9859)

bpo-34989: python-gdb.py: fix current_line_num() (GH-9889)

python-gdb.py now handles errors on computing the line number
of a Python frame.

Changes:

* PyFrameObjectPtr.current_line_num() now catchs any Exception on
  calling addr2line(), instead of failing with a surprising "<class
  'TypeError'> 'FakeRepr' object is not subscriptable" error.
* All callers of current_line_num() now handle current_line_num()
  returning None.
* PyFrameObjectPtr.current_line() now also catchs IndexError on
  getting a line from the Python source file.

Stop using deprecated logging API in Sphinx suspicious checker (GH-9875)

fix dangling keyfunc examples in documentation of heapq and sorted (#1432)

* fix dangling mention of key=str.lower in heapq doc

* Fix dangling mention of keyfunc example for sorted()

bpo-34844: logging.Formatter enhancement - Ensure style and format string matches in logging.Formatter  (GH-9703)

bpo-34974: Do not replace unexpected errors in bytes() and bytearray(). (GH-9852)

bytes and bytearray constructors converted unexpected exceptions
(e.g. MemoryError and KeyboardInterrupt) to TypeError.

bpo-34939: Allow annotated global names in module namespace (GH-9844)

Allow annotated global names in the module namespace after the symbol is
declared as global. Previously, only symbols annotated before they are declared
as global (i.e. inside a function) were allowed. This change allows symbols to be
declared as global before the annotation happens in the global scope.

bpo-34521: Add NEWS entry for changes in GH-9613 (GH-9850)

* Add News entry for the change in multiprocessing.reduction.recvfds
made in GH-9613.

Update compound_stmts.rst (#9864)

bpo-34941: Fix searching Element subclasses. (GH-9766)

Methods find(), findtext() and findall() of xml.etree.ElementTree.Element
were not able to find chldren which are instances of Element subclasses.

bpo-33656: Move pyshell ctypes import inside try block. (GH-9858)

A Windows build with _tkinter, tkinter, and idlelib
but without ctypes is unlikely but apparently possible.

bpo-34970: Protect tasks weak set manipulation in asyncio.all_tasks() (GH-9837)

https://bugs.python.org/issue34970

Add new tests for bytes and bytearray constructors. (GH-9843)

Covered all special cases: bytes, tuple, list, differend
kinds of iterables and iterators.

Fixes issues in Windows release upload script (GH-9845)

bpo-16965: 2to3 now rewrites execfile() to open with 'rb'. (GH-8569)

bpo-22872: multiprocessing.Queue's put() and get() now raise ValueError if the queue is closed. (GH-9010)

Previously, put() and get() would raise AssertionError and OSError,
respectively.

bpo-34967: Sphinx is deprecating add_description_unit, use add_object_type (GH-9827)

bpo-34783:  Disable test_nonexisting_script for macOS framework builds (GH-9831)

With macOS framework builds, test case test_nonexisting_script in
test_nonexisting_script fails because the test case assumes that
the file name in sys.executable will appear in the error message.
For macOS framework builds, sys.executable is the file name of the
stub launcher and its file name bears no relationship to the file
name of the actual python executable.  For now, skip the test in
this case.

Pin again sphinx version as stated in the comment. (GH-9824)

bpo-23831: Add moveto method to the tkinter.Canvas widget. (GH-9768)

bpo-34964: Make Tkinter sources more readable by adding blank lines. (GH-9822)

bpo-11233: Create availability directive for documentation (GH-9692)

Replace "Availability: xxx" with ".. availability:: xxx" in the doc.
Original patch by Georg Brandl.

Co-Authored-By: Georg Brandl <georg@python.org>

bpo-34900: Make TestCase.debug() work with subtests (GH-9707)

bpo-34203: FAQ now recommends python 3.x over 2.x (GH-9796)

bpo-31516: Skip test_main_thread_during_shutdown() with COUNT_ALLOCS builds. (GH-8052)

bpo-34940: Fix the error handling in _check_for_legacy_statements(). (GH-9764)

bpo-34962: make doctest in Doc/ now passes, and is enforced in CI (GH-9806)

Fix an incorrect check in compiler_try_except(). (GH-9810)

Fix a possible decref of a borrowed reference in symtable.c. (GH-9786)

bpo-34922: Fix integer overflow in the digest() and hexdigest() methods (GH-9751)

for the SHAKE algorithm in the hashlib module.

Micro-optimize list index range checks (GH-9784)

bpo-34576 warn users on security for http.server (#9720)

It was proposed to add an warning for http.server regarding security
issues. The wording was provided at bpo-26005 by @orsenthil

bpo-34022: Stop forcing of hash-based invalidation with SOURCE_DATE_EPOCH (GH-9607)

Unconditional forcing of ``CHECKED_HASH`` invalidation was introduced in
3.7.0 in bpo-29708.  The change is bad, as it unconditionally overrides
*invalidation_mode*, even if it was passed as an explicit argument to
``py_compile.compile()`` or ``compileall``.  An environment variable
should *never* override an explicit argument to a library function.
That change leads to multiple test failures if the ``SOURCE_DATE_EPOCH``
environment variable is set.

This changes ``py_compile.compile()`` to only look at
``SOURCE_DATE_EPOCH`` if no explicit *invalidation_mode* was specified.
I also made various relevant tests run with explicit control over the
value of ``SOURCE_DATE_EPOCH``.

While looking at this, I noticed that ``zipimport`` does not work
with hash-based .pycs _at all_, though I left the fixes for
subsequent commits.

bpo-34926: Make mimetypes.guess_type accept os.PathLike objects (GH-9777)

:meth:`mimetypes.MimeTypes.guess_type` now accepts :term:`path-like object` in addition to url strings.