bpo-33821: Update idlelib subsection of What's New 3.7 (#7590)

bpo-33820: Update idlelib subsection of What's New 3.6 (GH-7589)

Remove unneeded PyErr_Occurred() check in os_lseek_impl() (GH-7557)

This call became unneeded after the posix module was converted to the
Argument Clinic in 2f93635d342a500053e97c9c7c30f1eaf11fc3ac and should
have been removed as part of that change.

bpo-33748: fix tests altering sys.path and sys.modules (GH-7433)

bpo-33770: improve base64 exception message for encoded inputs of invalid length (#7416)

Fix spaces added after hyphens in news entries. (GH-7579)

Seems they were added by double applying blurb.

Remove hyphens from phrase "picks up where it left off" (GH-7410)

Fix typo in object.__getnewargs__() documentation (GH-7554)

bpo-33766: Document that end of file or string is a newline (GH-7383)

doc: Fix typo in asyncio-eventloop.rst (GH-7345)

This is a fixup to 19a44f63c738388ef3c8515348b4ffc061dfd627

bpo-32493: Correct test for uuid_enc_be availability in configure.ac. (GH-7511) (GH-7567)

bpo-33738: Fix macros which contradict PEP 384 (GH-7477)

During development of the limited API support for PySide,
we saw an error in a macro that accessed a type field.

This patch fixes the 7 errors in the Python headers.
Macros which were not written as capitals were implemented
as function.

To do the necessary analysis again, a script was included that
parses all headers and looks for "->tp_" in serctions which can
be reached with active limited API.

It is easily possible to call this script as a test.

Error listing:

../../Include/objimpl.h:243
#define PyObject_IS_GC(o) (PyType_IS_GC(Py_TYPE(o)) && \
    (Py_TYPE(o)->tp_is_gc == NULL || Py_TYPE(o)->tp_is_gc(o)))
Action: commented only

../../Include/objimpl.h:362
#define PyType_SUPPORTS_WEAKREFS(t) ((t)->tp_weaklistoffset > 0)
Action: commented only

../../Include/objimpl.h:364
#define PyObject_GET_WEAKREFS_LISTPTR(o) \
    ((PyObject **) (((char *) (o)) + Py_TYPE(o)->tp_weaklistoffset))
Action: commented only

../../Include/pyerrors.h:143
#define PyExceptionClass_Name(x) \
     ((char *)(((PyTypeObject*)(x))->tp_name))
Action: implemented function

../../Include/abstract.h:593
#define PyIter_Check(obj) \
    ((obj)->ob_type->tp_iternext != NULL && \
     (obj)->ob_type->tp_iternext != &_PyObject_NextNotImplemented)
Action: implemented function

../../Include/abstract.h:713
#define PyIndex_Check(obj)                              \
    ((obj)->ob_type->tp_as_number != NULL &&            \
     (obj)->ob_type->tp_as_number->nb_index != NULL)
Action: implemented function

../../Include/abstract.h:924
#define PySequence_ITEM(o, i)\
    ( Py_TYPE(o)->tp_as_sequence->sq_item(o, i) )
Action: commented only

bpo-33375: Fix GCC warning in Python/_warnings.c (GH-7556)

_Py_IDENTIFIER(argv) is now unused.

bpo-33409: Clarify PEP 538/540 relationship (GH-7534)

While locale coercion and UTF-8 mode turned out to
be complementary ideas rather than competing ones,
it isn't immediately obvious why it's useful to
have both, or how they interact at runtime.

This updates both the Python 3.7 What's New doc
and the PYTHONCOERCECLOCALE and PYTHONUTF8
documentation in an attempt to clarify that
relationship:

- in the respective What's New sections, add a closing paragraph
  explaining which problem each one solves, and pointing to the
  other PEP's section for the specific aspects it relies on the other
  PEP to solve
- use "locale-aware mode" as a more descriptive term for the
  default non-UTF-8 mode
- improve wording conistenccy between the PYTHONCOERCECLOCALE
  and PYTHONUTF8 docs when they cover the same thing (mostly
  related to legacy locale detection and setting the standard
  stream error handler)
- improve the description of the locale coercion trigger conditions
  (including pointing out that setting LC_ALL turns off locale coercion)
- port the full description of the UTF-8 mode behaviour changes
  from PEP 540 into the PYTHONUTF8 documentation
- be explicit that PYTHONIOENCODING still overrides the settings
  for the standard streams
- mention concrete examples of things that do and don't get their
  text encoding assumptions adjusted by the two text encoding
  assumption override techniques

Fix indendation level of versionchanged directive in configparser.items() doc (GH-7543)

bpo-33810 Remove unused code from datetime.py. (GH-7549)

Since implementation of bpo-25283, the objects returned by time.localtime
always have tm_zone and tm_gmtoff attributes.  Remove code that
anticipates their absence.

Datetime test coverage (#7544)

* Added a test case for strftime("%z").

The added test checks a case with UTC offest expressed in an integer
number of seconds.

* Added a test comparing naive and aware datetimes.

Check that a greater than  comparison of a naive  datetime instance with
an aware one raises a TypeError.

* Test datetime in fold or in gap comparison both ways.

bpo-30805: Avoid race condition with debug logging (GH-7545)

Supersedes https://github.com/python/cpython/pull/2490

bpo-33801: Remove non-ordered dict comment from plistlib doc (GH-7495)

bpo-33375: Get filename for warnings from frame.f_code.co_filename (GH-6622)

More consistent with how other parts of Python find the filename (e.g. tracebacks and pdb).

bpo-33800: Fix default argument for parameter dict_type of ConfigParser/RawConfigParser (GH-7494)

bpo-33197: Add versionadded tag to the documentation of ParameterKind (GH-7536)

bpo-33807: Add Python 3.7 buildbot link to '.github/CONTRIBUTING.rst' (GH-7532)

bpo-33736: Improve the documentation of asyncio stream APIs (GH-7326)

bpo-33798: Update csv document about dict order (GH-7490)

bpo-33802: Do not interpolate in ConfigParser while reading defaults (GH-7524)

This solves a regression in logging config due to changes in BPO-23835.

bpo-11874: fix assertion failure in argparse metavar handling (GH-1826)

- bugfix and test for fragile metavar handling in argparse (see
  bpo-24089, bpo-14046, bpo-25058, bpo-11874)
- also fixes some incorrect tests that did not make 1-element tuples correctly

bpo-33694: Fix typo in helper function name (GH-7522)

_feed_data_to_bufferred_proto() renamed to
_feed_data_to_buffered_proto() ("bufferred" => "buffered").

Typo spotted by Nathaniel J. Smith.

bpo-33718: regrtest: use "xxx then yyy" result if re-run (GH-7521)

If tests are re-run, use "xxx then yyy" result format (ex: "FAILURE
then SUCCESS") to show that some failing tests have been re-run.

Add also test_regrtest.test_rerun_fail() test.

bpo-33799: Remove non-ordered dicts comments from FAQ

Update idlelib/NEWS.txt to 2018 Jun 8 am. (GH-7517)

bpo-33768: IDLE: Clicking on code context line moves it to top of editor (GH-7411)

bpo-33197: Add description property for _ParameterKind. (GH-7206)

bpo-33791: Update README for macOS users (GH-7471)

bpo-33792: Add selector and proactor windows policies (GH-7487)

bpo-33786: Fix asynchronous generators to handle GeneratorExit in athrow() (GH-7467)

bpo-33803: Fix a crash in hamt.c (#7504)

bpo-33615: Skip test__xxsubinterpreters (GH-7503)

The test does crash on multiple CIs causing many troubles. For
example, the test prevents to get results of the two Refleak 3.x
buildbots.

bpo-33642 and bpo-33679: Revise and condense blurbs (GH-7500)

bpo-33694: Fix race condition in asyncio proactor (GH-7498)

The cancellation of an overlapped WSARecv() has a race condition
which causes data loss because of the current implementation of
proactor in asyncio.

No longer cancel overlapped WSARecv() in _ProactorReadPipeTransport
to work around the race condition.

Remove the optimized recv_into() implementation to get simple
implementation of pause_reading() using the single _pending_data
attribute.

Move _feed_data_to_bufferred_proto() to protocols.py.

Remove set_protocol() method which became useless.

bpo-33609: small wording fixes to dict ordering docs

A few wording improvements to dict ordering documentation.

bpo-33796: Ignore ClassVar for dataclasses.replace(). (GH-7488)

update 3.7 whatsnew entry about Unicode version (GH-7480)

Followup to 4705ea38c900f068fd262aca02943896d1123544 and bpo-33778.

bpo-17909: Document that json.load can accept a binary IO (GH-7366)

bpo-29235: Update document for Profiler's context manager (GH-7331)

bpo-30436: Add missing space in importlib.util.find_spec() error message (GH-7385)

bpo-33274: Compliance with DOM L1: return removed attribute (#7465)

* bpo-33274: Compliance with DOM L1: return removed attribute

* Update 2018-06-06-22-01-33.bpo-33274.teYqv8.rst

update to Unicode 11.0.0 (closes bpo-33778) (GH-7439)

Also, standardize indentation of generated tables.

bpo-32676, test_asyncio: Fix warning in test_error_in_call_soon() (GH-7462)

Fix "<CoroWrapper ...> was never yielded from" warning in
PyTask_PyFuture_Tests.test_error_in_call_soon() of
test_asyncio.test_tasks.

Close manually the coroutine on error.

bpo-33789, test_asyncio: Hide PendingDeprecationWarning (GH-7461)

Hide PendingDeprecationWarning in test__register_task_3().

bpo-33789: test_asyncio: Fix ResourceWarning (GH-7460)

* Close sockets and streams to fix ResourceWarning warnings
* Catch also OSError to hide a traceback on an expected handshake
  error

bpo-28240: timeit: Update repeat() doc (GH-7419)

Document that the default value of repeat changed from 3 to 5 in
Python 3.7.

bpo-33773: Fix test.support.fd_count() on Linux/FreBSD (GH-7421)

Substract one because listdir() opens internally a file
descriptor to list the content of the /proc/self/fd/ directory.

Add test_support.test_fd_count().

Move also MAXFD code before msvcrt.CrtSetReportMode(), to make sure
that the report mode is always restored on failure.

bpo-33781: audioop: enhance rounding double as int (GH-7447)

Move the floor() call into fbound() to call floor() on a double
rather than an int. The change should enhance the rounding.

Document also (int)double rounding mode.

test.support.SaveSignals: fix typo (GH-7448)

an => and

bpo-31044, test_posix: Reenable makedev() tests on FreeBSD (#7449)

The bug has been fixed 10 months ago:

* https://svnweb.freebsd.org/base?view=revision&revision=321920
* https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=221048

remove hg support from patchcheck (GH-7440)

bpo-33504: Migrate configparser from OrderedDict to dict. (#6819)

With 3.7+, dictionary are ordered by design.  Configparser still uses
collections.OrderedDict, which is unnecessary.  This updates the module
to use the standard dict implementation by default, and changes the
docs and tests to match.

Improve the subprocess restore_signals=True test. (GH-7414)

It wasn't testing functionality.  Now it is (on Linux anyways).

bpo-12486: Document tokenize.generate_tokens() as public API (#6957)

* Document tokenize.generate_tokens()

* Add news file

* Add test for generate_tokens

* Document behaviour around ENCODING token

* Add generate_tokens to __all__

bpo-33751: Fix test_file. (GH-7378)

testModeStrings and testTruncateOnWindows were depended on
a file leaked in other tests.

Also improve cleaning up after tests.

bpo-33755: Fix importlib.resources isolation tests (#7412)

bpo-33165: Added stacklevel parameter to logging APIs. (GH-7424)

bpo-31215: Add version changed notes for OpenSSL 1.1.0 compatibility (GH-7346)

bpo-33752: Fix a file leak in test_dbm. (GH-7376)

With addCleanup() f.close() was executed after tearDown().

bpo-33769: start_tls: Fix error message; cancel callbacks on error (GH-7403)

In addition to that, mark SSLTransport as "closed" in its "abort()" method to prevent bogus warnings.

bpo-33767: Fix improper use of SystemError by mmap.mmap objects (GH-7381)

Raise TypeError instead of SystemError for unsupported operations.

bpo-32392: Document env keyword argument of subprocess.run() (GH-7289)

bpo-5755: Move -Wstrict-prototypes to CFLAGS_NODIST (GH-7395)

bpo-33753: Refactor creating temporary files in test_fileinput. (GH-7377)

bpo-33609: Document dict insertion order guarantee as of 3.7 (GH-7093)

bpo-33720: Reduces maximum marshal recursion depth on release builds. (GH-7401)

bpo-33763: IDLE: Replace label widget with text widget in code context (GH-7367)

bpo-33664: Scroll IDLE editor text by lines (GH-7351)

Previously, the mouse wheel and scrollbar slider moved text by a fixed
number of pixels, resulting in partial lines at the top of the editor
box. The change also applies to the shell and grep output windows,
but not to read-only text views.

bpo-33734: asyncio/ssl: a bunch of bugfixes (#7321)

* Fix AttributeError (not all SSL exceptions have 'errno' attribute)

* Increase default handshake timeout from 10 to 60 seconds
* Make sure start_tls can be cancelled correctly
* Make sure any error in SSLProtocol gets propagated (instead of just being logged)

bpo-31849: Fix warning in pyhash.c (GH-6799)

bpo-27902: Add compatibility note to Profile docs (GH-7295)

bpo-33640, uuid.UUID doc: document endian of bytes parameter (GH-7263)

The bytes parameter uses big endian.

Regenerate configure after changing configure.ac in GH-6987. (GH-7344)

bpo-33509: Fix test_warnings for python3 -Werror (GH-7365)

Fix test_warnings.test_module_globals() when python3 is run with
-Werror.

travis: Fix macOS build (GH-7250)

Homebrew's python is now python3, but travis preinstalls old python2.
So updated Homebrew requires `brew upgrade python` now.

This commit disables auto update and use preinstalled version of Homebrew.

bpo-33759: Fix test.test_xmlrpc.ServerProxyTestCase. (GH-7362)

It depended on a global variable set by other tests.

bpo-33760: Fix file leaks in test_io. (GH-7361)

bpo-33764: Appveyor fixes (GH-7364)

* Prevent spurious message if taking a shortcut
* Fix YAML style
* Disable largefile tests

bpo-33761: Fix a file leak in test_iterparse in test_xml_etree. (GH-7358)

bpo-33750: Reset thread-local context precision in test_round(). (#7355)

bpo-27485: Change urlparse tests to use private methods. (GH-7070)

bpo-33744: Fix test_uu. (GH-7350)

Separate tests leaked files or were depended on files leaked in other tests.

bpo-23495: Correct the documentation for writerows() of csv Writer objects (GH-6316)

`writerows()` takes an iterable.

Fix typo in datamodel.rst (GH-6964)

This is a simple grammatical fix correcting "...object whose `__self__` attributes is ..." to "...object whose `__self__` attribute is ...".

Docs: fix some wrong words (GH-6987)

Fix typos in code comments: bdb.py and configure.ac.

bpo-33562: Check the global asyncio event loop policy isn't set after any tests (GH-7328)

bpo-33679: IDLE: Re-enable color configuration for code context (GH-7199)

The difference from before is that the settings are now on the
Highlights tab instead of the Extensions tab and only change one theme
at a time instead of all themes. The default for light themes is black
on light gray, as before. The default for the IDLE Dark theme is white
on dark gray, which better fits the dark theme.

When one starts IDLE from a console and loads a custom theme without
definitions for 'context', one will see a warning message on the console.
To stop the warning, go to Options => Configure IDLE => Highlights,
select the custom theme if not selected already, select 'Code Context',
and select foreground and background colors.

bpo-33615: Re-enable a subinterpreter test. (gh-7251)

For bpo-32604 I added extra subinterpreter-related tests (see #6914), which caused a few buildbots to crash. This patch fixes the crash by ensuring that refcounts in channels are handled properly.

bpo-33642: IDLE: Use variable number of lines in CodeContext. (GH-7106)

Instead of displaying a fixed number of lines, some blank, Code Context
now displays the variable number of actual context lines.  When there
are no context lines, it shows a single blank line to indicate that the
feature is turned on.

The Code Context configuration option is changed from 'numlines'
(default 3) to 'maxlines' (default 15) to avoid possible interference
between user settings for the old and new versions of Code Context.

bpo-33724: Use the right format code for int64_t in subinterpreters code. (gh-7330)

bpo-29235: Make cProfile.Profile a context manager (GH-6808)

bpo-33532: Fix test_multiprocessing_forkserver.test_ignore() (GH-7319)

Use also support.SOCK_MAX_SIZE, not only support.PIPE_MAX_SIZE, to
get the size for a blocking send into a multiprocessing pipe.

bpo-33540: Fix socketserver.ThreadingMixIn if block_on_close=False (GH-7310)

socketserver.ThreadingMixIn no longer tracks active threads if
block_on_close is false.

bpo-30654: Do not reset SIGINT handler to SIG_DFL in finisignal (GH-7146)