bpo-35452: Make PySys_HasWarnOptions() never raising an exception. (GH-11075)

bpo-31374: Include pyconfig.h earlier in expat (GH-11064)

Include <pyconfig.h> ealier in Modules/expat/xmltok.c to define
properly _POSIX_C_SOURCE. Python defines _POSIX_C_SOURCE as 200809L,
whereas <features.h> (included indirectly by <string.h>) defines
_POSIX_C_SOURCE as 199506L.

bpo-35050: AF_ALG length check off-by-one error (GH-10058)

The length check for AF_ALG salg_name and salg_type had a off-by-one
error. The code assumed that both values are not necessarily NULL
terminated. However the Kernel code for alg_bind() ensures that the last
byte of both strings are NULL terminated.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-35052: Fix handler on xml.dom.minidom.cloneNode() (GH-11061)

Fix xml.dom.minidom cloneNode() on a document with an entity: pass
the correct arguments to the user data handler of an entity (fix an
old copy/paste mistake).

Bug spotted and fix proposed by Charalampos Stratakis, initial
reproducer written by Petr Viktorin.

Co-Authored-By: Charalampos Stratakis <cstratak@redhat.com>
Co-Authored-By: Petr Viktorin <encukou@gmail.com>

bpo-35445: Do not ignore memory errors when create posix.environ. (GH-11049)

bpo-35451: Fix reference counting for sys.warnoptions and sys._xoptions. (GH-11063)

bpo-35433: Properly detect installed SDK versions (GH-11009)

Remove a duplicate descriptor in gdbm. (GH-11053)

bpo-22005: Document the reality of pickle compatibility. (GH-11054)

bpo-34245: install Python shared library with more standard 0755 mode (GH-8492)

Fix numbered lists in stdtypes.rst. (GH-10989)

bpo-33725: skip test_multiprocessing_fork on macOS (GH-11043)

bpo-35441: Remove dead and buggy code related to PyList_SetItem(). (GH-11033)

In _localemodule.c and selectmodule.c, remove dead code that would
cause double decrefs if run.

In addition, replace PyList_SetItem() with PyList_SET_ITEM() in cases
where a new list is populated and there is no possibility of an error.

In addition, check if the list changed size in the loop in array_array_fromlist().

bpo-35330:  Don't call the wrapped object if `side_effect` is set (GH10973)

* tests: Further validate `wraps` functionality in `unittest.mock.Mock`

Add more tests to validate how `wraps` interacts with other features of
mocks.

* Don't call the wrapped object if `side_effect` is set

When a object is wrapped using `Mock(wraps=...)`, if an user sets a
`side_effect` in one of their methods, return the value of `side_effect`
and don't call the original object.

* Refactor what to be called on `mock_call`

When a `Mock` is called, it should return looking up in the following
order: `side_effect`, `return_value`, `wraps`. If any of the first two
return `mock.DEFAULT`, lookup in the next option.

It makes no sense to check for `wraps` returning default, as it is
supposed to be the original implementation and there is nothing to
fallback to.

bpo-33747: Avoid mutating the global sys.modules dict in unittest.mock tests (GH-8520)

bpo-9566: Fix compiler warnings in peephole.c (GH-10652)

bpo-22005: Fix condition for unpickling a date object. (GH-11025)

Revert "bpo-34977: Add Windows App Store package (GH-10245)" (GH-11019)

This reverts commit 468a15aaf9206448a744fc5eab3fc21f51966aad.

bpo-22005: Fixed unpickling instances of datetime classes pickled by Python 2. (GH-11017)

encoding='latin1' should be used for successful decoding.

bpo-35436: Add missing PyErr_NoMemory() calls and other minor bug fixes. (GH-11015)

Set MemoryError when appropriate, add missing failure checks,
and fix some potential leaks.

bpo-35346, platform: replace os.popen() with subprocess (GH-10786)

Replace os.popen() with subprocess.check_output() in the platform module:

* platform.uname() (its _syscmd_ver() helper function) now redirects
  stderr to DEVNULL.
* Remove platform.DEV_NULL.
* _syscmd_uname() and _syscmd_file() no longer catch AttributeError.
  The "except AttributeError:" was only needed in Python 2, when
  os.popen() was not always available. In Python 3,
  subprocess.check_output() is always available.

bpo-34864: warn if "Prefer tabs when opening documents" set to "Always" (#10464)

* bpo-34864: warn if "Prefer tabs when opening documents" set to "Always"

* add NEWS entry

* address code review comments

* address second code review comments

* Add entry for idlelib/NEWS.txt.

bpo-35434 Fix wrong issue number in what's new in 3.8 (GH-11012)

https://bugs.python.org/issue35434

bpo-34977: Add Windows App Store package (GH-10245)

Add missing period in distutils.dep_util.newer_group doc (GH-11003)

Clarify expectedFailure in the unittest docs. (#10953)

bpo-33023: Fix NotImplemented to NotImplementedError. (GH-10934)

Remove unused function in `testmock/support.py` (GH-10975)

The function is never imported and the implementation is actually buggy.
As `warnings.catch_warnings` is not imported here.

bpo-35363: test_eintr uses print(flush=True) (GH-10990)

bpo-35424: test_multiprocessing: join 3 pools (GH-10986)

Join 3 pools in these tests:

* test.test_multiprocessing_spawn.WithProcessesTestPool.test_context
* test.test_multiprocessing_spawn.WithProcessesTestPool.test_traceback

bpo-35384: The repr of ctypes.CArgObject no longer fails for non-ascii character. (GH-10863)

Revert "bpo-34172: multiprocessing.Pool leaks resources after being deleted (GH-8450)" (GH-10971)

This reverts commit 97bfe8d3ebb0a54c8798f57555cb4152f9b2e1d0.

bpo-33709: test_ntpath and test_posixpath fail in Windows with ACP!=1252. (GH-7278)

bpo-34162: Update idlelib NEWS to 2018-12-05. (GH-10964)

bpo-35363: test_eintr runs eintr_tester.py in verbose mode (GH-10965)

Moreover, "python3 -m test test_eintr -v" now avoids redirecting
stdout/stderr to a pipe, the child process inherits stdout/stderr
from the parent.

bpo-35389: test.pythoninfo logs platform.libc_ver (GH-10951)

Fix typo in xml.dom.minidom documentation (GH-10956)

Escape the \t and \n.
Follow up from https://github.com/python/cpython/pull/10814.

bpo-35344: platform.platform() uses mac_ver() on macOS (GH-10780)

On macOS, platform.platform() now uses mac_ver(), if it returns a
non-empty release string, to get the macOS version rather than darwin
version.

Fix typos in concurrent.Futures documentation (GH-10920)

Add a missing word `as` in `as well as an`.
Linkify `threading.Thread`.

bpo-35310: Clear select() lists before returning upon EINTR (GH-10877)

select() calls are retried on EINTR (per PEP 475).  However, if a
timeout was provided and the deadline has passed after running the
signal handlers, rlist, wlist and xlist should be cleared since select(2)
left them unmodified.

bpo-34738: Add directory entries in ZIP files created by distutils. (GH-9419)

Correct a couple of unbalanced parenthesis. (GH-10779)

Move __missing__ after __delitem__ in Data model. (GH-10923)

bpo-34185: Fix test module collision in test_bdb when ran as script. (GH-8537)

When running test_bdb.py as a script, `import test_module` would be
importing the existing Lib/test/test_modules.py instead of the
tempcwd/test_module.py module which was dynamically created by
test_bdb.py itself.

bpo-34604: Use %R because of invisible characters or trailing whitespaces. (GH-9165)

bpo-34987: Fix a possible null pointer dereference in _pickle.c's save_reduce(). (GH-9886)

bpo-34052: Prevent SQLite functions from setting callbacks on exceptions. (GH-8113)

bpo-10496: posixpath.expanduser() catchs pwd.getpwuid() error (GH-10919)

* posixpath.expanduser() now returns the input path unchanged if
  the HOME environment variable is not set and pwd.getpwuid() raises
  KeyError (the current user identifier doesn't exist in the password
  database).
* Add test_no_home_directory() to test_site.

bpo-32787: Better error handling in ctypes. (#3727)

* bpo-31572: Get rid of PyObject_HasAttrString() in ctypes.

* Fix error handling for _pack_.

* Don't silence errors when look up in a dict.

* Use _PyObject_LookupAttrId().

* More changes.

bpo-35389: platform.libc_ver() uses os.confstr() (GH-10891)

platform.libc_ver() now uses os.confstr('CS_GNU_LIBC_VERSION') if
available and the *executable* parameter is not set. The default
value of the libc_ver() *executable* parameter becomes None.

Quick benchmark on Fedora 29:

python3 -m perf command ./python -S -c 'import platform; platform.libc_ver()'
94.9 ms +- 4.3 ms -> 33.2 ms +- 1.4 ms: 2.86x faster (-65%)

bpo-35414: Add a missing Py_INCREF(Py_None) in PyState_RemoveModule(). (GH-10914)

bpo-35411: Skip test_urllib2net FTP tests on Travis CI (GH-10907)

On Travis CI, FTP tests of test_urllib2net randomly fail with "425
Security: Bad IP connecting".

test.pythoninfo now also logs TRAVIS environment variable.

Remove unnecessary and over-restrictive type check (GH-10905)

bpo-35346, platform: import subprocess in _syscmd_file() (GH-10892)

Only platform._syscmd_file() uses subprocess. Move subprocess import
inside this function to reduce the number of imports at Python
startup.

Remove also warnings import which is no longer needed.

bpo-35363, test_eintr: skip test_open() on macOS (GH-10896)

bpo-35351: Pass link time optimization flags to CFLAGS_NODIST (GH-10797)

When using link time optimizations, the -flto flag is passed to
BASECFLAGS, which makes it propagate to distutils. Those flags
should be reserved for the interpreter and the stdlib extension
modules only, thus moving those flags to CFLAGS_NODIST.

bpo-35357: Add _mock_ prefix to name/parent/from_kall attributes of _Call/_MagicProxy. (#10873)

Fix minor typo in test function name.

bpo-35365: Use a wchar_t* buffer in the code page decoder. (GH-10837)

Add comments regarding speed/space/entropy trade-offs (GH-10885)

bpo-35395: fix typos in asyncio eventloop documentation (GH-10880)

Fixes `loop.add_writer` and `loop.add_signal_handler` method documentation to correctly reference the callback parameter from method signature.

https://bugs.python.org/issue35395

bpo-35226: Fix equality for nested unittest.mock.call objects. (#10555)

Also refactor the call recording imolementation and add some notes
about its limitations.

bpo-35380: Enable TCP_NODELAY for proactor event loop (#10867)

bpo-35373: Fix PyInit_time() error handling (GH-10865)

* PyInit_time() now returns NULL if an exception is raised.
* Rename PyInit_timezone() to init_timezone(). "PyInit_" prefix is
  a special prefix for function initializing a module.
  init_timezone() doesn't initialize a module and the function is not
  exported.

bpo-35373: Fix PyInit_timezone() if HAVE_DECL_TZNAME is defined (GH-10861)

If HAVE_DECL_TZNAME, PyInit_timezone() now returns -1 on error.

bpo-35372: Fix the code page decoder for input > 2 GiB. (GH-10848)

bpo-10320: Replace nonstandard sprintf() length modifier in ctypes' PyCArg_repr(). (GH-10853)

Use "ll" instead of the nonstandard "q".

bpo-32153: Add unit test for create_autospec with partial function returned in getattr (#10398)

* Add create_autospec with partial function returned in getattr

* Use self.assertFalse instead of assert

* Use different names and remove object

bpo-35341: Add generic version of OrderedDict to typing (GH-10850)

bpo-35371: Fix possible crash in os.utime() on Windows. (GH-10844)

bpo-31177: Skip deleted attributes while calling reset_mock (GH-9302)

Fix compiler warning in structseq_repr() (GH-10841)

Replace strncpy() with memcpy() in structseq_repr() to fix the
following compiler warning:

Objects/structseq.c:187:5: warning: 'strncpy' specified bound depends on the length of the source argument [-Wstringop-overflow=]
     strncpy(pbuf, typ->tp_name, len);
     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Objects/structseq.c:185:11: note: length computed here
     len = strlen(typ->tp_name) > TYPE_MAXSIZE ? TYPE_MAXSIZE :

The function writes the terminating NUL byte later.

get_gmtoff() now returns time_t (GH-10838)

get_gmtoff() now returns time_t instead of int to fix the following
Visual Studio warning:

    Modules\timemodule.c(1183): warning C4244: 'return':
    conversion from 'time_t' to 'int', possible loss of data

bpo-35352: Cleanup test_asyncio/utils.py (GH-10831)

'here' variable is no longer needed.

bpo-35352: test_asyncio uses the certificate set from the test directory (GH-10826)

Modify asyncio tests to utilize the certificates from the test directory
instead of its own set, as they are the same and with each update they had
to be updated as well.

bpo-33015: Fix UB in pthread PyThread_start_new_thread (GH-6008)

Fix an undefined behaviour in the pthread implementation of
PyThread_start_new_thread(): add a function wrapper to always return
NULL.

Add pythread_callback struct and pythread_wrapper() to thread_pthread.h.

Fix compiler warning in call_readline() (GH-10820)

Replace strncpy() with memcpy() in call_readline() to fix the
following warning, the NUL byte is written manually just after:

Modules/readline.c: In function ‘call_readline’:
Modules/readline.c:1303:9: warning: ‘strncpy’ output truncated before
terminating nul copying as many bytes from a string as its length
[-Wstringop-truncation]
         strncpy(p, q, n);
         ^~~~~~~~~~~~~~~~
Modules/readline.c:1279:9: note: length computed here
     n = strlen(p);
         ^~~~~~~~~

Fix signature of xml.dom.minidom.Document.toprettyxml(). (GH-10814)

bpo-35347: Cleanup test_socket.NonBlockingTCPTests (GH-10818)

* Replace testInheritFlags() with two tests:
  testInheritFlagsBlocking() and testInheritFlagsTimeout()
  to test different default socket timeout. Moreover, the test now
  checks sock.gettimeout() rather than a functional test on recv().
* Replace time.time() with time.monotonic()
* Add socket_setdefaulttimeout() context manager to restore the
  default timeout when the test completes.
* Remove testConnect(): accept() wasn't blocking and testAccept()
  already tests non-blocking accept().
* Remove accept() functional test from testInitNonBlocking():
  already tested by testAccept()
* Rewrite testSetBlocking() with a new assert_sock_timeout() method
* Use addCleanup() and context manager to close sockets
* Replace assertTrue(x < y) with assertLess(x, y)

bpo-35347: Fix test_socket.NonBlockingTCPTests (GH-10791)

testAccept() and testRecv() of test_socket.NonBlockingTCPTests have a
race condition: time.sleep() is used as a weak synchronization
primitive and the tests fail randomly on slow buildbots.

Use a reliable threading.Event to fix these tests.

Other changes:

* Replace send() with sendall()
* Expect specific BlockingIOError rather than generic OSError
* Add a timeout to select() in testAccept() and testRecv()
* Use addCleanup() to close sockets
* Use assertRaises()

bpo-35336: Fix PYTHONCOERCECLOCALE=1 (GH-10806)

Fix PYTHONCOERCECLOCALE=1 environment variable: only coerce the C
locale if the LC_CTYPE locale is "C".

Fix typo in Memory Management doc. (GH-10798)

bpo-35356: Fix a possible reference leak in nis.maps(). (GH-10808)

bpo-34279, regrtest: Issue a warning if no tests have been executed (GH-10150)

Use assertEqual to fix DeprecationWarning. (GH-10794)

bpo-30167: Remove __cached__ from __main__ when removing __file__ (GH-7415)

bpo-16086: Fix PyType_GetFlags() documentation (GH-10758)

PyType_GetFlags() return type is unsigned long, not long.

bpo-35345: Remove platform.popen() (GH-10781)

Remove platform.popen() function, it was deprecated since Python 3.3:
use os.popen() instead.

Rename also the "Removed" section to "API and Feature Removals"
of What's New in Python 3.8.

bpo-28167: Remove platform._dist_try_harder() (GH-10787)

platform._dist_try_harder() was an helper function
for platform.linux_distribution() which has been removed by the
commit 8b94b41ab7b12f745dea744e8940631318816935.

bpo-35189, bpo-35316: Make test_eintr less strict (GH-10782)

test_eintr no longer fails if the signal handler has not been called.

bpo-33723: Remove busy loop from test_time (GH-10773)

The "busy loops" of test_process_time() and test_thread_time() are
not reliable and fail randomly on Windows: remove them.

bpo-34100: compile: Re-enable frozenset merging (GH-10760)

This reverts commit 1005c84535191a72ebb7587d8c5636a065b7ed79.

bpo-35337: Fix gettmarg(): use PyStructSequence_GET_ITEM() (GH-10765)

PyStructSequence_GET_ITEM() must be used instead of
PyTuple_GET_ITEM() on a StructTimeType.

bpo-35134: Create Include/cpython/tupleobject.h (GH-10764)

Move tupleobject.h code surrounded by "#ifndef Py_LIMITED_API"
to a new Include/cpython/tupleobject.h header file.

Add cpython/ header files to Makefile.pre.in and pythoncore project
of PCbuild.

bpo-34523, bpo-35322: Fix unicode_encode_locale() (GH-10759)

Fix memory leak in PyUnicode_EncodeLocale() and
PyUnicode_EncodeFSDefault() on error handling.

Changes:

* Fix unicode_encode_locale() error handling
* Fix test_codecs.LocaleCodecTest

bpo-35240: Add "doctest" job to Travis CI (GH-10753)

Create a new "doctest" job in Travis CI to run "make doctest".

bpo-33676: Fix dangling thread in _test_multiprocessing (GH-10755)

Fix WithThreadsTestPool.test_wrapped_exception()
of test_multiprocessing_fork: join the pool.

WithThreadsTestPool.test_del_pool() is now also decorated
with @support.reap_threads.

bpo-35134: Don't define types twice in header files (GH-10754)

Fix the following clang warning:

    Include/cpython/pystate.h:217:3: warning: redefinition of
    typedef 'PyThreadState' is a C11 feature [-Wtypedef-redefinition]

bpo-33012: Fix more invalid function cast warnings with gcc 8. (GH-10751)

Fix warnings with gcc 8 for wrapperfunc <-> wrapperfunc_kwds casts.

bpo-35312: Make lib2to3.pgen2.parse.ParseError round-trip pickle-able. (GH-10710)

bpo-33029: Fix signatures of getter and setter functions. (GH-10746)

Fix also return type for few other functions (clear, releasebuffer).