Null merge 3.5

Fix test_os.test_symlink(): remove create symlink

merge

Issue#26616:Fixed a bug in datetime.astimezone() method.

Backed out changeset 245a16f33c4b

Serhiy asked me to review it.

Rework libregrtest.save_env

* Replace get/restore methods with a Resource class and Resource subclasses
* Create ModuleAttr, ModuleAttrList and ModuleAttrDict helper classes
* Use __subclasses__() to get resource classes instead of using an hardcoded
  list (2 shutil resources were missinged in the list!)
* Don't define MultiprocessingProcessDangling resource if the multiprocessing
  module is missing
* Nicer diff for dictionaries. Useful for the big os.environ dict
* Reorder code to group resources

changeset: 100749:0b61b2d28a07
tag: tip
parent: 100742:ebae81b31cf6
user: Victor Stinner <victor.stinner@gmail.com>
date: Fri Mar 25 15:03:34 2016 +0100
files: Lib/test/test_os.py
description:
test_os: Win32ErrorTests checks if file exists

Don't use os.path.exists() since it ignores *any* OSError.

Merge 3.5

doctest: fix _module_relative_path() error message

Write the module name rather than <module> in the error message, if module has
no __file__ attribute (ex: package).

test_doctest: remove unused imports

test_venv: enhance test_devnull()

Skip test_venv.test_with_pip() if ctypes miss

Issue #26610.

Modernize Python/makeopcodetargets.py

* Simply use "import opcode" to import the opcode module instead of tricks
  using the imp module
* Use context manager for the output file
* Move code into a new main() function
* Replace assert with a regular if to check the number of arguments
* Import modules at top level

test_os: Win32ErrorTests now ensures that TESTFN doesn't exist

Replace also other open(filename, "w") with open(filename, "x") to fail if a
previous test forgot to remove filename.

Speed-up construction of empty sets by approx 12-14%.

Null merge 3.5

Changes were backported (transplated) from default to 3.5.

Issue #21925: Fix test_warnings for release mode

Use -Wd comment line option to log the ResourceWarning.

Issue #25654:

* multiprocessing: open file with closefd=False to avoid ResourceWarning
* _test_multiprocessing: open file with O_EXCL to detect bugs in tests (if a
  previous test forgot to remove TESTFN)
* test_sys_exit(): remove TESTFN after each loop iteration

Initial patch written by Serhiy Storchaka.

Issue #21925: Fix test_warnings for release mode

Use -Wd comment line option to log the ResourceWarning.

Issue #25654:

* multiprocessing: open file with closefd=False to avoid ResourceWarning
* _test_multiprocessing: open file with O_EXCL to detect bugs in tests (if a
  previous test forgot to remove TESTFN)
* test_sys_exit(): remove TESTFN after each loop iteration

Initial patch written by Serhiy Storchaka.

test_io: ignore DeprecationWarning on bytes path on Windows

Issue #26637: Fix test_io

The import machinery now raises a different exception when it fails at Python
shutdown.

remove duplicated check for fractions and complex numbers (closes #26076)

Patch by Oren Milman.

Fix a few typos

Don't doc check the venv dir

Merge 3.5 (pystate.h)

pystate.h: fix _PyThreadState_UncheckedGet()

Declare the function even if thread support is disabled.

Fix bug in __import__ during Python shutdown

Issue #26637: The importlib module now emits an ImportError rather than a
TypeError if __import__() is tried during the Python shutdown process but
sys.path is already cleared (set to None).

Merge 3.5

Issue #21925: warnings.formatwarning() now catches exceptions when calling
linecache.getline() and tracemalloc.get_object_traceback() to be able to log
ResourceWarning emitted late during the Python shutdown process.

warnings.formatwarning(): catch exceptions

Issue #21925: warnings.formatwarning() now catches exceptions on
linecache.getline(...) to be able to log ResourceWarning emitted late during
the Python shutdown process.

Fix test_warnings.test_improper_option()

test_warnings: only run test_improper_option() and test_warnings_bootstrap()
once. The unit test doesn't depend on self.module.

Cleanup regrtest "main()" function

* Rename libregrtest.main_in_temp_cwd() to libregrtest.main()
* Add regrtest.main_in_temp_cwd() alias to libregrtest.main()
* Move old main_in_temp_cwd() code into libregrtest.Regrtest.main()
* Update multiple scripts to call libregrtest.main()

rt.bat: use -m test instead of Lib\test\regrtest.py

Cleanup regrtest.py

* Move code into a new _main() function
* Fix loop to cleanup sys.path
* Remove unused import

support.temp_dir(): call support.rmtree() instead of shutil.rmtree()

test_os: use support.rmtree() to cleanup WalkTests

Enhance and modernize test_os

* add create_file() helper function
* create files using "x" mode instead of "w" to detect when a previous test
  forget to remove a file
* open file for writing in unbuferred mode (buffering=0)
* replace "try/finally: unlink" with self.addCleanup(support.unlink)
* register unlink cleanup function *before* creating new files

test_os: use @support.requires_linux_version

Closes #26620: Fix ResourceWarning in test_urllib2_localnet

* Use context manager on urllib objects to ensure that they are closed on error
* Use self.addCleanup() to cleanup resources even if a test is interrupted
  with CTRL+c

Enhance and modernize test_genericpath

* Replace "try/finally: os.remove()" with self.addCleanup(support.unlink) or
  self.addCleanup(support.rmdir): the support function handles the case when
  the file doesn't exist
* Replace "try/finally: f.close()" with "with open(...) as f:"
* test_getsize: add a second test with a different size
* Create file using "x" mode to ensure that the file didn't exist before, to
  detect bugs in tests
* Open files in unbuffered mode (buferring=0) to write immediatly data on disk
* Replace map() with simpler code
* Split isdir() unit test into two units tests to make them less dependant,
  same change for isfile() test
* test_samefile(): test also two different files

Enhance os._DummyDirEntry

Issue #25911:

* Try to fix test_os.BytesWalkTests on Windows
* Try to mimick better the reference os.DirEntry on Windows
* _DummyDirEntry now caches os.stat() result
* _DummyDirEntry constructor now tries to get os.stat()

regrtest: when parallel tests are interrupted, display progress

regrtest: mention in tests run sequentially or in parallel

regrtest: fix --fromfile feature

* Update code for the name regrtest output format.
* Enhance also test_regrtest test on --fromfile

Fix DeprecationWarning on Windows

Issue #25911: Use support.check_warnings() to expect or ignore
DeprecationWarning in test_os.

_tracemalloc: use compact key for traces

Issue #26588: Optimize memory footprint of _tracemalloc before non-zero domain
is used. Start with compact key (Py_uintptr_t) and also switch to pointer_t key
when the first memory block with a non-zero domain is tracked.

socketmodule.c: error if option larger than INT_MAX

On Windows, socket.setsockopt() raises an OverflowError if the socket option is
larger than INT_MAX bytes.

Fix test_spwd on OpenIndiana

Issue #18787: restore "bin" name in test_spwd but catch KeyError.

Try to fix test_gdb on s390x SLES 3.x

Ignore empty lines in stderr.

Null merge.

Issue #26621: Remove unnecessary test.

Issue #26621: Update libmpdec version and remove unnecessary test case.

Try to fix test_spwd on OpenIndiana

Issue #18787: try to get the "root" entry which should exist on all UNIX
instead of "bin" which doesn't exist on OpenIndiana.

Merge heads

Merge heads

Issue #23848: Fix usage of _Py_DumpDecimal()

Merge with 3.5

longobject.c: fix compilation warning on Windows 64-bit

We know that Py_SIZE(b) is -1 or 1 an so fits into the sdigit type.

Issue #26525: Change chr example to match change in ord example.

Try to fix test_gdb on s390x buildbots

get_warnings_attr(): Fix coverity warning

Don't check if the dict key exists before getting the key. Instead get the key
and handle error.

Fix typo in doc: avoid the french "& cie" :-)

Rework _Py_DumpASCII() to make Coverity happy

Issue #23848: Try to fix test_faulthandler on ARM

Restore the previous code for stack_overflow().

faulthandler: only log fatal exceptions

Issue #23848, #26622:

* faulthandler now only logs fatal Windows exceptions.
* write error code as decimal, not as hexadecimal
* replace "Windows exception" with "Windows fatal exception"

Merge 3.5

Makefile.pre.in (profile-opt): Fix bashism.

Buildbots: change also Windows timeout from 1 hour to 15 min

regrtest: display test duration in sequential mode

Only display duration if a test takes more than 30 seconds.

_msi.c: try to fix compiler warnings

compiler.c: fix compiler warnings on Windows

getpathp.c: fix compiler warning

wcsnlen_s() result type is size_t.

_PyMem_DebugFree(): fix compiler warning on Windows

Don't return a void value.

faulthandler: add Windows exception handler

Issue #23848: On Windows, faulthandler.enable() now also installs an exception
handler to dump the traceback of all Python threads on any Windows exception,
not only on UNIX signals (SIGSEGV, SIGFPE, SIGABRT).

Issue #23848: Expose _Py_DumpHexadecimal()

This function will be reused by faulthandler.

Cleanup hashtable.h

Issue #26588:

* Pass the hash table rather than the key size to hash and compare functions
* _Py_HASHTABLE_READ_KEY() and _Py_HASHTABLE_ENTRY_READ_KEY() macros now expect
  the hash table as the first parameter, rather than the key size
* tracemalloc_get_traces_fill(): use _Py_HASHTABLE_ENTRY_READ_DATA() rather
  than pointer dereference
* Remove the _Py_HASHTABLE_ENTRY_WRITE_PKEY() macro
* Move "PKEY" and "PDATA" macros inside hashtable.c

Issue #26588:

* Optimize tracemalloc_add_trace(): modify hashtable entry data (trace) if the
  memory block is already tracked, rather than trying to remove the old trace
  and then add a new trace.
* Add _Py_HASHTABLE_ENTRY_WRITE_DATA() macro

Issue #26588:

* _Py_HASHTABLE_ENTRY_DATA: change type from "char *" to "const void *"
* Add _Py_HASHTABLE_ENTRY_WRITE_PKEY() macro
* Rename _Py_HASHTABLE_ENTRY_WRITE_DATA() macro to
  _Py_HASHTABLE_ENTRY_WRITE_PDATA()
* Add _Py_HASHTABLE_ENTRY_WRITE_DATA() macro

Issue #26588: Optimize tracemalloc_realloc()

No need to remove the old trace if the memory block didn't move.

Makefile: change default value of TESTTIMEOUT from 1 hour to 15 min

The whole test suite takes 6 minutes on my laptop. It takes less than 30
minutes on most buildbots. The TESTTIMEOUT is the timeout for a single test
file.

regrtest: add timeout to main process when using -jN

libregrtest: add a watchdog to run_tests_multiprocess() using
faulthandler.dump_traceback_later().

_warnings.warn_explicit(): try to import warnings

Issue #26592: _warnings.warn_explicit() now tries to import the warnings module
(Python implementation) if the source parameter is set to be able to log the
traceback where the source was allocated.

Implement finalizer for os.scandir() iterator

Issue #26603:

* Implement finalizer for os.scandir() iterator
* Set the source parameter when emitting the ResourceWarning warning
* Close the iterator before emitting the warning

Add a source parameter to warnings.warn()

Issue #26604:

* Add a new optional source parameter to _warnings.warn() and warnings.warn()
* Modify asyncore, asyncio and _pyio modules to set the source parameter when
  logging a ResourceWarning warning

Fix macros in hashtable.h

Add parenthesis.

Merge 3.5

Enhance _tracemalloc debug mode

Issue #26588: Enhance assertion in set_reentrant()

Fix _tracemalloc start/stop

Issue #26588: Fix _tracemalloc start/stop: don't play with the reentrant flag.

set_reentrant(1) fails with an assertion error if tracemalloc_init() is called
first in a thread A and tracemalloc_start() is called second in a thread B. The
tracemalloc is imported in a thread A. Importing the module calls
tracemalloc_init(). tracemalloc.start() is called in a thread B.

Issue #26588: remove debug traces from _tracemalloc.

Issue #26588: skip test_warnings.test_tracemalloc()

Issue #26588: more debug traces

Issue #26588: Don't call tracemalloc_init() at module initilization

So it's possible to get debug messages in test_tracemalloc.

Issue #26588: one more assertion

Add assertions on tracemalloc_reentrant_key

Issue #26588.

Issue #26588: more assertions

Issue #26588: fix compilation on Windows

Issue #26588: add debug traces

Try to debug random failure on buildbots.

regrtest: add time to output

Timestamps should help to debug slow buildbots, and timeout and hang on
buildbots.

Add C functions _PyTraceMalloc_Track()

Issue #26530:

* Add C functions _PyTraceMalloc_Track() and _PyTraceMalloc_Untrack() to track
  memory blocks using the tracemalloc module.
* Add _PyTraceMalloc_GetTraceback() to get the traceback of an object.

tracemalloc now supports domains

Issue #26588:

* The _tracemalloc now supports tracing memory allocations of multiple address
  spaces (domains).
* Add domain parameter to tracemalloc_add_trace() and
  tracemalloc_remove_trace().
* tracemalloc_add_trace() now starts by removing the previous trace, if any.
* _tracemalloc._get_traces() now returns a list of (domain, size,
  traceback_frames): the domain is new.
* Add tracemalloc.DomainFilter
* tracemalloc.Filter: add an optional domain parameter to the constructor and a
  domain attribute
* Sublte change: use Py_uintptr_t rather than void* in the traces key.
* Add tracemalloc_config.use_domain, currently hardcoded to 1