]> granicus.if.org Git - python/commit
[2.7] bpo-30523, bpo-30764, bpo-30776: Sync regrtest from master (#2444)
authorVictor Stinner <victor.stinner@gmail.com>
Tue, 27 Jun 2017 14:56:43 +0000 (16:56 +0200)
committerGitHub <noreply@github.com>
Tue, 27 Jun 2017 14:56:43 +0000 (16:56 +0200)
commitfea98bfcff6ccf9142daa97677fe86c1fdf8e63e
treec1efa49a12f396c288e49f025c7ff088e21d147b
parent2d775589d98959abb9833121bd9d417003de56c0
[2.7] bpo-30523, bpo-30764, bpo-30776: Sync regrtest from master (#2444)

* bpo-30523: regrtest --list-cases --match (#2401)

* regrtest --list-cases now supports --match and --match-file options.
  Example: ./python -m test --list-cases -m FileTests test_os
* --list-cases now also sets support.verbose to False to prevent
  messages to stdout when loading test modules.
* Add support._match_test() private function.
(cherry picked from commit ace56d583664f855d89d1219ece7c21c2fddcf30)

(cherry picked from commit 36946c06a3bdb1104c53f0fe535086572ffbdd9e)

* bpo-30764: regrtest: add --fail-env-changed option (#2402)

* bpo-30764: regrtest: change exit code on failure

* Exit code 2 if failed tests ("bad")
* Exit code 3 if interrupted

* bpo-30764: regrtest: add --fail-env-changed option

If the option is set, mark a test as failed if it alters the
environment, for example if it creates a file without removing it.

(cherry picked from commit 63f54c68936d648c70ca411661e4208329edcf26)
(cherry picked from commit 1f33857a3677de84bdc6d80c39f577eb081ed85d)

* bpo-30776: reduce regrtest -R false positives (#2422)

* Change the regrtest --huntrleaks checker to decide if a test file
  leaks or not. Require that each run leaks at least 1 reference.
* Warmup runs are now completely ignored: ignored in the checker test
  and not used anymore to compute the sum.
* Add an unit test for a reference leak.

Example of reference differences previously considered a failure
(leak) and now considered as success (success, no leak):

    [3, 0, 0]
    [0, 1, 0]
    [8, -8, 1]
(cherry picked from commit 48b5c422ffb03affb00c184b9a99e5537be92732)

(cherry picked from commit e0f8b43a46850aa5e5992465cab684496f102fe5)
Lib/test/regrtest.py
Lib/test/support/__init__.py
Lib/test/test_regrtest.py