SF bug #1022010:   Import random fails

* Complete the previous patch by making sure that the MachineRandom
  tests are only run when the underlying resource is available.

Change the strategy for coping with time intensive tests from
"all or none" to "all or some".

This provides much greater test coverage without eating much time.
It also makes it more likely that routine regression testing will
unearth bugs.

Added IGNORE_EXCEPTION_DETAIL comparison option.  The need is explained
in the new docs.

DocTestRunner.__run:  Separate the determination of the example outcome
from reporting that outcome, to squash brittle code duplication and
excessive nesting.

Added a couple names to __all__.

SF bug 1017405:  the keys() values() and items() DB methods were
ignoring their transaction (txn) argument.

Minor aesthetic change in sre_parse.py, as suggested by Mike Coleman.

SF bug #1022010:  Import random fails

* trap NotImplementedError raised by os.urandom calls when not available
  on a particular system.

Fixing bug #817234, which made SRE get into an infinite loop on
empty final matches with finditer(). New test cases included
for this bug and for #581080.

Applying modified version of patch #1018386, which fixes
some escaping bugs in SRE.

Add main program for icon file.

Make the api of the _dispatch() method more concrete.  I have no idea if
this is the right way to document such things (Fred, help me out here :-),
but I got misled by the existing documentation and assumed the parameter
list was a *args sort of thing.

This commit was manufactured by cvs2svn to create tag 'r24a3'.

update version

release date

Update buildno for 2.4a3

Conditionalize Tcl feature

[Bug #1011606] Only check file descriptors for exceptional conditions if the fd is readable or writable

Whitespace normalization.

SF patch #1020188:  Use Py_CLEAR where necessary to avoid crashes
(Contributed by Dima Dorfman)

- add missing \end{seealso}
- wrap long line

Remove rotor from the build.

Remove rotor and xreadlines from VC 6 build.

Add instructions for building Tix

Fix installdir for Tix

Remove rotor and xreadlines from VC 7.1 build.

Add item

Remove rotor, xreadlines modules

Add news item.

Remove mpz, rotor, xreadlines modules

Remove rotor reference

Missed some occurrences of test_mpz

Remove mpz, rotor

Remove mpzpi demo

Remove test output for rotor, xreadline

Remove mpz, rotor, xreadlines modules

Remove rotor, xreadlines modules

Remove test for mpz

Remove tests for mpz, rotor, xreadlines

Remove rotor license

Remove docs for xreadlines, mpz, rotor

Remove xreadlines reference

Remove TERMIOS module

Remove TERMIOS docs

Use correct constant; remove reference to TERMIOS.py

Change from Raymond: use pos/neg instead of +/- 1; minor edits

Describe non-recursive re

Add bug/patch counts

Use multi-line import

Update versions and dates; add PEP 328

Updated doc for getLogger()

SF patch #1007189, multi-line imports, for instance:
"from blah import (foo, bar
baz, bongo)"

onward and upward

Add patch for Tix 8.1.4.

HardwareRandom:  Go back to multiplying by 2**-BPF instead of using
ldexp.  Both methods are exact, and return the same results.  Turns out
multiplication is a few (but just a few) percent faster on my box.
They're both significantly faster than using struct with a Q format
to convert bytes to a 64-bit long (struct.unpack() appears to lose due
to the tuple creation/teardown overhead), and calling _hexlify is
significantly faster than doing bytes.encode('hex').  So we appear to
have hit a local minimum (wrt speed) here.

Take advantage of the math library's ldexp for assembling a float by
components without division and without roundoff error for properly
sized mantissas (i.e. on systems with 53 or more mantissa bits per
float).  Eliminates the previous implementation's rounding bias as
aptly demonstrated by Tim Peters.

Changed Karatsuba cutoff to match current reality.

More cmd.exe exploitation.

Since it's impossible to build Python using VC7.1 on a command.com
system, exploit cmd.exe's setlocal function in this directory.

Updated test-runner .bat for new location of Tcl/Tk.

Replaced outcomes from native Tcl/Tk tests.  Maybe the diffs are legit,
maybe not.  I noticed that the Tcl results I'm replacing here claimed
both that there were no failures, and that one file had tests with
failures, so I wasn't inclined to trust them <wink>.

win32_urandom():  There's no need to copy the generated byte string, so
don't.

win32_urandom():  pass the function name to PyArg_ParseTuple, for better
error msgs.

win32_urandom():  Raise ValueError if the argument is negative.

win32_urandom():  Rewrite to Python C standards (hard tabs, function name
in first column, no parens around return value).

The distinction between comparison flags and reporting flags isn't unique
to unittest, so make it official:  new module constants COMPARISON_FLAGS
and REPORTING_FLAGS, which are bitmasks or'ing together the relevant
individual option flags.

set_unittest_reportflags():  Reworked to use REPORTING_FLAGS, and
simplified overly complicated flag logic.

class FakeModule:  Removed this; neither documented nor used.

Fix build error: \filename{/dev/urandom} -> \file{/dev/urandom}.

Bug #1014775: update NEWS.help for changes in docutils.

Bug #1014770: apply some rest-foo and fix some docutils errors.

Patch #934356: if a module defines __all__, believe that rather than using
heuristics for filtering out imported names.

Whitespace normalization.

Patch #1003640: replace checkline() function parsing with new breakpoint logic:

1) When a breakpoint is set via a function name:
- the breakpoint gets the lineno of the def statement
- a new funcname attribute is attached to the breakpoint

2) bdb.effective() calls new function checkfuncname() to handle:
- def statement is executed: don't break.
- a first executable line of a function with a breakpoint on the lineno of the
def statement is reached: break.

This fixes bugs 976878, 926369 and 875404. Thanks Ilya Sandler.

Add items

Patch #941486: add os.path.lexists(). Also fix bug #940578 by using lexists in glob.glob.

Pickup Tk from tcltk directory.

Bump Tk version to 8.4.7. Build into tcltk directory.

Teach the random module about os.urandom().

* Use it for seeding when it is available.
* Provide an alternate generator based on it.

long_pow():  Fix more instances of leaks in error cases.

Bugfix candidate -- although long_pow() is so different now I doubt a
patch would apply to 2.3.

SF patch 936813: fast modular exponentiation

This checkin is adapted from part 2 (of 3) of Trevor Perrin's patch set.

BACKWARD INCOMPATIBILITY:  SHIFT must now be divisible by 5.  AFAIK,
nobody will care.  long_pow() could be complicated to worm around that,
if necessary.

long_pow():
  - BUGFIX:  This leaked the base and power when the power was negative
    (and so the computation delegated to float pow).
  - Instead of doing right-to-left exponentiation, do left-to-right.  This
    is more efficient for small bases, which is the common case.
  - In addition, if the exponent is large (more than FIVEARY_CUTOFF
    digits), precompute [a**i % c for i in range(32)], and go left to
    right 5 bits at a time.
l_divmod():
  - The signature changed so that callers who don't want the quotient,
    or don't want the remainder, can pass NULL in the slot they don't
    want.  This saves them from having to declare a vrbl for unwanted
    stuff, and remembering to decref it.
long_mod(), long_div(), long_classic_div():
  - Adjust to new l_divmod() signature, and simplified as a result.

Whitespace normalization.  test_difflib passes again.

SF patch 936813: fast modular exponentiation

This checkin is adapted from part 1 (of 3) of Trevor Perrin's patch set.

x_mul()
  - sped a little by optimizing the C
  - sped a lot (~2X) if it's doing a square; note that long_pow() squares
    often
k_mul()
  - more cache-friendly now if it's doing a square
KARATSUBA_CUTOFF
  - boosted; gradeschool mult is quicker now, and it may have been too low
    for many platforms anyway
KARATSUBA_SQUARE_CUTOFF
  - new
  - since x_mul is a lot faster at squaring now, the point at which
    Karatsuba pays for squaring is much higher than for general mult

Reverting whitespace normalization.  test_difflib fails with it -- the
test depends on invisible trailing whitespace in .py files.  The author will
have to repair that.

Whitespace normalization.

Patch #727483: Add AUTH_TYPE and REMOTE_USER.

Patch #973204: Use -rpath instead of -R on Irix and Tru64.

Patch #914575: difflib side by side diff support, diff.py s/b/s HTML option.

Centralize WITH_TSC processing.

Patch #934711: Expose platform-specific entropy.

SF feature request #992967:  array.array objects should support sequences.

Made the constructor accept general iterables.

Whitespace normalization.

Added an __iter__ method for test suites.

setUp and tearDown functions are now passed the test object

- setUp and tearDown functions are now passed the test object

- Added a set_unittest_reportflags to set default reporting flags used
  when running doctests under unittest control.

PyUnicode_Join():  Bozo Alert.  While this is chugging along, it may
need to convert str objects from the iterable to unicode.  So, if
someone set the system default encoding to something nasty enough,
the conversion process could mutate the input iterable as a side
effect, and PySequence_Fast doesn't hide that from us if the input was
a list.  IOW, can't assume the size of PySequence_Fast's result is
invariant across PyUnicode_FromObject() calls.

PyUnicode_Join():  Rewrote to use PySequence_Fast().  This doesn't do
much to reduce the size of the code, but greatly improves its clarity.
It's also quicker in what's probably the most common case (the argument
iterable is a list).  Against it, if the iterable isn't a list or a tuple,
a temp tuple is materialized containing the entire input sequence, and
that's a bigger temp memory burden.  Yawn.

Removed old "if 0:" block for leak detection; wouldn't work anymore anyway.

Don't really need ellipsis doctests for the syntax errors, because
this module imports itself explicitly from test (so the "file names"
current doctest synthesizes for examples don't vary depending on how
test_generators is run).

Removed outdated comment

Fixed 6 failures due to doctest changes.

test_bug1001011():  Verify that

    s.join([t]) is t

for (s, t) in (str, str), (unicode, unicode), and (str, unicode).
For (unicode, str), verify that it's *not* t (the result is promoted
to unicode instead).  Also verify that when t is a subclass of str or
unicode that "the right thing" happens.

PyUnicode_Join():  Missed a spot where I intended a cast from size_t to
int.  I sure wish MS would gripe about that!  Whatever, note that the
statement above it guarantees that the cast loses no info.

Fix the spelling of Fredrik Lundh's last name (unless there really is a
"Fredrik Lund" who contributed the code in question).