Edward's latest checkins somehow managed to wipe out my previous latest
checkins.  Reapplying the latter changes.

- DocTest is now a simple container class; its constructor is no longer
  responsible for parsing the string.
- Renamed Parser to DocTestParser
- DocTestParser.get_*() now accept the string & name as command-line
  arguments; the parser's constructor is now empty.
- Added DocTestParser.get_doctest() method
- Replaced "doctest_factory" argument to DocTestFinder with a "parser"
  argument (takes a DocTestParser).
- Changed _tag_msg to take an indentation string argument.

This started as a spelling and whitespace cleanup.  The comment for
the set_trace fiddling didn't make sense to me, and I ended up reworking
that part of the code.  We really do want to save and restore
pdb.set_trace, so that each dynamically nested level of doctest gets
sys.stdout fiddled to what's appropriate for *it*.  The only "trick"
really needed is that these layers of set_trace wrappers each call the
original pdb.set_trace (instead of the current pdb.set_trace).

Patch #1006003: Cygwin standard module build problems

Add missing PyAPI_FUNC/PyAPI_DATA macros.

Add item

- make a module reference a hyperlink
- wrap a long line

fix markup nit

Bug #1001857: socketmodule does not build under cygwin

Restore clean building under Cygwin.

Added support for pdb.set_trace.

Ooops - for some reason I had the wrong versionadded...

Patch #1003700: Add socketpair function to socket module.

Removed lots of stuff from the module docstring.  My intent for 2.4 is
to put details in the LaTeX docs instead, and lots of stuff in the
module docstring wasn't useful anyway.

Repair some out-of-date comments.

Drop the excruciating newline requirements on arguments to
Example.__init__.  The constructor now adds trailing newlines when
needed, and no longer distinguishes between multi- and single-line
cases for source.

Give return stmts their own lines.

Indent body of _EXAMPLE_RE for readability.  _IS_BLANK_OR_COMMENT makes
more sense as a callable.

Changed Parser.get_examples() to return a list of Example objects,
rather than a list of triples.

- Split DocTestRunner's check_output and output_difference methods off
  into their own class, OutputChecker.
- Added optional OutputChecker arguments to DocTestRunner,
  DocTestCase, DocTestSuite.

Rewrote Parser, using regular expressions instead of walking though
the string one line at a time.  The resulting code is (in my opinion,
anyway), much easier to read.  In the process, I found and fixed a
bug in the orginal parser's line numbering in error messages (it was
inconsistant between 0-based and 1-based).  Also, check for missing
blank lines after the prompt on all prompt lines, not just PS1 lines
(test added).

Fixed doctest error (wrong prompts)

Previous commit was viewed as "perverse".  Changed to just cast the unused
variable to void..

Thanks to Sjoerd Mullender for the suggested change.

Add a test for Context.copy().

Tell unittest that source files with "badsyntax" in their names should
raise SyntaxError.  test_compiler passes now on WinXP, at least in a
release-build non-O run.

Renamed locals to better reflect their meanings.

In verbose mode, display the name of each file before trying to compile
it.  Else when this fails, there's no way to tell which file it was
chewing on.

Brief xrange news.

Bug 1003935:  xrange overflows

Added XXX comment about why the undocumented PyRange_New() API function
is too broken to be worth the considerable pain of repairing.

Changed range_new() to stop using PyRange_New().  This fixes a variety
of bogus errors.  Nothing in the core uses PyRange_New() now.

Documented that xrange() is intended to be simple and fast, and that
CPython restricts its arguments, and length of its result sequence, to
native C longs.

Added some tests that failed before the patch, and repaired a test that
relied on a bogus OverflowError getting raised.

Trimmed trailing whitespace.

Get rid of the ignore_imports argument to DocTestFinder.find().
This got slammed in when find() was fixed to stop grabbing doctests
from modules imported *by* the module being tested.  Such tests cannot
be expected to succeed, since they'll be run with the current module's
globals.  Dozens of Zope3 doctests were failing because of that.

It wasn't clear why ignore_imports got added then.  Maybe it's because
some existing tests failed when the change was made.  Whatever, it's
a Bad Idea so it's gone now.

The only use of it was exceedingly obscure, in test_doctest's "Duplicate
Removal" test.  It was "needed" there because, as an artifact of running
a doctest inside a doctest, the func_globals of functions compiled in
the second-level doctest don't match the module globals, and so the
test-finder believed these functions were from a foreign module and
skipped them.  But that took a long time to figure out, and I actually
understand some of this stuff <0.9 wink>.

That problem was resolved by moving the source code for the second-level
doctest into an actual module (test/doctest_aliases.py).

The only remaining difficulty was that the test for the deprecated
Tester.rundict() then failed, because the test finder doesn't take
module=None at face value, trying to guess which module the user really
intended then.  Its guess wasn't appropriate for what Tester.rundict
needs when module=None is given to *it*, which is "no, there is no
module here, and I mean it".  So now passing module=False means exactly
that.  This is hokey, but ignore_imports=False was really a hack to worm
around that there was no way to tell the test-finder that module=None
*sometimes* means what it says.  There was no use case for the combination
of passing a real module with ignore_imports=False.

* Context.copy() now makes a deepcopy.
* Facilitate reloads of local thread.

Type in docstring.

Also deprecated the old Tester class, which is no longer used by anything
except internal tests.

Deprecate the doctest.is_private() function.

Deprecated testmod's useless & confusing isprivate gimmick.
Ripped out the docs for the new DocTestFinder's namefilter argument,
and renamed it to _namefilter; this only existed to support isprivate.
Removed the new DocTestFinder's objfilter argument.  No point adding
more cruft to a broken filtering design.

Whitespace normalization.

Bug 1003471: Python 1.5.2 security vulnerability still present in 2.3.4

That's the title of the report, but the hole was probably plugged since
Python 2.0.  See corresponding checkin to PC/getpathp.c:  a crucial
precondition for joinpath() was neither documented nor verified, and there
are so many callers with so many conditional paths that no "eyeball
analysis" is satisfactory.  Now Python dies with a fatal error if the
precondition isn't satisfied, instead of allowing a buffer overrun.

NOT TESTED!  The Windows version of the patch was, but not this one.  I
don't feel like waiting for someone to notice the patch I attached to the
bug report.  If it doesn't compile, sorry, but fix it <wink>.  If it
does compile, it's "obviously correct".

Purged Berkeley code of references to the long-obsolete whrandom.

Trigger DeprecationWarning

Remove MacOS 9 ref

Remove MacOS 9 refs

[Patch #862531] Update version numbers.

Let's not use string exceptions any more.

Fix

[ 777659 ] Uninitialized variable used in Tools/faqwiz/faqwiz.py

with help from jlgijsbers on #python-dev IRC.

This was quite a dark bug in my recent in-place string concatenation
hack: it would resize *interned* strings in-place!  This occurred because
their reference counts do not have their expected value -- stringobject.c
hacks them.  Mea culpa.

Removing tests that fail because of changes in PyString_InternInPlace(),
as discussed on IRC.  The equivalent tests for the new behavior are in
test_builtin.py.

[Patch #999280 ] Update kwargs in pickle docs to match implementations

[Patch #1003861 from Dima Dorfman] Fix markup in concrete.tex:
PyObject* o -> PyObject *o to be consistent with the
rest of the file
- Correct markup for Py_True
- Remove duplicate description of PyBool_Check

Use LaTeX markup

[Bug #914375] Crude modulefinder docs, but the module's code is very hard to read and it's not clear which bits are public and which aren't.  The module's author should really be doing this (and using docstrings in the code, too)

eval_frame now has a PyAPI-style name

Fixed some compiler warnings.

Add a trivial test for the compiler package, guarded by compiler resource.

This test is insanely slow, so it requires a resource.  On my machine,
it also appears to dump core.  I think the problem is a stack
overflow, but haven't been able to confirm.

Remove various modules that have been documented

SF patch 836879.

Don't generate code for asserts in -O mode.

Subclasses of string can no longer be interned.  The semantics of
interning were not clear here -- a subclass could be mutable, for
example -- and had bugs.  Explicitly interning a subclass of string
via intern() will raise a TypeError.  Internal operations that attempt
to intern a string subclass will have no effect.

Added a few tests to test_builtin that includes the old buggy code and
verifies that calls like PyObject_SetAttr() don't fail.  Perhaps these
tests should have gone in test_string.

[Bug #827209] Add footnote from Alex M. about listcomps leaking their index variables

SF bug 1003471:  Python 1.5.2 security vulnerability

This was probably fixed in rev 1.32 of getpath.c, but there are so
many paths thru the code that invoke joinpath() it's not at all
obvious that it *is* fixed.  It doesn't help confidence that a crucial
precondition for calling joinpath() was neither documented nor verified.
It is now, and joinpath() will barf with a fatal error now rather than
overrun the buffer, if the precondition isn't met.

Note that this patch only changes the Windows flavor.  I attached another
patch to the bug report for the POSIX flavor (which I can't test
conveniently).

Various minor edits

[Bug #866222] Update docs to match the module

[Bug #866222] Update docstrings.

Fix

[ 991812 ] PyArg_ParseTuple can miss errors with warnings as exceptions

as suggested in the report.

This is definitely a 2.3 candidate (as are most of the checkins I've
made in the last month...)

[Bug #991883] Document calling condition

[Bug #990792] Mention that repl can be a callable

Fix urllib2.urlopen() handling of chunked content encoding.

The change to use the newer httplib interface admitted the possibility
that we'd get an HTTP/1.1 chunked response, but the code didn't handle
it correctly.  The raw socket object can't be pass to addinfourl(),
because it would read the undecoded response.  Instead, addinfourl()
must call HTTPResponse.read(), which will handle the decoding.

One extra wrinkle is that the HTTPReponse object can't be passed to
addinfourl() either, because it doesn't implement readline() or
readlines().  As a quick hack, use socket._fileobject(), which
implements those methods on top of a read buffer.  (suggested by mwh)

Finally, add some tests based on test_urllibnet.

Thanks to Andrew Sawyers for originally reporting the chunked problem.

Fix

[ 1000841 ] "make pdf" failure w/ 2.4 docs

in the suggested way, by uglifying a URL.

[Bug #998066] Mention result mismatch

[Bug #923315] Produce correct result on AIX

Patch:

[ 1003863 ] adds an index entry for __all__ to the tutorial

[Bug #873146] Document pickletools module (haven't tested the LaTeX yet)

Add argument to docstring

Point out that the setdefault defaults the value to None.  Inspired by
Michael Chermside's thinking about patch #748126 (the chief upshot of
which thinking was "reject it!").

Resolution of bug #997368, "strftime() backward compatibility".

Specifically, time.strftime() no longer accepts a 0 in the yday position of a
time tuple, since that can crash some platform strftime() implementations.

parsedate_tz(): Change the return value to return 1 in the yday position.

Update tests in test_rfc822.py and test_email.py

SF bug 874842 and patch 997626: httplib bugs

Hack httplib to work with broken Akamai proxies.
Make sure that httplib doesn't add extract Accept-Encoding or
Content-Length headers if the client has already set them.

Make 'bin' argument trigger DeprecationWarning

[Bug #984952] Include more material from PEP 307.
I haven't tried to include all the material on old-style classes using protocols 0,1.  The details are lengthy; someone who knows
more about the pickle module should decide if they're important enough
to be in the docs or not.

Resolution of SF bug #1002475 and patch #1003693; Header lines that end in
\r\n only get the \n stripped, not the \r (unless it's the last header which
does get the \r stripped).  Patch by Tony Meyer.

test_whitespace_continuation_last_header(),
test_strip_line_feed_and_carriage_return_in_headers(): New tests.

_parse_headers(): Be sure to strip \r\n from the right side of header lines.

[Bug #984952] Include some material from PEP 307

This is more-or-less:

[ 1005123 ] test_curses fails on MacOS X 10.3

Be a bit more guarded about what we expect a terminal to be capable
of.

Somehow (no idea how!) I missed half of patch #1005008.   Sorry about that.

This is patch

[ 1005008 ] curses.wrapper should also forward keyword args

Plus my rewrite to use finally as opposed to painfully doing the
equivalent by hand.

[Bug #998307] Use open() instead of file() in docs

fix two typos in markup

Add name

Create section for 2.4a3; remove empty sections in 2.4a2

Another typo

Typo fix

Add recent items

Simplify language

Add string concat item

Exercise DocTestSuite's search for __test__.

Whitespace normalization.

Bug 772091:  doctest.DocTestSuite does not support __test__

This got fixed "by magic" as part of the refactoring, but wasn't tested
as such.  Now it is.

SF bug #1004669:  Type returned from .keys() is not checked

SF bug #1002530:  test_decimal fails if repeated

* Protect the pre-defined contexts by using a deepcopy() instead of copy().
* Micro-optimization:  prefer x&1 over x%2

Merging from tim-doctest-branch, which is now closed.
This primarily adds more powerful ways to work with unittest, including
spiffy support for building suites out of doctests in non-Python
"text files".

SF bug #1004088:   big code objects (>64K) may be optimized incorrectly
Will backport.

Bump version

Typo fix; use 'in-place' instead of 'inplace'

SF patch #980695:  efficient string concatenation
(Original patch by Armin Rigo).

Changes the remote address used for tests in TimeoutTestCase from google.com to
python.org .  This way the delay should be great enough for
testConnectTimeout() to pass even when one has a really fast Net connection
that allows connections faster than .001 seconds.