first cut at unittest version of re tests

if the test is run directly (__name__ == "__main__") don't actually require
particular resources

remove test_socketserver from the skip lists

* minor tweaks relating to the package nature of the beast
* added an (incomplete) description of the utils.Sniffer class

Updated a bunch of docs to describe how message ids and strings are
Unicode in GNUTranslations.  Also provide better descriptions of
*gettext() overridden methods, esp. w.r.t. the behavior in the face of
fallbacks.

GNUTranslations:

    __init__(): Removed since we no longer need the coerce flag.
    Message ids and strings are now always coerced to Unicode, /if/
    the catalog specified a charset parameter.

    gettext(), ngettext(): Since the message strings are Unicodes in
    the catalog, coerce back to encoded 8-bit strings on return.

    ugettext(), ungettext(): Coerce the message ids to Unicode when
    there's no entry for the id in the catalog.

Minor code cleanups; use booleans where appropriate.

UnicodeTranslationsTest.setUp(): Removed the coerce flag to the
GNUTranslations constructor.

Remove unneeded continuation chars

Move all the imports to the top; use md5.new()

Run this demo script through reindent.py; output has been verified to remain the same

Modernize the code a bit:
   use re module
   make chomp() use rstrip()

Modernize the code a bit:
   use re module
   use .split() string method

Doesn't use 'for line in sys.stdin'; that ends up changing its interactive
behaviour.

Run these demo scripts through reindent.py to give them 4-space indents.  I've verified that their output is unchanged.

Modernize code by using isinstance() instead of type() checks

Avoid TypeError by not comparing complex numbers

Bump Windows build number for 2.3b1.

SF bug 665835: filter() treatment of str and tuple inconsistent

As a side issue on this bug, it was noted that list and tuple iterators
used macros to directly access containers and would not recognize
__getitem__ overrides.  If the method is overridden, the patch returns
a generic sequence iterator which calls the __getitem__ method; otherwise,
it returns a high custom iterator with direct access to container elements.

Bump version number to 2.3b1.

Fix case

Add some more items

Bump the release information.

Fix docstring typo

Add cross-references between urllib.urlencode() and cgi.parse_qs[l]().
Closes SF bug #724751.

This test now uses the separate getargs_X functions from _testcapimodule.

New support functions for test_getargs2.
Theres now a separate function for each of the format codes
b, B, H, I, k, i, l, L, K.

Whitespace normalization.

Get rid of some hard coded tabs

SF patch 695710: fix bug 678519: cStringIO self iterator
(requested by GvR. patch contributed by Michael Stone)

SF Patch 549151: urllib2 POSTs on redirect
(contributed by John J Lee)

Note the platform module.

Added a comment about backward compatibility requirements and a link
to the PyBSDDB project at SourceForge.

Mention deprecation of rotor module

[Patch #679505] Document that the rotor module is deprecated

[Patch #679505] Document that this module is deprecated

[Patch #679505] Silence DeprecationWarning when testing rotor module

[Patch #679505] Trigger DeprecationWarning on importing the rotor module

Reformatted a bit to remove the lengthy re.compile() from the function
definitions.

New module platform.py, submitted by Marc-Andre Lemburg.

There's no separate documentation for this module yet - apart from the
doc-strings which explain the APIs.

SF 686323: Minor array module enhancements
Allows use of tuples for the initializer.

Revert the previous enhancement to the bytecode optimizer.
The additional code complexity and new NOP opcode were not worth it.

Fix docstring for URLOpener.retrieve() in regards to opening a local file

Fixed docs for urlretrieve() to match code in the case of opening a local file.

Also some typos and removed trailing whitespace on the lines.

fix some markup errors

clarify - restrict version mention to the trunk version

added note about character set limitations in passwords.

Document the new functions PyInt_AsUnsignedLongMask(), PyInt_AsUnsignedLongLongMask(),
PyLong_AsUnsignedLongMask(), PyLong_AsUnsignedLongLongMask().

Max OS X returns "*" as the password in grp.getgrall()
and "" in grep.getgrgid(). Adjust the test to work
around this problem. This should fix SF bug #724771.

Clarified new fsync() docs.

Mention the new getargs.c format codes.

Document the new format codes B, H, I, k, K.

SF patch 557704: netrc module can't handle all passwords

Revised netrc.py to include the additional ascii punctuation
characters.  Omitted the other logic changes.  See
Lib/netrc.py 1.17.

Since this is more of a feature request than a bug,
including in Py2.3 but not recommending for backporting.

SF 557704: netrc module can't handle all passwords

Expanded the range of allowable characters to include ascii punctuation.
Allows resource files to have a larger character set for passwords.
(Idea contributed by Bram Moolenaar.)

SF Patch 685051:  fix for 680789: reprs in arraymodule
(contributed by logistix; substantially reworked by rhettinger).

To create a representation of non-string arrays, array_repr() was
starting with a base Python string object and repeatedly using +=
to concatenate the representation of individual objects.

Logistix had the idea to convert to an intermediate tuple form and
then join it all at once.  I took advantage of existing tools and
formed a list with array_tolist() and got its representation through
PyObject_Repr(v) which already has a fast implementation for lists.

Update the package list whenever we build distfiles.
This is used on www.python.org.

some more error-message enhancements

Fix SF bug #723801, logging.setLoggerClass() doesn't support new-style classes

complete and clarify some error messages for range()

Improve the message about metatype/metaclass conflicts.

SF patch #725904, Minor changes to logging from module author (Vinay Sajip)
 - upgrade to version 0.4.8

Enable os.fsync() for Windows, mapping it to MS's _commit() there.  The
docs here are best-guess:  the MS docs I could find weren't clear, and
some even claimed _commit() has no effect on Win32 systems (which is
easily shown to be false just by trying it).

PyObject_IsTrue() can return an error condition.
Adding code to handle it properly.

Add comment on performance.
Fix missing right parenthesis.
Add three examples.

Update to the new PyGILState APIs to simplify and correct thread-state
management.  Old code still #ifdef'd out - I may remove this in a sec,
but for now, let's get it in and things passing the tests again!

Fix by Lars Gustaebel for bug 721871: don't get upset if the prefix
field contains garbage after the first NUL character.

markup corrections

Do a little more searching for the data file for the test: this allows
using a build directory just inside the source directory and saving
just one copy of the test data in the source tree, rather than having
a copy in each build directory.

Made MAX_UNTIL/MIN_UNTIL code more coherent about mark protection,
accordingly to further discussions with Greg Chapman in patch #712900.

Only produce a dotted module name when writing output to a separate
directory.

- explain the start argument to sum()
- various adjustments to sum() markup and explanation

If not icon file is specified use the default Python Applet icons.
Fixes 719303.

Fix some markup nits.

Only return a warning message about not all files being unpacked if there
were indeed files that weren't unpacked.

Allow setting the auto dispose flag on window objects.

Hiding packages was done incorrectly. Fixed.

PyGILState cleanup was too early - destructors called via module cleanup may use the API.

Change test_pwd and test_grp so they can handle duplicate user
and group names. This should fix SF bug #724771.

fixed a potential refcount bug (thanks Raymond!).

Adding new built-in function sum, with docs and tests.

Improved the bytecode optimizer.
* Can now test for basic blocks.
* Optimize inverted comparisions.
* Optimize unary_not followed by a conditional jump.
* Added a new opcode, NOP, to keep code size constant.
* Applied NOP to previous transformations where appropriate.

Note, the NOP would not be necessary if other functions were
added to re-target jump addresses and update the co_lnotab mapping.
That would yield slightly faster and cleaner bytecode at the
expense of optimizer simplicity and of keeping it decoupled
from the line-numbering structure.

minor cleanups and whitespace normalisation

Get test_capi & test_getargs2 to pass on alphas
  * UINT_MAX -> ULONG_MAX since we are dealing with longs
  * ParseTuple needs &int for 'i' and &long for 'l'
    There may be a better way to do this, but this works.

Add helper function to get module name taking packages into account.

Holistic refactoring.

Remove "." in coverage output for lines with comments.
Silence complaints in coverage output about unexecuted docstrings.

Eliminate use of inspect module in favor of direct access to frame and
code objects.  We're in a trace function here:  Efficiency counts!

Remove unused code.  Reflow long lines.

Remove backwards compatibility for stored trace output from Zooko's
experiment to add calledfuncs to the pickled dict.

Move code to generate per-file coverage stats to a separate routine.

Replace use of parser module with call to compile.

Add a useful docstring to enumerate.

Makefile & config.c:
- restructure build for modules now in Python DLL

README.os2emx
- clean out old cruft no longer appropriate now that EMX port builds
  from CVS
- reflect move of modules into core DLL
- add section on building from source

Makefile:
- add _csv module to the build list
- various cleanups

config.c:
- various cleanups

pyconfig.h:
- various cleanups

apply Mark Hammond's PEP 311 changes to the EMX ripoff of the Windows
popen[234]() code

- DosSetExtLIBPATH objects to a NULL pointer, but a pointer to a NULL
  string does what is expected (ie unset [BEGIN|END]LIBPATH)

- set the size of the DosQuerySysInfo buffer correctly; it was safe,
  but incorrect (allowing a 1 element overrun)

Test suite for optparse.  This is a slightly-edited copy of
test/test_optik.py (rev 1.19) from the Optik CVS.

Update to Optik 1.4.1; here are the relevant bits of the change log:

  * Fixed some long-hidden bugs revealed by the new PyUnit-based
    test suite (thanks to Johannes Gijsbers the new test suite,
    improved tests that caught the bugs, and the bug fixes).

  * Make store_true/store_false store True/False rather than 1/0.

Details available in Optik's CVS repository.

More work on bug #672491 and patch #712900.

I've applied a modified version of Greg Chapman's patch. I've included
the fixes without introducing the reorganization mentioned, for the sake
of stability. Also, the second fix mentioned in the patch don't fix the
mentioned problem anymore, because of the change introduced by patch
#720991 (by Greg as well). The new fix wasn't complicated though, and is
included as well.

As a note. It seems that there are other places that require the
"protection" of LASTMARK_SAVE()/LASTMARK_RESTORE(), and are just waiting
for someone to find how to break them. Particularly, I belive that every
recursion of SRE_MATCH() should be protected by these macros. I won't
do that right now since I'm not completely sure about this, and we don't
have much time for testing until the next release.

- Changed shlex.split() method to have more useful and
  meaningful parameters.

- Included examples documenting how the lastindex member of
  match objects work.

Finally added a -h option to print the module docstring and exit. ;)

- Fixed bug #672491. This change restores the behavior of lastindex/lastgroup
  to be compliant with previous python versions, by backing out the changes
  made in revision 2.84 which affected this. The bugfix for backtracking is
  still maintained.

Patch #553171: Add writeback parameter. Also add protocol parameter.

handle_system_exit():  This leaked the current exception info, in
particular leaving the traceback object (and everything reachable
from it) alive throughout shutdown.  The patch is mostly from Guido.

Bugfix candidate.

Docstring clarifications.

- bool() called without arguments now returns False rather than
  raising an exception.  This is consistent with calling the
  constructors for the other builtin types -- called without argument
  they all return the false value of that type.  (SF patch #724135)
  Thanks to Alex Martelli.

- Several methods of nntplib.NNTP have grown an optional file argument
  which specifies a file where to divert the command's output
  (already supported by the body() method).  (SF patch #720468)
  Thanks to Terry Carroll.