_dis_test should be a raw string now that it contains \x escapes.

dis():  Not all opcodes are printable anymore, so print the repr
of the opcode character instead (but stripping the quotes).

Added a proto 2 test section for the canonical recursive-tuple case.
Note that since pickle's save_tuple() takes different paths depending on
tuple length now, beefier tests are really needed (but not in pickletools);
the "short tuple" case tried here was actually broken yesterday, and it's
subtle stuff so needs to be tested.

Add a few comments.  Change the way the protocol is checked (it must
be one of 0, 1 or 2).

I should note that the previous checkin also added NEWOBJ support to
the unpickler -- but there's nothing yet that generates this.

Rename all variables 'object' to 'obj' to avoid conflicts with the
type 'object'.  Also minor docstring tweakage, and rearranged a few
lines in save().

Fix one disassembly output now that empty tuples are no longer
memoized in text mode.  Fixed some variable names in the disassembler
doctest.

Don't memoize the empty tuple in protocol 0.

Update to the final version released as Expat 1.95.6 (maintaining
Martin's integration changes).

save_tuple():  So long as the charter is rewriting for clarity, the snaky
control flow had to be simplified.

save_tuple():  I believe the new code for TUPLE{1,2,3} in proto 2 was
incorrect for recursive tuples.  Tried to repair; seems to work OK, but
there are no checked-in tests for this yet.

Comments.

Now that proto2 is defined, replaced XXX blocks with text about it.

Also moved the proto2 opcode descriptors into the sections they fit (like
TUPLE{1,2,3} in the group of tuple-building opcodes; etc).

OK, this is really the last one tonight!

NEWFALSE and NEWTRUE.

Shouldn't test short tuples with all items equal -- one potential bug
would be that the tuple is reversed on unpickling, and we should catch
that. :-)

Goodnight -- that's it for toniht!

More protocol 2: TUPLE1, TUPLE2, TUPLE3.

Also moved the special case for empty tuples from save() to save_tuple().

Rename 'bin' arg to 'proto'.  Keep the default at 0 lest the tests
change in meaning.

save_inst():  Rewrote to have only one branch on self.bin.  Also got rid
of my recent XXX comment, taking a (what appears to be vanishingly small)
chance and calling self.memoize() instead.

First baby steps towards implementing protocol 2: PROTO, LONG1 and LONG4.

Fixed odd whitespace after "if", which I believe I introduced long ago.

save_int():  Fixed two new off-by-1 glitches.

Add a comment explaining that struct.pack() beats marshal.dumps(), but
marshal.loads() beats struct.unpack()!  Possibly because the latter
creates a one-tuple. :-(

Got rid of mdumps; I timed it, and struct.pack("<i", x) is more than
40% faster than marshal.dumps(x)[1:]!  (That's not counting the
module attribute lookups, which can be avoided in either case.)

save_tuple():  Minor rewriting, and added a comment about the subtlety
created by recursive tuples.

load_appends():  replaced .append() loop with an .extend().

Comments.

save_dict():  Untangled most of the bin-vs-not-bin logic.  Also used
iteritems() instead of materializing a (possibly giant) list of the
items.

save_list():  Rewrote, to untangle the proto 0 from the proto 1 cases.
The code is much easier to follow now, and I bet it's faster too.

save_list():  removed unused local "d".

save_list():  removed unused local "memo".

save_pers():  Switched the order of cases, to get rid of a "not", and to
make the bin-vs-not-bin order consistent with what other routines try to
do (they almost all handle the bin case first).

Several routines appeared to inline the guts of memoize(), possibly for
some notion of low-level efficiency.  Undid that, but left one routine
alone:  save_inst() claims it has a reason for not using memoize().
I don't understand that comment, so added an XXX comment there.

save():  Fiddled the control flow to put the normal case where it
belongs.  This is a much smaller change than it may appear:  the bulk
of the function merely got unindented by one level.

Added XXX about save()'s special-casing of tuples -- I don't get it.

save_bool():  simplified.

Repaired grammar in new comment.

clear_memo():  Repaired grammar in docstring.

Added one-line comments to the proto 2 opcodes.

Use proper function name in exception messages

Removed the new LONG2 opcode:  it's extravagant.  If LONG1 isn't enough,
then the embedded argument consumes at least 256 bytes.  The difference
between a 3-byte prefix (LONG2 + 2 bytes) and a 5-byte prefix (LONG4 +
4 bytes) is at worst less than 1%.  Note that binary strings and binary
Unicode strings also have only "size is 1 byte, or size is 4 bytes?"
flavors, and I expect for the same reason.  The only place a 2-byte
thingie was used was in BININT2, where the 2 bytes make up the *entire*
embedded argument (and now EXT2 also does this); that's a large savings
over 4 bytes, because the total opcode+argument size is so small in
the BININT2/EXT2 case.

Removed the TAKEN_FROM_ARGUMENT "number of bytes" code, and bifurcated it
into TAKEN_FROM_ARGUMENT1 and TAKEN_FROM_ARGUMENT4.  Now there's enough
info in ArgumentDescriptor objects to deduce the # of bytes consumed by
each opcode.

Rearranged the order in which proto2 opcodes are listed in pickle.py.

Documented the 2's-comp business for the new long opcodes.

Whitespace normalization.

decode_long():  Simplified the "is it negative?" test.

Begin the change from 'binary vs. text mode' to 'protocol 0, 1, 2'.
The protocol now defaults to 1.  Protocol 2 is still unimplemented.

Support socket timeout in SSL, by Geoff Talvola.
(SF patch #675750, to fix SF bug #675552.)

Begin documenting protocol 2.

Added some comments.

memoize():  Reworded the docs to try to disentangle the Pickler's memo
dict from the Unpickler's memo (which is a different beast!).

Using marshal functions to pack & unpack 1-byte ints is an obscure &
expensive way to spell chr() and ord().

Added a brief comment to each pickle opcode declaration.

Remove a stray quote.

Repaired comment.

stringnl_noescape_pair():  changed the reader to separate the two
component strings by a blank instead of a period.  Guido pointed
out that the component strings (at least the first one) can be
dotted already.  find_class() is overridable too, so only God knows
all the possibilities that make sense to someone.

Moving pickletools.py from the sandbox into the std library.  I started
this over the weekend, and it made faster & better progress than I
expected -- it's already useful <wink>.

Repaired spelling of "test_iconv_codecs" in various expected-skip lists.

Update register example

Adjust some of Skip's latest changes slightly; these really are things
that should stand out.

Make the "notice" environments somewhat similar, with less difference
between the "note" and "warning" flavors.

Remove the recently-added get_distutil_options(), and just
   have two tuples listing the legal keywords for setup() and Extension()

Fix comment typos

Attempting to keep the Mac section of the NEWS file up-to-date, in stead
of the usual frantic editing at the last moment:-)

* add \versionadded{} strings as appropriate
* remove doc for defunct IllegalKeywordArgument exception
* add note that HTTP class is for backward compatibility and refer reader to
  online docstrings for help

Fix reference counting of iconvcodec_Type. Fixes #670715.
Remove GC code; the base type does not need GC.

Patch #670715: Universal Unicode Codec for POSIX iconv.

Update for release.
Modified Files:
  INSTALL.txt NEWS.txt idlever.py

Whitespace normalization.
Modified Files:
  Bindings.py configHandler.py configHelpSourceEdit.py

Use new file dialogs.

Fix an omission in the previous checkin.

Use new file dialogs.

Update.

Use new file dialogs.

Path to default location for Python output has changed.

FSRef and EasyDialogs pathname support was pretty much broken in MacPython-OS9. Fixed.

Get rid of compiler warnings on Redhat

amk pointed out that syslog may use UDP or TCP sockets.
Update to try UDP, if that fails, try TCP.

Define XML_STATIC.

Add _iconv_codec to Setup.dist. Use PyModule_ functions.

Test that True can be copied.

Patch #670715: Universal Unicode Codec for POSIX iconv.

Require PyXML 0.8.2.

Merge with PyXML 1.3:
Add support for the DOM Level 3 (draft) DOMImplementationSource interface
to the xml.dom and xml.dom.minidom modules.  Note API issue: the draft spec
says to return null when there is no suitable implementation, while the
Python getDOMImplementation() function raises ImportError (minor).

Merge with PyXML 1.34: Correct typo. Fixes #674700.

Merge with PyXML 1.82:
Correct various typos. Fixes #674700.
Set newly created attribute via setNamedItem.

Undo inclusion of Python.h. Remove HAVE_MEMCPY section.
Update Windows command line.

M ScriptBinding.py
M config-extensions.def
M help.txt

1. Run Script  -->  Run Module
2. Update IDLE Help file and do more work on format.

Part 3 of Py2.3 update

SF #642974, logging SysLogHandler proto type wrong

Syslog uses UDP (SOCK_DGRAM)

SF #642974, logging SysLogHandler proto type wrong

Syslog uses UDP (SOCK_DGRAM)

Uncomment usage of expat_config.h

Patch #636005: Filter unicode into unicode.

Incorporate Expat 1.95.6.

Part II of Python2.3 update

Synchronize with PyXML's 1.33: Import missing modules.

Fix minor typos.

Merge PyXML 1.11-1.26:
Re-arrange the imports into "Python normal form."
Add test of the getUserData() / setUserData() methods, including the
NODE_CLONED callback.

Added support for renameNode() and getInterface().
Changed Node.unlink() so an unlinked node is not rendered completely
unusable by setting childNodes to None.
Element.removeAttributeNode() is slightly less destructive.

Added test for the wholeText attribute.

Added a test for Text.replaceWholeText().

Fixed to properly create Element in test of user data

Rename a local variable so it makes sense when viewed as a sequence.
Unlink a few documents when we're done with them.

Added tests to define the behavior of the cloneNode() and importNode()
mehods, especially in the "difficult" cases of document and
document-type nodes.

Filled in a few more of the other cloneNode() tests.

NodeList.item() does not exist before Python 2.2, since it requires being
able to create subtypes of list.  Use the subscript syntax instead.

Added a test that minidom documents can be pickled and unpickled.
Closes SF bug #609641.

Fill in an empty test, making sure we get the whitespace right for the
data attribute of a processing instruction.

Added checks for a few more invariants for processing instructions.

testProcessingInstruction():  The length attribute of the NodeList
    interface is not implemented for Python 2.0, 2.1, so only use
    len() to test the length.

testSchemaType():  New test, testing just the minimum of schemaType
    support; this is different from the test_xmlbuilder version of the
    test since it doesn't rely on using a specific builder, and the
    builders support different levels of DTD support.

Add tests for the removeNamedItem() and removeNamedItemNS() methods of
the NamedNodeMap instances found on Element nodes.
These do not pass; the fix will be committed shortly.

Added support for the DOM Level 3 (draft) Element.setIdAttribute*() methods.

Do more to avoid creating new Attr nodes, so that attributes do not lose
their ID-ness when set using setIdAttribute*().

M PyShell.py
M RemoteDebugger.py
M rpc.py

Fix the incorrect shell exception tracebacks generated when running
under debugger control:

1. Use rpc.SocketIO.asynccall() instead of remotecall() to handle the
   IdbProxy.run() command.
2. Add a 'shell' attribute to RemoteDebugger.IdbProxy to allow setting
   of ModifiedInterpreter's active_seq attribute from RemoteDebugger code.
3. Cleanup PyShell.ModifiedInterpreter.runcode() and remove ambiguity
   regarding use of begin/endexecuting().
4. In runcode() and cleanup_traceback() use 'console' instead of 'file' to
   denote the entity to which the exception traceback is printed.
5. Enhance cleanup_traceback() so if the traceback is pruned entirely away
   (the error is in IDLE internals) it will be displayed in its entirety
   instead.
6. ModifiedInterpreter.runcode() now prints ERROR RPC returns to both
   console and __stderr__.
7. Make a small tweak to the rpc.py debug messages.

SF #638299, LaTeX documentation for logging package

Replace existing doc with new version from Vinay.
Fixed markup and wrapped long lines from patch.
Needs review.

Part I of an update for Python 2.3.

Fix markup

Import UserDataHandler from PyXML.

Import NodeFilter from DOM2 Traversal/Range.

Merge with PyXML 1.28:
Wrap a lot of long lines.
Clean up a handler for expat.error.

If a lexical handler is set, make sure we call the startDTD() and
endDTD().  If the lexical handler is unset (by setting it to None),
remove the handlers from the underlying pyexpat parser object.
Closes SF bug #485584.

In namespaces mode, make sure we set up the qnames dictionary
correctly for the AttributesNSImpl instance passed to the
start-element-handler.
Closes SF bug #563399.

Support skippedEntity. Fixes #665486.