SF patch #667730: More DictMixin

* Adds missing pop() methods to weakref.py
* Expands test suite to broaden coverage of objects with
  a mapping interface.

Contributed by Sebastien Keim.

SF 698520:  Iterator for urllib.URLOpener
Contributed by Brett Cannon.

[ 684677 ] Allow freeze to exclude implicits

Skip the test if TESTFN_ENCODING is None. Fixes #699386.

_split_ascii(): lstrip the individual lines in the ascii split lines,
since we'll be adding our own continuation whitespace later.

test_long_unbreakable_lines_with_continuation(): Another funky example
from Jason Mastaler :)

decode_rfc2231(): RFC 2231 allows leaving out both the charset and
language without including any single quotes.

test_rfc2231_no_language_or_charset(): RFC 2231 allows leaving out
both the charset and language without including any single quotes.

Don't quote the path to Python unless the path contains an embedded space.
Quoting the path doesn't work on Win2K (cmd.exe) regardless, this is just
a hack to let the test pass again on Win2K (so long as Python isn't
installed in a path that does contain an embedded space).  On Win2K it
looks like we'd also have to add a second pair of double quotes, around
the entire command line.

Whitespace normalization.

whitespace normalization

This test relied on significant trailing whitespace in a string literal.
Evil.

Add a little more verbiage about the bsddb module/package change.  It's
clear from recent discussions on c.l.py that people are a bit confused about
the differences between the old bsddb, the new bssdb, the bsddb3/PyBSDDB
package and changes to file formats.  Tried to clarify the issues.

_write_headers(), _split_header(): All of the smarts for splitting
long header lines is now (properly) in the Header class.  So we no
longer need _split_header() and we'll just defer to Header.encode()
when we have a plain string.

More internal refinements of the ascii splitting algorithm.

_encode_chunks(): Pass maxlinelen in instead of always using
self._maxlinelen, so we can adjust for shorter initial lines.
Pass this value through to _max_append().

encode(): Weave maxlinelen through to the _encode_chunks() call.

_split_ascii(): When recursively splitting a line on spaces
(i.e. lower level syntactic split), don't append the whole returned
string.  Instead, split it on linejoiners and extend the lines up to
the last line (for proper packing).  Calculate the linelen based on
the last element in the this list.

Test_ioctl and test_tarfile are skipped on MacOS9.

Removed unused variable

Filter out macfs warning.

Somebody must not have run the test before checking this in -- it had
a fatal tab/space inconsistency under -tt.

Got PythonStandalone to work again, mainly for debugging purposes (it's much easier to debug GUSI errors in a static build).

test_string_headerinst_eq(): Another Jason test :)

- The extended type structure used for heap types (new-style
  classes defined by Python code using a class statement) is now
  exported from object.h as PyHeapTypeObject.  (SF patch #696193.)

Minor clarification about the ob_size field.

Make tarfile raise ImportError on MacOS9. The pathname handling needs work, and I don't have time to fix it. I'll file a bug report.

The filename fix of the previous checkin was complete bogus, the problem is elsewhere. Retracting.

Two fixes to make this test pass on MacOS9:
- the test was sloppy about filenames: "0-REGTYPE-TEXT" was used where
  the archive held "/0-REGTYPE-TEXT".
- tarfile extracts all files in binary mode, but the test expected to be able to
  read and compare text files in text mode. Use universal text mode.

Test that os.utime and os.chmod actually exist before using them.

Broke down and made it work for Python 2.0 and up.  (Older versions
would have required refraining from using string methods -- too
painful.)

Changed the -s option so that multiple -s options are cumulative.

fix name of db2pickle

SF patch #693753:  fix for bug 639806: default for dict.pop
(contributed by Michael Stone.)

Repaired a misleading comment Barry inherited from me.

First try to use the OSATerminology module to get the terminology
resources before reverting to manually reading the resources.

Unfortunately there is still a bug in here somewhere: it doesn't work
for all applications.

Build the OSATerminology module on MacOSX.

Various tweaks by Jack because of the different module name, adaptation
to the Python style, etc.

Module to get OSA terminology description through the "official channels",
in stead of manually getting the AETE/AEUT resource. Donated by Donovan
Preston. This is his original code (but with the filename changed) checked
in for reference only.

Fix SF bug #697256, PyMarshal_WriteShortToFile() documented, but not implemented

Remove prototype and doc.  Backport candidate.

_split_ascii(): In the clause where curlen + partlen > maxlen, if the
part itself is longer than maxlen, and we aren't already splitting on
whitespace, then we recursively split the part on whitespace and
append that to the this list.

test_long_received_header(): Another test case for folding long
Received headers (first on semis then on whitespace), given by Jason
Mastaler.

Reverted the previous change to read() and readline().
Kevin Jacobs found that the code simplification did not
exactly match the semantics of the original.  Regression
test cases were requested.

Add a note explaining why you shouldn't try to compute mean and
standard deviation.  Also add an XXX comment wondering if we should
refrain from using itertools.repeat().

test_whitespace_eater_unicode(): Test of the last outstanding bug in
SF # 640110.

__unicode__(): When converting to a unicode string, we need to
preserve spaces in the encoded/unencoded word boundaries.  RFC 2047 is
ambiguous here, but most people expect the space to be preserved.
Really closes SF bug # 640110.

Simpler way to write reindent(), suggested by Raymond H.

Removed superfluous \r.

test_rfc2047_multiline(): Test case for SF bug #640110.

decode_header(): Typo when appending an unencoded chunk to the
previous unencoded chunk (e.g. when they appear on separate lines).
Closes the 2nd bug in SF #640110 (the first one's already been
fixed).

Describe Charset.__repr__().

Describe the new Header.encode() argument "splitchars".

Merge of the folding-reimpl-branch.  Specific changes,

Update tests for email 2.5.

Merge of the folding-reimpl-branch.  Specific changes,

_split(): New implementation of ASCII line splitting which should do a
better job and not be subject to the various weird artifacts (bugs)
reported.  This should also do a better job of higher-level syntactic
splits by trying first to split on semis, then commas, then
whitespace.

Use a Timbot-ly binary search for optimal non-ASCII split points for
better packing of header lines.  This also lets us remove one
recursion call.  Don't pass in firstline, but instead pass in the
actual line length we're shooting for.  Also pass in the list of split
characters.

encode(): Pass in the list of split characters so applications can
have some control over what "higher level syntactic breaks" are.

Also,

decode_header(): Transform binascii.Errors which can occur when
decoding a base64 RFC 2047 header with bogus data, into an
email.Errors.HeaderParseError.  Closes SF bug #696712.

Merge of the folding-reimpl-branch.  Specific changes,

Rename a constant.

Merge of the folding-reimpl-branch.  Specific changes,

Remove a senseless comment.

Merge of the folding-reimpl-branch.  Specific changes,

_handle_multipart(): Ensure that if the preamble exists but does not
end in a newline, a newline is still added.  Without this, the
boundary separator will end up on the preamble line, breaking the MIME
structure.

_make_boundary(): Handle differences in the decimal point character
based on the locale.

Merge of the folding-reimpl-branch.  Specific changes,

Charset: Alias __repr__ to __str__ for debugging.

header_encode(): When calling quopriMIME.header_encode(), set
maxlinelen=None so that the lower level function doesn't (also) try to
wrap/fold the line.

Merge of the folding-reimpl-branch.  Specific changes,

_max_append(): Change the comparison so that the new string is
concatenated if it's less than or equal to the max length.

header_encode(): Allow for maxlinelen == None to mean, don't do any
line splitting.  This is because this module is mostly used by higher
level abstractions (Header.py) which already ensures line lengths.  We
do this in a cheapo way by setting the max_encoding to some insanely
<100k wink> large number.

Add notes about baseline overhead, and about different Python
versions.  Add -h/--help option to print doc string.

Added more documentation.

Mention timeit.py.

A flexible utility to time the execution speed of a code snippet.
Usable from the command line or from a program.

Two ancient and obscure bugs found and fixed by Donovan Preston (these
could be responsible for various unexplained problems with Python/OSA
interaction over the years):
- Enum values were passed as their string counterparts. Most applications
  don't seem to mind this, but some do (InDesign).
- Attributes have never worked (!), as they were incorrectly passed
  as parameters. Apparently nobody uses them much:-)

Declare all variables at the start of their scope.

Patch #698082 from Thomas Heller:  Modulefinder didn't exclude modules
in packages correctly.

Fix for bug #697546: don't auto-register the Python documentation
by putting the help book in an array. Somehow the fact that Python.app
(and, hence, pythonw) got an automatic help menu messed up Tkinter's
handling of the help menu.

An #endif was missing in Just's patch. Added.

removing one Mac hack and add another:
- The applet logic has been replaced to bundlebuilder's bootstrap script
- Due to Apple being extremely string about argv[0], we need a way to
  specify the actual executable name for use with sys.executable. See
  the comment embedded in the code.

Always initialize Py_FileSystemDefaultEncoding on Unix in Py_Initialize,
and not as a side effect of setlocale. Expose it as sys.getfilesystemencoding.
Adjust test case.

Actually *do* override the type in AppBuilder.

Moved some application-bundle specific code from the BundleBuilder class to
AppBuilder, and set the default type to BNDL (overridden in AppBuilder).

This surfaced when trying to build help bundles.

Back in June in revision 1.98 Steve (accidentally, presumably) wiped
out a month's worth of checkins to libstdtypes.tex (including my
extended slice docs).

I think this checkin merges them all back in, but if you make one of
these checkins:

    revision 1.97
    date: 2002/06/14 00:27:13;  author: nnorwitz
    Use \code{True} (or False) instead of true/false.
    Not sure if code is correct, but that is what's in this file.
    I've seen \constant{True} in other places.
    ----------------------------
    revision 1.95
    date: 2002/05/22 20:39:43;  author: bwarsaw
    Jack's documentation for the U mode character on the file()
    constructor, vetted by Barry.
    ----------------------------
    revision 1.94
    date: 2002/05/21 18:19:15;  author: rhettinger
    Patch 543387.  Document deprecation of complex %, //,and divmod().
    ----------------------------
    revision 1.93
    date: 2002/05/15 15:45:25;  author: rhettinger
    Added missing index entries for mapping methods.  Closes patch
    #548693.

some checking may be in order.

I thought it was common practice to check things compiled before
checking them in?  Oh well, this fixes various obvious mistakes and
changes a subsubsubsection (which doesn't exist) into a subsubsection
(which does).  I'm not sure this matches the intent, but it seems to
read OK on a quick skim.

Patch #696645: Remove VMS code with uncertain authorship.

These are no longer used.

Point e-mail address at the SIG

os.listdir(): Fall back to the original byte string if conversion to unicode
fails, as discussed in patch #683592.

Weaken recommendation of Friedl book; fix reference

[bug #692016] update description of {m,n} modifier; you can omit the lower bound

[bug #696771] Remove misleading parenthetical aside

Patch #696613 by Ben Laurie: use "test -L" to test for symlinks in stead
of the older (and, according to some manpages, deprecated) "test -h".

Attempting to save the shell raised an error related to saving
breakpoints, which are not implemented in the shell

SF 693333
Modify subprocess to print a reasonable message upon receiving
a 'quit' or 'exit'

test_ioctl is an expected skip on Windows.

Fix SF #692416, don't crash interpreter for _tkinter.deletefilehandler
in addition to createfilehandler and creaetetimerhandler.

[Bug #693470] 'licence' as an alias for 'license' doesn't work.
   This patch makes it work again.

SF 695861
Eliminate extra blank line in shell output.  Caused by stdout not being
flushed
upon completion of subprocess' Executive.runcode() when user code ends by
outputting an unterminated line, e.g. print "test",

plugged leak noted by nnorwitz: the 'et' format returns allocated memory

[Bug #69389] List register command in __all__, so setup.py --help-commands will now list it

Improve description

Patch #683592 revisited, after discussions with MvL:
- Implement the behavior as specified in PEP 277, meaning os.listdir()
  will only return unicode strings if it is _called_ with a unicode
  argument.
- And then return only unicode, don't attempt to convert to ASCII.
- Don't switch on Py_FileSystemDefaultEncoding, but simply use the
  default encoding if Py_FileSystemDefaultEncoding is NULL. This means
  os.listdir() can now raise UnicodeDecodeError if the default encoding
  can't represent the directory entry. (This seems better than silcencing
  the error and fall back to a byte string.)
- Attempted to decribe the above in Doc/lib/libos.tex.
- Reworded the Misc/NEWS items to reflect the current situation.

This checkin also fixes bug #696261, which was due to os.listdir() not
using Py_FileSystemDefaultEncoding, like all file system calls are
supposed to.

py-pdbtrack-grub-for-buffer(): Rectified some logic errors i
introduced when shifting around some code, and added some redundancy
to reduce chances of hitting the wrong source code.  (This is
experimental - it will improve the accuracy, but will reduce the
ability of the user to deliberately select the buffer they want the
buffer grubbing stuff to find.  I think the accuracy improvement will
be worth it, but am not sure, so may remove this.)

Gave the text fields a little more space, so they don't get cut off.

Mod to previous checkin: we must require ascii, not system defautl encoding,
because we have no easy way to convert the python encoding string to
a CF encoding parameter.

Accept only the system default encoding when converting Python
strings to CF strings. Fixes 682215.

Fix bug

[ 555817 ] Flawed fcntl.ioctl implementation.

with my patch that allows for an array to be mutated when passed
as the buffer argument to ioctl() (details complicated by
backwards compatibility considerations -- read the docs!).

Don't call AEInteractWithUser unconditionally on a quit appleevent. The
EasyDIalogs methods will call it if needed.

Fixes #684975.

Call AEInteractWithUser() before bringing up any of the dialogs (with the
exception of the ProgressBar, which I think is okay to show in the background).

This is a prerequisitite for the fix of #684975.

Don't crash on _tkinter.createfilehandler in non-threaded Tcl;
disable this function in threaded Tcl. Likewise for creaetetimerhandler.
Fixes #692416.

Patch #671666: Alias ANSI code page to "mbcs".

Guard advancing past leading meta-comments.

Enhanced pdbtrack to provide for source code that's not findable by
the reported path.  (Eg, precompiled scripts with a file path suitable
for a different host, scripts actually running on a remote system or
with no valid path, like Zope through-the-web python scripts.)

On failing to find the code on the reported path, pdbtrack takes the
function name and looks through the buffers, from most to least
recent, seeking the first python-mode buffer that either is named for
the function or has a definition (def or class) for that function.  So
to get source tracking for code that's not located where the path
indicates, you put a copy of the script in a buffer, and pdbtrack will
find it.

Also, fixed a small bug so pdbtrack now properly presents the overlay
arrow when you run the pdb 'w'here command.

Use Carbon.File for FSSpec and FSRef conversion, not macfs.