Documented os.fsync and os.fdatasync.  Closes SF bug 584695.

"Unbuffered" mode of class _fileobject wasn't actually unbuffered,
and this broke a Zope "pipelining" test which read multiple responses
from the same connection (this attaches a new file object to the
socket for each response).  Added a test for this too.

(I want to do some code cleanup too, but I thought I'd first fix
the problem with as little code as possible, and add a unit test
for this case.  So that's what this checkin is about.)

- If an OSA identifier is a Python reserved word we now append an _
  in stead of prepending it, which messes up "import * from".
- A few ascii()s added again.
- Changed the getbaseclasses a little, but it still isn't perfect.

Clarify that the bool instances are acceptable return values from
__nonzero__(), in response to SF bug #579991.

Use Py_FatalError instead of abort.

Don't be over-enthusiastic with the ascii() calls: we don't need it if
the result passes through backticks.

Donovan Preston's patch #538395, with some mods by me.

This patch makes inheritance for OSA classes work. The implementation is a
bit convoluted, but I don't immedeately see a simpler way of doing it.

I added calls to ascii() everywhere we output strings that may contain
non-ascii characters (Python has gotten very picky since the encoding
patch:-).

I also removed Donovan's different way of opening resource files: I don't
seem to need it.

Quote the arguments, they may contain strings.

Fix up some more markup problems.

Change the markup a bit more; the parameter was not marked as \var in the
sample code, and the note was marked as a logical thing.

Fix PEP 263 code --without-unicode. Fixes #591943.

Fix markup errors.

Expanded the unittests for the new width sensitive PyUnicode_Contains().

Document handling of raw-unicode-escapes.  Closes SF bug 587087.

internal_connect():  Windows.  When sock_timeout > 0 and connect() yields
WSAEWOULDBLOCK, the second connect() attempt appears to yield WSAEISCONN
on Win98 but WSAEINVAL on Win2K.  So accept either as meaning "yawn,
fine".  This allows test_socket to succeed on my Win2K box (which it
already did on my Win98SE box).

Added a note about the inability to specify a pathname to a non-existing
file in unix-Python.

Changed a sentence that confused some people.

Make more functions static

Make readahead functions static

Fix SF bug 574207 (chained __slots__ dealloc segfault).

This is inspired by SF patch 581742 (by Jonathan Hogg, who also
submitted the bug report, and two other suggested patches), but
separates the non-GC case from the GC case to avoid testing for GC
several times.

Had to fix an assert() from call_finalizer() that asserted that the
object wasn't untracked, because it's possible that the object isn't
GC'ed!

Fix the markup so it doesn't break formatting.

Add testcase for SF bug 574207 (chained __slots__ dealloc segfault).
Fix forthcoming.

Added references to the email package.
Closes SF bug #586937.

Added a test for PyUnicode_Contains() taking into account the width of
Py_UNICODE.

PyUnicode_Contains(): The memcmp() call didn't take into account the
width of Py_UNICODE.  Good catch, MAL.

get rid of GETNAMEV macro - use GETITEM directly
same idea as getting rid of GETCONST & GETNAME (see patch #506436)

Add a coding cookie, because of the møøse quote.

Update the URL for getting zlib, and update the minimal required
version to 1.1.4 (because of the 1.1.3 security problem).  Also
replace a funny use of line.find() with line.startswith().

Bump the LOOPS count.  50,000 iterations takes about 5 seconds on my
machine -- that feels just right.

Add some fine points: METH_KEYWORDS implies METH_VARARGS, and ob_size
is no longer unused in type objects.

Mark xreadlines deprecated.  Don't use f.xreadlines() in test_iter.py.

Remove mention of deprecated xreadlines method.

Describe new "str1 in str2" behavior.

Document file.next().  Mark xreadlines obsolete (both method and
module).  (One thing remains to be done: the gzip class has an
xreadline method; this ought to be replaced by an iterator as well.)

Committing patch #591250 which provides "str1 in str2" when str1 is a
string of longer than 1 character.

Files are now their own iterator.  The xreadlines method and module
are obsolete.

Add comment about os.path.walk()'s behavior with symbolic links.

Add next and __iter__ to the list of file methods that should raise
ValueError when called for a closed file.

SF patch 580331 by Oren Tirosh: make file objects their own iterator.

For a file f, iter(f) now returns f (unless f is closed), and f.next()
is similar to f.readline() when EOF is not reached; however, f.next()
uses a readahead buffer that messes up the file position, so mixing
f.next() and f.readline() (or other methods) doesn't work right.
Calling f.seek() drops the readahead buffer, but other operations
don't.

The real purpose of this change is to reduce the confusion between
objects and their iterators.  By making a file its own iterator, it's
made clearer that using the iterator modifies the file object's state
(in particular the current position).

A nice side effect is that this speeds up "for line in f:" by not
having to use the xreadlines module.  The f.xreadlines() method is
still supported for backwards compatibility, though it is the same as
iter(f) now.

(I made some cosmetic changes to Oren's code, and added a test for
"file closed" to file_iternext() and file_iter().)

In the altbininstall target, which is the first subtarget for "make install",
if we are running in an OSX framework enabled build directory, test that
the framework infrastructure exists. This catches the very common
error of doing "make install" in stead of "make frameworkinstall".

Patch #567296 by Pim Buurman, slightly modified by me so it can be disabled
at compile time: use PBGetCatInfoSync() to get FInfo data in stead of
GetFInfo. The latter doesn't work for folders. The former does, at
least on OSX, and insofar the info makes sense for a folder.

Wrapper around _IBCarbon.

Mention list.sort()
Document heapq module
Add PEP263 section (not sure I really understand the PEP's effect on 8-bit
   strings, though -- will have to experiment with it)

SF patch #591305 Documentation err in bytecode defs

We only need to check for StopIteration here.

Patch by Ronald Oussoren: if there's a .lproj in the extras list also
check whether it contains a .nib, and do the Cocoa song and dance if
it does.

In copy() don't try to obtain an FSSpec until we know the destination
exists. Partial fix for #585923.

Be a lot less verbose by default.

Better output for errors, and some progress reports.
Handle the two modules with non-standard scanner module names.

Fixed the last two bgen-based modules to be buildable on OSX.

Initial prototype of framer: a tool to build the frame for extension modules.

Remove function definition from cStringIO.h.

xxxPyCObject_Import() seems to be a copy of PyCObject_Import().

Since the errno module is needed by os._execvpe(), and that is used by the
setup.py (indirectly) script to build the standard dynamically loaded
modules, the errno module is being made static so it will always be
available.
Closes SF bug #591205 (needed on trunk only).

SF patch 590294: os._execvpe security fix (Zack Weinberg).

SF patch 590294: os._execvpe security fix (Zack Weinberg).

1) Do not attempt to exec a file which does not exist
just to find out what error the operating system
returns. This is an exploitable race on all platforms
that support symbolic links.

2) Immediately re-raise the exception if we get an
error other than errno.ENOENT or errno.ENOTDIR. This
may need to be adapted for other platforms.

(As a security issue, this should be considered for 2.1
and 2.2 as well as 2.3.)

Enable building of Carbon toolbox modules with unix-Python.

Got rid of staticforward.

This can now run under unix-Python too. You have to pass the folder
to search on the command line in that case.

Fixed to run better in unix-Python, and to cater for bgenlocations
possibly being missing.

Typo:  "now" --> "the new"

IDLE support for PEP 263.

Moved bgenlocations to the Mac/Lib directory. Not perfect, but better than
where it was: it is really a configuration file, not a normal module.

By moving it into Mac/Lib we can now also store the location of bgen
itself in there, which is needed because bgen isn't installed.

Patch #590913: PEP 263 support.

Use ascii_letters to avoid UnicodeErrors.

Add a small description of PEP 263.

Added a cast to shut up a compiler warning.

Renamed Py_Main to PyMac_Main as it has a different signature than the "normal" Py_Main, and that signature has appeared in a .h file.

Added _IBCarbon module.

SF 582071 clarified the .split() method's docstring to note that sep=None
will trigger splitting on any whitespace.

Note that True and False are pickable objects

GvR provided solution to the socket rebinding timeout problem.

M PyShell.py
M rpc.py
M run.py

Add 1 to lineno in deprecation warning. Fixes #590888.

Test whether a Cyrillic text correctly appears in a Unicode literal.

We don't really need the name of the test in the "test skipped" msg, and
having it there causes the line to wrap.

Oops!  Forgot the closing paren.

Finally got around to figuring out and documenting why this test fails
on Windows.  The test_sequence() ERROR is easily repaired if we're
willing to add an os.unlink() line to mhlib's updateline().  The
test_listfolders FAIL I gave up on -- I don't remember enough about Unix
link esoterica to recall why a link count of 2 is something a well-
written program should be keenly interested in <wink>.

Build the _IBCarbon module.

The definitions for IBCarbonRuntime.h

Updated to something that works on my system, and regenerated module.

Specify pathnames in a way that works on both OS9 and OSX.
You'll still have to manually edit it, though...

Use universal newline input when scanning header files.

Donovan Preston's interface to IBCarbon, allowing you to use Interface
Builder carbon NIB files from Python. As-is, I may need to twiddle a few
things as he donated this long ago.

Donovan is now one of the four people in the world who know how to drive
bgen!

Changes to the OSX section:
- steer people away from installing with sudo
- warn that fink-installed software may cause trouble
- explain why you might want a framework build and point people to
  Mac/OSX/README.

Use the -n option of ln in stead of -h, as it also works with other ln's
people may have (fink, gnu).

small speedup for constant and name access
see sf #506436

Make pgen compile with pydebug. Duplicate normalized names, as it may
be longer than the old string.

Group statements properly.

Repaired a fatal compiler error in the debug build:  it's not clear what
this was trying to assert, but the name it referenced didn't exist.

Squash compiler wng about signed-vs-unsigned mismatch.

Sped the usual case for sorting by calling PyObject_RichCompareBool
directly when no comparison function is specified.  This saves a layer
of function call on every compare then.  Measured speedups:

 i    2**i  *sort  \sort  /sort  3sort  +sort  %sort  ~sort  =sort  !sort
15   32768  12.5%   0.0%   0.0% 100.0%   0.0%  50.0% 100.0% 100.0% -50.0%
16   65536   8.7%   0.0%   0.0%   0.0%   0.0%   0.0%  12.5%   0.0%   0.0%
17  131072   8.0%  25.0%   0.0%  25.0%   0.0%  14.3%   5.9%   0.0%   0.0%
18  262144   6.3% -10.0%  12.5%  11.1%   0.0%   6.3%   5.6%  12.5%   0.0%
19  524288   5.3%   5.9%   0.0%   5.6%   0.0%   5.9%   5.4%   0.0%   2.9%
20 1048576   5.3%   2.9%   2.9%   5.1%   2.8%   1.3%   5.9%   2.9%   4.2%

The best indicators are those that take significant time (larger i), and
where sort doesn't do very few compares (so *sort and ~sort benefit most
reliably).  The large numbers are due to roundoff noise combined with
platform variability; e.g., the 14.3% speedup for %sort at i=17 reflects
a printed elapsed time of 0.18 seconds falling to 0.17, but a change in
the last digit isn't really meaningful (indeed, if it really took 0.175
seconds, one electron having a lazy nanosecond could shift it to either
value <wink>).  Similarly the 25% at 3sort i=17 was a meaningless change
from 0.05 to 0.04.  However, almost all the "meaningless changes" were
in the same direction, which is good.  The before-and-after times for
*sort are clearest:

before after
  0.18  0.16
  0.25  0.23
  0.54  0.50
  1.18  1.11
  2.57  2.44
  5.58  5.30

Patch #534304: Implement phase 1 of PEP 263.

Add encoding declaration.

Add encoding declaration.

Remove a syntax error in the example, spotted by Walter Hofman.

Always link libpython.so with LIBS. Fixes #589422.

Add trace_frame. Fixes #534864. Backported to 2.2.

Add recursion counter for pickling. Fixes #576084.
2.2 bugfix candidate (may cause RuntimeError for applications that
currently work fine).

OS/2 EMX now supported

I don't know what's going on with this test, but the last change from
Piers obviously couldn't have passed on any platform.  Fiddling it so it
works (for a meaning of "works" no stronger than "doesn't fail" <wink>).

SF patch #578297:

Change the parser and compiler to use PyMalloc.

Only the files implementing processes that will request memory
allocations small enough for PyMalloc to be a win have been
changed, which are:-
 - Python/compile.c
 - Parser/acceler.c
 - Parser/node.c
 - Parser/parsetok.c

This augments the aggressive overallocation strategy implemented by
Tim Peters in PyNode_AddChild() [Parser/node.c], in reducing the
impact of platform malloc()/realloc()/free() corner case behaviour.
Such corner cases are known to be triggered by test_longexp and
test_import.

Jeremy Hylton, in accepting this patch, recommended this as a
bugfix candidate for 2.2.  While the changes to Python/compile.c
and Parser/node.c backport easily (and could go in), the changes
to Parser/acceler.c and Parser/parsetok.c require other not
insignificant changes as a result of the differences in the memory
APIs between 2.3 and 2.2, which I'm not in a position to work
through at the moment.  This is a pity, as the Parser/parsetok.c
changes are the most important after the Parser/node.c changes, due
to the size of the memory requests involved and their frequency.