Track removal of doc string from Module().nodes[0]

Add Yield() node

Remove the horrid generators hack from doctest.py.  This relies on a
somewhat less horrid hack <wink>:  if a module does
    from __future__ import X
then the module dict D is left in a state such that (viewing X as a
string)
    D[X] is getattr(__future__, X)
So by examining D for all the names of future features, and making that
test for each, we can make a darned good guess as to which future-features
were imported by the module.  The appropriate flags are then sucked out
of the __future__ module, and passed on to compile()'s new optional
arguments (PEP 264).

Also gave doctest a meaningful __all__, removed the history of changes
(CVS serves that purpose now), and removed the __version__ vrbl (similarly;
before CVS, it was a reasonable clue, but not anymore).

Add Yield() statement handler

Fix Module() handler to avoid including the doc string in the AST

Fix for bug [#452230] future division isn't propagated.
builtin_eval wasn't merging in the compiler flags from the current frame;
I suppose we never noticed this before because future division is the
first future-feature that can affect expressions (nested_scopes and
generators had only statement-level effects).

The OSX framework Headers symlink pointed the wrong way. Fixed.
Bill Fancher found this one.

A fiddled version of the rest of Michael Hudson's SF patch
    #449043 supporting __future__ in simulated shells
which implements PEP 264.

Use raw-unicode-escape for the tests that require it.

Address SF bug #442813.  The sequence getitem wrappers should do
interpretation of negative indices, since neither the sq_*item slots
nor the slot_ wrappers do this.  (Slices are a different story, there
the size wrapping is done too early.)

Add test for weak references.

Add note on type/class unification.

ceval, PyEval_MergeCompilerFlags:  wasn't merging in the
CO_FUTURE_DIVISION flag.  Redid this to use Jeremy's PyCF_MASK #define
instead, so we dont have to remember to fiddle individual feature names
here again.

pythonrun.h:  Also #define a PyCF_MASK_OBSOLETE mask.  This isn't used
yet, but will be as part of the PEP 264 implementation (compile() mustn't
raise an error just because old code uses a flag name that's become
obsolete; a warning may be appropriate, but not an error; so compile() has
to know about obsolete flags too, but nobody is going to remember to
update compile() with individual obsolete flag names across releases either
-- i.e., this is the flip side of PyEval_MergeCompilerFlags's oversight).

Weak reference support, closing SF bug #451773.

Classes that don't use __slots__ have a __weakref__ member added in
the same way as __dict__ is added (i.e. only if the base didn't
already have one).  Classes using __slots__ can enable weak
referenceability by adding '__weakref__' to the __slots__ list.

Renamed the __weaklistoffset__ class member to __weakrefoffset__ --
it's not always a list, it seems.  (Is tp_weaklistoffset a historical
misnomer, or do I misunderstand this?)

Document that uu.decode() will always raise a uu.Error if out_file
isn't given, and the file in the uu header already exists.  Also add a
description of the uu.Error exception class.

Test that uu.py will not override an existing file if out_file isn't
given and the path is gleaned from the uu header.

decode(): Raise a uu.Error if no out_file is given but the file
    specified in the uu header already exists.  No additional
    workaround is provided since out_file=pathname is a deprecated
    interface, so it is better to simply pass a file-like object into
    out_file anyway.  This closes SF bug #438083.

Use isinstance() tests instead of type comparisons.

A self-contained piece of Michael Hudson's patch
    #449043 supporting __future__ in simulated shells
in support of PEP 264.

Much has changed from the patch version:
+ Repaired bad hex constant for nested_scopes.
+ Defined symbolic CO_xxx names so global search will find these uses.
+ Made the exported list of feature names explicit, instead of abusing
  __all__ for this purpose (and redefined __all__ accordingly).
+ Added gross .compiler_flag verification to test___future__.py, and
  reworked it a little to make use of the newly exported explicit list
  of feature names.

Address SF #451547.  The approach is a bit draconian: any object that
is pickled as a global must now exist by the name under which it is
pickled, otherwise the pickling fails.  Previously, such things would
fail on unpickling, or unpickle as the wrong global object.  I'm
hoping that this won't break existing code that is playing tricks with
this.

I need a volunteer to do this for cPickle too.

Patch #445762: Support --disable-unicode
- Do not compile unicodeobject, unicodectype, and unicodedata if Unicode is disabled
- check for Py_USING_UNICODE in all places that use Unicode functions
- disables unicode literals, and the builtin functions
- add the types.StringTypes list
- remove Unicode literals from most tests.

Another contributor's patch got accepted.

Change the 227 response parser to use a more liberal regular
expression.  This is needed for certain servers that (in violation of
the standard) don't return the parentheses in the response.

This fixes SF bug #441712 by Henrik Weber (not exactly using his
patch).

Make sure that ampersand escaping is still performed on the contents of
local module tables (the lists of modules documented within a chapter,
inserted at the beginning of the chapter).  If this is not done here,
the text is not part of the resulting documents when latex2html does the
processing normally.

This fixes a little bit more of SF bug #451556.

type_new(): look for __dynamic__ at the module level (after looking in
the class dict).  Anything but a nonnegative int in either place is
*ignored* (before, a non-Boolean was an error).  The default is still
static -- in a comparative test, Jeremy's Tools/compiler package ran
twice as slow (compiling itself) using dynamic as the default.  (The
static version, which requires a few tweaks to avoid modifying class
variables, runs at about the same speed as the classic version.)

slot_tp_descr_get(): this also needed fallback behavior.

slot_tp_getattro(): remove a debug fprintf() call.

Strip trailing whitespace, including two lines containing only one or
more tabs that XEmacs Makefile mode found suspicious.

- Get rid of obsolete #define PATCHLEVEL.

- Change PY_VERSION (but not the numeric versions) to "2.2a1+".

Fix core dump in repr() of instancemethod whose class==NULL.

classic(),metods(): add tests to verify that a bound method without a
class has a correct repr().

instance_getattr2(): rewritten to remove unnecessary stuff and
streamlined a bit.

instancemethod_descr_get(): don't bind an unbound method of a class
that's not a base class of the argument class.

classic(), methods(): add another test relating to unbound methods:
when an unbound method of class A is stored as a class variable of
class B, and class B is *not* a subclass of class A, that method
should *not* get bound to B instances.

Instance methods: allow a NULL value for im_class.

Add early binding of methods to the 2nd metaclass example.

metaclass(): add tests for metaclasses written in Python: one that
subclasses type, one that doesn't (the latter isn't fully functional
yet).

type_new(): only defer to the winning metatype if it's different from
the metatype passed in as an argument.  This prevents infinite
recursion when a metatype written in Python calls type.__new__() as a
"super" call.

Also tweaked some comments.

Stop adding 3 to FD_SETSIZE -- it makes no sense.  If it turns out it
actually does <wink>, perhaps an Insure run will catch it.
Also removed senseless Windows comment.

fix_font():  Instead of using a long if/elsif cluster, use a bloody
    dictionary.  Added some entries to the dictionary to fix part of
    SF bug #451556.

Fix typo reported by Joonas Paalasmaa:  dada-->data

Re-write the description of the os.spawn*() functions, and cover the
whole family instead of just two.

This closes SF bug #451630.

Added a test for module repr truncation when the package name is
really long.  Closes SF bug #437984.

classobject.c:instancemethod_descr_get(): when a bound method is
assigned to a class variable and then accessed via an instance, it
should not be rebound.

test_descr.py:methods(): test for the condition above.

module_repr(): Instead of fixing the maximum buf size to 400,
    calculate it on the fly.  This way even modules with long package
    names get an accurate repr instead of a truncated one.  The extra
    malloc/free cost shouldn't be a problem in a repr function.

    Closes SF bug #437984

If genpluginprojects is called from fullbuild we set the Python source directory to be the same as fullbuild uses (in stead of using the default sys.prefix). This fixes an issue Mark Day raised that you can't use fullbuild with one Python installation to build another one.

init_sre(): Plug a little leak reported by Insure.

Link readline module with ncurses in preference to termcap. [Bug ##441580]
Remove pointless comment

[Patch #441691] preprocess() method for Borland C compiler.
    I have no way of testing this.

test_descr started breaking in yet another way in the same place.

Fix object_repr() to include the module (using the same rules as
type_repr() for when to show or not to show it).

New unit test for the mimetypes module, to avoid future regressions.

Another egregious error that copied the encodings info over the suffix
info.  Caught by the tests that I'm writing now.

Use (c)StringIO for collecting bytes. Fixes bug #451622.

Repair some accidents causing Windows failures:
+ test_compare.  While None compares less than anything else, it's not
  always the case that None has the smallest id().
+ test_descr.  The output of %p (pointer) formats varies across platforms.
  In particular, on Windows it doesn't produce a leading "0x".

Fixed a couple of minor formatting nits where lines were > 79 columns wide.

select_select(): Closing bug #448351 the easy way, i.e. by changing
    the "#ifdef MS_WINDOWS" to "#ifdef SELECT_USES_HEAP" and by
    setting SELECT_USES_HEAP when FD_SETSIZE > 1024.

    The indirection seems useful since this subtly changes the path
    that "normal" Windows programs take (where Timmie sez FD_SETSIZE =
    512).  If that's a problem for Windows, he has only one place to
    change.

Bad bug: the MimeTypes.readfp() was supposed to take a file object as a
parameter, but did not.  This was found because it can create failures
elsewhere based on the presence of mime.types files in some common locations
the module searches by default.

(I will be writing a test for this module shortly!)

I should add that the previous checkin also added a slight
optimization for dynamic classes.  If __getattr__ is not found as an
attribute on the type, slot_tp_getattro replaces itself with
PyObject_GenericGetAttr.  This means you can't add a __getattr__
method to a class after the fact -- but you can still *change* a
__getattr__ method into a different one.

(A similar restriction exists for classic classes.)

Long time overdue: change sys.path defaults so that people will
have to do "from PIL import Image" instead of "import Image".

Use METH_O where possible (two functions).  This does not lead to real
performance changes since the affected functions are not expected to be
used frequently, but reduces the volume of code.

Updated to the current state of things (long overdue).

Removed expat from the access paths, it isn't needed.

[Patch #444854 from twburton]
    Add executable extension, needed to get the program name right on Win32

[Patch #442530 from twburton]
    Provide include_dirs argument to all calls to ._preprocess and ._compile
    Fix typo: pattern.search(pattern) should be pattern.search(line)

Patch #427190: Implement and use METH_NOARGS and METH_O.

Fix SF bug #442501: calculate __module__ properly.

- type_module(), type_name(): if tp_name contains one or more period,
  the part before the last period is __module__, the part after that
  is __name__.  Otherwise, for non-heap types, __module__ is
  "__builtin__".  For heap types, __module__ is looked up in
  tp_defined.

- type_new(): heap types have their __module__ set from
  globals().__name__; a pre-existing __module__ in their dict is not
  overridden.  This is not inherited.

- type_repr(): if __module__ exists and is not "__builtin__", it is
  included in the string representation (just as it already is for
  classes).  For example <type '__main__.C'>.

Change the type names to xxsublist.<name>.

The change of type(None).__name__ from 'None' to 'NoneType' broke this
test in a trivial way.  Fixed.

Subtle change to make None.__class__ work:

- descrobject.c:descr_check(): only believe None means the same as
  NULL if the type given is None's type.

- typeobject.c:wrap_descr_get(): don't "conventiently" default an
  absent type to the type of the object argument.  Let the called
  function figure it out.

Oops.  Two fixes for SF bug #422004 are not needed. :-)

Bunchathings:

- initsigs(): Ignore SIGXFZ so writing files beyond the file system
  size limit won't kill us.

- Py_Initialize(): call _Py_ReadyTypes() instead of readying types
  here.

- Py_Initialize(): call _PyImport_FixupExtension() for module
  "extensions".  (SF bug #422004.)

Add a function _Py_ReadyTypes() which initializes various and sundry
types -- currently Type, List, None and NotImplemented.  To be called
from Py_Initialize() instead of accumulating calls there.

Also rename type(None) to NoneType and type(NotImplemented) to
NotImplementedType -- naming the type identical to the object was
confusing.

Update to MvL's patch #424475 to avoid returning 2 when tp_compare
returns that.  (This fix is also by MvL; checkin it in because I want
to make more changes here.  I'm still not 100% satisfied -- see
comments attached to the patch.)

No change, just wanted to record more info in the log:  after the last
checkin, the Wise uninstaller *will* delete the Python DLL from the system
directory, but if and only if there wasn't a same-named Python DLL already
in the system directory at the time the installer ran.  That (no same-named
DLL) should be the typical case for most most people (I'm different because
I've run perhaps hundreds of 2.2 installs over the last several weeks).
IOW, the change was worth making.

Wise uninstallers never delete the Python DLL from the system directory.
They should.  Added a line that's supposed to fix that -- it doesn't
actually work on my box, but checking it in anyway.

Add tests for overridable operators that have default interpretations
(__hash__ etc.), in static and dynamic classes, overridden and
default.

- Another big step in the right direction.  All the overridable
  operators for which a default implementation exist now work, both in
  dynamic classes and in static classes, overridden or not.  This
  affects __repr__, __str__, __hash__, __contains__, __nonzero__,
  __cmp__, and the rich comparisons (__lt__ etc.).  For dynamic
  classes, this meant copying a lot of code from classobject!  (XXX
  There are still some holes, because the comparison code in object.c
  uses PyInstance_Check(), meaning new-style classes don't get the
  same dispensation.  This needs more thinking.)

- Add object.__hash__, object.__repr__, object.__str__.  The __str__
  dispatcher now calls the __repr__ dispatcher, as it should.

- For static classes, the tp_compare, tp_richcompare and tp_hash slots
  are now inherited together, or not at all.  (XXX I fear there are
  still some situations where you can inherit __hash__ when you
  shouldn't, but mostly it's OK now, and I think there's no way we can
  get that 100% right.)

Rewrote Jack's latest change so it does what it intended to do...

Given a class without __cmp__ or __eq__, cmp() of two instances of
that class should compare the id() of those instances.  Add a test
that verifies this.  This test currently fails; I believe this is
caused by object.c:2.132 (Patch #424475 by loewis).

A large contribution from Dave Kuhlman describing what each of the slots
in the type object is used for, for many of the more commonly used slots.
Thanks!

(But there is still a lot more to write on this topic.)
Markup and organizational changes by your friendly neighborhood
documentation czar.

Dave Kuhlman has contributed a nice improvement to the "Defining New Types"
section of the Extending & Embedding manual -- thanks!

Remove spurious space before a period.

Added comments before recently added/assigned slots in the type object,
so the backward compatibility issues will be easier to understand.  I only
added comments indicating additions and assignments back to Python 2.0.

Add 'state' as a get/set attribute to spamlist.  This serves as an
example.

Add 'state' as a read-only attribute to spamdict.  This serves as an
example.

PyMethod_Type: add a tp_descr_get slot function to ensure proper
binding of unbound methods.

Add a test to verify that bound methods work correctly.

Fix portability problems with glibc 2.0, as reported in #449157.

Use the "howto" document class rather than the "manual" class.

Remove the module index; there aren't enough modules documented yet
for this to make sense.

Add a couple more index entries, fixed a few typos, and adjusted a few
more things for consistency.

Properly mark attribute names in the table.

Change the generated markup so that attribute names are properly marked.

Use the abstract object interfaces when digging around in module objects
instead of directly manipulating the underlying dictionary.

Note addition of cleanfuture.py

Fix typo

Fix small markup consistency nits.

MacOSX: if we're building without --enable-toolbox-glue don't attempt to
include _PyMac_Error. Also don't try to include __dummy: it needs Foundation
and I think (not 100% sure) that this isn't part of naked Darwin.

On OSX we should not pass the -shared option to ld: it make the build
of audioop and cmath fail. Removing it seems to have no adverse consequences.

Closes bug #450510.

Don't remove non-directories from sys.path on the mac: files
can be on sys.path too.

New, larger installer bitmap from Erik van Blokland.  Added more
vertical whitespace to the acknowledgements portion of the "Installation
Completed!" screen for easier reading.

Fix typo in module docstring.

Add blurb about cleanfuture.py.  Fix misspelling in an older item.

Move one of the tests into the "PEP 255" section, to reflect a change in
the PEP.

Oops, forgot to check in configure.

Lots of changes in the framework support:
- Made framework builds work for MacOSX. The configure arg is now
  "--enable-framework".
- Added an install target frameworkinstall which installs the framework.
- Ripped out Next/OpenStep support, which was broken anyway.
- Made the MacOSX toolbox glue dependant on a --enable-toolbox-glue
  configure arg. This should make naked darwin build work again (untested).

A few targets have been added to Makefile.pre.in, and on inspection they
look harmless to non-MacOSX machines, but it is worth checking.

Closes bug #420601 and patch #450350.