Marc-AAndre Lemburg: add new unicode files

Many changes for Unicode, by Marc-Andre Lemburg.

Unicode implementation by Marc-Andre Lemburg based on original code by
Fredrik Lundh.

Unicode character type helpers, written by Marc-Andre Lemburg.

Marc-Andre Lemburg: added
gencodec.py - Create Python codecs from Unicode mapping files

Marc-Andre Lemburg: added declarations for PyObject_AsCharBuffer,
PyObject_AsReadBuffer, PyObject_AsWriteBuffer.

Marc-Andre Lemburg: include unicodeobject.h and codecs.h

Marc-Andre Lemburg: add PyExc_UnicodeError

Unicode implementation by Marc-Andre Lemburg based on original code by Fredrik Lundh.

Python Codec Registry and support functions, by Marc-Andre Lemburg.

Part of the Unicode checkin for Marc-Andre Lemburg.
Some new configuration tests and a new option, --with-wctype-functions.

Catch up with change to CCompiler API: call 'create_static_lib()', not
'link_static_lib()'.

[from 2000-02-25] Second attempt at describing an installation scheme; this is
the simplified scheme that Guido proposed.  Also already-obsolete,
and saved only for posterity.

[from 2000-02-23] Description of the baroque and already-obsolete
installation scheme that Fred Drake and I cooked up.  Only saved for
posterity.

Renamed 'link_static_lib() to 'create_static_lib()', and rewrote it create
a static library (using lib.exe as found by '__init__()', hopefully through
registry entries pointing to DevStudio).

Renamed 'link_static_lib() to 'create_static_lib()'.

a simple client-server framework for executing code in a different
process

not yet connected with IDLE

There are a few places which can raise DistutilsPlatformError; make
sure it's imported!  ;)

Re-wrap the docstrings on get_python_inc() and get_python_lib() to be
closer to the "normal" Python style.  See GvR's "style guide" on the
essays page (http://www.python.org/doc/essays/).

There should never be a space between a function name and the '(' that
opens the argument list (see the style guide again).

Added Joe Van Andel's 'get_python_inc()', adapted by me to supply
  the platform-neutral include dir by default and with Mac support.
Added 'get_python_lib()', inspired by 'get_python_inc()'.
Rewrote 'get_config_h_filename()' and 'get_makefile_filename()'
  in terms of 'get_python_inc()' and 'get_python_lib()'.
Changed '_init_nt()' and '_init_mac()' to use 'get_python_inc()' and
  'get_python_lib()' for directory names.

Handles were never disposed. Added an AutoDispose(onoff) method to control this.
Also added a Handle() function which is like Resource() but has auto-dispose on by default.

A bunch of changes, primarily to command line argument parsing
(inspired by Detlef Lannert).  Specifically,

    -k/--keyword no longer takes an optional argument to clear the
    default keywords.  Instead, use -K/--no-default-keywords to clear
    them.

    -n/--add-location also no longer takes an optional argument to set
    the comment style.  Instead, use -S/--style to set the comment
    style to GNU or Solaris.

    -o/--output can take `-' as the filename, meaning write to
    standard output.

    The inputfile name can also be `-' meaning read from standard in.

A few other changes include

    Kludge to mark the file docstring as translatable.  Since the
    marking is to place _() around the docstring, and because we
    actually have to define the _() function before we use it, this
    means that we have to manually assign to __doc__ the output of
    _().  This doesn't seem too bad because you'll only use this idiom
    when translating a script's docstring (you really don't need to
    translate most module docstrings).

    Convert everything to string methods and do not import the string
    module.

    Bump the version number to 1.1

Fixed multi-arg appends.

Override the Undo delegator to forbid any changes before the I/O mark.
It beeps if you try to insert or delete before the "iomark" mark.
This makes the shell less confusing for newbies.

replace : with =

rename the global IdleConfParser object from IdleConf to idleconf
standard usage is now from IdleConf import idleconf

rename the global IdleConfParser object from IdleConf to idleconf
standard usage is now from IdleConf import idleconf

replace : with = in config.txt

Tweak the goto file/line command (in the right button menu in PyShell
and output windows) so that it if it doesn't succeed with the line
at the cursor, it tries the line before that.  This is handy with
tracebacks, where my natural tendency is to click in the displayed
source line rather than in the file/line indicator just above it.
Now I can indulge this tendency.

I factored out a helper and changed the error handling so that a
non-existing file is treated as if the line didn't match -- this is
handy because some function calls (e.g. "foo.bar(1)") match the grep
pattern.

Patch by Moshe Zadka: remove the string special case in
PySequence_Contains() now that string objects have this code in their
tp_contains.

Patch by Moshe Zadka: move the string special case from abstract.c
here.

[Patch modified by GvR to keep the original exception.]

Add tests for char in string -- including required exceptions for
non-char in string.

Sjoerd Mullender:

The (relatively) new chunk module uses seek, not setpos.  One instance
of the call still needed to be fixed.

Added a bunch of TODO items that recently came up in the idle-dev list.
Also removed a bunch of items

If we're in the current input and there's only whitespace beyond the
cursor, erase that whitespace first.  This avoids a particularly
confusing case where hitting Return at the end of the command didn't
do what it was expected to do -- because it wasn't considered to be at
the end of the command.  Now it is.

Fixed inet_ntoa() docstring.

Patch from Corran Webster <cwebster@nevada.edu> (tweaked for style by me):
changed 'copy_file()' to use the native Mac file copy routine.

Patch from Corran Webster <cwebster@nevada.edu>: add '_init_mac()'.

Added 'native_path()' for use on pathnames from the setup script: split on
slashes, and put back together again using the local directory separator.

Added '_nt_quote_args()' to deal with whitespace in command-line arguments
in a rather half-assed, but probably effective, way.

test_contains output

Test cases for __contains__ code, by Moshe Zadka.

Sjoerd Mullender:

When you set a breakpoint on a function with a multi-line argument
list, the breakpoint is actually set on the second line of the
arguments instead of the first line of the body.  This patch fixes
that.

compiler command-line interface moved here from compiler.pycodegen

import compile function form pycodegen

rename compile.py to pycodegen.py

fix imports
remove parse functions and visitor code
track name change: Classdef to Class

add some comments and tweak order of visitXXX methods

get rid of if __name__ == "__main__ section

add a doc string
import some useful functions from contained modules

fix import to refer to compiler package

revise arguments for addCode method on lnotab.  take several numbers
that are internally converted to chars, rather than taking a string.

change node Classdef to Class

add doc string to transformer module
add two helper functions:
    parse(buf) -> AST
    parseFile(path) -> AST

factor out the tree walking/visitor code that was in compile.py

Defer all the work to idle.py, which has recently become too
complicated to copy in-line here.

Allow None as TimeBase value in TimeValue records (becomes NULL in C structure,
used for delta-t values by quicktime).

string_join(): Fix memory leaks discovered by Charles Waldman (and a
few other paths through the function that leaked).

In getdef(), don't die when the section doesn't exist.

Don't use 1.6-isms (s.startswith()) -- we want to distribute this
before 1.6 is out so it has to be compatible with 1.5.2.

Rewrote 'newer_pairwise(): more natural (and incompatible) interface,
simpler implementation.

Serious overhaul of the C compiler interface and the two classes that
implement it (so far):
  * moved filename generation methods into CCompiler base class,
    driven by data supplied by implementation classes
  * moved a bunch of common code from UnixCCompiler to convenience
    methods in CCompiler
  * overhauled MSVCCompiler's compile/link methods to look and act
    as much as possible like UnixCCompiler's, in order to regularize
    both interface and behaviour (especially by using those new
    convenience methods)

Don't pass 'keep_dir' to 'compile()' method of CCompiler -- no longer used.

Don't pass 'keep_dir' to 'compile()' method of CCompiler -- no longer used.
Don't assume that the 'libraries' and 'library_dirs' elements of the
  build info dict are always lists.

superceded by IdleConf/config.txt

migrate to use of IdleConf and config files to set options

idle.py:
    Load the config files before anything else happens
    XXX Need to define standard way to get files relative to the
       IDLE install dir

PyShell.py:
ColorDelegator.py:
    Get color defns out of IdleConf instead of IdlePrefs

EditorWindow.py:
    Replace hard-coded font & window size with config options
    Get extension names via IdleConf.getextensions

extend.py:
   Obsolete.  Extensions defined in config file.

ParenMatch.py:
   Use config file for extension options.
   Revise comment about parser requirements.
   Simplify logic on find returning None.

default to cwd if os.environ['HOME'] does not exist

a ConfigParser for idle and three configuration files

allow comments beginning with ; in key: value as well as key = value

Fixed parameters to a few time and timebase calls: InOut parameters were
inadvertantly seen as out-only.

Added PutPixMapBytes() and GetPixMapBytes() functions that allow getting at
pixmap data.
Added an as_GrafPort() method to be able to use a GWorld as argument to
routines that expect a GrafPort.

Added methods getdata() and putdata() to obtain the data in a bitmap.

Patch by Tim Peters:

Changes the one regexp in PyParse capable of making the re module blow the C
stack when passed unreasonable <0.9 wink> program text.  Jeremy Hylton
provoked this with a program of the form:

x = (1,
     2,
... # 9997 lines deleted here
     10000,
)

Programs "like this" will no longer (no matter how many lines they contain)
trigger re death.  OTOH, you can now make another class of unreasonable
program that will take much longer to parse.

Typo fix.

Fixed 'mkpath()' to accept empty string silently (it's just the current dir).
Fixed all DistutilsFileError messages to wrap file/dir names in quotes.

paren matching extension.  warning: in current version of IDLE, can
not run this extension and CallTips extension at the same time.

A module to parse/generate MediaDescription handles as used by QuickTime. Only
generic, video and audio implemented for now.

Mark discovered a bug in his patch: he didn't *use* PyExc_WindowsError
in PyErr_SetFromWindowsErrWithFilename() like he intended to... :-)

Renamed 'build_lib' command to 'build_clib':
  * replaced build_lib.py with build_clib.py
  * renamed the class in build_clib.py
  * changed all references to 'build_lib' command in other command classes

Changed '__rcsid__' to '__revision__'.

If the "build_lib" command built any C libraries, link with them all
  when building extensions (uses build_lib's 'get_library_names()' method).
Ensure that the relative structure of source filenames is preserved in
  the temporary build tree, eg. foo/bar.c compiles to
  build/temp.<plat>/foo/bar.o.

Added command description.
Added 'build_clib' and 'build_temp' options (where to put C libraries
  and where to put temporary compiler by-products, ie. object files).
Moved the call to 'check_library_list()' from 'run()' to 'finalize_options()'
  -- that way, if we're going to crash we do so earlier, and we guarantee
  that the library list is valid before we do anything (not just run).
Disallow directory separators in library names -- the compiled library
  always goes right in 'build_clib'.
Added 'get_library_names()', so the "build_ext" command knows what
  libraries to link every extension with.

In the 'compile()' method: preserve the directory portion of source
filenames when constructing object filenames, even if output_dir given --
eg. "foo/bar.c" will compile to "foo/bar.o" without an output_dir, and to
"temp/foo/bar.o" if output_dir is "temp".

Second attempt to fix the ctermid_r/tmpnam_r warnings: define USE_CTERMID_R
and USE_TMPNAM_R at the top of the file and refer to them later; this
catches a second reference to 'tmpnam_r' that I didn't spot first time around.

Fix compiler warning: only use "_r" form of 'ctermid()' and 'tmpnam()' when
building a threaded Python.

Got rid of silly "123456789-..." lines in comments.

In compile/link methods: ensure that the directory we expect to be writing to
exists before calling the compiler/linker.

Added 'mkpath()' method: convenience wrapper around 'util.mkpath()' that adds
the compiler objects 'verbose' and 'dry_run' flags.

Added call to 'ensure_ready()' on the command object in
'Distribution.find_command_obj()'.

Added 'get_platform()' to construct a string that identifies the current
platform, using 'os.uname()' or 'sys.platform'.

Build reorg:
  * 'build_dir' -> 'build_lib', which by default takes its value
    straight from 'build_lib' in the 'build' command
  * added 'build_temp' and 'inplace' options
  * change 'build_extensions()' to put object files (compiler turds) in
    'build_temp' dir
  * complicated the name-of-extension-file shenanigans in
    'build_extensions()' to support "in-place" extension building, i.e.
    put the extension right into the source tree (handy for developers)
  * added 'get_ext_fullname()', renamed 'extension_filename()' to
    'get_ext_filename()', and tweaked the latter a bit -- all to support
    the new filename shenanigans

Build reorg:
  * 'build_lib' -> 'build_purelib'
  * new 'build_lib' and 'build_temp' options
  * use 'get_platform()' to initialize 'build_platlib' and 'build_temp'

Build reorg: change 'build_dir' option to 'build_lib'.

Patch by Fred Gansevles (the module's original author).

This patch fixes 3 small problems.
1) If a map is used which is generated with 'makedbm -a',
   the trailing '\0' is now handled correctely.
2) The nis.maps() function skipped the first map in the output list.
3) The library '-lnsl' is added in Setup.in (needed on Linux glibc2 and
   Solaris systems. Maybe on other systems too?)

[I note that this still doesn't work when you are using NIS+ --GvR]

Massive patch by Skip Montanaro to add ":name" to as many
PyArg_ParseTuple() format string arguments as possible.

Remove some redundant logic from walk() -- there's no need to check
for "." and "..", since listdir() no longer returns those.

Correct type error in getopt.error handling code.

Script by Tim Peters to discover illegal append() calls.

Fix multi-arg append().

Update portability information for the spawn*() functions and related
constants.  Someone will need to fill in information on the spawn*()
functions that aren't listed.

Fix a typo in a comment

Fix comments relating to the specific regexs used to parse section and
option names; errors noted by Greg Stein <gstein@lyra.org>.

Patch by Piers Lauder, who writes:

This patch is re: Lucas.Dejonge@awtpl.com.au: [Python-bugs-list] imaplib -
not complying with RFC (PR#218)

Lucas de Jonge reported that the code in imaplib that detects a read-write
to read-only change doesn't comply with RFC 2060.

(Finally!)  Changes related to the ConfigParser/INI-file topics
discussed on c.l.py last January.  Specifically:
  - more characters allowed in section & option names
  - if '=' is used to separate the option & value, the value can be
    followed by a comment of the form '\s;'

Drop the support level for stdwin a notch -- the contents of
lib-stdwin is no longer installed.

Increase the support level for other obsolete modules a bit: install
lib-old by default.  It still isn't in the path by default, but at
least it's easier to add to your $PYTHONPATH this way.  (This makes
sense because in 1.6 we're much more aggressive with declaring modules
obsolete.)

Fix use of list.append() with multiple arguments