Fix markup and punctuation

Got rid of the toy _Set class, in favor of sets.Set.

s/_as_Temporarily_Immutable/_as_temporarily_immutable/g, because the
latter is what the code actually does.

pop():  An arbitrary element is removed, not a random element.

Adjust the markup in a few places so this will actually format.
Remove the third column in the tables since it isn't used.

Add an entry for the sets module documentation.
Move another entry so the boilerplate doesn't get mixed up with
document-specific content.

Load docs for sets.py

RH pointed out that discard(element) doesn't do the transformation on
the element if necessary.  Fixed by calling self.remove(element).

The error messages in err_args() -- which is only called when the
required number of args is 0 or 1 -- were reversed.  Also change "1"
into "exactly one", the same words as used elsewhere for this
condition.

Added the standard MacOSX location for documentation inside a framework
to the list of places where pydoc looks for HTML documents.

Rewritten using the tokenize module, which gives us a real tokenizer
rather than a number of approximating regular expressions.
Alas, it is 3-4 times slower.  Let that be a challenge for the
tokenize module.

Don't build ConfigurePythonCarbon and ConfigurePythonClassic any longer,
classic Python is gone.

For MacPython-OS9 verbose is the default.

Interface to Apple Help Manager.

Moved CoreFoundation type support to bgen/macsupport.

Added PyDoc_STR's.

Tweak wordsep_re again: this time to recognize an em-dash with
any non-whitespace characters adjacent, not just \w.

Test an em-dash with adjacent punctuation.

Factored out BaseTestCase.check_split() method -- use it wherever
we need to test TextWrapper._split().

Test _split() method in test_unix_options().

Add test_unix_options() to WrapTestCase to test for SF bug #596434.

Fix SF bug #596434: tweak wordsep_re so "--foo-bar" now splits
into /--foo-/bar/ rather than /--/foo-/bar/.  Needed for Optik and
Docutils to handle Unix-style command-line options properly.

Standardize behavior: no docstrings in test functions.

Standardize behavior: no docstrings in test functions.  Also use
unittest.makeSuite() rather than loader.loadTestsFromTestCase().

Standardize behavior: no docstrings in test functions.  Also strip
trailing whitespace.

Document that docstrings are verboten for test functions.

Expand the example to show some actual test functions, and a setUp()
and tearDown() method.

Standardize behavior: no docstrings in test functions.  Also get rid
of dummy_test_TemporaryFile class; when NamedTemporaryFile and
TemporaryFile are the same, simply don't add a test suite for
TemporaryFile.

Standardize behavior: no docstrings in test functions; add a proper
test_main() that creates a suite and runs it.  Don't mess with sys.path!!!

Add test_em_dash() to WrapTestCase to make sure that TextWrapper handles
em-dashes -- like this -- properly.  (Also--like this.  Although this
usage may be incompatible with fixing bug #596434; we shall see.)

Standardize behavior: no docstrings in test functions.

Standardize behavior: create a single suite merging all test cases.

Standardize behavior: no docstrings in test functions; create a single
suite merging all test cases.

Made it more readable.

Fix peculiar (and ungrammatical) wording in an example program.

Simplification/cleanup in IndentTestCases.

Factor LongWordTestCase out of WrapTestCase, and rename its methods
(tests) from test_funky_punc() to test_break_long() and
test_long_words() to test_nobreak_long().

Rename base test case class to (yawn) BaseTestCase.

Ditch the whole loop-over-subcases way of working.  Add check_wrap() to
base class (WrapperTestCase) instead, and call it repeatedly in the
methods that used to have a loop-over-subcases.  Much simpler.

Rename perennial temp variable 't' to 'text'.

Simplify and reformat the use of 'subcases' lists (and following
for-loops) in test_simple(), test_wrap_short() test_hyphenated(), and
test_funky_punc().

Add comment header block.
Remove some useless comments (redundant, or info presumably available in
  PyUnit docs).

Conform to standards documented in README:
  *  lowercase test*() methods
  * define test_main() and use it instead of unittest.main()
Kill #! line.
Improve some test names and docstrings.

Test script for the textwrap module.  Kindly provided by Peter Hansen
<peter@engcorp.com> based on a test script that's been kicking around my
home directory for a couple of months now and only saw the light of day
because I included it when I sent textwrap.py to python-dev for review.

On Windows, make sure SocketType is the same as socket.  (SF bug
598097)

Change the binary operators |, &, ^, - to return NotImplemented rather
than raising TypeError when the other argument is not a BaseSet.  This
made it necessary to separate the implementation of e.g. __or__ from
the union method; the latter should not return NotImplemented but
raise TypeError.  This is accomplished by making union(self, other)
return self|other, etc.; Python's binary operator machinery will raise
TypeError.

The idea behind this change is to allow other set implementations with
an incompatible internal structure; these can provide union (etc.) with
standard sets by implementing __ror__ etc.

I wish I could do this for comparisons too, but the default comparison
implementation allows comparing anything to anything else (returning
false); we don't want that (at least the test suite makes sure
e.g. Set()==42 raises TypeError).  That's probably fine; otherwise
other set implementations would be constrained to implementing a hash
that's compatible with ours.

Give the section on PEP 263 a more meaningful title, so readers will
be able to locate this information without knowing the PEP number.

Add a note that apply() is needed since the extended call syntax is
completely equivalent.

Fix grammatically inept comment.

Added a main() function and support to run this module as a script.
Closes SF feature request #588768.

Refactor:  Remove some code that was obsoleted when this module was
           changed to use universal newlines.

           Remove all imports from the compile() function; these are
           now done at the top of the module ("Python normal form"),
           and define a helper based on the platform instead of
           testing the platform in the compile() function.

Clarify that even though some of the relevant specifications define the
order in which form variables should be encoded in a request, a CGI script
should not rely on that since a client may not conform to those specs, or
they may not be relevant to the request.
Closes SF bug #596866.

Now that __init__ transforms set elements, we know that all of the
elements are hashable, so we can use dict.update() or dict.copy()
for a C speed Set.copy().

Add regression test for proper construction of sets of sets.

Replace all cases of "while 1" with "while True".
Though slightly slower, has better clarity and teaching value.

Sped ._update() method by factoring try/except out of the inner loop.

Ouch.  The test suite *really* needs work!!!!!  There were several
superficial errors and one deep one that aren't currently caught.  I'm
headed for bed after this checkin.

- Fixed several typos introduced by Raymond Hettinger (through
  cut-n-paste from my template): it's _as_temporarily_immutable, not
  _as_temporary_immutable, and moreover when the element is added, we
  should use _as_immutable.

- Made the seq argument to ImmutableSet.__init__ optional, so we can
  write ImmutableSet() to create an immutable empty set.

- Rename the seq argument to Set and ImmutableSet to iterable.

- Add a Set.__hash__ method that raises a TypeError.  We inherit a
  default __hash__ implementation from object, and we don't want that.
  We can then catch this in update(), so that
  e.g. s.update([Set([1])]) will transform the Set([1]) to
  ImmutableSet([1]).

- Added the dance to catch TypeError and try _as_immutable in the
  constructors too (by calling _update()).  This is needed so that
  Set([Set([1])]) is correctly interpreted as
  Set([ImmutableSet([1])]).  (I was puzzled by a side effect of this
  and the inherited __hash__ when comparing two sets of sets while
  testing different powerset implementations: the Set element passed
  to a Set constructor wasn't transformed to an ImmutableSet, and then
  the dictionary didn't believe the Set found in one dict it was the
  same as ImmutableSet in the other, because the hashes were
  different.)

- Refactored Set.update() and both __init__() methods; moved the body
  of update() into BaseSet as _update(), and call this from __init__()
  and update().

- Changed the NotImplementedError in BaseSet.__init__ to TypeError,
  both for consistency with basestring() and because we have to use
  TypeError when denying Set.__hash__.  Together those provide
  sufficient evidence that an unimplemented method needs to raise
  TypeError.

Add Raymond H to the list of authors; add some XXX comments about
possible API improvements.

Fast size check for sub/super set tests

Optimize try/except ordering in sets.py.

Gains a 5:1 speed-up for membership testing by
handling the most common case first (the case
where the element is hashable).

Closes SF Patch 597444.

Minor typo

Rename popitem() to pop().  (An idea from SF patch 597444.)

Move __init__ from BaseSet into Set and ImmutableSet.  This causes a
tiny amount of code duplication, but makes it possible to give BaseSet
an __init__ that raises an exception.

Typo repair.  Please include in any backports.

Add a note reminding the reader that sets are not sequences.  I
received feedback that was based in the misunderstanding that sets
were sequences.

SF patch 595846 by Brett Cannon: Update environ for CGIHTTPServer.py

This patch causes CGIHTTPServer to update os.environ regardless of how
it tries to handle calls (fork, popen*, etc.).

Backport bugfix candidate.

long_format(), long_lshift():  Someone on c.l.py is trying to boost
SHIFT and MASK, and widen digit.  One problem is that code of the form

    digit << small_integer

implicitly assumes that the result fits in an int or unsigned int
(platform-dependent, but "int sized" in any case), since digit is
promoted "just" to int or unsigned via the usual integer promotions.
But if digit is typedef'ed as unsigned int, this loses information.
The cure for this is just to cast digit to twodigits first.

Fix some endcase bugs in unicode rfind()/rindex() and endswith().
These were reported and fixed by Inyeol Lee in SF bug 595350.  The
endswith() bug was already fixed in 2.3, but this adds some more test
cases.

Comment typo repair.

My patch #597221.  Use f_lasti more consistently.

Bump version number to 2.3

Added tests for SF patch #597593, syntactically invalid Content-Type: headers.

get_content_type(), get_content_maintype(), get_content_subtype(): RFC
2045, section 5.2 states that if the Content-Type: header is
syntactically invalid, the default type should be text/plain.
Implement minimal sanity checking of the header -- it must have
exactly one slash in it.  This closes SF patch #597593 by Skip, but in
a different way.

Note that these methods used to raise ValueError for invalid ctypes,
but now they won't.

_dispatch(): Use get_content_maintype() and get_content_subtype() to
get the MIME main and sub types, instead of getting the whole ctype
and splitting it here.   The two more specific methods now correctly
implement RFC 2045, section 5.2.

getinstclassname():  Squash new compiler wng in assert (comparison of
signed vs unsigned).

Clarify the endpos argument to the rx.match() method.
Closes SF bug #597177.

test_three_lines(): Test case reported by Andrew McNamara.  Works in
email 2.2 but fails in email 1.0.

Cover the sets module.

(There's a link to PEP218; has PEP218 been updated to match the actual
module implementation?)

Create two subsections of the "Core Language Changes" section, because
   the list is getting awfully long
Mention Karatsuba multiplication and some other items

Add versionadded for operator.pow

Extend some comments on the order of values in the returns from
dict.items/keys/values/iteritems/iterkeys/itervalues().

SF patch 576101, by Oren Tirosh: alternative implementation of
interning.  I modified Oren's patch significantly, but the basic idea
and most of the implementation is unchanged.  Interned strings created
with PyString_InternInPlace() are now mortal, and you must keep a
reference to the resulting string around; use the new function
PyString_InternImmortal() to create immortal interned strings.

Add a warning comment to the LOAD_GLOBAL inline code.

Another ugly inlining hack, expanding the two PyDict_GetItem() calls
in LOAD_GLOBAL.  Besides saving a C function call, it saves checks
whether f_globals and f_builtins are dicts, and extracting and testing
the string object's hash code is done only once.  We bail out of the
inlining if the name is not exactly a string, or when its hash is -1;
because of interning, neither should ever happen.  I believe interning
guarantees that the hash code is set, and I believe that the 'names'
tuple of a code object always contains interned strings, but I'm not
assuming that -- I'm simply testing hash != -1.

On my home machine, this makes a pystone variant with new-style
classes and slots run at the same speed as classic pystone!  (With
new-style classes but without slots, it is still a lot slower.)

Call me anal, but there was a particular phrase that was speading to
comments everywhere that bugged me: /* Foo is inlined */ instead of
/* Inline Foo */.  Somehow the "is inlined" phrase always confused me
for half a second (thinking, "No it isn't" until I added the missing
"here").  The new phrase is hopefully unambiguous.

Another modest speedup in PyObject_GenericGetAttr(): inline the call
to _PyType_Lookup().

Make PyDescr_IsData() a macro.  It's too simple to be a function.
Should save 4% on slot lookups.

Check in my ultra-shortlived patch #597220.

Move some debugging checks inside Py_DEBUG.

They were causing cache misses according to cachegrind.

Inline call to _PyObject_GetDictPtr() in PyObject_GenericGetAttr().
This causes a modest speedup.

Fix typo in __slots__ of ImmutableSet.

News about sets.  (There's no documentation; if someone wants to
convert the doc strings to LaTeX, be my guest.)

Set classes and their unit tests, from sandbox.

Simple but important optimization for descr_check(): instead of the
expensive and overly general PyObject_IsInstance(), call
PyObject_TypeCheck() which is a macro that often avoids a call, and if
it does make a call, calls the much more efficient PyType_IsSubtype().
This saved 6% on a benchmark for slot lookups.

Fix spelling errors and note the addition of operator.pow()

Merged the MacPython thanks list into the general acknowledgements.
There's really no point in a separate list of thank-you notes.

Added __pow__(a,b) to the operator module. Completes the pattern of
all operators having a counterpart in the operator module.

Closes SF bug #577513.

SF bug 595919: popenN return only text mode pipes
popen2() and popen3() created text-mode pipes even when binary mode
was asked for.  This was specific to Windows.

Add Steve Purcell for unittest.py

Refuse to run if the last bit of the destination path contains a # character.
This is a silly workaround for a rather serious bug in MacOSX: if you take
a long filename and convert it to an FSSpec the fsspec gets a magic
cooky (containing a #, indeed). If you then massage the extension of this
fsspec and convert back to a pathname you may end up referring to the
same file. This could destroy your sourcefile. The problem only occcurs
in MacPython-OS9, not MacPython-OSX (I think).

Closes bug #505562.

Modify splituser() method to allow an @ in the userinfo field.
Jeremy reported that this is not allowed by RFC 2396; however,
other tools support unescaped @'s so we should also.

Apply SF patch 596581 closing bug 581529.

OS/2 EMX behaves like Windows where file permissions are concerned

update contact info