]> granicus.if.org Git - python/commitdiff
Merged revisions 73623-73624 via svnmerge from
authorBenjamin Peterson <benjamin@python.org>
Sun, 28 Jun 2009 17:35:48 +0000 (17:35 +0000)
committerBenjamin Peterson <benjamin@python.org>
Sun, 28 Jun 2009 17:35:48 +0000 (17:35 +0000)
svn+ssh://pythondev@svn.python.org/python/branches/py3k

................
  r73623 | benjamin.peterson | 2009-06-28 12:22:03 -0500 (Sun, 28 Jun 2009) | 58 lines

  Merged revisions 73004,73439,73496,73509,73529,73564,73576-73577,73595-73596,73605 via svnmerge from
  svn+ssh://pythondev@svn.python.org/python/trunk

  ........
    r73004 | jeffrey.yasskin | 2009-05-28 22:44:31 -0500 (Thu, 28 May 2009) | 5 lines

    Fix nearly all compilation warnings under Apple gcc-4.0.  Tested with OPT="-g
    -Wall -Wstrict-prototypes -Werror" in both --with-pydebug mode and --without.
    There's still a batch of non-prototype warnings in Xlib.h that I don't know how
    to fix.
  ........
    r73439 | benjamin.peterson | 2009-06-15 19:29:31 -0500 (Mon, 15 Jun 2009) | 1 line

    don't mask encoding errors when decoding a string #6289
  ........
    r73496 | vinay.sajip | 2009-06-21 12:37:27 -0500 (Sun, 21 Jun 2009) | 1 line

    Issue #6314: logging.basicConfig() performs extra checks on the "level" argument.
  ........
    r73509 | amaury.forgeotdarc | 2009-06-22 14:33:48 -0500 (Mon, 22 Jun 2009) | 2 lines

    #4490 Fix sample code run by "python -m xml.sax.xmlreader"
  ........
    r73529 | r.david.murray | 2009-06-23 13:02:46 -0500 (Tue, 23 Jun 2009) | 4 lines

    Fix issue 5230 by having pydoc's safeimport check to see if the import
    error was thrown from itself in order to decide if the module can't be
    found.  Thanks to Lucas Prado Melo for collaborating on the fix and tests.
  ........
    r73564 | amaury.forgeotdarc | 2009-06-25 17:29:29 -0500 (Thu, 25 Jun 2009) | 6 lines

    #2016 Fix a crash in function call when the **kwargs dictionary is mutated
    during the function call setup.

    This even gives a slight speedup, probably because tuple allocation
    is faster than PyMem_NEW.
  ........
    r73576 | benjamin.peterson | 2009-06-26 18:37:06 -0500 (Fri, 26 Jun 2009) | 1 line

    document is_declared_global()
  ........
    r73577 | benjamin.peterson | 2009-06-27 09:16:23 -0500 (Sat, 27 Jun 2009) | 1 line

    link to extensive generator docs in the reference manual
  ........
    r73595 | ezio.melotti | 2009-06-27 18:45:39 -0500 (Sat, 27 Jun 2009) | 1 line

    stmt and setup can contain multiple statements, see #5896
  ........
    r73596 | ezio.melotti | 2009-06-27 19:07:45 -0500 (Sat, 27 Jun 2009) | 1 line

    Fixed a wrong apostrophe
  ........
    r73605 | georg.brandl | 2009-06-28 07:10:18 -0500 (Sun, 28 Jun 2009) | 1 line

    Remove stray pychecker directive.
  ........
................
  r73624 | benjamin.peterson | 2009-06-28 12:32:20 -0500 (Sun, 28 Jun 2009) | 1 line

  document BufferedIOBase.raw and TextIOBase.buffer
................

16 files changed:
Doc/library/io.rst
Doc/library/stdtypes.rst
Doc/library/symtable.rst
Doc/library/timeit.rst
Lib/email/mime/nonmultipart.py
Lib/pydoc.py
Lib/test/test_coding.py
Lib/test/test_extcall.py
Lib/test/test_pydoc.py
Lib/xml/sax/expatreader.py
Misc/ACKS
Modules/_ssl.c
Modules/_struct.c
Objects/funcobject.c
Parser/tokenizer.c
Python/compile.c

index 58661133aa6c5e1f515f39b622435c6337f55096..71d3f674033f6c2394b39765496c878d2ba65ab6 100644 (file)
@@ -359,9 +359,15 @@ I/O Base Classes
    implementation, but wrap one like :class:`BufferedWriter` and
    :class:`BufferedReader`.
 
-   :class:`BufferedIOBase` provides or overrides these methods in addition to
+   :class:`BufferedIOBase` provides or overrides these members in addition to
    those from :class:`IOBase`:
 
+   .. attribute:: raw
+
+      The underlying raw stream (a :class:`RawIOBase` instance) that
+      :class:`BufferedIOBase` deals with.  This is not part of the
+      :class:`BufferedIOBase` API and may not exist on some implementations.
+
    .. method:: detach()
 
       Separate the underlying raw stream from the buffer and return it.
@@ -607,6 +613,12 @@ Text I/O
       A string, a tuple of strings, or ``None``, indicating the newlines
       translated so far.
 
+   .. attribute:: buffer
+
+      The underlying binary buffer (a :class:`BufferedIOBase` instance) that
+      :class:`TextIOBase` deals with.  This is not part of the
+      :class:`TextIOBase` API and may not exist on some implementations.
+
    .. method:: detach()
 
       Separate the underlying buffer from the :class:`TextIOBase` and return it.
index bd02b37360a330c657ce08c8e9efeddddd00a1e4..1ccc457458da8cded11af208250cbf8c27d1850f 100644 (file)
@@ -583,10 +583,18 @@ Once an iterator's :meth:`__next__` method raises :exc:`StopIteration`, it must
 continue to do so on subsequent calls.  Implementations that do not obey this
 property are deemed broken.
 
+
+.. _generator-types:
+
+Generator Types
+---------------
+
 Python's :term:`generator`\s provide a convenient way to implement the iterator
 protocol.  If a container object's :meth:`__iter__` method is implemented as a
 generator, it will automatically return an iterator object (technically, a
 generator object) supplying the :meth:`__iter__` and :meth:`__next__` methods.
+More information about generators can be found in :ref:`the documentation for
+the yield expression <yieldexpr>`.
 
 
 .. _typesseq:
index 9ea3f01b40799dc64e29fc5045a4b26ba0e25c61..9aafd4e13cb9209d97188d92caa25f7682c9f882 100644 (file)
@@ -144,6 +144,10 @@ Examining Symbol Tables
 
       Return ``True`` if the symbol is global.
 
+   .. method:: is_declared_global()
+
+      Return ``True`` if the symbol is declared global with a global statement.
+
    .. method:: is_local()
 
       Return ``True`` if the symbol is local to its block.
index 495ac81344d80f3a81832ab4279b56a134054955..a85fa3e30b6fb5e4b68ef33175d93d0db17bb837 100644 (file)
@@ -24,8 +24,9 @@ The module defines the following public class:
 
    The constructor takes a statement to be timed, an additional statement used for
    setup, and a timer function.  Both statements default to ``'pass'``; the timer
-   function is platform-dependent (see the module doc string).  The statements may
-   contain newlines, as long as they don't contain multi-line string literals.
+   function is platform-dependent (see the module doc string).  *stmt* and *setup*
+   may also contain multiple statements separated by ``;`` or newlines, as long as
+   they don't contain multi-line string literals.
 
    To measure the execution time of the first statement, use the :meth:`timeit`
    method.  The :meth:`repeat` method is a convenience to call :meth:`timeit`
index dd280b51d03e1d0c755dc612f6973ec15725d29b..fc3b9eb4dcfbf8ef4621ee7e545cc237dcf12e09 100644 (file)
@@ -14,13 +14,9 @@ from email.mime.base import MIMEBase
 class MIMENonMultipart(MIMEBase):
     """Base class for MIME multipart/* type messages."""
 
-    __pychecker__ = 'unusednames=payload'
-
     def attach(self, payload):
         # The public API prohibits attaching multiple subparts to MIMEBase
         # derived subtypes since none of them are, by definition, of content
         # type multipart/*
         raise errors.MultipartConversionError(
             'Cannot attach additional subparts to non-multipart/*')
-
-    del __pychecker__
index 6475decc2976a4b53d3742b051b4db224c365705..fe439c2056a8f006e77927776c7cbf660e5365b2 100755 (executable)
@@ -54,6 +54,7 @@ Richard Chamberlain, for the first implementation of textdoc.
 
 import sys, imp, os, re, inspect, builtins, pkgutil
 from reprlib import Repr
+from traceback import extract_tb as _extract_tb
 try:
     from collections import deque
 except ImportError:
@@ -292,9 +293,9 @@ def safeimport(path, forceload=0, cache={}):
         elif exc is SyntaxError:
             # A SyntaxError occurred before we could execute the module.
             raise ErrorDuringImport(value.filename, info)
-        elif exc is ImportError and \
-             str(value).lower().split()[:2] == ['no', 'module']:
-            # The module was not found.
+        elif exc is ImportError and _extract_tb(tb)[-1][2]=='safeimport':
+            # The import error occurred directly in this function,
+            # which means there is no such module in the path.
             return None
         else:
             # Some other error occurred during the importing process.
index 51873b40de9baae31c3e25d40a11c28ecaaf141b..9d368c5e960ccd365c421c652597fe4316653f79 100644 (file)
@@ -49,6 +49,18 @@ class CodingTest(unittest.TestCase):
             unlink(TESTFN+".pyc")
             sys.path.pop(0)
 
+    def test_error_from_string(self):
+        # See http://bugs.python.org/issue6289
+        input = "# coding: ascii\n\N{SNOWMAN}".encode('utf-8')
+        try:
+            compile(input, "<string>", "exec")
+        except SyntaxError as e:
+            expected = "'ascii' codec can't decode byte 0xe2 in position 16: " \
+                "ordinal not in range(128)"
+            self.assertTrue(str(e).startswith(expected))
+        else:
+            self.fail("didn't raise")
+
 def test_main():
     test.support.run_unittest(CodingTest)
 
index 7ed0e2e11998bb5bf0746db751d9eb749ae33d49..f1fff0a5ecaef2183b45c82c1b03ceacbe3b2e0b 100644 (file)
@@ -243,6 +243,24 @@ TypeError if te dictionary is not empty
       ...
     TypeError: id() takes no keyword arguments
 
+A corner case of keyword dictionary items being deleted during
+the function call setup. See <http://bugs.python.org/issue2016>.
+
+    >>> class Name(str):
+    ...     def __eq__(self, other):
+    ...         try:
+    ...              del x[self]
+    ...         except KeyError:
+    ...              pass
+    ...         return str.__eq__(self, other)
+    ...     def __hash__(self):
+    ...         return str.__hash__(self)
+
+    >>> x = {Name("a"):1, Name("b"):2}
+    >>> def f(a, b):
+    ...     print(a,b)
+    >>> f(**x)
+    1 2
 """
 
 from test import support
index 03b353910ce7bad36d873955e2fd6b12ac37a556..00a2ada6c596a6699602ece1295fb5dd71e7e05f 100644 (file)
@@ -1,5 +1,6 @@
 import sys
 import os
+import os.path
 import difflib
 import subprocess
 import re
@@ -7,6 +8,8 @@ import pydoc
 import inspect
 import unittest
 import test.support
+from contextlib import contextmanager
+from test.support import TESTFN, forget, rmtree, EnvironmentVarGuard
 
 from test import pydoc_mod
 
@@ -183,6 +186,9 @@ war</tt></dd></dl>
 # output pattern for missing module
 missing_pattern = "no Python documentation found for '%s'"
 
+# output pattern for module with bad imports
+badimport_pattern = "problem in %s - ImportError: No module named %s"
+
 def run_pydoc(module_name, *args):
     """
     Runs pydoc on the specified module. Returns the stripped
@@ -254,6 +260,42 @@ class PyDocDocTest(unittest.TestCase):
         self.assertEqual(expected, result,
             "documentation for missing module found")
 
+    def test_badimport(self):
+        # This tests the fix for issue 5230, where if pydoc found the module
+        # but the module had an internal import error pydoc would report no doc
+        # found.
+        modname = 'testmod_xyzzy'
+        testpairs = (
+            ('i_am_not_here', 'i_am_not_here'),
+            ('test.i_am_not_here_either', 'i_am_not_here_either'),
+            ('test.i_am_not_here.neither_am_i', 'i_am_not_here.neither_am_i'),
+            ('i_am_not_here.{}'.format(modname), 'i_am_not_here.{}'.format(modname)),
+            ('test.{}'.format(modname), modname),
+            )
+
+        @contextmanager
+        def newdirinpath(dir):
+            os.mkdir(dir)
+            sys.path.insert(0, dir)
+            yield
+            sys.path.pop(0)
+            rmtree(dir)
+
+        with newdirinpath(TESTFN), EnvironmentVarGuard() as env:
+            env['PYTHONPATH'] = TESTFN
+            fullmodname = os.path.join(TESTFN, modname)
+            sourcefn = fullmodname + os.extsep + "py"
+            for importstring, expectedinmsg in testpairs:
+                f = open(sourcefn, 'w')
+                f.write("import {}\n".format(importstring))
+                f.close()
+                try:
+                    result = run_pydoc(modname).decode("ascii")
+                finally:
+                    forget(modname)
+                expected = badimport_pattern % (modname, expectedinmsg)
+                self.assertEqual(expected, result)
+
     def test_input_strip(self):
         missing_module = " test.i_am_not_here "
         result = str(run_pydoc(missing_module), 'ascii')
index 26b05c3736d855104dc3f8fd92b7dc61d7428db0..c9fc894cb087a4dd47612c6ee14df0e5c6ff8d9a 100644 (file)
@@ -407,8 +407,8 @@ def create_parser(*args, **kwargs):
 # ---
 
 if __name__ == "__main__":
-    import xml.sax
+    import xml.sax.saxutils
     p = create_parser()
-    p.setContentHandler(xml.sax.XMLGenerator())
+    p.setContentHandler(xml.sax.saxutils.XMLGenerator())
     p.setErrorHandler(xml.sax.ErrorHandler())
-    p.parse("../../../hamlet.xml")
+    p.parse("http://www.ibiblio.org/xml/examples/shakespeare/hamlet.xml")
index 4d58f95d8a2c088a797fdef42875861d8d833b56..0fa88ede7d937b1e7de21f422a20c434a5524a19 100644 (file)
--- a/Misc/ACKS
+++ b/Misc/ACKS
@@ -482,6 +482,7 @@ Andrew McNamara
 Craig McPheeters
 Lambert Meertens
 Bill van Melle
+Lucas Prado Melo
 Luke Mewburn
 Mike Meyer
 Steven Miale
index b4000570d87c1ba1de1e34ba3baa60de59e88080..906138da71ad0f36ed8c796ba2db8e3e51fd3b6a 100644 (file)
@@ -658,7 +658,7 @@ _get_peer_alt_names (X509 *certificate) {
        char buf[2048];
        char *vptr;
        int len;
-       const unsigned char *p;
+       unsigned char *p;
 
        if (certificate == NULL)
                return peer_alt_names;
index 83f5685dd056b3821b9d83813c3099927c902f58..27d596c09a2190891cb4ea62620a900c74670ac6 100644 (file)
@@ -132,6 +132,7 @@ get_long(PyObject *v, long *p)
 
 /* Same, but handling unsigned long */
 
+#ifndef PY_STRUCT_OVERFLOW_MASKING
 static int
 get_ulong(PyObject *v, unsigned long *p)
 {
@@ -152,6 +153,7 @@ get_ulong(PyObject *v, unsigned long *p)
        *p = x;
        return 0;
 }
+#endif  /* PY_STRUCT_OVERFLOW_MASKING */
 
 #ifdef HAVE_LONG_LONG
 
index acd662cb32785d4cad9609550db4e23726a61e7a..1456810057ada17a948bbe901def2f49a823bbdf 100644 (file)
@@ -593,13 +593,14 @@ function_call(PyObject *func, PyObject *arg, PyObject *kw)
 {
        PyObject *result;
        PyObject *argdefs;
+       PyObject *kwtuple = NULL;
        PyObject **d, **k;
        Py_ssize_t nk, nd;
 
        argdefs = PyFunction_GET_DEFAULTS(func);
        if (argdefs != NULL && PyTuple_Check(argdefs)) {
                d = &PyTuple_GET_ITEM((PyTupleObject *)argdefs, 0);
-               nd = PyTuple_Size(argdefs);
+               nd = PyTuple_GET_SIZE(argdefs);
        }
        else {
                d = NULL;
@@ -609,16 +610,17 @@ function_call(PyObject *func, PyObject *arg, PyObject *kw)
        if (kw != NULL && PyDict_Check(kw)) {
                Py_ssize_t pos, i;
                nk = PyDict_Size(kw);
-               k = PyMem_NEW(PyObject *, 2*nk);
-               if (k == NULL) {
-                       PyErr_NoMemory();
+               kwtuple = PyTuple_New(2*nk);
+               if (kwtuple == NULL)
                        return NULL;
-               }
+               k = &PyTuple_GET_ITEM(kwtuple, 0);
                pos = i = 0;
-               while (PyDict_Next(kw, &pos, &k[i], &k[i+1]))
+               while (PyDict_Next(kw, &pos, &k[i], &k[i+1])) {
+                       Py_INCREF(k[i]);
+                       Py_INCREF(k[i+1]);
                        i += 2;
+               }
                nk = i/2;
-               /* XXX This is broken if the caller deletes dict items! */
        }
        else {
                k = NULL;
@@ -628,13 +630,12 @@ function_call(PyObject *func, PyObject *arg, PyObject *kw)
        result = PyEval_EvalCodeEx(
                (PyCodeObject *)PyFunction_GET_CODE(func),
                PyFunction_GET_GLOBALS(func), (PyObject *)NULL,
-               &PyTuple_GET_ITEM(arg, 0), PyTuple_Size(arg),
+               &PyTuple_GET_ITEM(arg, 0), PyTuple_GET_SIZE(arg),
                k, nk, d, nd,
                PyFunction_GET_KW_DEFAULTS(func),
                PyFunction_GET_CLOSURE(func));
 
-       if (k != NULL)
-               PyMem_DEL(k);
+       Py_XDECREF(kwtuple);
 
        return result;
 }
index 15e8185f8f6907950f04e712c37af77b4725deb5..cc142a7127278d0b57fbed164bbaa74f8b359f5d 100644 (file)
@@ -682,11 +682,8 @@ decode_str(const char *str, struct tok_state *tok)
        if (tok->enc != NULL) {
                assert(utf8 == NULL);
                utf8 = translate_into_utf8(str, tok->enc);
-               if (utf8 == NULL) {
-                       PyErr_Format(PyExc_SyntaxError,
-                               "unknown encoding: %s", tok->enc);
+               if (utf8 == NULL)
                        return error_ret(tok);
-               }
                str = PyBytes_AS_STRING(utf8);
        }
        assert(tok->decoding_buffer == NULL);
index c78949d887873f8ed617b358d2376b00cf84220e..11d7c3317d5728948f88405c501078af9c95d8d8 100644 (file)
@@ -551,18 +551,6 @@ compiler_exit_scope(struct compiler *c)
 
 }
 
-/* Allocate a new "anonymous" local variable.
-   Used by list comprehensions and with statements.
-*/
-
-static PyObject *
-compiler_new_tmpname(struct compiler *c)
-{
-       char tmpname[256];
-       PyOS_snprintf(tmpname, sizeof(tmpname), "_[%d]", ++c->u->u_tmpname);
-       return PyUnicode_FromString(tmpname);
-}
-
 /* Allocate a new block and return a pointer to it.
    Returns NULL on error.
 */