]> granicus.if.org Git - python/commitdiff
Merged revisions 72924 via svnmerge from
authorGeorg Brandl <georg@python.org>
Mon, 25 May 2009 21:10:36 +0000 (21:10 +0000)
committerGeorg Brandl <georg@python.org>
Mon, 25 May 2009 21:10:36 +0000 (21:10 +0000)
svn+ssh://pythondev@svn.python.org/python/trunk

........
  r72924 | georg.brandl | 2009-05-25 23:02:56 +0200 (Mo, 25 Mai 2009) | 6 lines

  Allow multiple context managers in one with statement, as proposed
  in http://codereview.appspot.com/53094 and accepted by Guido.

  The construct is transformed into multiple With AST nodes so that
  there should be no problems with the semantics.
........

Doc/reference/compound_stmts.rst
Grammar/Grammar
Include/graminit.h
Lib/test/test_parser.py
Lib/test/test_with.py
Misc/NEWS
Modules/parsermodule.c
Python/ast.c
Python/graminit.c

index 61e3067f517d49b8ac948232ee58e4881fe1120d..214143b82b33f156fcf1b5be87b47c7f0733aac0 100644 (file)
@@ -347,9 +347,10 @@ This allows common :keyword:`try`...\ :keyword:`except`...\ :keyword:`finally`
 usage patterns to be encapsulated for convenient reuse.
 
 .. productionlist::
-   with_stmt: "with" `expression` ["as" `target`] ":" `suite`
+   with_stmt: "with" with_item ("," with_item)* ":" `suite`
+   with_item: `expression` ["as" `target`]
 
-The execution of the :keyword:`with` statement proceeds as follows:
+The execution of the :keyword:`with` statement with one "item" proceeds as follows:
 
 #. The context expression is evaluated to obtain a context manager.
 
@@ -382,6 +383,21 @@ The execution of the :keyword:`with` statement proceeds as follows:
    value from :meth:`__exit__` is ignored, and execution proceeds at the normal
    location for the kind of exit that was taken.
 
+With more than one item, the context managers are processed as if multiple
+:keyword:`with` statements were nested::
+
+   with A() as a, B() as b:
+       suite
+
+is equivalent to ::
+
+   with A() as a:
+       with B() as b:
+           suite
+
+.. versionchanged:: 3.1
+   Support for multiple context expressions.
+
 .. seealso::
 
    :pep:`0343` - The "with" statement
index e9922c1162abf5b85220957c96507870b622b3d8..1b196e5318293424a66f27e51c17f242494be65d 100644 (file)
@@ -73,8 +73,8 @@ try_stmt: ('try' ':' suite
            ['else' ':' suite]
            ['finally' ':' suite] |
           'finally' ':' suite))
-with_stmt: 'with' test [ with_var ] ':' suite
-with_var: 'as' expr
+with_stmt: 'with' with_item (',' with_item)*  ':' suite
+with_item: test ['as' expr]
 # NB compile.c makes sure that the default except clause is last
 except_clause: 'except' [test ['as' NAME]]
 suite: simple_stmt | NEWLINE INDENT stmt+ DEDENT
index 5786d52f112761cd8659a86e02767af675948678..04f9b9aa522bd803b8032ceb8f1e91e93c73860c 100644 (file)
@@ -42,7 +42,7 @@
 #define for_stmt 295
 #define try_stmt 296
 #define with_stmt 297
-#define with_var 298
+#define with_item 298
 #define except_clause 299
 #define suite 300
 #define test 301
index 86ede3e635d4e034e05ac05c9f1989438afb21ae..65d1d3594b4a87bc0ec32076d836230f52e0db51 100644 (file)
@@ -193,6 +193,7 @@ class RoundtripLegalSyntaxTestCase(unittest.TestCase):
     def test_with(self):
         self.check_suite("with open('x'): pass\n")
         self.check_suite("with open('x') as f: pass\n")
+        self.check_suite("with open('x') as f, open('y') as g: pass\n")
 
     def test_try_stmt(self):
         self.check_suite("try: pass\nexcept: pass\n")
index b192429cf719780988ad842661c419ba1e3c8547..105be8b81a18f2be06d20ca010940f5cb288ce24 100644 (file)
@@ -656,12 +656,88 @@ class ExitSwallowsExceptionTestCase(unittest.TestCase):
             self.fail("ZeroDivisionError should have been raised")
 
 
+class NestedWith(unittest.TestCase):
+
+    class Dummy(object):
+        def __init__(self, value=None, gobble=False):
+            if value is None:
+                value = self
+            self.value = value
+            self.gobble = gobble
+            self.enter_called = False
+            self.exit_called = False
+
+        def __enter__(self):
+            self.enter_called = True
+            return self.value
+
+        def __exit__(self, *exc_info):
+            self.exit_called = True
+            self.exc_info = exc_info
+            if self.gobble:
+                return True
+
+    class CtorRaises(object):
+        def __init__(self): raise RuntimeError()
+
+    class EnterRaises(object):
+        def __enter__(self): raise RuntimeError()
+        def __exit__(self, *exc_info): pass
+
+    class ExitRaises(object):
+        def __enter__(self): pass
+        def __exit__(self, *exc_info): raise RuntimeError()
+
+    def testNoExceptions(self):
+        with self.Dummy() as a, self.Dummy() as b:
+            self.assertTrue(a.enter_called)
+            self.assertTrue(b.enter_called)
+        self.assertTrue(a.exit_called)
+        self.assertTrue(b.exit_called)
+
+    def testExceptionInExprList(self):
+        try:
+            with self.Dummy() as a, self.CtorRaises():
+                pass
+        except:
+            pass
+        self.assertTrue(a.enter_called)
+        self.assertTrue(a.exit_called)
+
+    def testExceptionInEnter(self):
+        try:
+            with self.Dummy() as a, self.EnterRaises():
+                self.fail('body of bad with executed')
+        except RuntimeError:
+            pass
+        else:
+            self.fail('RuntimeError not reraised')
+        self.assertTrue(a.enter_called)
+        self.assertTrue(a.exit_called)
+
+    def testExceptionInExit(self):
+        body_executed = False
+        with self.Dummy(gobble=True) as a, self.ExitRaises():
+            body_executed = True
+        self.assertTrue(a.enter_called)
+        self.assertTrue(a.exit_called)
+        self.assertNotEqual(a.exc_info[0], None)
+
+    def testEnterReturnsTuple(self):
+        with self.Dummy(value=(1,2)) as (a1, a2), \
+             self.Dummy(value=(10, 20)) as (b1, b2):
+            self.assertEquals(1, a1)
+            self.assertEquals(2, a2)
+            self.assertEquals(10, b1)
+            self.assertEquals(20, b2)
+
 def test_main():
     run_unittest(FailureTestCase, NonexceptionalTestCase,
                  NestedNonexceptionalTestCase, ExceptionalTestCase,
                  NonLocalFlowControlTestCase,
                  AssignmentTargetTestCase,
-                 ExitSwallowsExceptionTestCase)
+                 ExitSwallowsExceptionTestCase,
+                 NestedWith)
 
 
 if __name__ == '__main__':
index 06415b9f65f3dc11cfbaa96b92f0b8d741afb24e..91b5dfcf4c7b42d5ca8ff950f551446576ec7970 100644 (file)
--- a/Misc/NEWS
+++ b/Misc/NEWS
@@ -15,6 +15,8 @@ Core and Builtins
 - Issue #6089: Fixed str.format with certain invalid field specifiers
   that would raise SystemError.
 
+- Added support for multiple context managers in the same with statement.
+
 - Issue #5829: complex("1e500") no longer raises OverflowError.  This
   makes it consistent with float("1e500") and interpretation of real
   and imaginary literals.
index 49f6e23c41de4e0cdf5a0bbd284bbf0d264ec468..a16e69cec396acd02410586bc1c74b02d76fda0e 100644 (file)
@@ -2446,36 +2446,39 @@ validate_decorators(node *tree)
     return ok;
 }
 
-/*  with_var
-with_var: 'as' expr
+/*  with_item:
+ *   test ['as' expr]
  */
 static int
-validate_with_var(node *tree)
+validate_with_item(node *tree)
 {
     int nch = NCH(tree);
-    int ok = (validate_ntype(tree, with_var)
-        && (nch == 2)
-        && validate_name(CHILD(tree, 0), "as")
-        && validate_expr(CHILD(tree, 1)));
-   return ok;
+    int ok = (validate_ntype(tree, with_item)
+              && (nch == 1 || nch == 3)
+              && validate_test(CHILD(tree, 0)));
+    if (ok && nch == 3) 
+        ok = (validate_name(CHILD(tree, 1), "as")
+              && validate_expr(CHILD(tree, 2)));
+    return ok;
 }
 
-/*  with_stmt
- *           0      1       2       -2   -1
-with_stmt: 'with' test [ with_var ] ':' suite
+/*  with_stmt:
+ *    0      1          ...             -2   -1
+ *   'with' with_item (',' with_item)* ':' suite
  */
 static int
 validate_with_stmt(node *tree)
 {
+    int i;
     int nch = NCH(tree);
     int ok = (validate_ntype(tree, with_stmt)
-        && ((nch == 4) || (nch == 5))
+        && (nch % 2 == 0)
         && validate_name(CHILD(tree, 0), "with")
-        && validate_test(CHILD(tree, 1))
-        && (nch == 4 || validate_with_var(CHILD(tree, 2))) 
         && validate_colon(RCHILD(tree, -2))
         && validate_suite(RCHILD(tree, -1)));
-   return ok;
+    for (i = 1; ok && i < nch - 2; i += 2)
+        ok = validate_with_item(CHILD(tree, i));
+    return ok;
 }
 
 /*  funcdef:
index 1c79359ad26ccfe414f8c0d38df018fa06d201e2..ff412b3d98389b34826ed328e3263aa84501dc66 100644 (file)
@@ -2959,25 +2959,16 @@ ast_for_try_stmt(struct compiling *c, const node *n)
     return TryFinally(body, finally, LINENO(n), n->n_col_offset, c->c_arena);
 }
 
-static expr_ty
-ast_for_with_var(struct compiling *c, const node *n)
-{
-    REQ(n, with_var);
-    return ast_for_expr(c, CHILD(n, 1));
-}
-
-/* with_stmt: 'with' test [ with_var ] ':' suite */
+/* with_item: test ['as' expr] */
 static stmt_ty
-ast_for_with_stmt(struct compiling *c, const node *n)
+ast_for_with_item(struct compiling *c, const node *n, asdl_seq *content)
 {
     expr_ty context_expr, optional_vars = NULL;
-    int suite_index = 3;    /* skip 'with', test, and ':' */
-    asdl_seq *suite_seq;
 
-    assert(TYPE(n) == with_stmt);
-    context_expr = ast_for_expr(c, CHILD(n, 1));
-    if (TYPE(CHILD(n, 2)) == with_var) {
-        optional_vars = ast_for_with_var(c, CHILD(n, 2));
+    REQ(n, with_item);
+    context_expr = ast_for_expr(c, CHILD(n, 0));
+    if (NCH(n) == 3) {
+        optional_vars = ast_for_expr(c, CHILD(n, 2));
 
         if (!optional_vars) {
             return NULL;
@@ -2985,15 +2976,45 @@ ast_for_with_stmt(struct compiling *c, const node *n)
         if (!set_context(c, optional_vars, Store, n)) {
             return NULL;
         }
-        suite_index = 4;
     }
 
-    suite_seq = ast_for_suite(c, CHILD(n, suite_index));
-    if (!suite_seq) {
+    return With(context_expr, optional_vars, content, LINENO(n),
+                n->n_col_offset, c->c_arena);
+}
+
+/* with_stmt: 'with' with_item (',' with_item)* ':' suite */
+static stmt_ty
+ast_for_with_stmt(struct compiling *c, const node *n)
+{
+    int i;
+    stmt_ty ret;
+    asdl_seq *inner;
+
+    REQ(n, with_stmt);
+
+    /* process the with items inside-out */
+    i = NCH(n) - 1;
+    /* the suite of the innermost with item is the suite of the with stmt */
+    inner = ast_for_suite(c, CHILD(n, i));
+    if (!inner)
         return NULL;
+
+    for (;;) {
+        i -= 2;
+        ret = ast_for_with_item(c, CHILD(n, i), inner);
+        if (!ret)
+            return NULL;
+        /* was this the last item? */
+        if (i == 1)
+            break;
+        /* if not, wrap the result so far in a new sequence */
+        inner = asdl_seq_new(1, c->c_arena);
+        if (!inner)
+            return NULL;
+        asdl_seq_SET(inner, 0, ret);
     }
-    return With(context_expr, optional_vars, suite_seq, LINENO(n), 
-                n->n_col_offset, c->c_arena);
+
+    return ret;
 }
 
 static stmt_ty
index 4c159bc455c84dfbb54c42fb8b2137d3fe22c2a2..1bea8a6b255e2285e88318d17a828f76d6d6eec9 100644 (file)
@@ -911,42 +911,43 @@ static arc arcs_41_0[1] = {
        {99, 1},
 };
 static arc arcs_41_1[1] = {
-       {24, 2},
+       {100, 2},
 };
 static arc arcs_41_2[2] = {
-       {100, 3},
-       {25, 4},
+       {30, 1},
+       {25, 3},
 };
 static arc arcs_41_3[1] = {
-       {25, 4},
+       {26, 4},
 };
 static arc arcs_41_4[1] = {
-       {26, 5},
-};
-static arc arcs_41_5[1] = {
-       {0, 5},
+       {0, 4},
 };
-static state states_41[6] = {
+static state states_41[5] = {
        {1, arcs_41_0},
        {1, arcs_41_1},
        {2, arcs_41_2},
        {1, arcs_41_3},
        {1, arcs_41_4},
-       {1, arcs_41_5},
 };
 static arc arcs_42_0[1] = {
-       {80, 1},
+       {24, 1},
 };
-static arc arcs_42_1[1] = {
-       {101, 2},
+static arc arcs_42_1[2] = {
+       {80, 2},
+       {0, 1},
 };
 static arc arcs_42_2[1] = {
-       {0, 2},
+       {101, 3},
+};
+static arc arcs_42_3[1] = {
+       {0, 3},
 };
-static state states_42[3] = {
+static state states_42[4] = {
        {1, arcs_42_0},
-       {1, arcs_42_1},
+       {2, arcs_42_1},
        {1, arcs_42_2},
+       {1, arcs_42_3},
 };
 static arc arcs_43_0[1] = {
        {102, 1},
@@ -1810,10 +1811,10 @@ static dfa dfas[81] = {
         "\000\000\000\000\000\000\000\000\000\000\000\100\000\000\000\000\000\000\000\000\000"},
        {296, "try_stmt", 0, 13, states_40,
         "\000\000\000\000\000\000\000\000\000\000\000\000\001\000\000\000\000\000\000\000\000"},
-       {297, "with_stmt", 0, 6, states_41,
+       {297, "with_stmt", 0, 5, states_41,
         "\000\000\000\000\000\000\000\000\000\000\000\000\010\000\000\000\000\000\000\000\000"},
-       {298, "with_var", 0, 3, states_42,
-        "\000\000\000\000\000\000\000\000\000\000\001\000\000\000\000\000\000\000\000\000\000"},
+       {298, "with_item", 0, 4, states_42,
+        "\000\040\040\200\000\000\000\000\000\040\000\000\000\040\004\000\000\103\050\037\000"},
        {299, "except_clause", 0, 5, states_43,
         "\000\000\000\000\000\000\000\000\000\000\000\000\100\000\000\000\000\000\000\000\000"},
        {300, "suite", 0, 5, states_44,