Fix problems with auto-held portals.
authorTom Lane <tgl@sss.pgh.pa.us>
Fri, 19 Apr 2019 15:20:37 +0000 (11:20 -0400)
committerTom Lane <tgl@sss.pgh.pa.us>
Fri, 19 Apr 2019 15:20:37 +0000 (11:20 -0400)
HoldPinnedPortals() did things in the wrong order: it must not mark
a portal autoHeld until it's been successfully held.  Otherwise,
a failure while persisting the portal results in a server crash
because we think the portal is in a good state when it's not.

Also add a check that portal->status is READY before attempting to
hold a pinned portal.  We have such a check before the only other
use of HoldPortal(), so it seems unwise not to check it here.

Lastly, rethink the responsibility for where to call HoldPinnedPortals.
The comment for it imagined that it was optional for any individual PL
to call it or not, but that cannot be the case: if some outer level of
procedure has a pinned portal, failing to persist it when an inner
procedure commits is going to be trouble.  Let's have SPI do it instead
of the individual PLs.  That's not a complete solution, since in theory
a PL might not be using SPI to perform commit/rollback, but such a PL
is going to have to be aware of lots of related requirements anyway.
(This change doesn't cause an API break for any external PLs that might
be calling HoldPinnedPortals per the old regime, because calling it
twice during a commit or rollback sequence won't hurt.)

Per bug #15703 from Julian Schauder.  Back-patch to v11 where this code
came in.

Discussion: https://postgr.es/m/15703-c12c5bc0ea34ba26@postgresql.org

src/backend/executor/spi.c
src/backend/utils/mmgr/portalmem.c
src/pl/plperl/plperl.c
src/pl/plpgsql/src/expected/plpgsql_transaction.out
src/pl/plpgsql/src/pl_exec.c
src/pl/plpgsql/src/sql/plpgsql_transaction.sql
src/pl/plpython/plpy_plpymodule.c

index 6e262d1a3ad926dcd3f7d2116e044f052f013135..22d0fe5ac4fa14ee75bfac7bca7b86e5a27100c2 100644 (file)
@@ -241,6 +241,14 @@ _SPI_commit(bool chain)
                                (errcode(ERRCODE_INVALID_TRANSACTION_TERMINATION),
                                 errmsg("cannot commit while a subtransaction is active")));
 
+       /*
+        * Hold any pinned portals that any PLs might be using.  We have to do
+        * this before changing transaction state, since this will run
+        * user-defined code that might throw an error.
+        */
+       HoldPinnedPortals();
+
+       /* Start the actual commit */
        _SPI_current->internal_xact = true;
 
        /*
@@ -294,6 +302,15 @@ _SPI_rollback(bool chain)
                                (errcode(ERRCODE_INVALID_TRANSACTION_TERMINATION),
                                 errmsg("cannot roll back while a subtransaction is active")));
 
+       /*
+        * Hold any pinned portals that any PLs might be using.  We have to do
+        * this before changing transaction state, since this will run
+        * user-defined code that might throw an error, and in any case couldn't
+        * be run in an already-aborted transaction.
+        */
+       HoldPinnedPortals();
+
+       /* Start the actual rollback */
        _SPI_current->internal_xact = true;
 
        if (chain)
index a92b4541bd0b90788b6389e365be3068cfa50f78..334e35bb6a3157906e1f96eed54fbefed16da5e6 100644 (file)
@@ -1226,13 +1226,19 @@ ThereAreNoReadyPortals(void)
 /*
  * Hold all pinned portals.
  *
- * A procedural language implementation that uses pinned portals for its
- * internally generated cursors can call this in its COMMIT command to convert
- * those cursors to held cursors, so that they survive the transaction end.
- * We mark those portals as "auto-held" so that exception exit knows to clean
- * them up.  (In normal, non-exception code paths, the PL needs to clean those
- * portals itself, since transaction end won't do it anymore, but that should
- * be normal practice anyway.)
+ * When initiating a COMMIT or ROLLBACK inside a procedure, this must be
+ * called to protect internally-generated cursors from being dropped during
+ * the transaction shutdown.  Currently, SPI calls this automatically; PLs
+ * that initiate COMMIT or ROLLBACK some other way are on the hook to do it
+ * themselves.  (Note that we couldn't do this in, say, AtAbort_Portals
+ * because we need to run user-defined code while persisting a portal.
+ * It's too late to do that once transaction abort has started.)
+ *
+ * We protect such portals by converting them to held cursors.  We mark them
+ * as "auto-held" so that exception exit knows to clean them up.  (In normal,
+ * non-exception code paths, the PL needs to clean such portals itself, since
+ * transaction end won't do it anymore; but that should be normal practice
+ * anyway.)
  */
 void
 HoldPinnedPortals(void)
@@ -1262,8 +1268,12 @@ HoldPinnedPortals(void)
                                                (errcode(ERRCODE_INVALID_TRANSACTION_TERMINATION),
                                                 errmsg("cannot perform transaction commands inside a cursor loop that is not read-only")));
 
-                       portal->autoHeld = true;
+                       /* Verify it's in a suitable state to be held */
+                       if (portal->status != PORTAL_READY)
+                               elog(ERROR, "pinned portal is not ready to be auto-held");
+
                        HoldPortal(portal);
+                       portal->autoHeld = true;
                }
        }
 }
index 31ba2f262f7ed0820919d7a9802a99df09c1ee35..bda9517971fd0201c390060382897aa60d04646e 100644 (file)
@@ -3988,8 +3988,6 @@ plperl_spi_commit(void)
 
        PG_TRY();
        {
-               HoldPinnedPortals();
-
                SPI_commit();
                SPI_start_transaction();
        }
@@ -4015,8 +4013,6 @@ plperl_spi_rollback(void)
 
        PG_TRY();
        {
-               HoldPinnedPortals();
-
                SPI_rollback();
                SPI_start_transaction();
        }
index ba0745326af0354c7af64c68a0a3a3e9a8360d6a..5f576231c3cd3e807249a3110df2a82f962795b5 100644 (file)
@@ -401,6 +401,50 @@ SELECT * FROM test3;
  1
 (1 row)
 
+-- failure while trying to persist a cursor across a transaction (bug #15703)
+CREATE PROCEDURE cursor_fail_during_commit()
+ LANGUAGE plpgsql
+AS $$
+  DECLARE id int;
+  BEGIN
+    FOR id IN SELECT 1/(x-1000) FROM generate_series(1,1000) x LOOP
+        INSERT INTO test1 VALUES(id);
+        COMMIT;
+    END LOOP;
+  END;
+$$;
+TRUNCATE test1;
+CALL cursor_fail_during_commit();
+ERROR:  division by zero
+CONTEXT:  PL/pgSQL function cursor_fail_during_commit() line 6 at COMMIT
+-- note that error occurs during first COMMIT, hence nothing is in test1
+SELECT count(*) FROM test1;
+ count 
+-------
+     0
+(1 row)
+
+CREATE PROCEDURE cursor_fail_during_rollback()
+ LANGUAGE plpgsql
+AS $$
+  DECLARE id int;
+  BEGIN
+    FOR id IN SELECT 1/(x-1000) FROM generate_series(1,1000) x LOOP
+        INSERT INTO test1 VALUES(id);
+        ROLLBACK;
+    END LOOP;
+  END;
+$$;
+TRUNCATE test1;
+CALL cursor_fail_during_rollback();
+ERROR:  division by zero
+CONTEXT:  PL/pgSQL function cursor_fail_during_rollback() line 6 at ROLLBACK
+SELECT count(*) FROM test1;
+ count 
+-------
+     0
+(1 row)
+
 -- SET TRANSACTION
 DO LANGUAGE plpgsql $$
 BEGIN
index f0005009b2c31887751a8c07104ad47d097378ba..23aed02dbd72ca3c9e6775febbd170bc5df4f9aa 100644 (file)
@@ -4791,8 +4791,6 @@ exec_stmt_close(PLpgSQL_execstate *estate, PLpgSQL_stmt_close *stmt)
 static int
 exec_stmt_commit(PLpgSQL_execstate *estate, PLpgSQL_stmt_commit *stmt)
 {
-       HoldPinnedPortals();
-
        if (stmt->chain)
                SPI_commit_and_chain();
        else
@@ -4815,8 +4813,6 @@ exec_stmt_commit(PLpgSQL_execstate *estate, PLpgSQL_stmt_commit *stmt)
 static int
 exec_stmt_rollback(PLpgSQL_execstate *estate, PLpgSQL_stmt_rollback *stmt)
 {
-       HoldPinnedPortals();
-
        if (stmt->chain)
                SPI_rollback_and_chain();
        else
index 0c137dd31dd69d01f1c9fad20d913ea128e01676..7575655c1ae697261ba1164d017aa4dce5f88803 100644 (file)
@@ -329,6 +329,44 @@ $$;
 
 SELECT * FROM test3;
 
+-- failure while trying to persist a cursor across a transaction (bug #15703)
+CREATE PROCEDURE cursor_fail_during_commit()
+ LANGUAGE plpgsql
+AS $$
+  DECLARE id int;
+  BEGIN
+    FOR id IN SELECT 1/(x-1000) FROM generate_series(1,1000) x LOOP
+        INSERT INTO test1 VALUES(id);
+        COMMIT;
+    END LOOP;
+  END;
+$$;
+
+TRUNCATE test1;
+
+CALL cursor_fail_during_commit();
+
+-- note that error occurs during first COMMIT, hence nothing is in test1
+SELECT count(*) FROM test1;
+
+CREATE PROCEDURE cursor_fail_during_rollback()
+ LANGUAGE plpgsql
+AS $$
+  DECLARE id int;
+  BEGIN
+    FOR id IN SELECT 1/(x-1000) FROM generate_series(1,1000) x LOOP
+        INSERT INTO test1 VALUES(id);
+        ROLLBACK;
+    END LOOP;
+  END;
+$$;
+
+TRUNCATE test1;
+
+CALL cursor_fail_during_rollback();
+
+SELECT count(*) FROM test1;
+
 
 -- SET TRANSACTION
 DO LANGUAGE plpgsql $$
index 23e49e4b754a7c275c74b9908811e02a611023dd..f40f0846bbc8616de0dd4390cfe6355571bc5dbf 100644 (file)
@@ -588,8 +588,6 @@ PLy_commit(PyObject *self, PyObject *args)
 {
        PLyExecutionContext *exec_ctx = PLy_current_execution_context();
 
-       HoldPinnedPortals();
-
        SPI_commit();
        SPI_start_transaction();
 
@@ -604,8 +602,6 @@ PLy_rollback(PyObject *self, PyObject *args)
 {
        PLyExecutionContext *exec_ctx = PLy_current_execution_context();
 
-       HoldPinnedPortals();
-
        SPI_rollback();
        SPI_start_transaction();