]> granicus.if.org Git - postgresql/commitdiff
Revise attribute handling code on partition creation
authorAlvaro Herrera <alvherre@alvh.no-ip.org>
Thu, 8 Nov 2018 19:22:09 +0000 (16:22 -0300)
committerAlvaro Herrera <alvherre@alvh.no-ip.org>
Thu, 8 Nov 2018 19:22:09 +0000 (16:22 -0300)
The original code to propagate NOT NULL and default expressions
specified when creating a partition was mostly copy-pasted from
typed-tables creation, but not being a great match it contained some
duplicity, inefficiency and bugs.

This commit fixes the bug that NOT NULL constraints declared in the
parent table would not be honored in the partition.  One reported issue
that is not fixed is that a DEFAULT declared in the child is not used
when inserting through the parent.  That would amount to a behavioral
change that's better not back-patched.

This rewrite makes the code simpler:

1. instead of checking for duplicate column names in its own block,
reuse the original one that already did that;

2. instead of concatenating the list of columns from parent and the one
declared in the partition and scanning the result to (incorrectly)
propagate defaults and not-null constraints, just scan the latter
searching the former for a match, and merging sensibly.  This works
because we know the list in the parent is already correct and there can
only be one parent.

This rewrite makes ColumnDef->is_from_parent unused, so it's removed
on branch master; on released branches, it's kept as an unused field in
order not to cause ABI incompatibilities.

This commit also adds a test case for creating partitions with
collations mismatching that on the parent table, something that is
closely related to the code being patched.  No code change is introduced
though, since that'd be a behavior change that could break some (broken)
working applications.

Amit Langote wrote a less invasive fix for the original
NOT NULL/defaults bug, but while I kept the tests he added, I ended up
not using his original code.  Ashutosh Bapat reviewed Amit's fix.  Amit
reviewed mine.

Author: Álvaro Herrera, Amit Langote
Reviewed-by: Ashutosh Bapat, Amit Langote
Reported-by: Jürgen Strobel (bug #15212)
Discussion: https://postgr.es/m/152746742177.1291.9847032632907407358@wrigleys.postgresql.org

src/backend/commands/sequence.c
src/backend/commands/tablecmds.c
src/backend/nodes/equalfuncs.c
src/backend/nodes/makefuncs.c
src/backend/parser/gram.y
src/backend/parser/parse_utilcmd.c
src/include/nodes/parsenodes.h
src/test/regress/expected/create_table.out
src/test/regress/sql/create_table.sql

index 89122d4ad7560a72e2142c893bdbe5c4df699bd8..6d89925b2372799fa8da86e6734f641147767d22 100644 (file)
@@ -172,7 +172,6 @@ DefineSequence(ParseState *pstate, CreateSeqStmt *seq)
                coldef->is_local = true;
                coldef->is_not_null = true;
                coldef->is_from_type = false;
-               coldef->is_from_parent = false;
                coldef->storage = 0;
                coldef->raw_default = NULL;
                coldef->cooked_default = NULL;
index c5869c6833dcf1a812ae646b777c5a259647f39b..cc8d3af86a16991e97e46c237a1e55b9ecfbf40b 100644 (file)
@@ -1862,17 +1862,6 @@ MergeAttributes(List *schema, List *supers, char relpersistence,
                                 errmsg("tables can have at most %d columns",
                                                MaxHeapAttributeNumber)));
 
-       /*
-        * In case of a partition, there are no new column definitions, only dummy
-        * ColumnDefs created for column constraints.  We merge them with the
-        * constraints inherited from the parent.
-        */
-       if (is_partition)
-       {
-               saved_schema = schema;
-               schema = NIL;
-       }
-
        /*
         * Check for duplicate names in the explicit list of attributes.
         *
@@ -1886,17 +1875,19 @@ MergeAttributes(List *schema, List *supers, char relpersistence,
                ListCell   *rest = lnext(entry);
                ListCell   *prev = entry;
 
-               if (coldef->typeName == NULL)
-
+               if (!is_partition && coldef->typeName == NULL)
+               {
                        /*
                         * Typed table column option that does not belong to a column from
                         * the type.  This works because the columns from the type come
-                        * first in the list.
+                        * first in the list.  (We omit this check for partition column
+                        * lists; those are processed separately below.)
                         */
                        ereport(ERROR,
                                        (errcode(ERRCODE_UNDEFINED_COLUMN),
                                         errmsg("column \"%s\" does not exist",
                                                        coldef->colname)));
+               }
 
                while (rest != NULL)
                {
@@ -1929,6 +1920,17 @@ MergeAttributes(List *schema, List *supers, char relpersistence,
                }
        }
 
+       /*
+        * In case of a partition, there are no new column definitions, only dummy
+        * ColumnDefs created for column constraints.  Set them aside for now and
+        * process them at the end.
+        */
+       if (is_partition)
+       {
+               saved_schema = schema;
+               schema = NIL;
+       }
+
        /*
         * Scan the parents left-to-right, and merge their attributes to form a
         * list of inherited attributes (inhSchema).  Also check to see if we need
@@ -2145,7 +2147,6 @@ MergeAttributes(List *schema, List *supers, char relpersistence,
                                def->is_local = false;
                                def->is_not_null = attribute->attnotnull;
                                def->is_from_type = false;
-                               def->is_from_parent = true;
                                def->storage = attribute->attstorage;
                                def->raw_default = NULL;
                                def->cooked_default = NULL;
@@ -2398,59 +2399,51 @@ MergeAttributes(List *schema, List *supers, char relpersistence,
        /*
         * Now that we have the column definition list for a partition, we can
         * check whether the columns referenced in the column constraint specs
-        * actually exist.  Also, we merge the constraints into the corresponding
-        * column definitions.
+        * actually exist.  Also, we merge NOT NULL and defaults into each
+        * corresponding column definition.
         */
-       if (is_partition && list_length(saved_schema) > 0)
+       if (is_partition)
        {
-               schema = list_concat(schema, saved_schema);
-
-               foreach(entry, schema)
+               foreach(entry, saved_schema)
                {
-                       ColumnDef  *coldef = lfirst(entry);
-                       ListCell   *rest = lnext(entry);
-                       ListCell   *prev = entry;
+                       ColumnDef  *restdef = lfirst(entry);
+                       bool            found = false;
+                       ListCell   *l;
 
-                       /*
-                        * Partition column option that does not belong to a column from
-                        * the parent.  This works because the columns from the parent
-                        * come first in the list (see above).
-                        */
-                       if (coldef->typeName == NULL)
-                               ereport(ERROR,
-                                               (errcode(ERRCODE_UNDEFINED_COLUMN),
-                                                errmsg("column \"%s\" does not exist",
-                                                               coldef->colname)));
-                       while (rest != NULL)
+                       foreach(l, schema)
                        {
-                               ColumnDef  *restdef = lfirst(rest);
-                               ListCell   *next = lnext(rest); /* need to save it in case we
-                                                                                                * delete it */
+                               ColumnDef  *coldef = lfirst(l);
 
                                if (strcmp(coldef->colname, restdef->colname) == 0)
                                {
+                                       found = true;
+                                       coldef->is_not_null |= restdef->is_not_null;
+
                                        /*
-                                        * merge the column options into the column from the
-                                        * parent
+                                        * Override the parent's default value for this column
+                                        * (coldef->cooked_default) with the partition's local
+                                        * definition (restdef->raw_default), if there's one. It
+                                        * should be physically impossible to get a cooked default
+                                        * in the local definition or a raw default in the
+                                        * inherited definition, but make sure they're nulls, for
+                                        * future-proofing.
                                         */
-                                       if (coldef->is_from_parent)
+                                       Assert(restdef->cooked_default == NULL);
+                                       Assert(coldef->raw_default == NULL);
+                                       if (restdef->raw_default)
                                        {
-                                               coldef->is_not_null = restdef->is_not_null;
                                                coldef->raw_default = restdef->raw_default;
-                                               coldef->cooked_default = restdef->cooked_default;
-                                               coldef->constraints = restdef->constraints;
-                                               coldef->is_from_parent = false;
-                                               list_delete_cell(schema, rest, prev);
+                                               coldef->cooked_default = NULL;
                                        }
-                                       else
-                                               ereport(ERROR,
-                                                               (errcode(ERRCODE_DUPLICATE_COLUMN),
-                                                                errmsg("column \"%s\" specified more than once",
-                                                                               coldef->colname)));
                                }
-                               prev = rest;
-                               rest = next;
                        }
+
+                       /* complain for constraints on columns not in parent */
+                       if (!found)
+                               ereport(ERROR,
+                                               (errcode(ERRCODE_UNDEFINED_COLUMN),
+                                                errmsg("column \"%s\" does not exist",
+                                                               restdef->colname)));
                }
        }
 
index 6a971d0141a14dc620189afd4a2c2def62682e8b..2435b26f52f73180ea0be0d3a2d0fcf13fba4d5d 100644 (file)
@@ -2553,7 +2553,6 @@ _equalColumnDef(const ColumnDef *a, const ColumnDef *b)
        COMPARE_SCALAR_FIELD(is_local);
        COMPARE_SCALAR_FIELD(is_not_null);
        COMPARE_SCALAR_FIELD(is_from_type);
-       COMPARE_SCALAR_FIELD(is_from_parent);
        COMPARE_SCALAR_FIELD(storage);
        COMPARE_NODE_FIELD(raw_default);
        COMPARE_NODE_FIELD(cooked_default);
index 1bd2599c2c58197edf30403a9b3979cb8b034d58..4a2e669a864df1856021967c9b0b571cd5618e27 100644 (file)
@@ -496,7 +496,6 @@ makeColumnDef(const char *colname, Oid typeOid, int32 typmod, Oid collOid)
        n->is_local = true;
        n->is_not_null = false;
        n->is_from_type = false;
-       n->is_from_parent = false;
        n->storage = 0;
        n->raw_default = NULL;
        n->cooked_default = NULL;
index 02b500e5a0f14f06a42837c3e6f11394269cf173..689eada51e2b092de7a10ed0979dea00b312ce3c 100644 (file)
@@ -3389,7 +3389,6 @@ columnDef:        ColId Typename create_generic_options ColQualList
                                        n->is_local = true;
                                        n->is_not_null = false;
                                        n->is_from_type = false;
-                                       n->is_from_parent = false;
                                        n->storage = 0;
                                        n->raw_default = NULL;
                                        n->cooked_default = NULL;
@@ -3411,7 +3410,6 @@ columnOptions:    ColId ColQualList
                                        n->is_local = true;
                                        n->is_not_null = false;
                                        n->is_from_type = false;
-                                       n->is_from_parent = false;
                                        n->storage = 0;
                                        n->raw_default = NULL;
                                        n->cooked_default = NULL;
@@ -3430,7 +3428,6 @@ columnOptions:    ColId ColQualList
                                        n->is_local = true;
                                        n->is_not_null = false;
                                        n->is_from_type = false;
-                                       n->is_from_parent = false;
                                        n->storage = 0;
                                        n->raw_default = NULL;
                                        n->cooked_default = NULL;
@@ -12274,7 +12271,6 @@ TableFuncElement:       ColId Typename opt_collate_clause
                                        n->is_local = true;
                                        n->is_not_null = false;
                                        n->is_from_type = false;
-                                       n->is_from_parent = false;
                                        n->storage = 0;
                                        n->raw_default = NULL;
                                        n->cooked_default = NULL;
index ff879f089662c5afffab2173e204de14165c4fcd..5d2329ddc26c8f61114d203398c5f0fea592a4be 100644 (file)
@@ -988,7 +988,6 @@ transformTableLikeClause(CreateStmtContext *cxt, TableLikeClause *table_like_cla
                def->is_local = true;
                def->is_not_null = attribute->attnotnull;
                def->is_from_type = false;
-               def->is_from_parent = false;
                def->storage = 0;
                def->raw_default = NULL;
                def->cooked_default = NULL;
@@ -1265,7 +1264,6 @@ transformOfType(CreateStmtContext *cxt, TypeName *ofTypename)
                n->is_local = true;
                n->is_not_null = false;
                n->is_from_type = true;
-               n->is_from_parent = false;
                n->storage = 0;
                n->raw_default = NULL;
                n->cooked_default = NULL;
index a49b0131cfabdad043a99966d1082bff9758820a..4a91d7fb28232df4f235613b20d3b4ab18f72f29 100644 (file)
@@ -650,7 +650,7 @@ typedef struct ColumnDef
        bool            is_local;               /* column has local (non-inherited) def'n */
        bool            is_not_null;    /* NOT NULL constraint specified? */
        bool            is_from_type;   /* column definition came from table type */
-       bool            is_from_parent; /* column def came from partition parent */
+       bool            is_from_parent; /* XXX unused */
        char            storage;                /* attstorage setting, or 0 for default */
        Node       *raw_default;        /* default value (untransformed parse tree) */
        Node       *cooked_default; /* default value (transformed expr tree) */
index 7689ede0967e343aa1ec2adcace4750918c44e70..e156e800c2274b30d2b4ef580b0ba0b3a1b5ecea 100644 (file)
@@ -722,6 +722,32 @@ ERROR:  column "c" named in partition key does not exist
 CREATE TABLE part_c PARTITION OF parted (b WITH OPTIONS NOT NULL DEFAULT 0) FOR VALUES IN ('c') PARTITION BY RANGE ((b));
 -- create a level-2 partition
 CREATE TABLE part_c_1_10 PARTITION OF part_c FOR VALUES FROM (1) TO (10);
+-- check that NOT NULL and default value are inherited correctly
+create table parted_notnull_inh_test (a int default 1, b int not null default 0) partition by list (a);
+create table parted_notnull_inh_test1 partition of parted_notnull_inh_test (a not null, b default 1) for values in (1);
+insert into parted_notnull_inh_test (b) values (null);
+ERROR:  null value in column "b" violates not-null constraint
+DETAIL:  Failing row contains (1, null).
+-- note that while b's default is overriden, a's default is preserved
+\d parted_notnull_inh_test1
+      Table "public.parted_notnull_inh_test1"
+ Column |  Type   | Collation | Nullable | Default 
+--------+---------+-----------+----------+---------
+ a      | integer |           | not null | 1
+ b      | integer |           | not null | 1
+Partition of: parted_notnull_inh_test FOR VALUES IN (1)
+
+drop table parted_notnull_inh_test;
+-- check for a conflicting COLLATE clause
+create table parted_collate_must_match (a text collate "C", b text collate "C")
+  partition by range (a);
+-- on the partition key
+create table parted_collate_must_match1 partition of parted_collate_must_match
+  (a collate "POSIX") for values from ('a') to ('m');
+-- on another column
+create table parted_collate_must_match2 partition of parted_collate_must_match
+  (b collate "POSIX") for values from ('m') to ('z');
+drop table parted_collate_must_match;
 -- Partition bound in describe output
 \d+ part_b
                                    Table "public.part_b"
index da301c8b68b63208d9ebb044980352b78a8f7645..2af4455ecf8b3cc2f03304d8831cf0f54c892de0 100644 (file)
@@ -654,6 +654,25 @@ CREATE TABLE part_c PARTITION OF parted (b WITH OPTIONS NOT NULL DEFAULT 0) FOR
 -- create a level-2 partition
 CREATE TABLE part_c_1_10 PARTITION OF part_c FOR VALUES FROM (1) TO (10);
 
+-- check that NOT NULL and default value are inherited correctly
+create table parted_notnull_inh_test (a int default 1, b int not null default 0) partition by list (a);
+create table parted_notnull_inh_test1 partition of parted_notnull_inh_test (a not null, b default 1) for values in (1);
+insert into parted_notnull_inh_test (b) values (null);
+-- note that while b's default is overriden, a's default is preserved
+\d parted_notnull_inh_test1
+drop table parted_notnull_inh_test;
+
+-- check for a conflicting COLLATE clause
+create table parted_collate_must_match (a text collate "C", b text collate "C")
+  partition by range (a);
+-- on the partition key
+create table parted_collate_must_match1 partition of parted_collate_must_match
+  (a collate "POSIX") for values from ('a') to ('m');
+-- on another column
+create table parted_collate_must_match2 partition of parted_collate_must_match
+  (b collate "POSIX") for values from ('m') to ('z');
+drop table parted_collate_must_match;
+
 -- Partition bound in describe output
 \d+ part_b