]> granicus.if.org Git - postgresql/log
postgresql
13 years agoImprove relation width estimation for subqueries.
Tom Lane [Fri, 19 Nov 2010 22:31:50 +0000 (17:31 -0500)]
Improve relation width estimation for subqueries.

As per the ancient comment for set_rel_width, it really wasn't much good
for relations that aren't plain tables: it would never find any stats and
would always fall back on datatype-based estimates, which are often pretty
silly.  Fix that by copying up width estimates from the subquery planning
process.

At some point we might want to do this for CTEs too, but that would be a
significantly more invasive patch because the sub-PlannerInfo is no longer
accessible by the time it's needed.  I refrained from doing anything about
that, partly for fear of breaking the unmerged CTE-related patches.

In passing, also generate less bogus width estimates for whole-row Vars.

Per a gripe from Jon Nelson.

13 years agoImprove plpgsql's error reporting for no-such-column cases.
Tom Lane [Thu, 18 Nov 2010 22:06:57 +0000 (17:06 -0500)]
Improve plpgsql's error reporting for no-such-column cases.

Given a column reference foo.bar, where there is a composite plpgsql
variable foo but it doesn't contain a column bar, the pre-9.0 coding would
immediately throw a "record foo has no field bar" error.  In 9.0 the parser
hook instead falls through to let the core parser see if it can resolve the
reference.  If not, you get a complaint about "missing FROM-clause entry
for table foo", which while in some sense correct isn't terribly helpful.
Complicate things a bit so that we can throw the old error message if
neither the core parser nor the hook are able to resolve the column
reference, while not changing the behavior in any other case.
Per bug #5757 from Andrey Galkin.

13 years agoAdd pg_describe_object function
Alvaro Herrera [Thu, 18 Nov 2010 19:33:48 +0000 (16:33 -0300)]
Add pg_describe_object function

This function is useful to obtain textual descriptions of objects as
stored in pg_depend.

13 years agoDept of second thoughts: don't try to push LIMIT below a SRF.
Tom Lane [Thu, 18 Nov 2010 16:53:49 +0000 (11:53 -0500)]
Dept of second thoughts: don't try to push LIMIT below a SRF.

If we have Limit->Result->Sort, the Result might be projecting a tlist
that contains a set-returning function.  If so, it's possible for the
SRF to sometimes return zero rows, which means we could need to fetch
more than N rows from the Sort in order to satisfy LIMIT N.
So top-N sorting cannot be used in this scenario.

13 years agoMinor corrections to dummy_seclabel documentation.
Robert Haas [Thu, 18 Nov 2010 15:28:00 +0000 (10:28 -0500)]
Minor corrections to dummy_seclabel documentation.

Problems noted by Thom Brown.

13 years agoRemove unused parameter. Patch by Shigeru Hanada.
Heikki Linnakangas [Thu, 18 Nov 2010 08:04:02 +0000 (10:04 +0200)]
Remove unused parameter. Patch by Shigeru Hanada.

13 years agoFurther fallout from the MergeAppend patch.
Tom Lane [Thu, 18 Nov 2010 05:30:10 +0000 (00:30 -0500)]
Further fallout from the MergeAppend patch.

Fix things so that top-N sorting can be used in child Sort nodes of a
MergeAppend node, when there is a LIMIT and no intervening joins or
grouping.  Actually doing this on the executor side isn't too bad,
but it's a bit messier to get the planner to cost it properly.
Per gripe from Robert Haas.

In passing, fix an oversight in the original top-N-sorting patch:
query_planner should not assume that a LIMIT can be used to make an
explicit sort cheaper when there will be grouping or aggregation in
between.  Possibly this should be back-patched, but I'm not sure the
mistake is serious enough to be a real problem in practice.

13 years agoDocument the dummy_seclabel contrib module.
Robert Haas [Thu, 18 Nov 2010 01:46:19 +0000 (20:46 -0500)]
Document the dummy_seclabel contrib module.

KaiGai Kohei, with editing and markup fixes by me.

13 years agoMake TRUNCATE ... RESTART IDENTITY restart sequences transactionally.
Tom Lane [Wed, 17 Nov 2010 21:42:18 +0000 (16:42 -0500)]
Make TRUNCATE ... RESTART IDENTITY restart sequences transactionally.

In the previous coding, we simply issued ALTER SEQUENCE RESTART commands,
which do not roll back on error.  This meant that an error between
truncating and committing left the sequences out of sync with the table
contents, with potentially bad consequences as were noted in a Warning on
the TRUNCATE man page.

To fix, create a new storage file (relfilenode) for a sequence that is to
be reset due to RESTART IDENTITY.  If the transaction aborts, we'll
automatically revert to the old storage file.  This acts just like a
rewriting ALTER TABLE operation.  A penalty is that we have to take
exclusive lock on the sequence, but since we've already got exclusive lock
on its owning table, that seems unlikely to be much of a problem.

The interaction of this with usual nontransactional behaviors of sequence
operations is a bit weird, but it's hard to see what would be completely
consistent.  Our choice is to discard cached-but-unissued sequence values
both when the RESTART is executed, and at rollback if any; but to not touch
the currval() state either time.

In passing, move the sequence reset operations to happen before not after
any AFTER TRUNCATE triggers are fired.  The previous ordering was not
logically sensible, but was forced by the need to minimize inconsistency
if the triggers caused an error.  Transactional rollback is a much better
solution to that.

Patch by Steve Singer, rather heavily adjusted by me.

13 years agoAdditional fixes for parallel make
Peter Eisentraut [Wed, 17 Nov 2010 06:08:41 +0000 (08:08 +0200)]
Additional fixes for parallel make

Add some additional dependencies to constrain the build order to prevent
parallel make from failing.  In the case of src/Makefile, this is likely to be
too complicated to be worth maintaining, so just add .NOTPARALLEL to get the
old for-loop-like behavior.

More fine-tuning might be necessary for some platforms or configurations.

13 years agoRequire VALUE keyword when extending an enum type. Based on a patch from Alvaro Herrera.
Andrew Dunstan [Wed, 17 Nov 2010 03:18:33 +0000 (22:18 -0500)]
Require VALUE keyword when extending an enum type. Based on a patch from Alvaro Herrera.

13 years agoSend paramHandle to subprocesses as 64-bit on Win64
Magnus Hagander [Tue, 16 Nov 2010 11:40:56 +0000 (12:40 +0100)]
Send paramHandle to subprocesses as 64-bit on Win64

The handle to the shared memory segment containing startup
parameters was sent as 32-bit even on 64-bit systems. Since
HANDLEs appear to be allocated sequentially this shouldn't
be a problem until we reach 2^32 open handles in the postmaster,
but a 64-bit value should be sent across as 64-bit, and not
zero out the top 32 bits.

Noted by Tom Lane.

13 years agoThe GiST scan algorithm uses LSNs to detect concurrent pages splits, but
Heikki Linnakangas [Tue, 16 Nov 2010 09:02:11 +0000 (11:02 +0200)]
The GiST scan algorithm uses LSNs to detect concurrent pages splits, but
temporary indexes are not WAL-logged. We used a constant LSN for temporary
indexes, on the assumption that we don't need to worry about concurrent page
splits in temporary indexes because they're only visible to the current
session. But that assumption is wrong, it's possible to insert rows and
split pages in the same session, while a scan is in progress. For example,
by opening a cursor and fetching some rows, and INSERTing new rows before
fetching some more.

Fix by generating fake increasing LSNs, used in place of real LSNs in
temporary GiST indexes.

13 years agoFix aboriginal mistake in plpython's set-returning-function support.
Tom Lane [Mon, 15 Nov 2010 19:26:55 +0000 (14:26 -0500)]
Fix aboriginal mistake in plpython's set-returning-function support.

We must stay in the function's SPI context until done calling the iterator
that returns the set result.  Otherwise, any attempt to invoke SPI features
in the python code called by the iterator will malfunction.  Diagnosis and
patch by Jan Urbanski, per bug report from Jean-Baptiste Quenot.

Back-patch to 8.2; there was no support for SRFs in previous versions of
plpython.

13 years agoAdd new buffers_backend_fsync field to pg_stat_bgwriter.
Robert Haas [Mon, 15 Nov 2010 17:42:59 +0000 (12:42 -0500)]
Add new buffers_backend_fsync field to pg_stat_bgwriter.

This new field counts the number of times that a backend which writes a
buffer out to the OS must also fsync() it.  This happens when the
bgwriter fsync request queue is full, and is generally detrimental to
performance, so it's good to know when it's happening.  Along the way,
log a new message at level DEBUG1 whenever we fail to hand off an fsync,
so that the problem can also be seen in examination of log files
(if the logging level is cranked up high enough).

Greg Smith, with minor tweaks by me.

13 years agoRemove outdated comments from the regression test files.
Robert Haas [Mon, 15 Nov 2010 15:55:43 +0000 (10:55 -0500)]
Remove outdated comments from the regression test files.

Since 2004, int2 and int4 operators do detect overflow; this was fixed by
commit 4171bb869f234281a13bb862d3b1e577bf336242.

Extracted from a larger patch by Andres Freund.

13 years agoFix copy-and-pasteo a little more completely.
Robert Haas [Mon, 15 Nov 2010 15:10:58 +0000 (10:10 -0500)]
Fix copy-and-pasteo a little more completely.

copydir.c is no longer in src/port

13 years agoFix copy-and-pasteo.
Alvaro Herrera [Mon, 15 Nov 2010 14:52:56 +0000 (11:52 -0300)]
Fix copy-and-pasteo.

13 years agoAvoid spurious Hot Standby conflicts from btree delete records.
Simon Riggs [Mon, 15 Nov 2010 09:30:13 +0000 (09:30 +0000)]
Avoid spurious Hot Standby conflicts from btree delete records.
Similar conflicts were already avoided for related record types.
Massive over-caution resulted in a usability bug. Clear theoretical
basis for doing this is now confirmed by me.
Request to remove from Heikki (twice), over-caution by me.

13 years agoAdjust comments about what's needed to avoid make 3.80 bug.
Tom Lane [Mon, 15 Nov 2010 06:00:48 +0000 (01:00 -0500)]
Adjust comments about what's needed to avoid make 3.80 bug.

... based on further tracing through that code.

13 years agoCorrect poor grammar in comment.
Robert Haas [Mon, 15 Nov 2010 04:10:45 +0000 (23:10 -0500)]
Correct poor grammar in comment.

13 years agoFix bug in cube picksplit algorithm.
Robert Haas [Mon, 15 Nov 2010 02:27:34 +0000 (21:27 -0500)]
Fix bug in cube picksplit algorithm.

Alexander Korotkov

13 years agoCleanup various comparisons with the constant "true".
Robert Haas [Mon, 15 Nov 2010 02:03:48 +0000 (21:03 -0500)]
Cleanup various comparisons with the constant "true".

Itagaki Takahiro, with slight modifications.

13 years agoFix canAcceptConnections() bugs introduced by replication-related patches.
Tom Lane [Sun, 14 Nov 2010 20:57:37 +0000 (15:57 -0500)]
Fix canAcceptConnections() bugs introduced by replication-related patches.

We must not return any "okay to proceed" result code without having checked
for too many children, else we might fail later on when trying to add the
new child to one of the per-child state arrays.  It's not clear whether
this oversight explains Stefan Kaltenbrunner's recent report, but it could
certainly produce a similar symptom.

Back-patch to 8.4; the logic was not broken before that.

13 years agoWork around make 3.80 bug with long expansions of $(eval).
Tom Lane [Sun, 14 Nov 2010 17:50:06 +0000 (12:50 -0500)]
Work around make 3.80 bug with long expansions of $(eval).

3.80 breaks if the expansion of $(eval) is long enough to require expansion
of its internal variable_buffer.  For the purposes of $(recurse) that means
it'll work so long as no single evaluation of _create_recursive_target
produces more than 195 bytes.  We can manage that by looping over
subdirectories outside the call instead of complicating the generated rule.
This coding is simpler and more readable anyway.

Or at least, this works for me.  We'll see if the buildfarm likes it.

13 years agoAdd missing outfuncs.c support for struct InhRelation.
Tom Lane [Sat, 13 Nov 2010 05:34:45 +0000 (00:34 -0500)]
Add missing outfuncs.c support for struct InhRelation.

This is needed to support debug_print_parse, per report from Jon Nelson.
Cursory testing via the regression tests suggests we aren't missing
anything else.

13 years agoAttempt to fix MSVC builds broken by parallel make changes.
Andrew Dunstan [Sat, 13 Nov 2010 03:55:15 +0000 (22:55 -0500)]
Attempt to fix MSVC builds broken by parallel make changes.

13 years agoMove copydir() prototype into its own header file.
Robert Haas [Fri, 12 Nov 2010 21:39:53 +0000 (16:39 -0500)]
Move copydir() prototype into its own header file.

Having this in src/include/port.h makes no sense, now that copydir.c lives
in src/backend/strorage rather than src/port.  Along the way, remove an
obsolete comment from contrib/pg_upgrade that makes reference to the old
location.

13 years agoFix old oversight in const-simplification of COALESCE() expressions.
Tom Lane [Fri, 12 Nov 2010 20:14:51 +0000 (15:14 -0500)]
Fix old oversight in const-simplification of COALESCE() expressions.

Once we have found a non-null constant argument, there is no need to
examine additional arguments of the COALESCE.  The previous coding got it
right only if the constant was in the first argument position; otherwise
it tried to simplify following arguments too, leading to unexpected
behavior like this:

regression=# select coalesce(f1, 42, 1/0) from int4_tbl;
ERROR:  division by zero

It's a minor corner case, but a bug is a bug, so back-patch all the way.

13 years agoImproved parallel make support
Peter Eisentraut [Fri, 12 Nov 2010 20:15:16 +0000 (22:15 +0200)]
Improved parallel make support

Replace for loops in makefiles with proper dependencies.  Parallel
make can now span across directories.  Also, make -k and make -q work
properly.

GNU make 3.80 or newer is now required.

13 years agodocs -> documentation
Peter Eisentraut [Fri, 12 Nov 2010 19:25:57 +0000 (21:25 +0200)]
docs -> documentation

13 years agoAdd missing support for removing foreign data wrapper / server privileges
Heikki Linnakangas [Fri, 12 Nov 2010 13:19:14 +0000 (15:19 +0200)]
Add missing support for removing foreign data wrapper / server privileges
belonging to a user at DROP OWNED BY. Foreign data wrappers and servers
don't do anything useful yet, which is why no-one has noticed, but since we
have them, seems prudent to fix this. Per report from Chetan Suttraway.
Backpatch to 9.0, 8.4 has the same problem but this patch didn't apply
there so I'm not going to bother.

13 years agoFix bug introduced by the recent patch to check that the checkpoint redo
Heikki Linnakangas [Thu, 11 Nov 2010 17:21:49 +0000 (19:21 +0200)]
Fix bug introduced by the recent patch to check that the checkpoint redo
location read from backup label file can be found: wasShutdown was set
incorrectly when a backup label file was found.

Jeff Davis, with a little tweaking by me.

13 years agoFix line_construct_pm() for the case of "infinite" (DBL_MAX) slope.
Tom Lane [Wed, 10 Nov 2010 21:51:39 +0000 (16:51 -0500)]
Fix line_construct_pm() for the case of "infinite" (DBL_MAX) slope.

This code was just plain wrong: what you got was not a line through the
given point but a line almost indistinguishable from the Y-axis, although
not truly vertical.  The only caller that tries to use this function with
m == DBL_MAX is dist_ps_internal for the case where the lseg is horizontal;
it would end up producing the distance from the given point to the place
where the lseg's line crosses the Y-axis.  That function is used by other
operators too, so there are several operators that could compute wrong
distances from a line segment to something else.  Per bug #5745 from
jindiax.

Back-patch to all supported branches.

13 years agoMention that pg_upgrade requires compatible 32/64-bit binaries.
Bruce Momjian [Wed, 10 Nov 2010 14:08:30 +0000 (14:08 +0000)]
Mention that pg_upgrade requires compatible 32/64-bit binaries.

14 years agoAdd monitoring function pg_last_xact_replay_timestamp.
Robert Haas [Wed, 10 Nov 2010 03:39:43 +0000 (22:39 -0500)]
Add monitoring function pg_last_xact_replay_timestamp.

Fujii Masao, with a little wordsmithing by me.

14 years agoDon't use __declspec (dllimport) for PGDLLEXPORT to reduce warnings
Itagaki Takahiro [Wed, 10 Nov 2010 03:17:43 +0000 (12:17 +0900)]
Don't use __declspec (dllimport) for PGDLLEXPORT to reduce warnings
by gcc version 4 on mingw and cygwin. We don't use dllexport here
because dllexport and dllwrap don't work well together.

14 years agoMerge docs for CREATE CONSTRAINT TRIGGER and CREATE TRIGGER
Alvaro Herrera [Tue, 9 Nov 2010 19:52:46 +0000 (16:52 -0300)]
Merge docs for CREATE CONSTRAINT TRIGGER and CREATE TRIGGER

14 years agoImprove pg_ctl's man page.
Tom Lane [Tue, 9 Nov 2010 19:05:11 +0000 (14:05 -0500)]
Improve pg_ctl's man page.

Explicitly document that the -o options of pg_ctl init mode are meant
for initdb, not postgres (Euler Taveira de Oliveira).  Assorted other
copy-editing (Tom).

14 years agoRepair memory leakage while ANALYZE-ing complex index expressions.
Tom Lane [Tue, 9 Nov 2010 16:28:18 +0000 (11:28 -0500)]
Repair memory leakage while ANALYZE-ing complex index expressions.

The general design of memory management in Postgres is that intermediate
results computed by an expression are not freed until the end of the tuple
cycle.  For expression indexes, ANALYZE has to re-evaluate each expression
for each of its sample rows, and it wasn't bothering to free intermediate
results until the end of processing of that index.  This could lead to very
substantial leakage if the intermediate results were large, as in a recent
example from Jakub Ouhrabka.  Fix by doing ResetExprContext for each sample
row.  This necessitates adding a datumCopy step to ensure that the final
expression value isn't recycled too.  Some quick testing suggests that this
change adds at worst about 10% to the time needed to analyze a table with
an expression index; which is annoying, but seems a tolerable price to pay
to avoid unexpected out-of-memory problems.

Back-patch to all supported branches.

14 years agoIn rewriteheap.c (used by VACUUM FULL and CLUSTER), calculate the tuple
Heikki Linnakangas [Tue, 9 Nov 2010 15:40:09 +0000 (17:40 +0200)]
In rewriteheap.c (used by VACUUM FULL and CLUSTER), calculate the tuple
length stored in the line pointer the same way it's calculated in the normal
heap_insert() codepath. As noted by Jeff Davis, the length stored by
raw_heap_insert() included padding but the one stored by the normal codepath
did not. While the mismatch seems to be harmless, inconsistency isn't good,
and the normal codepath has received a lot more testing over the years.

Backpatch to 8.3 where the heap rewrite code was introduced.

14 years agoplpython has plpy.Error instead of plpy.ERROR
Alvaro Herrera [Tue, 9 Nov 2010 14:00:56 +0000 (11:00 -0300)]
plpython has plpy.Error instead of plpy.ERROR

Author: Marti Raudsepp <marti@juffo.org>

14 years agoFix error handling in temp-file deletion with log_temp_files active.
Tom Lane [Tue, 9 Nov 2010 03:14:48 +0000 (22:14 -0500)]
Fix error handling in temp-file deletion with log_temp_files active.

The original coding in FileClose() reset the file-is-temp flag before
unlinking the file, so that if control came back through due to an error,
it wouldn't try to unlink the file twice.  This was correct when written,
but when the log_temp_files feature was added, the logging action was put
in between those two steps.  An error occurring during the logging action
--- such as a query cancel --- would result in the unlink not getting done
at all, as in recent report from Michael Glaesemann.

To fix this, make sure that we do both the stat and the unlink before doing
anything that could conceivably CHECK_FOR_INTERRUPTS.  There is a judgment
call here, which is which log message to emit first: if you can see only
one, which should it be?  I chose to log unlink failure at the risk of
losing the log_temp_files log message --- after all, if the unlink does
fail, the temp file is still there for you to see.

Back-patch to all versions that have log_temp_files.  The code was OK
before that.

14 years agoFix permanent memory leak in autovacuum launcher
Alvaro Herrera [Mon, 8 Nov 2010 21:35:42 +0000 (18:35 -0300)]
Fix permanent memory leak in autovacuum launcher

get_database_list was uselessly allocating its output data, along some
created along the way, in a permanent memory context.  This didn't
matter when autovacuum was a single, short-lived process, but now that
the launcher is permanent, it shows up as a permanent leak.

To fix, make get_database list allocate its output data in the caller's
context, which is in charge of freeing it when appropriate; and the
memory leaked by heap_beginscan et al is allocated in a throwaway
transaction context.

14 years agoUse appendrel planning logic for top-level UNION ALL structures.
Tom Lane [Mon, 8 Nov 2010 20:15:02 +0000 (15:15 -0500)]
Use appendrel planning logic for top-level UNION ALL structures.

Formerly, we could convert a UNION ALL structure inside a subquery-in-FROM
into an appendrel, as a side effect of pulling up the subquery into its
parent; but top-level UNION ALL always caused use of plan_set_operations().
That didn't matter too much because you got an Append-based plan either
way.  However, now that the appendrel code can do things with MergeAppend,
it's worthwhile to hack up the top-level case so it also uses appendrels.

This is a bit of a stopgap; but going much further than this will require
a major rewrite of the planner's set-operations support, which I'm not
prepared to undertake now.  For the moment let's grab the low-hanging fruit.

14 years agoPrevent invoking I/O conversion casts via functional/attribute notation.
Tom Lane [Sun, 7 Nov 2010 18:03:19 +0000 (13:03 -0500)]
Prevent invoking I/O conversion casts via functional/attribute notation.

PG 8.4 added a built-in feature for casting pretty much any data type to
string types (text, varchar, etc).  We allowed this to work in any of the
historically-allowed syntaxes: CAST(x AS text), x::text, text(x), or
x.text.  However, multiple complaints have shown that it's too easy to
invoke such casts unintentionally in the latter two styles, particularly
field selection.  To cure the problem with the narrowest possible change
of behavior, disallow use of I/O conversion casts from composite types to
string types via functional/attribute syntax.  The new functionality is
still available via cast syntax.

In passing, document the equivalence of functional and attribute syntax
in a more visible place.

14 years agoImplement an "S" option for psql's \dn command.
Tom Lane [Sun, 7 Nov 2010 01:41:14 +0000 (21:41 -0400)]
Implement an "S" option for psql's \dn command.

\dn without "S" now hides all pg_XXX schemas as well as information_schema.
Thus, in a bare database you'll only see "public".  ("public" is considered
a user schema, not a system schema, mainly because it's droppable.)
Per discussion back in late September.

14 years agoAdd support for detecting register-stack overrun on IA64.
Tom Lane [Sat, 6 Nov 2010 23:36:29 +0000 (19:36 -0400)]
Add support for detecting register-stack overrun on IA64.

Per recent investigation, the register stack can grow faster than the
regular stack depending on compiler and choice of options.  To avoid
crashes we must check both stacks in check_stack_depth().

Since this is poorly-tested code, committing only to HEAD for the
moment ... but we might want to consider back-patching later.

14 years agoMake get_stack_depth_rlimit() handle RLIM_INFINITY more sanely.
Tom Lane [Sat, 6 Nov 2010 20:50:18 +0000 (16:50 -0400)]
Make get_stack_depth_rlimit() handle RLIM_INFINITY more sanely.

Rather than considering this result as meaning "unknown", report LONG_MAX.
This won't change what superusers can set max_stack_depth to, but it will
cause InitializeGUCOptions() to set the built-in default to 2MB not 100kB.
The latter seems like a fairly unreasonable interpretation of "infinity".
Per my investigation of odd buildfarm results as well as an old complaint
from Heikki.

Since this should persuade all the buildfarm animals to use a reasonable
stack depth setting during "make check", revert previous patch that dumbed
down a recursive regression test to only 5 levels.

14 years agoInclude the current value of max_stack_depth in stack depth complaints.
Tom Lane [Thu, 4 Nov 2010 21:15:38 +0000 (17:15 -0400)]
Include the current value of max_stack_depth in stack depth complaints.

I'm mainly interested in finding out what it is on buildfarm machines,
but including the active value in the message seems like good practice
in any case.  Add the info to the HINT, not the ERROR string, so as not
to change the regression tests' expected output.

14 years agoAllow moddatetime's target column to be of type timestamptz.
Tom Lane [Thu, 4 Nov 2010 20:34:47 +0000 (16:34 -0400)]
Allow moddatetime's target column to be of type timestamptz.

Dirk Heinrichs

14 years agoUse appendStringInfoString() where appropriate in elog.c.
Tom Lane [Thu, 4 Nov 2010 19:28:35 +0000 (15:28 -0400)]
Use appendStringInfoString() where appropriate in elog.c.

The nominally equivalent call appendStringInfo(buf, "%s", str) can be
significantly slower when str is large.  In particular, the former usage in
EVALUATE_MESSAGE led to O(N^2) behavior when collecting a large number of
context lines, as I found out while testing recursive functions.  The other
changes are just neatnik-ism and seem unlikely to save anything meaningful,
but a cycle shaved is a cycle earned.

14 years agoReimplement planner's handling of MIN/MAX aggregate optimization.
Tom Lane [Thu, 4 Nov 2010 16:01:17 +0000 (12:01 -0400)]
Reimplement planner's handling of MIN/MAX aggregate optimization.

Per my recent proposal, get rid of all the direct inspection of indexes
and manual generation of paths in planagg.c.  Instead, set up
EquivalenceClasses for the aggregate argument expressions, and let the
regular path generation logic deal with creating paths that can satisfy
those sort orders.  This makes planagg.c a bit more visible to the rest
of the planner than it was originally, but the approach is basically a lot
cleaner than before.  A major advantage of doing it this way is that we get
MIN/MAX optimization on inheritance trees (using MergeAppend of indexscans)
practically for free, whereas in the old way we'd have had to add a whole
lot more duplicative logic.

One small disadvantage of this approach is that MIN/MAX aggregates can no
longer exploit partial indexes having an "x IS NOT NULL" predicate, unless
that restriction or something that implies it is specified in the query.
The previous implementation was able to use the added "x IS NOT NULL"
condition as an extra predicate proof condition, but in this version we
rely entirely on indexes that are considered usable by the main planning
process.  That seems a fair tradeoff for the simplicity and functionality
gained.

14 years agoReduce recursion depth in recently-added regression test.
Tom Lane [Wed, 3 Nov 2010 17:41:46 +0000 (13:41 -0400)]
Reduce recursion depth in recently-added regression test.

Some buildfarm members fail the test with the original depth of 10 levels,
apparently because they are running at the minimum max_stack_depth setting
of 100kB and using ~ 10k per recursion level.  While it might be
interesting to try to figure out why they're eating so much stack, it isn't
likely that any fix for that would be back-patchable.  So just change the
test to recurse only 5 levels.  The extra levels don't prove anything
correctness-wise anyway.

14 years agoUse only one hash entry for all instances of a pltcl trigger function.
Tom Lane [Wed, 3 Nov 2010 16:26:55 +0000 (12:26 -0400)]
Use only one hash entry for all instances of a pltcl trigger function.

Like plperl and unlike plpgsql, there isn't any cached state that could
depend on exactly which relation the trigger is being fired for.  So we
can use just one hash entry for all relations, which might save a little
something.

Alex Hunsaker

14 years agoPrint a make warning when using GNU make older than 3.80
Peter Eisentraut [Wed, 3 Nov 2010 15:30:59 +0000 (17:30 +0200)]
Print a make warning when using GNU make older than 3.80

A proposed patch will require GNU make 3.80 or newer.  We will let this patch
run for a while to see how much damage that would do to the buildfarm.

14 years agoFix adjust_semi_join to be more cautious about clauseless joins.
Tom Lane [Tue, 2 Nov 2010 22:45:36 +0000 (18:45 -0400)]
Fix adjust_semi_join to be more cautious about clauseless joins.

It was reporting that these were fully indexed (hence cheap), when of
course they're the exact opposite of that.  I'm not certain if the case
would arise in practice, since a clauseless semijoin is hard to produce
in SQL, but if it did happen we'd make some dumb decisions.

14 years agoFix buffer overrun in pg_upgrade.
Tom Lane [Tue, 2 Nov 2010 21:31:41 +0000 (17:31 -0400)]
Fix buffer overrun in pg_upgrade.

Problem reported, and cause identified, by Hernan Gonzalez.

14 years agoEnsure an index that uses a whole-row Var still depends on its table.
Tom Lane [Tue, 2 Nov 2010 21:15:07 +0000 (17:15 -0400)]
Ensure an index that uses a whole-row Var still depends on its table.

We failed to record any dependency on the underlying table for an index
declared like "create index i on t (foo(t.*))".  This would create trouble
if the table were dropped without previously dropping the index.  To fix,
simplify some overly-cute code in index_create(), accepting the possibility
that sometimes the whole-table dependency will be redundant.  Also document
this hazard in dependency.c.  Per report from Kevin Grittner.

In passing, prevent a core dump in pg_get_indexdef() if the index's table
can't be found.  I came across this while experimenting with Kevin's
example.  Not sure it's a real issue when the catalogs aren't corrupt, but
might as well be cautious.

Back-patch to all supported versions.

14 years agoSome cleanup in ecpg code:
Michael Meskes [Tue, 2 Nov 2010 17:12:01 +0000 (18:12 +0100)]
Some cleanup in ecpg code:

Use bool as type for booleans instead of int.
Do not implicitely cast size_t to int.
Make the compiler stop complaining about unused variables by adding an empty statement.

14 years agoBootstrap WAL to begin at segment logid=0 logseg=1 (000000010000000000000001)
Heikki Linnakangas [Tue, 2 Nov 2010 09:23:43 +0000 (11:23 +0200)]
Bootstrap WAL to begin at segment logid=0 logseg=1 (000000010000000000000001)
rather than 0/0, so that we can safely use 0/0 as an invalid value. This is a
more future-proof fix for the corner-case bug in streaming replication that
was fixed yesterday. We had a similar corner-case bug with log/seg 0/0 back in
February as well. Avoiding 0/0 as a valid value should prevent bugs like that
in the future. Per Tom Lane's idea.

Back-patch to 9.0. Since this only affects bootstrapping, it makes no
difference to existing installations. We don't need to worry about the
bug in existing installations, because if you've managed to get past the
initial base backup already, you won't hit the bug in the future either.

14 years agoAvoid using a local FunctionCallInfoData struct in ExecMakeFunctionResult
Tom Lane [Mon, 1 Nov 2010 17:54:21 +0000 (13:54 -0400)]
Avoid using a local FunctionCallInfoData struct in ExecMakeFunctionResult
and related routines.

We already had a redundant FunctionCallInfoData struct in FuncExprState,
but were using that copy only in set-returning-function cases, to avoid
keeping function evaluation state in the expression tree for the benefit
of plpgsql's "simple expression" logic.  But of course that didn't work
anyway.  Given the recent fixes in plpgsql there is no need to have two
separate behaviors here.  Getting rid of the local FunctionCallInfoData
structs should make things a little faster (because we don't need to do
InitFunctionCallInfoData each time), and it also makes for a noticeable
reduction in stack space consumption during recursive calls.

14 years agoFix corner-case bug in tracking of latest removed WAL segment during
Heikki Linnakangas [Mon, 1 Nov 2010 07:56:45 +0000 (09:56 +0200)]
Fix corner-case bug in tracking of latest removed WAL segment during
streaming replication. We used log/seg 0/0 to indicate that no WAL segments
have been removed since startup, but 0/0 is a valid value for the very first
WAL segment after initdb. To make that disambiguous, store
(latest removed WAL segment + 1) in the global variable.

Per report from Matt Chesler, also reproduced by Greg Smith.

14 years agoRevert removal of trigger flag from plperl function hash key. REL9_1_ALPHA2
Tom Lane [Sun, 31 Oct 2010 15:42:51 +0000 (11:42 -0400)]
Revert removal of trigger flag from plperl function hash key.

As noted by Jan Urbanski, this flag is in fact needed to ensure that the
function's input/result conversion functions are set up as expected.

Add a regression test to discourage anyone from making same mistake
in future.

14 years agoProvide hashing support for arrays.
Tom Lane [Sun, 31 Oct 2010 01:55:20 +0000 (21:55 -0400)]
Provide hashing support for arrays.

The core of this patch is hash_array() and associated typcache
infrastructure, which works just about exactly like the existing support
for array comparison.

In addition I did some work to ensure that the planner won't think that an
array type is hashable unless its element type is hashable, and similarly
for sorting.  This includes adding a datatype parameter to op_hashjoinable
and op_mergejoinable, and adding an explicit "hashable" flag to
SortGroupClause.  The lack of a cross-check on the element type was a
pre-existing bug in mergejoin support --- but it didn't matter so much
before, because if you couldn't sort the element type there wasn't any good
alternative to failing anyhow.  Now that we have the alternative of hashing
the array type, there are cases where we can avoid a failure by being picky
at the planner stage, so it's time to be picky.

The issue of exactly how to combine the per-element hash values to produce
an array hash is still open for discussion, but the rest of this is pretty
solid, so I'll commit it as-is.

14 years agoChange version number in release notes to 9.1alpha2
Peter Eisentraut [Sat, 30 Oct 2010 20:37:36 +0000 (23:37 +0300)]
Change version number in release notes to 9.1alpha2

14 years agoLast-minute updates to 9.1alpha2 release notes
Peter Eisentraut [Sat, 30 Oct 2010 19:34:20 +0000 (22:34 +0300)]
Last-minute updates to 9.1alpha2 release notes

14 years agoFix comparisons of pointers with zero to compare with NULL instead.
Tom Lane [Fri, 29 Oct 2010 19:51:52 +0000 (15:51 -0400)]
Fix comparisons of pointers with zero to compare with NULL instead.

Per C standard, these are semantically the same thing; but saying NULL
when you mean NULL is good for readability.

Marti Raudsepp, per results of INRIA's Coccinelle.

14 years agoOops, missed one fix for EquivalenceClass rearrangement.
Tom Lane [Fri, 29 Oct 2010 18:44:49 +0000 (14:44 -0400)]
Oops, missed one fix for EquivalenceClass rearrangement.

Now that we're expecting a mergeclause's left_ec/right_ec to persist from
the initial assignments, we can't just blithely zero these out when
transforming such a clause in adjust_appendrel_attrs.  But really it should
be okay to keep the parent's values, since a child table's derived Var
ought to be equivalent to the parent Var for all EquivalenceClass purposes.
(Indeed, I'm wondering whether we couldn't find a way to dispense with
add_child_rel_equivalences altogether.  But this is wrong in any case.)

14 years agoAvoid creation of useless EquivalenceClasses during planning.
Tom Lane [Fri, 29 Oct 2010 15:52:16 +0000 (11:52 -0400)]
Avoid creation of useless EquivalenceClasses during planning.

Zoltan Boszormenyi exhibited a test case in which planning time was
dominated by construction of EquivalenceClasses and PathKeys that had no
actual relevance to the query (and in fact got discarded immediately).
This happened because we generated PathKeys describing the sort ordering of
every index on every table in the query, and only after that checked to see
if the sort ordering was relevant.  The EC/PK construction code is O(N^2)
in the number of ECs, which is all right for the intended number of such
objects, but it gets out of hand if there are ECs for lots of irrelevant
indexes.

To fix, twiddle the handling of mergeclauses a little bit to ensure that
every interesting EC is created before we begin path generation.  (This
doesn't cost anything --- in fact I think it's a bit cheaper than before
--- since we always eventually created those ECs anyway.)  Then, if an
index column can't be found in any pre-existing EC, we know that that sort
ordering is irrelevant for the query.  Instead of creating a useless EC,
we can just not build a pathkey for the index column in the first place.
The index will still be considered if it's useful for non-order-related
reasons, but we will think of its output as unsorted.

14 years agoGive a more specific error message if you try to COMMIT, ROLLBACK or COPY
Heikki Linnakangas [Fri, 29 Oct 2010 08:41:28 +0000 (11:41 +0300)]
Give a more specific error message if you try to COMMIT, ROLLBACK or COPY
FROM STDIN in PL/pgSQL. We alread did this for dynamic EXECUTE statements,
ie. "EXECUTE 'COMMIT'", but not otherwise.

14 years agoAllow generic record arguments to plperl functions
Andrew Dunstan [Fri, 29 Oct 2010 00:48:12 +0000 (20:48 -0400)]
Allow generic record arguments to plperl functions

14 years agoAdd tab completion for psql \dg and \z
Peter Eisentraut [Thu, 28 Oct 2010 20:05:28 +0000 (23:05 +0300)]
Add tab completion for psql \dg and \z

Josh Kupershmidt

14 years agoMake \? output of \dg and \du the same
Peter Eisentraut [Thu, 28 Oct 2010 20:01:45 +0000 (23:01 +0300)]
Make \? output of \dg and \du the same

The previous wording might have suggested that \du only showed login roles
and \dg only group roles, but that is no longer the case.

proposed by Josh Kupershmidt

14 years agoSave a few cycles in plpgsql simple-expression initialization.
Tom Lane [Thu, 28 Oct 2010 17:29:13 +0000 (13:29 -0400)]
Save a few cycles in plpgsql simple-expression initialization.

Instead of using ExecPrepareExpr, call ExecInitExpr.  The net change here
is that we don't apply expression_planner() to the expression tree.  There
is no need to do so, because that tree is extracted from a fully planned
plancache entry, so all the needed work is already done.  This reduces
the setup costs by about a factor of 2 according to some simple tests.
Oversight noted while fooling around with the simple-expression code for
previous fix.

14 years agoFix plpgsql's handling of "simple" expression evaluation.
Tom Lane [Thu, 28 Oct 2010 17:00:54 +0000 (13:00 -0400)]
Fix plpgsql's handling of "simple" expression evaluation.

In general, expression execution state trees aren't re-entrantly usable,
since functions can store private state information in them.
For efficiency reasons, plpgsql tries to cache and reuse state trees for
"simple" expressions.  It can get away with that most of the time, but it
can fail if the state tree is dirty from a previous failed execution (as
in an example from Alvaro) or is being used recursively (as noted by me).

Fix by tracking whether a state tree is in use, and falling back to the
"non-simple" code path if so.  This results in a pretty considerable speed
hit when the non-simple path is taken, but the available alternatives seem
even more unpleasant because they add overhead in the simple path.  Per
idea from Heikki.

Back-patch to all supported branches.

14 years agoRelease notes for 9.1alpha2
Peter Eisentraut [Thu, 28 Oct 2010 14:42:58 +0000 (17:42 +0300)]
Release notes for 9.1alpha2

14 years agoRemove obsolete release-alpha.sgml
Peter Eisentraut [Thu, 28 Oct 2010 14:40:56 +0000 (17:40 +0300)]
Remove obsolete release-alpha.sgml

This was only used while the final release notes for 9.0 were being prepared.
The alpha release notes are now in release-9.1.sgml.

14 years agoRemove tabs from SGML
Peter Eisentraut [Thu, 28 Oct 2010 14:40:27 +0000 (17:40 +0300)]
Remove tabs from SGML

14 years agoRevert "Correct WAL space calculation formula in docs."
Robert Haas [Thu, 28 Oct 2010 01:24:02 +0000 (21:24 -0400)]
Revert "Correct WAL space calculation formula in docs."

This reverts commit 915116bc62db2aaec7001bde6610128f4cbd29f9.

Per discussion, the previous formula was in fact correct.

http://archives.postgresql.org/pgsql-docs/2010-10/msg00038.php

14 years agoReorganize OS-specific details about write caching into a list.
Robert Haas [Thu, 28 Oct 2010 01:19:11 +0000 (21:19 -0400)]
Reorganize OS-specific details about write caching into a list.

Along the way, clarify that sdparm can be used on Linux as well as FreeBSD.

14 years agoPrevious patch had no detectable virtue other than being a one-liner.
Tom Lane [Wed, 27 Oct 2010 19:26:24 +0000 (15:26 -0400)]
Previous patch had no detectable virtue other than being a one-liner.

Try to make the code look self-consistent again, so it doesn't confuse
future developers.

14 years agoFix long-standing segfault when accept() or one of the calls made right
Heikki Linnakangas [Wed, 27 Oct 2010 17:03:00 +0000 (20:03 +0300)]
Fix long-standing segfault when accept() or one of the calls made right
after accepting a connection fails, and the server is compiled with GSSAPI
support. Report and patch by Alexander V. Chernikov, bug #5731.

14 years agoFix up some oversights in psql's Unicode-escape support.
Tom Lane [Wed, 27 Oct 2010 02:23:04 +0000 (22:23 -0400)]
Fix up some oversights in psql's Unicode-escape support.

Original patch failed to include new exclusive states in a switch that
needed to include them; and also was guilty of very fuzzy thinking
about how to handle error cases.  Per bug #5729 from Alan Choi.

14 years agoNote that effective_io_concurrency only affects bitmap heap scans.
Robert Haas [Wed, 27 Oct 2010 01:44:14 +0000 (21:44 -0400)]
Note that effective_io_concurrency only affects bitmap heap scans.

Josh Kupershmidt

14 years agoAdd a client authentication hook.
Robert Haas [Wed, 27 Oct 2010 01:20:02 +0000 (21:20 -0400)]
Add a client authentication hook.

KaiGai Kohei, with minor cleanup of the comments by me.

14 years agoMinor fixups for psql's process_file() function.
Robert Haas [Tue, 26 Oct 2010 23:28:18 +0000 (19:28 -0400)]
Minor fixups for psql's process_file() function.

- Avoid closing stdin, since we didn't open it.  Previously multiple
inclusions of stdin would be terminated with a single quit, now a separate
quit is needed for each invocation. Previous behavior also accessed stdin
after it was fclose()d, which is undefined behavior per ANSI C.

- Properly restore pset.inputfile, since the caller expects to be able
to free that memory.

Marti Raudsepp

14 years agoNote explicitly that hash indexes are also not replicated because they're not
Heikki Linnakangas [Tue, 26 Oct 2010 19:50:31 +0000 (22:50 +0300)]
Note explicitly that hash indexes are also not replicated because they're not
WAL-logged. Make the notice about the lack of WAL-logging more visible by
making it a <caution>. Also remove the false statement from hot standby
caveats section that hash indexes are not used during hot standby.

14 years agoFix dumb typo in SECURITY LABEL error message.
Robert Haas [Tue, 26 Oct 2010 18:54:31 +0000 (14:54 -0400)]
Fix dumb typo in SECURITY LABEL error message.

Report by Peter Eisentraut.

14 years agoBefore removing backup_label and irrevocably changing pg_control file, check
Heikki Linnakangas [Tue, 26 Oct 2010 18:15:42 +0000 (21:15 +0300)]
Before removing backup_label and irrevocably changing pg_control file, check
that WAL file containing the checkpoint redo-location can be found. This
avoids making the cluster irrecoverable if the redo location is in an earlie
WAL file than the checkpoint record.

Report, analysis and patch by Jeff Davis, with small changes by me.

14 years agoAdd missing newlines at end of files
Peter Eisentraut [Tue, 26 Oct 2010 17:11:43 +0000 (20:11 +0300)]
Add missing newlines at end of files

14 years agoFix typos "are are".
Itagaki Takahiro [Tue, 26 Oct 2010 08:15:17 +0000 (17:15 +0900)]
Fix typos "are are".

14 years agoAdd .gitignore for contrib/uuid-ossp.
Itagaki Takahiro [Tue, 26 Oct 2010 03:25:34 +0000 (12:25 +0900)]
Add .gitignore for contrib/uuid-ossp.

14 years agoRefactor typenameTypeId()
Peter Eisentraut [Mon, 25 Oct 2010 18:40:46 +0000 (21:40 +0300)]
Refactor typenameTypeId()

Split the old typenameTypeId() into two functions: A new typenameTypeId() that
returns only a type OID, and typenameTypeIdAndMod() that returns type OID and
typmod.  This isolates call sites better that actually care about the typmod.

14 years agoFix overly-enthusiastic Assert in printing of Param reference expressions.
Tom Lane [Mon, 25 Oct 2010 18:25:10 +0000 (14:25 -0400)]
Fix overly-enthusiastic Assert in printing of Param reference expressions.

A NestLoopParam's value can only be a Var or Aggref, but this isn't the
case in general for SubPlan parameters, so print_parameter_expr had better
be prepared to cope.  Brain fade in my recent patch to print the referenced
expression instead of just printing $N for PARAM_EXEC Params.  Per report
from Pavel Stehule.

14 years agoFix inline_set_returning_function() to preserve the invalItems list properly.
Tom Lane [Mon, 25 Oct 2010 17:04:37 +0000 (13:04 -0400)]
Fix inline_set_returning_function() to preserve the invalItems list properly.

This avoids a possible crash when inlining a SRF whose argument list
contains a reference to an inline-able user function.  The crash is quite
reproducible with CLOBBER_FREED_MEMORY enabled, but would be less certain
in a production build.  Problem introduced in 9.0 by the named-arguments
patch, which requires invoking eval_const_expressions() before we can try
to inline a SRF.  Per report from Brendan Jurd.

14 years agofind -path is not portable, so use grep -v instead.
Alvaro Herrera [Mon, 25 Oct 2010 12:24:02 +0000 (09:24 -0300)]
find -path is not portable, so use grep -v instead.

Per previous failure of buildfarm member koi (which is no longer
failing, alas).

14 years agoWork around rounding misbehavior exposed by buildfarm.
Tom Lane [Mon, 25 Oct 2010 05:13:22 +0000 (01:13 -0400)]
Work around rounding misbehavior exposed by buildfarm.

14 years agoRemove unnecessary use of trigger flag to hash plperl functions
Andrew Dunstan [Mon, 25 Oct 2010 03:53:44 +0000 (23:53 -0400)]
Remove unnecessary use of trigger flag to hash plperl functions

14 years agoAllow new values to be added to an existing enum type.
Tom Lane [Mon, 25 Oct 2010 03:04:37 +0000 (23:04 -0400)]
Allow new values to be added to an existing enum type.

After much expenditure of effort, we've got this to the point where the
performance penalty is pretty minimal in typical cases.

Andrew Dunstan, reviewed by Brendan Jurd, Dean Rasheed, and Tom Lane