]> granicus.if.org Git - postgresql/log
postgresql
16 years agoGet rid of the last remaining uses of var_is_rel(), to wit some debugging
Tom Lane [Mon, 25 Aug 2008 20:20:30 +0000 (20:20 +0000)]
Get rid of the last remaining uses of var_is_rel(), to wit some debugging
checks in ExecIndexBuildScanKeys() that were inadequate anyway: it's better
to verify the correct varno on an expected index key, not just reject OUTER
and INNER.

This makes the entire current contents of nodeFuncs.c dead code.  I'll be
replacing it with some other stuff later, as per recent proposal.

16 years agoAdd standard boilerplate sentence about when stats_temp_directory can be changed.
Tom Lane [Mon, 25 Aug 2008 19:03:37 +0000 (19:03 +0000)]
Add standard boilerplate sentence about when stats_temp_directory can be changed.

16 years agoUnconditionally write the statsfile when SIGHUP is received, to minimize
Magnus Hagander [Mon, 25 Aug 2008 18:55:43 +0000 (18:55 +0000)]
Unconditionally write the statsfile when SIGHUP is received, to minimize
the window during which backends have no statistics file to read.

16 years agoUpdate URL to Ross William's paper.
Alvaro Herrera [Mon, 25 Aug 2008 17:37:40 +0000 (17:37 +0000)]
Update URL to Ross William's paper.

Devrim Gunduz.

16 years agoHave man page generation work on VPATH builds too.
Alvaro Herrera [Mon, 25 Aug 2008 15:34:05 +0000 (15:34 +0000)]
Have man page generation work on VPATH builds too.

16 years agoMake stats_temp_directory PGC_SIGHUP, and document how it may cause a temporary
Magnus Hagander [Mon, 25 Aug 2008 15:11:01 +0000 (15:11 +0000)]
Make stats_temp_directory PGC_SIGHUP, and document how it may cause a temporary
"outage" of the statistics views.

This requires making the stats collector respond to SIGHUP, like the other
utility processes already did.

16 years agoConvert remaining builtin set-returning functions to use OUT parameters, making
Magnus Hagander [Mon, 25 Aug 2008 11:18:43 +0000 (11:18 +0000)]
Convert remaining builtin set-returning functions to use OUT parameters, making
it possible to call them without specifying a column list.

Jaime Casanova

16 years agoAdd missing descriptions for aggregates, functions and conversions.
Bruce Momjian [Sat, 23 Aug 2008 20:31:37 +0000 (20:31 +0000)]
Add missing descriptions for aggregates, functions and conversions.

Bernd Helmle

16 years agoFix possible duplicate tuples while GiST scan. Now page is processed
Teodor Sigaev [Sat, 23 Aug 2008 10:37:24 +0000 (10:37 +0000)]
Fix possible duplicate tuples while  GiST scan. Now page is processed
at once and ItemPointers are collected in memory.

Remove tuple's killing by killtuple() if tuple was moved to another
page - it could produce unaceptable overhead.

Backpatch up to 8.1 because the bug was introduced by GiST's concurrency support.

16 years agoUpdate link to developer's FAQ from main FAQ.
Bruce Momjian [Sat, 23 Aug 2008 01:55:36 +0000 (01:55 +0000)]
Update link to developer's FAQ from main FAQ.

16 years agoMake "log_temp_files" super-user set only, like other logging options.
Bruce Momjian [Fri, 22 Aug 2008 18:47:07 +0000 (18:47 +0000)]
Make "log_temp_files" super-user set only, like other logging options.

Simon Riggs

16 years agoMinor patch on pgbench
Bruce Momjian [Fri, 22 Aug 2008 17:57:34 +0000 (17:57 +0000)]
Minor patch on pgbench

1. -i option should run vacuum analyze only on pgbench tables, not *all*
tables in database.

2. pre-run cleanup step was DELETE FROM HISTORY then VACUUM HISTORY.
This is just a slow version of TRUNCATE HISTORY.

Simon Riggs

16 years agoImprove wording of error message when a postgresql.conf setting is
Bruce Momjian [Fri, 22 Aug 2008 00:20:40 +0000 (00:20 +0000)]
Improve wording of error message when a postgresql.conf setting is
ignored because it can only be set at server start.

16 years agoArrange to convert EXISTS subqueries that are equivalent to hashable IN
Tom Lane [Fri, 22 Aug 2008 00:16:04 +0000 (00:16 +0000)]
Arrange to convert EXISTS subqueries that are equivalent to hashable IN
subqueries into the same thing you'd have gotten from IN (except always with
unknownEqFalse = true, so as to get the proper semantics for an EXISTS).
I believe this fixes the last case within CVS HEAD in which an EXISTS could
give worse performance than an equivalent IN subquery.

The tricky part of this is that if the upper query probes the EXISTS for only
a few rows, the hashing implementation can actually be worse than the default,
and therefore we need to make a cost-based decision about which way to use.
But at the time when the planner generates plans for subqueries, it doesn't
really know how many times the subquery will be executed.  The least invasive
solution seems to be to generate both plans and postpone the choice until
execution.  Therefore, in a query that has been optimized this way, EXPLAIN
will show two subplans for the EXISTS, of which only one will actually get
executed.

There is a lot more that could be done based on this infrastructure: in
particular it's interesting to consider switching to the hash plan if we start
out using the non-hashed plan but find a lot more upper rows going by than we
expected.  I have therefore left some minor inefficiencies in place, such as
initializing both subplans even though we will currently only use one.

16 years agoMention that pg_dump does not dump ALTER DATABASE ... SET commands;
Bruce Momjian [Thu, 21 Aug 2008 22:25:44 +0000 (22:25 +0000)]
Mention that pg_dump does not dump ALTER DATABASE ... SET commands;
backpatch to 8.3.X. Also fix markup that had just one bullet.

16 years agoUpdate URL.
Alvaro Herrera [Thu, 21 Aug 2008 20:15:31 +0000 (20:15 +0000)]
Update URL.

16 years agoAutoconf 2.62 will require cache variables to contain "_cv_". Fix our few
Peter Eisentraut [Thu, 21 Aug 2008 13:53:28 +0000 (13:53 +0000)]
Autoconf 2.62 will require cache variables to contain "_cv_".  Fix our few
noncomplying cases to be future-proof.

16 years agoMarginal improvement in sublink planning: allow unknownEqFalse optimization
Tom Lane [Wed, 20 Aug 2008 19:58:24 +0000 (19:58 +0000)]
Marginal improvement in sublink planning: allow unknownEqFalse optimization
to be used for SubLinks that are underneath a top-level OR clause.  Just as at
the very top level of WHERE, it's not necessary to be accurate about whether
the sublink returns FALSE or NULL, because either result has the same impact
on whether the WHERE will succeed.

16 years agoRemove tools and documention for generating TODO.html.
Bruce Momjian [Wed, 20 Aug 2008 18:22:28 +0000 (18:22 +0000)]
Remove tools and documention for generating TODO.html.

16 years agoTODO now in wiki, html version removed.
Bruce Momjian [Wed, 20 Aug 2008 18:21:33 +0000 (18:21 +0000)]
TODO now in wiki, html version removed.

16 years agoNew TODO list URL wiki location listed; contents truncated.
Bruce Momjian [Wed, 20 Aug 2008 18:20:46 +0000 (18:20 +0000)]
New TODO list URL wiki location listed; contents truncated.

16 years agoFix obsolete comment. It's no longer the case that Param nodes don't
Tom Lane [Wed, 20 Aug 2008 15:49:30 +0000 (15:49 +0000)]
Fix obsolete comment.  It's no longer the case that Param nodes don't
carry typmod.

16 years agoSynced parser.
Michael Meskes [Wed, 20 Aug 2008 14:09:16 +0000 (14:09 +0000)]
Synced parser.

16 years agoMake libpq on windows not try to send chunks larger than 64Kb.
Magnus Hagander [Wed, 20 Aug 2008 11:53:45 +0000 (11:53 +0000)]
Make libpq on windows not try to send chunks larger than 64Kb.

Per Microsoft knowledge base article Q201213, early versions of
Windows fail when we do this. Later versions of Windows appear
to have a higher limit than 64Kb, but do still fail on large
sends, so we unconditionally limit it for all versions.

Patch from Tom Lane.

16 years agoNot done:
Bruce Momjian [Tue, 19 Aug 2008 19:19:53 +0000 (19:19 +0000)]
Not done:

<  o -Allow an existing index to be marked as a table's primary key
>  o Allow an existing index to be marked as a table's primary key

16 years agoRemove -Winline from the default set of CFLAGS for gcc. It's gotten much
Tom Lane [Tue, 19 Aug 2008 19:17:40 +0000 (19:17 +0000)]
Remove -Winline from the default set of CFLAGS for gcc.  It's gotten much
too noisy to be useful as of gcc 4.3, and we were never really doing
anything about inlining warnings anyway.

16 years agoCause the output from debug_print_parse, debug_print_rewritten, and
Tom Lane [Tue, 19 Aug 2008 18:30:04 +0000 (18:30 +0000)]
Cause the output from debug_print_parse, debug_print_rewritten, and
debug_print_plan to appear at LOG message level, not DEBUG1 as historically.
Make debug_pretty_print default to on.  Also, cause plans generated via
EXPLAIN to be subject to debug_print_plan.  This is all to make
debug_print_plan a reasonably comfortable substitute for the former behavior
of EXPLAIN VERBOSE.

16 years agoTODO done:
Bruce Momjian [Tue, 19 Aug 2008 16:56:42 +0000 (16:56 +0000)]
TODO done:

!       o Allow an existing index to be marked as a table's primary key

16 years agoFixed incorrect argument handling in SET command if argument is a variable.
Michael Meskes [Tue, 19 Aug 2008 10:40:32 +0000 (10:40 +0000)]
Fixed incorrect argument handling in SET command if argument is a variable.

16 years agoFix some issues that prevent this file to be processed by scripts.
Alvaro Herrera [Tue, 19 Aug 2008 03:08:56 +0000 (03:08 +0000)]
Fix some issues that prevent this file to be processed by scripts.

While at it, mark a couple of items completed in 8.4:
!   o -Prevent long-lived temporary tables from causing frozen-xid
      advancement starvation

! * -Improve performance of shared invalidation queue for multiple CPUs

Also remove a couple of obsolete assignments.

16 years agoAdd to TODO:
Bruce Momjian [Mon, 18 Aug 2008 15:02:46 +0000 (15:02 +0000)]
Add to TODO:

>
> * Fix all set-returning system functions so they support a wildcard
>   target list
>
>   SELECT * FROM pg_get_keywords() works but SELECT * FROM
>   pg_show_all_settings() does not.

16 years agoProperly remove src\include\utils\probes.h when running clean.bat.
Magnus Hagander [Mon, 18 Aug 2008 13:42:49 +0000 (13:42 +0000)]
Properly remove src\include\utils\probes.h when running clean.bat.

16 years agoAdd some defenses against constant-FALSE outer join conditions. Since
Tom Lane [Sun, 17 Aug 2008 19:40:11 +0000 (19:40 +0000)]
Add some defenses against constant-FALSE outer join conditions.  Since
eval_const_expressions will generally throw away anything that's ANDed with
constant FALSE, what we're left with given an example like

select * from tenk1 a where (unique1,0) in (select unique2,1 from tenk1 b);

is a cartesian product computation, which is really not acceptable.
This is a regression in CVS HEAD compared to previous releases, which were
able to notice the impossible join condition in this case --- though not in
some related cases that are also improved by this patch, such as

select * from tenk1 a left join tenk1 b on (a.unique1=b.unique2 and 0=1);

Fix by skipping evaluation of the appropriate side of the outer join in
cases where it's demonstrably unnecessary.

16 years agoRemove prohibition against SubLinks in the WHERE clause of an EXISTS subquery
Tom Lane [Sun, 17 Aug 2008 02:19:19 +0000 (02:19 +0000)]
Remove prohibition against SubLinks in the WHERE clause of an EXISTS subquery
that we're considering pulling up.  I hadn't wanted to think through whether
that could work during the first pass at this stuff.  However, on closer
inspection it seems to be safe enough.

16 years agoImprove sublink pullup code to handle ANY/EXISTS sublinks that are at top
Tom Lane [Sun, 17 Aug 2008 01:20:00 +0000 (01:20 +0000)]
Improve sublink pullup code to handle ANY/EXISTS sublinks that are at top
level of a JOIN/ON clause, not only at top level of WHERE.  (However, we
can't do this in an outer join's ON clause, unless the ANY/EXISTS refers
only to the nullable side of the outer join, so that it can effectively
be pushed down into the nullable side.)  Per request from Kevin Grittner.

In passing, fix a bug in the initial implementation of EXISTS pullup:
it would Assert if the EXIST's WHERE clause used a join alias variable.
Since we haven't yet flattened join aliases when this transformation
happens, it's necessary to include join relids in the computed set of
RHS relids.

16 years agoUpdate instructions on generating TODO.html.
Bruce Momjian [Sat, 16 Aug 2008 19:39:03 +0000 (19:39 +0000)]
Update instructions on generating TODO.html.

16 years agoprobes.h is generated from probes.d, not pg_trace.d.
Magnus Hagander [Sat, 16 Aug 2008 12:42:27 +0000 (12:42 +0000)]
probes.h is generated from probes.d, not pg_trace.d.

16 years agoAdd URL for:
Bruce Momjian [Sat, 16 Aug 2008 02:36:58 +0000 (02:36 +0000)]
Add URL for:

* Improve ability to modify views via ALTER TABLE
<
>   http://archives.postgresql.org/pgsql-hackers/2008-08/msg00300.php

16 years agoFix pg_dump/pg_restore's ExecuteSqlCommand() to behave suitably if PQexec
Tom Lane [Sat, 16 Aug 2008 02:25:06 +0000 (02:25 +0000)]
Fix pg_dump/pg_restore's ExecuteSqlCommand() to behave suitably if PQexec
returns NULL instead of a PGresult.  The former coding would fail, which
is OK, but it neglected to give you the PQerrorMessage that might tell
you why.  In the oldest branches, there was another problem: it'd sometimes
report PQerrorMessage from the wrong connection.

16 years agoAdd to TODO:
Bruce Momjian [Sat, 16 Aug 2008 02:15:33 +0000 (02:15 +0000)]
Add to TODO:

>
> * Prevent query cancel packets from being replayed by an attacker,
>   especially when using SSL
>
>   http://archives.postgresql.org/pgsql-hackers/2008-08/msg00345.php
>

16 years agoSynchronize Borland libpq makefile to match MSVC. Backpatch to 8.3.X.
Bruce Momjian [Sat, 16 Aug 2008 01:56:20 +0000 (01:56 +0000)]
Synchronize Borland libpq makefile to match MSVC.  Backpatch to 8.3.X.

16 years agoFix a couple of places where psql might fail to report a suitable error
Tom Lane [Sat, 16 Aug 2008 01:36:35 +0000 (01:36 +0000)]
Fix a couple of places where psql might fail to report a suitable error
if PQexec returns NULL.  These don't seem significant enough to be worth
back-patching, but they ought to get fixed ...

16 years agoUpdate Russian FAQ.
Bruce Momjian [Sat, 16 Aug 2008 01:14:49 +0000 (01:14 +0000)]
Update Russian FAQ.

corochoone@gmail.com

16 years agoAdd new SQL training web site to FAQ:
Bruce Momjian [Sat, 16 Aug 2008 00:32:36 +0000 (00:32 +0000)]
Add new SQL training web site to FAQ:

    <LI><A href=
    "http://sqlzoo.net">http://sqlzoo.net</A>
    </LI>

16 years agoFix version warning bug in recently applied adjustments to psql startup.
Bruce Momjian [Sat, 16 Aug 2008 00:16:56 +0000 (00:16 +0000)]
Fix version warning bug in recently applied adjustments to psql startup.

Gregory Stark

16 years agoClean up the loose ends in selectivity estimation left by my patch for semi
Tom Lane [Sat, 16 Aug 2008 00:01:38 +0000 (00:01 +0000)]
Clean up the loose ends in selectivity estimation left by my patch for semi
and anti joins.  To do this, pass the SpecialJoinInfo struct for the current
join as an additional optional argument to operator join selectivity
estimation functions.  This allows the estimator to tell not only what kind
of join is being formed, but which variable is on which side of the join;
a requirement long recognized but not dealt with till now.  This also leaves
the door open for future improvements in the estimators, such as accounting
for the null-insertion effects of lower outer joins.  I didn't do anything
about that in the current patch but the information is in principle deducible
from what's passed.

The patch also clarifies the definition of join selectivity for semi/anti
joins: it's the fraction of the left input that has (at least one) match
in the right input.  This allows getting rid of some very fuzzy thinking
that I had committed in the original 7.4-era IN-optimization patch.
There's probably room to estimate this better than the present patch does,
but at least we know what to estimate.

Since I had to touch CREATE OPERATOR anyway to allow a variant signature
for join estimator functions, I took the opportunity to add a couple of
additional checks that were missing, per my recent message to -hackers:
* Check that estimator functions return float8;
* Require execute permission at the time of CREATE OPERATOR on the
operator's function as well as the estimator functions;
* Require ownership of any pre-existing operator that's modified by
the command.
I also moved the lookup of the functions out of OperatorCreate() and
into operatorcmds.c, since that seemed more consistent with most of
the other catalog object creation processes, eg CREATE TYPE.

16 years agoPerformance fix for new anti-join code in nodeMergejoin.c: after finding a
Tom Lane [Fri, 15 Aug 2008 19:20:42 +0000 (19:20 +0000)]
Performance fix for new anti-join code in nodeMergejoin.c: after finding a
match in antijoin mode, we should advance to next outer tuple not next inner.
We know we don't want to return this outer tuple, and there is no point in
advancing over matching inner tuples now, because we'd just have to do it
again if the next outer tuple has the same merge key.  This makes a noticeable
difference if there are lots of duplicate keys in both inputs.

Similarly, after finding a match in semijoin mode, arrange to advance to
the next outer tuple after returning the current match; or immediately,
if it fails the extra quals.  The rationale is the same.  (This is a
performance bug in existing releases; perhaps worth back-patching?  The
planner tries to avoid using mergejoin with lots of duplicates, so it may
not be a big issue in practice.)

Nestloop and hash got this right to start with, but I made some cosmetic
adjustments there to make the corresponding bits of logic look more similar.

16 years agoMake the temporary directory for pgstat files configurable by the GUC
Magnus Hagander [Fri, 15 Aug 2008 08:37:41 +0000 (08:37 +0000)]
Make the temporary directory for pgstat files configurable by the GUC
variable stats_temp_directory, instead of requiring the admin to
mount/symlink the pg_stat_tmp directory manually.

For now the config variable is PGC_POSTMASTER. Room for further improvment
that would allow it to be changed on-the-fly.

16 years agoFix pull_up_simple_union_all to copy all rtable entries from child subquery to
Heikki Linnakangas [Thu, 14 Aug 2008 20:31:29 +0000 (20:31 +0000)]
Fix pull_up_simple_union_all to copy all rtable entries from child subquery to
parent, not only those with RangeTblRefs. We need them in ExecCheckRTPerms.

Report by Brendan O'Shea. Back-patch to 8.2, where pull_up_simple_union_all
was introduced.

16 years agoImplement SEMI and ANTI joins in the planner and executor. (Semijoins replace
Tom Lane [Thu, 14 Aug 2008 18:48:00 +0000 (18:48 +0000)]
Implement SEMI and ANTI joins in the planner and executor.  (Semijoins replace
the old JOIN_IN code, but antijoins are new functionality.)  Teach the planner
to convert appropriate EXISTS and NOT EXISTS subqueries into semi and anti
joins respectively.  Also, LEFT JOINs with suitable upper-level IS NULL
filters are recognized as being anti joins.  Unify the InClauseInfo and
OuterJoinInfo infrastructure into "SpecialJoinInfo".  With that change,
it becomes possible to associate a SpecialJoinInfo with every join attempt,
which permits some cleanup of join selectivity estimation.  That needs to be
taken much further than this patch does, but the next step is to change the
API for oprjoin selectivity functions, which seems like material for a
separate patch.  So for the moment the output size estimates for semi and
especially anti joins are quite bogus.

16 years agopg_buffercache needs to be taught about relation forks, as Greg Stark
Heikki Linnakangas [Thu, 14 Aug 2008 12:56:41 +0000 (12:56 +0000)]
pg_buffercache needs to be taught about relation forks, as Greg Stark
pointed out.

16 years agoAdd URL for:
Bruce Momjian [Thu, 14 Aug 2008 01:57:42 +0000 (01:57 +0000)]
Add URL for:

* Improve ability to modify views via ALTER TABLE

>   http://archives.postgresql.org/pgsql-hackers/2008-07/msg01410.php

16 years agoHave autovacuum consider processing TOAST tables separately from their
Alvaro Herrera [Wed, 13 Aug 2008 00:07:50 +0000 (00:07 +0000)]
Have autovacuum consider processing TOAST tables separately from their
main tables.

This requires vacuum() to accept processing a toast table standalone, so
there's a user-visible change in that it's now possible (for a superuser) to
execute "VACUUM pg_toast.pg_toast_XXX".

16 years agoRemove TODO item
Peter Eisentraut [Tue, 12 Aug 2008 09:55:08 +0000 (09:55 +0000)]
Remove TODO item

    Allow XML to accept more liberal DOCTYPE specifications

Everything works correctly, per today's email to -general.

16 years agoAdd:
Bruce Momjian [Tue, 12 Aug 2008 03:48:52 +0000 (03:48 +0000)]
Add:

> * Add 'hostgss' pg_hba.conf option to allow GSS link-level encryption
>
>   http://archives.postgresql.org/pgsql-hackers/2008-07/msg01454.php

16 years agoRelation forks patch requires a catversion bump due to changes in the format
Heikki Linnakangas [Mon, 11 Aug 2008 13:58:46 +0000 (13:58 +0000)]
Relation forks patch requires a catversion bump due to changes in the format
of some WAL records, and two-phase state files, which I forgot.

16 years agoIntroduce the concept of relation forks. An smgr relation can now consist
Heikki Linnakangas [Mon, 11 Aug 2008 11:05:11 +0000 (11:05 +0000)]
Introduce the concept of relation forks. An smgr relation can now consist
of multiple forks, and each fork can be created and grown separately.

The bulk of this patch is about changing the smgr API to include an extra
ForkNumber argument in every smgr function. Also, smgrscheduleunlink and
smgrdounlink no longer implicitly call smgrclose, because other forks might
still exist after unlinking one. The callers of those functions have been
modified to call smgrclose instead.

This patch in itself doesn't have any user-visible effect, but provides the
infrastructure needed for upcoming patches. The additional forks envisioned
are a rewritten FSM implementation that doesn't rely on a fixed-size shared
memory block, and a visibility map to allow skipping portions of a table in
VACUUM that have no dead tuples.

16 years agoFix corner-case bug introduced with HOT: if REINDEX TABLE pg_class (or a
Tom Lane [Sun, 10 Aug 2008 19:02:33 +0000 (19:02 +0000)]
Fix corner-case bug introduced with HOT: if REINDEX TABLE pg_class (or a
REINDEX DATABASE including same) is done before a session has done any other
update on pg_class, the pg_class relcache entry was left with an incorrect
setting of rd_indexattr, because the indexed-attributes set would be first
demanded at a time when we'd forced a partial list of indexes into the
pg_class entry, and it would remain cached after that.  This could result
in incorrect decisions about HOT-update safety later in the same session.
In practice, since only pg_class_relname_nsp_index would be missed out,
only ALTER TABLE RENAME and ALTER TABLE SET SCHEMA could trigger a problem.
Per report and test case from Ondrej Jirman.

16 years agoInstall checks in executor startup to ensure that the tuples produced by an
Tom Lane [Fri, 8 Aug 2008 17:01:11 +0000 (17:01 +0000)]
Install checks in executor startup to ensure that the tuples produced by an
INSERT or UPDATE will match the target table's current rowtype.  In pre-8.3
releases inconsistency can arise with stale cached plans, as reported by
Merlin Moncure.  (We patched the equivalent hazard on the SELECT side in Feb
2007; I'm not sure why we thought there was no risk on the insertion side.)
In 8.3 and HEAD this problem should be impossible due to plan cache
invalidation management, but it seems prudent to make the check anyway.

Back-patch as far as 8.0.  7.x versions lack ALTER COLUMN TYPE, so there
seems no way to abuse a stale plan comparably.

16 years agoImprove INTERSECT/EXCEPT hashing by realizing that we don't need to make any
Tom Lane [Thu, 7 Aug 2008 19:35:02 +0000 (19:35 +0000)]
Improve INTERSECT/EXCEPT hashing by realizing that we don't need to make any
hashtable entries for tuples that are found only in the second input: they
can never contribute to the output.  Furthermore, this implies that the
planner should endeavor to put first the smaller (in number of groups) input
relation for an INTERSECT.  Implement that, and upgrade prepunion's estimation
of the number of rows returned by setops so that there's some amount of sanity
in the estimate of which one is smaller.

16 years agoSupport hashing for duplicate-elimination in INTERSECT and EXCEPT queries.
Tom Lane [Thu, 7 Aug 2008 03:04:04 +0000 (03:04 +0000)]
Support hashing for duplicate-elimination in INTERSECT and EXCEPT queries.
This completes my project of improving usage of hashing for duplicate
elimination (aggregate functions with DISTINCT remain undone, but that's
for some other day).

As with the previous patches, this means we can INTERSECT/EXCEPT on datatypes
that can hash but not sort, and it means that INTERSECT/EXCEPT without ORDER
BY are no longer certain to produce sorted output.

16 years agoTeach the system how to use hashing for UNION. (INTERSECT/EXCEPT will follow,
Tom Lane [Thu, 7 Aug 2008 01:11:52 +0000 (01:11 +0000)]
Teach the system how to use hashing for UNION.  (INTERSECT/EXCEPT will follow,
but seem like a separate patch since most of the remaining work is on the
executor side.)  I took the opportunity to push selection of the grouping
operators for set operations into the parser where it belongs.  Otherwise this
is just a small exercise in making prepunion.c consider both alternatives.

As with the recent DISTINCT patch, this means we can UNION on datatypes that
can hash but not sort, and it means that UNION without ORDER BY is no longer
certain to produce sorted output.

16 years agoDo not allow Unique nodes to be scanned backwards. The code claimed that it
Tom Lane [Tue, 5 Aug 2008 21:28:29 +0000 (21:28 +0000)]
Do not allow Unique nodes to be scanned backwards.  The code claimed that it
would work, but in fact it didn't return the same rows when moving backwards
as when moving forwards.  This would have no visible effect in a DISTINCT
query (at least assuming the column datatypes use a strong definition of
equality), but it gave entirely wrong answers for DISTINCT ON queries.

16 years agoDepartment of second thoughts: fix newly-added code in planner.c to make real
Tom Lane [Tue, 5 Aug 2008 16:03:10 +0000 (16:03 +0000)]
Department of second thoughts: fix newly-added code in planner.c to make real
sure that DISTINCT ON does what it's supposed to, ie, sort by the full ORDER
BY list before unique-ifying.  The error seems masked in simple cases by the
fact that query_planner won't return query pathkeys that only partially match
the requested sort order, but I wouldn't want to bet that it couldn't be
exposed in some way or other.

16 years agoAdd an ORDER BY to one more SELECT DISTINCT test case, per buildfarm results.
Tom Lane [Tue, 5 Aug 2008 15:17:59 +0000 (15:17 +0000)]
Add an ORDER BY to one more SELECT DISTINCT test case, per buildfarm results.

16 years agoIn ReadOrZeroBuffer (and related entry points), don't bother to call
Tom Lane [Tue, 5 Aug 2008 15:09:04 +0000 (15:09 +0000)]
In ReadOrZeroBuffer (and related entry points), don't bother to call
PageHeaderIsValid when we zero the buffer instead of reading the page in.
The actual performance improvement is probably marginal since this function
isn't very heavily used, but a cycle saved is a cycle earned.

Zdenek Kotala

16 years agoMove pgstat.tmp into a temporary directory under $PGDATA named pg_stat_tmp.
Magnus Hagander [Tue, 5 Aug 2008 12:09:30 +0000 (12:09 +0000)]
Move pgstat.tmp into a temporary directory under $PGDATA named pg_stat_tmp.
This allows the use of a ramdrive (either through mount or symlink) for
the temporary file that's written every half second, which should
reduce I/O.

On server shutdown/startup, the file is written to the old location in
the global directory, to preserve data across restarts.

Bump catversion since the $PGDATA directory layout changed.

16 years agoFix some message style guideline violations in pg_regress, as well as
Tom Lane [Tue, 5 Aug 2008 05:16:08 +0000 (05:16 +0000)]
Fix some message style guideline violations in pg_regress, as well as
some failures to expose messages for translation.

16 years agoImprove SELECT DISTINCT to consider hash aggregation, as well as sort/uniq,
Tom Lane [Tue, 5 Aug 2008 02:43:18 +0000 (02:43 +0000)]
Improve SELECT DISTINCT to consider hash aggregation, as well as sort/uniq,
as methods for implementing the DISTINCT step.  This eliminates the former
performance gap between DISTINCT and GROUP BY, and also makes it possible
to do SELECT DISTINCT on datatypes that only support hashing not sorting.

SELECT DISTINCT ON is still always implemented by sorting; it would take
executor changes to support hashing that, and it's not clear it's worth
the trouble.

This is a release-note-worthy incompatibility from previous PG versions,
since SELECT DISTINCT can no longer be counted on to deliver sorted output
without explicitly saying ORDER BY.  (Anyone who can't cope with that
can consider turning off enable_hashagg.)

Several regression test queries needed to have ORDER BY added to preserve
stable output order.  I fixed the ones that manifested here, but there
might be some other cases that show up on other platforms.

16 years agoImprove CREATE/DROP/RENAME DATABASE so that when failing because the source
Tom Lane [Mon, 4 Aug 2008 18:03:46 +0000 (18:03 +0000)]
Improve CREATE/DROP/RENAME DATABASE so that when failing because the source
or target database is being accessed by other users, it tells you whether
the "other users" are live sessions or uncommitted prepared transactions.
(Indeed, it tells you exactly how many of each, but that's mostly just
because it was easy to do so.)  This should help forestall the gotcha of
not realizing that a prepared transaction is what's blocking the command.
Per discussion.

16 years agoMake GROUP BY work properly for datatypes that only support hashing and not
Tom Lane [Sun, 3 Aug 2008 19:10:52 +0000 (19:10 +0000)]
Make GROUP BY work properly for datatypes that only support hashing and not
sorting.  The infrastructure for this was all in place already; it's only
necessary to fix the planner to not assume that sorting is always an available
option.

16 years agoTighten up the sanity checks in TypeCreate(): pass-by-value types must have
Tom Lane [Sun, 3 Aug 2008 15:23:58 +0000 (15:23 +0000)]
Tighten up the sanity checks in TypeCreate(): pass-by-value types must have
a size that is one of the supported values, not just anything <= sizeof(Datum).
Cross-check the alignment specification against size as well.

16 years agoFix copy-and-pasteo that's causing pg_regress to lie about which file it can't
Tom Lane [Sun, 3 Aug 2008 05:12:38 +0000 (05:12 +0000)]
Fix copy-and-pasteo that's causing pg_regress to lie about which file it can't
read when the --temp-config argument is bad.  Noted while wondering why
buildfarm member dungbeetle is failing ... this isn't why, but it is why
the error report isn't very helpful ...

16 years agoRearrange the querytree representation of ORDER BY/GROUP BY/DISTINCT items
Tom Lane [Sat, 2 Aug 2008 21:32:01 +0000 (21:32 +0000)]
Rearrange the querytree representation of ORDER BY/GROUP BY/DISTINCT items
as per my recent proposal:

1. Fold SortClause and GroupClause into a single node type SortGroupClause.
We were already relying on them to be struct-equivalent, so using two node
tags wasn't accomplishing much except to get in the way of comparing items
with equal().

2. Add an "eqop" field to SortGroupClause to carry the associated equality
operator.  This is cheap for the parser to get at the same time it's looking
up the sort operator, and storing it eliminates the need for repeated
not-so-cheap lookups during planning.  In future this will also let us
represent GROUP/DISTINCT operations on datatypes that have hash opclasses
but no btree opclasses (ie, they have equality but no natural sort order).
The previous representation simply didn't work for that, since its only
indicator of comparison semantics was a sort operator.

3. Add a hasDistinctOn boolean to struct Query to explicitly record whether
the distinctClause came from DISTINCT or DISTINCT ON.  This allows removing
some complicated and not 100% bulletproof code that attempted to figure
that out from the distinctClause alone.

This patch doesn't in itself create any new capability, but it's necessary
infrastructure for future attempts to use hash-based grouping for DISTINCT
and UNION/INTERSECT/EXCEPT.

16 years agoCope with Tcl versions that do not create a tclsh symlink to the version-
Alvaro Herrera [Fri, 1 Aug 2008 13:50:52 +0000 (13:50 +0000)]
Cope with Tcl versions that do not create a tclsh symlink to the version-
numbered program.  Per persistent buildfarm failures.

Tom Lane

16 years agoAdd a few more DTrace probes to the backend.
Alvaro Herrera [Fri, 1 Aug 2008 13:16:09 +0000 (13:16 +0000)]
Add a few more DTrace probes to the backend.

Robert Lor

16 years agoRearrange the code in auth.c so that all functions for a single authentication
Magnus Hagander [Fri, 1 Aug 2008 11:41:12 +0000 (11:41 +0000)]
Rearrange the code in auth.c so that all functions for a single authentication
method is grouped together in a reasonably similar way, keeping the "global
shared functions" together in their own section as well. Makes it a lot easier
to find your way around the code.

16 years agoMove ident authentication code into auth.c along with the other authenciation
Magnus Hagander [Fri, 1 Aug 2008 09:09:49 +0000 (09:09 +0000)]
Move ident authentication code into auth.c along with the other authenciation
routines, leaving hba.c to deal only with processing the HBA specific files.

16 years agoFix parser so that we don't modify the user-written ORDER BY list in order
Tom Lane [Thu, 31 Jul 2008 22:47:56 +0000 (22:47 +0000)]
Fix parser so that we don't modify the user-written ORDER BY list in order
to represent DISTINCT or DISTINCT ON.  This gets rid of a longstanding
annoyance that a view or rule using SELECT DISTINCT will be dumped out
with an overspecified ORDER BY list, and is one small step along the way
to decoupling DISTINCT and ORDER BY enough so that hash-based implementation
of DISTINCT will be possible.  In passing, improve transformDistinctClause
so that it doesn't reject duplicate DISTINCT ON items, as was reported by
Steve Midgley a couple weeks ago.

16 years agoAdd URL to:
Bruce Momjian [Thu, 31 Jul 2008 20:47:30 +0000 (20:47 +0000)]
Add URL to:

* Consider decreasing the I/O caused by updating tuple hint bits

>   http://archives.postgresql.org/pgsql-patches/2008-07/msg00199.php

16 years agoRequire superuser privilege to create base types (but not composites, enums,
Tom Lane [Thu, 31 Jul 2008 16:27:16 +0000 (16:27 +0000)]
Require superuser privilege to create base types (but not composites, enums,
or domains).  This was already effectively required because you had to own
the I/O functions, and the I/O functions pretty much have to be written in
C since we don't let PL functions take or return cstring.  But given the
possible security consequences of a malicious type definition, it seems
prudent to enforce superuser requirement directly.  Per recent discussion.

16 years agoAllow I/O conversion casts to be applied to or from any type that is a member
Tom Lane [Wed, 30 Jul 2008 21:23:17 +0000 (21:23 +0000)]
Allow I/O conversion casts to be applied to or from any type that is a member
of the STRING type category, thereby opening up the mechanism for user-defined
types.  This is mainly for the benefit of citext, though; there aren't likely
to be a lot of types that are all general-purpose character strings.
Per discussion with David Wheeler.

16 years agoFlip the default typispreferred setting from true to false. This affects
Tom Lane [Wed, 30 Jul 2008 19:35:13 +0000 (19:35 +0000)]
Flip the default typispreferred setting from true to false.  This affects
only type categories in which the previous coding made *every* type
preferred; so there is no change in effective behavior, because the function
resolution rules only do something different when faced with a choice
between preferred and non-preferred types in the same category.  It just
seems safer and less surprising to have CREATE TYPE default to non-preferred
status ...

16 years agoAdjust citext to make use of the new ability to declare its type category:
Tom Lane [Wed, 30 Jul 2008 17:08:52 +0000 (17:08 +0000)]
Adjust citext to make use of the new ability to declare its type category:
by putting it into the standard string category, we cause casts from citext
to text to be recognized as "preferred" casts.  This eliminates the need
for creation of alias functions and operators that only serve to prevent
ambiguous-function errors; get rid of the ones that were in the original
commit.

16 years agoReplace the hard-wired type knowledge in TypeCategory() and IsPreferredType()
Tom Lane [Wed, 30 Jul 2008 17:05:05 +0000 (17:05 +0000)]
Replace the hard-wired type knowledge in TypeCategory() and IsPreferredType()
with system catalog lookups, as was foreseen to be necessary almost since
their creation.  Instead put the information into two new pg_type columns,
typcategory and typispreferred.  Add support for setting these when
creating a user-defined base type.

The category column is just a "char" (i.e. a poor man's enum), allowing
a crude form of user extensibility of the category list: just use an
otherwise-unused character.  This seems sufficient for foreseen uses,
but we could upgrade to having an actual category catalog someday, if
there proves to be a huge demand for custom type categories.

In this patch I have attempted to hew exactly to the behavior of the
previous hardwired logic, except for introducing new type categories for
arrays, composites, and enums.  In particular the default preferred state
for user-defined types remains TRUE.  That seems worth revisiting, but it
should be done as a separate patch from introducing the infrastructure.
Likewise, any adjustment of the standard set of categories should be done
separately.

16 years agoAdd a new, improved version of citext as a contrib module.
Tom Lane [Tue, 29 Jul 2008 18:31:20 +0000 (18:31 +0000)]
Add a new, improved version of citext as a contrib module.

David E. Wheeler

16 years agoCleanup reference to config.pl so it makes sense not only in
Magnus Hagander [Tue, 29 Jul 2008 15:23:44 +0000 (15:23 +0000)]
Cleanup reference to config.pl so it makes sense not only in
SGML source but in the actual web/pdf viewer...

16 years agoDocument which versions of ActivePerl and ActiveTcl are required
Magnus Hagander [Tue, 29 Jul 2008 15:17:27 +0000 (15:17 +0000)]
Document which versions of ActivePerl and ActiveTcl are required
for building on MSVC, and that the free distribution is enough
(no need for the enterprise version).

Per gripe from Martin Zaun.

16 years agoAs noted by Andrew Gierth, there's really no need any more to force a junk
Tom Lane [Sat, 26 Jul 2008 19:15:35 +0000 (19:15 +0000)]
As noted by Andrew Gierth, there's really no need any more to force a junk
filter to be used when INSERT or SELECT INTO has a plan that returns raw
disk tuples.  The virtual-tuple-slot optimizations that were put in place
awhile ago mean that ExecInsert has to do ExecMaterializeSlot, and that
already copies the tuple if it's raw (and does so more efficiently than
a junk filter, too).  So get rid of that logic.  This in turn means that
we can throw away ExecMayReturnRawTuples, which wasn't used for any other
purpose, and was always a kluge anyway.

In passing, move a couple of SELECT-INTO-specific fields out of EState
and into the private state of the SELECT INTO DestReceiver, as was foreseen
in an old comment there.  Also make intorel_receive use ExecMaterializeSlot
not ExecCopySlotTuple, for consistency with ExecInsert and to possibly save
a tuple copy step in some cases.

16 years agoFix parsing of LDAP URLs so it doesn't reject spaces in the "suffix" part.
Tom Lane [Thu, 24 Jul 2008 17:51:55 +0000 (17:51 +0000)]
Fix parsing of LDAP URLs so it doesn't reject spaces in the "suffix" part.
Per report from César Miguel Oliveira Alves.

16 years agoRemove some redundant tests and improve comments in next_token().
Tom Lane [Thu, 24 Jul 2008 17:43:45 +0000 (17:43 +0000)]
Remove some redundant tests and improve comments in next_token().
Cosmetic, but it might make this a bit less confusing to the next reader.

16 years agoRatchet up patch to improve autovacuum wraparound messages.
Alvaro Herrera [Wed, 23 Jul 2008 20:20:10 +0000 (20:20 +0000)]
Ratchet up patch to improve autovacuum wraparound messages.

Simon Riggs

16 years agoUse guc.c's parse_int() instead of pg_atoi() to parse fillfactor in
Tom Lane [Wed, 23 Jul 2008 17:29:53 +0000 (17:29 +0000)]
Use guc.c's parse_int() instead of pg_atoi() to parse fillfactor in
default_reloptions().  The previous coding was really a bug because pg_atoi()
will always throw elog on bad input data, whereas default_reloptions is not
supposed to complain about bad input unless its validate parameter is true.
Right now you could only expose the problem by hand-modifying
pg_class.reloptions into an invalid state, so it doesn't seem worth
back-patching; but we should get it right in HEAD because there might be other
situations in future.  Noted while studying GIN fast-update patch.

16 years agoAbort if Tcl support was configured and no tcl shell was found.
Peter Eisentraut [Wed, 23 Jul 2008 17:07:50 +0000 (17:07 +0000)]
Abort if Tcl support was configured and no tcl shell was found.
This is required because the value is substituted into the pltcl_*mod
scripts.

16 years agoUpdate link to Oleg and Teodor's GIN page.
Tom Lane [Tue, 22 Jul 2008 22:05:24 +0000 (22:05 +0000)]
Update link to Oleg and Teodor's GIN page.
(Extracted from fast-insert patch, since it ought to be back-patched)

16 years agoPublish more openly the fact that autovacuum is working for wraparound
Alvaro Herrera [Mon, 21 Jul 2008 15:27:02 +0000 (15:27 +0000)]
Publish more openly the fact that autovacuum is working for wraparound
protection.

Simon Riggs

16 years agoAdd comment about the two different query strings that ExecuteQuery()
Tom Lane [Mon, 21 Jul 2008 15:26:55 +0000 (15:26 +0000)]
Add comment about the two different query strings that ExecuteQuery()
has to deal with.

16 years agoCode review for array_fill patch: fix inadequate check for array size overflow
Tom Lane [Mon, 21 Jul 2008 04:47:00 +0000 (04:47 +0000)]
Code review for array_fill patch: fix inadequate check for array size overflow
and bogus documentation (dimension arrays are int[] not anyarray).  Also the
errhint() messages seem to be really errdetail(), since there is nothing
heuristic about them.  Some other trivial cosmetic improvements.

16 years agoAdd a pg_dump option --lock-wait-timeout to allow failing the dump if unable
Tom Lane [Sun, 20 Jul 2008 18:43:30 +0000 (18:43 +0000)]
Add a pg_dump option --lock-wait-timeout to allow failing the dump if unable
to acquire shared table locks within a specified amount of time.

David Gould

16 years agoRevert patch so .psqlrc can suppress startup banner:
Bruce Momjian [Sun, 20 Jul 2008 06:08:38 +0000 (06:08 +0000)]
Revert patch so .psqlrc can suppress startup banner:

  In psql, run .psqlrc _after_ printing warnings and banner.