]> granicus.if.org Git - postgresql/log
postgresql
13 years agoSimplify and speed up mapping of index opfamilies to pathkeys.
Tom Lane [Mon, 29 Nov 2010 17:29:42 +0000 (12:29 -0500)]
Simplify and speed up mapping of index opfamilies to pathkeys.

Formerly we looked up the operators associated with each index (caching
them in relcache) and then the planner looked up the btree opfamily
containing such operators in order to build the btree-centric pathkey
representation that describes the index's sort order.  This is quite
pointless for btree indexes: we might as well just use the index's opfamily
information directly.  That saves syscache lookup cycles during planning,
and furthermore allows us to eliminate the relcache's caching of operators
altogether, which may help in reducing backend startup time.

I added code to plancat.c to perform the same type of double lookup
on-the-fly if it's ever faced with a non-btree amcanorder index AM.
If such a thing actually becomes interesting for production, we should
replace that logic with some more-direct method for identifying the
corresponding btree opfamily; but it's not worth spending effort on now.

There is considerably more to do pursuant to my recent proposal to get rid
of sort-operator-based representations of sort orderings, but this patch
grabs some of the low-hanging fruit.  I'll look at the remainder of that
work after the current commitfest.

13 years agoBe consistent about writing "[, ...]" instead "[,...]" in the docs.
Heikki Linnakangas [Mon, 29 Nov 2010 09:49:51 +0000 (11:49 +0200)]
Be consistent about writing "[, ...]" instead "[,...]" in the docs.

Christoph Berg.

13 years agoFix typo.
Robert Haas [Mon, 29 Nov 2010 01:46:11 +0000 (20:46 -0500)]
Fix typo.

Fujii Masao

13 years agoMove call to GetTopTransactionId() earlier in LockAcquire(),
Simon Riggs [Mon, 29 Nov 2010 01:08:02 +0000 (01:08 +0000)]
Move call to GetTopTransactionId() earlier in LockAcquire(),
removing an infrequently occurring race condition in Hot Standby.
An xid must be assigned before a lock appears in shared memory,
rather than immediately after, else GetRunningTransactionLocks()
may see InvalidTransactionId, causing assertion failures during
lock processing on standby.

Bug report and diagnosis by Fujii Masao, fix by me.

13 years agoPoint out in default_tablespace's description that CREATE DATABASE ignores it.
Tom Lane [Sat, 27 Nov 2010 21:08:32 +0000 (16:08 -0500)]
Point out in default_tablespace's description that CREATE DATABASE ignores it.

Per gripe from Andreas Scherbaum.

13 years agoIn libpq/Makefile, use OBJS += as a way to break up long link lines into
Bruce Momjian [Sat, 27 Nov 2010 16:02:44 +0000 (11:02 -0500)]
In libpq/Makefile, use OBJS += as a way to break up long link lines into
something that can be documented.

13 years agoNew contrib module, auth_delay.
Robert Haas [Sat, 27 Nov 2010 12:22:25 +0000 (07:22 -0500)]
New contrib module, auth_delay.

KaiGai Kohei, with a few changes by me.

13 years agoA bit more wordsmithing on the PQping documentation.
Tom Lane [Sat, 27 Nov 2010 07:42:22 +0000 (02:42 -0500)]
A bit more wordsmithing on the PQping documentation.

13 years agoOn further testing, PQping also needs an explicit check for AUTH_REQ.
Tom Lane [Sat, 27 Nov 2010 07:11:45 +0000 (02:11 -0500)]
On further testing, PQping also needs an explicit check for AUTH_REQ.

The pg_fe_sendauth code might fail if it can't handle the authentication
request message type --- if so, ping should still say the server is up.

13 years agoRewrite PQping to be more like what we agreed to last week.
Tom Lane [Sat, 27 Nov 2010 06:30:34 +0000 (01:30 -0500)]
Rewrite PQping to be more like what we agreed to last week.

Basically, we want to distinguish all cases where the connection was
not made from those where it was.  A convenient proxy for this is to
see if we got a message with a SQLSTATE code back from the postmaster.
This presumes that the postmaster will always send us a SQLSTATE in
a failure message, which is true for 7.4 and later postmasters in
every case except fork failure.  (We could possibly complicate the
postmaster code to do something about that, but it seems not worth
the trouble, especially since pg_ctl's response for that case should
be to keep waiting anyway.)

If we did get a SQLSTATE from the postmaster, there are basically only
two cases, as per last week's discussion: ERRCODE_CANNOT_CONNECT_NOW
and everything else.  Any other error code implies that the postmaster
is in principle willing to accept connections, it just didn't like or
couldn't handle this particular request.  We want to make a special
case for ERRCODE_CANNOT_CONNECT_NOW so that "pg_ctl start -w" knows
it should keep waiting.

In passing, pick names for the enum constants that are a tad less
likely to present collision hazards in future.

13 years agoClean up IPv4 vs IPv6 bogosity in connectFailureMessage().
Tom Lane [Sat, 27 Nov 2010 00:16:39 +0000 (19:16 -0500)]
Clean up IPv4 vs IPv6 bogosity in connectFailureMessage().

Newly added code was supposing that "struct sockaddr_in" applies to IPv6.

13 years agoFix portability issues in new src/port/inet_net_ntop.c file.
Tom Lane [Fri, 26 Nov 2010 22:59:10 +0000 (17:59 -0500)]
Fix portability issues in new src/port/inet_net_ntop.c file.

1. Don't #include postgres.h in a frontend build.

2. Don't assume that the backend's symbol PGSQL_AF_INET6 has anything to do
with the constant that will be used by system library functions (because,
in point of fact, it usually doesn't).  Fortunately, PGSQL_AF_INET is equal
to AF_INET, so we can just cater for both sets of values in one case
construct without fear of conflict.

13 years agoAdd more ALTER <object> .. SET SCHEMA commands.
Robert Haas [Fri, 26 Nov 2010 22:27:23 +0000 (17:27 -0500)]
Add more ALTER <object> .. SET SCHEMA commands.

This adds support for changing the schema of a conversion, operator,
operator class, operator family, text search configuration, text search
dictionary, text search parser, or text search template.

Dimitri Fontaine, with assorted corrections and other kibitzing.

13 years agoRemove bogus use of PGDLLIMPORT.
Tom Lane [Fri, 26 Nov 2010 22:05:29 +0000 (17:05 -0500)]
Remove bogus use of PGDLLIMPORT.

That macro should be attached to extern declarations, not actual
definitions of variables.

13 years agoFix significant memory leak in contrib/xml2 functions.
Tom Lane [Fri, 26 Nov 2010 20:20:51 +0000 (15:20 -0500)]
Fix significant memory leak in contrib/xml2 functions.

Most of the functions that execute XPath queries leaked the data structures
created by libxml2.  This memory would not be recovered until end of
session, so it mounts up pretty quickly in any serious use of the feature.
Per report from Pavel Stehule, though this isn't his patch.

Back-patch to all supported branches.

13 years agoAdd inet_net_ntop.c as needed by MSVC, per Magnus.
Bruce Momjian [Fri, 26 Nov 2010 19:39:13 +0000 (14:39 -0500)]
Add inet_net_ntop.c as needed by MSVC, per Magnus.

13 years agoUse conn->raddr consistently for non-connect libpq error reporting.
Bruce Momjian [Fri, 26 Nov 2010 18:26:13 +0000 (13:26 -0500)]
Use conn->raddr consistently for non-connect libpq error reporting.

13 years agoUpdate comment that says we only report last libpq connection failure,
Bruce Momjian [Fri, 26 Nov 2010 16:52:03 +0000 (11:52 -0500)]
Update comment that says we only report last libpq connection failure,
per Peter.

13 years agoUse only addr_cur when reporting connection failures in libpq.
Bruce Momjian [Fri, 26 Nov 2010 16:49:35 +0000 (11:49 -0500)]
Use only addr_cur when reporting connection failures in libpq.

13 years agoAbandon use of Makefile variables in libpq/Makefile because MSVC scrapes
Bruce Momjian [Fri, 26 Nov 2010 16:10:26 +0000 (11:10 -0500)]
Abandon use of Makefile variables in libpq/Makefile because MSVC scrapes
the OBJS lines from that file.

Cleanup where possible.

13 years agoIn libpq/Makefile, merge PERM_PGPORT and OPT_PGPORT into a single
Bruce Momjian [Fri, 26 Nov 2010 15:22:09 +0000 (10:22 -0500)]
In libpq/Makefile, merge PERM_PGPORT and OPT_PGPORT into a single
Makefile variable PGPORT, for clarity.

13 years agoImprove pg_ctl "cannot connect" spacing, per Tom, and wording.
Bruce Momjian [Fri, 26 Nov 2010 15:04:18 +0000 (10:04 -0500)]
Improve pg_ctl "cannot connect" spacing, per Tom, and wording.

13 years agoImprove pg_ctl "cannot connect" warning, per suggestion from Magnus.
Bruce Momjian [Thu, 25 Nov 2010 19:38:20 +0000 (14:38 -0500)]
Improve pg_ctl "cannot connect" warning, per suggestion from Magnus.

13 years agoFor libpq/Makefile OPT_PGPORT, remove .o extension after we test
Bruce Momjian [Thu, 25 Nov 2010 18:19:31 +0000 (13:19 -0500)]
For libpq/Makefile OPT_PGPORT, remove .o extension after we test
configure's LIBOBJS.  Should fix buildfarm failures.

13 years agoAdd PQping and PQpingParams to libpq to allow detection of the server's
Bruce Momjian [Thu, 25 Nov 2010 18:09:38 +0000 (13:09 -0500)]
Add PQping and PQpingParams to libpq to allow detection of the server's
status, including a status where the server is running but refuses a
postgres connection.

Have pg_ctl use this new function.  This fixes the case where pg_ctl
reports that the server is not running (cannot connect) but in fact it
is running.

13 years agoFix getaddrinfo() in pgport to use proper parameters, as detected by
Bruce Momjian [Thu, 25 Nov 2010 17:56:59 +0000 (12:56 -0500)]
Fix getaddrinfo() in pgport to use proper parameters, as detected by
Win32 buildfarm members.

13 years agoRestructure how libpq includes external C files, for clarity.
Bruce Momjian [Thu, 25 Nov 2010 17:51:06 +0000 (12:51 -0500)]
Restructure how libpq includes external C files, for clarity.

13 years agoObject access hook framework, with post-creation hook.
Robert Haas [Thu, 25 Nov 2010 16:48:49 +0000 (11:48 -0500)]
Object access hook framework, with post-creation hook.

After a SQL object is created, we provide an opportunity for security
or logging plugins to get control; for example, a security label provider
could use this to assign an initial security label to newly created
objects.  The basic infrastructure is (hopefully) reusable for other types
of events that might require similar treatment.

KaiGai Kohei, with minor adjustments.

13 years agoDon't raise "identifier will be truncated" messages in dblink
Itagaki Takahiro [Thu, 25 Nov 2010 10:40:58 +0000 (19:40 +0900)]
Don't raise "identifier will be truncated" messages in dblink
except creating new connections.

13 years agoAdd inet_net_ntop.c to .gitignore.
Robert Haas [Thu, 25 Nov 2010 05:12:25 +0000 (00:12 -0500)]
Add inet_net_ntop.c to .gitignore.

13 years agoRemove belt-and-suspenders guards against buffer pin leaks.
Robert Haas [Thu, 25 Nov 2010 05:06:46 +0000 (00:06 -0500)]
Remove belt-and-suspenders guards against buffer pin leaks.

Forcibly releasing all leftover buffer pins should be unnecessary now
that we have a robust ResourceOwner mechanism, and it significantly
increases the cost of process shutdown.  Instead, in an assert-enabled
build, assert that no pins are held; in a non-assert-enabled build, do
nothing.

13 years agoProperly add new inet_net_ntop file to libpq Makefile.
Bruce Momjian [Thu, 25 Nov 2010 02:58:47 +0000 (21:58 -0500)]
Properly add new inet_net_ntop file to libpq Makefile.

13 years agoDocument that a CHECKPOINT before taking a file system snapshot can
Bruce Momjian [Wed, 24 Nov 2010 23:41:28 +0000 (18:41 -0500)]
Document that a CHECKPOINT before taking a file system snapshot can
reduce recovery time.

13 years agoWhen reporting the server as not responding, if the hostname was
Bruce Momjian [Wed, 24 Nov 2010 22:04:19 +0000 (17:04 -0500)]
When reporting the server as not responding, if the hostname was
supplied, also print the IP address.  This allows IPv4 and IPv6 failures
to be distinguished.  Also useful when a hostname resolves to multiple
IP addresses.

Also, remove use of inet_ntoa() and use our own inet_net_ntop() in all
places, including in libpq, because it is thread-safe.

13 years agoCreate the system catalog infrastructure needed for KNNGIST.
Tom Lane [Wed, 24 Nov 2010 19:20:39 +0000 (14:20 -0500)]
Create the system catalog infrastructure needed for KNNGIST.

This commit adds columns amoppurpose and amopsortfamily to pg_amop, and
column amcanorderbyop to pg_am.  For the moment all the entries in
amcanorderbyop are "false", since the underlying support isn't there yet.

Also, extend the CREATE OPERATOR CLASS/ALTER OPERATOR FAMILY commands with
[ FOR SEARCH | FOR ORDER BY sort_operator_family ] clauses to allow the new
columns of pg_amop to be populated, and create pg_dump support for dumping
that information.

I also added some documentation, although it's perhaps a bit premature
given that the feature doesn't do anything useful yet.

Teodor Sigaev, Robert Haas, Tom Lane

13 years agoAdd index entries for more functions
Peter Eisentraut [Tue, 23 Nov 2010 22:00:34 +0000 (00:00 +0200)]
Add index entries for more functions

Also, move index entries into the tables, closer to the function description,
for easier editing in the future.  Resort some tables to be more alphabetical.
Remove the entries for count, max, min, and sum in the tutorial area, because
that was felt to be confusing.

Thom Brown

13 years agoPropagate ALTER TYPE operations to typed tables
Peter Eisentraut [Tue, 23 Nov 2010 20:50:17 +0000 (22:50 +0200)]
Propagate ALTER TYPE operations to typed tables

This adds RESTRICT/CASCADE flags to ALTER TYPE ... ADD/DROP/ALTER/
RENAME ATTRIBUTE to control whether to alter typed tables as well.

13 years agoRemove useless whitespace at end of lines
Peter Eisentraut [Tue, 23 Nov 2010 20:27:50 +0000 (22:27 +0200)]
Remove useless whitespace at end of lines

13 years agoCentralize some ALTER <whatever> .. SET SCHEMA checks.
Robert Haas [Tue, 23 Nov 2010 00:46:15 +0000 (19:46 -0500)]
Centralize some ALTER <whatever> .. SET SCHEMA checks.

Any flavor of ALTER <whatever> .. SET SCHEMA fails if (1) the object
is already in the new schema, (2) either the old or new schema is
a temp schema, or (3) either the old or new schema is the TOAST schema.

Extraced from a patch by Dimitri Fontaine, with additional hacking by me.

13 years agoRemove GucContext parameter from ParseConfigFile
Alvaro Herrera [Mon, 22 Nov 2010 22:00:31 +0000 (19:00 -0300)]
Remove GucContext parameter from ParseConfigFile

13 years agoPut back accidentally-deleted quote_literal() regression tests.
Robert Haas [Mon, 22 Nov 2010 01:46:54 +0000 (20:46 -0500)]
Put back accidentally-deleted quote_literal() regression tests.

13 years agoBump catversion. Should have done this as part of format(text) patch.
Robert Haas [Sun, 21 Nov 2010 11:34:42 +0000 (06:34 -0500)]
Bump catversion.  Should have done this as part of format(text) patch.

13 years agoAdd new SQL function, format(text).
Robert Haas [Sat, 20 Nov 2010 05:21:17 +0000 (00:21 -0500)]
Add new SQL function, format(text).

Currently, three conversion format specifiers are supported: %s for a
string, %L for an SQL literal, and %I for an SQL identifier.  The latter
two are deliberately designed not to overlap with what sprintf() already
supports, in case we want to add more of sprintf()'s functionality here
later.

Patch by Pavel Stehule, heavily revised by me.  Reviewed by Jeff Janes
and, in earlier versions, by Itagaki Takahiro and Tom Lane.

13 years agoFurther cleanup of indxpath logic related to IndexOptInfo.opfamily array.
Tom Lane [Sat, 20 Nov 2010 20:07:16 +0000 (15:07 -0500)]
Further cleanup of indxpath logic related to IndexOptInfo.opfamily array.

We no longer need the terminating zero entry in opfamily[], so get rid of
it.  Also replace assorted ad-hoc looping logic with simple for and foreach
constructs.  This code is now noticeably more readable than it was an hour
ago; credit to Robert for seeing that it could be simplified.

13 years agoMinor cleanup of indxpath.c.
Robert Haas [Sat, 20 Nov 2010 18:57:27 +0000 (13:57 -0500)]
Minor cleanup of indxpath.c.

Eliminate some superfluous notational complexity around
match_clause_to_indexcol(), and rip out the DoneMatchingIndexKeys
crock.

13 years agoAssorted further cleanup for integer-conversion patch.
Tom Lane [Sat, 20 Nov 2010 17:09:36 +0000 (12:09 -0500)]
Assorted further cleanup for integer-conversion patch.

Avoid depending on LL notation, which is likely to not work in pre-C99
compilers; don't pointlessly use INT32_MIN/INT64_MIN in code that has
the numerical value hard-wired into it anyway; remove some gratuitous
style inconsistencies between pg_ltoa and pg_lltoa; fix int2 test case
so it actually tests int2.

13 years agoExpose quote_literal_cstr() from core.
Robert Haas [Sat, 20 Nov 2010 15:04:48 +0000 (10:04 -0500)]
Expose quote_literal_cstr() from core.

This eliminates the need for inefficient implementions of this
functionality in both contrib/dblink and contrib/tablefunc, so remove
them.  The upcoming patch implementing an in-core format() function
will also require this functionality.

In passing, add some regression tests.

13 years agoUpdate int8-exp-three-digits.out to match new contents of int8.out.
Robert Haas [Sat, 20 Nov 2010 12:06:52 +0000 (07:06 -0500)]
Update int8-exp-three-digits.out to match new contents of int8.out.

13 years agoAttempt to fix breakage caused by signed integer conversion patch.
Robert Haas [Sat, 20 Nov 2010 06:07:04 +0000 (01:07 -0500)]
Attempt to fix breakage caused by signed integer conversion patch.

Use INT_MIN rather than INT32_MIN as we do elsewhere in the code, and
try to work around nonexistence of INT64_MIN if necessary.  Adjust the
new regression tests to something hopefully saner, per observation by
Tom Lane.

13 years agoFix leakage of cost_limit when multiple autovacuum workers are active.
Tom Lane [Sat, 20 Nov 2010 03:28:20 +0000 (22:28 -0500)]
Fix leakage of cost_limit when multiple autovacuum workers are active.

When using default autovacuum_vac_cost_limit, autovac_balance_cost relied
on VacuumCostLimit to contain the correct global value ... but after the
first time through in a particular worker process, it didn't, because we'd
trashed it in previous iterations.  Depending on the state of other autovac
workers, this could result in a steady reduction of the effective
cost_limit setting as a particular worker processed more and more tables,
causing it to go slower and slower.  Spotted by Simon Poole (bug #5759).
Fix by saving and restoring the GUC variables in the loop in do_autovacuum.

In passing, improve a few comments.

Back-patch to 8.3 ... the cost rebalancing code has been buggy since it was
put in.

13 years agoSpeed up conversion of signed integers to C strings.
Robert Haas [Sat, 20 Nov 2010 03:13:11 +0000 (22:13 -0500)]
Speed up conversion of signed integers to C strings.

A hand-coded implementation turns out to be much faster than calling
printf().  In passing, add a few more regresion tests.

Andres Freund, with assorted, mostly cosmetic changes.

13 years agoImprove relation width estimation for subqueries.
Tom Lane [Fri, 19 Nov 2010 22:31:50 +0000 (17:31 -0500)]
Improve relation width estimation for subqueries.

As per the ancient comment for set_rel_width, it really wasn't much good
for relations that aren't plain tables: it would never find any stats and
would always fall back on datatype-based estimates, which are often pretty
silly.  Fix that by copying up width estimates from the subquery planning
process.

At some point we might want to do this for CTEs too, but that would be a
significantly more invasive patch because the sub-PlannerInfo is no longer
accessible by the time it's needed.  I refrained from doing anything about
that, partly for fear of breaking the unmerged CTE-related patches.

In passing, also generate less bogus width estimates for whole-row Vars.

Per a gripe from Jon Nelson.

13 years agoImprove plpgsql's error reporting for no-such-column cases.
Tom Lane [Thu, 18 Nov 2010 22:06:57 +0000 (17:06 -0500)]
Improve plpgsql's error reporting for no-such-column cases.

Given a column reference foo.bar, where there is a composite plpgsql
variable foo but it doesn't contain a column bar, the pre-9.0 coding would
immediately throw a "record foo has no field bar" error.  In 9.0 the parser
hook instead falls through to let the core parser see if it can resolve the
reference.  If not, you get a complaint about "missing FROM-clause entry
for table foo", which while in some sense correct isn't terribly helpful.
Complicate things a bit so that we can throw the old error message if
neither the core parser nor the hook are able to resolve the column
reference, while not changing the behavior in any other case.
Per bug #5757 from Andrey Galkin.

13 years agoAdd pg_describe_object function
Alvaro Herrera [Thu, 18 Nov 2010 19:33:48 +0000 (16:33 -0300)]
Add pg_describe_object function

This function is useful to obtain textual descriptions of objects as
stored in pg_depend.

13 years agoDept of second thoughts: don't try to push LIMIT below a SRF.
Tom Lane [Thu, 18 Nov 2010 16:53:49 +0000 (11:53 -0500)]
Dept of second thoughts: don't try to push LIMIT below a SRF.

If we have Limit->Result->Sort, the Result might be projecting a tlist
that contains a set-returning function.  If so, it's possible for the
SRF to sometimes return zero rows, which means we could need to fetch
more than N rows from the Sort in order to satisfy LIMIT N.
So top-N sorting cannot be used in this scenario.

13 years agoMinor corrections to dummy_seclabel documentation.
Robert Haas [Thu, 18 Nov 2010 15:28:00 +0000 (10:28 -0500)]
Minor corrections to dummy_seclabel documentation.

Problems noted by Thom Brown.

13 years agoRemove unused parameter. Patch by Shigeru Hanada.
Heikki Linnakangas [Thu, 18 Nov 2010 08:04:02 +0000 (10:04 +0200)]
Remove unused parameter. Patch by Shigeru Hanada.

13 years agoFurther fallout from the MergeAppend patch.
Tom Lane [Thu, 18 Nov 2010 05:30:10 +0000 (00:30 -0500)]
Further fallout from the MergeAppend patch.

Fix things so that top-N sorting can be used in child Sort nodes of a
MergeAppend node, when there is a LIMIT and no intervening joins or
grouping.  Actually doing this on the executor side isn't too bad,
but it's a bit messier to get the planner to cost it properly.
Per gripe from Robert Haas.

In passing, fix an oversight in the original top-N-sorting patch:
query_planner should not assume that a LIMIT can be used to make an
explicit sort cheaper when there will be grouping or aggregation in
between.  Possibly this should be back-patched, but I'm not sure the
mistake is serious enough to be a real problem in practice.

13 years agoDocument the dummy_seclabel contrib module.
Robert Haas [Thu, 18 Nov 2010 01:46:19 +0000 (20:46 -0500)]
Document the dummy_seclabel contrib module.

KaiGai Kohei, with editing and markup fixes by me.

13 years agoMake TRUNCATE ... RESTART IDENTITY restart sequences transactionally.
Tom Lane [Wed, 17 Nov 2010 21:42:18 +0000 (16:42 -0500)]
Make TRUNCATE ... RESTART IDENTITY restart sequences transactionally.

In the previous coding, we simply issued ALTER SEQUENCE RESTART commands,
which do not roll back on error.  This meant that an error between
truncating and committing left the sequences out of sync with the table
contents, with potentially bad consequences as were noted in a Warning on
the TRUNCATE man page.

To fix, create a new storage file (relfilenode) for a sequence that is to
be reset due to RESTART IDENTITY.  If the transaction aborts, we'll
automatically revert to the old storage file.  This acts just like a
rewriting ALTER TABLE operation.  A penalty is that we have to take
exclusive lock on the sequence, but since we've already got exclusive lock
on its owning table, that seems unlikely to be much of a problem.

The interaction of this with usual nontransactional behaviors of sequence
operations is a bit weird, but it's hard to see what would be completely
consistent.  Our choice is to discard cached-but-unissued sequence values
both when the RESTART is executed, and at rollback if any; but to not touch
the currval() state either time.

In passing, move the sequence reset operations to happen before not after
any AFTER TRUNCATE triggers are fired.  The previous ordering was not
logically sensible, but was forced by the need to minimize inconsistency
if the triggers caused an error.  Transactional rollback is a much better
solution to that.

Patch by Steve Singer, rather heavily adjusted by me.

13 years agoAdditional fixes for parallel make
Peter Eisentraut [Wed, 17 Nov 2010 06:08:41 +0000 (08:08 +0200)]
Additional fixes for parallel make

Add some additional dependencies to constrain the build order to prevent
parallel make from failing.  In the case of src/Makefile, this is likely to be
too complicated to be worth maintaining, so just add .NOTPARALLEL to get the
old for-loop-like behavior.

More fine-tuning might be necessary for some platforms or configurations.

13 years agoRequire VALUE keyword when extending an enum type. Based on a patch from Alvaro Herrera.
Andrew Dunstan [Wed, 17 Nov 2010 03:18:33 +0000 (22:18 -0500)]
Require VALUE keyword when extending an enum type. Based on a patch from Alvaro Herrera.

13 years agoSend paramHandle to subprocesses as 64-bit on Win64
Magnus Hagander [Tue, 16 Nov 2010 11:40:56 +0000 (12:40 +0100)]
Send paramHandle to subprocesses as 64-bit on Win64

The handle to the shared memory segment containing startup
parameters was sent as 32-bit even on 64-bit systems. Since
HANDLEs appear to be allocated sequentially this shouldn't
be a problem until we reach 2^32 open handles in the postmaster,
but a 64-bit value should be sent across as 64-bit, and not
zero out the top 32 bits.

Noted by Tom Lane.

13 years agoThe GiST scan algorithm uses LSNs to detect concurrent pages splits, but
Heikki Linnakangas [Tue, 16 Nov 2010 09:02:11 +0000 (11:02 +0200)]
The GiST scan algorithm uses LSNs to detect concurrent pages splits, but
temporary indexes are not WAL-logged. We used a constant LSN for temporary
indexes, on the assumption that we don't need to worry about concurrent page
splits in temporary indexes because they're only visible to the current
session. But that assumption is wrong, it's possible to insert rows and
split pages in the same session, while a scan is in progress. For example,
by opening a cursor and fetching some rows, and INSERTing new rows before
fetching some more.

Fix by generating fake increasing LSNs, used in place of real LSNs in
temporary GiST indexes.

13 years agoFix aboriginal mistake in plpython's set-returning-function support.
Tom Lane [Mon, 15 Nov 2010 19:26:55 +0000 (14:26 -0500)]
Fix aboriginal mistake in plpython's set-returning-function support.

We must stay in the function's SPI context until done calling the iterator
that returns the set result.  Otherwise, any attempt to invoke SPI features
in the python code called by the iterator will malfunction.  Diagnosis and
patch by Jan Urbanski, per bug report from Jean-Baptiste Quenot.

Back-patch to 8.2; there was no support for SRFs in previous versions of
plpython.

13 years agoAdd new buffers_backend_fsync field to pg_stat_bgwriter.
Robert Haas [Mon, 15 Nov 2010 17:42:59 +0000 (12:42 -0500)]
Add new buffers_backend_fsync field to pg_stat_bgwriter.

This new field counts the number of times that a backend which writes a
buffer out to the OS must also fsync() it.  This happens when the
bgwriter fsync request queue is full, and is generally detrimental to
performance, so it's good to know when it's happening.  Along the way,
log a new message at level DEBUG1 whenever we fail to hand off an fsync,
so that the problem can also be seen in examination of log files
(if the logging level is cranked up high enough).

Greg Smith, with minor tweaks by me.

13 years agoRemove outdated comments from the regression test files.
Robert Haas [Mon, 15 Nov 2010 15:55:43 +0000 (10:55 -0500)]
Remove outdated comments from the regression test files.

Since 2004, int2 and int4 operators do detect overflow; this was fixed by
commit 4171bb869f234281a13bb862d3b1e577bf336242.

Extracted from a larger patch by Andres Freund.

13 years agoFix copy-and-pasteo a little more completely.
Robert Haas [Mon, 15 Nov 2010 15:10:58 +0000 (10:10 -0500)]
Fix copy-and-pasteo a little more completely.

copydir.c is no longer in src/port

13 years agoFix copy-and-pasteo.
Alvaro Herrera [Mon, 15 Nov 2010 14:52:56 +0000 (11:52 -0300)]
Fix copy-and-pasteo.

13 years agoAvoid spurious Hot Standby conflicts from btree delete records.
Simon Riggs [Mon, 15 Nov 2010 09:30:13 +0000 (09:30 +0000)]
Avoid spurious Hot Standby conflicts from btree delete records.
Similar conflicts were already avoided for related record types.
Massive over-caution resulted in a usability bug. Clear theoretical
basis for doing this is now confirmed by me.
Request to remove from Heikki (twice), over-caution by me.

13 years agoAdjust comments about what's needed to avoid make 3.80 bug.
Tom Lane [Mon, 15 Nov 2010 06:00:48 +0000 (01:00 -0500)]
Adjust comments about what's needed to avoid make 3.80 bug.

... based on further tracing through that code.

13 years agoCorrect poor grammar in comment.
Robert Haas [Mon, 15 Nov 2010 04:10:45 +0000 (23:10 -0500)]
Correct poor grammar in comment.

13 years agoFix bug in cube picksplit algorithm.
Robert Haas [Mon, 15 Nov 2010 02:27:34 +0000 (21:27 -0500)]
Fix bug in cube picksplit algorithm.

Alexander Korotkov

13 years agoCleanup various comparisons with the constant "true".
Robert Haas [Mon, 15 Nov 2010 02:03:48 +0000 (21:03 -0500)]
Cleanup various comparisons with the constant "true".

Itagaki Takahiro, with slight modifications.

13 years agoFix canAcceptConnections() bugs introduced by replication-related patches.
Tom Lane [Sun, 14 Nov 2010 20:57:37 +0000 (15:57 -0500)]
Fix canAcceptConnections() bugs introduced by replication-related patches.

We must not return any "okay to proceed" result code without having checked
for too many children, else we might fail later on when trying to add the
new child to one of the per-child state arrays.  It's not clear whether
this oversight explains Stefan Kaltenbrunner's recent report, but it could
certainly produce a similar symptom.

Back-patch to 8.4; the logic was not broken before that.

13 years agoWork around make 3.80 bug with long expansions of $(eval).
Tom Lane [Sun, 14 Nov 2010 17:50:06 +0000 (12:50 -0500)]
Work around make 3.80 bug with long expansions of $(eval).

3.80 breaks if the expansion of $(eval) is long enough to require expansion
of its internal variable_buffer.  For the purposes of $(recurse) that means
it'll work so long as no single evaluation of _create_recursive_target
produces more than 195 bytes.  We can manage that by looping over
subdirectories outside the call instead of complicating the generated rule.
This coding is simpler and more readable anyway.

Or at least, this works for me.  We'll see if the buildfarm likes it.

13 years agoAdd missing outfuncs.c support for struct InhRelation.
Tom Lane [Sat, 13 Nov 2010 05:34:45 +0000 (00:34 -0500)]
Add missing outfuncs.c support for struct InhRelation.

This is needed to support debug_print_parse, per report from Jon Nelson.
Cursory testing via the regression tests suggests we aren't missing
anything else.

13 years agoAttempt to fix MSVC builds broken by parallel make changes.
Andrew Dunstan [Sat, 13 Nov 2010 03:55:15 +0000 (22:55 -0500)]
Attempt to fix MSVC builds broken by parallel make changes.

13 years agoMove copydir() prototype into its own header file.
Robert Haas [Fri, 12 Nov 2010 21:39:53 +0000 (16:39 -0500)]
Move copydir() prototype into its own header file.

Having this in src/include/port.h makes no sense, now that copydir.c lives
in src/backend/strorage rather than src/port.  Along the way, remove an
obsolete comment from contrib/pg_upgrade that makes reference to the old
location.

13 years agoFix old oversight in const-simplification of COALESCE() expressions.
Tom Lane [Fri, 12 Nov 2010 20:14:51 +0000 (15:14 -0500)]
Fix old oversight in const-simplification of COALESCE() expressions.

Once we have found a non-null constant argument, there is no need to
examine additional arguments of the COALESCE.  The previous coding got it
right only if the constant was in the first argument position; otherwise
it tried to simplify following arguments too, leading to unexpected
behavior like this:

regression=# select coalesce(f1, 42, 1/0) from int4_tbl;
ERROR:  division by zero

It's a minor corner case, but a bug is a bug, so back-patch all the way.

13 years agoImproved parallel make support
Peter Eisentraut [Fri, 12 Nov 2010 20:15:16 +0000 (22:15 +0200)]
Improved parallel make support

Replace for loops in makefiles with proper dependencies.  Parallel
make can now span across directories.  Also, make -k and make -q work
properly.

GNU make 3.80 or newer is now required.

13 years agodocs -> documentation
Peter Eisentraut [Fri, 12 Nov 2010 19:25:57 +0000 (21:25 +0200)]
docs -> documentation

13 years agoAdd missing support for removing foreign data wrapper / server privileges
Heikki Linnakangas [Fri, 12 Nov 2010 13:19:14 +0000 (15:19 +0200)]
Add missing support for removing foreign data wrapper / server privileges
belonging to a user at DROP OWNED BY. Foreign data wrappers and servers
don't do anything useful yet, which is why no-one has noticed, but since we
have them, seems prudent to fix this. Per report from Chetan Suttraway.
Backpatch to 9.0, 8.4 has the same problem but this patch didn't apply
there so I'm not going to bother.

13 years agoFix bug introduced by the recent patch to check that the checkpoint redo
Heikki Linnakangas [Thu, 11 Nov 2010 17:21:49 +0000 (19:21 +0200)]
Fix bug introduced by the recent patch to check that the checkpoint redo
location read from backup label file can be found: wasShutdown was set
incorrectly when a backup label file was found.

Jeff Davis, with a little tweaking by me.

13 years agoFix line_construct_pm() for the case of "infinite" (DBL_MAX) slope.
Tom Lane [Wed, 10 Nov 2010 21:51:39 +0000 (16:51 -0500)]
Fix line_construct_pm() for the case of "infinite" (DBL_MAX) slope.

This code was just plain wrong: what you got was not a line through the
given point but a line almost indistinguishable from the Y-axis, although
not truly vertical.  The only caller that tries to use this function with
m == DBL_MAX is dist_ps_internal for the case where the lseg is horizontal;
it would end up producing the distance from the given point to the place
where the lseg's line crosses the Y-axis.  That function is used by other
operators too, so there are several operators that could compute wrong
distances from a line segment to something else.  Per bug #5745 from
jindiax.

Back-patch to all supported branches.

13 years agoMention that pg_upgrade requires compatible 32/64-bit binaries.
Bruce Momjian [Wed, 10 Nov 2010 14:08:30 +0000 (14:08 +0000)]
Mention that pg_upgrade requires compatible 32/64-bit binaries.

14 years agoAdd monitoring function pg_last_xact_replay_timestamp.
Robert Haas [Wed, 10 Nov 2010 03:39:43 +0000 (22:39 -0500)]
Add monitoring function pg_last_xact_replay_timestamp.

Fujii Masao, with a little wordsmithing by me.

14 years agoDon't use __declspec (dllimport) for PGDLLEXPORT to reduce warnings
Itagaki Takahiro [Wed, 10 Nov 2010 03:17:43 +0000 (12:17 +0900)]
Don't use __declspec (dllimport) for PGDLLEXPORT to reduce warnings
by gcc version 4 on mingw and cygwin. We don't use dllexport here
because dllexport and dllwrap don't work well together.

14 years agoMerge docs for CREATE CONSTRAINT TRIGGER and CREATE TRIGGER
Alvaro Herrera [Tue, 9 Nov 2010 19:52:46 +0000 (16:52 -0300)]
Merge docs for CREATE CONSTRAINT TRIGGER and CREATE TRIGGER

14 years agoImprove pg_ctl's man page.
Tom Lane [Tue, 9 Nov 2010 19:05:11 +0000 (14:05 -0500)]
Improve pg_ctl's man page.

Explicitly document that the -o options of pg_ctl init mode are meant
for initdb, not postgres (Euler Taveira de Oliveira).  Assorted other
copy-editing (Tom).

14 years agoRepair memory leakage while ANALYZE-ing complex index expressions.
Tom Lane [Tue, 9 Nov 2010 16:28:18 +0000 (11:28 -0500)]
Repair memory leakage while ANALYZE-ing complex index expressions.

The general design of memory management in Postgres is that intermediate
results computed by an expression are not freed until the end of the tuple
cycle.  For expression indexes, ANALYZE has to re-evaluate each expression
for each of its sample rows, and it wasn't bothering to free intermediate
results until the end of processing of that index.  This could lead to very
substantial leakage if the intermediate results were large, as in a recent
example from Jakub Ouhrabka.  Fix by doing ResetExprContext for each sample
row.  This necessitates adding a datumCopy step to ensure that the final
expression value isn't recycled too.  Some quick testing suggests that this
change adds at worst about 10% to the time needed to analyze a table with
an expression index; which is annoying, but seems a tolerable price to pay
to avoid unexpected out-of-memory problems.

Back-patch to all supported branches.

14 years agoIn rewriteheap.c (used by VACUUM FULL and CLUSTER), calculate the tuple
Heikki Linnakangas [Tue, 9 Nov 2010 15:40:09 +0000 (17:40 +0200)]
In rewriteheap.c (used by VACUUM FULL and CLUSTER), calculate the tuple
length stored in the line pointer the same way it's calculated in the normal
heap_insert() codepath. As noted by Jeff Davis, the length stored by
raw_heap_insert() included padding but the one stored by the normal codepath
did not. While the mismatch seems to be harmless, inconsistency isn't good,
and the normal codepath has received a lot more testing over the years.

Backpatch to 8.3 where the heap rewrite code was introduced.

14 years agoplpython has plpy.Error instead of plpy.ERROR
Alvaro Herrera [Tue, 9 Nov 2010 14:00:56 +0000 (11:00 -0300)]
plpython has plpy.Error instead of plpy.ERROR

Author: Marti Raudsepp <marti@juffo.org>

14 years agoFix error handling in temp-file deletion with log_temp_files active.
Tom Lane [Tue, 9 Nov 2010 03:14:48 +0000 (22:14 -0500)]
Fix error handling in temp-file deletion with log_temp_files active.

The original coding in FileClose() reset the file-is-temp flag before
unlinking the file, so that if control came back through due to an error,
it wouldn't try to unlink the file twice.  This was correct when written,
but when the log_temp_files feature was added, the logging action was put
in between those two steps.  An error occurring during the logging action
--- such as a query cancel --- would result in the unlink not getting done
at all, as in recent report from Michael Glaesemann.

To fix this, make sure that we do both the stat and the unlink before doing
anything that could conceivably CHECK_FOR_INTERRUPTS.  There is a judgment
call here, which is which log message to emit first: if you can see only
one, which should it be?  I chose to log unlink failure at the risk of
losing the log_temp_files log message --- after all, if the unlink does
fail, the temp file is still there for you to see.

Back-patch to all versions that have log_temp_files.  The code was OK
before that.

14 years agoFix permanent memory leak in autovacuum launcher
Alvaro Herrera [Mon, 8 Nov 2010 21:35:42 +0000 (18:35 -0300)]
Fix permanent memory leak in autovacuum launcher

get_database_list was uselessly allocating its output data, along some
created along the way, in a permanent memory context.  This didn't
matter when autovacuum was a single, short-lived process, but now that
the launcher is permanent, it shows up as a permanent leak.

To fix, make get_database list allocate its output data in the caller's
context, which is in charge of freeing it when appropriate; and the
memory leaked by heap_beginscan et al is allocated in a throwaway
transaction context.

14 years agoUse appendrel planning logic for top-level UNION ALL structures.
Tom Lane [Mon, 8 Nov 2010 20:15:02 +0000 (15:15 -0500)]
Use appendrel planning logic for top-level UNION ALL structures.

Formerly, we could convert a UNION ALL structure inside a subquery-in-FROM
into an appendrel, as a side effect of pulling up the subquery into its
parent; but top-level UNION ALL always caused use of plan_set_operations().
That didn't matter too much because you got an Append-based plan either
way.  However, now that the appendrel code can do things with MergeAppend,
it's worthwhile to hack up the top-level case so it also uses appendrels.

This is a bit of a stopgap; but going much further than this will require
a major rewrite of the planner's set-operations support, which I'm not
prepared to undertake now.  For the moment let's grab the low-hanging fruit.

14 years agoPrevent invoking I/O conversion casts via functional/attribute notation.
Tom Lane [Sun, 7 Nov 2010 18:03:19 +0000 (13:03 -0500)]
Prevent invoking I/O conversion casts via functional/attribute notation.

PG 8.4 added a built-in feature for casting pretty much any data type to
string types (text, varchar, etc).  We allowed this to work in any of the
historically-allowed syntaxes: CAST(x AS text), x::text, text(x), or
x.text.  However, multiple complaints have shown that it's too easy to
invoke such casts unintentionally in the latter two styles, particularly
field selection.  To cure the problem with the narrowest possible change
of behavior, disallow use of I/O conversion casts from composite types to
string types via functional/attribute syntax.  The new functionality is
still available via cast syntax.

In passing, document the equivalence of functional and attribute syntax
in a more visible place.

14 years agoImplement an "S" option for psql's \dn command.
Tom Lane [Sun, 7 Nov 2010 01:41:14 +0000 (21:41 -0400)]
Implement an "S" option for psql's \dn command.

\dn without "S" now hides all pg_XXX schemas as well as information_schema.
Thus, in a bare database you'll only see "public".  ("public" is considered
a user schema, not a system schema, mainly because it's droppable.)
Per discussion back in late September.

14 years agoAdd support for detecting register-stack overrun on IA64.
Tom Lane [Sat, 6 Nov 2010 23:36:29 +0000 (19:36 -0400)]
Add support for detecting register-stack overrun on IA64.

Per recent investigation, the register stack can grow faster than the
regular stack depending on compiler and choice of options.  To avoid
crashes we must check both stacks in check_stack_depth().

Since this is poorly-tested code, committing only to HEAD for the
moment ... but we might want to consider back-patching later.

14 years agoMake get_stack_depth_rlimit() handle RLIM_INFINITY more sanely.
Tom Lane [Sat, 6 Nov 2010 20:50:18 +0000 (16:50 -0400)]
Make get_stack_depth_rlimit() handle RLIM_INFINITY more sanely.

Rather than considering this result as meaning "unknown", report LONG_MAX.
This won't change what superusers can set max_stack_depth to, but it will
cause InitializeGUCOptions() to set the built-in default to 2MB not 100kB.
The latter seems like a fairly unreasonable interpretation of "infinity".
Per my investigation of odd buildfarm results as well as an old complaint
from Heikki.

Since this should persuade all the buildfarm animals to use a reasonable
stack depth setting during "make check", revert previous patch that dumbed
down a recursive regression test to only 5 levels.