]> granicus.if.org Git - postgresql/log
postgresql
11 years agoBand-aid for regression test expected-results problem with timestamptz.
Tom Lane [Sun, 10 Mar 2013 19:07:38 +0000 (15:07 -0400)]
Band-aid for regression test expected-results problem with timestamptz.

We probably need to tell the remote server to use specific timezone and
datestyle settings, and maybe other things.  But for now let's just hack
the postgres_fdw regression test to not provoke failures when run in
non-EST5EDT environments.  Per buildfarm.

11 years agoSupport writable foreign tables.
Tom Lane [Sun, 10 Mar 2013 18:14:53 +0000 (14:14 -0400)]
Support writable foreign tables.

This patch adds the core-system infrastructure needed to support updates
on foreign tables, and extends contrib/postgres_fdw to allow updates
against remote Postgres servers.  There's still a great deal of room for
improvement in optimization of remote updates, but at least there's basic
functionality there now.

KaiGai Kohei, reviewed by Alexander Korotkov and Laurenz Albe, and rather
heavily revised by Tom Lane.

11 years agoReport pg_hba line number and contents when users fail to log in
Magnus Hagander [Sun, 10 Mar 2013 14:54:37 +0000 (15:54 +0100)]
Report pg_hba line number and contents when users fail to log in

Instead of just reporting which user failed to log in, log both the
line number in the active pg_hba.conf file (which may not match reality
in case the file has been edited and not reloaded) and the contents of
the matching line (which will always be correct), to make it easier
to debug incorrect pg_hba.conf files.

The message to the client remains unchanged and does not include this
information, to prevent leaking security sensitive information.

Reviewed by Tom Lane and Dean Rasheed

11 years agoForgot catversion bump in the SP-GiST adjacent support patch.
Heikki Linnakangas [Fri, 8 Mar 2013 15:12:38 +0000 (17:12 +0200)]
Forgot catversion bump in the SP-GiST adjacent support patch.

11 years agoSP-GiST support of the range adjacent operator -|-
Heikki Linnakangas [Fri, 8 Mar 2013 13:03:19 +0000 (15:03 +0200)]
SP-GiST support of the range adjacent operator -|-

Alexander Korotkov, reviewed by Jeff Davis.

11 years agoRemove unnecessary #ifdef FRONTEND check to choose between strdup and pstrdup.
Heikki Linnakangas [Fri, 8 Mar 2013 09:21:44 +0000 (11:21 +0200)]
Remove unnecessary #ifdef FRONTEND check to choose between strdup and pstrdup.

The libpgcommon patch made that unnecessary, palloc and friends are now
available in frontend programs too, mapped to plain old malloc.

As pointed out by Alvaro Herrera.

11 years agoFix typo in docs for ALTER MATERIALIZED VIEW.
Kevin Grittner [Thu, 7 Mar 2013 17:39:36 +0000 (11:39 -0600)]
Fix typo in docs for ALTER MATERIALIZED VIEW.

Fujii Masao

11 years agoFix infinite-loop risk in fixempties() stage of regex compilation.
Tom Lane [Thu, 7 Mar 2013 16:51:03 +0000 (11:51 -0500)]
Fix infinite-loop risk in fixempties() stage of regex compilation.

The previous coding of this function could get into situations where it
would never terminate, because successive passes would re-add EMPTY arcs
that had been removed by the previous pass.  Rewrite the function
completely using a new algorithm that is guaranteed to terminate, and
also seems to be usually faster than the old one.  Per Tcl bugs 3604074
and 3606683.

Tom Lane and Don Porter

11 years agoFix tli history file fetching, broken by the archive after crash recevery patch.
Heikki Linnakangas [Thu, 7 Mar 2013 10:18:41 +0000 (12:18 +0200)]
Fix tli history file fetching, broken by the archive after crash recevery patch.

If we were about to enter archive recovery after crash recovery, we scanned
the archive for the latest tli history file, and set the recovery target
timeline to that. However, when we actually tried to read the history file,
we would not fetch the file from the archive, because we were not in archive
recovery yet.

To fix, make readTimeLineHistory and existsTimeLineHistory to always fetch
the file from archive if archive recovery is requested, even if we're not in
archive recovery yet.

Backpatch to 9.2. Mitsumasa KONDO

11 years agoArrange to cache FdwRoutine structs in foreign tables' relcache entries.
Tom Lane [Thu, 7 Mar 2013 04:47:38 +0000 (23:47 -0500)]
Arrange to cache FdwRoutine structs in foreign tables' relcache entries.

This saves several catalog lookups per reference.  It's not all that
exciting right now, because we'd managed to minimize the number of places
that need to fetch the data; but the upcoming writable-foreign-tables patch
needs this info in a lot more places.

11 years agoAdd fe_memutils.c to nls.mk where used
Peter Eisentraut [Thu, 7 Mar 2013 04:45:16 +0000 (23:45 -0500)]
Add fe_memutils.c to nls.mk where used

11 years agoCode beautification for object-access hook machinery.
Robert Haas [Thu, 7 Mar 2013 01:52:06 +0000 (20:52 -0500)]
Code beautification for object-access hook machinery.

KaiGai Kohei

11 years agoAdjust nls.mk for split out of wait_error.c
Peter Eisentraut [Thu, 7 Mar 2013 01:25:25 +0000 (20:25 -0500)]
Adjust nls.mk for split out of wait_error.c

11 years agoFix missing #include in commands/matview.h.
Tom Lane [Wed, 6 Mar 2013 23:20:51 +0000 (18:20 -0500)]
Fix missing #include in commands/matview.h.

It needs parsenodes.h to be compilable regardless of previous headers.

11 years agoWAL-log the extension of a new empty MV heap which is being populated.
Kevin Grittner [Wed, 6 Mar 2013 23:15:34 +0000 (17:15 -0600)]
WAL-log the extension of a new empty MV heap which is being populated.

This page with no tuples is used to distinguish an MV containing a
zero-row resultset of its backing query from an MV which has not
been populated by its backing query.  Unless WAL-logged, recovery
and hot standby don't work correctly with what should be an empty
but scannable materialized view.

Fixes bugs reported by Fujii Masao in testing MVs on hot standby.

11 years agoAdd docs for pg_matviews, which were missed in the initial MV commit.
Kevin Grittner [Wed, 6 Mar 2013 21:35:59 +0000 (15:35 -0600)]
Add docs for pg_matviews, which were missed in the initial MV commit.

11 years agoFix broken pg_dump for 9.0 and 9.1 caused by the MV patch.
Kevin Grittner [Wed, 6 Mar 2013 15:51:49 +0000 (09:51 -0600)]
Fix broken pg_dump for 9.0 and 9.1 caused by the MV patch.

Per report and suggestion from Bernd Helmle

11 years agoFix message typo.
Andrew Dunstan [Wed, 6 Mar 2013 14:53:38 +0000 (09:53 -0500)]
Fix message typo.

11 years agopg_ctl: Add comma to message
Peter Eisentraut [Wed, 6 Mar 2013 04:22:12 +0000 (23:22 -0500)]
pg_ctl: Add comma to message

11 years agoRemove dependency on the DLL of pythonxx.def file.
Andrew Dunstan [Wed, 6 Mar 2013 00:24:29 +0000 (19:24 -0500)]
Remove dependency on the DLL of pythonxx.def file.

This confused Cygwin's make because of the colon in the path. The
DLL isn't likely to change under us so preserving the dependency
doesn't gain us much, and it's useful to be able to do a native
Windows build with the Cygwin mingw toolset.

Noah Misch.

11 years agoFix to_char() to use ASCII-only case-folding rules where appropriate.
Tom Lane [Tue, 5 Mar 2013 18:02:30 +0000 (13:02 -0500)]
Fix to_char() to use ASCII-only case-folding rules where appropriate.

formatting.c used locale-dependent case folding rules in some code paths
where the result isn't supposed to be locale-dependent, for example
to_char(timestamp, 'DAY').  Since the source data is always just ASCII
in these cases, that usually didn't matter ... but it does matter in
Turkish locales, which have unusual treatment of "i" and "I".  To confuse
matters even more, the misbehavior was only visible in UTF8 encoding,
because in single-byte encodings we used pg_toupper/pg_tolower which
don't have locale-specific behavior for ASCII characters.  Fix by providing
intentionally ASCII-only case-folding functions and using these where
appropriate.  Per bug #7913 from Adnan Dursun.  Back-patch to all active
branches, since it's been like this for a long time.

11 years agoBump catversion because of new function in the materialized view patch.
Kevin Grittner [Tue, 5 Mar 2013 11:32:03 +0000 (05:32 -0600)]
Bump catversion because of new function in the materialized view patch.

11 years agoFix overflow check in tm2timestamp (this time for sure).
Tom Lane [Mon, 4 Mar 2013 20:13:31 +0000 (15:13 -0500)]
Fix overflow check in tm2timestamp (this time for sure).

I fixed this code back in commit 841b4a2d5, but didn't think carefully
enough about the behavior near zero, which meant it improperly rejected
1999-12-31 24:00:00.  Per report from Magnus Hagander.

11 years agopsql: Let \l accept a pattern
Peter Eisentraut [Mon, 4 Mar 2013 03:17:08 +0000 (22:17 -0500)]
psql: Let \l accept a pattern

reviewed by Satoshi Nagayasu

11 years agoRemove accidentally-committed .orig file.
Kevin Grittner [Mon, 4 Mar 2013 00:38:44 +0000 (18:38 -0600)]
Remove accidentally-committed .orig file.

11 years agoFix map_sql_value_to_xml_value() to treat domains like their base types.
Tom Lane [Mon, 4 Mar 2013 00:32:12 +0000 (19:32 -0500)]
Fix map_sql_value_to_xml_value() to treat domains like their base types.

This was already the case for domains over arrays, but not for domains
over certain built-in types such as boolean.  The special formatting
rules for those types should apply to domains over them as well.
Per discussion.

While this is a bug fix, it's also a behavioral change that seems likely
to trip up some applications.  So no back-patch.

Pavel Stehule

11 years agoAdd a materialized view relations.
Kevin Grittner [Mon, 4 Mar 2013 00:23:31 +0000 (18:23 -0600)]
Add a materialized view relations.

A materialized view has a rule just like a view and a heap and
other physical properties like a table.  The rule is only used to
populate the table, references in queries refer to the
materialized data.

This is a minimal implementation, but should still be useful in
many cases.  Currently data is only populated "on demand" by the
CREATE MATERIALIZED VIEW and REFRESH MATERIALIZED VIEW statements.
It is expected that future releases will add incremental updates
with various timings, and that a more refined concept of defining
what is "fresh" data will be developed.  At some point it may even
be possible to have queries use a materialized in place of
references to underlying tables, but that requires the other
above-mentioned features to be working first.

Much of the documentation work by Robert Haas.
Review by Noah Misch, Thom Brown, Robert Haas, Marko Tiikkaja
Security review by KaiGai Kohei, with a decision on how best to
implement sepgsql still pending.

11 years agoGet rid of any toast table when converting a table to a view.
Tom Lane [Mon, 4 Mar 2013 00:05:47 +0000 (19:05 -0500)]
Get rid of any toast table when converting a table to a view.

Also make sure other fields of the view's pg_class entry are appropriate
for a view; it shouldn't have relfrozenxid set for instance.

This ancient omission isn't believed to have any serious consequences in
versions 8.4-9.2, so no backpatch.  But let's fix it before it does bite
us in some serious way.  It's just luck that the case doesn't cause
problems for autovacuum.  (It did cause problems in 8.3, but that's out
of support.)

Andres Freund

11 years agoFix SQL function execution to be safe with long-lived FmgrInfos.
Tom Lane [Sun, 3 Mar 2013 22:39:58 +0000 (17:39 -0500)]
Fix SQL function execution to be safe with long-lived FmgrInfos.

fmgr_sql had been designed on the assumption that the FmgrInfo it's called
with has only query lifespan.  This is demonstrably unsafe in connection
with range types, as shown in bug #7881 from Andrew Gierth.  Fix things
so that we re-generate the function's cache data if the (sub)transaction
it was made in is no longer active.

Back-patch to 9.2.  This might be needed further back, but it's not clear
whether the case can realistically arise without range types, so for now
I'll desist from back-patching further.

11 years agodoc: Small tweak for consistency
Peter Eisentraut [Sun, 3 Mar 2013 13:58:34 +0000 (08:58 -0500)]
doc: Small tweak for consistency

submitted by "Lyle"

11 years agodoc: A few awkward phrasing fixes
Peter Eisentraut [Sun, 3 Mar 2013 13:49:49 +0000 (08:49 -0500)]
doc: A few awkward phrasing fixes

Josh Kupershmidt

11 years agoExclude utils/probes.h and pg_trace.h from cpluspluscheck
Peter Eisentraut [Sat, 2 Mar 2013 03:43:47 +0000 (22:43 -0500)]
Exclude utils/probes.h and pg_trace.h from cpluspluscheck

They can include sys/sdt.h from SystemTap, which itself contains C++
code and so won't compile with a C++ compiler under extern "C" linkage.

11 years agoEliminate memory leaks in plperl's spi_prepare() function.
Tom Lane [Sat, 2 Mar 2013 02:33:34 +0000 (21:33 -0500)]
Eliminate memory leaks in plperl's spi_prepare() function.

Careless use of TopMemoryContext for I/O function data meant that repeated
use of spi_prepare and spi_freeplan would leak memory at the session level,
as per report from Christian Schröder.  In addition, spi_prepare
leaked a lot of transient data within the current plperl function's SPI
Proc context, which would be a problem for repeated use of spi_prepare
within a single plperl function call; and it wasn't terribly careful
about releasing permanent allocations in event of an error, either.

In passing, clean up some copy-and-pasteos in query-lookup error messages.

Alex Hunsaker and Tom Lane

11 years agoImprove pg_upgrade commentary on multixact change
Alvaro Herrera [Thu, 28 Feb 2013 19:29:17 +0000 (16:29 -0300)]
Improve pg_upgrade commentary on multixact change

Per gripe from Andres Freund

11 years agoFlush stderr and stdout in isolation tester.
Andrew Dunstan [Thu, 28 Feb 2013 00:13:07 +0000 (19:13 -0500)]
Flush stderr and stdout in isolation tester.

This is a possibly vain attempt to fix a buffering issue
observed for some MSVC builds.

11 years agoRemove spurious "the", and add a missing one.
Heikki Linnakangas [Wed, 27 Feb 2013 19:50:15 +0000 (21:50 +0200)]
Remove spurious "the", and add a missing one.

Thom Brown and me.

11 years agoFix MSVC build.
Heikki Linnakangas [Wed, 27 Feb 2013 19:31:41 +0000 (21:31 +0200)]
Fix MSVC build.

The new file in src/port needs to be listed in Mkvcbuild.pm as well.

11 years agoFix typo in "pg_xlogdump --help" and error message.
Heikki Linnakangas [Wed, 27 Feb 2013 19:27:01 +0000 (21:27 +0200)]
Fix typo in "pg_xlogdump --help" and error message.

Fujii Masao and me.

11 years agoCannot use WL_SOCKET_WRITEABLE without WL_SOCKET_READABLE.
Heikki Linnakangas [Wed, 27 Feb 2013 17:17:07 +0000 (19:17 +0200)]
Cannot use WL_SOCKET_WRITEABLE without WL_SOCKET_READABLE.

In copy-out mode, the frontend should not send any messages until the
backend has finished streaming, by sending a CopyDone message. I'm not sure
if it would be legal for the client to send a new query before receiving the
CopyDone message from the backend, but trying to support that would require
bigger changes to the backend code structure.

Fixes an assertion failure reported by Fujii Masao.

11 years agoAdd standard file header comment to quotes.c.
Heikki Linnakangas [Wed, 27 Feb 2013 16:42:40 +0000 (18:42 +0200)]
Add standard file header comment to quotes.c.

11 years agoAdd support for piping COPY to/from an external program.
Heikki Linnakangas [Wed, 27 Feb 2013 16:17:21 +0000 (18:17 +0200)]
Add support for piping COPY to/from an external program.

This includes backend "COPY TO/FROM PROGRAM '...'" syntax, and corresponding
psql \copy syntax. Like with reading/writing files, the backend version is
superuser-only, and in the psql version, the program is run in the client.

In the passing, the psql \copy STDIN/STDOUT syntax is subtly changed: if you
the stdin/stdout is quoted, it's now interpreted as a filename. For example,
"\copy foo from 'stdin'" now reads from a file called 'stdin', not from
standard input. Before this, there was no way to specify a filename called
stdin, stdout, pstdin or pstdout.

This creates a new function in pgport, wait_result_to_str(), which can
be used to convert the exit status of a process, as returned by wait(3),
to a human-readable string.

Etsuro Fujita, reviewed by Amit Kapila.

11 years agoAdd missing error check in regexp parser.
Tom Lane [Wed, 27 Feb 2013 15:40:03 +0000 (10:40 -0500)]
Add missing error check in regexp parser.

parseqatom() failed to check for an error return (NULL result) from its
recursive call to parsebranch(), and in consequence could crash with a
null-pointer dereference after an error return.  This bug has been there
since day one, but wasn't noticed before, probably because most error cases
in parsebranch() didn't actually lead to returning NULL.  Add the missing
error check, and also tweak parsebranch() to exit in a less indirect
fashion after a call to parseqatom() fails.

Report by Tomasz Karlik, fix by me.

11 years agoAdd missing .gitignore file.
Tom Lane [Tue, 26 Feb 2013 20:58:34 +0000 (15:58 -0500)]
Add missing .gitignore file.

11 years agoClean up "stopgap" implementation of timestamptz_to_str().
Tom Lane [Tue, 26 Feb 2013 20:50:22 +0000 (15:50 -0500)]
Clean up "stopgap" implementation of timestamptz_to_str().

Use correct type for "result", fix bogus strftime argument, don't use
unnecessary static variables, improve comments.

Andres Freund and Tom Lane

11 years agoInstall headers from the new src/include/common subdirectory.
Tom Lane [Tue, 26 Feb 2013 20:27:30 +0000 (15:27 -0500)]
Install headers from the new src/include/common subdirectory.

This got missed in commit 8396447cdbdff0b62914748de2fec04281dc9114.

Andres Freund

11 years agoRemove the check for COPY TO STDIN and COPY FROM STDOUT from ecpg.
Heikki Linnakangas [Tue, 26 Feb 2013 17:30:15 +0000 (19:30 +0200)]
Remove the check for COPY TO STDIN and COPY FROM STDOUT from ecpg.

The backend grammar treats STDIN and STDOUT completely interchangeable, so
that the above accepted. Arguably that was a mistake the backend grammar,
but it's not ecpg's business to second guess that.

11 years agodoc: Fix markup typo
Peter Eisentraut [Mon, 25 Feb 2013 22:58:14 +0000 (17:58 -0500)]
doc: Fix markup typo

11 years agoOnly quote libpq connection string values that need quoting.
Heikki Linnakangas [Mon, 25 Feb 2013 17:53:04 +0000 (19:53 +0200)]
Only quote libpq connection string values that need quoting.

There's no harm in excessive quoting per se, but it makes the strings nicer
to read. The values can get quite unwieldy, when they're first quoted within
within single-quotes when included in the connection string, and then all
the single-quotes are escaped when the connection string is passed as a
shell argument.

11 years agoAdd -d option to pg_dumpall, for specifying a connection string.
Heikki Linnakangas [Mon, 25 Feb 2013 17:39:10 +0000 (19:39 +0200)]
Add -d option to pg_dumpall, for specifying a connection string.

Like with pg_basebackup and pg_receivexlog, it's a bit strange to call the
option -d/--dbname, when in fact you cannot pass a database name in it.

Original patch by Amit Kapila, heavily modified by me.

11 years agoAdd -d/--dbname option to pg_dump.
Heikki Linnakangas [Mon, 25 Feb 2013 17:39:04 +0000 (19:39 +0200)]
Add -d/--dbname option to pg_dump.

You could already pass a database name just by passing it as the last
option, without -d. This is an alias for that, like the -d/--dbname option
in psql and many other client applications. For consistency.

11 years agoRedo MSVC build implementation for pg_xlogdump.
Andrew Dunstan [Mon, 25 Feb 2013 17:00:53 +0000 (12:00 -0500)]
Redo MSVC build implementation for pg_xlogdump.

The previous commit didn't work on MSVC editions earlier than
Visual Studio 2011, apparently. This works by copying files into the
contrib directory, and making provision to clean them up, which should
work on all editions.

11 years agoAdd -d option to pg_basebackup and pg_receivexlog, for connection string.
Heikki Linnakangas [Mon, 25 Feb 2013 12:48:27 +0000 (14:48 +0200)]
Add -d option to pg_basebackup and pg_receivexlog, for connection string.

Without this, there's no way to pass arbitrary libpq connection parameters
to these applications. It's a bit strange that the option is called
-d/--dbname, when in fact you can *not* pass a database name in it, but it's
consistent with other client applications where a connection string is also
passed using -d.

Original patch by Amit Kapila, heavily modified by me.

11 years agoProvide MSVC build setup for pg_xlogdump.
Andrew Dunstan [Mon, 25 Feb 2013 01:28:42 +0000 (20:28 -0500)]
Provide MSVC build setup for pg_xlogdump.

11 years agodoc: Remove PostgreSQL version number from xml2 deprecation notice
Peter Eisentraut [Sun, 24 Feb 2013 20:38:07 +0000 (15:38 -0500)]
doc: Remove PostgreSQL version number from xml2 deprecation notice

It is obviously no longer true.

11 years agoFix build of contrib/pg_xlogdump.
Tom Lane [Sun, 24 Feb 2013 13:58:00 +0000 (08:58 -0500)]
Fix build of contrib/pg_xlogdump.

rmgrdesc.c is not auto-generated now, though it apparently was the last
time the Makefile was updated.

11 years agoCorrect tense in log message
Peter Eisentraut [Sun, 24 Feb 2013 04:30:14 +0000 (23:30 -0500)]
Correct tense in log message

11 years agoRename postgres_fdw's use_remote_explain option to use_remote_estimate.
Tom Lane [Sat, 23 Feb 2013 17:20:48 +0000 (12:20 -0500)]
Rename postgres_fdw's use_remote_explain option to use_remote_estimate.

The new name was originally my typo, but per discussion it seems like a
better name anyway.  So make the code match the docs, not vice versa.

11 years agodoc: Add more compatibility information for triggers
Peter Eisentraut [Sat, 23 Feb 2013 05:28:33 +0000 (00:28 -0500)]
doc: Add more compatibility information for triggers

Louis-Claude Canon and Josh Kupershmidt

11 years agoAdd quotes to messages
Peter Eisentraut [Sat, 23 Feb 2013 04:33:07 +0000 (23:33 -0500)]
Add quotes to messages

11 years agocontrib/Makefile also needs updated
Alvaro Herrera [Fri, 22 Feb 2013 21:56:42 +0000 (18:56 -0300)]
contrib/Makefile also needs updated

Erik Rijkers

11 years agoFix some typos and grammatical mistakes
Alvaro Herrera [Fri, 22 Feb 2013 21:52:59 +0000 (18:52 -0300)]
Fix some typos and grammatical mistakes

... as well a update copyrights statements to 2013.

Noted by Thom Brown and Peter Geoghegan

11 years agoFix copy-and-pasteo
Alvaro Herrera [Fri, 22 Feb 2013 20:03:22 +0000 (17:03 -0300)]
Fix copy-and-pasteo

Harmless, but it's certainly better like this.

Noticed by Andres Freund

11 years agoAdd pg_xlogdump contrib program
Alvaro Herrera [Fri, 22 Feb 2013 19:46:24 +0000 (16:46 -0300)]
Add pg_xlogdump contrib program

This program relies on rm_desc backend routines and the xlogreader
infrastructure to emit human-readable rendering of WAL records.

Author: Andres Freund, with many reworks by Álvaro
Reviewed (in a much earlier version) by Peter Eisentraut

11 years agoFix some planning oversights in postgres_fdw.
Tom Lane [Fri, 22 Feb 2013 15:56:06 +0000 (10:56 -0500)]
Fix some planning oversights in postgres_fdw.

Include eval costs of local conditions in remote-estimate mode, and don't
assume the remote eval cost is zero in local-estimate mode.  (The best
we can do with that at the moment is to assume a seqscan, which may well
be wildly pessimistic ... but zero won't do at all.)

To get a reasonable local estimate, we need to know the relpages count
for the remote rel, so improve the ANALYZE code to fetch that rather
than just setting the foreign table's relpages field to zero.

11 years agoBlind attempt at fixing the non-MSVC Windows builds
Alvaro Herrera [Fri, 22 Feb 2013 14:51:15 +0000 (11:51 -0300)]
Blind attempt at fixing the non-MSVC Windows builds

Apparently, they need -DBUILDING_DLL for the Assert() declarations to
work correctly.

11 years agoFix whole-row references in postgres_fdw.
Tom Lane [Fri, 22 Feb 2013 14:21:50 +0000 (09:21 -0500)]
Fix whole-row references in postgres_fdw.

The optimization to not retrieve unnecessary columns wasn't smart enough.
Noted by Thom Brown.

11 years agoChange postgres_fdw to show casts as casts, not underlying function calls.
Tom Lane [Fri, 22 Feb 2013 12:30:21 +0000 (07:30 -0500)]
Change postgres_fdw to show casts as casts, not underlying function calls.

On reflection this method seems to be exposing an unreasonable amount of
implementation detail.  It wouldn't matter when talking to a remote server
of the identical Postgres version, but it seems likely to make things worse
not better if the remote is a different version with different casting
infrastructure.  Instead adopt ruleutils.c's policy of regurgitating the
cast as it was originally specified; including not showing it at all, if
it was implicit to start with.  (We must do that because for some datatypes
explicit and implicit casts have different semantics.)

11 years agoGet rid of postgres_fdw's assumption that remote type OIDs match ours.
Tom Lane [Fri, 22 Feb 2013 11:36:09 +0000 (06:36 -0500)]
Get rid of postgres_fdw's assumption that remote type OIDs match ours.

The only place we depended on that was in sending numeric type OIDs in
PQexecParams; but we can replace that usage with explicitly casting
each Param symbol in the query string, so that the types are specified
to the remote by name not OID.  This makes no immediate difference but
will be essential if we ever hope to support use of non-builtin types.

11 years agoFix thinko in previous commit.
Heikki Linnakangas [Fri, 22 Feb 2013 11:07:02 +0000 (13:07 +0200)]
Fix thinko in previous commit.

We must still initialize minRecoveryPoint if we start straight with archive
recovery, e.g when recovering from a normal base backup taken with
pg_start/stop_backup. Otherwise we never consider the system consistent.

11 years agoAdjust postgres_fdw's search path handling.
Tom Lane [Fri, 22 Feb 2013 11:03:46 +0000 (06:03 -0500)]
Adjust postgres_fdw's search path handling.

Set the remote session's search path to exactly "pg_catalog" at session
start, then schema-qualify only names that aren't in that schema.  This
greatly reduces clutter in the generated SQL commands, as seen in the
regression test changes.  Per discussion.

Also, rethink use of FirstNormalObjectId as the "built-in object" cutoff
--- FirstBootstrapObjectId is safer, since the former will accept
objects in information_schema for instance.

11 years agoIf recovery.conf is created after "pg_ctl stop -m i", do crash recovery.
Heikki Linnakangas [Fri, 22 Feb 2013 09:43:04 +0000 (11:43 +0200)]
If recovery.conf is created after "pg_ctl stop -m i", do crash recovery.

If you create a base backup using an atomic filesystem snapshot, and try to
perform PITR starting from that base backup, or if you just kill a master
server and create recovery.conf to put it into standby mode, we don't know
how far we need to recover before reaching consistency. Normally in crash
recovery, we replay all the WAL present in pg_xlog, and assume that we're
consistent after that. And normally in archive recovery, minRecoveryPoint,
backupEndRequired, or backupEndPoint is set in the control file, indicating
how far we need to replay to reach consistency. But if the server was
previously up and running normally, and you kill -9 it or take an atomic
filesystem snapshot, none of those fields are set in the control file.

The solution is to perform crash recovery first, replaying all the WAL in
pg_xlog. After that's done, we assume that the system is consistent like in
normal crash recovery, and switch to archive recovery mode after that.

Per report from Kyotaro HORIGUCHI. In his scenario, recovery.conf was
created after "pg_ctl stop -m i". I'm not sure we need to support that exact
scenario, but we should support backing up using a filesystem snapshot,
which looks identical.

This issue goes back to at least 9.0, where hot standby was introduced and
we started to track when consistency is reached. In 9.1 and 9.2, we would
open up for hot standby too early, and queries could briefly see an
inconsistent state. But 9.2 made it more visible, as we started to PANIC if
we see a reference to a non-existing page during recovery, if we've already
reached consistency. This is a fairly big patch, so back-patch to 9.2 only,
where the issue is more visible. We can consider back-patching further after
this has received some more testing in 9.2 and master.

11 years agoMove relpath() to libpgcommon
Alvaro Herrera [Fri, 22 Feb 2013 01:46:17 +0000 (22:46 -0300)]
Move relpath() to libpgcommon

This enables non-backend code, such as pg_xlogdump, to use it easily.
The previous location, in src/backend/catalog/catalog.c, made that
essentially impossible because that file depends on many backend-only
facilities; so this needs to live separately.

11 years agoRemove useless variable
Alvaro Herrera [Thu, 21 Feb 2013 14:46:46 +0000 (11:46 -0300)]
Remove useless variable

Per Jeff Janes

11 years agoNeed to decorate XactIsoLevel as PGDLLIMPORT for postgres_fdw.
Tom Lane [Thu, 21 Feb 2013 14:28:42 +0000 (09:28 -0500)]
Need to decorate XactIsoLevel as PGDLLIMPORT for postgres_fdw.

Per buildfarm.

11 years agoTeach MSVC build system about postgres_fdw.
Tom Lane [Thu, 21 Feb 2013 11:43:15 +0000 (06:43 -0500)]
Teach MSVC build system about postgres_fdw.

Per buildfarm.

11 years agoAdd postgres_fdw contrib module.
Tom Lane [Thu, 21 Feb 2013 10:26:23 +0000 (05:26 -0500)]
Add postgres_fdw contrib module.

There's still a lot of room for improvement, but it basically works,
and we need this to be present before we can do anything much with the
writable-foreign-tables patch.  So let's commit it and get on with testing.

Shigeru Hanada, reviewed by KaiGai Kohei and Tom Lane

11 years agoFix pg_dumpall with database names containing =
Heikki Linnakangas [Wed, 20 Feb 2013 15:08:54 +0000 (17:08 +0200)]
Fix pg_dumpall with database names containing =

If a database name contained a '=' character, pg_dumpall failed. The problem
was in the way pg_dumpall passes the database name to pg_dump on the
command line. If it contained a '=' character, pg_dump would interpret it
as a libpq connection string instead of a plain database name.

To fix, pass the database name to pg_dump as a connection string,
"dbname=foo", with the database name escaped if necessary.

Back-patch to all supported branches.

11 years agoDon't pass NULL to fprintf, if a bogus connection string is given to pg_dump.
Heikki Linnakangas [Wed, 20 Feb 2013 14:22:47 +0000 (16:22 +0200)]
Don't pass NULL to fprintf, if a bogus connection string is given to pg_dump.

Back-patch to all supported branches.

11 years agoFix yet another typo in comment.
Heikki Linnakangas [Wed, 20 Feb 2013 10:30:59 +0000 (12:30 +0200)]
Fix yet another typo in comment.

Etsuro Fujita

11 years agoMove ExceptionalCondition back to postgres.h
Alvaro Herrera [Mon, 18 Feb 2013 21:53:32 +0000 (18:53 -0300)]
Move ExceptionalCondition back to postgres.h

It needs to be defined in the backend even when assertions are not
enabled.  It's cleaner to put it back, than create a separate #ifdef
section in c.h.

Per trouble report from Jeff Janes

11 years agoSplit pgstat file in smaller pieces
Alvaro Herrera [Mon, 18 Feb 2013 20:56:08 +0000 (17:56 -0300)]
Split pgstat file in smaller pieces

We now write one file per database and one global file, instead of
having the whole thing in a single huge file.  This reduces the I/O that
must be done when partial data is required -- which is all the time,
because each process only needs information on its own database anyway.
Also, the autovacuum launcher does not need data about tables and
functions in each database; having the global stats for all DBs is
enough.

Catalog version bumped because we have a new subdir under PGDATA.

Author: Tomas Vondra.  Some rework by Álvaro
Testing by Jeff Janes
Other discussion by Heikki Linnakangas, Tom Lane.

11 years agoAdd ALTER ROLE ALL SET command
Peter Eisentraut [Mon, 18 Feb 2013 04:45:36 +0000 (23:45 -0500)]
Add ALTER ROLE ALL SET command

This generalizes the existing ALTER ROLE ... SET and ALTER DATABASE
... SET functionality to allow creating settings that apply to all users
in all databases.

reviewed by Pavel Stehule

11 years agoWarn about initdb using mount-points
Bruce Momjian [Sat, 16 Feb 2013 23:52:50 +0000 (18:52 -0500)]
Warn about initdb using mount-points

Add code to detect and warn about trying to initdb or create pg_xlog on
mount points.

11 years agoBetter fix for "unarchived WAL files get deleted on crash recovery" bug.
Heikki Linnakangas [Fri, 15 Feb 2013 17:33:31 +0000 (19:33 +0200)]
Better fix for "unarchived WAL files get deleted on crash recovery" bug.

Revert my earlier fix for the bug that unarchived WAL files get deleted on
crash recovery, commit c9cc7e05c6d82a9781883a016c70d95aa4923122. We create
a .done file for files streamed or restored from archive, so the WAL file
recycling logic used during normal operation works just as well during
archive recovery.

Per Fujii Masao's suggestion.

11 years agoForce archive_status of .done for xlogs created by dearchival/replication.
Simon Riggs [Wed, 8 Aug 2012 22:58:49 +0000 (23:58 +0100)]
Force archive_status of .done for xlogs created by dearchival/replication.

This is a forward-patch of commit 6f4b8a4f4f7a2d683ff79ab59d3693714b965e3d,
applied to 9.2 back in August. The plan was to do something else in master,
but it looks like it's not going to happen, so let's just apply the 9.2
solution to master as well.

Fujii Masao

11 years agoDon't delete unarchived WAL files during crash recovery.
Heikki Linnakangas [Fri, 15 Feb 2013 15:25:16 +0000 (17:25 +0200)]
Don't delete unarchived WAL files during crash recovery.

Bug reported by Jehan-Guillaume (ioguix) de Rorthais. This was introduced
with the change to keep WAL files restored from archive in pg_xlog, in 9.2.

11 years agopgindent: Fix order in instructions
Peter Eisentraut [Fri, 15 Feb 2013 02:40:05 +0000 (21:40 -0500)]
pgindent: Fix order in instructions

The previous order of steps didn't literally work, because git clean
-fdx would delete the downloaded typedefs.list.  Also, pgindent needs to
be called with a path when one is in at the top of the build tree.

11 years agoInvent pre-commit/pre-prepare/pre-subcommit events for xact callbacks.
Tom Lane [Fri, 15 Feb 2013 01:35:08 +0000 (20:35 -0500)]
Invent pre-commit/pre-prepare/pre-subcommit events for xact callbacks.

Currently it's only possible for loadable modules to get control during
post-commit cleanup of a transaction.  That doesn't work too well if they
want to do something that could throw an error; for example, an FDW might
need to issue a remote commit, which could well fail.  To improve matters,
extend the existing APIs for XactCallback and SubXactCallback functions
to provide new pre-commit events for this purpose.

The release notes will need to mention that existing callback functions
should be checked to make sure they don't do something unwanted when one
of the new event types occurs.  In the examples within our source tree,
contrib/sepgsql was fine but plpgsql had been a bit too cute.

11 years agopg_upgrade: conditionally create cluster delete script
Bruce Momjian [Thu, 14 Feb 2013 15:53:03 +0000 (10:53 -0500)]
pg_upgrade:  conditionally create cluster delete script

If users create tablespaces inside the old cluster directory, it is
impossible for the delete script to delete _only_ the old cluster files,
so don't create a script in that case, and issue a message to the user.

11 years agoFix pg_upgrade log file cleanup code
Bruce Momjian [Thu, 14 Feb 2013 05:04:15 +0000 (00:04 -0500)]
Fix pg_upgrade log file cleanup code

Recent pg_upgrade parallel improvements introduced a bug that prevented
cleanup of per-database log files.

11 years agodoc: Add make target to produce EPUB from DocBook
Peter Eisentraut [Thu, 14 Feb 2013 04:12:21 +0000 (23:12 -0500)]
doc: Add make target to produce EPUB from DocBook

11 years agoFix CVE-2013-0255 properly.
Tom Lane [Wed, 13 Feb 2013 21:20:01 +0000 (16:20 -0500)]
Fix CVE-2013-0255 properly.

Revert commit ab0f7b6089fd215f6ce6081e2e222c38d643a526 (in HEAD only)
in favor of the proper solution, which is to declare enum_recv() correctly
in the system catalogs.  It should be declared to take type "internal"
not "cstring".

Also improve the type_sanity regression test, which should have caught
this typo, so that it actually would.  Most of the relevant checks on
the signature of type I/O functions should not have been restricted to
basetypes/pseudotypes, as they should apply to any type's I/O functions.

11 years agoFix contrib/pg_trgm's similarity() function for trigram-free strings.
Tom Lane [Wed, 13 Feb 2013 19:07:06 +0000 (14:07 -0500)]
Fix contrib/pg_trgm's similarity() function for trigram-free strings.

Cases such as similarity('', '') produced a NaN result due to computing
0/0.  Per discussion, make it return zero instead.

This appears to be the basic cause of bug #7867 from Michele Baravalle,
although it remains unclear why her installation doesn't think Cyrillic
letters are letters.

Back-patch to all active branches.

11 years agoFix bogus when-to-deregister-from-listener-array logic.
Tom Lane [Wed, 13 Feb 2013 17:48:05 +0000 (12:48 -0500)]
Fix bogus when-to-deregister-from-listener-array logic.

Since a backend adds itself to the global listener array during
Exec_ListenPreCommit, it's inappropriate for it to remove itself during
Exec_UnlistenCommit or Exec_UnlistenAllCommit --- that leads to failure
when committing a transaction that did UNLISTEN then LISTEN, since we end
up not registered though we should be.  (This leads to missing later
notifications, or to Assert failures in assert-enabled builds.)  Instead
deal with deregistering at the bottom of AtCommit_Notify, when we know the
final state of the listenChannels list.

Also, simplify the representation of registration status by replacing the
transient backendHasExecutedInitialListen flag with an amRegisteredListener
flag.

Per report from Greg Sabino Mullane.  Back-patch to 9.0, where the problem
was introduced during the LISTEN/NOTIFY rewrite.

11 years agoUpdate visibility map in the second phase of vacuum.
Heikki Linnakangas [Wed, 13 Feb 2013 15:46:23 +0000 (17:46 +0200)]
Update visibility map in the second phase of vacuum.

There's a high chance that a page becomes all-visible when the second phase
of vacuum removes all the dead tuples on it, so it makes sense to check for
that. Otherwise the visibility map won't get updated until the next vacuum.

Pavan Deolasee, reviewed by Jeff Janes.

11 years agoRename "string" pstrdup argument to "in"
Alvaro Herrera [Tue, 12 Feb 2013 15:43:09 +0000 (12:43 -0300)]
Rename "string" pstrdup argument to "in"

The former name collides with a symbol also used in the isolation test's
parser, causing assorted failures in certain platforms.

11 years agoDon't build libpgcommon_srv.a just yet
Alvaro Herrera [Tue, 12 Feb 2013 15:21:27 +0000 (12:21 -0300)]
Don't build libpgcommon_srv.a just yet

It's empty, and some archivers do not support that case.

11 years agoCreate libpgcommon, and move pg_malloc et al to it
Alvaro Herrera [Tue, 12 Feb 2013 13:33:40 +0000 (10:33 -0300)]
Create libpgcommon, and move pg_malloc et al to it

libpgcommon is a new static library to allow sharing code among the
various frontend programs and backend; this lets us eliminate duplicate
implementations of common routines.  We avoid libpgport, because that's
intended as a place for porting issues; per discussion, it seems better
to keep them separate.

The first use case, and the only implemented by this patch, is pg_malloc
and friends, which many frontend programs were already using.

At the same time, we can use this to provide palloc emulation functions
for the frontend; this way, some palloc-using files in the backend can
also be used by the frontend cleanly.  To do this, we change palloc() in
the backend to be a function instead of a macro on top of
MemoryContextAlloc().  This was previously believed to cause loss of
performance, but this implementation has been tweaked by Tom and Andres
so that on modern compilers it provides a slight improvement over the
previous one.

This lets us clean up some places that were already with
localized hacks.

Most of the pg_malloc/palloc changes in this patch were authored by
Andres Freund. Zoltán Böszörményi also independently provided a form of
that.  libpgcommon infrastructure was authored by Álvaro.

11 years agoAdd noreturn attributes to some error reporting functions
Peter Eisentraut [Tue, 12 Feb 2013 12:13:22 +0000 (07:13 -0500)]
Add noreturn attributes to some error reporting functions

11 years agoSupport unlogged GiST index.
Heikki Linnakangas [Mon, 11 Feb 2013 20:50:15 +0000 (22:50 +0200)]
Support unlogged GiST index.

The reason this wasn't supported before was that GiST indexes need an
increasing sequence to detect concurrent page-splits. In a regular WAL-
logged GiST index, the LSN of the page-split record is used for that
purpose, and in a temporary index, we can get away with a backend-local
counter. Neither of those methods works for an unlogged relation.

To provide such an increasing sequence of numbers, create a "fake LSN"
counter that is saved and restored across shutdowns. On recovery, unlogged
relations are blown away, so the counter doesn't need to survive that
either.

Jeevan Chalke, based on discussions with Robert Haas, Tom Lane and me.