]> granicus.if.org Git - postgresql/log
postgresql
12 years agoalter_generic regression test cannot run concurrently with privileges test.
Tom Lane [Mon, 15 Oct 2012 16:18:52 +0000 (12:18 -0400)]
alter_generic regression test cannot run concurrently with privileges test.

... because the latter plays games with the privileges for language SQL.
It looks like running alter_generic in parallel with "misc" is OK though.

Also, adjust serial_schedule to maintain the same test ordering (up to
parallelism) as parallel_schedule.

12 years agoFix typo in comment.
Heikki Linnakangas [Mon, 15 Oct 2012 10:01:31 +0000 (13:01 +0300)]
Fix typo in comment.

Fujii Masao

12 years agoRemove comment that is no longer true.
Heikki Linnakangas [Mon, 15 Oct 2012 08:02:02 +0000 (11:02 +0300)]
Remove comment that is no longer true.

AddToDataDirLockFile() supports out-of-order updates of the lockfile
nowadays.

12 years agoFix race condition in pg_ctl reading postmaster.pid.
Heikki Linnakangas [Sat, 13 Oct 2012 09:48:14 +0000 (12:48 +0300)]
Fix race condition in pg_ctl reading postmaster.pid.

If postmaster changed postmaster.pid while pg_ctl was reading it, pg_ctl
could overrun the buffer it allocated for the file. Fix by reading the
whole file to memory with one read() call.

initdb contains an identical copy of the readfile() function, but the files
that initdb reads are static, not modified concurrently. Nevertheless, add
a simple bounds-check there, if only to silence static analysis tools.

Per report from Dave Vitek. Backpatch to all supported branches.

12 years agoSplit up process latch initialization for more-fail-soft behavior.
Tom Lane [Mon, 15 Oct 2012 02:59:56 +0000 (22:59 -0400)]
Split up process latch initialization for more-fail-soft behavior.

In the previous coding, new backend processes would attempt to create their
self-pipe during the OwnLatch call in InitProcess.  However, pipe creation
could fail if the kernel is short of resources; and the system does not
recover gracefully from a FATAL error right there, since we have armed the
dead-man switch for this process and not yet set up the on_shmem_exit
callback that would disarm it.  The postmaster then forces an unnecessary
database-wide crash and restart, as reported by Sean Chittenden.

There are various ways we could rearrange the code to fix this, but the
simplest and sanest seems to be to split out creation of the self-pipe into
a new function InitializeLatchSupport, which must be called from a place
where failure is allowed.  For most processes that gets called in
InitProcess or InitAuxiliaryProcess, but processes that don't call either
but still use latches need their own calls.

Back-patch to 9.1, which has only a part of the latch logic that 9.2 and
HEAD have, but nonetheless includes this bug.

12 years agoFix oversight in new code for printing rangetable aliases.
Tom Lane [Fri, 12 Oct 2012 20:14:11 +0000 (16:14 -0400)]
Fix oversight in new code for printing rangetable aliases.

In commit 11e131854f8231a21613f834c40fe9d046926387, I missed the case of
a CTE RTE that doesn't have a user-defined alias, but does have an
alias assigned by set_rtable_names().  Per report from Peter Eisentraut.

While at it, refactor slightly to reduce code duplication.

12 years agoIn our source code, make a copy of getopt's 'optarg' string arguments,
Bruce Momjian [Fri, 12 Oct 2012 17:35:40 +0000 (13:35 -0400)]
In our source code, make a copy of getopt's 'optarg' string arguments,
rather than just storing a pointer.

12 years agoGet rid of COERCE_DONTCARE.
Tom Lane [Fri, 12 Oct 2012 17:35:00 +0000 (13:35 -0400)]
Get rid of COERCE_DONTCARE.

We don't need this hack any more.

12 years agoFix unportable format string.
Tom Lane [Fri, 12 Oct 2012 17:22:11 +0000 (13:22 -0400)]
Fix unportable format string.

Per compiler warning.

12 years agoMake equal() ignore CoercionForm fields for better planning with casts.
Tom Lane [Fri, 12 Oct 2012 16:10:49 +0000 (12:10 -0400)]
Make equal() ignore CoercionForm fields for better planning with casts.

This change ensures that the planner will see implicit and explicit casts
as equivalent for all purposes, except in the minority of cases where
there's actually a semantic difference (as reflected by having a 3-argument
cast function).  In particular, this fixes cases where the EquivalenceClass
machinery failed to consider two references to a varchar column as
equivalent if one was implicitly cast to text but the other was explicitly
cast to text, as seen in bug #7598 from Vaclav Juza.  We have had similar
bugs before in other parts of the planner, so I think it's time to fix this
problem at the core instead of continuing to band-aid around it.

Remove set_coercionform_dontcare(), which represents the band-aid
previously in use for allowing matching of index and constraint expressions
with inconsistent cast labeling.  (We can probably get rid of
COERCE_DONTCARE altogether, but I don't think removing that enum value in
back branches would be wise; it's possible there's third party code
referring to it.)

Back-patch to 9.2.  We could go back further, and might want to once this
has been tested more; but for the moment I won't risk destabilizing plan
choices in long-since-stable branches.

12 years agoUnbreak MSVC builds after recent Makefile refactoring.
Andrew Dunstan [Thu, 11 Oct 2012 16:36:42 +0000 (12:36 -0400)]
Unbreak MSVC builds after recent Makefile refactoring.

Based on a suggestion by Peter Eisentraut.

12 years agoFix cross-type case in partial row matching for hashed subplans.
Tom Lane [Thu, 11 Oct 2012 16:20:56 +0000 (12:20 -0400)]
Fix cross-type case in partial row matching for hashed subplans.

When hashing a subplan like "WHERE (a, b) NOT IN (SELECT x, y FROM ...)",
findPartialMatch() attempted to match rows using the hashtable's internal
equality operators, which of course are for x and y's datatypes.  What we
need to use are the potentially cross-type operators for a=x, b=y, etc.
Failure to do that leads to wrong answers or even crashes.  The scope for
problems is limited to cases where we have different types with compatible
hash functions (else we'd not be using a hashed subplan), but for example
int4 vs int8 can cause the problem.

Per bug #7597 from Bo Jensen.  This has been wrong since the hashed-subplan
code was written, so patch all the way back.

12 years agoImprove replication connection timeouts.
Heikki Linnakangas [Thu, 11 Oct 2012 14:39:52 +0000 (17:39 +0300)]
Improve replication connection timeouts.

Rename replication_timeout to wal_sender_timeout, and add a new setting
called wal_receiver_timeout that does the same at the walreceiver side.
There was previously no timeout in walreceiver, so if the network went down,
for example, the walreceiver could take a long time to notice that the
connection was lost. Now with the two settings, both sides of a replication
connection will detect a broken connection similarly.

It is no longer necessary to manually set wal_receiver_status_interval to
a value smaller than the timeout. Both wal sender and receiver now
automatically send a "ping" message if more than 1/2 of the configured
timeout has elapsed, and it hasn't received any messages from the other end.

Amit Kapila, heavily edited by me.

12 years agoRefactor flex and bison make rules
Peter Eisentraut [Thu, 11 Oct 2012 10:57:04 +0000 (06:57 -0400)]
Refactor flex and bison make rules

Numerous flex and bison make rules have appeared in the source tree
over time, and they are all virtually identical, so we can replace
them by pattern rules with some variables for customization.

Users of pgxs will also be able to benefit from this.

12 years agoRemove _FORTIFY_SOURCE
Peter Eisentraut [Thu, 11 Oct 2012 01:42:38 +0000 (21:42 -0400)]
Remove _FORTIFY_SOURCE

Apparently, on some glibc versions this causes warnings when
optimization is not enabled.

Altogether, there appear to be too many incompatibilities surrounding
this.

12 years agoRemove configure-option-dependent test cases from dblink tests.
Tom Lane [Thu, 11 Oct 2012 00:14:26 +0000 (20:14 -0400)]
Remove configure-option-dependent test cases from dblink tests.

The HINTs generated for these error cases vary across builds.  We
could try to work around that, but the test cases aren't really useful
enough to justify taking any trouble.

Per buildfarm.

12 years agoUpdate obsolete comment.
Tom Lane [Wed, 10 Oct 2012 21:04:37 +0000 (17:04 -0400)]
Update obsolete comment.

We no longer use GetNewOidWithIndex on pg_largeobject; rather,
pg_largeobject_metadata's regular OID column is considered the repository
of OIDs for large objects.  The special functionality is still needed for
TOAST tables however.

12 years agoCreate an improved FDW option validator function for contrib/dblink.
Tom Lane [Wed, 10 Oct 2012 20:53:08 +0000 (16:53 -0400)]
Create an improved FDW option validator function for contrib/dblink.

dblink now has its own validator function dblink_fdw_validator(), which is
better than the core function postgresql_fdw_validator() because it gets
the list of legal options from libpq instead of having a hard-wired list.

Make the dblink extension module provide a standard foreign data wrapper
dblink_fdw that encapsulates use of this validator, and recommend use of
that wrapper instead of making up wrappers on the fly.

Unfortunately, because ad-hoc wrappers *were* recommended practice
previously, it's not clear when we can get rid of postgresql_fdw_validator
without causing upgrade problems.  But this is a step in the right
direction.

Shigeru Hanada, reviewed by KaiGai Kohei

12 years agoUpdate obsolete text in fdwhandler.sgml.
Tom Lane [Wed, 10 Oct 2012 17:54:38 +0000 (13:54 -0400)]
Update obsolete text in fdwhandler.sgml.

Etsuro Fujita, with some wording adjustment by me.

12 years agoIn pg_upgrade, issue proper error message when we can't open PG_VERSION.
Bruce Momjian [Wed, 10 Oct 2012 17:53:00 +0000 (13:53 -0400)]
In pg_upgrade, issue proper error message when we can't open PG_VERSION.

Backpatch to 9.2.

12 years agoSet procost to 10 for each of the pg_foo_is_visible() functions.
Tom Lane [Wed, 10 Oct 2012 16:19:25 +0000 (12:19 -0400)]
Set procost to 10 for each of the pg_foo_is_visible() functions.

The idea here is to make sure the planner will evaluate these functions
last not first among the filter conditions in psql pattern search and
tab-completion queries.  We've discussed this several times, and there
was consensus to do it back in August, but we didn't want to do it just
before a release.  Now seems like a safer time.

No catversion bump, since this catalog change doesn't create a backend
incompatibility nor any regression test result changes.

12 years agoFix PGXS support for building loadable modules on AIX.
Tom Lane [Wed, 10 Oct 2012 01:04:06 +0000 (21:04 -0400)]
Fix PGXS support for building loadable modules on AIX.

Building a shlib on AIX requires use of the mkldexport.sh script, but we
failed to install that, preventing its use from non-source-tree contexts.
Also, Makefile.aix had the wrong idea about where to find the installed
copy of the postgres.imp symbol file used by AIX.

Per report from John Pierce.  Patch all the way back, since this has been
broken since the beginning of PGXS.

12 years agoRemove unnecessary overhead in backend's large-object operations.
Tom Lane [Tue, 9 Oct 2012 20:38:00 +0000 (16:38 -0400)]
Remove unnecessary overhead in backend's large-object operations.

Do read/write permissions checks at most once per large object descriptor,
not once per lo_read or lo_write call as before.  The repeated tests were
quite useless in the read case since the snapshot-based tests were
guaranteed to produce the same answer every time.  In the write case,
the extra tests could in principle detect revocation of write privileges
after a series of writes has started --- but there's a race condition there
anyway, since we'd check privileges before performing and certainly before
committing the write.  So there's no real advantage to checking every
single time, and we might as well redefine it as "only check the first
time".

On the same reasoning, remove the LargeObjectExists checks in inv_write
and inv_truncate.  We already checked existence when the descriptor was
opened, and checking again doesn't provide any real increment of safety
that would justify the cost.

12 years agoFix silly bug in previous refactoring.
Heikki Linnakangas [Tue, 9 Oct 2012 16:33:12 +0000 (19:33 +0300)]
Fix silly bug in previous refactoring.

I extracted the refactoring patch from a larger patch that contained other
changes too, but missed one unintentional change and didn't test enough...

12 years agoPut the logic to wait for WAL in standby mode to a separate function.
Heikki Linnakangas [Tue, 9 Oct 2012 16:20:17 +0000 (19:20 +0300)]
Put the logic to wait for WAL in standby mode to a separate function.

This is just refactoring with no user-visible effect, to make the code more
readable.

12 years agorestore permission bits
Alvaro Herrera [Tue, 9 Oct 2012 15:08:13 +0000 (12:08 -0300)]
restore permission bits

12 years agoRename USE_INLINE to PG_USE_INLINE
Alvaro Herrera [Tue, 9 Oct 2012 14:10:10 +0000 (11:10 -0300)]
Rename USE_INLINE to PG_USE_INLINE

The former name was too likely to conflict with symbols from external
headers; and, as seen in recent buildfarm failures in member spoonbill,
it has now happened at least in plpython.

12 years agoRemove stray newline in comment.
Heikki Linnakangas [Tue, 9 Oct 2012 10:05:59 +0000 (13:05 +0300)]
Remove stray newline in comment.

12 years agoUse tablespace_option consistently on doc page
Simon Riggs [Tue, 9 Oct 2012 07:29:37 +0000 (08:29 +0100)]
Use tablespace_option consistently on doc page

Fujii Masao

12 years agoAdd microsecs/op display to pg_test_fsync utility
Simon Riggs [Tue, 9 Oct 2012 07:15:23 +0000 (08:15 +0100)]
Add microsecs/op display to pg_test_fsync utility

e.g. fsync  2103.613 ops/sec (   475 microsecs/op)

Peter Geoghegan

12 years agoFix lo_import and lo_export to return useful error messages more often.
Tom Lane [Tue, 9 Oct 2012 01:52:34 +0000 (21:52 -0400)]
Fix lo_import and lo_export to return useful error messages more often.

I found that these functions tend to return -1 while leaving an empty error
message string in the PGconn, if they suffer some kind of I/O error on the
file.  The reason is that lo_close, which thinks it's executed a perfectly
fine SQL command, clears the errorMessage.  The minimum-change workaround
is to reorder operations here so that we don't fill the errorMessage until
after lo_close.

12 years agoFix lo_export usage in example programs.
Tom Lane [Tue, 9 Oct 2012 01:18:46 +0000 (21:18 -0400)]
Fix lo_export usage in example programs.

lo_export returns -1, not zero, on failure.

12 years agoFix lo_read, lo_write, lo_truncate to cope with "size_t" length parameters.
Tom Lane [Tue, 9 Oct 2012 01:12:27 +0000 (21:12 -0400)]
Fix lo_read, lo_write, lo_truncate to cope with "size_t" length parameters.

libpq defines these functions as accepting "size_t" lengths ... but the
underlying backend functions expect signed int32 length parameters, and so
will misinterpret any value exceeding INT_MAX.  Fix the libpq side to throw
error rather than possibly doing something unexpected.

This is a bug of long standing, but I doubt it's worth back-patching.  The
problem is really pretty academic anyway with lo_read/lo_write, since any
caller expecting sane behavior would have to have provided a multi-gigabyte
buffer.  It's slightly more pressing with lo_truncate, but still we haven't
supported large objects over 2GB until now.

12 years agoRemove generation of repl_gram.h
Peter Eisentraut [Tue, 9 Oct 2012 00:36:46 +0000 (20:36 -0400)]
Remove generation of repl_gram.h

It was apparently never necessary.

12 years agoCode review for 64-bit-large-object patch.
Tom Lane [Mon, 8 Oct 2012 22:24:06 +0000 (18:24 -0400)]
Code review for 64-bit-large-object patch.

Fix broken-on-bigendian-machines byte-swapping functions, add missed update
of alternate regression expected file, improve error reporting, remove some
unnecessary code, sync testlo64.c with current testlo.c (it seems to have
been cloned from a very old copy of that), assorted cosmetic improvements.

12 years agoFix thinko in previous commit
Alvaro Herrera [Mon, 8 Oct 2012 20:34:33 +0000 (17:34 -0300)]
Fix thinko in previous commit

Since postgres.h includes palloc.h, definitions that affect the latter
must be present before the former is included.

Per buildfarm results

12 years agoAdd support for easily declaring static inline functions
Alvaro Herrera [Mon, 8 Oct 2012 19:12:27 +0000 (16:12 -0300)]
Add support for easily declaring static inline functions

We already had those, but they forced modules to spell out the function
bodies twice.  Eliminate some duplicates we had already grown.

Extracted from a somewhat larger patch from Andres Freund.

12 years agoAdd #define for UUIDOID.
Robert Haas [Mon, 8 Oct 2012 14:15:15 +0000 (10:15 -0400)]
Add #define for UUIDOID.

Phil Sorber and Thom Brown. Reviewed by Albe Laurenz.

12 years agoSay ANALYZE, not VACUUM, in error message on analyze in hot standby.
Heikki Linnakangas [Mon, 8 Oct 2012 11:17:27 +0000 (14:17 +0300)]
Say ANALYZE, not VACUUM, in error message on analyze in hot standby.

Tomonaru Katsumata

12 years agoFix walsender handling of postmaster shutdown, to not go into endless loop.
Heikki Linnakangas [Mon, 8 Oct 2012 10:22:04 +0000 (13:22 +0300)]
Fix walsender handling of postmaster shutdown, to not go into endless loop.

This bug was introduced by my patch to use the regular die/quickdie signal
handlers in walsender processes. I tried to make walsender exit at next
CHECK_FOR_INTERRUPTS() by setting ProcDiePending, but that's not enough, you
need to set InterruptPending too. On second thoght, it was not a very good
way to make walsender exit anyway, so use proc_exit(0) instead.

Also, send a CommandComplete message before exiting; that's what we did
before, and you get a nicer error message in the standby that way.

Reported by Thom Brown.

12 years agoAutoconfiscate selection of 64-bit int type for 64-bit large object API.
Tom Lane [Mon, 8 Oct 2012 01:52:07 +0000 (21:52 -0400)]
Autoconfiscate selection of 64-bit int type for 64-bit large object API.

Get rid of the fundamentally indefensible assumption that "long long int"
exists and is exactly 64 bits wide on every platform Postgres runs on.
Instead let the configure script select the type to use for "pg_int64".

This is a bit of a pain in the rear since we do not want to pollute client
namespace with all the random symbols that pg_config.h defines; instead
we have to create a separate generated header file, "pg_config_ext.h".
But now that the infrastructure is there, we might have the ability to
add some other stuff that's long been wanting in this area.

12 years agoFix typo in previous MSC commit.
Andrew Dunstan [Sun, 7 Oct 2012 23:56:26 +0000 (19:56 -0400)]
Fix typo in previous MSC commit.

12 years agoImprove documentation about large-object functions.
Tom Lane [Sun, 7 Oct 2012 23:16:28 +0000 (19:16 -0400)]
Improve documentation about large-object functions.

Copy-editing for previous patch, plus fixing some longstanding markup
issues and oversights (like not mentioning that failures will set the
PQerrorMessage string).

12 years agoQuiet a few MSC compiler warnings.
Andrew Dunstan [Sun, 7 Oct 2012 21:31:10 +0000 (17:31 -0400)]
Quiet a few MSC compiler warnings.

12 years agoFix compiling errors on Windows platform. Fix wrong usage of
Tatsuo Ishii [Sun, 7 Oct 2012 14:30:31 +0000 (23:30 +0900)]
Fix compiling errors on Windows platform. Fix wrong usage of
INT64CONST macro. Fix lo_hton64 and lo_ntoh64 not to use int32_t and
uint32_t.

12 years agoBump up catalog vesion due to 64-bit large object API functions
Tatsuo Ishii [Sun, 7 Oct 2012 00:36:20 +0000 (09:36 +0900)]
Bump up catalog vesion due to 64-bit large object API functions
addition.

12 years agoAdd API for 64-bit large object access. Now users can access up to
Tatsuo Ishii [Sat, 6 Oct 2012 23:36:48 +0000 (08:36 +0900)]
Add API for 64-bit large object access.  Now users can access up to
4TB large objects (standard 8KB BLCKSZ case).  For this purpose new
libpq API lo_lseek64, lo_tell64 and lo_truncate64 are added.  Also
corresponding new backend functions lo_lseek64, lo_tell64 and
lo_truncate64 are added. inv_api.c is changed to handle 64-bit
offsets.

Patch contributed by Nozomi Anzai (backend side) and Yugo Nagata
(frontend side, docs, regression tests and example program). Reviewed
by Kohei Kaigai. Committed by Tatsuo Ishii with minor editings.

12 years agoImprove LDAP authentication documentation
Peter Eisentraut [Sat, 6 Oct 2012 01:20:06 +0000 (21:20 -0400)]
Improve LDAP authentication documentation

Use the terms "simple bind" and "search+bind" consistently do
distinguish the two modes (better than first mode and second mode in
any case).  They were already used in some places, now it's just more
prominent.

Split up the list of options into one for common options and one for
each mode, for clarity.

Add configuration examples for either mode.

12 years agoRemoved sentence about not being able to retrieve more than one row at a time,
Michael Meskes [Fri, 5 Oct 2012 14:49:27 +0000 (16:49 +0200)]
Removed sentence about not being able to retrieve more than one row at a time,
because it is not correct.

12 years agoFixed test for array boundary.
Michael Meskes [Fri, 5 Oct 2012 14:37:45 +0000 (16:37 +0200)]
Fixed test for array boundary.

Instead of continuing if the next character is not an array boundary get_data()
used to continue only on finding a boundary so it was not able to read any
element after the first.

12 years agoUse the regular main processing loop also in walsenders.
Heikki Linnakangas [Fri, 5 Oct 2012 14:13:07 +0000 (17:13 +0300)]
Use the regular main processing loop also in walsenders.

The regular backend's main loop handles signal handling and error recovery
better than the current WAL sender command loop does. For example, if the
client hangs and a SIGTERM is received before starting streaming, the
walsender will now terminate immediately, rather than hang until the
connection times out.

12 years agogetnameinfo_unix has to be taught not to insist on NI_NUMERIC flags, too.
Tom Lane [Fri, 5 Oct 2012 02:53:53 +0000 (22:53 -0400)]
getnameinfo_unix has to be taught not to insist on NI_NUMERIC flags, too.

Per testing of previous patch.

12 years agoPL/pgSQL: rename gram.y to pl_gram.y
Peter Eisentraut [Fri, 5 Oct 2012 02:40:33 +0000 (22:40 -0400)]
PL/pgSQL: rename gram.y to pl_gram.y

This makes the naming inside plpgsql consistent and distinguishes the
file from the backend's gram.y file.  It will also allow easier
refactoring of the bison make rules later on.

12 years agoRemove redundant code for getnameinfo() replacement
Peter Eisentraut [Fri, 5 Oct 2012 01:45:14 +0000 (21:45 -0400)]
Remove redundant code for getnameinfo() replacement

Our getnameinfo() replacement implementation in getaddrinfo.c failed
unless NI_NUMERICHOST and NI_NUMERICSERV were given as flags, because
it doesn't resolve host names, only numeric IPs.  But per standard,
when those flags are not given, an implementation can still degrade to
not returning host names, so this restriction is unnecessary.  When we
remove it, we can eliminate some code in postmaster.c that apparently
tried to work around that.

12 years agoMake CREATE AGGREGATE complain if the initcond is invalid for the datatype.
Tom Lane [Thu, 4 Oct 2012 21:54:53 +0000 (17:54 -0400)]
Make CREATE AGGREGATE complain if the initcond is invalid for the datatype.

The initial transition value is stored as a text string and not fed to the
transition type's input function until runtime (so that values such as
"now" don't get frozen at creation time).  Previously, CREATE AGGREGATE
didn't do anything with it but that, which meant that even erroneous values
would be accepted and not complained of until the aggregate is used.  This
seems unhelpful, and it's confused at least one user, as in Rhys Stewart's
recent report.  It seems worth taking a few more cycles to invoke the input
function and verify that the value is acceptable.  We can't do this if the
transition type is polymorphic, but in normal aggregates we know the actual
transition type so we can call the right input function.

12 years agoFix parse location tracking for lists that can be empty.
Tom Lane [Thu, 4 Oct 2012 21:14:59 +0000 (17:14 -0400)]
Fix parse location tracking for lists that can be empty.

The previous coding of the YYLLOC_DEFAULT macro behaved strangely for empty
productions, assigning the previous nonterminal's location as the parse
location of the result.  The usefulness of that was (at best) debatable
already, but the real problem is that in list-generating nonterminals like
OptFooList: /* EMPTY */ { ... } | OptFooList Foo { ... } ;
the initially-identified location would get copied up, so that even a
nonempty list would be given a bogus parse location.  Document how to work
around that, and do so for OptSchemaEltList, so that the error condition
just added for CREATE SCHEMA IF NOT EXISTS produces a sane error cursor.
So far as I can tell, there are currently no other cases where the
situation arises, so we don't need other instances of this coding yet.

12 years agoFix permissions explanations in CREATE DATABASE and CREATE SCHEMA docs.
Tom Lane [Thu, 4 Oct 2012 17:41:01 +0000 (13:41 -0400)]
Fix permissions explanations in CREATE DATABASE and CREATE SCHEMA docs.

These reference pages still claimed that you have to be superuser to create
a database or schema owned by a different role.  That was true before 8.1,
but it was changed in commits aa1110624c08298393dfce996f7b21809d98d3fd and
f91370cd2faf1fd35a1ac74d84652a85ed841919 to allow assignment of ownership
to any role you are a member of.  However, at the time we were thinking of
that primarily as a change to the ALTER OWNER rules, so the need to touch
these two CREATE ref pages got missed.

12 years agoFix typo in comment, and reword it slightly while we're at it.
Heikki Linnakangas [Thu, 4 Oct 2012 07:34:40 +0000 (10:34 +0300)]
Fix typo in comment, and reword it slightly while we're at it.

12 years agoSupport CREATE SCHEMA IF NOT EXISTS.
Tom Lane [Wed, 3 Oct 2012 23:47:11 +0000 (19:47 -0400)]
Support CREATE SCHEMA IF NOT EXISTS.

Per discussion, schema-element subcommands are not allowed together with
this option, since it's not very obvious what should happen to the element
objects.

Fabrízio de Royes Mello

12 years agorefactor ALTER some-obj SET OWNER implementation
Alvaro Herrera [Wed, 3 Oct 2012 21:02:38 +0000 (18:02 -0300)]
refactor ALTER some-obj SET OWNER implementation

Remove duplicate implementation of catalog munging and miscellaneous
privilege and consistency checks.  Instead rely on already existing data
in objectaddress.c to do the work.

Author: KaiGai Kohei
Tweaked by me
Reviewed by Robert Haas

12 years agoAvoid planner crash/Assert failure with joins to unflattened subqueries.
Tom Lane [Wed, 3 Oct 2012 17:37:53 +0000 (13:37 -0400)]
Avoid planner crash/Assert failure with joins to unflattened subqueries.

examine_simple_variable supposed that any RTE_SUBQUERY rel it gets pointed
at must have been planned already.  However, this isn't a safe assumption
because we must do selectivity estimation while generating indexscan paths,
and that code might look at join clauses involving a rel that the loop in
set_base_rel_sizes() hasn't reached yet.  The simplest fix is to play dumb
in such a situation, that is give up trying to extract any stats for the
Var.  This could possibly be improved by making a separate pass over the
RTE list to plan each unflattened subquery before we start the main
planning work --- but that would be pretty invasive and it doesn't seem
worth it, for now at least.  (We couldn't just break set_base_rel_sizes()
into two loops: the prescan would need to handle all subquery rels in the
query, not only those in the current join subproblem.)

This bug was introduced in commit 1cb108efb0e60d87e4adec38e7636b6e8efbeb57,
although I think that subsequent changes may have exposed it more than it
was originally.  Per bug #7580 from Maxim Boguk.

12 years agoREASSIGN OWNED: consider grants on tablespaces, too
Alvaro Herrera [Wed, 3 Oct 2012 15:22:41 +0000 (12:22 -0300)]
REASSIGN OWNED: consider grants on tablespaces, too

Apparently this was considered in the original code (see commit
cec3b0a9) but I failed to notice that such entries would always be
skipped by the database check at the start of the loop.

Per bugs #7578 by Nikolay, #6116 by tushar.qa@gmail.com.

12 years agoAdd --sampling-rate option to pgbench.
Heikki Linnakangas [Wed, 3 Oct 2012 12:37:42 +0000 (15:37 +0300)]
Add --sampling-rate option to pgbench.

This allows logging only some fraction of transactions, greatly reducing
the amount of log generated.

Tomas Vondra, reviewed by Robert Haas and Jeff Janes.

12 years agoReturn the number of rows processed when COPY is executed through SPI.
Heikki Linnakangas [Wed, 3 Oct 2012 11:32:01 +0000 (14:32 +0300)]
Return the number of rows processed when COPY is executed through SPI.

You can now get the number of rows processed by a COPY statement in a
PL/pgSQL function with "GET DIAGNOSTICS x = ROW_COUNT".

Pavel Stehule, reviewed by Amit Kapila, with some editing by me.

12 years agoFix two bugs introduced in the xlog.c split.
Heikki Linnakangas [Wed, 3 Oct 2012 06:08:13 +0000 (09:08 +0300)]
Fix two bugs introduced in the xlog.c split.

The comment explaining the naming of timeline history files was wrong, and
the history file was not being arhived.

Pointed out by Fujii Masao.

12 years agoImprove some LDAP authentication error messages
Peter Eisentraut [Wed, 3 Oct 2012 03:25:05 +0000 (23:25 -0400)]
Improve some LDAP authentication error messages

12 years agoIn pg_upgrade, use full path name for analyze_new_cluster.sh script.
Bruce Momjian [Wed, 3 Oct 2012 01:18:43 +0000 (21:18 -0400)]
In pg_upgrade, use full path name for analyze_new_cluster.sh script.

Backpatch to 9.2.

12 years agoWork around unportable behavior of malloc(0) and realloc(NULL, 0).
Tom Lane [Tue, 2 Oct 2012 21:31:40 +0000 (17:31 -0400)]
Work around unportable behavior of malloc(0) and realloc(NULL, 0).

On some platforms these functions return NULL, rather than the more common
practice of returning a pointer to a zero-sized block of memory.  Hack our
various wrapper functions to hide the difference by substituting a size
request of 1.  This is probably not so important for the callers, who
should never touch the block anyway if they asked for size 0 --- but it's
important for the wrapper functions themselves, which mistakenly treated
the NULL result as an out-of-memory failure.  This broke at least pg_dump
for the case of no user-defined aggregates, as per report from
Matthew Carrington.

Back-patch to 9.2 to fix the pg_dump issue.  Given the lack of previous
complaints, it seems likely that there is no live bug in previous releases,
even though some of these functions were in place before that.

12 years agoRefactor "ALTER some-obj SET SCHEMA" implementation
Alvaro Herrera [Thu, 27 Sep 2012 21:13:09 +0000 (18:13 -0300)]
Refactor "ALTER some-obj SET SCHEMA" implementation

Instead of having each object type implement the catalog munging
independently, centralize knowledge about how to do it and expand the
existing table in objectaddress.c with enough data about each object
type to support this operation.

Author: KaiGai Kohei
Tweaks by me
Reviewed by Robert Haas

12 years agoStandardize naming of malloc/realloc/strdup wrapper functions.
Tom Lane [Tue, 2 Oct 2012 19:35:10 +0000 (15:35 -0400)]
Standardize naming of malloc/realloc/strdup wrapper functions.

We had a number of variants on the theme of "malloc or die", with the
majority named like "pg_malloc", but by no means all.  Standardize on the
names pg_malloc, pg_malloc0, pg_realloc, pg_strdup.  Get rid of pg_calloc
entirely in favor of using pg_malloc0.

This is an essentially cosmetic change, so no back-patch.  (I did find
a couple of places where psql and pg_dump were using plain malloc or
strdup instead of the pg_ versions, but they don't look significant
enough to bother back-patching.)

12 years agoFix typo in previous warning-silencing patch.
Heikki Linnakangas [Tue, 2 Oct 2012 16:59:00 +0000 (19:59 +0300)]
Fix typo in previous warning-silencing patch.

Fujii Masao

12 years agoIn pg_upgrade, improve error reporting when the number of relation
Bruce Momjian [Tue, 2 Oct 2012 15:53:45 +0000 (11:53 -0400)]
In pg_upgrade, improve error reporting when the number of relation
objects does not match between the old and new clusters.

Backpatch to 9.2.

12 years agoAdjust pg_upgrade query so toast tables related to system catalog schema
Bruce Momjian [Tue, 2 Oct 2012 15:46:08 +0000 (11:46 -0400)]
Adjust pg_upgrade query so toast tables related to system catalog schema
entries are not dumped.   This fixes an error caused by
droping/recreating the information_schema, but other failures were also
possible.

Backpatch to 9.2.

12 years agoIn pg_upgrade, try to convert the locale names to canonical form before
Bruce Momjian [Tue, 2 Oct 2012 15:42:34 +0000 (11:42 -0400)]
In pg_upgrade, try to convert the locale names to canonical form before
comparison;  also report the old/new values if they don't match.

Backpatch to 9.2.

12 years agoSilence compiler warning about pointer type mismatch on some platforms.
Heikki Linnakangas [Tue, 2 Oct 2012 14:37:41 +0000 (17:37 +0300)]
Silence compiler warning about pointer type mismatch on some platforms.

timeval.t_sec is of type time_t, which is not always compatible with long.
I'm not sure if this was just harmless warning or a real bug, but this
fixes it, anyway.

12 years agoAllow a few seconds for Windows to catch up with a directory rename when checking...
Andrew Dunstan [Tue, 2 Oct 2012 14:40:57 +0000 (10:40 -0400)]
Allow a few seconds for Windows to catch up with a directory rename when checking pg_upgrade.

12 years agoAdd #includes needed on some platforms in the new files.
Heikki Linnakangas [Tue, 2 Oct 2012 14:19:52 +0000 (17:19 +0300)]
Add #includes needed on some platforms in the new files.

Hopefully this makes the *BSD buildfarm animals happy.

12 years agoSplit off functions related to timeline history files and XLOG archiving.
Heikki Linnakangas [Tue, 2 Oct 2012 10:37:19 +0000 (13:37 +0300)]
Split off functions related to timeline history files and XLOG archiving.

This is just refactoring, to make the functions accessible outside xlog.c.
A followup patch will make use of that, to allow fetching timeline history
files over streaming replication.

12 years agoFix access past end of string in date parsing.
Heikki Linnakangas [Tue, 2 Oct 2012 07:43:48 +0000 (10:43 +0300)]
Fix access past end of string in date parsing.

This affects date_in(), and a couple of other funcions that use DecodeDate().

Hitoshi Harada

12 years agoAdd C comment that IsBackendPid() is called by external modules, so we
Bruce Momjian [Mon, 1 Oct 2012 14:14:35 +0000 (10:14 -0400)]
Add C comment that IsBackendPid() is called by external modules, so we
don't accidentally remove it.

12 years agoRemove collations from generic ALTER test
Alvaro Herrera [Mon, 1 Oct 2012 13:42:03 +0000 (10:42 -0300)]
Remove collations from generic ALTER test

The error messages they generate are not portable enough.

Also, since the only point of the alter_generic_1 expected file was to
cover platforms with no collation support, it's now useless, so remove
it.

12 years agoThe max shared_buffers value that initdb will choose was raised, update docs.
Heikki Linnakangas [Mon, 1 Oct 2012 06:23:06 +0000 (09:23 +0300)]
The max shared_buffers value that initdb will choose was raised, update docs.

Jeff Janes

12 years agoProvide some static-assertion functionality on all compilers.
Tom Lane [Mon, 1 Oct 2012 02:46:29 +0000 (22:46 -0400)]
Provide some static-assertion functionality on all compilers.

On reflection (especially after noticing how many buildfarm critters have
__builtin_types_compatible_p but not _Static_assert), it seems like we
ought to try a bit harder to make these macros do something everywhere.
The initial cut at it would have been no help to code that is compiled only
on platforms without _Static_assert, for instance; and in any case not all
our contributors do their initial coding on the latest gcc version.

Some googling about static assertions turns up quite a bit of prior art
for making it work in compilers that lack _Static_assert.  The method
that seems closest to our needs involves defining a struct with a bit-field
that has negative width if the assertion condition fails.  There seems no
reliable way to get the error message string to be output, but throwing a
compile error with a confusing message is better than missing the problem
altogether.

In the same spirit, if we don't have __builtin_types_compatible_p we can at
least insist that the variable have the same width as the type.  This won't
catch errors such as "wrong pointer type", but it's far better than
nothing.

In addition to changing the macro definitions, adjust a
compile-time-constant Assert in contrib/hstore to use StaticAssertStmt,
so we can get some buildfarm coverage on whether that macro behaves sanely
or not.  There's surely more places that could be converted, but this is
the first one I came across.

12 years agoAdd infrastructure for compile-time assertions about variable types.
Tom Lane [Sun, 30 Sep 2012 18:38:31 +0000 (14:38 -0400)]
Add infrastructure for compile-time assertions about variable types.

Currently, the macros only work with fairly recent gcc versions, but there
is room to expand them to other compilers that have comparable features.

Heavily revised and autoconfiscated version of a patch by Andres Freund.

12 years agopsql: Mark table headers in \drds output for translation
Peter Eisentraut [Sun, 30 Sep 2012 00:47:05 +0000 (20:47 -0400)]
psql: Mark table headers in \drds output for translation

12 years agoDisable _FORTIFY_SOURCE with ICC
Peter Eisentraut [Sun, 30 Sep 2012 00:06:37 +0000 (20:06 -0400)]
Disable _FORTIFY_SOURCE with ICC

There are apparently some incompatibilities, per buildfarm.

12 years agoFix bugs in "restore.sql" script emitted in pg_dump tar output.
Tom Lane [Sat, 29 Sep 2012 21:56:37 +0000 (17:56 -0400)]
Fix bugs in "restore.sql" script emitted in pg_dump tar output.

The tar output module did some very ugly and ultimately incorrect hacking
on COPY commands to try to get them to work in the context of restoring a
deconstructed tar archive.  In particular, it would fail altogether for
table names containing any upper-case characters, since it smashed the
command string to lower-case before modifying it (and, just to add insult
to injury, did that in a way that would fail in multibyte encodings).
I don't see any particular value in being flexible about the case of the
command keywords, since the string will just have been created by
dumpTableData, so let's get rid of the whole case-folding thing.

Also, it doesn't seem to meet the POLA for the script to restore data only
in COPY mode, so add \i commands to make it have comparable behavior in
--inserts mode.

Noted while looking at the tar-output code in connection with Brian
Weaver's patch.

12 years agoAdd _FORTIFY_SOURCE to default compiler options for linux template
Peter Eisentraut [Sat, 29 Sep 2012 17:22:59 +0000 (13:22 -0400)]
Add _FORTIFY_SOURCE to default compiler options for linux template

Many distributors use this, so we might as well see the warnings as
well.

12 years agoPL/Python: Remove workaround for returning booleans in Python <2.3
Peter Eisentraut [Sat, 29 Sep 2012 16:55:42 +0000 (12:55 -0400)]
PL/Python: Remove workaround for returning booleans in Python <2.3

Since Python 2.2 is no longer supported, we can now use Py_RETURN_TRUE
and Py_RETURN_FALSE instead of the old workaround.

12 years agoPL/Python: Convert oid to long/int
Peter Eisentraut [Sat, 29 Sep 2012 16:41:00 +0000 (12:41 -0400)]
PL/Python: Convert oid to long/int

oid is a numeric type, so transform it to the appropriate Python
numeric type like the other ones.

12 years agoAdd alternative expected output for alter_generic
Alvaro Herrera [Sat, 29 Sep 2012 03:32:57 +0000 (00:32 -0300)]
Add alternative expected output for alter_generic

The original only expected file failed to consider machines without
non-default collation support.  Per buildfarm.

Also, move the test to another parallel group; the one it was originally
put in is already full according to comments in the schedule file.  Per
note from Tom Lane.

12 years agoRemove checks for now long outdated compilers.
Andrew Dunstan [Fri, 28 Sep 2012 23:43:50 +0000 (19:43 -0400)]
Remove checks for now long outdated compilers.

12 years agoAdd alter_generic regression test
Alvaro Herrera [Thu, 27 Sep 2012 20:21:11 +0000 (17:21 -0300)]
Add alter_generic regression test

This makes refactoring of parts of the ALTER command safe(r) because we
ensure no change in functionality.

Author: KaiGai Kohei

12 years agoFix tar files emitted by pg_dump and pg_basebackup to be POSIX conformant.
Tom Lane [Fri, 28 Sep 2012 19:19:15 +0000 (15:19 -0400)]
Fix tar files emitted by pg_dump and pg_basebackup to be POSIX conformant.

Both programs got the "magic" string wrong, causing standard-conforming tar
implementations to believe the output was just legacy tar format without
any POSIX extensions.  This doesn't actually matter that much, especially
since pg_dump failed to fill the POSIX fields anyway, but still there is
little point in emitting tar format if we can't be compliant with the
standard.  In addition, pg_dump failed to write the EOF marker correctly
(there should be 2 blocks of zeroes not just one), pg_basebackup put the
numeric group ID in the wrong place, and both programs had a pretty
brain-dead idea of how to compute the checksum.  Fix all that and improve
the comments a bit.

pg_restore is modified to accept either the correct POSIX-compliant "magic"
string or the previous value.  This part of the change will need to be
back-patched to avoid an unnecessary compatibility break when a previous
version tries to read tar-format output from 9.3 pg_dump.

Brian Weaver and Tom Lane

12 years agoProduce textual error messages for LDAP issues instead of numeric codes
Peter Eisentraut [Fri, 28 Sep 2012 00:22:50 +0000 (20:22 -0400)]
Produce textual error messages for LDAP issues instead of numeric codes

12 years agoFix btmarkpos/btrestrpos to handle array keys.
Tom Lane [Thu, 27 Sep 2012 20:59:59 +0000 (16:59 -0400)]
Fix btmarkpos/btrestrpos to handle array keys.

This fixes another error in commit 9e8da0f75731aaa7605cf4656c21ea09e84d2eb1.
I neglected to make the mark/restore functionality save and restore the
current set of array key values, which led to strange behavior if an
IndexScan with ScalarArrayOpExpr quals was used as the inner side of a
mergejoin.  Per bug #7570 from Melese Tesfaye.

12 years agoHave pg_terminate/cancel_backend not ERROR on non-existent processes
Alvaro Herrera [Thu, 27 Sep 2012 15:15:03 +0000 (12:15 -0300)]
Have pg_terminate/cancel_backend not ERROR on non-existent processes

This worked fine for superusers, but not for ordinary users trying to
cancel their own processes.  Tweak the order the checks are done in so
that we correctly return SIGNAL_BACKEND_ERROR (which current callers
know to ignore without erroring out) so that an ordinary user can loop
through a resultset without fearing that a process might exit in the
middle of said looping -- causing the remaining processes to go
unsignalled.

Incidentally, the last in-core caller of IsBackendPid() is now gone.
However, the function is exported and must remain in place, because
there are plenty of callers in external modules.

Author: Josh Kupershmidt

Reviewed by Noah Misch

12 years agoRun check_keywords.pl anytime gram.c is rebuilt.
Tom Lane [Thu, 27 Sep 2012 03:10:52 +0000 (23:10 -0400)]
Run check_keywords.pl anytime gram.c is rebuilt.

This script is a bit slow, but still it only takes a fraction of the time
the bison run does, so the overhead doesn't seem intolerable.  And we
definitely need some mechanical aid here, because people keep missing
the need to add new keywords to the appropriate keyword-list production.

While at it, I moved check_keywords.pl from src/tools into
src/backend/parser where it's actually used, and did some very minor
cleanup on the script.

12 years agopg_upgrade test: Disable fsync in initdb and postgres calls
Peter Eisentraut [Thu, 27 Sep 2012 02:38:15 +0000 (22:38 -0400)]
pg_upgrade test: Disable fsync in initdb and postgres calls

This mirrors the behavior of pg_regress and makes the test run much
faster.

12 years agoMake plpgsql's unreserved keywords more unreserved.
Tom Lane [Thu, 27 Sep 2012 02:27:36 +0000 (22:27 -0400)]
Make plpgsql's unreserved keywords more unreserved.

There were assorted places where unreserved keywords were not treated the
same as T_WORD (that is, a random unrecognized identifier).  Fix them.
It might not always be possible to allow this, but it is in all these
places, so I don't see any downside.

Per gripe from Jim Wilson.  Arguably this is a bug fix, but given the lack
of other complaints and the ease of working around it (just quote the
word), I won't risk back-patching.