]> granicus.if.org Git - postgresql/log
postgresql
12 years agoFix stats collector to recover nicely when system clock goes backwards.
Tom Lane [Sun, 17 Jun 2012 21:11:07 +0000 (17:11 -0400)]
Fix stats collector to recover nicely when system clock goes backwards.

Formerly, if the system clock went backwards, the stats collector would
fail to update the stats file any more until the clock reading again
exceeds whatever timestamp was last written into the stats file.  Such
glitches in the clock's behavior are not terribly unlikely on machines
not using NTP.  Such a scenario has been observed to cause regression test
failures in the buildfarm, and it could have bad effects on the behavior
of autovacuum, so it seems prudent to install some defenses.

We could directly detect the clock going backwards by adding
GetCurrentTimestamp calls in the stats collector's main loop, but that
would hurt performance on platforms where GetCurrentTimestamp is expensive.
To minimize the performance hit in normal cases, adopt a more complicated
scheme wherein backends check for clock skew when reading the stats file,
and if they see it, signal the stats collector by sending an extra stats
inquiry message.  The stats collector does an extra GetCurrentTimestamp
only when it receives an inquiry with an apparently out-of-order
timestamp.

To avoid unnecessary GetCurrentTimestamp calls, expand the inquiry messages
to carry the backend's current clock reading as well as its stats cutoff
time.  The latter, being intentionally slightly in-the-past, would trigger
more clock rechecks than we need if it were used for this purpose.

We might want to backpatch this change at some point, but let's let it
shake out in the buildfarm for awhile first.

12 years agoReorder basebackup options, to list pg_basebackup first
Magnus Hagander [Sun, 17 Jun 2012 13:18:02 +0000 (21:18 +0800)]
Reorder basebackup options, to list pg_basebackup first

Since this is the easy way of doing it, it should be listed first. All
the old information is retained for those who want the more advanced way.

Also adds a subheading for compressing logs, that seems to have been missing

12 years agoRemove 'for' loop perltidy argument, and move args to perltidyrc file.
Bruce Momjian [Sat, 16 Jun 2012 14:12:50 +0000 (10:12 -0400)]
Remove 'for' loop perltidy argument, and move args to perltidyrc file.

Backpatch to 9.2.

Per suggestion from Noah Misch

12 years agoIn pgindent, suppress reading the perltidy RC file using --noprofile.
Bruce Momjian [Sat, 16 Jun 2012 02:50:02 +0000 (22:50 -0400)]
In pgindent, suppress reading the perltidy RC file using --noprofile.

12 years agoUpdate pgindent Perl indentation instructions based on feedback from
Bruce Momjian [Sat, 16 Jun 2012 02:43:23 +0000 (22:43 -0400)]
Update pgindent Perl indentation instructions based on feedback from
Àlvaro and Noah Misch.

Backpatch to 9.2.

12 years agoImprove pg_upgrade wording for pg_ctl start failure; could be
Bruce Momjian [Fri, 15 Jun 2012 23:57:01 +0000 (19:57 -0400)]
Improve pg_upgrade wording for pg_ctl start failure;  could be
connection failure.

Backpatch to 9.2.

Per report from Evan D. Hoffman

12 years agoImprove reporting of permission errors for array types
Peter Eisentraut [Fri, 15 Jun 2012 19:55:03 +0000 (22:55 +0300)]
Improve reporting of permission errors for array types

Because permissions are assigned to element types, not array types,
complaining about permission denied on an array type would be
misleading to users.  So adjust the reporting to refer to the element
type instead.

In order not to duplicate the required logic in two dozen places,
refactor the permission denied reporting for types a bit.

pointed out by Yeb Havinga during the review of the type privilege
feature

12 years agoAdd more message pluralization
Peter Eisentraut [Thu, 14 Jun 2012 23:01:00 +0000 (02:01 +0300)]
Add more message pluralization

Even though we can't do much about the case with multiple plurals in
one sentence, we can fix the other cases.

12 years agoImprove readability and error messages in pg_backup_start_time.
Robert Haas [Thu, 14 Jun 2012 19:20:08 +0000 (15:20 -0400)]
Improve readability and error messages in pg_backup_start_time.

Gurjeet Singh, with corrections by me.

12 years agoDoc corrections for pg_is_in_backup patch.
Robert Haas [Thu, 14 Jun 2012 18:31:05 +0000 (14:31 -0400)]
Doc corrections for pg_is_in_backup patch.

Fujii Masao

12 years agoNew SQL functons pg_backup_in_progress() and pg_backup_start_time()
Robert Haas [Thu, 14 Jun 2012 17:25:43 +0000 (13:25 -0400)]
New SQL functons pg_backup_in_progress() and pg_backup_start_time()

Darold Gilles, reviewed by Gabriele Bartolini and others, rebased by
Marco Nenciarini.  Stylistic cleanup and OID fixes by me.

12 years agoDuring transaction cleanup, release locks before deleting files.
Robert Haas [Thu, 14 Jun 2012 14:19:33 +0000 (10:19 -0400)]
During transaction cleanup, release locks before deleting files.

There's no need to hold onto the locks until the files are needed,
and by doing it this way, we reduce the impact on other backends who
may be awaiting locks we hold.

Noah Misch

12 years agoAdd new function log_newpage_buffer.
Robert Haas [Thu, 14 Jun 2012 14:11:16 +0000 (10:11 -0400)]
Add new function log_newpage_buffer.

When I implemented the ginbuildempty() function as part of
implementing unlogged tables, I falsified the note in the header
comment for log_newpage.  Although we could fix that up by changing
the comment, it seems cleaner to add a new function which is
specifically intended to handle this case.  So do that.

12 years agoRemove misplaced sanity check from heap_create().
Robert Haas [Thu, 14 Jun 2012 13:58:53 +0000 (09:58 -0400)]
Remove misplaced sanity check from heap_create().

Even when allow_system_table_mods is not set, we allow creation of any
type of SQL object in pg_catalog, except for relations.  And you can
get relations into pg_catalog, too, by initially creating them in some
other schema and then moving them with ALTER .. SET SCHEMA.  So this
restriction, which prevents relations (only) from being created in
pg_catalog directly, is fairly pointless.  If we need a safety mechanism
for this, it should be placed further upstream, so that it affects all
SQL objects uniformly, and picks up both CREATE and SET SCHEMA.

For now, just rip it out, per discussion with Tom Lane.

12 years agoRemove RELKIND_UNCATALOGED.
Robert Haas [Thu, 14 Jun 2012 13:47:30 +0000 (09:47 -0400)]
Remove RELKIND_UNCATALOGED.

This may have been important at some point in the past, but it no
longer does anything useful.

Review by Tom Lane.

12 years agoMake \conninfo print SSL information.
Robert Haas [Thu, 14 Jun 2012 13:43:14 +0000 (09:43 -0400)]
Make \conninfo print SSL information.

Alastair Turner, per suggestion from Bruce Momjian.

12 years agoAdd 9.2 branch to git_changelog's list.
Tom Lane [Thu, 14 Jun 2012 02:23:31 +0000 (22:23 -0400)]
Add 9.2 branch to git_changelog's list.

12 years agoFlesh out RELEASE_CHANGES instructions for branching in git.
Tom Lane [Thu, 14 Jun 2012 02:11:06 +0000 (22:11 -0400)]
Flesh out RELEASE_CHANGES instructions for branching in git.

We have this info in the wiki, but it should be here too.

12 years agoStamp library minor versions for 9.3.
Tom Lane [Thu, 14 Jun 2012 02:06:26 +0000 (22:06 -0400)]
Stamp library minor versions for 9.3.

This includes fixing the MSVC copy of ecpg/preproc's version info, which
seems to have been overlooked repeatedly.  Can't we fix that so there are
not two copies??

12 years agoStamp HEAD as 9.3devel.
Tom Lane [Thu, 14 Jun 2012 00:03:02 +0000 (20:03 -0400)]
Stamp HEAD as 9.3devel.

Let the hacking begin ...

12 years agoRevisit error message details for JSON input parsing.
Tom Lane [Wed, 13 Jun 2012 23:43:35 +0000 (19:43 -0400)]
Revisit error message details for JSON input parsing.

Instead of identifying error locations only by line number (which could
be entirely unhelpful with long input lines), provide a fragment of the
input text too, placing this info in a new CONTEXT entry.  Make the
error detail messages conform more closely to style guidelines, fix
failure to expose some of them for translation, ensure compiler can
check formats against supplied parameters.

12 years agoRemove release note entry for reverted patch.
Tom Lane [Wed, 13 Jun 2012 22:57:28 +0000 (18:57 -0400)]
Remove release note entry for reverted patch.

12 years agoRevert "Reduce checkpoints and WAL traffic on low activity database server"
Tom Lane [Wed, 13 Jun 2012 22:17:09 +0000 (18:17 -0400)]
Revert "Reduce checkpoints and WAL traffic on low activity database server"

This reverts commit 18fb9d8d21a28caddb72c7ffbdd7b96d52ff9724.  Per
discussion, it does not seem like a good idea to allow committed changes to
go un-checkpointed indefinitely, as could happen in a low-traffic server;
that makes us entirely reliant on the WAL stream with no redundancy that
might aid data recovery in case of disk failure.

This re-introduces the original problem of hot-standby setups generating a
small continuing stream of WAL traffic even when idle, but there are other
ways to address that without compromising crash recovery, so we'll revisit
that issue in a future release cycle.

12 years agoFix description of SQL-standard meaning of CREATE LOCAL TEMP TABLE.
Tom Lane [Wed, 13 Jun 2012 22:47:53 +0000 (18:47 -0400)]
Fix description of SQL-standard meaning of CREATE LOCAL TEMP TABLE.

I had this slightly wrong, as noted by Noah Misch.

12 years agoDeprecate use of GLOBAL and LOCAL in temp table creation.
Tom Lane [Wed, 13 Jun 2012 21:48:42 +0000 (17:48 -0400)]
Deprecate use of GLOBAL and LOCAL in temp table creation.

Aside from adjusting the documentation to say that these are deprecated,
we now report a warning (not an error) for use of GLOBAL, since it seems
fairly likely that we might change that to request SQL-spec-compliant temp
table behavior in the foreseeable future.  Although our handling of LOCAL
is equally nonstandard, there is no evident interest in ever implementing
SQL modules, and furthermore some other products interpret LOCAL as
behaving the same way we do.  So no expectation of change and no warning
for LOCAL; but it still seems a good idea to deprecate writing it.

Noah Misch

12 years agoSupport Linux's oom_score_adj API as well as the older oom_adj API.
Tom Lane [Wed, 13 Jun 2012 19:34:57 +0000 (15:34 -0400)]
Support Linux's oom_score_adj API as well as the older oom_adj API.

The simplest way to handle this is just to copy-and-paste the relevant
code block in fork_process.c, so that's what I did. (It's possible that
something more complicated would be useful to packagers who want to work
with either the old or the new API; but at this point the number of such
people is rapidly approaching zero, so let's just get the minimal thing
done.)  Update relevant documentation as well.

12 years agoIn pg_upgrade, verify that the install user has the same oid on both
Bruce Momjian [Wed, 13 Jun 2012 16:19:18 +0000 (12:19 -0400)]
In pg_upgrade, verify that the install user has the same oid on both
clusters, and make sure the new cluster has no additional users.

Backpatch to 9.1.

12 years agoImprove documentation of postgres -C option
Peter Eisentraut [Wed, 13 Jun 2012 10:41:25 +0000 (13:41 +0300)]
Improve documentation of postgres -C option

Clarify help (s/return/print/), and explain that this option is for
use by other programs, not for user-facing use (it does not print
units).

12 years agoMinor code review for json.c.
Tom Lane [Tue, 12 Jun 2012 20:23:45 +0000 (16:23 -0400)]
Minor code review for json.c.

Improve commenting, conform to project style for use of ++ etc.
No functional changes.

12 years agoMark JSON error detail messages for translation.
Robert Haas [Tue, 12 Jun 2012 14:41:38 +0000 (10:41 -0400)]
Mark JSON error detail messages for translation.

Per gripe from Tom Lane.

12 years agoCopy-editing of release notes.
Robert Haas [Tue, 12 Jun 2012 13:51:48 +0000 (09:51 -0400)]
Copy-editing of release notes.

Remove a couple of items that were actually back-patched bug fixes.
Add additional details to a couple of items which lacked a description.
Improve attributions for a couple of items I was involved with.
A few other miscellaneous corrections.

12 years agoEnsure pg_ctl behaves sanely when data directory is not specified.
Tom Lane [Tue, 12 Jun 2012 02:47:16 +0000 (22:47 -0400)]
Ensure pg_ctl behaves sanely when data directory is not specified.

Commit aaa6e1def292cdacb6b27088898793b1b879fedf introduced multiple hazards
in the case where pg_ctl is executed with neither a -D switch nor any
PGDATA environment variable.  It would dump core on machines which are
unforgiving about printf("%s", NULL), or failing that possibly give a
rather unhelpful complaint about being unable to execute "postgres -C",
rather than the logically prior complaint about not being told where the
data directory is.

Edmund Horner's report suggests that there is another, Windows-specific
hazard here, but I'm not the person to fix that; it would in any case only
be significant when trying to use a config-only PGDATA pointer.

12 years agoFix pg_dump output to a named tar-file archive.
Tom Lane [Tue, 12 Jun 2012 01:55:48 +0000 (21:55 -0400)]
Fix pg_dump output to a named tar-file archive.

"pg_dump -Ft -f filename ..." got broken by my recent commit
4317e0246c645f60c39e6572644cff1cb03b4c65, which I fear I only tested
in the output-to-stdout variant.

Report and fix by Muhammad Asif Naeem.

12 years agopg_receivexlog: Rename option --dir to --directory
Peter Eisentraut [Mon, 11 Jun 2012 21:55:27 +0000 (00:55 +0300)]
pg_receivexlog: Rename option --dir to --directory

getopt_long() allows abbreviating long options, so we might as well
give the option the full name, and users can abbreviate it how they
like.

Do some general polishing of the --help output at the same time.

12 years agoPrevent non-streaming replication connections from being selected sync slave
Magnus Hagander [Mon, 11 Jun 2012 13:07:55 +0000 (15:07 +0200)]
Prevent non-streaming replication connections from being selected sync slave

This prevents a pg_basebackup backup session that just does a base
backup (no xlog involved at all) from becoming the synchronous slave
and thus blocking all access while it runs.

Also fixes the problem when a higher priority slave shows up it would
become the sync standby before it has reached the STREAMING state, by
making sure we can only switch to a walsender that's actually STREAMING.

Fujii Masao

12 years agoRevert behaviour of -x/--xlog to 9.1 semantics
Magnus Hagander [Sun, 10 Jun 2012 11:43:51 +0000 (13:43 +0200)]
Revert behaviour of -x/--xlog to 9.1 semantics

To replace it, add -X/--xlog-method that allows the specification
of fetch or stream.

Do this to avoid unnecessary backwards-incompatiblity. Spotted and
suggested by Peter Eisentraut.

12 years agoRun pgindent on 9.2 source tree in preparation for first 9.3
Bruce Momjian [Sun, 10 Jun 2012 19:20:04 +0000 (15:20 -0400)]
Run pgindent on 9.2 source tree in preparation for first 9.3
commit-fest.

12 years agoUpdate pgindent install instructions and update typedef list.
Bruce Momjian [Sun, 10 Jun 2012 19:15:31 +0000 (15:15 -0400)]
Update pgindent install instructions and update typedef list.

12 years agoFix pg_basebackup/pg_receivexlog for floating point timestamps
Magnus Hagander [Sun, 10 Jun 2012 10:12:36 +0000 (12:12 +0200)]
Fix pg_basebackup/pg_receivexlog for floating point timestamps

Since the replication protocol deals with TimestampTz, we need to
care for the floating point case as well in the frontend tools.

Fujii Masao, with changes from Magnus Hagander

12 years agoError message capitalization fix
Magnus Hagander [Thu, 7 Jun 2012 09:30:31 +0000 (11:30 +0200)]
Error message capitalization fix

12 years agoMake include files work without having to include other ones first
Peter Eisentraut [Sun, 10 Jun 2012 09:43:00 +0000 (12:43 +0300)]
Make include files work without having to include other ones first

12 years agoRevert error message on GLOBAL/LOCAL pending further discussion
Simon Riggs [Sun, 10 Jun 2012 07:41:01 +0000 (08:41 +0100)]
Revert error message on GLOBAL/LOCAL pending further discussion

12 years agoAdd ERROR msg for GLOBAL/LOCAL TEMP is not yet implemented
Simon Riggs [Sat, 9 Jun 2012 15:35:26 +0000 (16:35 +0100)]
Add ERROR msg for GLOBAL/LOCAL TEMP is not yet implemented

12 years agoFix bug in early startup of Hot Standby with subtransactions.
Simon Riggs [Fri, 8 Jun 2012 16:34:04 +0000 (17:34 +0100)]
Fix bug in early startup of Hot Standby with subtransactions.
When HS startup is deferred because of overflowed subtransactions, ensure
that we re-initialize KnownAssignedXids for when both existing and incoming
snapshots have non-zero qualifying xids.

Fixes bug #6661 reported by Valentine Gogichashvili.

Analysis and fix by Andres Freund

12 years agoWhen using libpq URI syntax, error out on invalid parameter names.
Robert Haas [Fri, 8 Jun 2012 12:46:39 +0000 (08:46 -0400)]
When using libpq URI syntax, error out on invalid parameter names.

Dan Farina

12 years agoDocumentation style improvements
Peter Eisentraut [Fri, 8 Jun 2012 07:28:32 +0000 (10:28 +0300)]
Documentation style improvements

12 years agoScan the buffer pool just once, not once per fork, during relation drop.
Tom Lane [Thu, 7 Jun 2012 21:42:27 +0000 (17:42 -0400)]
Scan the buffer pool just once, not once per fork, during relation drop.

This provides a speedup of about 4X when NBuffers is large enough.
There is also a useful reduction in sinval traffic, since we
only do CacheInvalidateSmgr() once not once per fork.

Simon Riggs, reviewed and somewhat revised by Tom Lane

12 years agoDocumentation spell and markup checking
Peter Eisentraut [Thu, 7 Jun 2012 21:06:20 +0000 (00:06 +0300)]
Documentation spell and markup checking

12 years agoMessage style improvements
Peter Eisentraut [Thu, 7 Jun 2012 20:35:33 +0000 (23:35 +0300)]
Message style improvements

12 years agoDo unlocked prechecks in bufmgr.c loops that scan the whole buffer pool.
Tom Lane [Thu, 7 Jun 2012 20:46:26 +0000 (16:46 -0400)]
Do unlocked prechecks in bufmgr.c loops that scan the whole buffer pool.

DropRelFileNodeBuffers, DropDatabaseBuffers, FlushRelationBuffers, and
FlushDatabaseBuffers have to scan the whole shared_buffers pool because
we have no index structure that would find the target buffers any more
efficiently than that.  This gets expensive with large NBuffers.  We can
shave some cycles from these loops by prechecking to see if the current
buffer is interesting before we acquire the buffer header lock.
Ordinarily such a test would be unsafe, but in these cases it should be
safe because we are already assuming that the caller holds a lock that
prevents any new target pages from being loaded into the buffer pool
concurrently.  Therefore, no buffer tag should be changing to a value of
interest, only away from a value of interest.  So a false negative match
is impossible, while a false positive is safe because we'll recheck after
acquiring the buffer lock.  Initial testing says that this speeds these
loops by a factor of 2X to 3X on common Intel hardware.

Patch for DropRelFileNodeBuffers by Jeff Janes (based on an idea of
Heikki's); extended to the remaining sequential scans by Tom Lane

12 years agoWake WALSender to reduce data loss at failover for async commit.
Simon Riggs [Thu, 7 Jun 2012 18:22:47 +0000 (19:22 +0100)]
Wake WALSender to reduce data loss at failover for async commit.
WALSender now woken up after each background flush by WALwriter, avoiding
multi-second replication delay for an all-async commit workload.
Replication delay reduced from 7s with default settings to 200ms and often
much less, allowing significantly reduced data loss at failover.

Andres Freund and Simon Riggs

12 years agoFix more crash-safe visibility map bugs, and improve comments.
Robert Haas [Thu, 7 Jun 2012 16:25:41 +0000 (12:25 -0400)]
Fix more crash-safe visibility map bugs, and improve comments.

In lazy_scan_heap, we could issue bogus warnings about incorrect
information in the visibility map, because we checked the visibility
map bit before locking the heap page, creating a race condition.  Fix
by rechecking the visibility map bit before we complain.  Rejigger
some related logic so that we rely on the possibly-outdated
all_visible_according_to_vm value as little as possible.

In heap_multi_insert, it's not safe to clear the visibility map bit
before beginning the critical section.  The visibility map is not
crash-safe unless we treat clearing the bit as a critical operation.
Specifically, if the transaction were to error out after we set the
bit and before entering the critical section, we could end up writing
the heap page to disk (with the bit cleared) and crashing before the
visibility map page made it to disk.  That would be bad.  heap_insert
has this correct, but somehow the order of operations got rearranged
when heap_multi_insert was added.

Also, add some more comments to visibilitymap_test, lazy_scan_heap,
and IndexOnlyNext, expounding on concurrency issues.

Per extensive code review by Andres Freund, and further review by Tom
Lane, who also made the original report about the bogus warnings.

12 years agoUse strerror(errno) instead of %m
Magnus Hagander [Tue, 5 Jun 2012 13:51:30 +0000 (15:51 +0200)]
Use strerror(errno) instead of %m

Found by Fujii Masao

12 years agoFix typo
Magnus Hagander [Tue, 5 Jun 2012 12:08:56 +0000 (14:08 +0200)]
Fix typo

Noted by Erik Rijkers

12 years agoAdd example of archive_command to use with pg_receivexlog
Magnus Hagander [Tue, 5 Jun 2012 11:48:18 +0000 (13:48 +0200)]
Add example of archive_command to use with pg_receivexlog

12 years agoFix bogus handling of control characters in json_lex_string().
Tom Lane [Tue, 5 Jun 2012 00:43:57 +0000 (20:43 -0400)]
Fix bogus handling of control characters in json_lex_string().

The original coding misbehaved if "char" is signed, and also made the
extremely poor decision to print control characters literally when trying
to complain about them.  Report and patch by Shigeru Hanada.

In passing, also fix core dump risk in report_parse_error() should the
parse state be something other than what it expects.

12 years agoFix some more bugs in contrib/xml2's xslt_process().
Tom Lane [Tue, 5 Jun 2012 00:12:50 +0000 (20:12 -0400)]
Fix some more bugs in contrib/xml2's xslt_process().

It failed to check for error return from xsltApplyStylesheet(), as reported
by Peter Gagarinov.  (So far as I can tell, libxslt provides no convenient
way to get a useful error message in failure cases.  There might be some
inconvenient way, but considering that this code is deprecated it's hard to
get enthusiastic about putting lots of work into it.  So I just made it say
"failed to apply stylesheet", in line with the existing error checks.)

While looking at the code I also noticed that the string returned by
xsltSaveResultToString was never freed, resulting in a session-lifespan
memory leak.

Back-patch to all supported versions.

12 years agoFix memory leaks in failure paths in buildACLCommands and parseAclItem.
Tom Lane [Sun, 3 Jun 2012 15:52:52 +0000 (11:52 -0400)]
Fix memory leaks in failure paths in buildACLCommands and parseAclItem.

This is currently only cosmetic, since all the call sites just curl up
and die in event of a failure return.  It might be important for some
future use-case, though, and in any case it quiets warnings from the
clang static analyzer (as reported by Anna Zaks).

Josh Kupershmidt

12 years agoIn pg_upgrade, report pre-PG 8.1 plpython helper functions left in the
Bruce Momjian [Fri, 1 Jun 2012 15:40:04 +0000 (11:40 -0400)]
In pg_upgrade, report pre-PG 8.1 plpython helper functions left in the
public schema that no longer point to valid shared object libraries, and
suggest a solution.

12 years agoAvoid early reuse of btree pages, causing incorrect query results.
Simon Riggs [Fri, 1 Jun 2012 11:21:45 +0000 (12:21 +0100)]
Avoid early reuse of btree pages, causing incorrect query results.
When we allowed read-only transactions to skip assigning XIDs
we introduced the possibility that a fully deleted btree page
could be reused. This broke the index link sequence which could
then lead to indexscans silently returning fewer rows than would
have been correct. The actual incidence of silent errors from
this is thought to be very low because of the exact workload
required and locking pre-conditions. Fix is to remove pages only
if index page opaque->btpo.xact precedes RecentGlobalXmin.

Noah Misch, reviewed by Simon Riggs

12 years agoImprove description of pg_stat_statements normalisation in release notes.
Simon Riggs [Fri, 1 Jun 2012 10:49:14 +0000 (11:49 +0100)]
Improve description of pg_stat_statements normalisation in release notes.

12 years agoClarify description of covering indexes in release notes
Simon Riggs [Fri, 1 Jun 2012 10:35:27 +0000 (11:35 +0100)]
Clarify description of covering indexes in release notes

12 years agoCopy editing of release notes for couple of my items.
Simon Riggs [Fri, 1 Jun 2012 10:33:16 +0000 (11:33 +0100)]
Copy editing of release notes for couple of my items.

12 years agoAfter any checkpoint, close all smgr files handles in bgwriter
Simon Riggs [Fri, 1 Jun 2012 08:24:53 +0000 (09:24 +0100)]
After any checkpoint, close all smgr files handles in bgwriter

12 years agoCheckpointer starts before bgwriter to avoid missing fsync requests.
Simon Riggs [Fri, 1 Jun 2012 07:25:17 +0000 (08:25 +0100)]
Checkpointer starts before bgwriter to avoid missing fsync requests.
Noted while testing Hot Standby startup.

12 years agoProvide interim statistics while in mid-checkpoint.
Simon Riggs [Fri, 1 Jun 2012 07:19:06 +0000 (08:19 +0100)]
Provide interim statistics while in mid-checkpoint.
Re-implements similar functionality in 9.1 and previously which
was removed during split of checkpointer and bgwriter.

Requested/spotted by Magnus Hagander

12 years agoStamp 9.2beta2. REL9_2_BETA2
Tom Lane [Thu, 31 May 2012 23:16:55 +0000 (19:16 -0400)]
Stamp 9.2beta2.

12 years agoUpdate release notes for 9.1.4, 9.0.8, 8.4.12, 8.3.19.
Tom Lane [Thu, 31 May 2012 23:03:32 +0000 (19:03 -0400)]
Update release notes for 9.1.4, 9.0.8, 8.4.12, 8.3.19.

12 years agoImprove comment for GetStableLatestTransactionId().
Tom Lane [Thu, 31 May 2012 15:20:02 +0000 (11:20 -0400)]
Improve comment for GetStableLatestTransactionId().

12 years agoOnly throw recovery conflicts when InHotStandby. Bug fix to recent
Simon Riggs [Thu, 31 May 2012 12:11:47 +0000 (13:11 +0100)]
Only throw recovery conflicts when InHotStandby. Bug fix to recent
patch to allow Index Only Scans on Hot Standby.

Bug report from Jaime Casanova

12 years agoUpdate time zone data files to tzdata release 2012c.
Tom Lane [Thu, 31 May 2012 04:47:57 +0000 (00:47 -0400)]
Update time zone data files to tzdata release 2012c.

DST law changes in Antarctica, Armenia, Chile, Cuba, Falkland Islands,
Gaza, Haiti, Hebron, Morocco, Syria, Tokelau Islands.
Historical corrections for Canada.

12 years agoForce PL and range-type support functions to be owned by a superuser.
Tom Lane [Thu, 31 May 2012 03:47:57 +0000 (23:47 -0400)]
Force PL and range-type support functions to be owned by a superuser.

We allow non-superusers to create procedural languages (with restrictions)
and range datatypes.  Previously, the automatically-created support
functions for these objects ended up owned by the creating user.  This
represents a rather considerable security hazard, because the owning user
might be able to alter a support function's definition in such a way as to
crash the server, inject trojan-horse SQL code, or even execute arbitrary
C code directly.  It appears that right now the only actually exploitable
problem is the infinite-recursion bug fixed in the previous patch for
CVE-2012-2655.  However, it's not hard to imagine that future additions of
more ALTER FUNCTION capability might unintentionally open up new hazards.
To forestall future problems, cause these support functions to be owned by
the bootstrap superuser, not the user creating the parent object.

12 years agoIgnore SECURITY DEFINER and SET attributes for a PL's call handler.
Tom Lane [Thu, 31 May 2012 03:27:57 +0000 (23:27 -0400)]
Ignore SECURITY DEFINER and SET attributes for a PL's call handler.

It's not very sensible to set such attributes on a handler function;
but if one were to do so, fmgr.c went into infinite recursion because
it would call fmgr_security_definer instead of the handler function proper.
There is no way for fmgr_security_definer to know that it ought to call the
handler and not the original function referenced by the FmgrInfo's fn_oid,
so it tries to do the latter, causing the whole process to start over
again.

Ordinarily such misconfiguration of a procedural language's handler could
be written off as superuser error.  However, because we allow non-superuser
database owners to create procedural languages and the handler for such a
language becomes owned by the database owner, it is possible for a database
owner to crash the backend, which ideally shouldn't be possible without
superuser privileges.  In 9.2 and up we will adjust things so that the
handler functions are always owned by superusers, but in existing branches
this is a minor security fix.

Problem noted by Noah Misch (after several of us had failed to detect
it :-().  This is CVE-2012-2655.

12 years agoExpand the allowed range of timezone offsets to +/-15:59:59 from Greenwich.
Tom Lane [Wed, 30 May 2012 23:58:35 +0000 (19:58 -0400)]
Expand the allowed range of timezone offsets to +/-15:59:59 from Greenwich.

We used to only allow offsets less than +/-13 hours, then it was +/14,
then it was +/-15.  That's still not good enough though, as per today's bug
report from Patric Bechtel.  This time I actually looked through the Olson
timezone database to find the largest offsets used anywhere.  The winners
are Asia/Manila, at -15:56:00 until 1844, and America/Metlakatla, at
+15:13:42 until 1867.  So we'd better allow offsets less than +/-16 hours.

Given the history, we are way overdue to have some greppable #define
symbols controlling this, so make some ... and also remove an obsolete
comment that didn't get fixed the last time.

Back-patch to all supported branches.

12 years agoFix two more bugs in fast-path relation locking.
Robert Haas [Wed, 30 May 2012 20:17:46 +0000 (16:17 -0400)]
Fix two more bugs in fast-path relation locking.

First, the previous code failed to account for the fact that, during Hot
Standby operation, the startup process takes AccessExclusiveLocks on
relations without setting MyDatabaseId.  This resulted in fast path
strong lock counts failing to be incremented with the startup process
took locks, which in turn allowed conflicting lock requests to succeed
when they should not have.  Report by Erik Rijkers, diagnosis by Heikki
Linnakangas.

Second, LockReleaseAll() failed to honor the allLocks and lockmethodid
restrictions with respect to fast-path locks.  It's not clear to me
whether this produces any user-visible breakage at the moment, but it's
certainly wrong.  Rearrange order of operations in LockReleaseAll to fix.
Noted by Tom Lane.

12 years agoFix incorrect password transformation in contrib/pgcrypto's DES crypt().
Tom Lane [Wed, 30 May 2012 14:53:30 +0000 (10:53 -0400)]
Fix incorrect password transformation in contrib/pgcrypto's DES crypt().

Overly tight coding caused the password transformation loop to stop
examining input once it had processed a byte equal to 0x80.  Thus, if the
given password string contained such a byte (which is possible though not
highly likely in UTF8, and perhaps also in other non-ASCII encodings), all
subsequent characters would not contribute to the hash, making the password
much weaker than it appears on the surface.

This would only affect cases where applications used DES crypt() to encode
passwords before storing them in the database.  If a weak password has been
created in this fashion, the hash will stop matching after this update has
been applied, so it will be easy to tell if any passwords were unexpectedly
weak.  Changing to a different password would be a good idea in such a case.
(Since DES has been considered inadequately secure for some time, changing
to a different encryption algorithm can also be recommended.)

This code, and the bug, are shared with at least PHP, FreeBSD, and OpenBSD.
Since the other projects have already published their fixes, there is no
point in trying to keep this commit private.

This bug has been assigned CVE-2012-2143, and credit for its discovery goes
to Rubin Xu and Joseph Bonneau.

12 years agoChange the way parent pages are tracked during buffered GiST build.
Heikki Linnakangas [Wed, 30 May 2012 08:59:14 +0000 (11:59 +0300)]
Change the way parent pages are tracked during buffered GiST build.

We used to mimic the way a stack is constructed when descending the tree
during normal GiST inserts, but that was quite complicated during a buffered
build. It was also wrong: in GiST, the left-to-right relationships on
different levels might not match each other, so that when you know the
parent of a child page, you won't necessarily find the parent of the page to
the right of the child page by following the rightlinks at the parent level.
This sometimes led to "could not re-find parent" errors while building a
GiST index.

We now use a simple hash table to track the parent of every internal page.
Whenever a page is split, and downlinks are moved from one page to another,
we update the hash table accordingly. This is also better for performance
than the old method, as we never need to move right to re-find the parent
page, which could take a significant amount of time for buffers that were
created much earlier in the index build.

12 years agoDelete the temporary file used in buffered GiST build, after the build.
Heikki Linnakangas [Wed, 30 May 2012 08:58:54 +0000 (11:58 +0300)]
Delete the temporary file used in buffered GiST build, after the build.

There were two bugs here: We forgot to call gistFreeBuildBuffers() function
at the end of build, and we passed interXact == true to BufFileCreateTemp,
so the file wasn't automatically cleaned up at end-of-transaction either.

12 years agoRewrite --section option to decouple it from --schema-only/--data-only.
Tom Lane [Wed, 30 May 2012 03:22:14 +0000 (23:22 -0400)]
Rewrite --section option to decouple it from --schema-only/--data-only.

The initial implementation of pg_dump's --section option supposed that the
existing --schema-only and --data-only options could be made equivalent to
--section settings.  This is wrong, though, due to dubious but long since
set-in-stone decisions about where to dump SEQUENCE SET items, as seen in
bug report from Martin Pitt.  (And I'm not totally convinced there weren't
other bugs, either.)  Undo that coupling and instead drive --section
filtering off current-section state tracked as we scan through the TOC
list to call _tocEntryRequired().

To make sure those decisions don't shift around and hopefully save a few
cycles, run _tocEntryRequired() only once per TOC entry and save the result
in a new TOC field.  This required minor rejiggering of ACL handling but
also allows a far cleaner implementation of inhibit_data_for_failed_table.

Also, to ensure that pg_dump and pg_restore have the same behavior with
respect to the --section switches, add _tocEntryRequired() filtering to
WriteToc() and WriteDataChunks(), rather than trying to implement section
filtering in an entirely orthogonal way in dumpDumpableObject().  This
required adjusting the handling of the special ENCODING and STDSTRINGS
items, but they were pretty weird before anyway.

Minor other code review for the patch, too.

12 years agoFix integer overflow bug in GiST buffering build calculations.
Heikki Linnakangas [Tue, 29 May 2012 19:22:43 +0000 (22:22 +0300)]
Fix integer overflow bug in GiST buffering build calculations.

The result of (maintenance_work_mem * 1024) / BLCKSZ doesn't fit in a signed
32-bit integer, if maintenance_work_mem >= 2GB. Use double instead. And
while we're at it, write the calculations in an easier to understand form,
with the intermediary steps written out and commented.

12 years agoTeach AbortOutOfAnyTransaction to clean up partially-started transactions.
Tom Lane [Tue, 29 May 2012 03:57:06 +0000 (23:57 -0400)]
Teach AbortOutOfAnyTransaction to clean up partially-started transactions.

AbortOutOfAnyTransaction failed to do anything if the state it saw on
entry corresponded to failing partway through StartTransaction.  I fixed
AbortCurrentTransaction to cope with that case way back in commit
60b2444cc3ba037630c9b940c3c9ef01b954b87b, but evidently overlooked that
AbortOutOfAnyTransaction should do likewise.

Back-patch to all supported branches.  It's not clear that this omission
has any more-than-cosmetic consequences, but it's also not clear that it
doesn't, so back-patching seems the least risky choice.

12 years agoEliminate some more O(N^2) behaviors in pg_dump/pg_restore.
Tom Lane [Tue, 29 May 2012 00:38:28 +0000 (20:38 -0400)]
Eliminate some more O(N^2) behaviors in pg_dump/pg_restore.

This patch fixes three places (which AFAICT is all of them) where runtime
was O(N^2) in the number of TOC entries, by using an index array to replace
linear searches of the TOC list.  This performance issue is a bit less bad
than those recently fixed, because it depends on the number of items dumped
not the number in the source database, so the problem can be dodged by
doing partial dumps.

The previous coding already had an instance of one of the two index arrays
needed, but it was only calculated in parallel-restore cases; now we need
it all the time.  I also chose to move the arrays into the ArchiveHandle
data structure, to make this code a bit more ready for the day that we
try to sling multiple ArchiveHandles around in pg_dump or pg_restore.

Since we still need some server-side work before pg_dump can really cope
nicely with tens of thousands of tables, there's probably little point in
back-patching.

12 years agolibpq: URI parsing fixes
Peter Eisentraut [Mon, 28 May 2012 19:44:34 +0000 (22:44 +0300)]
libpq: URI parsing fixes

Drop special handling of host component with slashes to mean
Unix-domain socket.  Specify it as separate parameter or using
percent-encoding now.

Allow omitting username, password, and port even if the corresponding
designators are present in URI.

Handle percent-encoding in query parameter keywords.

Alex Shulgin

some documentation improvements by myself

12 years agoUpdate SQL features list
Peter Eisentraut [Sun, 27 May 2012 20:34:16 +0000 (23:34 +0300)]
Update SQL features list

Set E081 Basic Privileges to supported, since by the letter of it, we
support it, even though not all possible forms of USAGE privileges are
implemented.

12 years agopsql: Remove notice about readline from --version output
Peter Eisentraut [Sun, 27 May 2012 19:48:20 +0000 (22:48 +0300)]
psql: Remove notice about readline from --version output

This was from a time when readline support wasn't standard.  And it
doesn't help analyzing current line editing library problems.

12 years agoSuppress -Wunused-result warning about write()
Peter Eisentraut [Sun, 27 May 2012 19:35:01 +0000 (22:35 +0300)]
Suppress -Wunused-result warning about write()

This is related to aa90e148ca70a235897b1227f1a7cd1c66bc5368, but this
code is only used under -DLINUX_OOM_ADJ, so it was apparently
overlooked then.

12 years agoPL/Perl: Avoid compiler warning from clang
Peter Eisentraut [Sun, 27 May 2012 19:30:34 +0000 (22:30 +0300)]
PL/Perl: Avoid compiler warning from clang

Use SvREFCNT_inc_simple_void() instead of SvREFCNT_inc() to avoid
warning about unused return value.

12 years agoImprove pg_upgrade C comment.
Bruce Momjian [Sun, 27 May 2012 10:45:29 +0000 (06:45 -0400)]
Improve pg_upgrade C comment.

12 years agoAdd C comment explaining why we can't exclude checking functions in the
Bruce Momjian [Sun, 27 May 2012 10:35:10 +0000 (06:35 -0400)]
Add C comment explaining why we can't exclude checking functions in the
pg_catalog schema, even though they are not explicitly dumped (they are
implicitly dumped, e.g. create language plperl).

12 years agoAdd pg_update C comment about problems with plpython_call_handler().
Bruce Momjian [Sun, 27 May 2012 10:29:45 +0000 (06:29 -0400)]
Add pg_update C comment about problems with plpython_call_handler().

12 years agoMake pg_recievexlog by default loop on connection failures
Magnus Hagander [Sun, 27 May 2012 09:05:24 +0000 (11:05 +0200)]
Make pg_recievexlog by default loop on connection failures

Avoids the need for an external script in the most common
scenario. Behavior can be overridden using the -n/--noloop
commandline parameter.

12 years agoFix handling of pg_stat_statements.stat temporary file
Magnus Hagander [Sun, 27 May 2012 08:54:31 +0000 (10:54 +0200)]
Fix handling of pg_stat_statements.stat temporary file

Write the file to a temporary name and then rename() it into the
permanent name, to ensure it can't end up half-written and corrupt
in case of a crash during shutdown.

Unlink the file after it has been read so it's removed from the data
directory and not included in base backups going to replication slaves.

12 years agoPrevent synchronized scanning when systable_beginscan chooses a heapscan.
Tom Lane [Sat, 26 May 2012 23:09:52 +0000 (19:09 -0400)]
Prevent synchronized scanning when systable_beginscan chooses a heapscan.

The only interesting-for-performance case wherein we force heapscan here
is when we're rebuilding the relcache init file, and the only such case
that is likely to be examining a catalog big enough to be syncscanned is
RelationBuildTupleDesc.  But the early-exit optimization in that code gets
broken if we start the scan at a random place within the catalog, so that
allowing syncscan is actually a big deoptimization if pg_attribute is large
(at least for the normal case where the rows for core system catalogs have
never been changed since initdb).  Hence, prevent syncscan here.  Per my
testing pursuant to complaints from Jeff Frost and Greg Sabino Mullane,
though neither of them seem to have actually hit this specific problem.

Back-patch to 8.3, where syncscan was introduced.

12 years agoFix string truncation to be multibyte-aware in text_name and bpchar_name.
Tom Lane [Fri, 25 May 2012 21:34:51 +0000 (17:34 -0400)]
Fix string truncation to be multibyte-aware in text_name and bpchar_name.

Previously, casts to name could generate invalidly-encoded results.

Also, make these functions match namein() more exactly, by consistently
using palloc0() instead of ad-hoc zeroing code.

Back-patch to all supported branches.

Karl Schnaitter and Tom Lane

12 years agoUse binary search instead of brute-force scan in findNamespace().
Tom Lane [Fri, 25 May 2012 18:35:37 +0000 (14:35 -0400)]
Use binary search instead of brute-force scan in findNamespace().

The previous coding presented a significant bottleneck when dumping
databases containing many thousands of schemas, since the total time
spent searching would increase roughly as O(N^2) in the number of objects.
Noted by Jeff Janes, though I rewrote his proposed patch to use the
existing findObjectByOid infrastructure.

Since this is a longstanding performance bug, backpatch to all supported
versions.

12 years agoHave pg_upgrade only use one extra log file for Win32, not two.
Bruce Momjian [Fri, 25 May 2012 13:09:51 +0000 (09:09 -0400)]
Have pg_upgrade only use one extra log file for Win32, not two.

12 years agoFix base backup streaming xlog from standby
Magnus Hagander [Fri, 25 May 2012 09:36:22 +0000 (11:36 +0200)]
Fix base backup streaming xlog from standby

When backing up from a standby server, the backup process
will not automatically switch xlog segment. So we must
accept a partially transferred xlog file in this case, but
rename it into position anyway.

In passing, merge the two callbacks for segment end and
stop stream into a single callback, since their implementations
were close to identical, and rename this callback to
reflect that it stops streaming rather than continues it.

Patch by Magnus Hagander, review by Fujii Masao

12 years agoOn Windows, have pg_upgrade use different two files to log pg_ctl
Bruce Momjian [Fri, 25 May 2012 00:30:39 +0000 (20:30 -0400)]
On Windows, have pg_upgrade use different two files to log pg_ctl
start/stop output, to fix file share error reported by Edmund Horner

12 years agoClarify 9.2 release notes items about pg_stat_statements, to better
Bruce Momjian [Thu, 24 May 2012 23:10:06 +0000 (19:10 -0400)]
Clarify 9.2 release notes items about pg_stat_statements, to better
document fix of double counting and read/write count addition, per Peter
Geoghegan

12 years agoChange pg_stat_statements order of release note items, per Peter
Bruce Momjian [Thu, 24 May 2012 21:51:56 +0000 (17:51 -0400)]
Change pg_stat_statements order of release note items, per Peter
Geoghegan