]> granicus.if.org Git - postgresql/log
postgresql
12 years agoScan the buffer pool just once, not once per fork, during relation drop.
Tom Lane [Thu, 7 Jun 2012 21:42:27 +0000 (17:42 -0400)]
Scan the buffer pool just once, not once per fork, during relation drop.

This provides a speedup of about 4X when NBuffers is large enough.
There is also a useful reduction in sinval traffic, since we
only do CacheInvalidateSmgr() once not once per fork.

Simon Riggs, reviewed and somewhat revised by Tom Lane

12 years agoDocumentation spell and markup checking
Peter Eisentraut [Thu, 7 Jun 2012 21:06:20 +0000 (00:06 +0300)]
Documentation spell and markup checking

12 years agoMessage style improvements
Peter Eisentraut [Thu, 7 Jun 2012 20:35:33 +0000 (23:35 +0300)]
Message style improvements

12 years agoDo unlocked prechecks in bufmgr.c loops that scan the whole buffer pool.
Tom Lane [Thu, 7 Jun 2012 20:46:26 +0000 (16:46 -0400)]
Do unlocked prechecks in bufmgr.c loops that scan the whole buffer pool.

DropRelFileNodeBuffers, DropDatabaseBuffers, FlushRelationBuffers, and
FlushDatabaseBuffers have to scan the whole shared_buffers pool because
we have no index structure that would find the target buffers any more
efficiently than that.  This gets expensive with large NBuffers.  We can
shave some cycles from these loops by prechecking to see if the current
buffer is interesting before we acquire the buffer header lock.
Ordinarily such a test would be unsafe, but in these cases it should be
safe because we are already assuming that the caller holds a lock that
prevents any new target pages from being loaded into the buffer pool
concurrently.  Therefore, no buffer tag should be changing to a value of
interest, only away from a value of interest.  So a false negative match
is impossible, while a false positive is safe because we'll recheck after
acquiring the buffer lock.  Initial testing says that this speeds these
loops by a factor of 2X to 3X on common Intel hardware.

Patch for DropRelFileNodeBuffers by Jeff Janes (based on an idea of
Heikki's); extended to the remaining sequential scans by Tom Lane

12 years agoWake WALSender to reduce data loss at failover for async commit.
Simon Riggs [Thu, 7 Jun 2012 18:22:47 +0000 (19:22 +0100)]
Wake WALSender to reduce data loss at failover for async commit.
WALSender now woken up after each background flush by WALwriter, avoiding
multi-second replication delay for an all-async commit workload.
Replication delay reduced from 7s with default settings to 200ms and often
much less, allowing significantly reduced data loss at failover.

Andres Freund and Simon Riggs

12 years agoFix more crash-safe visibility map bugs, and improve comments.
Robert Haas [Thu, 7 Jun 2012 16:25:41 +0000 (12:25 -0400)]
Fix more crash-safe visibility map bugs, and improve comments.

In lazy_scan_heap, we could issue bogus warnings about incorrect
information in the visibility map, because we checked the visibility
map bit before locking the heap page, creating a race condition.  Fix
by rechecking the visibility map bit before we complain.  Rejigger
some related logic so that we rely on the possibly-outdated
all_visible_according_to_vm value as little as possible.

In heap_multi_insert, it's not safe to clear the visibility map bit
before beginning the critical section.  The visibility map is not
crash-safe unless we treat clearing the bit as a critical operation.
Specifically, if the transaction were to error out after we set the
bit and before entering the critical section, we could end up writing
the heap page to disk (with the bit cleared) and crashing before the
visibility map page made it to disk.  That would be bad.  heap_insert
has this correct, but somehow the order of operations got rearranged
when heap_multi_insert was added.

Also, add some more comments to visibilitymap_test, lazy_scan_heap,
and IndexOnlyNext, expounding on concurrency issues.

Per extensive code review by Andres Freund, and further review by Tom
Lane, who also made the original report about the bogus warnings.

12 years agoUse strerror(errno) instead of %m
Magnus Hagander [Tue, 5 Jun 2012 13:51:30 +0000 (15:51 +0200)]
Use strerror(errno) instead of %m

Found by Fujii Masao

12 years agoFix typo
Magnus Hagander [Tue, 5 Jun 2012 12:08:56 +0000 (14:08 +0200)]
Fix typo

Noted by Erik Rijkers

12 years agoAdd example of archive_command to use with pg_receivexlog
Magnus Hagander [Tue, 5 Jun 2012 11:48:18 +0000 (13:48 +0200)]
Add example of archive_command to use with pg_receivexlog

12 years agoFix bogus handling of control characters in json_lex_string().
Tom Lane [Tue, 5 Jun 2012 00:43:57 +0000 (20:43 -0400)]
Fix bogus handling of control characters in json_lex_string().

The original coding misbehaved if "char" is signed, and also made the
extremely poor decision to print control characters literally when trying
to complain about them.  Report and patch by Shigeru Hanada.

In passing, also fix core dump risk in report_parse_error() should the
parse state be something other than what it expects.

12 years agoFix some more bugs in contrib/xml2's xslt_process().
Tom Lane [Tue, 5 Jun 2012 00:12:50 +0000 (20:12 -0400)]
Fix some more bugs in contrib/xml2's xslt_process().

It failed to check for error return from xsltApplyStylesheet(), as reported
by Peter Gagarinov.  (So far as I can tell, libxslt provides no convenient
way to get a useful error message in failure cases.  There might be some
inconvenient way, but considering that this code is deprecated it's hard to
get enthusiastic about putting lots of work into it.  So I just made it say
"failed to apply stylesheet", in line with the existing error checks.)

While looking at the code I also noticed that the string returned by
xsltSaveResultToString was never freed, resulting in a session-lifespan
memory leak.

Back-patch to all supported versions.

12 years agoFix memory leaks in failure paths in buildACLCommands and parseAclItem.
Tom Lane [Sun, 3 Jun 2012 15:52:52 +0000 (11:52 -0400)]
Fix memory leaks in failure paths in buildACLCommands and parseAclItem.

This is currently only cosmetic, since all the call sites just curl up
and die in event of a failure return.  It might be important for some
future use-case, though, and in any case it quiets warnings from the
clang static analyzer (as reported by Anna Zaks).

Josh Kupershmidt

12 years agoIn pg_upgrade, report pre-PG 8.1 plpython helper functions left in the
Bruce Momjian [Fri, 1 Jun 2012 15:40:04 +0000 (11:40 -0400)]
In pg_upgrade, report pre-PG 8.1 plpython helper functions left in the
public schema that no longer point to valid shared object libraries, and
suggest a solution.

12 years agoAvoid early reuse of btree pages, causing incorrect query results.
Simon Riggs [Fri, 1 Jun 2012 11:21:45 +0000 (12:21 +0100)]
Avoid early reuse of btree pages, causing incorrect query results.
When we allowed read-only transactions to skip assigning XIDs
we introduced the possibility that a fully deleted btree page
could be reused. This broke the index link sequence which could
then lead to indexscans silently returning fewer rows than would
have been correct. The actual incidence of silent errors from
this is thought to be very low because of the exact workload
required and locking pre-conditions. Fix is to remove pages only
if index page opaque->btpo.xact precedes RecentGlobalXmin.

Noah Misch, reviewed by Simon Riggs

12 years agoImprove description of pg_stat_statements normalisation in release notes.
Simon Riggs [Fri, 1 Jun 2012 10:49:14 +0000 (11:49 +0100)]
Improve description of pg_stat_statements normalisation in release notes.

12 years agoClarify description of covering indexes in release notes
Simon Riggs [Fri, 1 Jun 2012 10:35:27 +0000 (11:35 +0100)]
Clarify description of covering indexes in release notes

12 years agoCopy editing of release notes for couple of my items.
Simon Riggs [Fri, 1 Jun 2012 10:33:16 +0000 (11:33 +0100)]
Copy editing of release notes for couple of my items.

12 years agoAfter any checkpoint, close all smgr files handles in bgwriter
Simon Riggs [Fri, 1 Jun 2012 08:24:53 +0000 (09:24 +0100)]
After any checkpoint, close all smgr files handles in bgwriter

12 years agoCheckpointer starts before bgwriter to avoid missing fsync requests.
Simon Riggs [Fri, 1 Jun 2012 07:25:17 +0000 (08:25 +0100)]
Checkpointer starts before bgwriter to avoid missing fsync requests.
Noted while testing Hot Standby startup.

12 years agoProvide interim statistics while in mid-checkpoint.
Simon Riggs [Fri, 1 Jun 2012 07:19:06 +0000 (08:19 +0100)]
Provide interim statistics while in mid-checkpoint.
Re-implements similar functionality in 9.1 and previously which
was removed during split of checkpointer and bgwriter.

Requested/spotted by Magnus Hagander

12 years agoStamp 9.2beta2. REL9_2_BETA2
Tom Lane [Thu, 31 May 2012 23:16:55 +0000 (19:16 -0400)]
Stamp 9.2beta2.

12 years agoUpdate release notes for 9.1.4, 9.0.8, 8.4.12, 8.3.19.
Tom Lane [Thu, 31 May 2012 23:03:32 +0000 (19:03 -0400)]
Update release notes for 9.1.4, 9.0.8, 8.4.12, 8.3.19.

12 years agoImprove comment for GetStableLatestTransactionId().
Tom Lane [Thu, 31 May 2012 15:20:02 +0000 (11:20 -0400)]
Improve comment for GetStableLatestTransactionId().

12 years agoOnly throw recovery conflicts when InHotStandby. Bug fix to recent
Simon Riggs [Thu, 31 May 2012 12:11:47 +0000 (13:11 +0100)]
Only throw recovery conflicts when InHotStandby. Bug fix to recent
patch to allow Index Only Scans on Hot Standby.

Bug report from Jaime Casanova

12 years agoUpdate time zone data files to tzdata release 2012c.
Tom Lane [Thu, 31 May 2012 04:47:57 +0000 (00:47 -0400)]
Update time zone data files to tzdata release 2012c.

DST law changes in Antarctica, Armenia, Chile, Cuba, Falkland Islands,
Gaza, Haiti, Hebron, Morocco, Syria, Tokelau Islands.
Historical corrections for Canada.

12 years agoForce PL and range-type support functions to be owned by a superuser.
Tom Lane [Thu, 31 May 2012 03:47:57 +0000 (23:47 -0400)]
Force PL and range-type support functions to be owned by a superuser.

We allow non-superusers to create procedural languages (with restrictions)
and range datatypes.  Previously, the automatically-created support
functions for these objects ended up owned by the creating user.  This
represents a rather considerable security hazard, because the owning user
might be able to alter a support function's definition in such a way as to
crash the server, inject trojan-horse SQL code, or even execute arbitrary
C code directly.  It appears that right now the only actually exploitable
problem is the infinite-recursion bug fixed in the previous patch for
CVE-2012-2655.  However, it's not hard to imagine that future additions of
more ALTER FUNCTION capability might unintentionally open up new hazards.
To forestall future problems, cause these support functions to be owned by
the bootstrap superuser, not the user creating the parent object.

12 years agoIgnore SECURITY DEFINER and SET attributes for a PL's call handler.
Tom Lane [Thu, 31 May 2012 03:27:57 +0000 (23:27 -0400)]
Ignore SECURITY DEFINER and SET attributes for a PL's call handler.

It's not very sensible to set such attributes on a handler function;
but if one were to do so, fmgr.c went into infinite recursion because
it would call fmgr_security_definer instead of the handler function proper.
There is no way for fmgr_security_definer to know that it ought to call the
handler and not the original function referenced by the FmgrInfo's fn_oid,
so it tries to do the latter, causing the whole process to start over
again.

Ordinarily such misconfiguration of a procedural language's handler could
be written off as superuser error.  However, because we allow non-superuser
database owners to create procedural languages and the handler for such a
language becomes owned by the database owner, it is possible for a database
owner to crash the backend, which ideally shouldn't be possible without
superuser privileges.  In 9.2 and up we will adjust things so that the
handler functions are always owned by superusers, but in existing branches
this is a minor security fix.

Problem noted by Noah Misch (after several of us had failed to detect
it :-().  This is CVE-2012-2655.

12 years agoExpand the allowed range of timezone offsets to +/-15:59:59 from Greenwich.
Tom Lane [Wed, 30 May 2012 23:58:35 +0000 (19:58 -0400)]
Expand the allowed range of timezone offsets to +/-15:59:59 from Greenwich.

We used to only allow offsets less than +/-13 hours, then it was +/14,
then it was +/-15.  That's still not good enough though, as per today's bug
report from Patric Bechtel.  This time I actually looked through the Olson
timezone database to find the largest offsets used anywhere.  The winners
are Asia/Manila, at -15:56:00 until 1844, and America/Metlakatla, at
+15:13:42 until 1867.  So we'd better allow offsets less than +/-16 hours.

Given the history, we are way overdue to have some greppable #define
symbols controlling this, so make some ... and also remove an obsolete
comment that didn't get fixed the last time.

Back-patch to all supported branches.

12 years agoFix two more bugs in fast-path relation locking.
Robert Haas [Wed, 30 May 2012 20:17:46 +0000 (16:17 -0400)]
Fix two more bugs in fast-path relation locking.

First, the previous code failed to account for the fact that, during Hot
Standby operation, the startup process takes AccessExclusiveLocks on
relations without setting MyDatabaseId.  This resulted in fast path
strong lock counts failing to be incremented with the startup process
took locks, which in turn allowed conflicting lock requests to succeed
when they should not have.  Report by Erik Rijkers, diagnosis by Heikki
Linnakangas.

Second, LockReleaseAll() failed to honor the allLocks and lockmethodid
restrictions with respect to fast-path locks.  It's not clear to me
whether this produces any user-visible breakage at the moment, but it's
certainly wrong.  Rearrange order of operations in LockReleaseAll to fix.
Noted by Tom Lane.

12 years agoFix incorrect password transformation in contrib/pgcrypto's DES crypt().
Tom Lane [Wed, 30 May 2012 14:53:30 +0000 (10:53 -0400)]
Fix incorrect password transformation in contrib/pgcrypto's DES crypt().

Overly tight coding caused the password transformation loop to stop
examining input once it had processed a byte equal to 0x80.  Thus, if the
given password string contained such a byte (which is possible though not
highly likely in UTF8, and perhaps also in other non-ASCII encodings), all
subsequent characters would not contribute to the hash, making the password
much weaker than it appears on the surface.

This would only affect cases where applications used DES crypt() to encode
passwords before storing them in the database.  If a weak password has been
created in this fashion, the hash will stop matching after this update has
been applied, so it will be easy to tell if any passwords were unexpectedly
weak.  Changing to a different password would be a good idea in such a case.
(Since DES has been considered inadequately secure for some time, changing
to a different encryption algorithm can also be recommended.)

This code, and the bug, are shared with at least PHP, FreeBSD, and OpenBSD.
Since the other projects have already published their fixes, there is no
point in trying to keep this commit private.

This bug has been assigned CVE-2012-2143, and credit for its discovery goes
to Rubin Xu and Joseph Bonneau.

12 years agoChange the way parent pages are tracked during buffered GiST build.
Heikki Linnakangas [Wed, 30 May 2012 08:59:14 +0000 (11:59 +0300)]
Change the way parent pages are tracked during buffered GiST build.

We used to mimic the way a stack is constructed when descending the tree
during normal GiST inserts, but that was quite complicated during a buffered
build. It was also wrong: in GiST, the left-to-right relationships on
different levels might not match each other, so that when you know the
parent of a child page, you won't necessarily find the parent of the page to
the right of the child page by following the rightlinks at the parent level.
This sometimes led to "could not re-find parent" errors while building a
GiST index.

We now use a simple hash table to track the parent of every internal page.
Whenever a page is split, and downlinks are moved from one page to another,
we update the hash table accordingly. This is also better for performance
than the old method, as we never need to move right to re-find the parent
page, which could take a significant amount of time for buffers that were
created much earlier in the index build.

12 years agoDelete the temporary file used in buffered GiST build, after the build.
Heikki Linnakangas [Wed, 30 May 2012 08:58:54 +0000 (11:58 +0300)]
Delete the temporary file used in buffered GiST build, after the build.

There were two bugs here: We forgot to call gistFreeBuildBuffers() function
at the end of build, and we passed interXact == true to BufFileCreateTemp,
so the file wasn't automatically cleaned up at end-of-transaction either.

12 years agoRewrite --section option to decouple it from --schema-only/--data-only.
Tom Lane [Wed, 30 May 2012 03:22:14 +0000 (23:22 -0400)]
Rewrite --section option to decouple it from --schema-only/--data-only.

The initial implementation of pg_dump's --section option supposed that the
existing --schema-only and --data-only options could be made equivalent to
--section settings.  This is wrong, though, due to dubious but long since
set-in-stone decisions about where to dump SEQUENCE SET items, as seen in
bug report from Martin Pitt.  (And I'm not totally convinced there weren't
other bugs, either.)  Undo that coupling and instead drive --section
filtering off current-section state tracked as we scan through the TOC
list to call _tocEntryRequired().

To make sure those decisions don't shift around and hopefully save a few
cycles, run _tocEntryRequired() only once per TOC entry and save the result
in a new TOC field.  This required minor rejiggering of ACL handling but
also allows a far cleaner implementation of inhibit_data_for_failed_table.

Also, to ensure that pg_dump and pg_restore have the same behavior with
respect to the --section switches, add _tocEntryRequired() filtering to
WriteToc() and WriteDataChunks(), rather than trying to implement section
filtering in an entirely orthogonal way in dumpDumpableObject().  This
required adjusting the handling of the special ENCODING and STDSTRINGS
items, but they were pretty weird before anyway.

Minor other code review for the patch, too.

12 years agoFix integer overflow bug in GiST buffering build calculations.
Heikki Linnakangas [Tue, 29 May 2012 19:22:43 +0000 (22:22 +0300)]
Fix integer overflow bug in GiST buffering build calculations.

The result of (maintenance_work_mem * 1024) / BLCKSZ doesn't fit in a signed
32-bit integer, if maintenance_work_mem >= 2GB. Use double instead. And
while we're at it, write the calculations in an easier to understand form,
with the intermediary steps written out and commented.

12 years agoTeach AbortOutOfAnyTransaction to clean up partially-started transactions.
Tom Lane [Tue, 29 May 2012 03:57:06 +0000 (23:57 -0400)]
Teach AbortOutOfAnyTransaction to clean up partially-started transactions.

AbortOutOfAnyTransaction failed to do anything if the state it saw on
entry corresponded to failing partway through StartTransaction.  I fixed
AbortCurrentTransaction to cope with that case way back in commit
60b2444cc3ba037630c9b940c3c9ef01b954b87b, but evidently overlooked that
AbortOutOfAnyTransaction should do likewise.

Back-patch to all supported branches.  It's not clear that this omission
has any more-than-cosmetic consequences, but it's also not clear that it
doesn't, so back-patching seems the least risky choice.

12 years agoEliminate some more O(N^2) behaviors in pg_dump/pg_restore.
Tom Lane [Tue, 29 May 2012 00:38:28 +0000 (20:38 -0400)]
Eliminate some more O(N^2) behaviors in pg_dump/pg_restore.

This patch fixes three places (which AFAICT is all of them) where runtime
was O(N^2) in the number of TOC entries, by using an index array to replace
linear searches of the TOC list.  This performance issue is a bit less bad
than those recently fixed, because it depends on the number of items dumped
not the number in the source database, so the problem can be dodged by
doing partial dumps.

The previous coding already had an instance of one of the two index arrays
needed, but it was only calculated in parallel-restore cases; now we need
it all the time.  I also chose to move the arrays into the ArchiveHandle
data structure, to make this code a bit more ready for the day that we
try to sling multiple ArchiveHandles around in pg_dump or pg_restore.

Since we still need some server-side work before pg_dump can really cope
nicely with tens of thousands of tables, there's probably little point in
back-patching.

12 years agolibpq: URI parsing fixes
Peter Eisentraut [Mon, 28 May 2012 19:44:34 +0000 (22:44 +0300)]
libpq: URI parsing fixes

Drop special handling of host component with slashes to mean
Unix-domain socket.  Specify it as separate parameter or using
percent-encoding now.

Allow omitting username, password, and port even if the corresponding
designators are present in URI.

Handle percent-encoding in query parameter keywords.

Alex Shulgin

some documentation improvements by myself

12 years agoUpdate SQL features list
Peter Eisentraut [Sun, 27 May 2012 20:34:16 +0000 (23:34 +0300)]
Update SQL features list

Set E081 Basic Privileges to supported, since by the letter of it, we
support it, even though not all possible forms of USAGE privileges are
implemented.

12 years agopsql: Remove notice about readline from --version output
Peter Eisentraut [Sun, 27 May 2012 19:48:20 +0000 (22:48 +0300)]
psql: Remove notice about readline from --version output

This was from a time when readline support wasn't standard.  And it
doesn't help analyzing current line editing library problems.

12 years agoSuppress -Wunused-result warning about write()
Peter Eisentraut [Sun, 27 May 2012 19:35:01 +0000 (22:35 +0300)]
Suppress -Wunused-result warning about write()

This is related to aa90e148ca70a235897b1227f1a7cd1c66bc5368, but this
code is only used under -DLINUX_OOM_ADJ, so it was apparently
overlooked then.

12 years agoPL/Perl: Avoid compiler warning from clang
Peter Eisentraut [Sun, 27 May 2012 19:30:34 +0000 (22:30 +0300)]
PL/Perl: Avoid compiler warning from clang

Use SvREFCNT_inc_simple_void() instead of SvREFCNT_inc() to avoid
warning about unused return value.

12 years agoImprove pg_upgrade C comment.
Bruce Momjian [Sun, 27 May 2012 10:45:29 +0000 (06:45 -0400)]
Improve pg_upgrade C comment.

12 years agoAdd C comment explaining why we can't exclude checking functions in the
Bruce Momjian [Sun, 27 May 2012 10:35:10 +0000 (06:35 -0400)]
Add C comment explaining why we can't exclude checking functions in the
pg_catalog schema, even though they are not explicitly dumped (they are
implicitly dumped, e.g. create language plperl).

12 years agoAdd pg_update C comment about problems with plpython_call_handler().
Bruce Momjian [Sun, 27 May 2012 10:29:45 +0000 (06:29 -0400)]
Add pg_update C comment about problems with plpython_call_handler().

12 years agoMake pg_recievexlog by default loop on connection failures
Magnus Hagander [Sun, 27 May 2012 09:05:24 +0000 (11:05 +0200)]
Make pg_recievexlog by default loop on connection failures

Avoids the need for an external script in the most common
scenario. Behavior can be overridden using the -n/--noloop
commandline parameter.

12 years agoFix handling of pg_stat_statements.stat temporary file
Magnus Hagander [Sun, 27 May 2012 08:54:31 +0000 (10:54 +0200)]
Fix handling of pg_stat_statements.stat temporary file

Write the file to a temporary name and then rename() it into the
permanent name, to ensure it can't end up half-written and corrupt
in case of a crash during shutdown.

Unlink the file after it has been read so it's removed from the data
directory and not included in base backups going to replication slaves.

12 years agoPrevent synchronized scanning when systable_beginscan chooses a heapscan.
Tom Lane [Sat, 26 May 2012 23:09:52 +0000 (19:09 -0400)]
Prevent synchronized scanning when systable_beginscan chooses a heapscan.

The only interesting-for-performance case wherein we force heapscan here
is when we're rebuilding the relcache init file, and the only such case
that is likely to be examining a catalog big enough to be syncscanned is
RelationBuildTupleDesc.  But the early-exit optimization in that code gets
broken if we start the scan at a random place within the catalog, so that
allowing syncscan is actually a big deoptimization if pg_attribute is large
(at least for the normal case where the rows for core system catalogs have
never been changed since initdb).  Hence, prevent syncscan here.  Per my
testing pursuant to complaints from Jeff Frost and Greg Sabino Mullane,
though neither of them seem to have actually hit this specific problem.

Back-patch to 8.3, where syncscan was introduced.

12 years agoFix string truncation to be multibyte-aware in text_name and bpchar_name.
Tom Lane [Fri, 25 May 2012 21:34:51 +0000 (17:34 -0400)]
Fix string truncation to be multibyte-aware in text_name and bpchar_name.

Previously, casts to name could generate invalidly-encoded results.

Also, make these functions match namein() more exactly, by consistently
using palloc0() instead of ad-hoc zeroing code.

Back-patch to all supported branches.

Karl Schnaitter and Tom Lane

12 years agoUse binary search instead of brute-force scan in findNamespace().
Tom Lane [Fri, 25 May 2012 18:35:37 +0000 (14:35 -0400)]
Use binary search instead of brute-force scan in findNamespace().

The previous coding presented a significant bottleneck when dumping
databases containing many thousands of schemas, since the total time
spent searching would increase roughly as O(N^2) in the number of objects.
Noted by Jeff Janes, though I rewrote his proposed patch to use the
existing findObjectByOid infrastructure.

Since this is a longstanding performance bug, backpatch to all supported
versions.

12 years agoHave pg_upgrade only use one extra log file for Win32, not two.
Bruce Momjian [Fri, 25 May 2012 13:09:51 +0000 (09:09 -0400)]
Have pg_upgrade only use one extra log file for Win32, not two.

12 years agoFix base backup streaming xlog from standby
Magnus Hagander [Fri, 25 May 2012 09:36:22 +0000 (11:36 +0200)]
Fix base backup streaming xlog from standby

When backing up from a standby server, the backup process
will not automatically switch xlog segment. So we must
accept a partially transferred xlog file in this case, but
rename it into position anyway.

In passing, merge the two callbacks for segment end and
stop stream into a single callback, since their implementations
were close to identical, and rename this callback to
reflect that it stops streaming rather than continues it.

Patch by Magnus Hagander, review by Fujii Masao

12 years agoOn Windows, have pg_upgrade use different two files to log pg_ctl
Bruce Momjian [Fri, 25 May 2012 00:30:39 +0000 (20:30 -0400)]
On Windows, have pg_upgrade use different two files to log pg_ctl
start/stop output, to fix file share error reported by Edmund Horner

12 years agoClarify 9.2 release notes items about pg_stat_statements, to better
Bruce Momjian [Thu, 24 May 2012 23:10:06 +0000 (19:10 -0400)]
Clarify 9.2 release notes items about pg_stat_statements, to better
document fix of double counting and read/write count addition, per Peter
Geoghegan

12 years agoChange pg_stat_statements order of release note items, per Peter
Bruce Momjian [Thu, 24 May 2012 21:51:56 +0000 (17:51 -0400)]
Change pg_stat_statements order of release note items, per Peter
Geoghegan

12 years agoRemove PL/Perl null array 9.2 release note item, per Andrew Dunstan
Bruce Momjian [Thu, 24 May 2012 21:35:53 +0000 (17:35 -0400)]
Remove PL/Perl null array 9.2 release note item, per Andrew Dunstan

12 years agoFix array overrun in regex code.
Tom Lane [Thu, 24 May 2012 17:56:16 +0000 (13:56 -0400)]
Fix array overrun in regex code.

zaptreesubs() was coded to unconditionally reset a capture subre's
corresponding pmatch[] entry.  However, in regexes without backrefs, that
array is caller-supplied and might not have as many entries as the regex
has capturing parens.  So check the array length and do nothing if there
is no corresponding entry, much as subset() does.  Failure to check this
resulted in a stack clobber in the case reported by Marko Kreen.

This bug appears to have been latent in the regex library from the
beginning.  It was not exposed because find() called dissect() not
cdissect(), and the dissect() code path didn't ever call zaptreesubs()
(formerly zapmem()).  When I unified dissect() and cdissect() in commit
4dd78bf37aa29d04b3f358b08c4a2fa43cf828e7, the problem was exposed.

Now that I've seen this, I'm rather suspicious that we might need to
back-patch it; but will refrain for now, for lack of evidence that
the case can be hit in the previous coding.

12 years agoUpdate SQL key word list to SQL:2011
Peter Eisentraut [Thu, 24 May 2012 17:06:25 +0000 (20:06 +0300)]
Update SQL key word list to SQL:2011

For space reasons, drop SQL:1999 and SQL:2003.  Only keep the latest
two and SQL-92 for historical comparison.

12 years agoAdjust pg_upgrade to output a separate log file for pg_ctl output on
Bruce Momjian [Thu, 24 May 2012 00:19:21 +0000 (20:19 -0400)]
Adjust pg_upgrade to output a separate log file for pg_ctl output on
Windows, to avoid opening a file by multiple processes.

12 years agoAdd missing PQfinish() calls
Magnus Hagander [Wed, 23 May 2012 19:52:23 +0000 (21:52 +0200)]
Add missing PQfinish() calls

Fujii Masao

12 years agopg_standby: Remove tabs from string literals
Peter Eisentraut [Wed, 23 May 2012 16:58:17 +0000 (19:58 +0300)]
pg_standby: Remove tabs from string literals

And align a bit better with the rest of the debug output.

12 years agoMention Peter Geoghegan as primary author of pg_stat_statements changes.
Bruce Momjian [Wed, 23 May 2012 14:12:44 +0000 (10:12 -0400)]
Mention Peter Geoghegan as primary author of pg_stat_statements changes.

12 years agoImprove wording of 9.2 clog release note item.
Bruce Momjian [Wed, 23 May 2012 13:29:39 +0000 (09:29 -0400)]
Improve wording of 9.2 clog release note item.

12 years agoAdd 9.2 release note authorship mentions for Heikki and Alexander
Bruce Momjian [Wed, 23 May 2012 02:59:21 +0000 (22:59 -0400)]
Add 9.2 release note authorship mentions for Heikki and Alexander
Korotkov, per Alexander Korotkov.

12 years agoEnsure that seqscans check for interrupts at least once per page.
Tom Lane [Tue, 22 May 2012 23:42:05 +0000 (19:42 -0400)]
Ensure that seqscans check for interrupts at least once per page.

If a seqscan encounters many consecutive pages containing only dead tuples,
it can remain in the loop in heapgettup for a long time, and there was no
CHECK_FOR_INTERRUPTS anywhere in that loop.  This meant there were
real-world situations where a query would be effectively uncancelable for
long stretches.  Add a check placed to occur once per page, which should be
enough to provide reasonable response time without adding any measurable
overhead.

Report and patch by Merlin Moncure (though I tweaked it a bit).
Back-patch to all supported branches.

12 years agoAdd small example about pg_archivecleanup -x option
Peter Eisentraut [Tue, 22 May 2012 21:29:20 +0000 (00:29 +0300)]
Add small example about pg_archivecleanup -x option

Every time I read this I had doubts about whether the argument to the
-x option should include the dot (yes).  A small example should
clarify this.

12 years agoFix markup for HISTORY generation.
Bruce Momjian [Tue, 22 May 2012 21:36:33 +0000 (17:36 -0400)]
Fix markup for HISTORY generation.

12 years agoFix reindexdb manual page to say --maintenance-db controls what is
Bruce Momjian [Tue, 22 May 2012 21:31:46 +0000 (17:31 -0400)]
Fix reindexdb manual page to say --maintenance-db controls what is
reindexed, not vacuumed (typo).  Per report from Thomas REISS

12 years ago9.2 release notes: GiST index improvements are for all geometric index
Bruce Momjian [Tue, 22 May 2012 21:26:42 +0000 (17:26 -0400)]
9.2 release notes:  GiST index improvements are for all geometric index
types, per Alexander Korotkov

12 years agoRemove reviewers from 9.2 release notes; improve attributions.
Bruce Momjian [Tue, 22 May 2012 21:17:01 +0000 (17:17 -0400)]
Remove reviewers from 9.2 release notes;  improve attributions.

12 years agoFix error message for COMMENT/SECURITY LABEL ON COLUMN xxx IS 'yyy'
Robert Haas [Tue, 22 May 2012 15:19:33 +0000 (11:19 -0400)]
Fix error message for COMMENT/SECURITY LABEL ON COLUMN xxx IS 'yyy'

When the column name is an unqualified name, rather than table.column,
the error message complains about too many dotted names, which is
wrong.  Report by Peter Eisentraut based on examination of the
sepgsql regression test output, but the problem also affects COMMENT.
New wording as suggested by Tom Lane.

12 years agoRelease note improvements.
Robert Haas [Tue, 22 May 2012 14:20:25 +0000 (10:20 -0400)]
Release note improvements.

Document some more things as incompatibilities, and improve wording of
another item.

Noah Misch

12 years agoPrevent pg_basebackup when integer_datetimes flag doesn't match.
Robert Haas [Tue, 22 May 2012 14:02:47 +0000 (10:02 -0400)]
Prevent pg_basebackup when integer_datetimes flag doesn't match.

Magnus Hagander, reviewed by Fujii Masao, with slight wording changes
by me.

12 years agoRepair out-of-date information in src/backend/storage/buffer/README.
Robert Haas [Tue, 22 May 2012 13:30:59 +0000 (09:30 -0400)]
Repair out-of-date information in src/backend/storage/buffer/README.

In commit d526575f893c1a4e05ebd307e80203536b213a6d, we changed things so
that buffer usage counts are incremented when the buffer is pinned, rather
than when it is unpinned, but the README file didn't get the memo.

Report by Amit Kapila.

12 years agoMove postmaster's RemovePgTempFiles call to a less randomly chosen place.
Tom Lane [Tue, 22 May 2012 02:50:30 +0000 (22:50 -0400)]
Move postmaster's RemovePgTempFiles call to a less randomly chosen place.

There is no reason to do this as early as possible in postmaster startup,
and good reason not to do it until we have completely created the
postmaster's lock file, namely that it might contribute to pg_ctl thinking
that postmaster startup has timed out.  (This would require a rather
unusual amount of time to be spent scanning temp file directories, but we
have at least one field report of it happening reproducibly.)

Back-patch to 9.1.  Before that, pg_ctl didn't wait for additional info to
be added to the lock file, so it wasn't a problem.

Note that this is not a complete fix to the slow-start issue in 9.1,
because we still had identify_system_timezone being run during postmaster
start in 9.1.  But that's at least a reasonably well-defined delay, with
an easy workaround if needed, whereas the temp-files scan is not so
predictable and cannot be avoided.

12 years agoUpdate woefully-obsolete comment.
Tom Lane [Tue, 22 May 2012 02:10:40 +0000 (22:10 -0400)]
Update woefully-obsolete comment.

The accurate info about what's in a lock file has been in miscadmin.h
for some time, so let's just make this comment point there instead of
maintaining a duplicative copy.

12 years agopg_ctl: Sort signal list in --help output
Peter Eisentraut [Mon, 21 May 2012 17:12:30 +0000 (20:12 +0300)]
pg_ctl: Sort signal list in --help output

The list was neither logical nor numerical nor alphabetical.  Let's go
with alphabetical.

12 years agolibpq: Add missing file to GETTEXT_FILES list
Peter Eisentraut [Mon, 21 May 2012 17:08:50 +0000 (20:08 +0300)]
libpq: Add missing file to GETTEXT_FILES list

For the record, fe-print.c is also missing, but it's sort of
deprecated, and the string internationalization there has some issues,
and it doesn't seem worth fixing that.  So let's leave that out.

12 years agoAdjust documentation of ALTER TABLE CLUSTER ON for more consistency.
Tom Lane [Mon, 21 May 2012 16:06:56 +0000 (12:06 -0400)]
Adjust documentation of ALTER TABLE CLUSTER ON for more consistency.

Josh Kupershmidt

12 years agoDocument that we deviate from ISO 8601 by not using 'T' on output.
Tom Lane [Mon, 21 May 2012 15:56:00 +0000 (11:56 -0400)]
Document that we deviate from ISO 8601 by not using 'T' on output.

Per discussion, we should explain that we follow RFC 3339 and not really
the letter of the ISO 8601 spec for timestamp output format.  Mostly
Brendan Jurd's wording, though I tweaked it to clarify that we do take 'T'
on input.  Minor additional copy-editing and markup-tweaking, too.

12 years agoFix incorrect logic in JSON number lexer
Peter Eisentraut [Sat, 19 May 2012 23:24:46 +0000 (02:24 +0300)]
Fix incorrect logic in JSON number lexer

Detectable by gcc -Wlogical-op.

Add two regression test cases that would previously allow incorrect
values to pass.

12 years agoSome reference page improvements
Peter Eisentraut [Sat, 19 May 2012 22:15:55 +0000 (01:15 +0300)]
Some reference page improvements

initdb: Add -T option
oid2name: Put options in some non-random order
pg_dump: Put --section option in the right place

And some additional markup and terminology improvements.

12 years agoSmall cleanups of contrib --help output
Peter Eisentraut [Sat, 19 May 2012 22:14:25 +0000 (01:14 +0300)]
Small cleanups of contrib --help output

12 years agoPut back word that was mysteriously lost in man page conversion
Peter Eisentraut [Sat, 19 May 2012 17:26:53 +0000 (20:26 +0300)]
Put back word that was mysteriously lost in man page conversion

12 years agoReworded sentence as suggested by Stephen Frost.
Michael Meskes [Sat, 19 May 2012 12:42:47 +0000 (14:42 +0200)]
Reworded sentence as suggested by Stephen Frost.

12 years agoRealign some --help output to have better spacing between columns
Peter Eisentraut [Fri, 18 May 2012 17:34:14 +0000 (20:34 +0300)]
Realign some --help output to have better spacing between columns

12 years agoFix bug in gistRelocateBuildBuffersOnSplit().
Heikki Linnakangas [Fri, 18 May 2012 16:31:36 +0000 (19:31 +0300)]
Fix bug in gistRelocateBuildBuffersOnSplit().

When we create a temporary copy of the old node buffer, in stack, we mustn't
leak that into any of the long-lived data structures. Before this patch,
when we called gistPopItupFromNodeBuffer(), it got added to the array of
"loaded buffers". After gistRelocateBuildBuffersOnSplit() exits, the
pointer added to the loaded buffers array points to garbage. Often that goes
unnotied, because when we go through the array of loaded buffers to unload
them, buffers with a NULL pageBuffer are ignored, which can often happen by
accident even if the pointer points to garbage.

This patch fixes that by marking the temporary copy in stack explicitly as
temporary, and refrain from adding buffers marked as temporary to the array
of loaded buffers.

While we're at it, initialize nodeBuffer->pageBlocknum to InvalidBlockNumber
and improve comments a bit. This isn't strictly necessary, but makes
debugging easier.

12 years agofile_fdw: Improve error message
Peter Eisentraut [Thu, 17 May 2012 17:20:33 +0000 (20:20 +0300)]
file_fdw: Improve error message

The hint looked a bit confusing when there were no valid options to
hint about.

12 years agoUpdate key words table for 9.2
Peter Eisentraut [Thu, 17 May 2012 16:27:55 +0000 (19:27 +0300)]
Update key words table for 9.2

12 years agoUpdate SQL features/conformance information to SQL:2011
Peter Eisentraut [Thu, 17 May 2012 06:50:04 +0000 (09:50 +0300)]
Update SQL features/conformance information to SQL:2011

12 years agoChange COLLATION keyword category
Peter Eisentraut [Wed, 16 May 2012 17:19:44 +0000 (20:19 +0300)]
Change COLLATION keyword category

It was changed from unreserved to reserved as part of the COLLATION
FOR syntax, but it turns out that type_func_name_keyword is
sufficient.

12 years agoImprove error message for ALTER COLUMN TYPE coercion failure.
Tom Lane [Tue, 15 May 2012 16:12:40 +0000 (12:12 -0400)]
Improve error message for ALTER COLUMN TYPE coercion failure.

Per recent discussion, the error message for this was actually a trifle
inaccurate, since it said "cannot be cast" which might be incorrect.
Adjust that wording, and add a HINT suggesting that a USING clause might
be needed.

12 years agoFix bug in freespace calculation in heap_multi_insert().
Heikki Linnakangas [Wed, 16 May 2012 11:10:29 +0000 (14:10 +0300)]
Fix bug in freespace calculation in heap_multi_insert().

If the amount of freespace on page was less than the amount reserved by
fillfactor, the calculation would underflow.

This fixes bug #6643 reported by Tomonari Katsumata.

12 years agoFix a whitespace issue with the man pages
Peter Eisentraut [Tue, 15 May 2012 19:55:13 +0000 (22:55 +0300)]
Fix a whitespace issue with the man pages

See 6ef24487967692604b07a4a54e71821a60fb729a for an explanation.  This
is the same for the new man pages.

12 years agoRemove whitespace from end of lines
Peter Eisentraut [Tue, 15 May 2012 19:19:04 +0000 (22:19 +0300)]
Remove whitespace from end of lines

pgindent and perltidy should clean up the rest.

12 years agoMake xrefs to tables instead of assuming they appear below
Peter Eisentraut [Tue, 15 May 2012 18:53:07 +0000 (21:53 +0300)]
Make xrefs to tables instead of assuming they appear below

12 years agoRemove stray nbsp character
Peter Eisentraut [Tue, 15 May 2012 18:38:59 +0000 (21:38 +0300)]
Remove stray nbsp character

12 years agoFix bug in to_tsquery().
Heikki Linnakangas [Tue, 15 May 2012 16:22:56 +0000 (19:22 +0300)]
Fix bug in to_tsquery().

We were using memcpy() to copy to a possibly overlapping memory region,
which is a no-no. Use memmove() instead.

12 years agoIn pgstat.c, use a timeout in WaitLatchOrSocket only on Windows.
Tom Lane [Tue, 15 May 2012 03:51:34 +0000 (23:51 -0400)]
In pgstat.c, use a timeout in WaitLatchOrSocket only on Windows.

We have no need for a timeout here really, but some broken products from
Redmond seem to lose FD_READ events occasionally, and waking up and
retrying the recv() is the only known way to work around that.  Perhaps
somebody will be motivated to figure out a better answer here; but not I.

12 years agoRevert "Add some temporary instrumentation to pgstat.c."
Tom Lane [Tue, 15 May 2012 03:08:10 +0000 (23:08 -0400)]
Revert "Add some temporary instrumentation to pgstat.c."

This reverts commit 7d88bb73f755f7fb5d847ef2319c21076054fb0e.
That instrumentation has served its purpose.

12 years agoPut back AC_REQUIRE([AC_STRUCT_TM]).
Tom Lane [Tue, 15 May 2012 03:06:48 +0000 (23:06 -0400)]
Put back AC_REQUIRE([AC_STRUCT_TM]).

The BSD-ish members of the buildfarm all seem to think removing this
was a bad idea.  It looks to me like it resulted in omitting the system
header inclusion necessary to detect the fields of struct tm correctly.