]> granicus.if.org Git - postgresql/log
postgresql
10 years agoPGDLLIMPORT'ify DateStyle and IntervalStyle.
Tom Lane [Sun, 16 Feb 2014 17:37:07 +0000 (12:37 -0500)]
PGDLLIMPORT'ify DateStyle and IntervalStyle.

This is needed on Windows to support contrib/postgres_fdw.  Although it's
been broken since last March, we didn't notice until recently because there
were no active buildfarm members that complained about missing PGDLLIMPORT
marking.  Efforts are underway to improve that situation, in support of
which we're delaying fixing some other cases of global variables that
should be marked PGDLLIMPORT.  However, this case affects 9.3, so we
can't wait any longer to fix it.

I chose to mark DateOrder as well, though it's not strictly necessary
for postgres_fdw.

10 years agoImprove release notes per comments from Andres Freund.
Tom Lane [Sun, 16 Feb 2014 17:03:54 +0000 (12:03 -0500)]
Improve release notes per comments from Andres Freund.

Make a bit more noise about the timeout-interrupt bug.  Also, remove the
release note entry for commit 423e1211a; that patch fixed a problem
introduced post-9.3.2, so there's no need to document it in the release
notes.

10 years agoOn Windows, expect to find Tcl DLL in bin directory not lib directory.
Tom Lane [Sun, 16 Feb 2014 16:24:38 +0000 (11:24 -0500)]
On Windows, expect to find Tcl DLL in bin directory not lib directory.

Still another step in the continuing saga of trying to get
--disable-auto-import to work.

Hiroshi Inoue

10 years agoFirst-draft release notes for 9.3.3.
Tom Lane [Sun, 16 Feb 2014 05:40:37 +0000 (00:40 -0500)]
First-draft release notes for 9.3.3.

As usual, the release notes for older branches will be made by cutting
these down, but put them up for community review first.

10 years agoFix unportable coding in BackgroundWorkerStateChange().
Tom Lane [Sat, 15 Feb 2014 22:15:05 +0000 (17:15 -0500)]
Fix unportable coding in BackgroundWorkerStateChange().

PIDs aren't necessarily ints; our usual practice for printing them
is to explicitly cast to long.  Per buildfarm member rover_firefly.

10 years agoFix unportable coding in DetermineSleepTime().
Tom Lane [Sat, 15 Feb 2014 22:09:50 +0000 (17:09 -0500)]
Fix unportable coding in DetermineSleepTime().

We should not assume that struct timeval.tv_sec is a long, because
it ain't necessarily.  (POSIX says that it's a time_t, which might
well be 64 bits now or in the future; or for that matter might be
32 bits on machines with 64-bit longs.)  Per buildfarm member panther.

Back-patch to 9.3 where the dubious coding was introduced.

10 years agoCentralize getopt-related declarations in a new header file pg_getopt.h.
Tom Lane [Sat, 15 Feb 2014 19:31:30 +0000 (14:31 -0500)]
Centralize getopt-related declarations in a new header file pg_getopt.h.

We used to have externs for getopt() and its API variables scattered
all over the place.  Now that we find we're going to need to tweak the
variable declarations for Cygwin, it seems like a good idea to have
just one place to tweak.

In this commit, the variables are declared "#ifndef HAVE_GETOPT_H".
That may or may not work everywhere, but we'll soon find out.

Andres Freund

10 years agoRemove use of sscanf in pg_upgrade, and add C comment to pg_dump
Bruce Momjian [Sat, 15 Feb 2014 16:50:56 +0000 (11:50 -0500)]
Remove use of sscanf in pg_upgrade, and add C comment to pg_dump

Per report from Jackie Chang

10 years agopsql: Add C comment about gset_prefix being freed later
Bruce Momjian [Sat, 15 Feb 2014 05:09:24 +0000 (00:09 -0500)]
psql:  Add C comment about gset_prefix being freed later

10 years agoOoops, forgot to remove solar87 and friends from src/timezone/Makefile.
Tom Lane [Sat, 15 Feb 2014 04:20:08 +0000 (23:20 -0500)]
Ooops, forgot to remove solar87 and friends from src/timezone/Makefile.

Per buildfarm.

10 years agoUpdate time zone data files to tzdata release 2013i.
Tom Lane [Sat, 15 Feb 2014 02:59:13 +0000 (21:59 -0500)]
Update time zone data files to tzdata release 2013i.

DST law changes in Jordan; historical changes in Cuba.

Also, remove the zones Asia/Riyadh87, Asia/Riyadh88, and Asia/Riyadh89.
Per the upstream announcement:
    The files solar87, solar88, and solar89 are no longer distributed.
    They were a negative experiment -- that is, a demonstration that
    tz data can represent solar time only with some difficulty and error.
    Their presence in the distribution caused confusion, as Riyadh
    civil time was generally not solar time in those years.

10 years agoFix fat-fingered makefile changes for pltcl.
Tom Lane [Fri, 14 Feb 2014 22:10:53 +0000 (17:10 -0500)]
Fix fat-fingered makefile changes for pltcl.

I put the OBJS assignments in the wrong order.  Per buildfarm.

10 years agoUpdate regression testing instructions.
Tom Lane [Fri, 14 Feb 2014 21:50:22 +0000 (16:50 -0500)]
Update regression testing instructions.

This documentation never got the word about the existence of check-world or
installcheck-world.  Revise to recommend use of those, and document all the
subsidiary test suites.  Do some minor wordsmithing elsewhere, too.

In passing, remove markup related to generation of plain-text regression
test instructions, since we don't do that anymore.

Back-patch to 9.1 where check-world was added.  (installcheck-world exists
in 9.0; but since check-world doesn't, this patch would need additional
work to cover that branch, and it doesn't seem worth the effort.)

10 years agoIn mingw builds, make our own import library for libtcl, too.
Tom Lane [Fri, 14 Feb 2014 18:13:06 +0000 (13:13 -0500)]
In mingw builds, make our own import library for libtcl, too.

Per buildfarm results.

10 years agoSuggest shell here-documents instead of psql -c for multiple commands.
Tom Lane [Fri, 14 Feb 2014 17:54:39 +0000 (12:54 -0500)]
Suggest shell here-documents instead of psql -c for multiple commands.

The documentation suggested using "echo | psql", but not the often-superior
alternative of a here-document.  Also, be more direct about suggesting
that people avoid -c for multiple commands.  Per discussion.

10 years agoIn mingw builds, make our own import library for libperl.
Tom Lane [Fri, 14 Feb 2014 16:51:02 +0000 (11:51 -0500)]
In mingw builds, make our own import library for libperl.

Borrow the method already used by plpython.  This is pretty ugly, but
it might fix the build failure exhibited by buildfarm member narwhal
since commit 846e91e0223cf9f2821c3ad4dfffffbb929cb027.

Hiroshi Inoue

10 years agoCosmetic improvements in plpython's make rule for libpython import library.
Tom Lane [Fri, 14 Feb 2014 16:31:35 +0000 (11:31 -0500)]
Cosmetic improvements in plpython's make rule for libpython import library.

This build technique is remarkably ugly, but that doesn't mean it has
to be unreadable too.  Be a bit more liberal with the vertical whitespace,
and give the .def file a proper dependency, just in case.

10 years agoChange the order that pg_xlog and WAL archive are polled for WAL segments.
Heikki Linnakangas [Fri, 14 Feb 2014 13:15:09 +0000 (15:15 +0200)]
Change the order that pg_xlog and WAL archive are polled for WAL segments.

If there is a WAL segment with same ID but different TLI present in both
the WAL archive and pg_xlog, prefer the one with higher TLI. Before this
patch, the archive was polled first, for all expected TLIs, and only if no
file was found was pg_xlog scanned. This was a change in behavior from 9.3,
which first scanned archive and pg_xlog for the highest TLI, then archive
and pg_xlog for the next highest TLI and so forth. This patch reverts the
behavior back to what it was in 9.2.

The reason for this is that if for example you try to do archive recovery
to timeline 2, which branched off timeline 1, but the WAL for timeline 2 is
not archived yet, we would replay past the timeline switch point on
timeline 1 using the archived files, before even looking timeline 2's files
in pg_xlog

Report and patch by Kyotaro Horiguchi. Backpatch to 9.3 where the behavior
was changed.

10 years agoFix typo
Peter Eisentraut [Fri, 14 Feb 2014 02:50:43 +0000 (21:50 -0500)]
Fix typo

Stefan Kaltenbrunner

10 years agoAdd C comment about problems with CHAR() space trimming
Bruce Momjian [Fri, 14 Feb 2014 02:45:57 +0000 (21:45 -0500)]
Add C comment about problems with CHAR() space trimming

10 years agoClean up error cases in psql's COPY TO STDOUT/FROM STDIN code.
Tom Lane [Thu, 13 Feb 2014 23:45:12 +0000 (18:45 -0500)]
Clean up error cases in psql's COPY TO STDOUT/FROM STDIN code.

Adjust handleCopyOut() to stop trying to write data once it's failed
one time.  For typical cases such as out-of-disk-space or broken-pipe,
additional attempts aren't going to do anything but waste time, and
in any case clean truncation of the output seems like a better behavior
than randomly dropping blocks in the middle.

Also remove dubious (and misleadingly documented) attempt to force our way
out of COPY_OUT state if libpq didn't do that.  If we did have a situation
like that, it'd be a bug in libpq and would be better fixed there, IMO.
We can hope that commit fa4440f51628d692f077d54b8313aea31af087ea took care
of any such problems, anyway.

Also fix longstanding bug in handleCopyIn(): PQputCopyEnd() only supports
a non-null errormsg parameter in protocol version 3, and will actively
fail if one is passed in version 2.  This would've made our attempts
to get out of COPY_IN state after a failure into infinite loops when
talking to pre-7.4 servers.

Back-patch the COPY_OUT state change business back to 9.2 where it was
introduced, and the other two fixes into all supported branches.

10 years agoSeparate multixact freezing parameters from xid's
Alvaro Herrera [Thu, 13 Feb 2014 22:30:30 +0000 (19:30 -0300)]
Separate multixact freezing parameters from xid's

Previously we were piggybacking on transaction ID parameters to freeze
multixacts; but since there isn't necessarily any relationship between
rates of Xid and multixact consumption, this turns out not to be a good
idea.

Therefore, we now have multixact-specific freezing parameters:

vacuum_multixact_freeze_min_age: when to remove multis as we come across
them in vacuum (default to 5 million, i.e. early in comparison to Xid's
default of 50 million)

vacuum_multixact_freeze_table_age: when to force whole-table scans
instead of scanning only the pages marked as not all visible in
visibility map (default to 150 million, same as for Xids).  Whichever of
both which reaches the 150 million mark earlier will cause a whole-table
scan.

autovacuum_multixact_freeze_max_age: when for cause emergency,
uninterruptible whole-table scans (default to 400 million, double as
that for Xids).  This means there shouldn't be more frequent emergency
vacuuming than previously, unless multixacts are being used very
rapidly.

Backpatch to 9.3 where multixacts were made to persist enough to require
freezing.  To avoid an ABI break in 9.3, VacuumStmt has a couple of
fields in an unnatural place, and StdRdOptions is split in two so that
the newly added fields can go at the end.

Patch by me, reviewed by Robert Haas, with additional input from Andres
Freund and Tom Lane.

10 years agodocs: improve CREATE FUNCTION docs about language case and quoting
Bruce Momjian [Thu, 13 Feb 2014 22:07:05 +0000 (17:07 -0500)]
docs: improve CREATE FUNCTION docs about language case and quoting

Report from Marc Mamin

10 years agopgcrypto: clarify 'md5' (hash) table entry
Bruce Momjian [Thu, 13 Feb 2014 20:38:30 +0000 (15:38 -0500)]
pgcrypto: clarify 'md5' (hash) table entry

Per suggestion from Peter Eisentraut

10 years agoFix length checking for Unicode identifiers containing escapes (U&"...").
Tom Lane [Thu, 13 Feb 2014 19:24:42 +0000 (14:24 -0500)]
Fix length checking for Unicode identifiers containing escapes (U&"...").

We used the length of the input string, not the de-escaped string, as
the trigger for NAMEDATALEN truncation.  AFAICS this would only result
in sometimes printing a phony truncation warning; but it's just luck
that there was no worse problem, since we were violating the API spec
for truncate_identifier().  Per bug #9204 from Joshua Yanovski.

This has been wrong since the Unicode-identifier support was added,
so back-patch to all supported branches.

10 years agopg_upgrade: mention the need for tablespace snapshots in docs
Bruce Momjian [Thu, 13 Feb 2014 10:06:22 +0000 (05:06 -0500)]
pg_upgrade:  mention the need for tablespace snapshots in docs

10 years agopg_upgrade: document use of file system and COW snapshots
Bruce Momjian [Thu, 13 Feb 2014 03:06:38 +0000 (22:06 -0500)]
pg_upgrade: document use of file system and COW snapshots

10 years agoImprove cross-references between minor version release notes.
Tom Lane [Thu, 13 Feb 2014 00:09:18 +0000 (19:09 -0500)]
Improve cross-references between minor version release notes.

We have a practice of providing a "bread crumb" trail between the minor
versions where the migration section actually tells you to do something.
Historically that was just plain text, eg, "see the release notes for
9.2.4"; but if you're using a browser or PDF reader, it's a lot nicer
if it's a live hyperlink.  So use "<xref>" instead.  Any argument against
doing this vanished with the recent decommissioning of plain-text release
notes.

Vik Fearing

10 years agoImprove text of stub HISTORY file.
Tom Lane [Wed, 12 Feb 2014 23:16:17 +0000 (18:16 -0500)]
Improve text of stub HISTORY file.

Per Peter Eisentraut.

10 years agoImprove libpq's error recovery for connection loss during COPY.
Tom Lane [Wed, 12 Feb 2014 22:50:07 +0000 (17:50 -0500)]
Improve libpq's error recovery for connection loss during COPY.

In pqSendSome, if the connection is already closed at entry, discard any
queued output data before returning.  There is no possibility of ever
sending the data, and anyway this corresponds to what we'd do if we'd
detected a hard error while trying to send().  This avoids possible
indefinite bloat of the output buffer if the application keeps trying
to send data (or even just keeps trying to do PQputCopyEnd, as psql
indeed will).

Because PQputCopyEnd won't transition out of PGASYNC_COPY_IN state
until it's successfully queued the COPY END message, and pqPutMsgEnd
doesn't distinguish a queuing failure from a pqSendSome failure,
this omission allowed an infinite loop in psql if the connection closure
occurred when we had at least 8K queued to send.  It might be worth
refactoring so that we can make that distinction, but for the moment
the other changes made here seem to offer adequate defenses.

To guard against other variants of this scenario, do not allow
PQgetResult to return a PGRES_COPY_XXX result if the connection is
already known dead.  Make sure it returns PGRES_FATAL_ERROR instead.

Per report from Stephen Frost.  Back-patch to all active branches.

10 years agoRevert gmake/make release note changes
Bruce Momjian [Wed, 12 Feb 2014 22:32:20 +0000 (17:32 -0500)]
Revert gmake/make release note changes

Backbranch release note changes cause merge conflicts.

10 years agoRename 'gmake' to 'make' in docs and recommended commands
Bruce Momjian [Wed, 12 Feb 2014 22:29:19 +0000 (17:29 -0500)]
Rename 'gmake' to 'make' in docs and recommended commands

This simplifies the docs and makes it easier to cut/paste command lines.

10 years agopg_upgrade: dramatically reduce memory consumption
Bruce Momjian [Wed, 12 Feb 2014 21:35:24 +0000 (16:35 -0500)]
pg_upgrade: dramatically reduce memory consumption

Report from Jeff Janes

10 years agopg_test_fsync: add C comment about direct I/O and write size failure
Bruce Momjian [Wed, 12 Feb 2014 20:38:14 +0000 (15:38 -0500)]
pg_test_fsync: add C comment about direct I/O and write size failure

Report from Marti Raudsepp

10 years agoIn XLogReadBufferExtended, don't assume P_NEW yields consecutive pages.
Tom Lane [Wed, 12 Feb 2014 19:52:16 +0000 (14:52 -0500)]
In XLogReadBufferExtended, don't assume P_NEW yields consecutive pages.

In a database that's not yet reached consistency, it's possible that some
segments of a relation are not full-size but are not the last ones either.
Because of the way smgrnblocks() works, asking for a new page with P_NEW
will fill in the last not-full-size segment --- and if that makes it full
size, the apparent EOF of the relation will increase by more than one page,
so that the next P_NEW request will yield a page past the next consecutive
one.  This breaks the relation-extension logic in XLogReadBufferExtended,
possibly allowing a page update to be applied to some page far past where
it was intended to go.  This appears to be the explanation for reports of
table bloat on replication slaves compared to their masters, and probably
explains some corrupted-slave reports as well.

Fix the loop to check the page number it actually got, rather than merely
Assert()'ing that dead reckoning got it to the desired place.  AFAICT,
there are no other places that make assumptions about exactly which page
they'll get from P_NEW.

Problem identified by Greg Stark, though this is not the same as his
proposed patch.

It's been like this for a long time, so back-patch to all supported
branches.

10 years agoAdd missing include, required on some platforms
Magnus Hagander [Wed, 12 Feb 2014 19:04:13 +0000 (20:04 +0100)]
Add missing include, required on some platforms

Noted by the buildfarm and Andres Freund

10 years agoKill pg_basebackup background process when exiting
Magnus Hagander [Sun, 9 Feb 2014 12:10:14 +0000 (13:10 +0100)]
Kill pg_basebackup background process when exiting

If an error occurs in the foreground (backup) process of pg_basebackup,
and we exit in a controlled way, the background process (streaming
xlog process) would stay around and keep streaming.

10 years agoUse --disable-auto-import linker switch in Mingw builds, too.
Tom Lane [Wed, 12 Feb 2014 17:03:53 +0000 (12:03 -0500)]
Use --disable-auto-import linker switch in Mingw builds, too.

This is evidently the default on buildfarm member narwhal, but that
is a pretty ancient Mingw version, and there is reason to think that
more recent versions of GNU ld have this feature turned on by default.
Since we are trying to achieve consistency of link behavior across
all Windows toolchains, let's just make sure here.

10 years agoRemove --enable-auto-import linker switch in Cygwin build.
Tom Lane [Wed, 12 Feb 2014 16:53:07 +0000 (11:53 -0500)]
Remove --enable-auto-import linker switch in Cygwin build.

This is expected to make it start failing when contrib modules
reference non-PGDLLIMPORT'ed global variables, as the other Windows
build methods do.  Aside from the value of consistency, the underlying
implementation of this switch is pretty ugly and not really something
we want to rely on if we have to use PGDLLIMPORT anyway for MSVC.

10 years agodoc: Postgres date-style date-only output is ISO
Bruce Momjian [Wed, 12 Feb 2014 16:25:04 +0000 (11:25 -0500)]
doc: Postgres date-style date-only output is ISO

Backpatch to 9.3

Report from MauMau

10 years agoTweak position of $(DLL_DEFFILE) in shared-library link commands.
Tom Lane [Wed, 12 Feb 2014 16:22:23 +0000 (11:22 -0500)]
Tweak position of $(DLL_DEFFILE) in shared-library link commands.

Reading the GNU ld man page suggests that this is order-sensitive
and should go in front of library references.  Correction to commit
846e91e0223cf9f2821c3ad4dfffffbb929cb027.

10 years agoMake gendef.pl emit DATA annotations for global variables.
Tom Lane [Tue, 11 Feb 2014 18:39:14 +0000 (13:39 -0500)]
Make gendef.pl emit DATA annotations for global variables.

This should make the MSVC build act more like builds for other platforms,
i.e. backend global variables will be automatically available to loadable
libraries without need for explicit PGDLLIMPORT marking.

Craig Ringer

10 years agoFlush a stray definition of $(DLLTOOL).
Tom Lane [Tue, 11 Feb 2014 17:59:48 +0000 (12:59 -0500)]
Flush a stray definition of $(DLLTOOL).

Even if this is needed, it'd be configure's responsibility to set it.

10 years agoGet rid of use of dlltool in Mingw builds.
Tom Lane [Tue, 11 Feb 2014 17:56:20 +0000 (12:56 -0500)]
Get rid of use of dlltool in Mingw builds.

We are almost completely out of the dlltool game, if this works.

Hiroshi Inoue

10 years agoCygwin build fixes.
Tom Lane [Tue, 11 Feb 2014 17:10:52 +0000 (12:10 -0500)]
Cygwin build fixes.

Get rid of use of dlltool for linking the main postgres executable.
dlltool is obsolete and we'd prefer to stop depending on it.

Also, include $(LDAP_LIBS_FE) in $(libpq_pgport).  (It's not clear that
this is really needed, or why it's not a linker bug if it is needed.
But reports are that it's needed on current Cygwin.)

We might want to back-patch this if it works, but first let's see
what the buildfarm thinks.

Marco Atzeri

10 years agoscripts: Remove newlines from end of generated SQL
Peter Eisentraut [Tue, 11 Feb 2014 02:47:19 +0000 (21:47 -0500)]
scripts: Remove newlines from end of generated SQL

This results in spurious empty lines in the server log.  Instead, add
the newlines only when printing out the --echo output.  In some cases,
this was already done, leading to two newlines being printed.  Clean
that up as well.

From: Fabrízio de Royes Mello <fabriziomello@gmail.com>

10 years agoDon't generate plain-text HISTORY and src/test/regress/README anymore.
Tom Lane [Tue, 11 Feb 2014 01:48:04 +0000 (20:48 -0500)]
Don't generate plain-text HISTORY and src/test/regress/README anymore.

Providing this information as plain text was doubtless worth the trouble
ten years ago, but it seems likely that hardly anyone reads it in this
format anymore.  And the effort required to maintain these files (in the
form of extra-complex markup rules in the relevant parts of the SGML
documentation) is significant.  So, let's stop doing that and rely solely
on the other documentation formats.

Per discussion, the plain-text INSTALL instructions might still be worth
their keep, so we continue to generate that file.

Rather than remove HISTORY and src/test/regress/README from distribution
tarballs entirely, replace them with simple stub files that tell the reader
where to find the relevant documentation.  This is mainly to avoid possibly
breaking packaging recipes that expect these files to exist.

Back-patch to all supported branches, because simplifying the markup
requirements for release notes won't help much unless we do it in all
branches.

10 years agoFix WakeupWaiters() to not wake up an exclusive locker unnecessarily.
Heikki Linnakangas [Mon, 10 Feb 2014 13:14:07 +0000 (15:14 +0200)]
Fix WakeupWaiters() to not wake up an exclusive locker unnecessarily.

WakeupWaiters() is supposed to wake up all LW_WAIT_UNTIL_FREE waiters of
the slot, but the loop incorrectly also woke up the first LW_EXCLUSIVE
waiter, if there was no LW_WAIT_UNTIL_FREE waiters in the queue.

Noted by Andres Freund. This code is new in 9.4, so no backpatching.

10 years agoUse memmove() instead of memcpy() for copying overlapping regions.
Heikki Linnakangas [Mon, 10 Feb 2014 07:55:14 +0000 (09:55 +0200)]
Use memmove() instead of memcpy() for copying overlapping regions.

In commit d2495f272cd164ff075bee5c4ce95aed11338a36, I fixed this bug in
to_tsquery(), but missed the fact that plainto_tsquery() has the same bug.

10 years agoFurther pg_dump / ftello improvements
Stephen Frost [Sun, 9 Feb 2014 23:28:14 +0000 (18:28 -0500)]
Further pg_dump / ftello improvements

Make ftello error-checking consistent to all calls and remove a
bit of ftello-related code which has been #if 0'd out since 2001.

Note that we are not concerned with the ftello() call under
snprintf() failing as it is just building a string to call
exit_horribly() with; printing -1 in such a case is fine.

10 years agoFocus on ftello result < 0 instead of errno
Stephen Frost [Sun, 9 Feb 2014 18:29:36 +0000 (13:29 -0500)]
Focus on ftello result < 0 instead of errno

Rather than reset errno (or just hope that its cleared already),
check just the result of the ftello for < 0 to determine if there
was an issue.

Oversight by me, pointed out by Tom.

10 years agoLimit pg_basebackup progress output to 1/second
Magnus Hagander [Sun, 9 Feb 2014 11:47:09 +0000 (12:47 +0100)]
Limit pg_basebackup progress output to 1/second

This prevents pg_basebackup from generating excessive output when
dumping large clusters. The status is now updated once / second,
still making it possible to see that there is progress happening,
but limiting the total bandwidth.

Mika Eloranta, reviewed by Sawada Masahiko and Oskari Saarenmaa

10 years agoAvoid printing uninitialized filename variable in verbose mode
Magnus Hagander [Sun, 9 Feb 2014 10:54:33 +0000 (11:54 +0100)]
Avoid printing uninitialized filename variable in verbose mode

When using verbose mode for pg_basebackup, in tar format sent to
stdout, we'd print an unitialized buffer as the filename.

Reported by Pontus Lundkvist

10 years agoMinor pg_dump improvements
Stephen Frost [Sun, 9 Feb 2014 02:25:47 +0000 (21:25 -0500)]
Minor pg_dump improvements

Improve pg_dump by checking results on various fgetc() calls which
previously were unchecked, ditto for ftello.  Also clean up a couple
of very minor memory leaks by waiting to allocate structures until
after the initial check(s).

Issues spotted by Coverity.

10 years agoMark some more variables as static or include the appropriate header
Peter Eisentraut [Sun, 9 Feb 2014 02:21:46 +0000 (21:21 -0500)]
Mark some more variables as static or include the appropriate header

Detected by clang's -Wmissing-variable-declarations.

From: Andres Freund <andres@anarazel.de>

10 years agoInitialize the entryRes array between each call to triConsistent.
Heikki Linnakangas [Fri, 7 Feb 2014 16:41:01 +0000 (18:41 +0200)]
Initialize the entryRes array between each call to triConsistent.

The shimTriConstistentFn, which calls the opclass's consistent function with
all combinations of TRUE/FALSE for any MAYBE argument, modifies the entryRes
array passed by the caller. Change startScanKey to re-initialize it between
each call to accommodate that.

It's actually a bad habit by shimTriConsistentFn to modify its argument. But
the only caller that doesn't already re-initialize the entryRes array was
startScanKey, and it's easy for startScanKey to do so. Add a comment to
shimTriConsistentFn about that.

Note: this does not give a free pass to opclass-provided consistent
functions to modify the entryRes argument; shimTriConsistent assumes that
they don't, even though it does it itself.

While at it, refactor startScanKey to allocate the requiredEntries and
additionalEntries after it knows exactly how large they need to be. Saves a
little bit of memory, and looks nicer anyway.

Per complaint by Tom Lane, buildfarm and the pg_trgm regression test.

10 years agoSpeed up "rare & frequent" type GIN queries.
Heikki Linnakangas [Fri, 7 Feb 2014 12:58:11 +0000 (14:58 +0200)]
Speed up "rare & frequent" type GIN queries.

If you have a GIN query like "rare & frequent", we currently fetch all the
items that match either rare or frequent, call the consistent function for
each item, and let the consistent function filter out items that only match
one of the terms. However, if we can deduce that "rare" must be present for
the overall qual to be true, we can scan all the rare items, and for each
rare item, skip over to the next frequent item with the same or greater TID.
That greatly speeds up "rare & frequent" type queries.

To implement that, introduce the concept of a tri-state consistent function,
where the 3rd value is MAYBE, indicating that we don't know if that term is
present. Operator classes only provide a boolean consistent function, so we
simulate the tri-state consistent function by calling the boolean function
several times, with the MAYBE arguments set to all combinations of TRUE and
FALSE. Testing all combinations is only feasible for a small number of MAYBE
arguments, but it is envisioned that we'll provide a way for operator
classes to provide a native tri-state consistent function, which can be much
more efficient. But that is not included in this patch.

We were already using that trick to for lossy pages, calling the consistent
function with the lossy entry set to TRUE and FALSE. Now that we have the
tri-state consistent function, use it for lossy pages too.

Alexander Korotkov, with fair amount of refactoring by me.

10 years agoFix thinko in comment.
Heikki Linnakangas [Fri, 7 Feb 2014 08:27:26 +0000 (10:27 +0200)]
Fix thinko in comment.

Amit Langote

10 years agoIn RelationClearRelation, postpone cache reload if !IsTransactionState().
Tom Lane [Fri, 7 Feb 2014 00:37:58 +0000 (19:37 -0500)]
In RelationClearRelation, postpone cache reload if !IsTransactionState().

We may process relcache flush requests during transaction startup or
shutdown.  In general it's not terribly safe to do catalog access at those
times, so the code's habit of trying to immediately revalidate unflushable
relcache entries is risky.  Although there are no field trouble reports
that are positively traceable to this, we have been able to demonstrate
failure of the assertions recently added in RelationIdGetRelation() and
SearchCatCache().  On the other hand, it seems safe to just postpone
revalidation of the cache entry until we're inside a valid transaction.
The one case where this is questionable is where we're exiting a
subtransaction and the outer transaction is holding the relcache entry open
--- but if we made any significant changes to the rel inside such a
subtransaction, we've got problems anyway.  There are mechanisms in place
to prevent that (to wit, locks for cross-session cases and
CheckTableNotInUse() for intra-session cases), so let's trust to those
mechanisms to keep us out of trouble.

10 years agoAlphabeticize list in OBJS definition in utils/adt Makefile.
Andrew Dunstan [Thu, 6 Feb 2014 17:11:49 +0000 (12:11 -0500)]
Alphabeticize list in OBJS definition in utils/adt Makefile.

10 years agoAssert(IsTransactionState()) in RelationIdGetRelation().
Tom Lane [Thu, 6 Feb 2014 16:28:13 +0000 (11:28 -0500)]
Assert(IsTransactionState()) in RelationIdGetRelation().

Commit 42c80c696e9c8323841180029cc62741c21bd356 added an
Assert(IsTransactionState()) in SearchCatCache(), to catch
any code that thought it could do a catcache lookup outside
transactions.  Extend the same idea to relcache lookups.

10 years agodoc: Disable indentation of XHTML output
Peter Eisentraut [Thu, 6 Feb 2014 04:49:25 +0000 (23:49 -0500)]
doc: Disable indentation of XHTML output

Indenting the XHTML output can lead to incorrect rendering.  This only
affects the build via XSLT.

10 years agoFix whitespace
Peter Eisentraut [Thu, 6 Feb 2014 04:12:51 +0000 (23:12 -0500)]
Fix whitespace

10 years agoRemove unnecessary relcache flushes after changing btree metapages.
Tom Lane [Wed, 5 Feb 2014 18:43:37 +0000 (13:43 -0500)]
Remove unnecessary relcache flushes after changing btree metapages.

These flushes were added in my commit d2896a9ed, which added the btree
logic that keeps a cached copy of the index metapage data in index relcache
entries.  The idea was to ensure that other backends would promptly update
their cached copies after a change.  However, this is not really necessary,
since _bt_getroot() has adequate defenses against believing a stale root
page link, and _bt_getrootheight() doesn't have to be 100% right.
Moreover, if it were necessary, a relcache flush would be an unreliable way
to do it, since the sinval mechanism believes that relcache flush requests
represent transactional updates, and therefore discards them on transaction
rollback.  Therefore, we might as well drop these flush requests and save
the time to rebuild the whole relcache entry after a metapage change.

If we ever try to support in-place truncation of btree indexes, it might
be necessary to revisit this issue so that _bt_getroot() can't get caught
by trying to follow a metapage link to a page that no longer exists.
A possible solution to that is to make use of an smgr, rather than
relcache, inval request to force other backends to discard their cached
metapages.  But for the moment this is not worth pursuing.

10 years agoMinor improvements to replication slot documentation.
Robert Haas [Wed, 5 Feb 2014 18:41:25 +0000 (13:41 -0500)]
Minor improvements to replication slot documentation.

Fix a thinko pointed out by Jeff Davis, and convert a couple of other
references into links.

10 years agoPL/Perl: Fix compiler warning
Peter Eisentraut [Wed, 5 Feb 2014 01:04:35 +0000 (20:04 -0500)]
PL/Perl: Fix compiler warning

The code was assigning a (Datum) 0 to a void pointer.  That creates a
warning from clang 3.4.  It was probably a thinko to begin with.

10 years agoImprove connection-failure error handling in contrib/postgres_fdw.
Tom Lane [Tue, 4 Feb 2014 02:30:02 +0000 (21:30 -0500)]
Improve connection-failure error handling in contrib/postgres_fdw.

postgres_fdw tended to say "unknown error" if it tried to execute a command
on an already-dead connection, because some paths in libpq just return a
null PGresult for such cases.  Out-of-memory might result in that, too.
To fix, pass the PGconn to pgfdw_report_error, and look at its
PQerrorMessage() string if we can't get anything out of the PGresult.

Also, fix the transaction-exit logic to reliably drop a dead connection.
It was attempting to do that already, but it assumed that only connection
cache entries with xact_depth > 0 needed to be examined.  The folly in that
is that if we fail while issuing START TRANSACTION, we'll not have bumped
xact_depth.  (At least for the case I was testing, this fix masks the
other problem; but it still seems like a good idea to have the PGconn
fallback logic.)

Per investigation of bug #9087 from Craig Lucas.  Backpatch to 9.3 where
this code was introduced.

10 years agoFix comparison of an array of characters with zero to compare with '\0' instead.
Fujii Masao [Tue, 4 Feb 2014 01:59:39 +0000 (10:59 +0900)]
Fix comparison of an array of characters with zero to compare with '\0' instead.

Report from Andres Freund.

10 years agoRephrase text to avoid links in regress.sgml
Robert Haas [Tue, 4 Feb 2014 01:10:48 +0000 (20:10 -0500)]
Rephrase text to avoid links in regress.sgml

Otherwise, the standalone regress_README build gets unhappy.

10 years agoFix lexing of U& sequences just before EOF.
Tom Lane [Tue, 4 Feb 2014 00:47:57 +0000 (19:47 -0500)]
Fix lexing of U& sequences just before EOF.

Commit a5ff502fceadc7c203b0d7a11b45c73f1b421f69 was a brick shy of a load
in the backend lexer too, not just psql.  Per further testing of bug #9068.

In passing, improve related comments.

10 years agoFix *-qualification of named parameters in SQL-language functions.
Tom Lane [Mon, 3 Feb 2014 19:46:51 +0000 (14:46 -0500)]
Fix *-qualification of named parameters in SQL-language functions.

Given a composite-type parameter named x, "$1.*" worked fine, but "x.*"
not so much.  This has been broken since named parameter references were
added in commit 9bff0780cf5be2193a5bad0d3df2dbe143085264, so patch back
to 9.2.  Per bug #9085 from Hardy Falk.

10 years agoAdjust pg_sleep_for/pg_sleep_until to use clock_timestamp.
Robert Haas [Mon, 3 Feb 2014 19:33:43 +0000 (14:33 -0500)]
Adjust pg_sleep_for/pg_sleep_until to use clock_timestamp.

Otherwise, pg_sleep_until does the wrong thing in a multi-statement
transaction.

Julien Rouhaud

10 years agoDocument a few more regression test hazards.
Robert Haas [Mon, 3 Feb 2014 15:27:47 +0000 (10:27 -0500)]
Document a few more regression test hazards.

Michael Paquier, reviewed by Christian Kruse

10 years agoIn json code, clean up temp memory contexts after processing.
Andrew Dunstan [Mon, 3 Feb 2014 15:40:12 +0000 (10:40 -0500)]
In json code, clean up temp memory contexts after processing.

Craig Ringer.

10 years agoMake pg_basebackup skip temporary statistics files.
Fujii Masao [Mon, 3 Feb 2014 14:19:49 +0000 (23:19 +0900)]
Make pg_basebackup skip temporary statistics files.

The temporary statistics files don't need to be included in the backup
because they are always reset at the beginning of the archive recovery.
This patch changes pg_basebackup so that it skips all files located in
$PGDATA/pg_stat_tmp or the directory specified by stats_temp_directory
parameter.

10 years agoSwitch in psql_scan() must cover all lexer states (except backslash cases).
Tom Lane [Sun, 2 Feb 2014 23:59:34 +0000 (18:59 -0500)]
Switch in psql_scan() must cover all lexer states (except backslash cases).

Oversight in commit f7559c0101afa33bfb4e104036ca46adac900111, which changed
UESCAPE lexing in psql.  Per bug #9068 from Manuel Gómez.

10 years agoAdd <indexterm> for functions pg_sleep_for and pg_sleep_until.
Fujii Masao [Sun, 2 Feb 2014 18:40:36 +0000 (03:40 +0900)]
Add <indexterm> for functions pg_sleep_for and pg_sleep_until.

10 years agoClean up some sloppy coding in repl_gram.y.
Tom Lane [Sun, 2 Feb 2014 17:51:14 +0000 (12:51 -0500)]
Clean up some sloppy coding in repl_gram.y.

Remove unused copy-and-pasted macro definitions, and improve formatting
of recently-added productions.

I got interested in this because buildfarm member protosciurus has been
crashing in "bison repl_gram.y" since commit 858ec11.  It's a long shot
that this will fix that, though maybe the missing trailing semicolon
has something to do with it?  In any case, there's no need to approve
of dead code, nor of code whose formatting isn't even self-consistent
let alone consistent with what's around it.

10 years agoAdd primary_slotname to recovery.conf.sample.
Fujii Masao [Sun, 2 Feb 2014 15:41:50 +0000 (00:41 +0900)]
Add primary_slotname to recovery.conf.sample.

10 years agoFix typos in docs and comments.
Fujii Masao [Sun, 2 Feb 2014 01:28:18 +0000 (10:28 +0900)]
Fix typos in docs and comments.

Thom Brown

10 years agoFix makefile syntax.
Andrew Dunstan [Sun, 2 Feb 2014 00:52:39 +0000 (19:52 -0500)]
Fix makefile syntax.

10 years agoFix some wide-character bugs in the text-search parser.
Tom Lane [Sat, 1 Feb 2014 23:26:55 +0000 (18:26 -0500)]
Fix some wide-character bugs in the text-search parser.

In p_isdigit and other character class test functions generated by the
p_iswhat macro, the code path for non-C locales with multibyte encodings
contained a bogus pointer cast that would accidentally fail to malfunction
if types wchar_t and wint_t have the same width.  Apparently that is true
on most platforms, but not on recent Cygwin releases.  Remove the cast,
as it seems completely unnecessary (I think it arose from a false analogy
to the need to cast to unsigned char when dealing with the <ctype.h>
functions).  Per bug #8970 from Marco Atzeri.

In the same functions, the code path for C locale with a multibyte encoding
simply ANDed each wide character with 0xFF before passing it to the
corresponding <ctype.h> function.  This could result in false positive
answers for some non-ASCII characters, so use a range test instead.
Noted by me while investigating Marco's complaint.

Also, remove some useless though not actually buggy maskings and casts
in the hand-coded p_isalnum and p_isalpha functions, which evidently
got tested a bit more carefully than the macro-generated functions.

10 years agofix whitespace
Andrew Dunstan [Sat, 1 Feb 2014 21:30:26 +0000 (16:30 -0500)]
fix whitespace

10 years agoFix some more bugs in signal handlers and process shutdown logic.
Tom Lane [Sat, 1 Feb 2014 21:20:56 +0000 (16:20 -0500)]
Fix some more bugs in signal handlers and process shutdown logic.

WalSndKill was doing things exactly backwards: it should first clear
MyWalSnd (to stop signal handlers from touching MyWalSnd->latch),
then disown the latch, and only then mark the WalSnd struct unused by
clearing its pid field.

Also, WalRcvSigUsr1Handler and worker_spi_sighup failed to preserve
errno, which is surely a requirement for any signal handler.

Per discussion of recent buildfarm failures.  Back-patch as far
as the relevant code exists.

10 years agoDon't use deprecated dllwrap on Cygwin.
Andrew Dunstan [Sat, 1 Feb 2014 21:08:33 +0000 (16:08 -0500)]
Don't use deprecated dllwrap on Cygwin.

The preferred method is to use "cc -shared", and this allows binaries
to be rebased if required, unlike dllwrap.

Backpatch to 9.0 where we have buildfarm coverage.

There are still some issues with Cygwin, especially modern Cygwin, but
this helps us get closer to good support.

Marco Atzeri.

10 years agoCopy the libpq DLL to the bin directory on Mingw and Cygwin.
Andrew Dunstan [Sat, 1 Feb 2014 20:11:13 +0000 (15:11 -0500)]
Copy the libpq DLL to the bin directory on Mingw and Cygwin.

This has long been done by the MSVC build system, and has caused
confusion in the past when programs like psql have failed to start
because they can't find the DLL. If it's in the same directory as it now
will be they will find it.

Backpatch to all live branches.

10 years agoarrays: tighten checks for multi-dimensional input
Bruce Momjian [Sat, 1 Feb 2014 15:49:17 +0000 (10:49 -0500)]
arrays:  tighten checks for multi-dimensional input

Previously an input array string that started with a single-element
array dimension would then later accept a multi-dimensional segment.

BACKWARD INCOMPATIBILITY

10 years agoIntroduce replication slots.
Robert Haas [Sat, 1 Feb 2014 03:45:17 +0000 (22:45 -0500)]
Introduce replication slots.

Replication slots are a crash-safe data structure which can be created
on either a master or a standby to prevent premature removal of
write-ahead log segments needed by a standby, as well as (with
hot_standby_feedback=on) pruning of tuples whose removal would cause
replication conflicts.  Slots have some advantages over existing
techniques, as explained in the documentation.

In a few places, we refer to the type of replication slots introduced
by this patch as "physical" slots, because forthcoming patches for
logical decoding will also have slots, but with somewhat different
properties.

Andres Freund and Robert Haas

10 years agodocs: mention 'g' is not in the regex embedded options table
Bruce Momjian [Sat, 1 Feb 2014 03:40:08 +0000 (22:40 -0500)]
docs:  mention 'g' is not in the regex embedded options table

Mentioned in substring() and regexp_replace() sections.

10 years agopg_restore: make help output plural for multi-enabled options
Bruce Momjian [Sat, 1 Feb 2014 03:28:54 +0000 (22:28 -0500)]
pg_restore:  make help output plural for multi-enabled options

per report from Josh Kupershmidt

10 years agoClear MyProc and MyProcSignalState before they become invalid.
Robert Haas [Sat, 1 Feb 2014 02:31:08 +0000 (21:31 -0500)]
Clear MyProc and MyProcSignalState before they become invalid.

Evidence from buildfarm member crake suggests that the new test_shm_mq
module is routinely crashing the server due to the arrival of a SIGUSR1
after the shared memory segment has been unmapped.  Although processes
using the new dynamic background worker facilities are more likely to
receive a SIGUSR1 around this time, the problem is also possible on older
branches, so I'm back-patching the parts of this change that apply to
older branches as far as they apply.

It's already generally the case that code checks whether these pointers
are NULL before deferencing them, so the important thing is mostly to
make sure that they do get set to NULL before they become invalid.  But
in master, there's one case in procsignal_sigusr1_handler that lacks a
NULL guard, so add that.

Patch by me; review by Tom Lane.

10 years agodoc: mention statistics reset during crash recovery
Bruce Momjian [Sat, 1 Feb 2014 02:28:15 +0000 (21:28 -0500)]
doc: mention statistics reset during crash recovery

Takayuki Tsunakawa

10 years agochkpass: check for NULL return value from crypt()
Bruce Momjian [Sat, 1 Feb 2014 01:19:53 +0000 (20:19 -0500)]
chkpass:  check for NULL return value from crypt()

Report from Jozef Mlich using Coverity

10 years agodoc: mention data page checksums in WAL section
Bruce Momjian [Sat, 1 Feb 2014 00:04:37 +0000 (19:04 -0500)]
doc: mention data page checksums in WAL section

Backpatch to 9.3

Adjusted patch from Ian Lawrence Barwick

10 years agoDisallow use of SSL v3 protocol in the server as well as in libpq.
Tom Lane [Fri, 31 Jan 2014 22:51:07 +0000 (17:51 -0500)]
Disallow use of SSL v3 protocol in the server as well as in libpq.

Commit 820f08cabdcbb8998050c3d4873e9619d6d8cba4 claimed to make the server
and libpq handle SSL protocol versions identically, but actually the server
was still accepting SSL v3 protocol while libpq wasn't.  Per discussion,
SSL v3 is obsolete, and there's no good reason to continue to accept it.
So make the code really equivalent on both sides.  The behavior now is
that we use the highest mutually-supported TLS protocol version.

Marko Kreen, some comment-smithing by me

10 years agodocs: mention tgconstrindid supports exclusion constraints
Bruce Momjian [Fri, 31 Jan 2014 22:44:18 +0000 (17:44 -0500)]
docs:  mention tgconstrindid supports exclusion constraints

Dean Rasheed

10 years agoAdd some examples to the postgres_fdw documentation.
Tom Lane [Fri, 31 Jan 2014 22:27:50 +0000 (17:27 -0500)]
Add some examples to the postgres_fdw documentation.

Michael Paquier

10 years agodoc: authentication wording improvements
Bruce Momjian [Fri, 31 Jan 2014 22:08:27 +0000 (17:08 -0500)]
doc: authentication wording improvements

Suggested by David Tonhofer

10 years agodocs: specify FOR UPDATE/SHARE incompatibilities
Bruce Momjian [Fri, 31 Jan 2014 21:37:25 +0000 (16:37 -0500)]
docs:  specify FOR UPDATE/SHARE incompatibilities

Document that FOR UPDATE/SHARE are incompatible with GROUP BY, DISTINCT,
HAVING and window functions.

Michael Paquier

10 years agosystem catalogs: reorder pg_amproc entries into proper sections
Bruce Momjian [Fri, 31 Jan 2014 21:04:18 +0000 (16:04 -0500)]
system catalogs:  reorder pg_amproc entries into proper sections

Report form Antonin Houska