]> granicus.if.org Git - postgresql/log
postgresql
10 years agoMisc message style and doc fixes.
Heikki Linnakangas [Thu, 15 May 2014 11:49:11 +0000 (14:49 +0300)]
Misc message style and doc fixes.

Euler Taveira

10 years agoSilence warnings about redefining popen on Mingw-w64.
Heikki Linnakangas [Thu, 15 May 2014 09:18:49 +0000 (12:18 +0300)]
Silence warnings about redefining popen on Mingw-w64.

Mingw-w64 headers map popen/pclose to _popen and _pclose, but we want to use
our popen wrapper rather than the Mingw-w64. #undef the Mingw's version.

10 years agodoc: Clarify what files pg_basebackup omits from data directory
Peter Eisentraut [Thu, 15 May 2014 02:26:49 +0000 (22:26 -0400)]
doc: Clarify what files pg_basebackup omits from data directory

10 years agopg_ctl: Write error messages to stderr
Peter Eisentraut [Thu, 15 May 2014 02:19:18 +0000 (22:19 -0400)]
pg_ctl: Write error messages to stderr

10 years agoIn initdb, ensure stdout/stderr buffering behavior is what we expect.
Tom Lane [Thu, 15 May 2014 01:13:54 +0000 (21:13 -0400)]
In initdb, ensure stdout/stderr buffering behavior is what we expect.

Since this program may print to either stdout or stderr, the relative
ordering of its messages depends on the buffering behavior of those files.
Force stdout to be line-buffered and stderr to be unbuffered, ensuring
that the behavior will match standard Unix interactive behavior, even
when stdout and stderr are rerouted to a file.

Per complaint from Tomas Vondra.  The particular case he pointed out is
new in HEAD, but issues of the same sort could arise in any branch with
other error messages, so back-patch to all branches.

I'm unsure whether we might not want to do this in other client programs
as well.  For the moment, just fix initdb.

10 years agopg_update: slight major version adjustment
Bruce Momjian [Thu, 15 May 2014 01:13:59 +0000 (21:13 -0400)]
pg_update:  slight major version adjustment

10 years agoFix version check for pg_upgrade line type crosscheck.
Tom Lane [Thu, 15 May 2014 00:23:32 +0000 (20:23 -0400)]
Fix version check for pg_upgrade line type crosscheck.

Per buildfarm.

10 years agopg_upgrade: error out on 'line' data type usage
Bruce Momjian [Wed, 14 May 2014 20:26:06 +0000 (16:26 -0400)]
pg_upgrade:  error out on 'line' data type usage

The data type internal format changed in 9.4.  Also mention this in the
9.4 release notes.

10 years agoCode review for recent changes in relcache.c.
Tom Lane [Wed, 14 May 2014 18:55:48 +0000 (14:55 -0400)]
Code review for recent changes in relcache.c.

rd_replidindex should be managed the same as rd_oidindex, and rd_keyattr
and rd_idattr should be managed like rd_indexattr.  Omissions in this area
meant that the bitmapsets computed for rd_keyattr and rd_idattr would be
leaked during any relcache flush, resulting in a slow but permanent leak in
CacheMemoryContext.  There was also a tiny probability of relcache entry
corruption if we ran out of memory at just the wrong point in
RelationGetIndexAttrBitmap.  Otherwise, the fields were not zeroed where
expected, which would not bother the code any AFAICS but could greatly
confuse anyone examining the relcache entry while debugging.

Also, create an API function RelationGetReplicaIndex rather than letting
non-relcache code be intimate with the mechanisms underlying caching of
that value (we won't even mention the memory leak there).

Also, fix a relcache flush hazard identified by Andres Freund:
RelationGetIndexAttrBitmap must not assume that rd_replidindex stays valid
across index_open.

The aspects of this involving rd_keyattr date back to 9.3, so back-patch
those changes.

10 years agodoc: fix 9.4 release notes typo
Bruce Momjian [Wed, 14 May 2014 18:13:19 +0000 (14:13 -0400)]
doc:  fix 9.4 release notes typo

Report by Dean Rasheed

10 years agodoc: fix typo in 9.4 release note comments
Bruce Momjian [Wed, 14 May 2014 16:21:03 +0000 (12:21 -0400)]
doc: fix typo in 9.4 release note comments

Patch by Sergey Muraviov

10 years agoMake initdb throw error for bad locale values.
Tom Lane [Wed, 14 May 2014 15:51:10 +0000 (11:51 -0400)]
Make initdb throw error for bad locale values.

Historically we've printed a complaint for a bad locale setting, but then
fallen back to the environment default.  Per discussion, this is not such
a great idea, because rectifying an erroneous locale choice post-initdb
(perhaps long after data has been loaded) could be enormously expensive.
Better to complain and give the user a chance to double-check things.

The behavior was particularly bad if the bad setting came from environment
variables rather than a bogus command-line switch: in that case not only
was there a fallback to C/SQL_ASCII, but the printed complaint was quite
unhelpful.  It's hard to be entirely sure what variables setlocale looked
at, but we can at least give a hint where the problem might be.

Per a complaint from Tomas Vondra.

10 years agodocs: mention windows quoting change in 9.4 release notes
Bruce Momjian [Wed, 14 May 2014 15:02:03 +0000 (11:02 -0400)]
docs:  mention windows quoting change in 9.4 release notes

Report by Heikki Linnakangas

10 years agodoc: auto-updatable view adjustments for 9.4 release notes
Bruce Momjian [Wed, 14 May 2014 14:07:24 +0000 (10:07 -0400)]
doc:  auto-updatable view adjustments for 9.4 release notes

Report by Dean Rasheed

10 years agodocs: 9.4 release notes adjustments
Bruce Momjian [Tue, 13 May 2014 19:12:54 +0000 (15:12 -0400)]
docs:  9.4 release notes adjustments

Patch by Andres Freund, slight adjustments by me

10 years agoFix harmless access to uninitialized memory.
Heikki Linnakangas [Tue, 13 May 2014 16:17:28 +0000 (19:17 +0300)]
Fix harmless access to uninitialized memory.

When cache invalidations arrive while ri_LoadConstraintInfo() is busy
filling a new cache entry, InvalidateConstraintCacheCallBack() compares
the - not yet initialized - oidHashValue field with the to-be-invalidated
hash value. To fix, check whether the entry is already marked as invalid.

Andres Freund

10 years agoInitialize padding bytes in btree_gist varbit support.
Heikki Linnakangas [Tue, 13 May 2014 11:16:28 +0000 (14:16 +0300)]
Initialize padding bytes in btree_gist varbit support.

The code expands a varbit gist leaf key to a node key by copying the bit
data twice in a varlen datum, as both the lower and upper key. The lower key
was expanded to INTALIGN size, but the padding bytes were not initialized.
That's a problem because when the lower/upper keys are compared, the padding
bytes are used compared too, when the values are otherwise equal. That could
lead to incorrect query results.

REINDEX is advised for any btree_gist indexes on bit or bit varying data
type, to fix any garbage padding bytes on disk.

Per Valgrind, reported by Andres Freund. Backpatch to all supported
versions.

10 years agoAdd Valgrind suppression for reorderbuffer padding bytes.
Noah Misch [Tue, 13 May 2014 03:03:49 +0000 (23:03 -0400)]
Add Valgrind suppression for reorderbuffer padding bytes.

Andres Freund

10 years agodocs: use structfield instead of structname in 9.4 release notes
Bruce Momjian [Tue, 13 May 2014 01:37:49 +0000 (21:37 -0400)]
docs:  use structfield instead of structname in 9.4 release notes

Where appropriate

10 years agodoc: 9.4 release note adjustments
Bruce Momjian [Tue, 13 May 2014 01:30:58 +0000 (21:30 -0400)]
doc: 9.4 release note adjustments

Report by Nicolas Barbier, Tatsuo Ishii, MauMau

10 years agoBe more wary in choice of timezone names to test make_timestamptz with.
Tom Lane [Tue, 13 May 2014 00:21:16 +0000 (20:21 -0400)]
Be more wary in choice of timezone names to test make_timestamptz with.

America/Metlakatla hasn't been in the IANA database all that long, so
some installations might not have it.  It does seem worthwhile to test
with a fractional-minute GMT offset, but we can get that from almost
any pre-1900 date; I chose Europe/Paris, whose LMT offset from Greenwich
should be pretty darn well established.

Also, assuming that Mars/Mons_Olympus will never be in the IANA database
seems less than future-proof, so let's use a more fanciful location for
the bad-zone-name check.

Per complaint from Christoph Berg.

10 years agoIgnore config.pl and buildenv.pl in src/tools/msvc.
Tom Lane [Mon, 12 May 2014 18:24:18 +0000 (14:24 -0400)]
Ignore config.pl and buildenv.pl in src/tools/msvc.

config.pl and buildenv.pl can be used to customize build settings when
using MSVC.  They should never get committed into the common source tree.

Back-patch to 9.0; it looks like the rules were different in 8.4.

Michael Paquier

10 years agoFix typo in test_shm_mq document.
Fujii Masao [Mon, 12 May 2014 16:41:54 +0000 (01:41 +0900)]
Fix typo in test_shm_mq document.

Amit Langote

10 years agoFree PQresult on error in pg_receivexlog.
Heikki Linnakangas [Mon, 12 May 2014 07:17:40 +0000 (10:17 +0300)]
Free PQresult on error in pg_receivexlog.

The leak is fairly small and rare, but a leak nevertheless.

Per Coverity report. Backpatch to 9.2, where pg_receivexlog was added.
pg_basebackup shares the code, but it always exits on error, so there is
no real leak.

10 years agoStamp 9.4beta1. REL9_4_BETA1
Tom Lane [Sun, 11 May 2014 21:16:48 +0000 (17:16 -0400)]
Stamp 9.4beta1.

10 years agoFind postgresql.auto.conf in PGDATA even when postgresql.conf is elsewhere.
Tom Lane [Sun, 11 May 2014 19:13:30 +0000 (15:13 -0400)]
Find postgresql.auto.conf in PGDATA even when postgresql.conf is elsewhere.

The original coding for ALTER SYSTEM made a fundamentally bogus assumption
that postgresql.auto.conf could be sought relative to the main config file
if we hadn't yet determined the value of data_directory.  This fails for
common arrangements with the config file elsewhere, as reported by
Christoph Berg.

The simplest fix is to not try to read postgresql.auto.conf until after
SelectConfigFiles has chosen (and locked down) the data_directory setting.

Because of the logic in ProcessConfigFile for handling resetting of GUCs
that've been removed from the config file, we cannot easily read the main
and auto config files separately; so this patch adopts a brute force
approach of reading the main config file twice during postmaster startup.
That's a tad ugly, but the actual time cost is likely to be negligible,
and there's no time for a more invasive redesign before beta.

With this patch, any attempt to set data_directory via ALTER SYSTEM
will be silently ignored.  It would probably be better to throw an
error, but that can be dealt with later.  This bug, however, would
prevent any testing of ALTER SYSTEM by a significant fraction of the
userbase, so it seems important to get it fixed before beta.

10 years agoRename jsonb_hash_ops to jsonb_path_ops.
Tom Lane [Sun, 11 May 2014 16:06:04 +0000 (12:06 -0400)]
Rename jsonb_hash_ops to jsonb_path_ops.

There's no longer much pressure to switch the default GIN opclass for
jsonb, but there was still some unhappiness with the name "jsonb_hash_ops",
since hashing is no longer a distinguishing property of that opclass,
and anyway it seems like a relatively minor detail.  At the suggestion of
Heikki Linnakangas, we'll use "jsonb_path_ops" instead; that captures the
important characteristic that each index entry depends on the entire path
from the document root to the indexed value.

Also add a user-facing explanation of the implementation properties of
these two opclasses.

10 years agoTranslation updates
Peter Eisentraut [Sun, 11 May 2014 01:53:11 +0000 (21:53 -0400)]
Translation updates

10 years agodocs: Mark 9.4 release notes as current as of today
Bruce Momjian [Sun, 11 May 2014 02:03:24 +0000 (22:03 -0400)]
docs:  Mark 9.4 release notes as current as of today

10 years agoRename min_recovery_apply_delay to recovery_min_apply_delay.
Tom Lane [Sat, 10 May 2014 23:46:19 +0000 (19:46 -0400)]
Rename min_recovery_apply_delay to recovery_min_apply_delay.

Per discussion, this seems like a more consistent choice of name.

Fabrízio de Royes Mello, after a suggestion by Peter Eisentraut;
some additional documentation wordsmithing by me

10 years agoMore work on the JSON/JSONB user documentation.
Tom Lane [Sat, 10 May 2014 22:56:52 +0000 (18:56 -0400)]
More work on the JSON/JSONB user documentation.

Document existence operator adequately; fix obsolete claim that no
Unicode-escape semantic checks happen on input (it's still true for
json, but not for jsonb); improve examples; assorted wordsmithing.

10 years agoFix bug in lossy-page handling in GIN
Heikki Linnakangas [Sat, 10 May 2014 20:24:23 +0000 (23:24 +0300)]
Fix bug in lossy-page handling in GIN

When returning rows from a bitmap, as done with partial match queries, we
would get stuck in an infinite loop if the bitmap contained a lossy page
reference.

This bug is new in master, it was introduced by the patch to allow skipping
items refuted by other entries in GIN scans.

Report and fix by Alexander Korotkov

10 years agoAccept tcl 8.6 in configure's probe for tclsh.
Tom Lane [Sat, 10 May 2014 14:48:01 +0000 (10:48 -0400)]
Accept tcl 8.6 in configure's probe for tclsh.

Usually the search would find plain "tclsh" without any trouble,
but some installations might only have the version-numbered flavor
of that program.

No compatibility problems have been reported with 8.6, so we might
as well back-patch this to all active branches.

Christoph Berg

10 years agoUpdate config.guess and config.sub
Tom Lane [Sat, 10 May 2014 14:33:34 +0000 (10:33 -0400)]
Update config.guess and config.sub

10 years agoFix bogus documentation of json_object_agg().
Tom Lane [Sat, 10 May 2014 00:25:42 +0000 (20:25 -0400)]
Fix bogus documentation of json_object_agg().

It takes two arguments, not one.

10 years agoFix broken allocation logic in recently-rewritten jsonb_util.c.
Tom Lane [Fri, 9 May 2014 22:24:17 +0000 (18:24 -0400)]
Fix broken allocation logic in recently-rewritten jsonb_util.c.

reserveFromBuffer() failed to consider the possibility that it needs to
more-than-double the current buffer size.  Beyond that, it seems likely
that we'd someday need to worry about integer overflow of the buffer
length variable.  Rather than reinvent the logic that's already been
debugged in stringinfo.c, let's go back to using that logic.  We can
still have the same targeted API, but we'll rely on stringinfo.c to
manage reallocation.

Per report from Alexander Korotkov.

10 years agoImprove user-facing JSON documentation.
Tom Lane [Fri, 9 May 2014 20:33:25 +0000 (16:33 -0400)]
Improve user-facing JSON documentation.

I started out with the intention of just fixing the info about the jsonb
operator classes, but soon found myself copy-editing most of the JSON
material.  Hopefully it's more readable now.

10 years agoGet rid of bogus dependency on typcategory in to_json() and friends.
Tom Lane [Fri, 9 May 2014 16:55:00 +0000 (12:55 -0400)]
Get rid of bogus dependency on typcategory in to_json() and friends.

These functions were relying on typcategory to identify arrays and
composites, which is not reliable and not the normal way to do it.
Using typcategory to identify boolean, numeric types, and json itself is
also pretty questionable, though the code in those cases didn't seem to be
at risk of anything worse than wrong output.  Instead, use the standard
lsyscache functions to identify arrays and composites, and rely on a direct
check of the type OID for the other cases.

In HEAD, also be sure to look through domains so that a domain is treated
the same as its base type for conversions to JSON.  However, this is a
small behavioral change; given the lack of field complaints, we won't
back-patch it.

In passing, refactor so that there's only one copy of the code that decides
which conversion strategy to apply, not multiple copies that could (and
have) gotten out of sync.

10 years agoCode review for logical decoding patch.
Robert Haas [Fri, 9 May 2014 14:44:04 +0000 (10:44 -0400)]
Code review for logical decoding patch.

Post-commit review identified a number of places where addition was
used instead of multiplication or memory wasn't zeroed where it should
have been.  This commit also fixes one case where a structure member
was mis-initialized, and moves another memory allocation closer to
the place where the allocated storage is used for clarity.

Andres Freund

10 years agoRemove overeager assertion in logical_heap_begin_rewrite.
Robert Haas [Fri, 9 May 2014 14:33:40 +0000 (10:33 -0400)]
Remove overeager assertion in logical_heap_begin_rewrite.

It's legal to configure wal_level=logical and max_replication_slots=0
simultaneously.

Andres Freund

10 years agoTeach add_json() that jsonb is of TYPCATEGORY_JSON.
Tom Lane [Fri, 9 May 2014 13:44:11 +0000 (09:44 -0400)]
Teach add_json() that jsonb is of TYPCATEGORY_JSON.

This code really needs to be refactored so that there aren't so many copies
that can diverge.  Not to mention that this whole approach is probably
wrong.  But for the moment I'll just stick my finger in the dike.
Per report from Michael Paquier.

10 years agoFix typcategory labeling of jsonb.
Tom Lane [Fri, 9 May 2014 13:25:58 +0000 (09:25 -0400)]
Fix typcategory labeling of jsonb.

Dunno who had the cute idea of labeling jsonb as typcategory 'C',
but it is not a composite type.  Label it 'U', since that's what
json is using.

10 years agoMore jsonb cleanup.
Heikki Linnakangas [Fri, 9 May 2014 12:55:56 +0000 (15:55 +0300)]
More jsonb cleanup.

Fix JSONB_MAX_ELEMS and JSONB_MAX_PAIRS macros to use CB_MASK in the
calculation. JENTRY_POSMASK happens to have the same value at the moment,
but that's just coincidental.

Refactor jsonb iterator functions, for readability.

Get rid of the JENTRY_ISFIRST flag. Whenever we handle JEntrys, we have
access to the whole array and have enough context information to know
which entry is the first. This frees up one bit in the JEntry header for
future use. While we're at it, shuffle the JEntry bits so that boolean
true and false go together, for aesthetic reasons.

Bump catalog version as this changes the on-disk format slightly.

10 years agoImprove key representation for GIN jsonb_ops, and fix existence-search bug.
Tom Lane [Fri, 9 May 2014 12:41:26 +0000 (08:41 -0400)]
Improve key representation for GIN jsonb_ops, and fix existence-search bug.

Change the key representation so that values that would exceed 127 bytes
are hashed into short strings, and so that the original JSON datatype of
each value is recorded in the index.  The hashing rule eliminates the major
objection to having this opclass be the default for jsonb, namely that it
could fail for plausible input data (due to GIN's restrictions on maximum
key length).  Preserving datatype information doesn't really buy us much
right now, but it requires no extra space compared to the previous way,
and it might be useful later.

Also, change the consistency-checking functions to request recheck for
exists (jsonb ? text) and related operators.  The original analysis that
this is an exactly checkable query was incorrect, since the index does
not preserve information about whether a key appears at top level in
the indexed JSON object.  Add a test case demonstrating the problem.

Make some other, mostly cosmetic improvements to the code in jsonb_gin.c
as well.

catversion bump due to on-disk data format change in jsonb_ops indexes.

10 years agoMinor cleanup of jsonb_util.c
Heikki Linnakangas [Fri, 9 May 2014 10:09:59 +0000 (13:09 +0300)]
Minor cleanup of jsonb_util.c

Move the functions around to group related functions together. Remove
binequal argument from lengthCompareJsonbStringValue, moving that
responsibility to lengthCompareJsonbPair. Fix typo in comment.

10 years agoAvoid some pnstrdup()s when constructing jsonb
Heikki Linnakangas [Fri, 9 May 2014 08:32:28 +0000 (11:32 +0300)]
Avoid some pnstrdup()s when constructing jsonb

This speeds up text to jsonb parsing and hstore to jsonb conversions
somewhat.

10 years agoFix missing dependencies in ecpg's test Makefiles.
Tom Lane [Fri, 9 May 2014 02:34:51 +0000 (22:34 -0400)]
Fix missing dependencies in ecpg's test Makefiles.

Ensure that ecpg preprocessor output files are rebuilt when re-testing
after a change in the ecpg preprocessor itself, or a change in any of
several include files that get copied verbatim into the output files.
The lack of these dependencies was what created problems for Kevin Grittner
after the recent pgindent run.  There's no way for --enable-depend to
discover these dependencies automatically, so we've gotta put them into
the Makefiles by hand.

While at it, reduce the amount of duplication in the ecpg invocations.

10 years agoDocument permissions needed for pg_database_size and pg_tablespace_size.
Tom Lane [Fri, 9 May 2014 01:45:02 +0000 (21:45 -0400)]
Document permissions needed for pg_database_size and pg_tablespace_size.

Back in 8.3, we installed permissions checks in these functions (see
commits 8bc225e7990a and cc26599b7206).  But we forgot to document that
anywhere in the user-facing docs; it did get mentioned in the 8.3 release
notes, but nobody's looking at that any more.  Per gripe from Suya Huang.

10 years agoIncrease the default value of effective_cache_size to 4GB.
Tom Lane [Fri, 9 May 2014 01:11:47 +0000 (21:11 -0400)]
Increase the default value of effective_cache_size to 4GB.

Per discussion, the old value of 128MB is ridiculously small on modern
machines; in fact, it's not even any larger than the default value of
shared_buffers, which it certainly should be.  Increase to 4GB, which
is unlikely to be any worse than the old default for anyone, and should
be noticeably better for most.  Eventually we might have an autotuning
scheme for this setting, but the recent attempt crashed and burned,
so for now just do this.

10 years agoRevert "Auto-tune effective_cache size to be 4x shared buffers"
Tom Lane [Fri, 9 May 2014 00:49:38 +0000 (20:49 -0400)]
Revert "Auto-tune effective_cache size to be 4x shared buffers"

This reverts commit ee1e5662d8d8330726eaef7d3110cb7add24d058, as well as
a remarkably large number of followup commits, which were mostly concerned
with the fact that the implementation didn't work terribly well.  It still
doesn't: we probably need some rather basic work in the GUC infrastructure
if we want to fully support GUCs whose default varies depending on the
value of another GUC.  Meanwhile, it also emerged that there wasn't really
consensus in favor of the definition the patch tried to implement (ie,
effective_cache_size should default to 4 times shared_buffers).  So whack
it all back to where it was.  In a followup commit, I'll do what was
recently agreed to, which is to simply change the default to a higher
value.

10 years agoUn-break ecpg test suite under --disable-integer-datetimes.
Noah Misch [Thu, 8 May 2014 23:29:02 +0000 (19:29 -0400)]
Un-break ecpg test suite under --disable-integer-datetimes.

Commit 4318daecc959886d001a6e79c6ea853e8b1dfb4b broke it.  The change in
sub-second precision at extreme dates is normal.  The inconsistent
truncation vs. rounding is essentially a bug, albeit a longstanding one.
Back-patch to 8.4, like the causative commit.

10 years agoFix comment.
Tom Lane [Thu, 8 May 2014 16:42:56 +0000 (12:42 -0400)]
Fix comment.

Previous commit was confused about the case we're handling: actually,
what the patch is dealing with is platforms that have optreset, *and*
have <getopt.h>, but the latter fails to declare the former.  Because
we use a linking probe to set HAVE_INT_OPTRESET, we need to be sure we
have a declaration even if <getopt.h> doesn't think it exists.

10 years agoAllow for platforms that have optreset but not <getopt.h>.
Tom Lane [Thu, 8 May 2014 16:33:29 +0000 (12:33 -0400)]
Allow for platforms that have optreset but not <getopt.h>.

Reportedly, some versions of mingw are like that, and it seems plausible
in general that older platforms might be that way.  However, we'd
determined experimentally that just doing "extern int" conflicts with
the way Cygwin declares these variables, so explicitly exclude Cygwin.

Michael Paquier, tweaked by me to hopefully not break Cygwin

10 years agoProtect against torn pages when deleting GIN list pages.
Heikki Linnakangas [Thu, 8 May 2014 11:43:04 +0000 (14:43 +0300)]
Protect against torn pages when deleting GIN list pages.

To-be-deleted list pages contain no useful information, as they are being
deleted, but we must still protect the writes from being torn by a crash
after a partial write. To do that, re-initialize the pages on WAL replay.

Jeff Janes caught this with a test program to test partial writes.
Backpatch to all supported versions.

10 years agoInclude files copied from libpqport in .gitignore
Heikki Linnakangas [Thu, 8 May 2014 07:56:57 +0000 (10:56 +0300)]
Include files copied from libpqport in .gitignore

Michael Paquier

10 years agoAvoid buffer bloat in libpq when server is consistently faster than client.
Tom Lane [Thu, 8 May 2014 01:38:36 +0000 (21:38 -0400)]
Avoid buffer bloat in libpq when server is consistently faster than client.

If the server sends a long stream of data, and the server + network are
consistently fast enough to force the recv() loop in pqReadData() to
iterate until libpq's input buffer is full, then upon processing the last
incomplete message in each bufferload we'd usually double the buffer size,
due to supposing that we didn't have enough room in the buffer to finish
collecting that message.  After filling the newly-enlarged buffer, the
cycle repeats, eventually resulting in an out-of-memory situation (which
would be reported misleadingly as "lost synchronization with server").
Of course, we should not enlarge the buffer unless we still need room
after discarding already-processed messages.

This bug dates back quite a long time: pqParseInput3 has had the behavior
since perhaps 2003, getCopyDataMessage at least since commit 70066eb1a1ad
in 2008.  Probably the reason it's not been isolated before is that in
common environments the recv() loop would always be faster than the server
(if on the same machine) or faster than the network (if not); or at least
it wouldn't be slower consistently enough to let the buffer ramp up to a
problematic size.  The reported cases involve Windows, which perhaps has
different timing behavior than other platforms.

Per bug #7914 from Shin-ichi Morita, though this is different from his
proposed solution.  Back-patch to all supported branches.

10 years agoWhen a background worker exists with code 0, unregister it.
Robert Haas [Wed, 7 May 2014 21:43:39 +0000 (17:43 -0400)]
When a background worker exists with code 0, unregister it.

The previous behavior was to restart immediately, which was generally
viewed as less useful.

Petr Jelinek, with some adjustments by me.

10 years agoFix build after removing JsonbValue.estSize field.
Heikki Linnakangas [Wed, 7 May 2014 21:05:43 +0000 (00:05 +0300)]
Fix build after removing JsonbValue.estSize field.

Oops, I didn't realize that contrib/hstore refers to jsonb stuff.

10 years agoWhen a bgworker exits, always call ReleasePostmasterChildSlot.
Robert Haas [Wed, 7 May 2014 20:30:23 +0000 (16:30 -0400)]
When a bgworker exits, always call ReleasePostmasterChildSlot.

Commit e2ce9aa27bf20eff2d991d0267a15ea5f7024cd7 was insufficiently
well thought out.  Repair.

10 years agoRestart bgworkers immediately after a crash-and-restart cycle.
Robert Haas [Wed, 7 May 2014 20:04:47 +0000 (16:04 -0400)]
Restart bgworkers immediately after a crash-and-restart cycle.

Just as we would start bgworkers immediately after an initial startup
of the server, we should restart them immediately when reinitializing.

Petr Jelinek and Robert Haas

10 years agoClean up jsonb code.
Heikki Linnakangas [Wed, 7 May 2014 20:16:19 +0000 (23:16 +0300)]
Clean up jsonb code.

The main target of this cleanup is the convertJsonb() function, but I also
touched a lot of other things that I spotted into in the process.

The new convertToJsonb() function uses an output buffer that's resized on
demand, so the code to estimate of the size of JsonbValue is removed.

The on-disk format was not changed, even though I refactored the structs
used to handle it. The term "superheader" is replaced with "container".

The jsonb_exists_any and jsonb_exists_all functions no longer sort the input
array. That was a premature optimization, the idea being that if there are
duplicates in the input array, you only need to check them once. Also,
sorting the array saves some effort in the binary search used to find a key
within an object. But there were drawbacks too: the sorting and
deduplicating obviously isn't free, and in the typical case there are no
duplicates to remove, and the gain in the binary search was minimal. Remove
all that, which makes the code simpler too.

This includes a bug-fix; the total length of the elements in a jsonb array
or object mustn't exceed 2^28. That is now checked.

10 years agoDetach shared memory from bgworkers without shmem access.
Robert Haas [Wed, 7 May 2014 18:54:43 +0000 (14:54 -0400)]
Detach shared memory from bgworkers without shmem access.

Since the postmaster won't perform a crash-and-restart sequence
for background workers which don't request shared memory access,
we'd better make sure that they can't corrupt shared memory.

Patch by me, review by Tom Lane.

10 years agoFix failure to set ActiveSnapshot while rewinding a cursor.
Tom Lane [Wed, 7 May 2014 18:25:11 +0000 (14:25 -0400)]
Fix failure to set ActiveSnapshot while rewinding a cursor.

ActiveSnapshot needs to be set when we call ExecutorRewind because some
plan node types may execute user-defined functions during their ReScan
calls (nodeLimit.c does so, at least).  The wisdom of that is somewhat
debatable, perhaps, but for now the simplest fix is to make sure the
required context is valid.  Failure to do this typically led to a
null-pointer-dereference core dump, though it's possible that in more
complex cases a function could be executed with the wrong snapshot
leading to very subtle misbehavior.

Per report from Leif Jensen.  It's been broken for a long time, so
back-patch to all active branches.

10 years agoNever crash-and-restart for bgworkers without shared memory access.
Robert Haas [Wed, 7 May 2014 17:19:02 +0000 (13:19 -0400)]
Never crash-and-restart for bgworkers without shared memory access.

The motivation for a crash and restart cycle when a backend dies is
that it might have corrupted shared memory on the way down; and we
can't recover reliably except by reinitializing everything.  But that
doesn't apply to processes that don't touch shared memory.  Currently,
there's nothing to prevent a background worker that doesn't request
shared memory access from touching shared memory anyway, but that's a
separate bug.

Previous to this commit, the coding in postmaster.c was inconsistent:
an exit status other than 0 or 1 didn't provoke a crash-and-restart,
but failure to release the postmaster child slot did.  This change
makes those cases consistent.

10 years agoFix some more confusion between uint32 and Datum.
Tom Lane [Wed, 7 May 2014 03:52:30 +0000 (23:52 -0400)]
Fix some more confusion between uint32 and Datum.

10 years agoFix interval test, which was broken for floating-point timestamps.
Jeff Davis [Wed, 7 May 2014 02:35:24 +0000 (19:35 -0700)]
Fix interval test, which was broken for floating-point timestamps.

Commit 4318daecc959886d001a6e79c6ea853e8b1dfb4b introduced a test that
couldn't be made consistent between integer and floating-point
timestamps.

It was designed to test the longest possible interval output length,
so removing four zeros from the number of hours, as this patch does,
is not ideal. But the test still has some utility for its original
purpose, and there aren't a lot of other good options.

Noah Misch suggested a different approach where we test that the
output either matches what we expect from integer timestamps or what
we expect from floating-point timestamps. That seemed to obscure an
otherwise simple test, however.

Reviewed by Tom Lane and Noah Misch.

10 years agohash_any returns Datum, not uint32 (and definitely not "int").
Tom Lane [Wed, 7 May 2014 02:49:32 +0000 (22:49 -0400)]
hash_any returns Datum, not uint32 (and definitely not "int").

The coding in JsonbHashScalarValue might have accidentally failed to fail
given current representational choices, but the key word there would be
"accidental".  Insert the appropriate datatype conversion macro.  And
use the right conversion macro for hash_numeric's result, too.

In passing make the code a bit cleaner and less repetitive by factoring
out the xor step from the switch.

10 years agoImprove comment for tricky aspect of index-only scans.
Jeff Davis [Sun, 4 May 2014 20:18:55 +0000 (13:18 -0700)]
Improve comment for tricky aspect of index-only scans.

Index-only scans avoid taking a lock on the VM buffer, which would
cause a lot of contention. To be correct, that requires some intricate
assumptions that weren't completely documented in the previous
comment.

Reviewed by Robert Haas.

10 years agodoc: Fix DocBook XML validity
Peter Eisentraut [Wed, 7 May 2014 01:28:58 +0000 (21:28 -0400)]
doc: Fix DocBook XML validity

The main problem is that DocBook SGML allows indexterm elements just
about everywhere, but DocBook XML is stricter.  For example, this common
pattern

    <varlistentry>
     <indexterm>...</indexterm>
     <term>...</term>
     ...
    </varlistentry>

needs to be changed to something like

    <varlistentry>
     <term>...<indexterm>...</indexterm></term>
     ...
    </varlistentry>

See also bb4eefe7bf518e42c73797ea37b033a5d8a8e70a.

There is currently nothing in the build system that enforces that things
stay valid, because that requires additional tools and will receive
separate consideration.

10 years agoWith ecpg exclusion removed, re-run pgindent for 9.4
Bruce Momjian [Wed, 7 May 2014 00:39:28 +0000 (20:39 -0400)]
With ecpg exclusion removed, re-run pgindent for 9.4

Report by Tom Lane

10 years agoRemove pgindent ecpg exclusion pattern
Bruce Momjian [Wed, 7 May 2014 00:09:00 +0000 (20:09 -0400)]
Remove pgindent ecpg exclusion pattern

Report by Tom Lane

10 years agopg_basebackup streaming: adjust version check msg
Simon Riggs [Tue, 6 May 2014 21:50:06 +0000 (22:50 +0100)]
pg_basebackup streaming: adjust version check msg

Allow for translatable string, rather than use "or"

10 years agoImprove pgindent test instructions
Bruce Momjian [Tue, 6 May 2014 19:33:25 +0000 (15:33 -0400)]
Improve pgindent test instructions

10 years agoFix logic bug in dsm_attach().
Robert Haas [Tue, 6 May 2014 17:37:46 +0000 (13:37 -0400)]
Fix logic bug in dsm_attach().

The previous coding would potentially cause attaching to segment A to
fail if segment B was at the same time in the process of going away.

Andres Freund, with a comment tweak by me

10 years agoFix improperly passed file descriptors
Bruce Momjian [Tue, 6 May 2014 16:20:51 +0000 (12:20 -0400)]
Fix improperly passed file descriptors

Fix for commit 14ea89366fe321609afc5838ff9fe2ded1cd707d

Report by Andres Freund

10 years agopgindent run for 9.4
Bruce Momjian [Tue, 6 May 2014 16:12:18 +0000 (12:12 -0400)]
pgindent run for 9.4

This includes removing tabs after periods in C comments, which was
applied to back branches, so this change should not effect backpatching.

10 years agoAdjust pgindent to remove tabs after periods in C comments.
Bruce Momjian [Tue, 6 May 2014 14:57:15 +0000 (10:57 -0400)]
Adjust pgindent to remove tabs after periods in C comments.

10 years agoFix detection of short tar files, broken by commit 14ea89366fe321609afc5838ff9fe2ded1...
Bruce Momjian [Tue, 6 May 2014 14:00:57 +0000 (10:00 -0400)]
Fix detection of short tar files, broken by commit 14ea89366fe321609afc5838ff9fe2ded1cd707d

Report by Noah Misch

10 years agoCorrect comment in Hot Standby nbtree handling
Simon Riggs [Tue, 6 May 2014 13:44:18 +0000 (14:44 +0100)]
Correct comment in Hot Standby nbtree handling

Logic is correct, matching handling of LP_DEAD elsewhere.

10 years agoUpdate typedef list in preparation for pgindent run
Bruce Momjian [Tue, 6 May 2014 13:08:14 +0000 (09:08 -0400)]
Update typedef list in preparation for pgindent run

10 years agoMore rewording of pg_stat_statements for 9.4 release notes
Bruce Momjian [Tue, 6 May 2014 12:52:16 +0000 (08:52 -0400)]
More rewording of pg_stat_statements for 9.4 release notes

Report by Amit Langote

10 years agopg_basebackup streaming: adjust version check msg
Simon Riggs [Tue, 6 May 2014 12:44:15 +0000 (13:44 +0100)]
pg_basebackup streaming: adjust version check msg

Commit d298b50a3b469c088bb40a4d36d38111b4cd574d by Heikki Linnakangas
requested that the version check message be updated at next release, suggesting
that the appropriate text would be “9.3 or later”. The logic used for the check
indicates that the correct text for 9.4 is “9.3 or 9.4”, since the logic would
cause this to fail for later releases.

10 years agoFix use of free in walsender error handling after a sysid mismatch.
Heikki Linnakangas [Tue, 6 May 2014 12:14:51 +0000 (15:14 +0300)]
Fix use of free in walsender error handling after a sysid mismatch.

Found via valgrind. The bug exists since the introduction of the walsender,
so backpatch to 9.0.

Andres Freund

10 years agoFix handling of array of char pointers in ecpglib.
Michael Meskes [Tue, 6 May 2014 11:04:30 +0000 (13:04 +0200)]
Fix handling of array of char pointers in ecpglib.

When array of char * was used as target for a FETCH statement returning more
than one row, it tried to store all the result in the first element. Instead it
should dump array of char pointers with right offset, use the address instead
of the value of the C variable while reading the array and treat such variable
as char **, instead of char * for pointer arithmetic.

Patch by Ashutosh Bapat <ashutosh.bapat@enterprisedb.com>

10 years agoProperly detect read and write errors in pg_dump/dumpall, and pg_restore
Bruce Momjian [Tue, 6 May 2014 00:27:16 +0000 (20:27 -0400)]
Properly detect read and write errors in pg_dump/dumpall, and pg_restore

Previously some I/O errors were ignored.

10 years agoUpdate 9.4 release notes for queryid control
Bruce Momjian [Tue, 6 May 2014 00:24:50 +0000 (20:24 -0400)]
Update 9.4 release notes for queryid control

10 years agoRun autoconf in wake of commit a692ee5870f0f442565b4c4bff367094599e9bdf.
Tom Lane [Tue, 6 May 2014 00:24:38 +0000 (20:24 -0400)]
Run autoconf in wake of commit a692ee5870f0f442565b4c4bff367094599e9bdf.

Heikki updated configure.in but evidently forgot to include the updated
configure script in the commit.  Per buildfarm.

10 years agoMove pg_stat_statements into its on 9.4 release note section
Bruce Momjian [Tue, 6 May 2014 00:03:12 +0000 (20:03 -0400)]
Move pg_stat_statements into its on 9.4 release note section

10 years agoIn 9.4 release notes, add detail to pg_stat_statements items
Bruce Momjian [Mon, 5 May 2014 23:58:58 +0000 (19:58 -0400)]
In 9.4 release notes, add detail to pg_stat_statements items

10 years agoImprove JSONB 9.4 release text
Bruce Momjian [Mon, 5 May 2014 23:16:34 +0000 (19:16 -0400)]
Improve JSONB 9.4 release text

10 years agoAdd doc links to 9.4 release notes, and add major features list
Bruce Momjian [Mon, 5 May 2014 20:26:27 +0000 (16:26 -0400)]
Add doc links to 9.4 release notes, and add major features list

10 years agoFix possible cache invalidation failure in ReceiveSharedInvalidMessages.
Tom Lane [Mon, 5 May 2014 18:43:39 +0000 (14:43 -0400)]
Fix possible cache invalidation failure in ReceiveSharedInvalidMessages.

Commit fad153ec45299bd4d4f29dec8d9e04e2f1c08148 modified sinval.c to reduce
the number of calls into sinvaladt.c (which require taking a shared lock)
by keeping a local buffer of collected-but-not-yet-processed messages.
However, if processing of the last message in a batch resulted in a
recursive call to ReceiveSharedInvalidMessages, we could overwrite that
message with a new one while the outer invalidation function was still
working on it.  This would be likely to lead to invalidation of the wrong
cache entry, allowing subsequent processing to use stale cache data.
The fix is just to make a local copy of each message while we're processing
it.

Spotted by Andres Freund.  Back-patch to 8.4 where the bug was introduced.

10 years agoFix pg_type.typlen for newly-revived line type.
Tom Lane [Mon, 5 May 2014 17:37:54 +0000 (13:37 -0400)]
Fix pg_type.typlen for newly-revived line type.

Commit 261c7d4b653bc3e44c31fd456d94f292caa50d8f removed the "m" field
from struct LINE, but neglected to make pg_type.h's idea of the type's
size match.  This resulted in reading past the end of palloc'd LINE
values when inserting them into tuples etc.  In principle that could
cause a SIGSEGV, though the odds of detectable problems seem low.

Bump catversion since this makes an incompatible on-disk format change.
Note that if the line type had been in use in the field, this would
break pg_upgrade'ability of databases containing line values; but
it seems unlikely that there are any (they'd have had to be compiled
with -DENABLE_LINE_TYPE).

Spotted by Andres Freund.

10 years agoAdd SGML markup tags to 9.4 release notes
Bruce Momjian [Mon, 5 May 2014 16:38:09 +0000 (12:38 -0400)]
Add SGML markup tags to 9.4 release notes

10 years agoFix case of pg_dump -Fc to an unseekable file (such as a pipe).
Tom Lane [Mon, 5 May 2014 15:26:41 +0000 (11:26 -0400)]
Fix case of pg_dump -Fc to an unseekable file (such as a pipe).

This was accidentally broken in commits cfa1b4a711/5e8e794e3b.
It saves a line or so to call ftello unconditionally in _CloseArchive,
but we have to expect that it might fail if we're not in hasSeek mode.
Per report from Bernd Helmle.

In passing, improve _getFilePos to print an appropriate message if
ftello fails unexpectedly, rather than just a vague complaint about
"ftell mismatch".

10 years agoUpdate "huge pages" description in the 9.4 release notes
Bruce Momjian [Mon, 5 May 2014 14:30:45 +0000 (10:30 -0400)]
Update "huge pages" description in the 9.4 release notes

10 years agoUpdate 9.4 release notes with feedback from the hackers list
Bruce Momjian [Mon, 5 May 2014 14:06:26 +0000 (10:06 -0400)]
Update 9.4 release notes with feedback from the hackers list

10 years agodoc: In FDW handler docs, mark up scan_clauses with <literal>.
Robert Haas [Mon, 5 May 2014 14:04:02 +0000 (10:04 -0400)]
doc: In FDW handler docs, mark up scan_clauses with <literal>.

Etsuro Fujita

10 years agoPass sensible value to memset() when randomizing reorderbuffer's tuple slab.
Heikki Linnakangas [Mon, 5 May 2014 13:21:46 +0000 (16:21 +0300)]
Pass sensible value to memset() when randomizing reorderbuffer's tuple slab.

This is entirely harmless, but still wrong. Noticed by coverity.

Andres Freund

10 years agoDon't leak memory after connection aborts in pg_recvlogical.
Heikki Linnakangas [Mon, 5 May 2014 13:20:12 +0000 (16:20 +0300)]
Don't leak memory after connection aborts in pg_recvlogical.

Andres Freund, noticed by coverity.