]> granicus.if.org Git - postgresql/log
postgresql
9 years agoAdd readfuncs.c support for plan nodes.
Robert Haas [Wed, 23 Sep 2015 15:51:50 +0000 (11:51 -0400)]
Add readfuncs.c support for plan nodes.

For parallel query, we need to be able to pass a Plan to a worker, so
that it knows what it's supposed to do.  We could invent our own way
of serializing plans for that purpose, but piggybacking on the
existing node infrastructure seems like a much better idea.

Initially, we'll probably only support a limited number of nodes
within parallel workers, but this commit adds support for everything
in plannodes.h except CustomScan, because doing it all at once seems
easier than doing it piecemeal, and it makes testing this code easier,
too.  CustomScan is excluded because making that work requires a
larger rework of that facility.

Amit Kapila, reviewed and slightly revised by me.

9 years agoPrint a MergeJoin's mergeNullsFirst array as bool, not int.
Robert Haas [Wed, 23 Sep 2015 14:53:29 +0000 (10:53 -0400)]
Print a MergeJoin's mergeNullsFirst array as bool, not int.

It's declared as being an array of bool, but it's printed
differently from the way bool and arrays of bool are handled
elsewhere.

Patch by Amit Kapila.  Anomaly noted independently by Amit Kapila
and KaiGai Kohei.

9 years agoAllow autoanalyze to add pages deleted from pending list to FSM
Teodor Sigaev [Wed, 23 Sep 2015 12:33:51 +0000 (15:33 +0300)]
Allow autoanalyze to add pages deleted from pending list to FSM

Commit e95680832854cf300e64c10de9cc2f586df558e8 introduces adding pages
to FSM for ordinary insert, but autoanalyze was able just cleanup
pending list without adding to FSM.

Also fix double call of IndexFreeSpaceMapVacuum() during ginvacuumcleanup()

Report from Fujii Masao
Patch by me
Review by Jeff Janes

9 years agoTeach planstate_tree_walker about custom scans.
Robert Haas [Wed, 23 Sep 2015 01:42:00 +0000 (21:42 -0400)]
Teach planstate_tree_walker about custom scans.

This logic was missing from ExplainPreScanNode, from which I derived
planstate_tree_walker.  But it shouldn't be missing, especially not
from a generic walker function, so add it.

KaiGai Kohei

9 years agoDocs: fix typo in to_char() example.
Tom Lane [Tue, 22 Sep 2015 14:40:25 +0000 (10:40 -0400)]
Docs: fix typo in to_char() example.

Per bug #13631 from KOIZUMI Satoru.

9 years agotest_decoding: Protect against rare spurious test failures.
Andres Freund [Tue, 22 Sep 2015 13:33:30 +0000 (15:33 +0200)]
test_decoding: Protect against rare spurious test failures.

A bunch of tests missed specifying that empty transactions shouldn't be
displayed. That causes problems when e.g. autovacuum runs in an
unfortunate moment. The tests in question only run for a very short
time, making this quite unlikely.

Reported-By: Buildfarm member axolotl
Backpatch: 9.4, where logical decoding was introduced

9 years agoCorrect value of LW_SHARED_MASK.
Andres Freund [Tue, 22 Sep 2015 09:05:48 +0000 (11:05 +0200)]
Correct value of LW_SHARED_MASK.

The previous wrong value lead to wrong LOCK_DEBUG output, never showing
any shared lock holders.

Reported-By: Alexander Korotkov
Discussion: CAPpHfdsPmWqz9FB0AnxJrwp1=KLF0n=-iB+QvR0Q8GSmpFVdUQ@mail.gmail.com
Backpatch: 9.5, where the bug was introduced.

9 years agoAdd some notes about coding conventions do the docs.
Andres Freund [Fri, 11 Sep 2015 19:33:17 +0000 (21:33 +0200)]
Add some notes about coding conventions do the docs.

This deserves to be greatly expanded and improved, but it's a start.

Discussion: 20150827145219.GI2435@awork2.anarazel.de

9 years agodoc: Tweak synopsis indentation for consistency
Peter Eisentraut [Tue, 22 Sep 2015 03:31:43 +0000 (23:31 -0400)]
doc: Tweak synopsis indentation for consistency

9 years agoUse gender-neutral language in documentation
Peter Eisentraut [Tue, 22 Sep 2015 02:57:29 +0000 (22:57 -0400)]
Use gender-neutral language in documentation

Based on patch by Thomas Munro <thomas.munro@enterprisedb.com>, although
I rephrased most of the initial work.

9 years agoFix whitespace
Peter Eisentraut [Mon, 21 Sep 2015 17:39:34 +0000 (13:39 -0400)]
Fix whitespace

9 years agoFix possible internal overflow in numeric multiplication.
Tom Lane [Mon, 21 Sep 2015 16:11:32 +0000 (12:11 -0400)]
Fix possible internal overflow in numeric multiplication.

mul_var() postpones propagating carries until it risks overflow in its
internal digit array.  However, the logic failed to account for the
possibility of overflow in the carry propagation step, allowing wrong
results to be generated in corner cases.  We must slightly reduce the
when-to-propagate-carries threshold to avoid that.

Discovered and fixed by Dean Rasheed, with small adjustments by me.

This has been wrong since commit d72f6c75038d8d37e64a29a04b911f728044d83b,
so back-patch to all supported branches.

9 years agoRemove the SECURITY_ROW_LEVEL_DISABLED security context bit.
Noah Misch [Mon, 21 Sep 2015 00:47:17 +0000 (20:47 -0400)]
Remove the SECURITY_ROW_LEVEL_DISABLED security context bit.

This commit's parent made superfluous the bit's sole usage.  Referential
integrity checks have long run as the subject table's owner, and that
now implies RLS bypass.  Safe use of the bit was tricky, requiring
strict control over the SQL expressions evaluating therein.  Back-patch
to 9.5, where the bit was introduced.

Based on a patch by Stephen Frost.

9 years agoRemove the row_security=force GUC value.
Noah Misch [Mon, 21 Sep 2015 00:45:41 +0000 (20:45 -0400)]
Remove the row_security=force GUC value.

Every query of a single ENABLE ROW SECURITY table has two meanings, with
the row_security GUC selecting between them.  With row_security=force
available, every function author would have been advised to either set
the GUC locally or test both meanings.  Non-compliance would have
threatened reliability and, for SECURITY DEFINER functions, security.
Authors already face an obligation to account for search_path, and we
should not mimic that example.  With this change, only BYPASSRLS roles
need exercise the aforementioned care.  Back-patch to 9.5, where the
row_security GUC was introduced.

Since this narrows the domain of pg_db_role_setting.setconfig and
pg_proc.proconfig, one might bump catversion.  A row_security=force
setting in one of those columns will elicit a clear message, so don't.

9 years agoRestrict file mode creation mask during tmpfile().
Noah Misch [Mon, 21 Sep 2015 00:42:27 +0000 (20:42 -0400)]
Restrict file mode creation mask during tmpfile().

Per Coverity.  Back-patch to 9.0 (all supported versions).

Michael Paquier, reviewed (in earlier versions) by Heikki Linnakangas.

9 years agoBe more wary about partially-valid LOCALLOCK data in RemoveLocalLock().
Tom Lane [Sun, 20 Sep 2015 20:48:44 +0000 (16:48 -0400)]
Be more wary about partially-valid LOCALLOCK data in RemoveLocalLock().

RemoveLocalLock() must consider the possibility that LockAcquireExtended()
failed to palloc the initial space for a locallock's lockOwners array.
I had evidently meant to cope with this hazard when the code was originally
written (commit 1785acebf2ed14fd66955e2d9a55d77a025f418d), but missed that
the pfree needed to be protected with an if-test.  Just to make sure things
are left in a clean state, reset numLockOwners as well.

Per low-memory testing by Andreas Seltenreich.  Back-patch to all supported
branches.

9 years agoSimplify GETTEXT_FILES list
Peter Eisentraut [Sat, 19 Sep 2015 02:40:41 +0000 (22:40 -0400)]
Simplify GETTEXT_FILES list

9 years agoAdd missing serial comma
Peter Eisentraut [Sat, 19 Sep 2015 02:40:10 +0000 (22:40 -0400)]
Add missing serial comma

9 years agoRemove trailing slashes from directories in find command
Peter Eisentraut [Sat, 19 Sep 2015 02:03:42 +0000 (22:03 -0400)]
Remove trailing slashes from directories in find command

BSD find is not very smart and ends up writing double slashes into the
output in those cases.  Also, xgettext is not very smart and splits the
file names incorrectly in those cases, resulting in slightly incorrect
file names being written into the POT file.

9 years agoGlue layer to connect the executor to the shm_mq mechanism.
Robert Haas [Sat, 19 Sep 2015 01:10:08 +0000 (21:10 -0400)]
Glue layer to connect the executor to the shm_mq mechanism.

The shm_mq mechanism was built to send error (and notice) messages and
tuples between backends.  However, shm_mq itself only deals in raw
bytes.  Since commit 2bd9e412f92bc6a68f3e8bcb18e04955cc35001d, we have
had infrastructure for one message to redirect protocol messages to a
queue and for another backend to parse them and do useful things with
them.  This commit introduces a somewhat analogous facility for tuples
by adding a new type of DestReceiver, DestTupleQueue, which writes
each tuple generated by a query into a shm_mq, and a new
TupleQueueFunnel facility which reads raw tuples out of the queue and
reconstructs the HeapTuple format expected by the executor.

The TupleQueueFunnel abstraction supports reading from multiple tuple
streams at the same time, but only in round-robin fashion.  Someone
could imaginably want other policies, but this should be good enough
to meet our short-term needs related to parallel query, and we can
always extend it later.

This also makes one minor addition to the shm_mq API that didn'
seem worth breaking out as a separate patch.

Extracted from Amit Kapila's parallel sequential scan patch.  This
code was originally written by me, and then it was revised by Amit,
and then it was revised some more by me.

9 years agoCache argument type information in json(b) aggregate functions.
Andrew Dunstan [Fri, 18 Sep 2015 18:39:39 +0000 (14:39 -0400)]
Cache argument type information in json(b) aggregate functions.

These functions have been looking up type info for every row they
process. Instead of doing that we only look them up the first time
through and stash the information in the aggregate state object.

Affects json_agg, json_object_agg, jsonb_agg and jsonb_object_agg.

There is plenty more work to do in making these more efficient,
especially the jsonb functions, but this is a virtually cost free
improvement that can be done right away.

Backpatch to 9.5 where the jsonb variants were introduced.

9 years agoFix low-probability memory leak in regex execution.
Tom Lane [Fri, 18 Sep 2015 17:55:17 +0000 (13:55 -0400)]
Fix low-probability memory leak in regex execution.

After an internal failure in shortest() or longest() while pinning down the
exact location of a match, find() forgot to free the DFA structure before
returning.  This is pretty unlikely to occur, since we just successfully
ran the "search" variant of the DFA; but it could happen, and it would
result in a session-lifespan memory leak since this code uses malloc()
directly.  Problem seems to have been aboriginal in Spencer's library,
so back-patch all the way.

In passing, correct a thinko in a comment I added awhile back about the
meaning of the "ntree" field.

I happened across these issues while comparing our code to Tcl's version
of the library.

9 years agoAdd header forgotten in 213335c14529a8d5e2007ec0c256f4cf64d62d3b
Teodor Sigaev [Fri, 18 Sep 2015 11:32:09 +0000 (14:32 +0300)]
Add header forgotten in 213335c14529a8d5e2007ec0c256f4cf64d62d3b

Report from Peter Eisentraut

9 years agoOrder some new options on man pages more sensibly, minor improvements
Peter Eisentraut [Fri, 18 Sep 2015 00:56:58 +0000 (20:56 -0400)]
Order some new options on man pages more sensibly, minor improvements

9 years agoFix oversight in tsearch type check
Teodor Sigaev [Thu, 17 Sep 2015 16:50:51 +0000 (19:50 +0300)]
Fix oversight in tsearch type check

Use IsBinaryCoercible() method instead of custom
is_expected_type/is_text_type functions which was introduced when tsearch2
was moved into core.

Per report by David E. Wheeler
Analysis by Tom Lane
Patch by me

9 years agoHonour TEMP_CONFIG when testing pg_upgrade
Andrew Dunstan [Thu, 17 Sep 2015 15:57:00 +0000 (11:57 -0400)]
Honour TEMP_CONFIG when testing pg_upgrade

This setting contains extra configuration for the temp instance, as used
in pg_regress' --temp-config flag.

Backpatch to 9.2 where test.sh was introduced.

9 years agoAdd new function planstate_tree_walker.
Robert Haas [Thu, 17 Sep 2015 15:24:49 +0000 (11:24 -0400)]
Add new function planstate_tree_walker.

ExplainPreScanNode knows how to iterate over a generic tree of plan
states; factor that logic out into a separate walker function so that
other code, such as upcoming patches for parallel query, can also use
it.

Patch by me, reviewed by Tom Lane.

9 years agoLet compiler handle size calculation of bool types.
Michael Meskes [Thu, 17 Sep 2015 13:41:04 +0000 (15:41 +0200)]
Let compiler handle size calculation of bool types.

Back in the day this did not work, but modern compilers should handle it themselves.

9 years agoFix bug introduced by microvacuum for GiST
Teodor Sigaev [Thu, 17 Sep 2015 11:22:37 +0000 (14:22 +0300)]
Fix bug introduced by microvacuum for GiST

Commit 013ebc0a7b7ea9c1b1ab7a3d4dd75ea121ea8ba7 introduces microvacuum for
GiST, deletetion of tuple marked LP_DEAD uses IndexPageMultiDelete while
recovery code uses IndexPageTupleDelete in loop. This causes a difference
in offset numbers of tuples to delete. Patch introduces usage of
IndexPageMultiDelete in GiST except gistplacetopage() where only one tuple is
deleted at once. That also slightly improve performance, because
IndexPageMultiDelete is more effective.

Patch changes WAL format, so bump wal page magic.

Bug report from Jeff Janes
Diagnostic and patch by Anastasia Lubennikova and me

9 years agoDetermine whether it's safe to attempt a parallel plan for a query.
Robert Haas [Wed, 16 Sep 2015 19:38:47 +0000 (15:38 -0400)]
Determine whether it's safe to attempt a parallel plan for a query.

Commit 924bcf4f16d54c55310b28f77686608684734f42 introduced a framework
for parallel computation in PostgreSQL that makes most but not all
built-in functions safe to execute in parallel mode.  In order to have
parallel query, we'll need to be able to determine whether that query
contains functions (either built-in or user-defined) that cannot be
safely executed in parallel mode.  This requires those functions to be
labeled, so this patch introduces an infrastructure for that.  Some
functions currently labeled as safe may need to be revised depending on
how pending issues related to heavyweight locking under paralllelism
are resolved.

Parallel plans can't be used except for the case where the query will
run to completion.  If portal execution were suspended, the parallel
mode restrictions would need to remain in effect during that time, but
that might make other queries fail.  Therefore, this patch introduces
a framework that enables consideration of parallel plans only when it
is known that the plan will be run to completion.  This probably needs
some refinement; for example, at bind time, we do not know whether a
query run via the extended protocol will be execution to completion or
run with a limited fetch count.  Having the client indicate its
intentions at bind time would constitute a wire protocol break.  Some
contexts in which parallel mode would be safe are not adjusted by this
patch; the default is not to try parallel plans except from call sites
that have been updated to say that such plans are OK.

This commit doesn't introduce any parallel paths or plans; it just
provides a way to determine whether they could potentially be used.
I'm committing it on the theory that the remaining parallel sequential
scan patches will also get committed to this release, hopefully in the
not-too-distant future.

Robert Haas and Amit Kapila.  Reviewed (in earlier versions) by Noah
Misch.

9 years agoSync regex code with Tcl 8.6.4.
Tom Lane [Wed, 16 Sep 2015 19:25:25 +0000 (15:25 -0400)]
Sync regex code with Tcl 8.6.4.

Sync our regex code with upstream changes since last time we did this,
which was Tcl 8.5.11 (see commit 08fd6ff37f71485e2fc04bc6ce07d2a483c36702).

The only functional change here is to disbelieve that an octal escape is
three digits long if it would exceed \377.  That's a bug fix, but it's
a minor one and could change the interpretation of working regexes, so
don't back-patch.

In addition to that, s/INFINITY/DUPINF/ to eliminate the risk of collisions
with <math.h>'s macro, and s/LOCAL/NOPROP/ because that also seems like
an unnecessarily collision-prone macro name.

There were some other cosmetic changes in their copy that I did not adopt,
notably a rather half-hearted attempt at renaming some of the C functions
in a more verbose style.  (I'm not necessarily against the concept, but
renaming just a few functions in the package is not an improvement.)

9 years agoFix documentation of regular expression character-entry escapes.
Tom Lane [Wed, 16 Sep 2015 18:50:12 +0000 (14:50 -0400)]
Fix documentation of regular expression character-entry escapes.

The docs claimed that \uhhhh would be interpreted as a Unicode value
regardless of the database encoding, but it's never been implemented
that way: \uhhhh and \xhhhh actually mean exactly the same thing, namely
the character that pg_mb2wchar translates to 0xhhhh.  Moreover we were
falsely dismissive of the usefulness of Unicode code points above FFFF.
Fix that.

It's been like this for ages, so back-patch to all supported branches.

9 years agoDon't use "#" as an abbreviation for "number" in PL/Tcl error messages.
Tom Lane [Wed, 16 Sep 2015 16:08:57 +0000 (12:08 -0400)]
Don't use "#" as an abbreviation for "number" in PL/Tcl error messages.

Also, rewrite one error message to make it follow our message style
guidelines better.

Euler Taveira and Tom Lane

9 years agoRemove no-longer-used T_PrivGrantee node tag.
Tom Lane [Wed, 16 Sep 2015 14:48:11 +0000 (10:48 -0400)]
Remove no-longer-used T_PrivGrantee node tag.

Oversight in commit 31eae6028eca4365e7165f5f33fee1ed0486aee0, which
replaced PrivGrantee nodes with RoleSpec nodes.  Spotted by Yugo Nagata.

9 years agopgbench progress with timestamp
Teodor Sigaev [Wed, 16 Sep 2015 14:24:53 +0000 (17:24 +0300)]
pgbench progress with timestamp

This patch adds an option to replace the "time since pgbench run
started" with a Unix epoch timestamp in the progress report so that,
for instance, it is easier to compare timelines with pgsql log

Fabien COELHO <coelho@cri.ensmp.fr>

9 years agoReview program help output for wording and formatting
Peter Eisentraut [Wed, 16 Sep 2015 04:37:39 +0000 (00:37 -0400)]
Review program help output for wording and formatting

9 years agoEnforce ALL/SELECT policies in RETURNING for RLS
Stephen Frost [Tue, 15 Sep 2015 19:49:31 +0000 (15:49 -0400)]
Enforce ALL/SELECT policies in RETURNING for RLS

For the UPDATE/DELETE RETURNING case, filter the records which are not
visible to the user through ALL or SELECT policies from those considered
for the UPDATE or DELETE.  This is similar to how the GRANT system
works, which prevents RETURNING unless the caller has SELECT rights on
the relation.

Per discussion with Robert, Dean, Tom, and Kevin.

Back-patch to 9.5 where RLS was introduced.

9 years agoRLS refactoring
Stephen Frost [Tue, 15 Sep 2015 19:49:31 +0000 (15:49 -0400)]
RLS refactoring

This refactors rewrite/rowsecurity.c to simplify the handling of the
default deny case (reducing the number of places where we check for and
add the default deny policy from three to one) by splitting up the
retrival of the policies from the application of them.

This also allowed us to do away with the policy_id field.  A policy_name
field was added for WithCheckOption policies and is used in error
reporting, when available.

Patch by Dean Rasheed, with various mostly cosmetic changes by me.

Back-patch to 9.5 where RLS was introduced to avoid unnecessary
differences, since we're still in alpha, per discussion with Robert.

9 years agoFix whitespace
Peter Eisentraut [Tue, 15 Sep 2015 19:20:13 +0000 (15:20 -0400)]
Fix whitespace

9 years agoRevert "Fix an O(N^2) problem in foreign key references".
Tom Lane [Tue, 15 Sep 2015 15:08:56 +0000 (11:08 -0400)]
Revert "Fix an O(N^2) problem in foreign key references".

Commit 5ddc72887a012f6a8b85707ef27d85c274faf53d does not actually work
because it will happily blow away ri_constraint_cache entries that are
in active use in outer call levels.  In any case, it's a very ugly,
brute-force solution to the problem of limiting the cache size.
Revert until it can be redesigned.

9 years agoAdd POLICY to COMMENT documentation
Stephen Frost [Tue, 15 Sep 2015 14:56:29 +0000 (10:56 -0400)]
Add POLICY to COMMENT documentation

COMMENT supports POLICY but the documentation hadn't caught up with
that fact.

Patch by Charles Clavadetscher

Back-patch to 9.5 where POLICY was added.

9 years agoFix comment regarding the meaning of infinity for timeline history entry
Fujii Masao [Tue, 15 Sep 2015 14:38:01 +0000 (23:38 +0900)]
Fix comment regarding the meaning of infinity for timeline history entry

Michael Paquier

9 years agoImprove log messages related to tablespace_map file
Fujii Masao [Tue, 15 Sep 2015 14:21:51 +0000 (23:21 +0900)]
Improve log messages related to tablespace_map file

This patch changes the log message which is logged when the server
successfully renames backup_label file to *.old but fails to rename
tablespace_map file during the shutdown. Previously the WARNING
message "online backup mode was not canceled" was logged in that case.
However this message is confusing because the backup mode is treated
as canceled whenever backup_label is successfully renamed. So this
commit makes the server log the message "online backup mode canceled"
in that case.

Also this commit changes errdetail messages so that they follow the
error message style guide.

Back-patch to 9.5 where tablespace_map file is introduced.

Original patch by Amit Kapila, heavily modified by me.

9 years agoFix wrong comment in commit d02426029b133ee2bbe492a038642359bce3c527
Teodor Sigaev [Tue, 15 Sep 2015 06:33:22 +0000 (09:33 +0300)]
Fix wrong comment in commit d02426029b133ee2bbe492a038642359bce3c527

Per gripe from Robert Haas

9 years agoCheck existency of table/schema for -t/-n option (pg_dump/pg_restore)
Teodor Sigaev [Mon, 14 Sep 2015 13:19:49 +0000 (16:19 +0300)]
Check existency of table/schema for -t/-n option (pg_dump/pg_restore)

Patch provides command line option --strict-names which requires that at
least one table/schema should present for each -t/-n option.

Pavel Stehule <pavel.stehule@gmail.com>

9 years agoAdd noreturn attribute
Peter Eisentraut [Sun, 13 Sep 2015 22:47:56 +0000 (18:47 -0400)]
Add noreturn attribute

per gcc -Wsuggest-attribute=noreturn

9 years agoFix the fastpath rule for jsonb_concat with an empty operand.
Andrew Dunstan [Sun, 13 Sep 2015 21:06:45 +0000 (17:06 -0400)]
Fix the fastpath rule for jsonb_concat with an empty operand.

To prevent perverse results, we now only return the other operand if
it's not scalar, and if both operands are of the same kind (array or
object).

Original bug complaint and patch from Oskari Saarenmaa, extended by me
to cover the cases of different kinds of jsonb.

Backpatch to 9.5 where jsonb_concat was introduced.

9 years agodoc: Remove dead links
Peter Eisentraut [Sun, 13 Sep 2015 03:49:11 +0000 (23:49 -0400)]
doc: Remove dead links

The web pages of Andy Dong at Berkeley don't exist anymore, and he is no
longer there.

9 years agoFix typo in create_policy.sgml
Stephen Frost [Sat, 12 Sep 2015 21:17:00 +0000 (17:17 -0400)]
Fix typo in create_policy.sgml

WTIH -> WITH

Pointed out by Dmitriy Olshevskiy

Backpatch to 9.5 where create_policy.sgml was added.

9 years agoUpdate SQL features list
Peter Eisentraut [Sat, 12 Sep 2015 04:07:56 +0000 (00:07 -0400)]
Update SQL features list

9 years agoInstall lwlocknames.h even in vpath builds.
Robert Haas [Fri, 11 Sep 2015 20:45:41 +0000 (16:45 -0400)]
Install lwlocknames.h even in vpath builds.

Per buildfarm member crake.

9 years agopg_dump, pg_upgrade: allow postgres/template1 tablespace moves
Bruce Momjian [Fri, 11 Sep 2015 19:51:11 +0000 (15:51 -0400)]
pg_dump, pg_upgrade:  allow postgres/template1 tablespace moves

Modify pg_dump to restore postgres/template1 databases to non-default
tablespaces by switching out of the database to be moved, then switching
back.

Also, to fix potentially cases where the old/new tablespaces might not
match, fix pg_upgrade to process new/old tablespaces separately in all
cases.

Report by Marti Raudsepp

Patch by Marti Raudsepp, me

Backpatch through 9.0

9 years agoFix build problems in commit aa65de042f5828968f2f6cd65f45c543a40cc3e6.
Robert Haas [Fri, 11 Sep 2015 18:53:41 +0000 (14:53 -0400)]
Fix build problems in commit aa65de042f5828968f2f6cd65f45c543a40cc3e6.

The previous way didn't work for vpath builds, and make distprep was
busted too.

Reported off-list by Andres Freund.

9 years agoAdd missing ReleaseBuffer call in BRIN revmap code
Alvaro Herrera [Fri, 11 Sep 2015 18:29:46 +0000 (15:29 -0300)]
Add missing ReleaseBuffer call in BRIN revmap code

I think this particular branch is actually dead, but the analysis to
prove that is not trivial, so instead take the weasel way.

Reported by Jinyu Zhang
Backpatch to 9.5, where BRIN was introduced.

9 years agoFix an O(N^2) problem in foreign key references.
Kevin Grittner [Fri, 11 Sep 2015 18:06:51 +0000 (13:06 -0500)]
Fix an O(N^2) problem in foreign key references.

Commit 45ba424f improved foreign key lookups during bulk updates
when the FK value does not change.  When restoring a schema dump
from a database with many (say 100,000) foreign keys, this cache
would grow very big and every ALTER TABLE command was causing an
InvalidateConstraintCacheCallBack(), which uses a sequential hash
table scan.  This could cause a severe performance regression in
restoring a schema dump (including during pg_upgrade).

The patch uses a heuristic method of detecting when the hash table
should be destroyed and recreated.
InvalidateConstraintCacheCallBack() adds the current size of the
hash table to a counter.  When that sum reaches 1,000,000, the hash
table is flushed.  This fixes the regression without noticeable
harm to the bulk update use case.

Jan Wieck
Backpatch to 9.3 where the performance regression was introduced.

9 years agoWhen trace_lwlocks is used, identify individual lwlocks by name.
Robert Haas [Fri, 11 Sep 2015 17:58:28 +0000 (13:58 -0400)]
When trace_lwlocks is used, identify individual lwlocks by name.

Naming the individual lwlocks seems like something that may be useful
for other types of debugging, monitoring, or instrumentation output,
but this commit just implements it for the specific case of
trace_lwlocks.

Patch by me, reviewed by Amit Kapila and Kyotaro Horiguchi

9 years agoCorrect description of PageHeaderData layout in documentation
Fujii Masao [Fri, 11 Sep 2015 04:02:15 +0000 (13:02 +0900)]
Correct description of PageHeaderData layout in documentation

Back-patch to 9.3 where PageHeaderData layout was changed.

Michael Paquier

9 years agodoc: Spell checking
Peter Eisentraut [Fri, 11 Sep 2015 01:22:21 +0000 (21:22 -0400)]
doc: Spell checking

9 years agoFix setrefs.c comment properly.
Tom Lane [Thu, 10 Sep 2015 14:23:56 +0000 (10:23 -0400)]
Fix setrefs.c comment properly.

The "typo" alleged in commit 1e460d4bd was actually a comment that was
correct when written, but I missed updating it in commit b5282aa89.
Use a slightly less specific (and hopefully more future-proof) description
of what is collected.  Back-patch to 9.2 where that commit appeared, and
revert the comment to its then-entirely-correct state before that.

9 years agoFix typo in setrefs.c
Stephen Frost [Thu, 10 Sep 2015 13:22:03 +0000 (09:22 -0400)]
Fix typo in setrefs.c

We're adding OIDs, not TIDs, to invalItems.

Pointed out by Etsuro Fujita.

Back-patch to all supported branches.

9 years agoFix minor bug in regexp makesearch() function.
Tom Lane [Thu, 10 Sep 2015 00:14:58 +0000 (20:14 -0400)]
Fix minor bug in regexp makesearch() function.

The list-wrangling here was done wrong, allowing the same state to get
put into the list twice.  The following loop then would clone it twice.
The second clone would wind up with no inarcs, so that there was no
observable misbehavior AFAICT, but a useless state in the finished NFA
isn't an especially good thing.

9 years agoFix oversight in 013ebc0a7b7ea9c1b1ab7a3d4dd75ea121ea8ba7 commit
Teodor Sigaev [Wed, 9 Sep 2015 16:21:16 +0000 (19:21 +0300)]
Fix oversight in 013ebc0a7b7ea9c1b1ab7a3d4dd75ea121ea8ba7 commit

Declaration of varibale inside ÓÝ×Õ

9 years agoMicrovacuum for GIST
Teodor Sigaev [Wed, 9 Sep 2015 15:43:37 +0000 (18:43 +0300)]
Microvacuum for GIST

Mark index tuple as dead if it's pointed by kill_prior_tuple during
ordinary (search) scan and remove it during insert process if there is no
enough space for new tuple to insert. This improves select performance
because index will not return tuple marked as dead and improves insert
performance because it reduces number of page split.

Anastasia Lubennikova <a.lubennikova@postgrespro.ru> with
 minor editorialization by me

9 years agoRemove files signaling a standby promotion request at postmaster startup
Fujii Masao [Wed, 9 Sep 2015 13:51:44 +0000 (22:51 +0900)]
Remove files signaling a standby promotion request at postmaster startup

This commit makes postmaster forcibly remove the files signaling
a standby promotion request. Otherwise, the existence of those files
can trigger a promotion too early, whether a user wants that or not.

This removal of files is usually unnecessary because they can exist
only during a few moments during a standby promotion. However
there is a race condition: if pg_ctl promote is executed and creates
the files during a promotion, the files can stay around even after
the server is brought up to new master. Then, if new standby starts
by using the backup taken from that master, the files can exist
at the server startup and should be removed in order to avoid
an unexpected promotion.

Back-patch to 9.1 where promote signal file was introduced.

Problem reported by Feike Steenbergen.
Original patch by Michael Paquier, modified by me.

Discussion: 20150528100705.4686.91426@wrigleys.postgresql.org

9 years agoLock all relations referred to in updatable views
Stephen Frost [Tue, 8 Sep 2015 21:02:49 +0000 (17:02 -0400)]
Lock all relations referred to in updatable views

Even views considered "simple" enough to be automatically updatable may
have mulitple relations involved (eg: in a where clause).  We need to
make sure and lock those relations when rewriting the query.

Back-patch to 9.3 where updatable views were added.

Pointed out by Andres, patch thanks to Dean Rasheed.

9 years agopsql: Generic tab completion support for enum and bool GUCs.
Andres Freund [Tue, 8 Sep 2015 18:57:35 +0000 (20:57 +0200)]
psql: Generic tab completion support for enum and bool GUCs.

Author: Pavel Stehule
Reviewed-By: Andres Freund
Discussion: 5594FE7A.5050205@iki.fi

9 years agoAdd gin_fuzzy_search_limit to postgresql.conf.sample.
Fujii Masao [Tue, 8 Sep 2015 17:25:50 +0000 (02:25 +0900)]
Add gin_fuzzy_search_limit to postgresql.conf.sample.

This was forgotten in 8a3631f (commit that originally added the parameter)
and 0ca9907 (commit that added the documentation later that year).

Back-patch to all supported versions.

9 years agoImprove tab-completion for GRANT and REVOKE.
Fujii Masao [Tue, 8 Sep 2015 16:58:29 +0000 (01:58 +0900)]
Improve tab-completion for GRANT and REVOKE.

Thomas Munro, reviewed by Michael Paquier, modified by me.

9 years agoAllow per-tablespace effective_io_concurrency
Alvaro Herrera [Tue, 8 Sep 2015 15:51:42 +0000 (12:51 -0300)]
Allow per-tablespace effective_io_concurrency

Per discussion, nowadays it is possible to have tablespaces that have
wildly different I/O characteristics from others.  Setting different
effective_io_concurrency parameters for those has been measured to
improve performance.

Author: Julien Rouhaud
Reviewed by: Andres Freund

9 years agoFix error message wording in previous sslinfo commit
Alvaro Herrera [Tue, 8 Sep 2015 14:10:20 +0000 (11:10 -0300)]
Fix error message wording in previous sslinfo commit

9 years agocontrib/sslinfo: add ssl_extension_info SRF
Alvaro Herrera [Tue, 8 Sep 2015 00:24:17 +0000 (21:24 -0300)]
contrib/sslinfo: add ssl_extension_info SRF

This new function provides information about SSL extensions present in
the X509 certificate used for the current connection.

Extension version updated to version 1.1.

Author: Дмитрий Воронин (Dmitry Voronin)
Reviewed by: Michael Paquier, Heikki Linnakangas, Álvaro Herrera

9 years agoIn the pg_rewind test suite, receive WAL fully before promoting.
Noah Misch [Mon, 7 Sep 2015 23:01:00 +0000 (19:01 -0400)]
In the pg_rewind test suite, receive WAL fully before promoting.

If a transaction never reaches the standby, later tests find unexpected
cluster state.  A "tail-copy: query result matches" test failure has
been the usual symptom.  Among the buildfarm members having run this
test suite, most have exhibited that symptom at least once.  Back-patch
to 9.5, where pg_rewind was introduced.

Michael Paquier, reported by Christoph Berg.

9 years agoCoordinate log_line_prefix options 'm' and 'n' to share a timeval.
Jeff Davis [Mon, 7 Sep 2015 22:40:49 +0000 (15:40 -0700)]
Coordinate log_line_prefix options 'm' and 'n' to share a timeval.

Commit f828654e introduced the 'n' option, but it invoked
gettimeofday() independently of the 'm' option. If both options were
in use (or multiple 'n' options), or if 'n' was in use along with
csvlog, then the reported times could be different for the same log
message.

To fix, initialize a global variable with gettimeofday() once per log
message, and use that for both formats.

Don't bother coordinating the time for the 't' option, which has much
lower resolution.

Per complaint by Alvaro Herrera.

9 years agoAdd more sanity checks in contrib/sslinfo
Alvaro Herrera [Mon, 7 Sep 2015 22:18:29 +0000 (19:18 -0300)]
Add more sanity checks in contrib/sslinfo

We were missing a few return checks on OpenSSL calls.  Should be pretty
harmless, since we haven't seen any user reports about problems, and
this is not a high-traffic module anyway; still, a bug is a bug, so
backpatch this all the way back to 9.0.

Author: Michael Paquier, while reviewing another sslinfo patch

9 years agoAdd log_line_prefix option 'n' for Unix epoch.
Jeff Davis [Mon, 7 Sep 2015 20:46:31 +0000 (13:46 -0700)]
Add log_line_prefix option 'n' for Unix epoch.

Prints time as Unix epoch with milliseconds.

Tomas Vondra, reviewed by Fabien Coelho.

9 years agoChange type of DOW/DOY to UNITS
Greg Stark [Mon, 7 Sep 2015 12:35:09 +0000 (13:35 +0100)]
Change type of DOW/DOY to UNITS

9 years agoMake GIN's cleanup pending list process interruptable
Teodor Sigaev [Mon, 7 Sep 2015 14:16:29 +0000 (17:16 +0300)]
Make GIN's cleanup pending list process interruptable

Cleanup process could be called by ordinary insert/update and could take a lot
of time. Add vacuum_delay_point() to make this process interruptable. Under
vacuum this call will also throttle a vacuum process to decrease system load,
called from insert/update it will not throttle, and that reduces a latency.

Backpatch for all supported branches.

Jeff Janes <jeff.janes@gmail.com>

9 years agoAdd pages deleted from pending list to FSM
Teodor Sigaev [Mon, 7 Sep 2015 13:24:01 +0000 (16:24 +0300)]
Add pages deleted from pending list to FSM

Add pages deleted from GIN's pending list during cleanup to free space map
immediately. Clean up process could be initiated by ordinary insert but adding
page to FSM might occur only at vacuum. On some workload like never-vacuumed
insert-only tables it could cause a huge bloat.

Jeff Janes <jeff.janes@gmail.com>

9 years agoUpdate site address of Snowball project
Teodor Sigaev [Mon, 7 Sep 2015 12:20:45 +0000 (15:20 +0300)]
Update site address of Snowball project

9 years agoAdjust sepgsql regression output for recent error context change
Joe Conway [Sun, 6 Sep 2015 18:25:36 +0000 (11:25 -0700)]
Adjust sepgsql regression output for recent error context change

Recent commit 0426f349e changed handling of error context reports
in such a way to have a minor effect on the sepgsql regression
output. Adapt the expected output file to suit. Since that commit
was HEAD only, so is this one.

9 years agoSupport RADIUS passwords up to 128 characters
Magnus Hagander [Sun, 6 Sep 2015 12:26:33 +0000 (14:26 +0200)]
Support RADIUS passwords up to 128 characters

Previous limit was 16 characters, due to lack of support for multiple passes
of encryption.

Marko Tiikkaja

9 years agoAdd ability to reserve WAL upon slot creation via replication protocol.
Andres Freund [Sun, 6 Sep 2015 11:17:23 +0000 (13:17 +0200)]
Add ability to reserve WAL upon slot creation via replication protocol.

Since 6fcd885 it is possible to immediately reserve WAL when creating a
slot via pg_create_physical_replication_slot(). Extend the replication
protocol to allow that as well.

Although, in contrast to the SQL interface, it is possible to update the
reserved location via the replication interface, it is still useful
being able to reserve upon creation there. Otherwise the logic in
ReplicationSlotReserveWal() has to be repeated in slot employing
clients.

Author: Michael Paquier
Discussion: CAB7nPqT0Wc1W5mdYGeJ_wbutbwNN+3qgrFR64avXaQCiJMGaYA@mail.gmail.com

9 years agoMove DTK_ISODOW DTK_DOW and DTK_DOY to be type UNITS rather than
Greg Stark [Sun, 6 Sep 2015 01:04:37 +0000 (02:04 +0100)]
Move DTK_ISODOW DTK_DOW and DTK_DOY to be type UNITS rather than
RESERV. RESERV is meant for tokens like "now" and having them in that
category throws errors like these when used as an input date:

stark=# SELECT 'doy'::timestamptz;
ERROR:  unexpected dtype 33 while parsing timestamptz "doy"
LINE 1: SELECT 'doy'::timestamptz;
               ^
stark=# SELECT 'dow'::timestamptz;
ERROR:  unexpected dtype 32 while parsing timestamptz "dow"
LINE 1: SELECT 'dow'::timestamptz;
               ^

Found by LLVM's Libfuzzer

9 years agoFix CreateTableSpace() so it will compile without HAVE_SYMLINK.
Tom Lane [Sat, 5 Sep 2015 20:15:38 +0000 (16:15 -0400)]
Fix CreateTableSpace() so it will compile without HAVE_SYMLINK.

This has been broken since 9.3 (commit 82b1b213cad3a69c to be exact),
which suggests that nobody is any longer using a Windows build system that
doesn't provide a symlink emulation.  Still, it's wrong on its own terms,
so repair.

YUriy Zhuravlev

9 years agoRearrange the handling of error context reports.
Tom Lane [Sat, 5 Sep 2015 15:58:20 +0000 (11:58 -0400)]
Rearrange the handling of error context reports.

Remove the code in plpgsql that suppressed the innermost line of CONTEXT
for messages emitted by RAISE commands.  That was never more than a quick
backwards-compatibility hack, and it's pretty silly in cases where the
RAISE is nested in several levels of function.  What's more, it violated
our design theory that verbosity of error reports should be controlled
on the client side not the server side.

To alleviate the resulting noise increase, introduce a feature in libpq
and psql whereby the CONTEXT field of messages can be suppressed, either
always or only for non-error messages.  Printing CONTEXT for errors only
is now their default behavior.

The actual code changes here are pretty small, but the effects on the
regression test outputs are widespread.  I had to edit some of the
alternative expected outputs by hand; hopefully the buildfarm will soon
find anything I fat-fingered.

In passing, fix up (again) the output line counts in psql's various
help displays.  Add some commentary about how to verify them.

Pavel Stehule, reviewed by Petr Jelínek, Jeevan Chalke, and others

9 years agoFix misc typos.
Heikki Linnakangas [Sat, 5 Sep 2015 08:35:49 +0000 (11:35 +0300)]
Fix misc typos.

Oskari Saarenmaa. Backpatch to stable branches where applicable.

9 years agoFix brin index summarizing while vacuuming.
Tatsuo Ishii [Sat, 5 Sep 2015 00:19:25 +0000 (09:19 +0900)]
Fix brin index summarizing while vacuuming.

If the number of heap blocks is not multiples of pages per range, the
summarizing produces wrong summary information for the last brin index
tuple while vacuuming.

Problem reported by Tatsuo Ishii and fixed by Amit Langote.

Discussion at "[HACKERS] BRIN INDEX value (message id :20150903.174935.1946402199422994347.t-ishii@sraoss.co.jp)
Backpatched to 9.5 in which brin index was added.

9 years agoFix subtransaction cleanup after an outer-subtransaction portal fails.
Tom Lane [Fri, 4 Sep 2015 17:36:49 +0000 (13:36 -0400)]
Fix subtransaction cleanup after an outer-subtransaction portal fails.

Formerly, we treated only portals created in the current subtransaction as
having failed during subtransaction abort.  However, if the error occurred
while running a portal created in an outer subtransaction (ie, a cursor
declared before the last savepoint), that has to be considered broken too.

To allow reliable detection of which ones those are, add a bookkeeping
field to struct Portal that tracks the innermost subtransaction in which
each portal has actually been executed.  (Without this, we'd end up
failing portals containing functions that had called the subtransaction,
thereby breaking plpgsql exception blocks completely.)

In addition, when we fail an outer-subtransaction Portal, transfer its
resources into the subtransaction's resource owner, so that they're
released early in cleanup of the subxact.  This fixes a problem reported by
Jim Nasby in which a function executed in an outer-subtransaction cursor
could cause an Assert failure or crash by referencing a relation created
within the inner subtransaction.

The proximate cause of the Assert failure is that AtEOSubXact_RelationCache
assumed it could blow away a relcache entry without first checking that the
entry had zero refcount.  That was a bad idea on its own terms, so add such
a check there, and to the similar coding in AtEOXact_RelationCache.  This
provides an independent safety measure in case there are still ways to
provoke the situation despite the Portal-level changes.

This has been broken since subtransactions were invented, so back-patch
to all supported branches.

Tom Lane and Michael Paquier

9 years agoMake unaccent handle all diacritics known to Unicode, and expand ligatures correctly
Teodor Sigaev [Fri, 4 Sep 2015 09:51:53 +0000 (12:51 +0300)]
Make unaccent handle all diacritics known to Unicode, and expand ligatures correctly

Add Python script for buiding unaccent.rules from Unicode data. Don't
backpatch because unaccent changes may require tsvector/index
rebuild.

Thomas Munro <thomas.munro@enterprisedb.com>

9 years agoAssorted code review for recent ProcArrayLock patch.
Robert Haas [Thu, 3 Sep 2015 17:10:53 +0000 (13:10 -0400)]
Assorted code review for recent ProcArrayLock patch.

Post-commit review by Andres Freund discovered a couple of concurrency
bugs in the original patch: specifically, if the leader cleared a
follower's XID before it reached PGSemaphoreLock, the semaphore would be
left in the wrong state; and if another process did PGSemaphoreUnlock
for some unrelated reason, we might resume execution before the fact
that our XID was cleared was globally visible.

Also, improve the wording of some comments, rename nextClearXidElem
to firstClearXidElem in PROC_HDR for clarity, and drop some volatile
qualifiers that aren't necessary.

Amit Kapila, reviewed and slightly revised by me.

9 years agoDocument that max_worker_processes must be high enough in standby.
Fujii Masao [Thu, 3 Sep 2015 13:30:16 +0000 (22:30 +0900)]
Document that max_worker_processes must be high enough in standby.

The setting values of some parameters including max_worker_processes
must be equal to or higher than the values on the master. However,
previously max_worker_processes was not listed as such parameter
in the document. So this commit adds it to that list.

Back-patch to 9.4 where max_worker_processes was added.

9 years agoDisable fsync throughout TAP test suites.
Noah Misch [Thu, 3 Sep 2015 04:29:11 +0000 (00:29 -0400)]
Disable fsync throughout TAP test suites.

Most suites already did so via start_test_server(), but the pg_rewind,
pg_ctl and pg_controldata suites ran a postmaster or initdb with fsync
enabled.  This halves the pg_rewind suite's runtime on buildfarm member
tern.  It makes tern and that machine's other buildfarm members less
vulnerable to noise failures from postmaster startup overrunning the 60s
pg_ctl timeout.  Back-patch to 9.5, where pg_rewind was introduced.

9 years agoUpdate the SSL test suite for recent changes to TAP testing framework.
Robert Haas [Wed, 2 Sep 2015 20:21:38 +0000 (16:21 -0400)]
Update the SSL test suite for recent changes to TAP testing framework.

listen_addresses needs to be handled differently now, and so does
logging.

Michael Paquier

9 years agoAllow usage of huge maintenance_work_mem for GIN build.
Teodor Sigaev [Wed, 2 Sep 2015 17:08:58 +0000 (20:08 +0300)]
Allow usage of huge maintenance_work_mem for GIN build.

Currently, in-memory posting list during GIN build process is limited 1GB
because of using repalloc. The patch replaces call of repalloc to repalloc_huge.
It increases limit of posting list from 180 millions
(1GB / sizeof(ItemPointerData)) to 4 billions limited by maxcount/count fields
in GinEntryAccumulator and subsequent calls. Check added.

Also, fix accounting of allocatedMemory during build to prevent integer
overflow with maintenance_work_mem > 4GB.

Robert Abraham <robert.abraham86@googlemail.com> with additions by me

9 years agoDocument that PL/Python now returns floats using repr() not str().
Tom Lane [Tue, 1 Sep 2015 23:25:58 +0000 (19:25 -0400)]
Document that PL/Python now returns floats using repr() not str().

Commit 1ce7a57ca neglected to update the user-facing documentation,
which described the old behavior precisely.

9 years agoFlush to show results of TestLib.pm (TAP) test as we go.
Kevin Grittner [Tue, 1 Sep 2015 21:12:22 +0000 (16:12 -0500)]
Flush to show results of TestLib.pm (TAP) test as we go.

It appears that some attempt was made to do this using autocommit,
but it wasn't effective (at least on Ubuntu 14.04).

9 years agopg_upgrade docs: clarify rsync and move verification step
Bruce Momjian [Tue, 1 Sep 2015 20:42:43 +0000 (16:42 -0400)]
pg_upgrade docs:  clarify rsync and move verification step

These are adjustments based on someone using the new standby upgrade
steps.

Report by Andy Colson

Backpatch through 9.5

9 years agoAllow notifications to bgworkers without database connections.
Robert Haas [Tue, 1 Sep 2015 19:30:19 +0000 (15:30 -0400)]
Allow notifications to bgworkers without database connections.

Previously, if one background worker registered another background
worker and set bgw_notify_pid while for the second background worker,
it would not receive notifications from the postmaster unless, at the
time the "parent" was registered, BGWORKER_BACKEND_DATABASE_CONNECTION
was set.

To fix, instead instead of including only those background workers that
requested database connections in the postmater's BackendList, include
them all.  There doesn't seem to be any reason not do this, and indeed
it removes a significant amount of duplicated code.  The other option
is to make PostmasterMarkPIDForWorkerNotify look at BackgroundWorkerList
in addition to BackendList, but that adds more code duplication instead
of getting rid of it.

Patch by me.  Review and testing by Ashutosh Bapat.

9 years agoUse <substeps> in pg_upgrade's procedure
Alvaro Herrera [Tue, 1 Sep 2015 17:58:28 +0000 (14:58 -0300)]
Use <substeps> in pg_upgrade's procedure

For clarity, so that the substeps are not numbered identically to the
outer procedure's steps.

Per report from Andy Colson in
http://www.postgresql.org/message-id/55D789B5.7040308@squeakycode.net

9 years agoClean up icc + ia64 situation.
Tom Lane [Mon, 31 Aug 2015 22:10:04 +0000 (18:10 -0400)]
Clean up icc + ia64 situation.

Some googling turned up multiple sources saying that older versions of icc
do not accept gcc-compatible asm blocks on IA64, though asm does work on
x86[_64].  This is apparently fixed as of icc version 12.0 or so, but that
doesn't help us much; if we have to carry the extra implementation anyway,
we may as well just use it for icc rather than add a compiler version test.

Hence, revert commit 2c713d6ea29c91cd2cbd92fa801a61e55ea2a3c4 (though I
separated the icc code from the gcc code completely, producing what seems
cleaner code).  Document the state of affairs more explicitly, both in
s_lock.h and postgres.c, and make some cosmetic adjustments around the
IA64 code in s_lock.h.