]> granicus.if.org Git - postgresql/log
postgresql
10 years agoSilence compiler warnings about possibly unset variables.
Andrew Dunstan [Wed, 29 Jan 2014 23:54:14 +0000 (18:54 -0500)]
Silence compiler warnings about possibly unset variables.

They are in fact set in every case where they are needed, but the
compiler doesn't know that.

Per gripe from Tom Lane.

10 years agoForgot to bump catalog version for json_array_elements_text.
Andrew Dunstan [Wed, 29 Jan 2014 21:38:31 +0000 (16:38 -0500)]
Forgot to bump catalog version for json_array_elements_text.

10 years agoInclude planning time in EXPLAIN ANALYZE output.
Robert Haas [Wed, 29 Jan 2014 21:04:19 +0000 (16:04 -0500)]
Include planning time in EXPLAIN ANALYZE output.

This doesn't work for prepared queries, but it's not too easy to get
the information in that case and there's some debate as to exactly
what the right thing to measure is, so just do this for now.

Andreas Karlsson, with slight doc changes by me.

10 years agoAdd json_array_elements_text function.
Andrew Dunstan [Wed, 29 Jan 2014 20:39:01 +0000 (15:39 -0500)]
Add json_array_elements_text function.

This was a notable omission from the json functions added in 9.3 and
there have been numerous complaints about its absence.

Laurence Rowe.

10 years agoFix thinko in huge_tlb_pages patch.
Heikki Linnakangas [Wed, 29 Jan 2014 19:33:56 +0000 (21:33 +0200)]
Fix thinko in huge_tlb_pages patch.

We calculated the rounded-up size for the allocation, but then failed to
use the rounded-up value in the mmap() call. Oops.

Also, initialize allocsize, to silence warnings seen with some compilers,
as pointed out by Jeff Janes.

10 years agoFurther optimize GIN multi-key searches.
Heikki Linnakangas [Wed, 29 Jan 2014 19:22:08 +0000 (21:22 +0200)]
Further optimize GIN multi-key searches.

When skipping over some items in a posting tree, re-find the new location
by descending the tree from root, rather than walking the right links.
This can save a lot of I/O.

Heavily modified from Alexander Korotkov's fast scan patch.

10 years agoFix pointer processing in new entab.c function
Bruce Momjian [Wed, 29 Jan 2014 18:31:11 +0000 (13:31 -0500)]
Fix pointer processing in new entab.c function

10 years agoAdd C functions to centralize entab processing
Bruce Momjian [Wed, 29 Jan 2014 17:48:07 +0000 (12:48 -0500)]
Add C functions to centralize entab processing

10 years agoAdd more C comments to entab.c.
Bruce Momjian [Wed, 29 Jan 2014 17:22:12 +0000 (12:22 -0500)]
Add more C comments to entab.c.

10 years agoFurther optimize multi-key GIN searches.
Heikki Linnakangas [Wed, 29 Jan 2014 16:23:17 +0000 (18:23 +0200)]
Further optimize multi-key GIN searches.

If we're skipping past a certain TID, avoid decoding posting list segments
that only contain smaller TIDs.

Extracted from Alexander Korotkov's fast scan patch, heavily modified.

10 years agoAllow skipping some items in a multi-key GIN search.
Heikki Linnakangas [Wed, 29 Jan 2014 15:53:39 +0000 (17:53 +0200)]
Allow skipping some items in a multi-key GIN search.

In a multi-key search, ie. something like "col @> 'foo' AND col @> 'bar'",
as soon as we find the next item that matches the first criteria, we don't
need to check the second criteria for TIDs smaller the first match. That
saves a lot of effort, especially if one of the terms is rare, while the
second occurs very frequently.

Based on ideas from Alexander Korotkov's fast scan patch.

10 years agoRemedy two small omissions in the new json functions docs.
Andrew Dunstan [Wed, 29 Jan 2014 14:51:02 +0000 (09:51 -0500)]
Remedy two small omissions in the new json functions docs.

10 years agoFix docs build.
Heikki Linnakangas [Wed, 29 Jan 2014 14:16:19 +0000 (16:16 +0200)]
Fix docs build.

Broken by the huge_tlb_pages patch.

Vik Fearing.

10 years agoAllow using huge TLB pages on Linux (MAP_HUGETLB)
Heikki Linnakangas [Wed, 29 Jan 2014 11:44:45 +0000 (13:44 +0200)]
Allow using huge TLB pages on Linux (MAP_HUGETLB)

This patch adds an option, huge_tlb_pages, which allows requesting the
shared memory segment to be allocated using huge pages, by using the
MAP_HUGETLB flag in mmap(). This can improve performance.

The default is 'try', which means that we will attempt using huge pages,
and fall back to non-huge pages if it doesn't work. Currently, only Linux
has MAP_HUGETLB. On other platforms, the default 'try' behaves the same as
'off'.

In the passing, don't try to round the mmap() size to a multiple of
pagesize. mmap() doesn't require that, and there's no particular reason for
PostgreSQL to do that either. When using MAP_HUGETLB, however, round the
request size up to nearest 2MB boundary. This is to work around a bug in
some Linux kernel versions, but also to avoid wasting memory, because the
kernel will round the size up anyway.

Many people were involved in writing this patch, including Christian Kruse,
Richard Poole, Abhijit Menon-Sen, reviewed by Peter Geoghegan, Andres Freund
and me.

10 years agoFix compiler warning in EXEC_BACKEND builds.
Robert Haas [Wed, 29 Jan 2014 04:35:50 +0000 (23:35 -0500)]
Fix compiler warning in EXEC_BACKEND builds.

Per a report by Rajeev Rastogi.

10 years agoMinor docs fixes for new json functions.
Andrew Dunstan [Tue, 28 Jan 2014 23:28:16 +0000 (18:28 -0500)]
Minor docs fixes for new json functions.

Thom Brown.

10 years agoAdd new make targets check-tests and installcheck-tests.
Andrew Dunstan [Tue, 28 Jan 2014 23:10:00 +0000 (18:10 -0500)]
Add new make targets check-tests and installcheck-tests.

These do not run any specific schedule of tests, but only those
specified as part of the invocation, e.g.:

    make check-tests TESTS="json jsonb"

10 years agoNew json functions.
Andrew Dunstan [Tue, 28 Jan 2014 22:48:21 +0000 (17:48 -0500)]
New json functions.

json_build_array() and json_build_object allow for the construction of
arbitrarily complex json trees. json_object() turns a one or two
dimensional array, or two separate arrays, into a json_object of
name/value pairs, similarly to the hstore() function.
json_object_agg() aggregates its two arguments into a single json object
as name value pairs.

Catalog version bumped.

Andrew Dunstan, reviewed by Marko Tiikkaja.

10 years agoAdd pg_stat_archiver statistics view.
Fujii Masao [Tue, 28 Jan 2014 17:58:22 +0000 (02:58 +0900)]
Add pg_stat_archiver statistics view.

This view shows the statistics about the WAL archiver process's activity.

Gabriele Bartolini, reviewed by Michael Paquier, refactored a bit by me.

10 years agoUpdate comment.
Tom Lane [Tue, 28 Jan 2014 17:34:29 +0000 (12:34 -0500)]
Update comment.

generate_normalized_query() no longer needs to truncate text, but this
one comment didn't get the memo.  Per Peter Geoghegan.

10 years agoRevert C comment change in slot_attisnull()
Bruce Momjian [Tue, 28 Jan 2014 17:28:14 +0000 (12:28 -0500)]
Revert C comment change in slot_attisnull()

Revert 89774b58b0ea2874765cae10c094bb6aaf707feb

10 years agoRemove orphaned prototype
Bruce Momjian [Tue, 28 Jan 2014 16:29:39 +0000 (11:29 -0500)]
Remove orphaned prototype

Rajeev rastogi

10 years agoRevert dup2() checking in syslogger.c
Stephen Frost [Tue, 28 Jan 2014 13:40:41 +0000 (08:40 -0500)]
Revert dup2() checking in syslogger.c

Per the expanded comment-

As we're just trying to reset these to go to DEVNULL, there's not
much point in checking for failure from the close/dup2 calls here,
if they fail then presumably the file descriptors are closed and
any writes will go into the bitbucket anyway.

Pointed out by Tom.

10 years agoLog a detail message for auth failures due to missing or expired password.
Tom Lane [Tue, 28 Jan 2014 02:04:09 +0000 (21:04 -0500)]
Log a detail message for auth failures due to missing or expired password.

It's worth distinguishing these cases from run-of-the-mill wrong-password
problems, since users have been known to waste lots of time pursuing the
wrong theory about what's failing.  Now, our longstanding policy about how
to report authentication failures is that we don't really want to tell the
*client* such things, since that might be giving information to a bad guy.
But there's nothing wrong with reporting the details to the postmaster log,
and indeed the comments in this area of the code contemplate that
interesting details should be so reported.  We just weren't handling these
particular interesting cases usefully.

To fix, add infrastructure allowing subroutines of ClientAuthentication()
to return a string to be added to the errdetail_log field of the main
authentication-failed error report.  We might later want to use this to
report other subcases of authentication failure the same way, but for the
moment I just dealt with password cases.

Per discussion of a patch from Josh Drake, though this is not what
he proposed.

10 years agoKeep pg_stat_statements' query texts in a file, not in shared memory.
Tom Lane [Mon, 27 Jan 2014 20:37:54 +0000 (15:37 -0500)]
Keep pg_stat_statements' query texts in a file, not in shared memory.

This change allows us to eliminate the previous limit on stored query
length, and it makes the shared-memory hash table very much smaller,
allowing more statements to be tracked.  (The default value of
pg_stat_statements.max is therefore increased from 1000 to 5000.)
In typical scenarios, the hash table can be large enough to hold all the
statements commonly issued by an application, so that there is little
"churn" in the set of tracked statements, and thus little need to do I/O
to the file.

To further reduce the need for I/O to the query-texts file, add a way
to retrieve all the columns of the pg_stat_statements view except for
the query text column.  This is probably not of much interest for human
use but it could be exploited by programs, which will prefer using the
queryid anyway.

Ordinarily, we'd need to bump the extension version number for the latter
change.  But since we already advanced pg_stat_statements' version number
from 1.1 to 1.2 in the 9.4 development cycle, it seems all right to just
redefine what 1.2 means.

Peter Geoghegan, reviewed by Pavel Stehule

10 years agoRelax the requirement that all lwlocks be stored in a single array.
Robert Haas [Mon, 27 Jan 2014 16:07:44 +0000 (11:07 -0500)]
Relax the requirement that all lwlocks be stored in a single array.

This makes it possible to store lwlocks as part of some other data
structure in the main shared memory segment, or in a dynamic shared
memory segment.  There is still a main LWLock array and this patch does
not move anything out of it, but it provides necessary infrastructure
for doing that in the future.

This change is likely to increase the size of LWLockPadded on some
platforms, especially 32-bit platforms where it was previously only
16 bytes.

Patch by me.  Review by Andres Freund and KaiGai Kohei.

10 years agoFix typo in README
Heikki Linnakangas [Mon, 27 Jan 2014 07:32:51 +0000 (09:32 +0200)]
Fix typo in README

Amit Langote

10 years agoCode review for auto-tuned effective_cache_size.
Tom Lane [Mon, 27 Jan 2014 05:05:49 +0000 (00:05 -0500)]
Code review for auto-tuned effective_cache_size.

Fix integer overflow issue noted by Magnus Hagander, as well as a bunch
of other infelicities in commit ee1e5662d8d8330726eaef7d3110cb7add24d058
and its unreasonably large number of followups.

10 years agoChange the suffix of auto conf temporary file from "temp" to "tmp".
Fujii Masao [Mon, 27 Jan 2014 03:39:11 +0000 (12:39 +0900)]
Change the suffix of auto conf temporary file from "temp" to "tmp".

Michael Paquier

10 years agoFix typos in comments for ALTER SYSTEM.
Fujii Masao [Mon, 27 Jan 2014 03:23:20 +0000 (12:23 +0900)]
Fix typos in comments for ALTER SYSTEM.

Michael Paquier

10 years agoFix minor leak in pg_dump
Stephen Frost [Sun, 26 Jan 2014 22:58:48 +0000 (17:58 -0500)]
Fix minor leak in pg_dump

Move allocation to after we check the remote server version, to avoid
a possible, very minor, memory leak.  This makes us more consistent
throughout as most places in pg_dump are done in the same way (due, in
part, to previous fixes like this).

Spotted by the Coverity scanner.

10 years agoProvide for client-only installs with MSVC.
Andrew Dunstan [Sun, 26 Jan 2014 22:03:13 +0000 (17:03 -0500)]
Provide for client-only installs with MSVC.

MauMau.

10 years agoCheck dup2() results in syslogger
Stephen Frost [Sun, 26 Jan 2014 21:26:18 +0000 (16:26 -0500)]
Check dup2() results in syslogger

Consistently check the dup2() call results throughout syslogger.c.
It's pretty unlikely that they'll error out, but if they do,
ereport(FATAL) instead of blissfully continuing on.

Spotted by the Coverity scanner.

10 years agoMove the options column of \db+ before the description
Magnus Hagander [Sun, 26 Jan 2014 20:13:57 +0000 (21:13 +0100)]
Move the options column of \db+ before the description

The convention is to have the description field at the end.

Noted by Tom Lane

10 years agoInclude tablespace options in verbose output of \db
Magnus Hagander [Sun, 26 Jan 2014 17:11:15 +0000 (18:11 +0100)]
Include tablespace options in verbose output of \db

10 years agoEnable building with Visual Studion 2013.
Andrew Dunstan [Sun, 26 Jan 2014 14:49:10 +0000 (09:49 -0500)]
Enable building with Visual Studion 2013.

Backpatch to 9.3.

Brar Piening.

10 years agoUse E, not e, for escaping in example docs
Stephen Frost [Sun, 26 Jan 2014 14:40:34 +0000 (09:40 -0500)]
Use E, not e, for escaping in example docs

From the Department of Nitpicking, be consistent with other escaping
and use 'E' instead of 'e' to escape the string in the example docs
for GET DISAGNOSTICS stack = PG_CONTEXT.

Noticed by Department Chief Magnus Hagander.

10 years agoAdjust C comment in slot_attisnull() regarding nulls.
Bruce Momjian [Sat, 25 Jan 2014 21:43:14 +0000 (16:43 -0500)]
Adjust C comment in slot_attisnull() regarding nulls.

10 years agoCopy-editing docs for recovery_target='immediate', and "ie."
Heikki Linnakangas [Sat, 25 Jan 2014 21:30:17 +0000 (23:30 +0200)]
Copy-editing docs for recovery_target='immediate', and "ie."

Phrase the sentence better. Also, spell "i.e." rather than "ie."

Thom Brown

10 years agodocs: mention CREATE TABLE LIKE linkage using INCLUDING DEFAULTS
Bruce Momjian [Sat, 25 Jan 2014 19:32:48 +0000 (14:32 -0500)]
docs: mention CREATE TABLE LIKE linkage using INCLUDING DEFAULTS

Mention that CREATE TABLE LIKE INCLUDING DEFAULTS creates a link between
the original and new tables if a default function modifies the database,
like nextval().

10 years agoAdd recovery_target='immediate' option.
Heikki Linnakangas [Sat, 25 Jan 2014 15:34:04 +0000 (17:34 +0200)]
Add recovery_target='immediate' option.

This allows ending recovery as a consistent state has been reached. Without
this, there was no easy way to e.g restore an online backup, without
replaying any extra WAL after the backup ended.

MauMau and me.

10 years agolibpq: Support TLS versions beyond TLSv1.
Noah Misch [Sat, 25 Jan 2014 00:29:06 +0000 (19:29 -0500)]
libpq: Support TLS versions beyond TLSv1.

Per report from Jeffrey Walton, libpq has been accepting only TLSv1
exactly.  Along the lines of the backend code, libpq will now support
new versions as OpenSSL adds them.

Marko Kreen, reviewed by Wim Lewis.

10 years agopsql: Mention SSL protocol version in \conninfo.
Noah Misch [Sat, 25 Jan 2014 00:23:56 +0000 (19:23 -0500)]
psql: Mention SSL protocol version in \conninfo.

Marko Kreen, reviewed by Wim Lewis.

10 years agoAvoid minor leak in parallel pg_dump
Stephen Frost [Fri, 24 Jan 2014 20:10:08 +0000 (15:10 -0500)]
Avoid minor leak in parallel pg_dump

During parallel pg_dump, a worker process closing the connection caused
a minor memory leak (particularly minor as we are likely about to exit
anyway).  Instead, free the memory in this case prior to returning NULL
to indicate connection closed.

Spotting by the Coverity scanner.

Back patch to 9.3 where this was introduced.

10 years agoReset unused fields in GIN data leaf page footer.
Heikki Linnakangas [Fri, 24 Jan 2014 17:08:52 +0000 (19:08 +0200)]
Reset unused fields in GIN data leaf page footer.

The maxoff field is not used in the new, compressed page format. Let's
reset it when converting an old-format page to the new format. The code
won't care either way, but this makes it possible to use the field for
something else in the future.

10 years agoFix off-by-one in newly-introdcued GIN assertion.
Heikki Linnakangas [Fri, 24 Jan 2014 09:10:09 +0000 (11:10 +0200)]
Fix off-by-one in newly-introdcued GIN assertion.

Spotted by Alexander Korotkov

10 years agoIn GIN recompression code, use mmemove rather than memcpy, for vacuum.
Heikki Linnakangas [Fri, 24 Jan 2014 08:42:38 +0000 (10:42 +0200)]
In GIN recompression code, use mmemove rather than memcpy, for vacuum.

When vacuuming a data leaf page, any compressed posting lists that are not
modified, are copied back to the buffer from a later location in the same
buffer rather than from  a palloc'd copy. IOW, they are just moved
downwards in the same buffer. Because the source and destination addresses
can overlap, we must use memmove rather than memcpy.

Report and fix by Alexander Korotkov.

10 years agoALTER TABLESPACE ... MOVE ... OWNED BY
Stephen Frost [Fri, 24 Jan 2014 04:52:40 +0000 (23:52 -0500)]
ALTER TABLESPACE ... MOVE ... OWNED BY

Add the ability to specify the objects to move by who those objects are
owned by (as relowner) and change ALL to mean ALL objects.  This
makes the command always operate against a well-defined set of objects
and not have the objects-to-be-moved based on the role of the user
running the command.

Per discussion with Simon and Tom.

10 years agoRemove duplicate index entry DATE_TRUNC in document.
Fujii Masao [Fri, 24 Jan 2014 02:12:48 +0000 (11:12 +0900)]
Remove duplicate index entry DATE_TRUNC in document.

10 years agoAllow use of "z" flag in our printf calls, and use it where appropriate.
Tom Lane [Thu, 23 Jan 2014 22:18:23 +0000 (17:18 -0500)]
Allow use of "z" flag in our printf calls, and use it where appropriate.

Since C99, it's been standard for printf and friends to accept a "z" size
modifier, meaning "whatever size size_t has".  Up to now we've generally
dealt with printing size_t values by explicitly casting them to unsigned
long and using the "l" modifier; but this is really the wrong thing on
platforms where pointers are wider than longs (such as Win64).  So let's
start using "z" instead.  To ensure we can do that on all platforms, teach
src/port/snprintf.c to understand "z", and add a configure test to force
use of that implementation when the platform's version doesn't handle "z".

Having done that, modify a bunch of places that were using the
unsigned-long hack to use "z" instead.  This patch doesn't pretend to have
gotten everyplace that could benefit, but it catches many of them.  I made
an effort in particular to ensure that all uses of the same error message
text were updated together, so as not to increase the number of
translatable strings.

It's possible that this change will result in format-string warnings from
pre-C99 compilers.  We might have to reconsider if there are any popular
compilers that will warn about this; but let's start by seeing what the
buildfarm thinks.

Andres Freund, with a little additional work by me

10 years agoFix alignment of GIN in-line posting lists stored in entry tuples.
Heikki Linnakangas [Thu, 23 Jan 2014 20:58:12 +0000 (22:58 +0200)]
Fix alignment of GIN in-line posting lists stored in entry tuples.

The Sparc machines in the buildfarm are crashing because of misaligned
access to posting lists stored in entry tuples.

I accidentally removed a critical SHORTALIGN() from ginFormTuple, as part
of the packed posting lists patch. Perhaps I thought it was unnecessary,
because the index_form_tuple() call above the SHORTALIGN already aligned
the size, missing the fact that the null-category byte makes it misaligned
again (I think the SHORTALIGN is indeed unnecessary if there's no null-
category byte, but let's just play it safe...)

10 years agoSilence compiler warning.
Heikki Linnakangas [Thu, 23 Jan 2014 20:14:20 +0000 (22:14 +0200)]
Silence compiler warning.

Not all compilers understand that elog(ERROR, ...) never returns.

10 years agoMake DROP IF EXISTS more consistently not fail
Alvaro Herrera [Thu, 23 Jan 2014 17:40:29 +0000 (14:40 -0300)]
Make DROP IF EXISTS more consistently not fail

Some cases were still reporting errors and aborting, instead of a NOTICE
that the object was being skipped.  This makes it more difficult to
cleanly handle pg_dump --clean, so change that to instead skip missing
objects properly.

Per bug #7873 reported by Dave Rolsky; apparently this affects a large
number of users.

Authors: Pavel Stehule and Dean Rasheed.  Some tweaks by Álvaro Herrera

10 years agoAdd libpq function PQhostaddr().
Fujii Masao [Thu, 23 Jan 2014 17:32:39 +0000 (02:32 +0900)]
Add libpq function PQhostaddr().

There was a bug in the psql's meta command \conninfo. When the
IP address was specified in the hostaddr and psql used it to create
a connection (i.e., psql -d "hostaddr=xxx"), \conninfo could not
display that address. This is because \conninfo got the connection
information only from PQhost() which could not return hostaddr.

This patch adds PQhostaddr(), and changes \conninfo so that it
can display not only the host name that PQhost() returns but also
the IP address which PQhostaddr() returns.

The bug has existed since 9.1 where \conninfo was introduced.
But it's too late to add new libpq function into the released versions,
so no backpatch.

10 years agoAllow case insensitive build version argument for MSVC.
Andrew Dunstan [Thu, 23 Jan 2014 17:18:15 +0000 (12:18 -0500)]
Allow case insensitive build version argument for MSVC.

Dilip Kumar.

10 years agoFix bugs in PQhost().
Fujii Masao [Thu, 23 Jan 2014 13:48:12 +0000 (22:48 +0900)]
Fix bugs in PQhost().

In the platform that doesn't support Unix-domain socket, when
neither host nor hostaddr are specified, the default host
'localhost' is used to connect to the server and PQhost() must
return that, but it didn't. This patch fixes PQhost() so that
it returns the default host in that case.

Also this patch fixes PQhost() so that it doesn't return
Unix-domain socket directory path in the platform that doesn't
support Unix-domain socket.

Back-patch to all supported versions.

10 years agoAdd date_trunc('', interval) documentation mention
Bruce Momjian [Thu, 23 Jan 2014 03:26:45 +0000 (22:26 -0500)]
Add date_trunc('', interval) documentation mention

Report from Eric Howe

10 years agoFix declaration of GinVacuumState.
Heikki Linnakangas [Wed, 22 Jan 2014 17:54:16 +0000 (19:54 +0200)]
Fix declaration of GinVacuumState.

gcc 4.8 was happy with having a duplicate typedef, but most compilers seem not
to be, per buildfarm.

10 years agoCompress GIN posting lists, for smaller index size.
Heikki Linnakangas [Wed, 22 Jan 2014 16:51:48 +0000 (18:51 +0200)]
Compress GIN posting lists, for smaller index size.

GIN posting lists are now encoded using varbyte-encoding, which allows them
to fit in much smaller space than the straight ItemPointer array format used
before. The new encoding is used for both the lists stored in-line in entry
tree items, and in posting tree leaf pages.

To maintain backwards-compatibility and keep pg_upgrade working, the code
can still read old-style pages and tuples. Posting tree leaf pages in the
new format are flagged with GIN_COMPRESSED flag, to distinguish old and new
format pages. Likewise, entry tree tuples in the new format have a
GIN_ITUP_COMPRESSED flag set in a bit that was previously unused.

This patch bumps GIN_CURRENT_VERSION from 1 to 2. New indexes created with
version 9.4 will therefore have version number 2 in the metapage, while old
pg_upgraded indexes will have version 1. The code treats them the same, but
it might be come handy in the future, if we want to drop support for the
uncompressed format.

Alexander Korotkov and me. Reviewed by Tomas Vondra and Amit Langote.

10 years agoReindent json.c and jsonfuncs.c.
Andrew Dunstan [Wed, 22 Jan 2014 13:46:51 +0000 (08:46 -0500)]
Reindent json.c and jsonfuncs.c.

This will help in preparation of clean patches for upcoming
json work.

10 years agoAllow type_func_name_keywords in even more places
Stephen Frost [Wed, 22 Jan 2014 03:49:22 +0000 (22:49 -0500)]
Allow type_func_name_keywords in even more places

A while back, 2c92edad48796119c83d7dbe6c33425d1924626d allowed
type_func_name_keywords to be used in more places, including role
identifiers.  Unfortunately, that commit missed out on cases where
name_list was used for lists-of-roles, eg: for DROP ROLE.  This
resulted in the unfortunate situation that you could CREATE a role
with a type_func_name_keywords-allowed identifier, but not DROP it
(directly- ALTER could be used to rename it to something which
could be DROP'd).

This extends allowing type_func_name_keywords to places where role
lists can be used.

Back-patch to 9.0, as 2c92edad48796119c83d7dbe6c33425d1924626d was.

10 years agoTweak parse location assignment for CURRENT_DATE and related constructs.
Tom Lane [Tue, 21 Jan 2014 21:34:28 +0000 (16:34 -0500)]
Tweak parse location assignment for CURRENT_DATE and related constructs.

All these constructs generate parse trees consisting of a Const and
a run-time type coercion (perhaps a FuncExpr or a CoerceViaIO).  Modify
the raw parse output so that we end up with the original token's location
attached to the type coercion node while the Const has location -1;
before, it was the other way around.  This makes no difference in terms
of what exprLocation() will say about the parse tree as a whole, so it
should not have any user-visible impact.  The point of changing it is that
we do not want contrib/pg_stat_statements to treat these constructs as
replaceable constants.  It will do the right thing if the Const has
location -1 rather than a valid location.

This is a pretty ugly hack, but then this code is ugly already; we should
someday replace this translation with special-purpose parse node(s) that
would allow ruleutils.c to reconstruct the original query text.

(See also commit 5d3fcc4c2e137417ef470d604fee5e452b22f6a7, which also
hacked location assignment rules for the benefit of pg_stat_statements.)

Back-patch to 9.2 where pg_stat_statements grew the ability to recognize
replaceable constants.

Kyotaro Horiguchi

10 years agoAdd a cardinality function for arrays.
Robert Haas [Tue, 21 Jan 2014 17:38:53 +0000 (12:38 -0500)]
Add a cardinality function for arrays.

Unlike our other array functions, this considers the total number of
elements across all dimensions, and returns 0 rather than NULL when the
array has no elements.  But it seems that both of those behaviors are
almost universally disliked, so hopefully that's OK.

Marko Tiikkaja, reviewed by Dean Rasheed and Pavel Stehule

10 years agoFix inadvertent semantics change in last patch to plug memory leaks.
Robert Haas [Tue, 21 Jan 2014 16:42:37 +0000 (11:42 -0500)]
Fix inadvertent semantics change in last patch to plug memory leaks.

Commit a5bca4ef034f71175d46462963af2329d22068c2 accidentally changed
the semantics when the "skipping missing configuration file" is
emitted, because it forced OK to true instead of leaving the value
untouched.

Spotted by Tom Lane.

10 years agoAvoid a possible relcache leak in get_object_address_attribute.
Robert Haas [Tue, 21 Jan 2014 15:02:37 +0000 (10:02 -0500)]
Avoid a possible relcache leak in get_object_address_attribute.

There's no apparent way to trigger this, so I'm not going to worry
about back-patching it for now.  But it's still wrong.

Marti Raudsepp

10 years agoPlug more memory leaks when reloading config file.
Robert Haas [Tue, 21 Jan 2014 14:41:40 +0000 (09:41 -0500)]
Plug more memory leaks when reloading config file.

Commit 138184adc5f7c60c184972e4d23f8cdb32aed77d plugged some but not
all of the leaks from commit 2a0c81a12c7e6c5ac1557b0f1f4a581f23fd4ca7.
This tightens things up some more.

Amit Kapila, per an observation by Tom Lane

10 years agoExpose a routine to print triggers during EXPLAIN ANALYZE
Alvaro Herrera [Mon, 20 Jan 2014 20:12:50 +0000 (17:12 -0300)]
Expose a routine to print triggers during EXPLAIN ANALYZE

This is so that auto_explain can use it.

Kyotaro HORIGUCHI

10 years agoRemove pg_stat_statements--1.1.sql.
Tom Lane [Mon, 20 Jan 2014 20:03:51 +0000 (15:03 -0500)]
Remove pg_stat_statements--1.1.sql.

Commit 91484409bdd17f330d10671d388b72d4ef1451d7 should have removed this
file, not just reduced it to zero size.

10 years agoFix to_timestamp/to_date's handling of consecutive spaces in format string.
Tom Lane [Mon, 20 Jan 2014 18:45:51 +0000 (13:45 -0500)]
Fix to_timestamp/to_date's handling of consecutive spaces in format string.

When there are consecutive spaces (or other non-format-code characters) in
the format, we should advance over exactly that many characters of input.
The previous coding mistakenly did a "skip whitespace" action between such
characters, possibly allowing more input to be skipped than the user
intended.  We only need to skip whitespace just before an actual field.

This is really a bug fix, but given the minimal number of field complaints
and the risk of breaking applications coded to expect the old behavior,
let's not back-patch it.

Jeevan Chalke

10 years agoFix typo in comment.
Fujii Masao [Mon, 20 Jan 2014 17:22:49 +0000 (02:22 +0900)]
Fix typo in comment.

Sawada Masahiko

10 years agoSpeed up COPY into tables with DEFAULT nextval()
Simon Riggs [Mon, 20 Jan 2014 17:22:38 +0000 (17:22 +0000)]
Speed up COPY into tables with DEFAULT nextval()

Previously the presence of a nextval() prevented the
use of batch-mode COPY.  This patch introduces a
special case just for nextval() functions. In future
we will introduce a general case solution for
labelling volatile functions as safe for use.

10 years agoRename msvc build option krb5 to gss
Magnus Hagander [Sun, 19 Jan 2014 16:07:15 +0000 (17:07 +0100)]
Rename msvc build option krb5 to gss

In the MSVC build system we've never separated krb5 from gss,
and always built them both. Since the removal of native krb5
support, this parameter only controls GSSAPI, so rename it
accordingly.

10 years agoRemove support for native krb5 authentication
Magnus Hagander [Wed, 15 Jan 2014 16:24:01 +0000 (17:24 +0100)]
Remove support for native krb5 authentication

krb5 has been deprecated since 8.3, and the recommended way to do
Kerberos authentication is using the GSSAPI authentication method
(which is still fully supported).

libpq retains the ability to identify krb5 authentication, but only
gives an error message about it being unsupported. Since all authentication
is initiated from the backend, there is no need to keep it at all
in the backend.

10 years agoAdjust the SSL connection notification message
Magnus Hagander [Sun, 19 Jan 2014 12:27:22 +0000 (13:27 +0100)]
Adjust the SSL connection notification message

Suggested by Tom

10 years agoAdd CREATE TABLESPACE ... WITH ... Options
Stephen Frost [Sun, 19 Jan 2014 01:59:31 +0000 (20:59 -0500)]
Add CREATE TABLESPACE ... WITH ... Options

Tablespaces have a few options which can be set on them to give PG hints
as to how the tablespace behaves (perhaps it's faster for sequential
scans, or better able to handle random access, etc).  These options were
only available through the ALTER TABLESPACE command.

This adds the ability to set these options at CREATE TABLESPACE time,
removing the need to do both a CREATE TABLESPACE and ALTER TABLESPACE to
get the correct options set on the tablespace.

Vik Fearing, reviewed by Michael Paquier.

10 years agoFix VACUUM's reporting of dead-tuple counts to the stats collector.
Tom Lane [Sun, 19 Jan 2014 00:24:20 +0000 (19:24 -0500)]
Fix VACUUM's reporting of dead-tuple counts to the stats collector.

Historically, VACUUM has just reported its new_rel_tuples estimate
(the same thing it puts into pg_class.reltuples) to the stats collector.
That number counts both live and dead-but-not-yet-reclaimable tuples.
This behavior may once have been right, but modern versions of the
pgstats code track live and dead tuple counts separately, so putting
the total into n_live_tuples and zero into n_dead_tuples is surely
pretty bogus.  Fix it to report live and dead tuple counts separately.

This doesn't really do much for situations where updating transactions
commit concurrently with a VACUUM scan (possibly causing double-counting or
omission of the tuples they add or delete); but it's clearly an improvement
over what we were doing before.

Hari Babu, reviewed by Amit Kapila

10 years agoAdd ALTER TABLESPACE ... MOVE command
Stephen Frost [Sat, 18 Jan 2014 23:56:40 +0000 (18:56 -0500)]
Add ALTER TABLESPACE ... MOVE command

This adds a 'MOVE' sub-command to ALTER TABLESPACE which allows moving sets of
objects from one tablespace to another.  This can be extremely handy and avoids
a lot of error-prone scripting.  ALTER TABLESPACE ... MOVE will only move
objects the user owns, will notify the user if no objects were found, and can
be used to move ALL objects or specific types of objects (TABLES, INDEXES, or
MATERIALIZED VIEWS).

10 years agoAllow SET TABLESPACE to database default
Stephen Frost [Sat, 18 Jan 2014 23:41:52 +0000 (18:41 -0500)]
Allow SET TABLESPACE to database default

We've always allowed CREATE TABLE to create tables in the database's default
tablespace without checking for CREATE permissions on that tablespace.
Unfortunately, the original implementation of ALTER TABLE ... SET TABLESPACE
didn't pick up on that exception.

This changes ALTER TABLE ... SET TABLESPACE to allow the database's default
tablespace without checking for CREATE rights on that tablespace, just as
CREATE TABLE works today.  Users could always do this through a series of
commands (CREATE TABLE ... AS SELECT * FROM ...; DROP TABLE ...; etc), so
let's fix the oversight in SET TABLESPACE's original implementation.

10 years agoMake various variables const (read-only).
Tom Lane [Sat, 18 Jan 2014 21:04:11 +0000 (16:04 -0500)]
Make various variables const (read-only).

These changes should generally improve correctness/maintainability.
A nice side benefit is that several kilobytes move from initialized
data to text segment, allowing them to be shared across processes and
probably reducing copy-on-write overhead while forking a new backend.
Unfortunately this doesn't seem to help libpq in the same way (at least
not when it's compiled with -fpic on x86_64), but we can hope the linker
at least collects all nominally-const data together even if it's not
actually part of the text segment.

Also, make pg_encname_tbl[] static in encnames.c, since there seems
no very good reason for any other code to use it; per a suggestion
from Wim Lewis, who independently submitted a patch that was mostly
a subset of this one.

Oskari Saarenmaa, with some editorialization by me

10 years agoExport a few more symbols required for test_shm_mq module.
Andrew Dunstan [Sat, 18 Jan 2014 20:29:45 +0000 (15:29 -0500)]
Export a few more symbols required for test_shm_mq module.

Patch from Amit Kapila.

10 years agoFix client-only installation
Peter Eisentraut [Sat, 18 Jan 2014 04:08:22 +0000 (23:08 -0500)]
Fix client-only installation

The psql Makefile was not creating $(datadir) before installing
psqlrc.sample there.

In most cases, the directory would be created in some other way, but for
the documented from-source client-only installation procedure, it could
fail.

Reported-by: Mike Blackwell <mike.blackwell@rrd.com>
10 years agoMinor code beautification in contrib/sslinfo.
Tom Lane [Sat, 18 Jan 2014 01:58:31 +0000 (20:58 -0500)]
Minor code beautification in contrib/sslinfo.

Static-ify some functions that didn't need to be exported, and improve
a couple of comments.

Gurjeet Singh

10 years agoAdd gen_random_uuid() to contrib/pgcrypto.
Tom Lane [Fri, 17 Jan 2014 21:52:06 +0000 (16:52 -0500)]
Add gen_random_uuid() to contrib/pgcrypto.

This function provides a way of generating version 4 (pseudorandom) UUIDs
based on pgcrypto's PRNG.  The main reason for doing this is that the
OSSP UUID library depended on by contrib/uuid-ossp is becoming more and
more of a porting headache, so we need an alternative for people who can't
install that.  A nice side benefit though is that this implementation is
noticeably faster than uuid-ossp's uuid_generate_v4() function.

Oskari Saarenmaa, reviewed by Emre Hasegeli

10 years agoExport set_latch_on_sigusr1 symbol for Windows.
Andrew Dunstan [Fri, 17 Jan 2014 17:48:23 +0000 (12:48 -0500)]
Export set_latch_on_sigusr1 symbol for Windows.

Per buildfarm currawong and grip from David Rowley.

10 years agoPrevent double macro definition of WIN32.
Andrew Dunstan [Fri, 17 Jan 2014 16:49:44 +0000 (11:49 -0500)]
Prevent double macro definition of WIN32.

David Rowley.

10 years agoShow SSL encryption information when logging connections
Magnus Hagander [Fri, 17 Jan 2014 12:27:18 +0000 (13:27 +0100)]
Show SSL encryption information when logging connections

Expand the messages when log_connections is enabled to include the
fact that SSL is used and the SSL cipher information.

Dr. Andreas Kunert, review by Marko Kreen

10 years agoDefine WIN32 when _WIN32 is set
Magnus Hagander [Fri, 17 Jan 2014 11:37:57 +0000 (12:37 +0100)]
Define WIN32 when _WIN32 is set

_WIN32 is set by the compiler, whereas our code uses WIN32 that is
normally set through our build system. To make it possible to build
extensions out of tree we cannot rely on that, so set the WIN32
symbol explicitly whenever the compiler has set _WIN32.

Not setting this symbol causes double inclusion of pg_config_os.h,
and possibly other errors as well.

Craig Ringer

10 years agoPrevent integer overflow with --progress >= 2148
Heikki Linnakangas [Fri, 17 Jan 2014 08:10:43 +0000 (10:10 +0200)]
Prevent integer overflow with --progress >= 2148

If --progress=2148 or higher was given, the calculation of the next time
to report overflowed, and pgbench would print a progress report very
frequently.

Kingter Wang

10 years agodoc: rename "Equals" to "Equal"
Bruce Momjian [Fri, 17 Jan 2014 00:38:22 +0000 (19:38 -0500)]
doc:  rename "Equals" to "Equal"

10 years agodoc: fix := description typo.
Bruce Momjian [Fri, 17 Jan 2014 00:28:50 +0000 (19:28 -0500)]
doc: fix := description typo.

10 years agodocs: update PL/pgSQL docs about the use of := and =
Bruce Momjian [Thu, 16 Jan 2014 21:40:17 +0000 (16:40 -0500)]
docs:  update PL/pgSQL docs about the use of := and =

10 years agoFix Hot Standby feedback sending when streaming busily.
Heikki Linnakangas [Thu, 16 Jan 2014 21:05:02 +0000 (23:05 +0200)]
Fix Hot Standby feedback sending when streaming busily.

Commit 6f60fdd7015b032bf49273c99f80913d57eac284 accidentally removed a
call to XLogWalRcvSendHSFeedback() after flushing received WAL to disk.
The consequence is that when walsender is busy streaming WAL, it doesn't
send HS feedback messages. One is sent if nothing is received from the
master for 100ms, but if there's a steady stream of WAL, it never happens.

Backpatch to 9.3.

Andres Freund and Amit Kapila

10 years agoSplit ecpg_execute() in constituent parts
Alvaro Herrera [Thu, 16 Jan 2014 21:06:50 +0000 (18:06 -0300)]
Split ecpg_execute() in constituent parts

Split the rather long ecpg_execute() function into ecpg_build_params(),
ecpg_autostart_transaction(), a smaller ecpg_execute() and
ecpg_process_output().  There is no user-visible change here, only code
reorganization to support future patches.

Author: Zoltán Böszörményi

Reviewed by Antonin Houska.  Larger, older versions of this patch were
reviewed by Noah Misch and Michael Meskes.

10 years agoAdd display of oprcode (the underlying function's name) to psql's \do+.
Tom Lane [Thu, 16 Jan 2014 20:29:18 +0000 (15:29 -0500)]
Add display of oprcode (the underlying function's name) to psql's \do+.

The + modifier of \do didn't use to do anything, but now it adds an oprcode
column.  This is useful both as an additional form of documentation of what
the operator does, and to save a step when finding out properties of the
underlying function.

Marko Tiikkaja, reviewed by Rushabh Lathia, adjusted a bit by me

10 years agoSplit ECPGdo() in constituent parts
Alvaro Herrera [Thu, 16 Jan 2014 19:36:41 +0000 (16:36 -0300)]
Split ECPGdo() in constituent parts

This splits ECPGdo() into ecpg_prologue(), ecpg_do() and
ecpg_epilogue(), and renames free_params() into ecpg_free_params() and
exports it.  This makes it possible for future code to use these
routines for their own purposes.

There is no user-visible functionality change here, only code
reorganization.

Zoltán Böszörményi

Reviewed by Antonin Houska.  Larger, older versions of this patch were
reviewed by Noah Misch and Michael Meskes.

10 years agoSuppress Coverity complaints in readfuncs.c.
Heikki Linnakangas [Thu, 16 Jan 2014 09:55:08 +0000 (11:55 +0200)]
Suppress Coverity complaints in readfuncs.c.

Coverity is complaining that the value returned by pg_strtok in
READ_LOCATION_FIELD and READ_BITMAPSET_FIELD macros is not used. In commit
39bfc94c86f1990e9db8ea3da0e82995cc1b76db, we did this to the other macros
to placate compilers that complained when the variable was completely
unused, this extends that to the last remaining macros.

10 years agoFix whitespace
Peter Eisentraut [Thu, 16 Jan 2014 02:14:28 +0000 (21:14 -0500)]
Fix whitespace

10 years agotest_shm_mq: Try again to fix compiler warning.
Robert Haas [Wed, 15 Jan 2014 17:44:22 +0000 (12:44 -0500)]
test_shm_mq: Try again to fix compiler warning.

Per complaints from Andres Freund and Tom Lane.

10 years agoLogging running transactions every 15 seconds.
Robert Haas [Wed, 15 Jan 2014 17:41:20 +0000 (12:41 -0500)]
Logging running transactions every 15 seconds.

Previously, we did this just once per checkpoint, but that could make
Hot Standby take a long time to initialize.  To avoid busying an
otherwise-idle system, we don't do this if no WAL has been written
since we did it last.

Andres Freund

10 years agoFix missing parentheses resulting in wrong order of dereference.
Robert Haas [Wed, 15 Jan 2014 15:53:07 +0000 (10:53 -0500)]
Fix missing parentheses resulting in wrong order of dereference.

This could result in referencing uninitialized memory.

Michael Paquier, in response to a complaint from Andres Freund