Remove special case allowing parameters to ident auth for initdb

This was required in pre-8.4 versions to allow the specification of
"ident sameuser", but sameuser is no longer required. It could be extended
to allow all parameters in the future, but should then apply to all
methods and not just ident.

Adjust regression test to avoid platform-dependent failure.

We have a test that verifies that max(anyarray) will cope if the array
column elements aren't all the same array type.  However, it's now possible
for that to produce a collation-related error message instead of the
expected one, if the first two column elements happen to be of the same
type and it's one that expects to be given collation info.  Tweak the test
to ensure this doesn't happen.  Per buildfarm member pika.

Remove duplicate time-based macros recently added.

Simplify list traversal logic in add_path().

Its mechanism for recovering after deleting the current list cell was
a bit klugy.  Borrow the technique used in other places.

Make all comparisons done for/with statistics use the default collation.

While this will give wrong answers when estimating selectivity for a
comparison operator that's using a non-default collation, the estimation
error probably won't be large; and anyway the former approach created
estimation errors of its own by trying to use a histogram that might have
been computed with some other collation.  So we'll adopt this simplified
approach for now and perhaps improve it sometime in the future.

This patch incorporates changes from Andres Freund to make sure that
selfuncs.c passes a valid collation OID to any datatype-specific function
it calls, in case that function wants collation information.  Said OID will
now always be DEFAULT_COLLATION_OID, but at least we won't get errors.

Use "backend process" rather than "backend server", where appropriate.

Use macros for time-based constants, rather than constants.

Add test case for collation mismatch in recursive query

This isn't very important by itself, but was left on my list of things
without test coverage for the collation feature.

On further reflection, we'd better do the same in int.c.

We previously heard of the same problem in int24div(), so there's not a
good reason to suppose the problem is confined to cases involving int8.

Put in some more safeguards against executing a division-by-zero.

Add dummy returns before every potential division-by-zero in int8.c,
because apparently further "improvements" in gcc's optimizer have
enabled it to break functions that weren't broken before.

Aurelien Jarno, via Martin Pitt

Split CollateClause into separate raw and analyzed node types.

CollateClause is now used only in raw grammar output, and CollateExpr after
parse analysis.  This is for clarity and to avoid carrying collation names
in post-analysis parse trees: that's both wasteful and possibly misleading,
since the collation's name could be changed while the parsetree still
exists.

Also, clean up assorted infelicities and omissions in processing of the
node type.

In docs, rename "backwards compatibility" to "backward compatibility"
for consistency.

Create an explicit concept of collations that work for any encoding.

Use collencoding = -1 to represent such a collation in pg_collation.
We need this to make the "default" entry work sanely, and a later
patch will fix the C/POSIX entries to be represented this way instead
of duplicating them across all encodings.  All lookup operations now
search first for an entry that's database-encoding-specific, and then
for the same name with collencoding = -1.

Also some incidental code cleanup in collationcmds.c and pg_collation.c.

Remove duplicate indexterm to silence openjade wrning.

Update documentation on FreeBSD write cache control.

Document that to_char('FM') removes only trailing zeros.

Document how listen_addresses can do only IPv4 or IPv6.

In ecpg preprocessor, don't try to look up constants in the test for
variable hiding. A constant is not a variable. It worked in most cases by
accident, because we add constants to the global list of variables (why?),
but float constants like 1.23 were interpreted as struct field references,
and not found.

Backpatch to 9.0, where the test for variable hiding was added.

Adds index entries for session_user and pg_describe_object
Removes extraneous closing parenthesis from pg_describe_object
Puts pg_describe_object and has_sequence_privilege in correct
alphabetical position in function listing

Thom Brown

In plpsql docs, use RAISE rather than undefined log function.

Improve extract(day) documentation with interval values.

Fix "unparenthesized" mention in vacuum docs.

Update kernel docs for Solaris 10.

Josh Berkus

Document that pg_dump --clean might generate some harmless errors on restore.

Update C comment about O_DIRECT and fsync().

Document that libpq's PQgetResult() should be called after a fatal error
to fully process errors.

Document that the parenthesized VACUUM syntax is deprecated, not the
FREEZE functionality.

Add comment to tools/git-external-diff.

Change "TIP" to "HINT" to match backend message style, in pg_ctl -m fast
suggestion.

Remove pg_dump -X options that are only in 9.1 and not needed for
backward compatibility.

Add C comment that new new pg_dump -X options are to be created.

When a smart pg_ctl shutdown fails, mention -m fast as a tip.

Modify pg_test_fsync to match the behavior of git head in regards to
O_DIRECT behavior.

Clarify C comment that O_SYNC/O_FSYNC are really the same settting, as
opposed to O_DSYNC.

Reference doc "examples" section for pg_dump options that often need
complex quoting, e.g. -t and -n.

More wording improvements for disallowed SQL function commands.

Improve SQL function disallowed command wording.

Clarify what commands are not allowed in SQL functions.

Add proper git-external-diff script to src/tools.

Revert addition of third argument to format_type().

Including collation in the behavior of that function promotes a world view
we do not want.  Moreover, it was producing the wrong behavior for pg_dump
anyway: what we want is to dump a COLLATE clause on attributes whose
attcollation is different from the underlying type, and likewise for
domains, and the function cannot do that for us.  Doing it the hard way
in pg_dump is a bit more tedious but produces more correct output.

In passing, fix initdb so that the initial entry in pg_collation is
properly pinned.  It was droppable before :-(

Make error handling of synchronous_standby_names consistent.

It's not a good idea to kill the postmaster just because someone muffs
this, and it's not consistent with what we do for other, similar GUCs.

Fujii Masao, with a bit more hacking by me

More synchronous replication typo fixes.

Fujii Masao

More synchronous replication tweaks.

SyncRepRequested() must check not only the value of the
synchronous_replication GUC but also whether max_wal_senders > 0.
Otherwise, we might end up waiting for sync rep even when there's no
possibility of a standby ever managing to connect.  There are some
existing cross-checks to prevent this, but they're not quite sufficient:
the user can start the server with max_wal_senders=0,
synchronous_standby_names='', and synchronous_replication=off and then
subsequent make synchronous_standby_names not empty using pg_ctl reload,
and then SET synchronous_standby=on, leading to an indefinite hang.

Along the way, rename the global variable for the synchronous_replication
GUC to match the name of the GUC itself, for clarity.

Report by Fujii Masao, though I didn't use his patch.

Remove obsolete comment.

In earlier versions of the sync rep patch, waiters removed themselves from
the queue, but now walsender removes them before doing the wakeup.

Report by Fujii Masao.

Minor sync rep corrections.

Fujii Masao, with a bit of additional wordsmithing by me.

Emit a LOG message when pausing at the recovery target.

Fujii Masao

Add missing index terms for recovery control functions.

Fujii Masao

Use '=' when documenting long options.

Replication README updates.

Fujii Masao

Fix bugs in the isolation tester flex rules.

Tom Lane pointed out that it was giving a warning: "-s option given but
default rule can be matched". That was because there was no rule to handle
newline in a quoted string. I made that throw an error.

Also, line number tracking was broken, giving incorrect line number on
error. Fixed that too.

Cleanup copyright years and file names in the header comments of some files.

replication/repl_gram.h needs to be cleaned too ...

Fix some oversights in distprep and maintainer-clean targets.

At least two recent commits have apparently imagined that a comment in
a Makefile stating that something would be included in the distribution
tarball was sufficient to make it so.  They hadn't bothered to hook
into the upper maintainer-clean targets either.  Per bug #5923 from
Charles Johnson, in which it emerged that the 9.1alpha4 tarballs are
short a few files that should be there.

Mention gcc version in C comment.

Remove collation information from TypeName, where it does not belong.

The initial collations patch treated a COLLATE spec as part of a TypeName,
following what can only be described as brain fade on the part of the SQL
committee.  It's a lot more reasonable to treat COLLATE as a syntactically
separate object, so that it can be added in only the productions where it
actually belongs, rather than needing to reject it in a boatload of places
where it doesn't belong (something the original patch mostly failed to do).
In addition this change lets us meet the spec's requirement to allow
COLLATE anywhere in the clauses of a ColumnDef, and it avoids unfriendly
behavior for constructs such as "foo::type COLLATE collation".

To do this, pull collation information out of TypeName and put it in
ColumnDef instead, thus reverting most of the collation-related changes in
parse_type.c's API.  I made one additional structural change, which was to
use a ColumnDef as an intermediate node in AT_AlterColumnType AlterTableCmd
nodes.  This provides enough room to get rid of the "transform" wart in
AlterTableCmd too, since the ColumnDef can carry the USING expression
easily enough.

Also fix some other minor bugs that have crept in in the same areas,
like failure to copy recently-added fields of ColumnDef in copyfuncs.c.

While at it, document the formerly secret ability to specify a collation
in ALTER TABLE ALTER COLUMN TYPE, ALTER TYPE ADD ATTRIBUTE, and
ALTER TYPE ALTER ATTRIBUTE TYPE; and correct some misstatements about
what the default collation selection will be when COLLATE is omitted.

BTW, the three-parameter form of format_type() should go away too,
since it just contributes to the confusion in this area; but I'll do
that in a separate patch.

Document that server single-user mode does not do checkpoints or other
background processing.

Adjust the permissions required for COMMENT ON ROLE.

Formerly, any member of a role could change the role's comment, as of
course could superusers; but holders of CREATEROLE privilege could not,
unless they were also members.  This led to the odd situation that a
CREATEROLE holder could create a role but then could not comment on it.
It also seems a bit dubious to let an unprivileged user change his own
comment, let alone those of group roles he belongs to.  So, change the
rule to be "you must be superuser to comment on a superuser role, or
hold CREATEROLE to comment on non-superuser roles".  This is the same
as the privilege check for creating/dropping roles, and thus fits much
better with the rule for other object types, namely that only the owner
of an object can comment on it.

In passing, clean up the documentation for COMMENT a little bit.

Per complaint from Owen Jacobson and subsequent discussion.

Remove '=' from initdb switch syntax.

Improve wording of initdb and pg_controldata manual pages.

gabrielle <gorthx@gmail.com>

Remove 's' from recovery_target_timeline's' from the release note.

synchronous_standby_names is a string parameter.

Make alpha release notes more consistent as regards periods.

Update alpha release notes for latest commits.

A bit more editing for collation documentation.

Fix file descriptor leaks in pg_upgrade in failure code paths.

Create "replication and recovery" section in alpha release notes.

Assorted editing for collation documentation.

I made a pass over this to familiarize myself with the feature, and found
some things that could be improved.

Fix parallel make when running make install before make all

In addition to the

all-foo-recurse: all-bar-recurse

dependencies that constraint the order of the rule execution, we need

install-foo-recurse: install-bar-recurse

dependencies in case one runs make install without a make all first,
as some people apparently do.

Add missing keywords to gram.y's unreserved_keywords list.

We really need an automated check for this ... and did VALIDATE really
need to become a keyword at all, rather than picking some other syntax
using existing keywords?

Ignore files built by coverage builds

Fix overly strict assertion in SummarizeOldestCommittedSxact(). There's a
race condition where SummarizeOldestCommittedSxact() is called even though
another backend already cleared out all finished sxact entries. That's OK,
RegisterSerializableTransactionInt() can just retry getting a news xact
slot from the available-list when that happens.

Reported by YAMAMOTO Takashi, bug #5918.

Don't throw a warning if vacuum sees PD_ALL_VISIBLE flag set on a page that
contains newly-inserted tuples that according to our OldestXmin are not
yet visible to everyone. The value returned by GetOldestXmin() is conservative,
and it can move backwards on repeated calls, so if we see that contradiction
between the PD_ALL_VISIBLE flag and status of tuples on the page, we have to
assume it's because an earlier vacuum calculated a higher OldestXmin value,
and all the tuples really are visible to everyone.

We have received several reports of this bug, with the "PD_ALL_VISIBLE flag
was incorrectly set in relation ..." warning appearing in logs. We were
finally able to hunt it down with David Gould's help to run extra diagnostics
in an environment where this happened frequently.

Also reword the warning, per Robert Haas' suggestion, to not imply that the
PD_ALL_VISIBLE flag is necessarily at fault, as it might also be a symptom
of corruption on a tuple header.

Backpatch to 8.4, where the PD_ALL_VISIBLE flag was introduced.

Adjust CHAR() doc mention of pattern matching issues for trailing
spaces.

Document that char() ignores spaces in non-pattern comparisons, not in
pattern comparisons such as LIKE and regex.

Added new version of ecpg's parser test script which was written by Andy Colson <andy@squeakycode.net>.

Truncate predicate lock manager's SLRU lazily at checkpoint. That's safer
than doing it aggressively whenever the tail-XID pointer is advanced, because
this way we don't need to do it while holding SerializableXactHashLock.

This also fixes bug #5915 spotted by YAMAMOTO Takashi, and removes an
obsolete comment spotted by Kevin Grittner.

Fix behavior when raising plpy.Fatal()

It should cause a elog(FATAL) error, and it fact it was simply causing
a elog(ERROR).

Jan Urbański

Report Python errors from iterators with PLy_elog

This improves reporting, as the error string now includes the actual
Python exception. As a side effect, this no longer sets the errcode to
ERRCODE_DATA_EXCEPTION, which might be considered a feature, as it's
not documented and not clear why iterator errors should be treated
differently.

Jan Urbański

Improve description of inquiry functions that accept regclass.

Per a suggestion from Thom Brown, though this is not his proposed patch.

Minor copy-editing in CREATE TRIGGER reference page.

Per suggestions from Thom Brown and Robert Haas.

If recovery_target_timeline is set to 'latest' and standby mode is enabled,
periodically rescan the archive for new timelines, while waiting for new WAL
segments to arrive. This allows you to set up a standby server that follows
the TLI change if another standby server is promoted to master. Before this,
you had to restart the standby server to make it notice the new timeline.

This patch only scans the archive for TLI changes, it won't follow a TLI
change in streaming replication. That is much needed too, but it would be a
much bigger patch than I dare to sneak in this late in the release cycle.

There was discussion on improving the sanity checking of the WAL segments so
that the system would notice more reliably if the new timeline isn't an
ancestor of the current one, but that is not included in this patch.

Reviewed by Fujii Masao.

Reword alpha release note item on SSI.

Per Josh Berkus; some additional explanatory text by me.

Synchronous replication doc corrections.

Thom Brown

Zero out vacuum_count and related counters in pgstat_recv_tabstat().

This fixes an oversight in commit 946045f04d11d246a834b917a2b8bc6e4f884a37
of 2010-08-21, as reported by Itagaki Takahiro.  Also a couple of minor
cosmetic adjustments.

Document the DEFERRABLE option in SET TRANSACTION command.

Kevin Grittner

Begin error message with lower-case letter.

Silence compiler warning about undefined function when compiling without
assertions.

Tighten pg_upgrade check for pre-8.4 toast table name matching.

Suppress some "variable might be clobbered by longjmp" warnings.

Seen with an older gcc version.  I'm not sure these represent any real
risk factor, but still a bit scary.  Anyway we have lots of other
volatile-marked variables in this code, so a couple more won't hurt.

Fix a couple more missing "static" markers.

Add missing "static" marker to internal_ping().

Per testing with a compiler that doesn't like that.

Dynamic array required within pg_stat_replication.

Catversion increment for pg_stat_replication changes for syncrep

Add new files for syncrep missed in previous commit

Fix pg_dump's dump order for collations versus extensions.

Mixing them together alphabetically won't be nice.  Per my gripe of
2011-02-12.

Efficient transaction-controlled synchronous replication.
If a standby is broadcasting reply messages and we have named
one or more standbys in synchronous_standby_names then allow
users who set synchronous_replication to wait for commit, which
then provides strict data integrity guarantees. Design avoids
sending and receiving transaction state information so minimises
bookkeeping overheads. We synchronize with the highest priority
standby that is connected and ready to synchronize. Other standbys
can be defined to takeover in case of standby failure.

This version has very strict behaviour; more relaxed options
may be added at a later date.

Simon Riggs and Fujii Masao, with reviews by Yeb Havinga, Jaime
Casanova, Heikki Linnakangas and Robert Haas, plus the assistance
of many other design reviewers.

Fix incorrect access to pg_index.indcollation.

Since this field is after a variable-length field, it can't simply be
accessed via the C struct for pg_index.  Fortunately, the relcache already
did the dirty work of pulling the information out to where it can be
accessed easily, so this is a one-line fix.

Andres Freund

Improve pg_upgrade relation name check logic for pre-8.4 servers.

Update new pg_upgrade comment about pre-8.4 TOAST tables.

Restructure pg_upgrade checks because pre-8.4 Postgres did not rename
toast file names to match the new relfilenode.