Markup and wording improvements for 9.1 release notes.

Another 9.1 release note typo fix.

Fix snapshot isolation level typo in 9.1 release notes.

Reorder some 9.1 release item documentation entries, fix some awkward wording.

Add some platform-independent tests for the collation feature.

There's a lot we can't test very well without platform dependencies,
but the C/POSIX collations should now work the same way everywhere.

Suppress platform-dependent unused-variable warning.

The local variable "sock" can be unused depending on compilation flags.
But there seems no particular need for it, since the kernel calls can
just as easily say port->sock instead.

Fix up handling of C/POSIX collations.

Install just one instance of the "C" and "POSIX" collations into
pg_collation, rather than one per encoding.  Make these instances exist
and do something useful even in machines without locale_t support: to wit,
it's now possible to force comparisons and case-folding functions to use C
locale in an otherwise non-C database, whether or not the platform has
support for using any additional collations.

Fix up severely broken upper/lower/initcap functions, too: the C/POSIX
fastpath now does what it is supposed to, and non-default collations are
handled correctly in single-byte database encodings.

Merge the two separate collation hashtables that were being maintained in
pg_locale.c, and be more wary of the possibility that we fail partway
through filling a cache entry.

Move PITR and StreamingRep up one level of heading in the 9.1 release
notes.

Remove excessive linking to pg_ctl manual page.

Reorder incompatibility sections.

Misc minor fixes to 9.1 release notes

Thom Brown

Word-wrap 9.1 release note lines.

Add links to documentation from 9.1 release notes.

Revise collation derivation method and expression-tree representation.

All expression nodes now have an explicit output-collation field, unless
they are known to only return a noncollatable data type (such as boolean
or record).  Also, nodes that can invoke collation-aware functions store
a separate field that is the collation value to pass to the function.
This avoids confusion that arises when a function has collatable inputs
and noncollatable output type, or vice versa.

Also, replace the parser's on-the-fly collation assignment method with
a post-pass over the completed expression tree.  This allows us to use
a more complex (and hopefully more nearly spec-compliant) assignment
rule without paying for it in extra storage in every expression node.

Fix assorted bugs in the planner's handling of collations by making
collation one of the defining properties of an EquivalenceClass and
by converting CollateExprs into discardable RelabelType nodes during
expression preprocessing.

Add SGML markup for keywords, terms, functions, commands, etc.

Initial version of PG 9.1 release notes.

Rename ident authentication over local connections to peer

This removes an overloading of two authentication options where
one is very secure (peer) and one is often insecure (ident). Peer
is also the name used in libpq from 9.1 to specify the same type
of authentication.

Also make initdb select peer for local connections when ident is
chosen, and ident for TCP connections when peer is chosen.

ident keyword in pg_hba.conf is still accepted and maps to peer
authentication.

Properly clear the verbose output of pg_basebackup

Don't leave partial filename information on the last status or
dangling characters if the previous filename was longer than
the current one.

Remove "all balls" mention of network address;  change IPv6 address to ::/0.

Fix possible "tuple concurrently updated" error in ALTER TABLE.

When adding an inheritance parent to a table, an AccessShareLock on the
parent isn't strong enough to prevent trouble, so take
ShareUpdateExclusiveLock instead.  Since this is a behavior change,
albeit a fairly unobtrusive one, and since we have only one report
from the field, no back-patch.

Report by Jon Nelson, analysis by Alvaro Herrera, fix by me.

Move synchronous_standbys_defined updates from WAL writer to BG writer.

This is advantageous because the BG writer is alive until much later in
the shutdown sequence than WAL writer; we want to make sure that it's
possible to shut off synchronous replication during a smart shutdown,
else it might not be possible to complete the shutdown at all.

Per very reasonable gripes from Fujii Masao and Simon Riggs.

Woops.  Previous patch to remove -X options missed getopt_long calls().

Noted by Tom Lane.

Document that the timestamp returned by pg_last_xact_replay_timestamp is
the time on the primary that the transaction was generated.

Document the all-balls IPv6 address.

Make synchronous replication query cancel/die messages more consistent.

Per a gripe from Thom Brown about my previous commit in this area,
commit 9a56dc3389b9470031e9ef8e45c95a680982e01a.

Remove ancient -X options to pg_dump, pg_dumpall, pg_restore.

The last version in which these options were documented is now EOL, so
it's time to get rid of them for real.  We now use GNU-style long
options instead.

Remove bogus semicolons in recoveryPausesHere.

Without this, the startup process goes into a tight loop, consuming
100% of one CPU and failing to respond to interrupts.

Minor fixes for high availability documentation.

Erik Rijkers and me

Protocol documentation for Hot Standby feedback messages.

Remove bogus comment.

Fix PL/Python memory leak involving array slices

Report and patch from Daniel Popowich, bug #5842
(with some debugging help from Alex Hunsaker)

Raise maximum value of several timeout parameters

The maximum value of deadlock_timeout, max_standby_archive_delay,
max_standby_streaming_delay, log_min_duration_statement, and
log_autovacuum_min_duration was INT_MAX/1000 milliseconds, which is
about 35min, which is too short for some practical uses.  Raise the
maximum value to INT_MAX; the code that uses the parameters already
supports that just fine.

Add pause_at_recovery_target to recovery.conf.sample; improve docs.

Fujii Masao, but with the proposed behavior change reverted, and the
rest adjusted accordingly.

Fix various possible problems with synchronous replication.

1. Don't ignore query cancel interrupts.  Instead, if the user asks to
cancel the query after we've already committed it, but before it's on
the standby, just emit a warning and let the COMMIT finish.

2. Don't ignore die interrupts (pg_terminate_backend or fast shutdown).
Instead, emit a warning message and close the connection without
acknowledging the commit.  Other backends will still see the effect of
the commit, but there's no getting around that; it's too late to abort
at this point, and ignoring die interrupts altogether doesn't seem like
a good idea.

3. If synchronous_standby_names becomes empty, wake up all backends
waiting for synchronous replication to complete.  Without this, someone
attempting to shut synchronous replication off could easily wedge the
entire system instead.

4. Avoid depending on the assumption that if a walsender updates
MyProc->syncRepState, we'll see the change even if we read it without
holding the lock.  The window for this appears to be quite narrow (and
probably doesn't exist at all on machines with strong memory ordering)
but protecting against it is practically free, so do that.

5. Remove useless state SYNC_REP_MUST_DISCONNECT, which isn't needed and
doesn't actually do anything.

There's still some further work needed here to make the behavior of fast
shutdown plausible, but that looks complex, so I'm leaving it for a
separate commit.  Review by Fujii Masao.

Document guc context values, and reference them from the config doc section.

Tom Lane

Use correct PATH separator for Cygwin in pg_regress.c.

This has been broken for years, and I'm not sure why it has not been
noticed before, but now a very modern Cygwin breaks on it, and the fix
is clearly correct. Backpatching to all live branches.

Tab completion for \pset format and \pset linestyle.

Pavel Stehule

Corrections to CREATE FOREIGN TABLE documentation.

Omit incorrect = sign, and properly document server_name parameter.

Shigeru Hanada

Improve handling of unknown-type literals in UNION/INTERSECT/EXCEPT.

This patch causes unknown-type Consts to be coerced to the resolved output
type of the set operation at parse time.  Formerly such Consts were left
alone until late in the planning stage.  The disadvantage of that approach
is that it disables some optimizations, because the planner sees the set-op
leaf query as having different output column types than the overall set-op.
We saw an example of that in a recent performance gripe from Claudio
Freire.

Fixing such a Const requires scribbling on the leaf query in
transformSetOperationTree, but that should be all right since if the leaf
query's semantics depended on that output column, it would already have
resolved the unknown to something else.

Most of the bulk of this patch is a simple adjustment of
transformSetOperationTree's API so that upper levels can get at the
TargetEntry containing a Const to be replaced: it now returns a list of
TargetEntries, instead of just the bare expressions.

Remove unused copy_dir() function from pg_upgrade.

Adjust doc wording about the casting exceptions for composite types.

Add hint suggesting the use of EXECUTE CREATE TABLE ... AS for EXECUTE INTO.

Fix spelling error in fuzzystrmatch docs.

Wording adjustment for restart_after_crash entry

Specifically, mention that "restart" is disabled by this parameter.

Add database comments to template0 and postgres databases, and improve
the comments on the template1 database.  No catalog version bump because
they are just comments.

Minor sync rep documentation improvements.

- Make the name of the ID tag for the GUC entry match the GUC name.
- Clarify that synchronous_replication waits for xlog flush, not receipt.
- Mention that synchronous_replication won't wait if max_wal_senders=0.

Remove 13 keywords that are used only for ROLE options.

Review by Tom Lane.

Remove special case allowing parameters to ident auth for initdb

This was required in pre-8.4 versions to allow the specification of
"ident sameuser", but sameuser is no longer required. It could be extended
to allow all parameters in the future, but should then apply to all
methods and not just ident.

Adjust regression test to avoid platform-dependent failure.

We have a test that verifies that max(anyarray) will cope if the array
column elements aren't all the same array type.  However, it's now possible
for that to produce a collation-related error message instead of the
expected one, if the first two column elements happen to be of the same
type and it's one that expects to be given collation info.  Tweak the test
to ensure this doesn't happen.  Per buildfarm member pika.

Remove duplicate time-based macros recently added.

Simplify list traversal logic in add_path().

Its mechanism for recovering after deleting the current list cell was
a bit klugy.  Borrow the technique used in other places.

Make all comparisons done for/with statistics use the default collation.

While this will give wrong answers when estimating selectivity for a
comparison operator that's using a non-default collation, the estimation
error probably won't be large; and anyway the former approach created
estimation errors of its own by trying to use a histogram that might have
been computed with some other collation.  So we'll adopt this simplified
approach for now and perhaps improve it sometime in the future.

This patch incorporates changes from Andres Freund to make sure that
selfuncs.c passes a valid collation OID to any datatype-specific function
it calls, in case that function wants collation information.  Said OID will
now always be DEFAULT_COLLATION_OID, but at least we won't get errors.

Use "backend process" rather than "backend server", where appropriate.

Use macros for time-based constants, rather than constants.

Add test case for collation mismatch in recursive query

This isn't very important by itself, but was left on my list of things
without test coverage for the collation feature.

On further reflection, we'd better do the same in int.c.

We previously heard of the same problem in int24div(), so there's not a
good reason to suppose the problem is confined to cases involving int8.

Put in some more safeguards against executing a division-by-zero.

Add dummy returns before every potential division-by-zero in int8.c,
because apparently further "improvements" in gcc's optimizer have
enabled it to break functions that weren't broken before.

Aurelien Jarno, via Martin Pitt

Split CollateClause into separate raw and analyzed node types.

CollateClause is now used only in raw grammar output, and CollateExpr after
parse analysis.  This is for clarity and to avoid carrying collation names
in post-analysis parse trees: that's both wasteful and possibly misleading,
since the collation's name could be changed while the parsetree still
exists.

Also, clean up assorted infelicities and omissions in processing of the
node type.

In docs, rename "backwards compatibility" to "backward compatibility"
for consistency.

Create an explicit concept of collations that work for any encoding.

Use collencoding = -1 to represent such a collation in pg_collation.
We need this to make the "default" entry work sanely, and a later
patch will fix the C/POSIX entries to be represented this way instead
of duplicating them across all encodings.  All lookup operations now
search first for an entry that's database-encoding-specific, and then
for the same name with collencoding = -1.

Also some incidental code cleanup in collationcmds.c and pg_collation.c.

Remove duplicate indexterm to silence openjade wrning.

Update documentation on FreeBSD write cache control.

Document that to_char('FM') removes only trailing zeros.

Document how listen_addresses can do only IPv4 or IPv6.

In ecpg preprocessor, don't try to look up constants in the test for
variable hiding. A constant is not a variable. It worked in most cases by
accident, because we add constants to the global list of variables (why?),
but float constants like 1.23 were interpreted as struct field references,
and not found.

Backpatch to 9.0, where the test for variable hiding was added.

Adds index entries for session_user and pg_describe_object
Removes extraneous closing parenthesis from pg_describe_object
Puts pg_describe_object and has_sequence_privilege in correct
alphabetical position in function listing

Thom Brown

In plpsql docs, use RAISE rather than undefined log function.

Improve extract(day) documentation with interval values.

Fix "unparenthesized" mention in vacuum docs.

Update kernel docs for Solaris 10.

Josh Berkus

Document that pg_dump --clean might generate some harmless errors on restore.

Update C comment about O_DIRECT and fsync().

Document that libpq's PQgetResult() should be called after a fatal error
to fully process errors.

Document that the parenthesized VACUUM syntax is deprecated, not the
FREEZE functionality.

Add comment to tools/git-external-diff.

Change "TIP" to "HINT" to match backend message style, in pg_ctl -m fast
suggestion.

Remove pg_dump -X options that are only in 9.1 and not needed for
backward compatibility.

Add C comment that new new pg_dump -X options are to be created.

When a smart pg_ctl shutdown fails, mention -m fast as a tip.

Modify pg_test_fsync to match the behavior of git head in regards to
O_DIRECT behavior.

Clarify C comment that O_SYNC/O_FSYNC are really the same settting, as
opposed to O_DSYNC.

Reference doc "examples" section for pg_dump options that often need
complex quoting, e.g. -t and -n.

More wording improvements for disallowed SQL function commands.

Improve SQL function disallowed command wording.

Clarify what commands are not allowed in SQL functions.

Add proper git-external-diff script to src/tools.

Revert addition of third argument to format_type().

Including collation in the behavior of that function promotes a world view
we do not want.  Moreover, it was producing the wrong behavior for pg_dump
anyway: what we want is to dump a COLLATE clause on attributes whose
attcollation is different from the underlying type, and likewise for
domains, and the function cannot do that for us.  Doing it the hard way
in pg_dump is a bit more tedious but produces more correct output.

In passing, fix initdb so that the initial entry in pg_collation is
properly pinned.  It was droppable before :-(

Make error handling of synchronous_standby_names consistent.

It's not a good idea to kill the postmaster just because someone muffs
this, and it's not consistent with what we do for other, similar GUCs.

Fujii Masao, with a bit more hacking by me

More synchronous replication typo fixes.

Fujii Masao

More synchronous replication tweaks.

SyncRepRequested() must check not only the value of the
synchronous_replication GUC but also whether max_wal_senders > 0.
Otherwise, we might end up waiting for sync rep even when there's no
possibility of a standby ever managing to connect.  There are some
existing cross-checks to prevent this, but they're not quite sufficient:
the user can start the server with max_wal_senders=0,
synchronous_standby_names='', and synchronous_replication=off and then
subsequent make synchronous_standby_names not empty using pg_ctl reload,
and then SET synchronous_standby=on, leading to an indefinite hang.

Along the way, rename the global variable for the synchronous_replication
GUC to match the name of the GUC itself, for clarity.

Report by Fujii Masao, though I didn't use his patch.

Remove obsolete comment.

In earlier versions of the sync rep patch, waiters removed themselves from
the queue, but now walsender removes them before doing the wakeup.

Report by Fujii Masao.

Minor sync rep corrections.

Fujii Masao, with a bit of additional wordsmithing by me.

Emit a LOG message when pausing at the recovery target.

Fujii Masao

Add missing index terms for recovery control functions.

Fujii Masao

Use '=' when documenting long options.

Replication README updates.

Fujii Masao

Fix bugs in the isolation tester flex rules.

Tom Lane pointed out that it was giving a warning: "-s option given but
default rule can be matched". That was because there was no rule to handle
newline in a quoted string. I made that throw an error.

Also, line number tracking was broken, giving incorrect line number on
error. Fixed that too.

Cleanup copyright years and file names in the header comments of some files.

replication/repl_gram.h needs to be cleaned too ...

Fix some oversights in distprep and maintainer-clean targets.

At least two recent commits have apparently imagined that a comment in
a Makefile stating that something would be included in the distribution
tarball was sufficient to make it so.  They hadn't bothered to hook
into the upper maintainer-clean targets either.  Per bug #5923 from
Charles Johnson, in which it emerged that the 9.1alpha4 tarballs are
short a few files that should be there.

Mention gcc version in C comment.

Remove collation information from TypeName, where it does not belong.

The initial collations patch treated a COLLATE spec as part of a TypeName,
following what can only be described as brain fade on the part of the SQL
committee.  It's a lot more reasonable to treat COLLATE as a syntactically
separate object, so that it can be added in only the productions where it
actually belongs, rather than needing to reject it in a boatload of places
where it doesn't belong (something the original patch mostly failed to do).
In addition this change lets us meet the spec's requirement to allow
COLLATE anywhere in the clauses of a ColumnDef, and it avoids unfriendly
behavior for constructs such as "foo::type COLLATE collation".

To do this, pull collation information out of TypeName and put it in
ColumnDef instead, thus reverting most of the collation-related changes in
parse_type.c's API.  I made one additional structural change, which was to
use a ColumnDef as an intermediate node in AT_AlterColumnType AlterTableCmd
nodes.  This provides enough room to get rid of the "transform" wart in
AlterTableCmd too, since the ColumnDef can carry the USING expression
easily enough.

Also fix some other minor bugs that have crept in in the same areas,
like failure to copy recently-added fields of ColumnDef in copyfuncs.c.

While at it, document the formerly secret ability to specify a collation
in ALTER TABLE ALTER COLUMN TYPE, ALTER TYPE ADD ATTRIBUTE, and
ALTER TYPE ALTER ATTRIBUTE TYPE; and correct some misstatements about
what the default collation selection will be when COLLATE is omitted.

BTW, the three-parameter form of format_type() should go away too,
since it just contributes to the confusion in this area; but I'll do
that in a separate patch.