Some copy-editing of the Hot Standby documentation.

Thanks to Joshua Tolley for the review.

Further 9.0 release notes updates.

Josh Berkus

Add stray "else" that seems to have gone missing.

Mention that when alter rewrites a table, indexes are also rebuilt.

Add TCP keepalive support to libpq.

This adds four additional connection parameters to libpq: keepalives,
keepalives_idle, keepalives_count, and keepalives_interval.
keepalives default to on, per discussion, but can be turned off by
specifying keepalives=0.  The remaining parameters, where supported,
can be used to adjust how often keepalives are sent and how many
can be lost before the connection is broken.

The immediate motivation for this patch is to make sure that
walreceiver will eventually notice if the master reboots without
closing the connection cleanly, but it should be helpful in other
cases as well.

Tollef Fog Heen, Fujii Masao, and me.

Add username designations to all pg_upgrade utility calls that support it.

Fix pg_upgrade's use of pg_ctl on Win32 to not send command and sever
output to the same file, because it is impossible.

Also set user name for pg_dumpall in pg_upgrade.

Update pg_ctl docs to explain server output behavior differences on
win32 and non-win32 platforms.

Updated expected-output file for hstore.

This is an oversight in my previous patch to deprecate => as an operator
name.  Per buildfarm.

Deprecate the use of => as an operator name.

In HEAD, emit a warning when an operator named => is defined.
In both HEAD and the backbranches (except in 8.2, where contrib
modules do not have documentation), document that hstore's text =>
text operator may be removed in a future release, and encourage the
use of the hstore(text, text) function instead.  This function only
exists in HEAD (previously, it was called tconvert), so backpatch
it back to 8.2, when hstore was added.  Per discussion.

Minor markup improvements for Hot Standby documentation.

In a PL/pgSQL "FOR cursor" statement, the statements executed in the loop
might close the cursor,  rendering the Portal pointer to it invalid.
Closing the cursor in the middle of the loop is not a very sensible thing
to do, but we must handle it gracefully and throw an error instead of
crashing.

Fix mishandling of whole-row Vars referencing a view or sub-select.
If such a Var appeared within a nested sub-select, we failed to translate it
correctly during pullup of the view, because the recursive call to
replace_rte_variables_mutator was looking for the wrong sublevels_up value.
Bug was introduced during the addition of the PlaceHolderVar mechanism.
Per bug #5514 from Marcos Castedo.

Rename hstore => text[] operator to %

This is not yet in any released version, so we still have the option to
change the name.  We may want to reserve the token => in a future release.

Clean up some randomness associated with trace_recovery_messages: don't
put the variable declaration in the middle of a bunch of externs,
and do use extern where it should be used.

Make RemoveOldXlogFiles's debug printout match style used elsewhere:
log and seg aren't an XLogRecPtr and shouldn't be printed like one.
Fujii Masao

Clean up pg_archivecleanup's error and logging output: put newlines in
sane places, make messages follow project's message style guidelines.

Also, avoid closedir(NULL).

Fujii Masao and Tom Lane

Add missing close brackets in old-style COPY syntax diagram.
Spotted by Evan Carroll.

Don't allow walsender to send WAL data until it's been safely fsync'd on the
master.  Otherwise a subsequent crash could cause the master to lose WAL that
has already been applied on the slave, resulting in the slave being out of
sync and soon corrupt.  Per recent discussion and an example from Robert Haas.

Fujii Masao

Fix typo, init => int, per KOIZUMI Satoru.

Document that receive location can rewind if replication restarts.

Fujii Masao, with some further wordsmithing by me.

Remove prototype of GetOldestWALSendPointer(), that is marked as NOT_USED.

Fix pg_upgrade to remove malloc(0) call.

Update doc description for 9.0 release note item:

      Have <command>SELECT</> and <command>CREATE TABLE AS</> return
      row counts to the client

9.0 release notes updates.

Josh Berkus

Remove perl symbol table additions for plperl functions, and mention of it
in the release notes, as it is not apparently providing anything useful.

Add notes that CREATE/DROP CONVERSION is similar to CREATE/DROP
TRANSLATION in the SQL standard.

Refactor sprintf calls with computed format strings into multiple calls with
constant format strings, so that the compiler can more easily check the
formats for correctness.

Fix storage of getopt() return, should be 'int', for pg_upgrade.

Steve Singer

Change the interpretation of the primary_key_attnums parameter of
dblink_build_sql_insert() and related functions.  Now the column numbers
are treated as logical not physical column numbers.  This will provide saner
behavior in the presence of dropped columns; furthermore, if we ever get
around to allowing rearrangement of logical column ordering, the original
definition would become nearly untenable from a usability standpoint.
Per recent discussion of dblink's handling of dropped columns.
Not back-patched for fear of breaking existing applications.

Clarify SELECT FOR UPDATE behavior in docs.

Remove hstore's text[] => text[] operator.

This is not yet in any released version, so we still have the option to
backtrack.  Instead, document hstore(text[], text[]).  Per discussion.

Fix dblink_build_sql_insert() and related functions to handle dropped
columns correctly.  In passing, get rid of some dead logic in the
underlying get_sql_insert() etc functions --- there is no caller that
will pass null value-arrays to them.

Per bug report from Robert Voinea.

Document new 9.0 behavior of ANALYZE on inheritance hierarchies.

In particular, note that autovacuum does not yet understand that it might
need to vacuum inheritance parents as a result of changes to the child
tables.

Consolidate and improve checking of key-column-attnum arguments for
dblink_build_sql_insert() and related functions.  In particular, be sure to
reject references to dropped and out-of-range column numbers.  The numbers
are still interpreted as physical column numbers, though, for backward
compatibility.

This patch replaces Joe's patch of 2010-02-03, which handled only some aspects
of the problem.

Unbreak MSVC builds for pg_archivecleanup by linking with libpgport

Add new GUC categories corresponding to sections in docs, and move
description for vacuum_defer_cleanup_age to the correct category.
Sections in postgresql.conf are also sorted in the same order with docs.

Per gripe by Fujii Masao, suggestion by Heikki Linnakangas, and patch by me.

Properly define pg_upgrade global variable, per bug report from Chris
Ruprecht on Mac (64 bit).

Rearrange dblink's dblink_build_sql_insert() and related routines to open and
lock the target relation just once per SQL function call.  The original coding
obtained and released lock several times per call.  Aside from saving a
not-insignificant number of cycles, this eliminates possible race conditions
if someone tries to modify the relation's schema concurrently.  Also
centralize locking and permission-checking logic.

Problem noted while investigating a trouble report from Robert Voinea --- his
problem is still to be fixed, though.

Fix doc plperl doc with is -> are change.

Docs for pg_archivecleanup

Files for pg_archivecleanup

New contrib module for use as an archive_cleanup_command, or as a
standalone utility for removing files from archive.

Fix typo in Japanese translation for psql "Use \d+ to list them."

If a corrupt WAL record is received by streaming replication, disconnect
and retry. If the record is genuinely corrupt in the master database,
there's little hope of recovering, but it's better than simply retrying
to apply the corrupt WAL record in a tight loop without even trying to
retransmit it, which is what we used to do.

Fix misplaced modifier.

As suggested by Ian Barwick.

Fix typo.

Remove max_standby_delay message from ps display of recovery process
in waiting status. The parameter is not so interesting in ps display
because it is referable in postgresql.conf.

Fix ALTER LARGE OBJECT and GRANT ... ON LARGE OBJECT for large OIDs.

The previous coding failed for OIDs too large to be represented by
a signed integer.

postgres.txt should get cleaned by 'make clean'.

Update pg_upgrade C comment about cwd.

Add missing --use-existing --help mention from regression binary.

Jan Urba?ski

Remove lynx -stdin flag for postgres.text.

Have pg_upgrade create its output files in the current directory, rather
than in a subdirectory of the $HOME directory, or $TMP in Windows.

Add SGML Makefile rule for single-page text, postgres.txt.

Add space between after ">" in ">$@" in SGML Makefile, for clarity.

Add target to build HTML documentation as single page

Fix typo/bug, found by Clang compiler

Update Python version information

Add a regression test case for bug #5497

Add missing 'Z' letter to getopt_long call --- the newly added
--analyze-only switch did not work in its short form -Z.

Josh Berkus

Use "replication" as the database name when constructing a connection
string for a streaming replication connection. It's ignored by the
server, but allows libpq to pick up the password from .pgpass where
"replication" is specified as the database name.

Patch by Fujii Masao per Tom's suggestion, with some wording changes by me.

Update text of 9.0 release notes

Josh Berkus

Rename restartpoint_command to archive_cleanup_command.

Make TriggerFile variable static. It's not used outside xlog.c.

Fujii Masao

Return NULL instead of 0/0 in pg_last_xlog_receive_location() and
pg_last_xlog_replay_location(). Per Robert Haas's suggestion, after
Itagaki Takahiro pointed out an issue in the docs. Also, some wording
changes in the docs by me.

Fix quite-bogus handling of arrays in plpython datum-to-PyObject
conversion.  Per bug #5497 from David Gardner.

Quote all string values in EXPLAIN (FORMAT YAML) output.

While my previous attempt seems to always produce valid YAML, it
doesn't always produce YAML that means what it appears to mean,
because of tokens like "0xa" and "true", which without quotes will
be interpreted as integer or Boolean literals.  So, instead, just
quote everything that's not known to be a number, as we do for
JSON.

Dean Rasheed, with some changes to the comments by me.

Remove stray word from comment.

Update ALTER TABLE docs to account for exclusion and deferrable uniqueness
constraints

Dean Rasheed

Add index entry for ::, per complaint from John Gage.

In standby mode, respect checkpoint_segments in addition to
checkpoint_timeout to trigger restartpoints. We used to deliberately only
do time-based restartpoints, because if checkpoint_segments is small we
would spend time doing restartpoints more often than really necessary.
But now that restartpoints are done in bgwriter, they're not as
disruptive as they used to be. Secondly, because streaming replication
stores the streamed WAL files in pg_xlog, we want to clean it up more
often to avoid running out of disk space when checkpoint_timeout is large
and checkpoint_segments small.

Patch by Fujii Masao, with some minor changes by me.

Make the walwriter close it's handle to an old xlog segment if it's no longer
the current one. Not doing this would leave the walwriter with a handle to a
deleted file if there was nothing for it to do for a long period of time,
preventing the file from  being completely removed.

Reported by Tollef Fog Heen, and thanks to Heikki for some hand-holding with
the patch.

Avoid "identifier will be truncated" warning in dblink
when connection string is longer than NAMEDATALEN.
The previous fix for long connection name broke the behavior.

Attempt to fix EXPLAIN (FORMAT YAML) quoting to behave sanely.

The previous code failed to quote in many cases where quoting was necessary -
YAML has loads of special characters, including -:[]{},"'|*& - so quote much
more aggressively, and only refrain from quoting things where it seems fairly
clear that it isn't necessary.

Per report from Dean Rasheed.

Fix connection leak in dblink when dblink_connect() or dblink_connect_u()
end with "duplicate connection name" errors.

Backported to release 7.4.

Fix typo in the header comment. Per request from Masao Fujii.

Make procedural language handler reference C-language function docs.

Based on suggestions from Jonathan Leto and Joshua Tolley.

Avoid useless snprintf() call when update_process_title is turned off.
Fujii Masao

Add missed function dblink_connect_u(text[,text]) to uninstall script

Ensure default-only storage parameters for TOAST relations
to be initialized with proper values. Affected parameters are
fillfactor, analyze_threshold, and analyze_scale_factor.

Especially uninitialized fillfactor caused inefficient page usage
because we built a StdRdOptions struct in which fillfactor is zero
if any reloption is set for the toast table.

In addition, we disallow toast.autovacuum_analyze_threshold and
toast.autovacuum_analyze_scale_factor because we didn't actually
support them; they are always ignored.

Report by Rumko on pgsql-bugs on 12 May 2010.
Analysis by Tom Lane and Alvaro Herrera. Patch by me.

Backpatch to 8.4.

Replace "slave" to "standby" in documentation for consistent terminology.
Almost all of the terms in docs and messages were replaced, but still
remains in a few comments and README files in codes.

Improve our explanation of the OVERLAPS operator.
Per gripe from Frank van Vugt.

Added variable handling for RETURNING clause to ecpg.

While the values were correctly returned they were not moved into C variables
as they should be.

Closes: #5489

tag 9.0beta2

Adjust misleading comment in walsender.c.  We try to send all WAL data that's
been written out from shared memory, but the previous phrasing might be read
to say that we send only what's been fsync'd.

Add current WAL end (as seen by walsender, ie, GetWriteRecPtr() result)
and current server clock time to SR data messages.  These are not currently
used on the slave side but seem likely to be useful in future, and it'd be
better not to change the SR protocol after release.  Per discussion.
Also do some minor code review and cleanup on walsender.c, and improve the
protocol documentation.

Remove link that breaks HISTORY file generation.

Translation updates for 9.0beta2

Fix some inconsistent quoting of wal_level values in messages

When referring to postgresql.conf syntax, then it's without quotes
(wal_level=archive); in narrative it's with double quotes.  But never
single quotes.

Add comments about definitions that may affect PG_CONTROL_VERSION,
per recent unintended-initdb-forcing fiasco

Fix CREATE TRIGGER release mention, WHERE -> WHEN.

Fix reference to nonexistent configure option

--enable-ssl -> --with-openssl

Update 9.0 release notes to current.

Bump PG_CONTROL_VERSION to account for the incompatible change committed earlier.

Markup fix.

Document regexp_matches() better and show example of single-row usage.

Document use of C++ for extension use.

Fix dblink to treat connection names longer than NAMEDATALEN-2 (62 bytes).
Now long names are adjusted with truncate_identifier() and NOTICE messages
are raised if names are actually truncated.

Backported to release 8.0.

On clean shutdown during recovery, don't warn about possible corruption.

Fujii Masao.  Review by Heikki Linnakangas and myself.