Make SQL arrays support null elements.  This commit fixes the core array
functionality, but I still need to make another pass looking at places
that incidentally use arrays (such as ACL manipulation) to make sure they
are null-safe.  Contrib needs work too.
I have not changed the behaviors that are still under discussion about
array comparison and what to do with lower bounds.

DropRelFileNodeBuffers failed to fix the state of the lookup hash table
that was added to localbuf.c in 8.1; therefore, applying it to a temp table
left corrupt lookup state in memory.  The only case where this had a
significant chance of causing problems was an ON COMMIT DELETE ROWS temp
table; the other possible paths left bogus state that was unlikely to
be used again.  Per report from Csaba Nagy.

Update, add mention of user locking table before MERGE:

<   so duplicate checking can be easily performed.
>   so duplicate checking can be easily performed.  It is possible to
>   do it without a unique index if we require the user to LOCK the table
>   before the MERGE.

make_restrictinfo() failed to attach the specified required_relids to
its result when the clause was an OR clause.  Brain fade exposed by
example from Sebastian BÎck.

Add batch mode, make new libpq section:

< * Add a libpq function to support Parse/DescribeStatement capability
< * Add PQescapeIdentifier() to libpq
< * Prevent PQfnumber() from lowercasing unquoted the column name
<
<   PQfnumber() should never have been doing lowercasing, but historically
<   it has so we need a way to prevent it
<
648a642,661
>
>
> libpq
>
>  o Add a function to support Parse/DescribeStatement capability
>  o Add PQescapeIdentifier()
>  o Prevent PQfnumber() from lowercasing unquoted the column name
>
>    PQfnumber() should never have been doing lowercasing, but
>    historically it has so we need a way to prevent it
>
>  o Allow query results to be automatically batched to the client
>
>    Currently, all query results are transfered to the libpq
>    client before libpq makes the results available to the
>    application.  This feature would allow the application to make
>    use of the first result rows while the rest are transfered, or
>    held on the server waiting for them to be requested by libpq.
>    One complexity is that a query like SELECT 1/col could error
>    out mid-way through the result set.

Fix comment on -v option

Properly document return value of strpos().

Update error message and documentation for fsync test.

Have test_fsync honor -f filename argument.

Update MERGE:

>
>   To implement this cleanly requires that the table have a unique index
>   so duplicate checking can be easily performed.
>

Add reminder that we should link to the documentation section for new
features.

Prevent certain symbols that are used for both typedefs and variable
names from being added to pgindent's typedef list.  The existance of
them caused weird formatting in the date/type files, and in keywords.c.

Backpatch to 8.1.X.

Fix recent problems with BSD indent, including indenting past 80
columns, shifting comment to the right when more than 150 'else if'
clauses were used, and update typedefs for 8.1.X.

NetBSD patched updated, with documentation.

Restore the former RestrictInfo field valid_everywhere (but invert the flag
sense and rename to "outerjoin_delayed" to more clearly reflect what it
means).  I had decided that it was redundant in 8.1, but the folly of this
is exposed by a bug report from Sebastian Böck.  The place where it's
needed is to prevent orindxpath.c from cherry-picking arms of an outer-join
OR clause to form a relation restriction that isn't actually legal to push
down to the relation scan level.  There may be some legal cases that this
forbids optimizing, but we'd need much closer analysis to determine it.

Translation typo fix

Re-run pgindent to fix breakage when exceeding 150 'else if' clauses.

Cosmetic fix only.

Prevent ExecInsert() and ExecUpdate() from scribbling on the result tuple
slot of the topmost plan node when a trigger returns a modified tuple.
These appear to be the only places where a plan node's caller did not
treat the result slot as read-only, which is an assumption that nodeUnique
makes as of 8.1.  Fixes trigger-vs-DISTINCT bug reported by Frank van Vugt.

Remove usage of ArrayType->flags field, use pgsql's macros BITS_PER_BYTE instead
of self-defined macros, add limit of Array  to gist__int_ops. BTW, intarray now
doesn't support NULLs in arrays.

Use postgres-wide macros BITS_PER_BYTE instead self-definenig macros, also use it for calculating bit length of TPQTGist

fix returning value

Force the second argument of SUBSTRING(foo FOR bar) to be int4, to avoid
surprising results when it's some other numeric type.  This doesn't solve
the generic problem of surprising implicit casts to text, but it's a
low-impact way of making sure this particular case behaves sanely.
Per gripe from Harald Fuchs and subsequent discussion.

Revert pgindent length back to 79 because we are going to fix the BSD
indent bug.

add missing quote mark to ident_file sample line - per Hiroshi Saito

When in transaction-aborted state, reject Bind message for portals containing
anything but transaction-exiting commands (ROLLBACK etc).  We already rejected
Parse and Execute in such cases, so there seems little point in allowing Bind.
This prevents at least an Assert failure, and probably worse things, since
there's a lot of infrastructure that doesn't work when not in a live
transaction.  We can also simplify the Bind logic a bit by rejecting messages
with a nonzero number of parameters, instead of the former kluge to silently
substitute NULL for each parameter.  Per bug #2033 from Joel Stevenson.

Fix misspelling of 'listen_addresses', per Devrim.

Fix rwrite(ARRAY) on 64-bit boxes:

Instead of getting elements of array manually call deconstruct_array

New features for tsearch2:
1 Comparison operation for tsquery
2 Btree index on tsquery
3 numnode(tsquery) - returns 'length' of tsquery
4 tsquery @ tsquery, tsquery ~ tsquery - contains, contained for tsquery.
  Note: They don't gurantee exact result, only MAY BE, so it
  useful only for speed up rewrite functions
5 GiST index support for @,~
6 rewrite():
        select rewrite(orig, what, to);
        select rewrite(ARRAY[orig, what, to]) from tsquery_table;
        select rewrite(orig, 'select what, to from tsquery_table;');
7 significantly improve cover algorithm

Lower pgident length to 77, document BSD indent bug.

Change maximum pgindent length from 79 to 78, per Tom.

R-tree is dead ... long live GiST.

Translation updates forward-port to HEAD.

Add simple sanity checks on newly-read pages to GiST, too.

Add defenses to btree and hash index AMs to do simple sanity checks
on every index page they read; in particular to catch the case of an
all-zero page, which PageHeaderIsValid allows to pass.  It turns out
hash already had this idea, but it was just Assert()ing things rather
than doing a straight error check, and the Asserts were partially
redundant with PageHeaderIsValid anyway.  Per recent failure example
from Jim Nasby.  (gist still needs the same treatment.)

Clean up representation of SLRU page state.  This is the cleaner fix
for the SLRU race condition that I posted a few days ago, but we decided
not to use in 8.1 and older branches.

Brand HEAD branch as 8.2devel.

Tag everything for 8.1.0 ... Finally, a relesae on scheduale!!

Repair an error introduced by log_line_prefix patch: it is not acceptable
to assume that the string pointer passed to set_ps_display is good forever.
There's no need to anyway since ps_status.c itself saves the string, and
we already had an API (get_ps_display) to return it.
I believe this explains Jim Nasby's report of intermittent crashes in
elog.c when %i format code is in use in log_line_prefix.
While at it, repair a previously unnoticed problem: on some platforms such as
Darwin, the string returned by get_ps_display was blank-padded to the maximum
length, meaning that lock.c's attempt to append " waiting" to it never worked.

Add mention to update FAQ item on most recent release to RELEASE_CHANGES.

Update FAQ for most recent release as 8.1.

Yet another supported-platforms update.

Editorial review for partitioning/constraint exclusion documentation.

Improve description of constraint_exclusion variable.

Translation updates

Spellchecking run, final cleanups

Update release notes for 8.1.

Remove a gratuitous string difference (does not affect translations).

Fix logical error in option description.

Ensure that we only create one ConsoleCtrlHandler per psql process,
so as to avoid performance issues and possible ultimate crash on long
psql scripts.  Per Merlin Moncure.

We haven't seen any agreement emerge as to what is causing AIX 5.3 ML3
to fail to successfully build the release candidates.

However, a patch has emerged (thanks, Seneca!) that does allow it to
work, and which I'd expect to be portable (better still!).

We are still actively pursuing why it breaks, but supposing that still
remains outstanding, at least the following would allow AIX users to
better survive a build...

Chris Browne

Disregard superuserness when checking to see if a role GRANT would
create circularity of role memberships.  This is a minimum-impact fix
for the problem reported by Florian Pflug.  I thought about removing
the superuser_arg test from is_member_of_role() altogether, as it seems
redundant for many of the callers --- but not all, and it's way too late
in the 8.1 cycle to be making large changes.  Perhaps reconsider this
later.

Update supported-platforms list.

Avoid referring to a specific version of the SQL standard except where
necessary, and be careful to refer to the right version where it is
useful to do so.  This partially reverts an ill-considered search and
replace from a few months ago.

Fix a couple of missed None -> DestNone in comments.

Fix one overlooked ocurrence of "None" in EXEC_BACKEND block.

Fix incorrect header size macros

Thinking further, it seems we had better also copy down resorigtbl/resorigcol
to ensure that SubqueryScan elimination doesn't change the behavior of
reporting of original column sources.

Fix the recently-added code that eliminates unnecessary SubqueryScan nodes
from a finished plan tree.  We have to copy the output column names
(resname fields) from the SubqueryScan down to its child plan node;
else, if this is the topmost level of the plan, the wrong column names
will be delivered to the client.  Per bug #2017 reported by Jolly Chen.

Rename the members of CommandDest enum so they don't collide with other uses of
those names.  (Debug and None were pretty bad names anyway.)  I hope I catched
all uses of the names in comments too.

Translation updates.

pgcrypto documentation polishing from Marko Kreen, and a small amount
of copy-editing from myself.

Some minor improvements to the CE docs. Also fix a bit of SGML markup
elsewhere.

Fix longstanding race condition in transaction log management: there was a
very narrow window in which SimpleLruReadPage or SimpleLruWritePage could
think that I/O was needed when it wasn't (and indeed the buffer had already
been assigned to another page).  This would result in an Assert failure if
Asserts were enabled, and probably in silent data corruption if not.
Reported independently by Jim Nasby and Robert Creager.

I intend a more extensive fix when 8.2 development starts, but this is a
reasonably low-impact patch for the existing branches.

Add Tomoaki Sato to pgbench changes in release notes.

Add some documentation for constraint exclusion and basic partitioning.
From Simon Riggs; cleanup and editorialization by Neil Conway.

Make an editorial pass over the reference pages.

Provide a --no-locale option for pg_regress and a corresponding NOLOCALE=1
setting for the regression makefile, allowing Windows users to force locale
settings since Windows does not get its locale from the environment.

Per Petr Jelinek.

Update supported-platforms entry for Tru64.

Mention in the docs that temporary/non-temp tables can not share
referential integrity relationships.

Add sanity check of query

Update supported-platforms list.

tag it for rc1

Fix psql ref typo.

Andreas Seltenreich

Fix some allocation size calculation errors that would cause pgbench
to fail with large test scripts.

Update a couple of obsolete comments.

Translation updates

Message corrections

Update supported-platforms list.

Fix broken markup.

Reorder code so that we don't have to hold a critical section while
reserving SLRU space for a new MultiXact.  The original coding would have
treated out-of-disk-space as a PANIC condition, which is unnecessary.

Clean up AIX build to avoid 'duplicate symbol' warnings, by moving use
of postgres.imp file into BE_DLLLIBS macro.  This makes the AIX build
work more like the Windows and Darwin builds, which have similar requirements
to mention a backend library when linking shared libraries that will be
dynamically loaded into the backend.

Fix race condition in multixact code: it's possible to try to read a
multixact's starting offset before the offset has been stored into the
SLRU file.  A simple fix would be to hold the MultiXactGenLock until the
offset has been stored, but that looks like a big concurrency hit.  Instead
rely on knowledge that unset offsets will be zero, and loop when we see
a zero.  This requires a little extra hacking to ensure that zero is never
a valid value for the offset.  Problem reported by Matteo Beccati, fix
ideas from Martijn van Oosterhout, Alvaro Herrera, and Tom Lane.

1 Fix problem with lost precision in rank with OR-ed lexemes
2 Allow tsquery_in to input void tsquery: resolve dump/restore problem with tsquery

Remove mention that \x doesn't affect backslash commands.

Add an ifneq to avoid make warning on AIX --- there is a separate rule
for postgres: on line 86, and line 43 shouldn't be used.  Noted while
looking at kookaburra buildfarm results.

Tweak buffer manager so that 'internal' accesses to a buffer do not
advance its usage_count.  This includes writes of dirty buffers triggered
by bgwriter, checkpoint, or FlushRelationBuffers, as well as various
corner cases that really ought not count as accesses to the page.
Should make for some marginal improvement in the quality of our decisions
about when to recycle buffers.  Per suggestion from ITAGAKI Takahiro.

Update:

<  o Allow ALTER TABLE RENAME CONSTRAINT
>  o Add ALTER TABLE RENAME CONSTRAINT, update index name also

Add:

>  o Have ALTER INDEX update the name of a constraint using that index
>  o Allow ALTER TABLE RENAME CONSTRAINT

Add mention that .pgpass localhost matches tcp and unix domain sockets.

Add mention of errfinish.

Disable expanded mode only for \d tablename, not for all backslash
commands.  Per complaint that \df+ is clearer in expanded mode.

Add comment documenting actual failure case of using
interval_justify_hours in timestamp subtraction.  TODO already has text
description.

Add items from Tom:

<  o Add a GUC variable to allow output of interval values in ISO8601
<    format
212a211,223
>  o Add a GUC variable to allow output of interval values in ISO8601
>    format
>  o Improve timestamptz subtraction to be DST-aware
>
>    Currently, subtracting one date from another that crosses a
>    daylight savings time adjustment can return '1 day 1 hour', but
>    adding that back to the first date returns a time one hour in
>    the future.  This is caused by the adjustment of '25 hours' to
>    '1 day 1 hour', and '1 day' is the same time the next day, even
>    if daylight savings adjustments are involved.
>
>  o Fix interval display to support values exceeding 2^31 hours
>  o Add overflow checking to timestamp and interval arithmetic

Add info about using rsync to make base backups.  Per report from
Jeff Frost, it may be necessary to ignore specific exit codes.

Adjust parser so that POSTQUEL-style implicit RTEs are stored with
inFromCl true, meaning that they will list out as explicit RTEs if they
are in a view or rule.  Update comments about inFromCl to reflect the way
it's now actually used.  Per recent discussion.

Rename config section headings.

Simon Riggs

Fix longstanding bug that would sometimes let the planner generate a bad plan
for an outer join; symptom is bogus error "RIGHT JOIN is only supported with
merge-joinable join conditions".  Problem was that select_mergejoin_clauses
did its tests in the wrong order.  We need to force left join not right join
for a merge join when there are non-mergeable join clauses; but the test for
this only accounted for mergejoinability of the clause operator, and not
whether the left and right Vars were of the proper relations.  Per report
from Jean-Pierre Pelletier.

Add:

>
>  o Add auto-expanded mode so expanded output is used if the row
>    length is wider than the screen width.
>
>    Consider using auto-expanded mode for backslash commands like \df+.

Convert explanation of interval change into something resembling grammatical
English, and fix the incorrect example.

Remove justify_hours call from interval_mul and interval_div, and make
some small stylistic improvements in these functions.  Also fix several
places where TMODULO() was being used with wrong-sized quotient argument,
creating a risk of overflow --- interval2tm was actually capable of going
into an infinite loop because of this.

Small grammar correction.