Regression tests for large objects. Patch from Jeremy Drake.

Modify max_fsm_pages in postgresql.conf.sample to show a typical value,
rather than a value too high.

Teach psql's \lo slash commands to respect quiet mode, and to output
HTML in HTML mode. Patch from Jeremy Drake.

Document that to remove template1, datistemplate must be 'false'.
Backpatch to 8.2.

The libpq library directory was mentioned here in the wrong place, which
might lead to a previously installed libpq being used instead.  But we
don't actually have to link with libpq here at all, so remove it.

Only build ecpg test code when the test is to be performed, in line with
other test code.

Move code that places LOG error level between ERROR and PANIC into new
function is_log_level_output(), for code clarity.

Fix xmlconcat regression test

Fix xmlconcat by properly merging the XML declarations.  Add aggregate
function xmlagg.

Add wiki URL:

< first.
> first.  There is also a developer's wiki at
> http://developer.postgresql.org.

Add missing copyright blurb, make ruleutils.c use the standard layout
for its header comment.

Add items:

>  o Allow multiple vacuums so large tables do not starve small
>    tables
>
>    http://archives.postgresql.org/pgsql-general/2007-01/msg00031.php
>
>  o Improve control of auto-vacuum
>
>    http://archives.postgresql.org/pgsql-hackers/2006-12/msg00876.php

Fix pg_regress breakage for PL and contrib tests, by not requiring that
"input" and "output" dirs be necessarily present.

Add URL for:

* Add Globally/Universally Unique Identifier (GUID/UUID)
>   http://archives.postgresql.org/pgsql-general/2007-01/msg00853.php

Add support for converting binary values (i.e. bytea) into xml values,
with new GUC parameter "xmlbinary" that controls the output encoding, as
per SQL/XML standard.

Change the sed rules in the regression test for pg_regress hackery to create
the generated files, to help Visual C++ to run these tests.  The tests still
pass in VPATH and normal builds.

Patch from Magnus Hagander, editorialized by me.

Optionally use xml2-config to detect installation locations of libxml.

Clean up encoding issues in the xml type: In text mode, encoding
declarations are ignored and removed, in binary mode they are honored as
specified by the XML standard.

Add a note pointing out that is_pseudo_constant_clause() doesn't check
for aggregates.  This is OK for current uses but could burn somebody
someday...

Extend yesterday's patch so that the bgwriter is also told to forget
pending fsyncs during DROP DATABASE.  Obviously necessary in hindsight :-(

Tweak the width_bucket() regression tests to avoid an unnecessary
dependency on the platform's floating point implementation. Per
report from Stefan Kaltenbrunner.

Mark TODO item "autovacuum on by default" as completed.

Revise bgwriter fsync-request mechanism to improve robustness when a table
is deleted.  A backend about to unlink a file now sends a "revoke fsync"
request to the bgwriter to make it clean out pending fsync requests.  There
is still a race condition where the bgwriter may try to fsync after the unlink
has happened, but we can resolve that by rechecking the fsync request queue
to see if a revoke request arrived meanwhile.  This eliminates the former
kluge of "just assuming" that an ENOENT failure is okay, and lets us handle
the fact that on Windows it might be EACCES too without introducing any
questionable assumptions.  After an idea of mine improved by Magnus.

The HEAD patch doesn't apply cleanly to 8.2, but I'll see about a back-port
later.  In the meantime this could do with some testing on Windows; I've been
able to force it through the code path via ENOENT, but that doesn't prove that
it actually fixes the Windows problem ...

vcbuild updates from Magnus:

* After Markos patch, now builds pgcrypto without zlib again
* Updates README with xml info
* xml requires xslt and iconv
* disable unnecessary warning about __cdecl()
* Add a buildenv.bat called from all other bat files to set up things
like PATH for flex/bison. (Can't just set it before calling, doesn't
always work when building from the GUI)

Implement width_bucket() for the float8 data type.

The implementation is somewhat ugly logic-wise, but I don't see an
easy way to make it more concise.

When writing this, I noticed that my previous implementation of
width_bucket() doesn't handle NaN correctly:

    postgres=# select width_bucket('NaN', 1, 5, 5);
     width_bucket
    --------------
                6
    (1 row)

AFAICS SQL:2003 does not define a NaN value, so it doesn't address how
width_bucket() should behave here. The patch changes width_bucket() so
that ereport(ERROR) is raised if NaN is specified for the operand or the
lower or upper bounds to width_bucket(). For float8, NaN is disallowed
for any of the floating-point inputs, and +/- infinity is disallowed
for the histogram bounds (but allowed for the operand).

Update docs and regression tests, bump the catversion.

Minor improvements to the TODO list. Add some URLs for some
existing TODO items, and re-add a TODO item for an "estimated
count" capability.

Fix incorrect permissions check in information_schema.key_column_usage view:
it was checking a pg_constraint OID instead of pg_class OID, resulting in
"relation with OID nnnnn does not exist" failures for anyone who wasn't
owner of the table being examined.  Per bug #2848 from Laurence Rowe.

Note: for existing 8.2 installations a simple version update won't fix this;
the easiest fix is to CREATE OR REPLACE this view with the corrected
definition.

Enable autovacuum in the default configuration, per discussion.

Arrange for autovacuum to be killed when another operation wants to be alone
accessing it, like DROP DATABASE.  This allows the regression tests to pass
with autovacuum enabled, which open the gates for finally enabling autovacuum
by default.

Correct a minor inaccuracy in the pg_dumpall reference page: -g dumps
roles and tablespaces, no longer users and groups. Per Dave Page.

Backport to 8.2 and 8.1.

Fix localization support for multibyte encoding and C locale.
Slightly reworked patch from Tatsuo Ishii

Add a note to the docs describing NaN's equality and ordering behavior.
Per recent -hackers thread, this is noteworthy because Postgres behaves
differently from most implementations of NaN, including IEEE754.

Fix reverse compilation of IS DOCUMENT expression.

Replace unnecessary DISABLE_ZLIB define in pgcrypto with HAVE_LIBZ from core.

Patch from Marko Kreen.

Add support for xmlval IS DOCUMENT expression.

Remove completed items, and the last is unwanted:

<  o Fix memory leak from exceptions
<
<    http://archives.postgresql.org/pgsql-performance/2006-06/msg00305.php
<
< * Allow constraint_exclusion to work for UNIONs like it does for
<   inheritance, allow it to work for UPDATE and DELETE statements, and allow
<   it to be used for all statements with little performance impact
<
< * Add estimated_count(*) to return an estimate of COUNT(*)
<
<   This would use the planner ANALYZE statistics to return an estimated
<   count.
<   http://archives.postgresql.org/pgsql-hackers/2005-11/msg00943.php

Fix handling of CC (century) format spec in to_date/to_char.  According to
standard convention the 21st century runs from 2001-2100, not 2000-2099,
so make it work like that.  Per bug #2885 from Akio Iwaasa.

Backpatch to 8.2, but no further, since this is really a definitional
change; users of older branches are probably more interested in stability.

Fix compiler warning

Use XML output escaping also in XMLFOREST.

Update to_char("CC") description.

Update error messsage wording.

Update ORDER BY UNION function/exprssion wording (again).

Add some notes about the basic mathematical laws that the system presumes
hold true for operators in a btree operator family.  This is mostly to
clarify my own thinking about what the planner can assume for optimization
purposes.  (blowing dust off an old abstract-algebra textbook...)

Allow for arbitrary data types as content in XMLELEMENT.  The original
coercion to type xml was a mistake.  Escape values so they are valid
XML character data.

Missed two new files from Joachim's patch.

also adjust MinGW expected file to new setup
create expected file with correct port number

Simplified regression handling
Added patch by Joachim to work around OpenBSD bug in regression suite.

Fix a performance problem in databases with large numbers of tables
(or other types of pg_class entry): the function pgstat_vacuum_tabstat,
invoked during VACUUM startup, had runtime proportional to the number of
stats table entries times the number of pg_class rows; in other words
O(N^2) if the stats collector's information is reasonably complete.
Replace list searching with a hash table to bring it back to O(N)
behavior.  Per report from kim at myemma.com.

Back-patch as far as 8.1; 8.0 and before use different coding here.

Update UNION/INTERSECT/EXCEPT ORDER BY error wording for
expressions/functions.

Improve error wording of ORDER BY in UNION that uses new expressions in
ORDER BY.

Teach nodeMergejoin how to handle DESC and/or NULLS FIRST sort orders.
So far only tested by hacking the planner ...

Applied Joachim's patch for a --regression option.
Made this option mark the .c files, so the environment variable is no longer needed.
Created a special MinGW file with the special error message.
Do not print port into log file when running regression tests.

Add URL item for psql -c changes:

>    http://archives.postgresql.org/pgsql-hackers/2007-01/msg00291.php

Add:

>  o Fix transaction restriction checks for CREATE DATABASE and
>    other commands
>
>    http://archives.postgresql.org/pgsql-hackers/2007-01/msg00133.php

Add URL for PQexec() for disallowing multiple queries:

>    http://archives.postgresql.org/pgsql-hackers/2007-01/msg00184.php

Add:

>  o Extend timezone code to allow 64-bit values so we can
>    represent years beyond 2038
>
>    http://archives.postgresql.org/pgsql-hackers/2006-09/msg01363.php
>

Add:

> * Move NAMEDATALEN from postgres_ext.h to pg_config_manual.h and
>   consider making it more configurable in future releases

Allow Borland CC to compile libpq and psql.

Backpatch to 8.2.X.

L Bayuk

Allow Borland CC to compile libpq and psql.

L Bayuk

For pg_ctl -w, add reference to additional environment variables and pgpass.

Remove SGML makefile .SECONDARY tag so html rules will work properly;
Documentation/comment improvements.

Use libxml's xmlwriter API for producing XML elements, instead of doing
our own printing dance.  This does a better job of quoting and escaping the
values.

Improve SGML build rules for non-HTML output, per Peter.

Make sure BYTE_ORDER gets defined in 64-bit builds on Solaris,
per Stefan Kaltenbrunner.

Change the planner-to-executor API so that the planner tells the executor
which comparison operators to use for plan nodes involving tuple comparison
(Agg, Group, Unique, SetOp).  Formerly the executor looked up the default
equality operator for the datatype, which was really pretty shaky, since it's
possible that the data being fed to the node is sorted according to some
nondefault operator class that could have an incompatible idea of equality.
The planner knows what it has sorted by and therefore can provide the right
equality operator to use.  Also, this change moves a couple of catalog lookups
out of the executor and into the planner, which should help startup time for
pre-planned queries by some small amount.  Modify the planner to remove some
other cavalier assumptions about always being able to use the default
operators.  Also add "nulls first/last" info to the Plan node for a mergejoin
--- neither the executor nor the planner can cope yet, but at least the API is
in place.

Attached patch fixes two problems:

1) gendef works from inside visual studio - use a tempfile instead of
redirection, because for some reason you can't redirect dumpbin from
inside (patch from Joachim Wieland)
2) gendef must process only *.obj, or you get weird errors in some build
scenarios when it tries to process a logfile

Magnus Hagander

This patch enables verbose output when building all projects. This is
the same output level that was used when building a single project
before, and really needed to get reasonable information about what
happens (non-verbose just says "starting build of foo" and "done
building foo", more or less).

Magnus Hagander

Update copyright script to allow spaces around dash.

In SGML Makefile, set proper targets for recursive calls.

Update copyright year

Add:

>
> * Improve merge join performance by allowing mark/restore of
>   tuple sources
>
>   http://archives.postgresql.org/pgsql-hackers/2007-01/msg00096.php
>

Update the UTF-8 RFC reference.  RFC 2044 was obsoleted by RFC 2279,
which was obsoleted by RFC 3629.

Michael Fuhr

Build SGML documention output several times if necessary to have proper
indexes;  add 'draft' option to disable it.

Have log_temp_files be in kilobytes, remove trace call.

Remove trace macro call from new log_temp_files, until it gets more
research.

Enable another five tuple status bits by using the high bits of the
nattr field, and rename the field.

Heikki Linnakangas

Done:

> * -Add ability to monitor the use of temporary sort files

Add GUC log_temp_files to log the use of temporary files.

Bill Moran

Marginal tweaks in the documentation for ORDER BY; in particular point
out the common error that ORDER BY x, y DESC does not mean the same as
ORDER BY x DESC, y DESC.

Add a citation to Seltzer and Yigit's Usenix '91 paper about hash table
management.  The paper clearly describes many of the ideas embodied in
our current hashing code, but as far as I could find out there is not
a direct code heritage.  (Mike Olsen recalls discussion of this paper
at Postgres meetings but believes it "informed the Postgres implementation
probably just at the design level".  Margo herself says she wasn't
involved with Postgres' hash code.)  Credit where credit is due 'n all
that, even if fifteen years after the fact.

Fix vcbuild to allow building without OpenSSL and/or zlib.  Magnus

vcbuild documentation from Magnus and Dave.

Done:

< * Allow the creation of indexes with mixed ascending/descending
> * -Allow the creation of indexes with mixed ascending/descending
<
<   This is possible now by creating an operator class with reversed sort
<   operators.  One complexity is that NULLs would then appear at the start
<   of the result set, and this might affect certain sort types, like
<   merge join.
<

pltcl regression test needs to actually create an opclass, not just one operator.

Support ORDER BY ... NULLS FIRST/LAST, and add ASC/DESC/NULLS FIRST/NULLS LAST
per-column options for btree indexes.  The planner's support for this is still
pretty rudimentary; it does not yet know how to plan mergejoins with
nondefault ordering options.  The documentation is pretty rudimentary, too.
I'll work on improving that stuff later.

Note incompatible change from prior behavior: ORDER BY ... USING will now be
rejected if the operator is not a less-than or greater-than member of some
btree opclass.  This prevents less-than-sane behavior if an operator that
doesn't actually define a proper sort ordering is selected.

Prevent duplicate attribute names in XMLELEMENT.

Tweak joinlist creation to avoid generating useless one-element subproblems
when collapsing of JOIN trees is stopped by join_collapse_limit.  For instance
a list of 11 LEFT JOINs with limit 8 now produces something like
((1 2 3 4 5 6 7 8) 9 10 11 12)
instead of
(((1 2 3 4 5 6 7 8) (9)) 10 11 12)
The latter structure is really only required for a FULL JOIN.
Noted while studying an example from Shane Ambler.

Remove cost_hashjoin's very ancient hack to discourage (once, entirely forbid)
hash joins with the estimated-larger relation on the inside.  There are
several cases where doing that makes perfect sense, and in cases where it
doesn't, the regular cost computation really ought to be able to figure that
out.  Make some marginal tweaks in said computation to try to get results
approximating reality a bit better.  Per an example from Shane Ambler.

Also, fix an oversight in the original patch to add seq_page_cost: the costs
of spilling a hash join to disk should be scaled by seq_page_cost.

Some fine-tuning of xmlpi in corner cases:
- correct error codes
- do syntax checks in correct order
- strip leading spaces of argument

Check and document minimum required version of libxml.

Indent comments in makefiles better so they don't appear in the output.

Allow XML fragment to contain a XML declaration.  For that, we need a small
hand-crafted parser for the XML declaration, because libxml doesn't seem
to allow this.

Remove:

< * %Allow the identifier length to be increased via a configure option

Updates for MONEY data type:

< * Improve the MONEY data type
> * -Make 64-bit version of the MONEY data type
> * Add locale-aware MONEY type, and support multiple currencies
<   Change the MONEY data type to use DECIMAL internally, with special
<   locale-aware output formatting.
<   http://archives.postgresql.org/pgsql-hackers/2006-09/msg01107.php

Done:

> * -Allow user-defined types to accept 'typmod' parameters

Add:

>
> * Make consistent use of long/short command options --- pg_ctl needs
>   long ones, pg_config doesn't have short ones, postgres doesn't have
>   enough long ones, etc.

Add:

>  o Consider parsing the -c string into individual queries so each
>    is run in its own transaction
>
>  o Consider disallowing multiple queries in PQexec() as an
>    additional barrier to SQL injection attacks

Apply fix so pow() and exp() ERANGE is used only if result is not 0.

Already done in 8.2:

< * Allow CREATE INDEX to take an additional parameter for use with
<   special index types

Move INDEX inheritance out into a separate section:

< * Allow inherited tables to inherit index, UNIQUE constraint, and primary
<   key, foreign key
< * UNIQUE INDEX on base column not honored on INSERTs/UPDATEs from
<   inherited table:  INSERT INTO inherit_table (unique_index_col) VALUES
<   (dup) should fail
<
<   The main difficulty with this item is the problem of creating an index
<   that can span more than one table.
<
< * Allow SELECT ... FOR UPDATE on inherited tables
> * Inheritance
>
>  o Allow inherited tables to inherit indexes, UNIQUE constraints,
>    and primary/foreign keys
>  o Honor UNIQUE INDEX on base column in INSERTs/UPDATEs
>    on inherited table, e.g.  INSERT INTO inherit_table
>    (unique_index_col) VALUES (dup) should fail
>
>    The main difficulty with this item is the problem of
>    creating an index that can span multiple tables.
>
>  o Allow SELECT ... FOR UPDATE on inherited tables
>
>
>