Small fixes

Add:

>  o Add single-step debugging of PL/PgSQL functions

Rename pg_complete_relation_size() to pg_total_relation_size(), for the
sake of brevity and clarity.

Make pg_reload_conf(), pg_rotate_logfile(), and pg_cancel_backend()
return a boolean rather than an integer to indicate success or failure.

Along the way, make some minor cleanups to dbsize.c -- in particular,
use elog() rather than ereport() for "shouldn't happen" error
conditions, and remove some of the more flagrant violations of the
Postgres indentation conventions.

Catalog version bumped.

Update two comments to refer to use the new list API names.

Update release notes for changes between beta1 and beta2.

Add note about pg_autovacuum settings not being saved on a dump, per
Robert Treat.

Force the size and alignment of LWLock array entries to be either 16 or 32
bytes.  This shouldn't make any difference on x86 machines, where the size
happened to be 16 bytes anyway, but on 64-bit machines and machines with
slock_t int or wider, it will speed array indexing and hopefully reduce
SMP cache contention effects.  Per recent experimentation.

Copy-editing for GiST README.

Readme about GiST's algorithms

1 Update Snowball sources
2 Makefile fixes

Various documentation improvements. Add a lot of index entries for
the builtin functions (although some more entries are still needed),
and remove the duplicate index entries that have been causing
collateindex.pl warnings. Consistently use "int" and "bigint", rather
than a mix of "int", "integer", "int4", "bigint", and "int8". Make
parenthesis style in syntax examples more consistent. Various
copy-editing for newly-added documentation and SGML markup fixes.

Tweak the PL/PgSQL regression tests to catch the recently reported bug
in parsing cursor declarations.

Fix recent breakage of decl_cursor_arglist syntax, per Michael Paesold.

Fix make_tuple_from_row to support nested rowtypes, per gripe from
Roman Neuhauser.  Update some obsolete comments for exec_eval_datum, too.

Minor SGML markup fixes.

Document the new autovacuum daemon.

Fix cut-and-paste-o in TCP keepalives documentation.

Minor documentation tweak: make the capitalization of a section title
consistent with the other sections in this chapter.

Ensure that any memory leaked during an error inside the bgwriter is
recovered.  I did not see any actual leak while testing this in CVS tip,
but 8.0 definitely has a problem with leaking the space temporarily
palloc'd by BufferSync().  In any case this seems a good idea to forestall
similar problems in future.  Per report from Arjen van der Meijden.

Make the documentation of GUC variables a separate chapter, rather than
a section of the "Server Run-time Environment" chapter. Also, move the
SGML for the new chapter to a separate file and fix the resulting
fallout.

Update manual's introduction to indexes to reflect 8.1 changes; in
particular the addition of bitmap scans and the relaxation of rules
about when multicolumn indexes can be used.  Also some minor editorial
work in other parts of the chapter.

Fix a mistake in the documentation for SPI_getbinval(), per Michael Fuhr.

Forgot to add pg_pltemplate to the list of shared system catalogs that
appears in the REINDEX ref page.

Fixed transaction command handling to not ignore savepoints and to correctly check for errors.

Add a few items to the release notes, and make a few more minor cleanups.

Tweak TCP-keepalive code so that an invalid setting doesn't cause us
to drop connections unceremoniously.  Also some other marginal cleanups:
don't query getsockopt() repeatedly if it fails, and avoid having the
apparent definition of struct Port depend on which system headers you
might have included or not.  Oliver Jowett and Tom Lane.

Many small improvements and copy edits to the release notes. Use "—"
rather than "-" for the "dash" character. Correct SGML markup. Make
references to the names of contributors more consistent. Rewrite a bit
of prose, and make some other similar cleanups.

Fix some corner-case bugs in _sendSQLLine's parsing of SQL commands
> found in a pg_dump archive.  It had problems with dollar-quote tags
broken across bufferload boundaries (this may explain bug report from
Rod Taylor), also with dollar-quote literals of the form $a$a$...,
and was also confused about the rules for backslash in double quoted
identifiers (ie, they're not special).  Also put in placeholder support
for E'...' literals --- this will need more work later.

Avoid changing stdin/stdout to binary mode on Windows unless that is
really the source or destination of the archive.  I think this will
resolve recent complaints that password prompting is broken in pg_restore
on Windows.  Note that password prompting and reading from stdin is an
unworkable combination on Windows ... but that was true anyway.

Update URL for FAQ_MINGW.

Given its current definition that depends on time(NULL), timetz_zone
is certainly no longer immutable, but must indeed be marked volatile.
I wonder if it should use the value of now() (that is, transaction
start time) so that it could be marked stable.  But it's probably not
important enough to be worth changing the code for ... indeed, I'm not
even going to force an initdb for this catalog change, seeing that we
just did one a few hours ago.

timestamptz_izone should return the input, not NULL, when the input
is a non-finite timestamp, for consistency with related functions.
In other words: +infinity rotated to a different timezone is still
+infinity.

Fix the various forms of AT TIME ZONE to accept either timezones found
in the zic database or zone names found in the date token table.  This
preserves the old ability to do AT TIME ZONE 'PST' along with the new
ability to do AT TIME ZONE 'PST8PDT'.  Per gripe from Bricklen Anderson.
Also, fix some inconsistencies in usage of TZ_STRLEN_MAX --- the old
code had the potential for one-byte buffer overruns, though given
alignment considerations it's unlikely there was any real risk.

Create the pg_pltemplate system catalog to hold template information
for procedural languages.  This replaces the hard-wired table I had
originally proposed as a stopgap solution.  For the moment, the initial
contents only include languages shipped with the core distribution.

Update regression tests for new USA timezone data.  Mea culpa for not
realizing that the regression tests could be affected.

Update timezone data files to release 2005m of the zic database.
Among other changes, this reflects the recently passed change in USA
daylight savings rules.

Implement a preliminary 'template' facility for procedural languages,
as per my recent proposal.  For now the template data is hard-wired in
proclang.c --- this should be replaced later by a new shared system
catalog, but we don't want to force initdb during 8.1 beta.  This change
lets us cleanly load existing dump files even if they contain outright
wrong information about a PL's support functions, such as a wrong path
to the shared library or a missing validator function.  Also, we can
revert the recent kluges to make pg_dump dump PL support functions that
are stored in pg_catalog.
While at it, I removed the code in pg_regress that replaced $libdir
with a hardcoded path for temporary installations.  This is no longer
needed given our support for relocatable installations.

Back out prior patch and instead just suppress SubqueryScan elimination
when there are extra resjunk columns in the child node.  I found some
additional cases involving Append nodes that weren't handled by the
prior patch, and it's not clear how to fix them in the same way without
breaking inheritance cases.  So the prudent path seems to be to narrow
the scope of the optimization.

Clean up version comparison/display code, per gripe from Michael Fuhr.

For non-projecting plan node types such as Limit, set_plan_references
has to recopy the input plan node's targetlist if it removes a
SubqueryScan node just below the non-projecting node.  For simplicity
I made it recopy always.  Per bug report from Allan Wang and Michael Fuhr.

Add a note about CSV lines with trailing spaces.
Suggestion by Darcy Buskermolen, reworded by me.

Conditionally output the server version number in psql if it doesn't
exactly match the client version number, and warn about major version
mismatches.

Fix typo in Richard's last name.

libpgport routines need nonstandard palloc to work on Windows.
Propagate hack that's in dirmod.c to copydir.c.

Add idea:

<   cmin/cmax pair and is stored in local memory.
>   cmin/cmax pair and is stored in local memory.  Another idea is to
>   store both cmin and cmax only in local memory.

Add log display label for unnamed server-side portals.

Fix the spelling.

Update.

<    have its heap and index files truncated.  One issue is
<    that no other backend should be able to add to the table
<    at the same time, which is something that is currently
<    allowed.
>    removed or have its heap and index files truncated.  One
>    issue is that no other backend should be able to add to
>    the table at the same time, which is something that is
>    currently allowed.

Update:

>  o Allow COPY on a newly-created table to skip WAL logging
450a452,456
>    On crash recovery, the table involved in the COPY would
>    have its heap and index files truncated.  One issue is
>    that no other backend should be able to add to the table
>    at the same time, which is something that is currently
>    allowed.

Update:

<  o Allow COPY into an empty table to skip WAL logging
>  o Allow COPY into an new table to skip WAL logging

Update listen_addresses description.

Darcy Buskermolen

Add:

> * Use UTF8 encoding for NLS messages so all server encodings can
>   read them properly
<         o %Add support for Unicode
<
<    To fix this, the data needs to be converted to/from UTF16/UTF8
<           so the Win32 wcscoll() can be used, and perhaps other functions
<    like towupper().  However, UTF8 already works with normal
<    locales but provides no ordering or character set classes.

Update wording:

<   could only see committed rows from another transaction. However,
>   could only see rows from another completed transaction. However,
981c981
<   proper visibility of the row, for example, for cursors.
>   proper visibility of the row's cmin, for example, for cursors.

Add:

>  o Allow COPY into an empty table to skip WAL logging

Clean up a couple of ad-hoc computations of the maximum number of tuples
on a page, as suggested by ITAGAKI Takahiro.  Also, change a few places
that were using some other estimates of max-items-per-page to consistently
use MaxOffsetNumber.  This is conservatively large --- we could have used
the new MaxHeapTuplesPerPage macro, or a similar one for index tuples ---
but those places are simply declaring a fixed-size buffer and assuming it
will work, rather than actively testing for overrun.  It seems safer to
size these buffers in a way that can't overflow even if the page is
corrupt.

In copy_file, use a palloc'd buffer instead of just a local char array;
a local array isn't guaranteed to have any particular alignment, and
so it could slow down the data transfer.

Add text:

* Merge xmin/xmax/cmin/cmax back into three header fields

  Before subtransactions, there used to be only three fields needed to
  store these four values. This was possible because only the current
  transaction looks at the cmin/cmax values. If the current transaction
  created and expired the row the fields stored where xmin (same as
  xmax), cmin, cmax, and if the transaction was expiring a row from a
  another transaction, the fields stored were xmin (cmin was not
  needed), xmax, and cmax. Such a system worked because a transaction
  could only see committed rows from another transaction. However,
  subtransactions can see rows from outer transactions, and once the
  subtransaction completes, the outer transaction continues, requiring
  the storage of all four fields. With subtransactions, an outer
  transaction can create a row, a subtransaction expire it, and when the
  subtransaction completes, the outer transaction still has to have
  proper visibility of the row, for example, for cursors.

  One possible solution is to create a phantom cid which represents a
  cmin/cmax pair and is stored in local memory.

Add some notes about how pg_dump relates to the practices recommended
under 'Populating a Database'.

Update performance discussion for 8.1.  Add a little more explanatory
material in the EXPLAIN section, update examples to match current reality,
show examples of bitmap indexscans as well as plain ones.

Duplicate:

< * Maintain a map of recently-expired rows
<
<   This allows vacuum to target specific pages for possible free space
<   without requiring a sequential scan.
<
Update entry:

>   One complexity is that index entries still have to be vacuumed, and
>   doing this without an index scan (by using the heap values to find the
>   index entry) might be slow and unreliable, especially for user-defined
>   index functions.

Correct comment about why contrib/xml2 isn't built automatically.

Update storage.sgml to reflect current reality.

Short-circuit AllocSetReset if nothing has been palloc'd in the memory
context since the previous AllocSetReset.  Original patch by Atsushi Ogawa,
editorialized on a little bit by Tom Lane.

8.0.3 is now the most recent version.

Update disk space computation because oids are now optional.

Fix unportable uses of <ctype.h> functions.  Per Sergey Koposov.

Add:

> * Eventually enable escape_string_warning and standard_conforming_strings

Add regression tests for disabling constraints.

Gavin Sherry

Remove a couple of obsolete statements about how many buffers you can
fit into a 512K shared memory segment.

Log send() failures when sending to statistics process (but only in
assert-enabled builds).  This is a temporary measure to see if we can
learn anything about those intermittent stats test failures in the
buildfarm.

Improve table describing shared memory parameters.

Mention max_prepared_transactions in PREPARE TRANSACTION reference page,
per Bruce's suggestion.

DropTableSpace forgot to remove dependency on tablespace's owner.
Per report from Jaime Casanova.

Fix misleading comment.

Update documentation about shared memory sizing to reflect current
reality.

Reduce default value of max_prepared_transactions from 50 to 5.  This
saves nearly 700kB in the default shared memory segment size, which seems
worthwhile, and it is a feature that many users won't use anyway.  Per
Heikki's argument, there is no point in a compromise value --- those who
are using 2PC at all will probably want it at least equal to max_connections.
But we can't set it to zero by default without breaking the prepared_xacts
regression test.

Fix platform-specific test for path prefix-ness: move it into path.c where
it can be done right.  Allow explicit use of absolute DataDir path.
Per Dave Page.

Fix misspelled error message.

Allow Win32 libpq will use it's minimal pthread implementation, and ecpg
will use pthreadGC2.

Dave Page

Sigh, looks like you need '.set mips2' before you can access MIPS
SYNC instruction.

Tweak nodeBitmapAnd to stop evaluating sub-plan scans if it finds it's
got an empty bitmap after any step; the remaining subplans can no longer
affect the result.  Per a suggestion from Ilia Kantor.

Fix initdb quoting for Win32 paths in final examples, per Dave Page.

Update pthread_self() on Win32 to return DWORD.

Add:

> * Add function to return the thread safety status of libpq and ecpg

Use GetCurrentThreadId, per Magnus.

Add a SYNC instruction to the S_UNLOCK sequence for MIPS.

Add comment about pthread_self() cast.

dumpUserConfig failed (in a pretty harmless way, but failed nonetheless)
to cope with a group name when dumping from a pre-8.1 installation.
Per report from Stefan Kaltenbrunner.

cost_agg really ought to charge something per output tuple; else there
are cases where it appears to have zero run cost.

Change the division of labor between grouping_planner and query_planner
so that the latter estimates the number of groups that grouping will
produce.  This is needed because it is primarily query_planner that
makes the decision between fast-start and fast-finish plans, and in the
original coding it was unable to make more than a crude rule-of-thumb
choice when the query involved grouping.  This revision helps us make
saner choices for queries like SELECT ... GROUP BY ... LIMIT, as in a
recent example from Mark Kirkwood.  Also move the responsibility for
canonicalizing sort_pathkeys and group_pathkeys into query_planner;
this information has to be available anyway to support the first change,
and doing it this way lets us get rid of compare_noncanonical_pathkeys
entirely.

Windows needs WSAStartup() before getaddrinfo() will work.  Andrew Dunstan

Fix two separate bugs in setrefs.c.  set_subqueryscan_references needs
to copy the whole plan tree before invoking adjust_plan_varnos(); else
if there is any multiply-linked substructure, the latter might increment
some Var's varno twice.  Previously there were some retail copyObject
calls inside adjust_plan_varnos, but it seems a lot safer to just dup the
whole tree first.  Also, set_inner_join_references was trying to avoid
work by not recursing if a BitmapHeapScan's bitmapqualorig contained no
outer references; which was OK at the time the code was written, I think,
but now that create_bitmap_scan_plan removes duplicate clauses from
bitmapqualorig it is possible for that field to be NULL while outer
references still remain in the qpqual and/or contained indexscan nodes.
For safety, always recurse even if the BitmapHeapScan looks to be outer
reference free.  Per reports from Michael Fuhr and Oleg Bartunov.

Get the MIPS assembler syntax right.  Also add a separate sync command;
the reference I consulted yesterday said SC does a SYNC, but apparently
this is not true on newer MIPS processors, so be safe.

Fix typo:

sql_information_info -> sql_implementation_info

Robert Treat

Add:

> * Allow user-defined types to specify a type modifier at table creation
>   time

Update:

>
>   Another issue is whether underlying table changes should be reflected
>   in the view, e.g. should SELECT * show additional columns if they
>   are added after the view is created.

Another try at the inlined MIPS spinlock code.  Can't test this myself,
but for sure it's not any more broken than the prior version.

Add:

>  o Issue a warning if a change-on-restart-only postgresql.conf value
>    is modified  and the server config files are reloaded
>  o Mark change-on-restart-only values in postgresql.conf
205a209
>  o Fix SELECT '0.01 years'::interval, '0.01 months'::interval

Add description and item:

>
>    Currently, while \e saves a single query as one entry, interactive
>    queries are saved one line at a time.  Ideally all queries
>    whould be saved like \e does.
>
>  o Allow multi-line column values to align in the proper columns
>
>    If the second output column value is 'a\nb', the 'b' should appear
>    in the second display column, rather than the first column as it
>    does now.

Update based on user comments:

<   in PL/PgSQL is to use EXECUTE.
>   in PL/PgSQL is to use EXECUTE.  One complexity is that a function
>   might itself drop and recreate dependent tables, causing it to
>   invalidate its own query plan.