Fix bug I introduced while cleaning up pg_dump -t/-n patch.

Editorialize a bit on the recent patch, reverting to the original versions
of the text where appropiate.

Add support for loadable modules to allocated shared memory and
lightweight locks.

Marc Munro

Add pg_dump -X no-data-for-failed-tables option to suppress loading data
if table creation failed (the table already exists).

Martin Pitt

Done:

<  o %Allow pg_dump to use multiple -t and -n switches  [pg_dump]
<
<    http://archives.postgresql.org/pgsql-patches/2006-01/msg00190.php
<
>  o -Allow pg_dump to use multiple -t and -n switches, exclusion
>     ability, and regular expression object matching

Remove TODO.detail/pg_dump.

Allow multiple -n (schema) and -t (table)  pg_dump options, and add -T
and -N options to exclude objects.  Also support regular expressions for
option object names.

Greg Sabino Mullane

Remove extra argument to printf().

have pg_regress fall back on testing with the canonical results file if an
alternative test is specified but none succeeds.

Improvements to Maintenance and External Projects documentation.

Joshua D. Drake
Robert Treat

Add:

> * Consider compressed annealing to search for query plans
>
>   This might replace GEQO, http://sixdemonbag.org/Djinni.

Change the relation_open protocol so that we obtain lock on a relation
(table or index) before trying to open its relcache entry.  This fixes
race conditions in which someone else commits a change to the relation's
catalog entries while we are in process of doing relcache load.  Problems
of that ilk have been reported sporadically for years, but it was not
really practical to fix until recently --- for instance, the recent
addition of WAL-log support for in-place updates helped.

Along the way, remove pg_am.amconcurrent: all AMs are now expected to support
concurrent update.

Added missing ECPGget_sqlca() call

First small patches needed for regression tests

Fix memory allocation bug in pgbench.
patches submitted by ITAGAKI Takahiro.

Change the bootstrap sequence so that toast tables for system catalogs are
created in the bootstrap phase proper, rather than added after-the-fact
by initdb.  This is cleaner than before because it allows us to retire the
undocumented ALTER TABLE ... CREATE TOAST TABLE command, but the real reason
I'm doing it is so that toast tables of shared catalogs will now have
predetermined OIDs.  This will allow a reasonably clean solution to the
problem of locking tables before we load their relcache entries, to appear
in a forthcoming patch.

Fix confusion between COPY FROM and COPY TO, per Gavin Sharry and Arul Shaji.

Fix a couple of comments.

Replaced $Header$ by $§PosgreSQL$

Added missing $Header$ entries.

Modify snapshot definition so that lazy vacuums are ignored by other
vacuums.  This allows a OLTP-like system with big tables to continue
regular vacuuming on small-but-frequently-updated tables while the
big tables are being vacuumed.

Original patch from Hannu Krossing, rewritten by Tom Lane and updated
by me.

Add:

> * Consider detoasting keys before sorting

Fix WIN32 wait() return value macros to be accurate, particularly
because they are used for testing the return value from system().
(WIN32 doesn't overlay the return code with other failure conditions
like Unix does, so they are just simple macros.)

Fix regression checks to properly handle diff failures on Win32 using
the new macros.

prevent multiplexing Windows kernel event objects we listen for across various sockets - should fix the occasional stats test regression failures we see.

Add entry:

> * Add column to pg_stat_activity that shows the progress of long-running
>   commands like CREATE INDEX and VACUUM

Don't use #include <crtdefs.h> for MSVC <= 1400.

Hiroshi Saito

Add:

> * Add support for SQL-standard GENERATED/IDENTITY columns
>
>   http://archives.postgresql.org/pgsql-hackers/2006-07/msg00543.php

Add #include postgres_fe.h in two win32-specific files, because there is
pg-specific code in those files, or might be some day.

Adjust initialization sequence for timezone_abbreviations so that
it's handled just about like timezone; in particular, don't try
to read anything during InitializeGUCOptions.  Should solve current
startup failure on Windows, and avoid wasted cycles if a nondefault
setting is specified in postgresql.conf too.  Possibly we need to
think about a more general solution for handling 'expensive to set'
GUC options.

Change the delta val from 0 and 10000 to -5000 and 5000 per recent
discussion in hackers list.  Also enhance predefined benchmark
scenarios to reflect the scaling factor parameter flexibly.

Remove update TODO.detail item.

Updates per Tom:

> * Allow DISTINCT to work in multiple-argument aggregate calls
<  o Allow UPDATE to handle complex aggregates [update]?

SQL2003-standard statistical aggregates, by Sergey Koposov.  I've added only
the float8 versions of the aggregates, which is all that the standard requires.
Sergey's original patch also provided versions using numeric arithmetic,
but given the size and slowness of the code, I doubt we ought to include
those in core.

Fix table title.

Make it clearer that not every Postgres character set can be used as a
server-side character set.

Update Tatsuo:

< * Tatsuo is Tatsuo Ishii <t-ishii@sra.co.jp> of Software Research Assoc.
> * Tatsuo is Tatsuo Ishii <ishii@sraoss.co.jp> of SRA OSS, Inc. Japan

Variables should be free'ed only once.

Removed superfluous comment

And one more:
Connection identifier has to be unique

Added more SoC changes by Joachim Wieland <joe@mcknight.de>:
- SHOW statement puts result into a variable
- COPY TO STDOUT works

Add URL for UPDATE/SET for multiple values.

Add for UPDATE SET for multiple values:

>
>           A subselect can also be used as the value source.

Fix incorrect function return code in cube_cmp and cube_dim;
update regression expected files to what I think is correct.

revert last change - broke non-AIX platforms.

Aggregate functions now support multiple input arguments.  I also took
the opportunity to treat COUNT(*) as a zero-argument aggregate instead
of the old hack that equated it to COUNT(1); this is materially cleaner
(no more weird ANYOID cases) and ought to be at least a tiny bit faster.
Original patch by Sergey Koposov; review, documentation, simple regression
tests, pg_dump and psql support by moi.

another try at keeping AIX/ppc happy on cube test.

fix most regression tests for new cube code.

Original coding of pg_regress.c made the results and log directories
with restrictive permissions, which was not the behavior of the shell
script and doesn't seem very desirable.  Use the umask setting instead.

Allow LDAP lookups from pg_service.conf.

Albe Laurenz

Allow units to be specified with configuration settings.

Code review for bigint-LIMIT patch.  Fix missed planner dependency,
eliminate unnecessary code, force initdb because stored rules change
(limit nodes are now supposed to be int8 not int4 expressions).
Update comments and error messages, which still all said 'integer'.

Reorder items:

<    o Allow point-in-time recovery to archive partially filled
<      write-ahead logs? [pitr]
>    o Add command to archive partially filled write-ahead logs? [pitr]
<      of a disk failure. This could be triggered by a user command or
<      a timer.
>      of a disk failure.
<      recovery.  A function call to do this would also be useful.
>      recovery.
>    o Add reporting of the current WAL file and offset, perhaps as
>      part of partial log file archiving
>
>      The offset allows parts of a WAL file to be archived using
>      an external program.
>
<    o Add reporting of the current WAL file and offset, perhaps as
<      part of partial log file archiving
<
<      The offset allows parts of a WAL file to be archived using
<      an external program.

Work around bug in strxfmt() but in MS VS2005.

William ZHANG

When a GUC string variable is not set, print the empty string (in SHOW etc.),
not "unset".  An "unset" state doesn't really exist; all variables behave
like an empty string value if the string being pointed to has not been
initialized.

Convert effective_cache_size to an integer, for better integration with
upcoming units feature.

New features contributed by Tomoaki Sato.

- predefined variable "tps"
  The value of variable tps is taken from the scaling factor
  specified by -s option.

- -D option
  Variable values can be defined by -D option.

- \set command now allows arithmetic calculations.

Done:

> * -Change LIMIT/OFFSET and FETCH/MOVE to use int8

Change LIMIT/OFFSET to use int8

Dhanaraj M

/contrib/cube improvements:

Update the calling convention for all external facing functions. By
external facing, I mean all functions that are directly referenced in
cube.sql. Prior to my update, all functions used the older V0 calling
convention. They now use V1.

New Functions:

cube(float[]), which makes a zero volume cube from a float array

cube(float[], float[]), which allows the user to create a cube from
two float arrays; one for the upper right and one for the lower left
coordinate.

cube_subset(cube, int4[]), to allow you to reorder or choose a subset of
dimensions from a cube, using index values specified in the array.

Joshua Reich

Modify btree to delete known-dead index entries without an actual VACUUM.
When we are about to split an index page to do an insertion, first look
to see if any entries marked LP_DELETE exist on the page, and if so remove
them to try to make enough space for the desired insert.  This should reduce
index bloat in heavily-updated tables, although of course you still need
VACUUM eventually to clean up the heap.

Junji Teramoto

Add reason for WAL offset reporting:

>
>      The offset allows parts of a WAL file to be archived using
>      an external program.

Add offset mention:

<    o Add reporting of the current WAL file, perhaps as part of
<      partial log file archiving
>    o Add reporting of the current WAL file and offset, perhaps as
>      part of partial log file archiving

Update PITR:

<      write-ahead logs [pitr]
>      write-ahead logs? [pitr]
<      recovery.
>      recovery.  A function call to do this would also be useful.

Add missing @OVERRIDE to 'India' config file, per Michael Fuhr.
Add $PostgreSQL$ lines for CVS identity, too.

Done:

>  o -Allow customization of the known set of TZ names (generalize the

Remove hard-wired lists of timezone abbreviations in favor of providing
configuration files that can be altered by a DBA.  The australian_timezones
GUC setting disappears, replaced by a timezone_abbreviations setting (set this
to 'Australia' to get the effect of australian_timezones).  The list of zone
names defined by default has undergone a bit of cleanup, too.  Documentation
still needs some work --- in particular, should we fix Table B-4, or just get
rid of it?  Joachim Wieland, with some editorializing by moi.

Use correct ifdef test for cygwin, namely __CYGWIN__ (note underscores).

Make the order of operations in PostmasterMain a bit saner ... some
recent patches had added stuff in rather random spots.

Fix spectacular misspellings of procedural language names

DTrace support, with a small initial set of probes

by Robert Lor

Mark postgresql.conf entries that require server restart; some minor
editing and reformatting.

Remove dubious and redundant (we think) setting of libdir in PATH for non temp-install case.

Add a fudge factor to genericcostestimate() to prevent the planner from
thinking that indexes of different sizes are equally attractive.  Per
gripe from Jim Nasby.  (I remain unconvinced that there's such a problem
in existing releases, but CVS HEAD definitely has got a problem because
of its new count-only-leaf-pages approach to indexscan costing.)

Convert the lock manager to use the new dynahash.c support for partitioned
hash tables, instead of the previous kluge involving multiple hash tables.
This partially undoes my patch of last December.

Fix oversight in sizing of shared buffer lookup hashtable.  Because
BufferAlloc tries to insert a new mapping entry before deleting the old one
for a buffer, we have a transient need for more than NBuffers entries ---
one more in 8.1, and as many as NUM_BUFFER_PARTITIONS more in CVS HEAD.
In theory this could lead to an "out of shared memory" failure if shmem
had already been completely claimed by the time the extra entries were
needed.

Split the buffer mapping table into multiple separately lockable
partitions, as per discussion.  Passes functionality checks, but
I don't have any performance data yet.

Add support to dynahash.c for partitioning shared hashtables according
to the low-order bits of the entry hash value.  Also make some incidental
cleanups in the dynahash API, such as not exporting the hash header
structs to the world.

Hmm, seems --disable-spinlocks has been broken for awhile and nobody
noticed.  Fix SpinlockSemas() to report the correct count considering
that PG 8.1 adds a spinlock to each shared-buffer header.

In the recent changes to make the planner account better for cache
effects in a nestloop inner indexscan, I had only dealt with plain index
scans and the index portion of bitmap scans.  But there will be cache
benefits for the heap accesses of bitmap scans too, so fix
cost_bitmap_heap_scan() to account for that.

Add libdir to PATH for Cygwin as well as WIN32 - should fix buildfarm eel.

For automatic dependency tracking, replace our sed hackery with the GCC-
-built-in mechanism through the -MP flag.  Adjust the file extensions to
look more like Automake practice.  This frees up the .d suffix for use by
DTrace.

Add the full set of comparison functions for type TID, including a btree
opclass.  This is not so much because anyone's likely to create an index
on TID, as that sorting TIDs can be useful.  Also added max and min
aggregates while at it, so that one can investigate the clusteredness of
a table with queries like SELECT min(ctid), max(ctid) FROM tab WHERE ...
Greg Stark and Tom Lane

Ah, I finally realize why Magnus wanted to add a --bindir option to
pg_regress: there's no other way to cope with testing a relocated
installation.  Seems better to call it --psqldir though, since the
only thing we need to find in that case is psql.  It'd be better if
we could use find_other_exec, but that's not happening unless we are
willing to install pg_regress alongside psql, which seems unlikely
to happen.

Update documentation on GRANT SCEMA USAGE, again.

As a stopgap to get the Windows buildfarm members running again, hot-wire
the check on diff's exit status to check for literally 0 or 1.  Someone
should look into why WIFEXITED/WEXITSTATUS don't work for this, but I've
spent more than enough time on it already.

Make pg_config location overridable for pgxs builds.

Print out diff status code when we think there's a hard failure.
May help in debugging behavior on Windows.

Suppress unused-variable compiler warning, per Andrew Dunstan.

Fix pg_regress.c to report tests in a parallel group when they finish,
not when they're started.  This mimics a subtle point of the behavior
of the old shell script, and gives better feedback when watching the
tests.

Make pg_regress.c get paths from pg_config_paths.h, instead of -D
switches passed from the Makefile.  This looks like it will fix
problem with virtual vs real paths under msys.

Don't try to truncate multixact SLRU files in checkpoints done during xlog
recovery.  In the first place, it doesn't work because slru's
latest_page_number isn't set up yet (this is why we've been hearing reports
of strange "apparent wraparound" log messages during crash recovery, but
only from people who'd managed to advance their next-mxact counters some
considerable distance from 0).  In the second place, it seems a bit unwise
to be throwing away data during crash recovery anwyway.  This latter
consideration convinces me to just disable truncation during recovery,
rather than computing latest_page_number and pushing ahead.

Update GRANT USAGE on schema permission description.

pgcrypto merge cleanup:

  - Few README fixes
  - Keep imath Id string, put $PostgreSQL$ separately.

Patch from Marko Kreen.

Adjust spawn_process() to avoid unnecessary overhead processes: we can
just exec instead of creating a subprocess.  This reduces process usage
from four processes per parallel test to two.  I have no idea whether
a comparable optimization is possible or useful in the Windows port.

Update WIN32 quoting roles documentation.

Adjust pg_regress to print out the exact string given to system() when
'make install' or 'initdb' fails.  Also minor simplification of fgets()
usage --- fgets guarantees a trailing null anyway.

Add WIN32 compile suggestion to pginclude README.

kill() is declared in <signal.h> per Single Unix Spec.

Tweak command quoting for Windows (I'd forgotten about SYSTEMQUOTE).

Remove unnecessary inclusion of libpq into pg_regress --- overly
enthusiastic copy and paste ...