Support INSERT/UPDATE/DELETE RETURNING in plpgsql, with rowcount checking
as per yesterday's proposal.  Also make things a tad more orthogonal by
adding the recent STRICT addition to EXECUTE INTO.
Jonah Harris and Tom Lane

When executing a list of queries derived from rule expansion,
_SPI_execute_plan's return code should reflect the type of the query
that is marked canSetTag, not necessarily the last one in the list.

This is arguably a bug fix, but I'm hesitant to back-patch it because
it's the sort of subtle change that might break someone's code, and it's
best not to do that kind of thing in point releases.

Remove hash_destroy calls in hash_create's failure paths.  As noted by
a Coverity warning, these are risky since the hashtable isn't necessarily
fully set up yet.  They're unnecessary anyway: a deletable hashtable
should be in a memory context that will be cleared following elog(ERROR).
Per report from Martijn van Oosterhout.

Revert (again) GUC patch to return commented fields to their default
values, due to concern about the patch.

Get rid of "lookahead" functionality in plpgsql's yylex() function,
and instead make the grammar production for the RETURN statement do the
heavy lifting.  The lookahead idea was copied from the main parser, but
it does not work in plpgsql's parser because here gram.y looks explicitly
at the scanner's yytext variable, which will be out of sync after a
failed lookahead step.  A minimal example is

create or replace function foo() returns void language plpgsql as '
begin
  perform return foo bar;
end';

which can be seen by testing to deliver "foo foo bar" to the main parser
instead of the expected "return foo bar".  This isn't a huge bug since
RETURN is not found in the main grammar, but it could bite someone who
tried to use "return" as an identifier.

Back-patch to 8.1.  Bug exists further back, but HEAD patch doesn't apply
cleanly, and given the lack of field complaints it doesn't seem worth
the effort to develop adjusted patches.

Fix core dump in duration logging for a V3-protocol Execute message
when what's being executed is a COMMIT or ROLLBACK.  Per report from
Sergey Koposov.  Backpatch to 8.1; 8.0 and before don't have the bug
due to lack of any logging at all here.

Cause psql to report both the returned data and the command status tag
for INSERT/UPDATE/DELETE RETURNING.  Per discussion.

If test postmaster fails to start within 60 seconds, try to kill -9 it
so that it won't interfere with later trials.  Per recent buildfarm
experience.  Anyone know how to do this on Windows?

Extend 'guc' regression test to check manipulations of datestyle as
well as vacuum_cost_delay.  Since datestyle is a string variable,
this exercises memory allocation issues that might not appear when
modifying an integer GUC variable.  Also, we can observe the side
effects of changing datestyle to check that assign hooks are called
at the right times.

Original coding of 'returning' regression test inadvertently chose a
nonunique join value, leading to plan-choice-dependent results ... and
it seems some platforms will choose a different plan.  Tweak the test
so that it has well-defined results.  Per report from Olivier Prenant.

Back out plperl OUT hash/array parameter patch, again.

Fix recent guc comment-to-default patch for custom variables.

Applied patch for VPATH builds by Alvaro Herrera <alvherre@commandprompt.com>
Merged dyntest.pgc and dyntest2.pgc.
Hopefully fixed the last Coverity reports (finally)

Re-apply plperl patch that allows OUT parameters to be placed into Perl
hash and array variables.  (regression output updated)

Recommit patch to allow commented GUC variables to return to their
default values.

Re-apply guc cleanup patch, with memory allocation bugs fixed.

Tweak SPI_cursor_open to allow INSERT/UPDATE/DELETE RETURNING; this was
merely a matter of fixing the error check, since the underlying Portal
infrastructure already handles it.  This in turn allows these statements
to be used in some existing plpgsql and plperl contexts, such as a
plpgsql FOR loop.  Also, do some marginal code cleanup in places that
were being sloppy about distinguishing SELECT from SELECT INTO.

Remove ancient, obsolete comment.

Back out patch for plperl to handle OUT paramaters into arrays and
hashes.  Was causing regression failures.

Back out patch to reorganize guc processing.  Was causing regression
failures.

Back out patch that allowed commented guc variables to return to their
default values.  Was causing regression failures.

Done:

<  o Allow INSERT/UPDATE ... RETURNING new.col or old.col
<
<    This is useful for returning the auto-generated key for an INSERT.
<    One complication is how to handle rules that run as part of
<    the insert.
<    http://archives.postgresql.org/pgsql-patches/2005-07/msg00568.php
>  o -Allow INSERT/UPDATE ... RETURNING new.col or old.col

Fix wording, per Neil.

Add INSERT/UPDATE/DELETE RETURNING, with basic docs and regression tests.
plpgsql support to come later.  Along the way, convert execMain's
SELECT INTO support into a DestReceiver, in order to eliminate some ugly
special cases.

Jonah Harris and Tom Lane

Set Win32 server-size socket buffer to 32k, for performance reasons.

Yoshiyuki Asaba

Done:

<  o %Allow commenting of variables in postgresql.conf to restore them
>  o -Allow commenting of variables in postgresql.conf to restore them

Revert undesired  FAQ_DEV change.

Allow commenting of variables in postgresql.conf to restore them to
defaults.

Zdenek Kotala

Refactor GUC set_config_option function:

The main reason for refactoring was that set_config_option() was too
overloaded function and its behavior did not consistent. Old version of
set_config_function hides some messages. For example if you type:

tcp_port = 5432.1

then old implementation ignore this error without any message to log
file in the signal context (configuration reload). Main problem was that
semantic analysis of postgresql.conf is not perform in the
ProcessConfigFile function, but in the set_config_options *after*
context check. This skipped check for variables with PG_POSTMASTER
context. There was request from Joachim Wieland to add more messages
about ignored changes in the config file as well.

Zdenek Kotala

plperl:

Allow conversion from perl to postgresql array in OUT parameters. Second,
allow hash form output from procedures with one OUT argument.

Pavel Stehule

Make the psql line counter 64-bit so it can handle files > 4gig lines.

David Fetter

Add Neil's presentation to FAQ_DEV.

Fix typo.

Update for company URL.

Ian Barwick

Add URLs

< * Allow encoding on a per-column basis
> * Allow encoding on a per-column basis optionally using the ICU library:
>   http://archives.postgresql.org/pgsql-patches/2005-08/msg00309.php
>   http://archives.postgresql.org/pgsql-patches/2006-03/msg00233.php

Fix UNION/INTERSECT/EXCEPT so that when two inputs being merged have
same data type and same typmod, we show that typmod as the output
typmod, rather than generic -1.  This responds to several complaints
over the past few years about UNIONs unexpectedly dropping length or
precision info.

Return inline to win32.h because code was OK, but keep additional
comment.  8.1.X is not affected by this commit.

Move "#define inline __inline" from port/win32.h to c.h because Win32
interface builds like libpq need it.

Backpatch addition to 8.1.X.

Fix display of log duration so it is milliseconds.microseconds "ms".

Greg Sabino Mullane

Fix inadequate makefile-fu in ecpg regression tests.  I think this
will fix current platypus build failure.

Round microseconds on setitimer upwards.

On Win32, make minimum setitimer() sleep be 1ms, so sleeps < 1ms aren't
rounded down to zero.

Backpatch to 8.1.X.

Add URL for typmod:

>   http://archives.postgresql.org/pgsql-hackers/2006-08/msg00149.php

Fix statement_timeout on Win32 so that it properly treats micro-seconds
as micro-seconds, rather than as 100 microseconds, as it does now.  This
actually fixes all setitimer calls on Win32, but statement_timeout is
the most visible fix.

Backpatch to 8.1.X.  8.0 works as documented.

Formatting improvement.

Add URL:

>    http://archives.postgresql.org/pgsql-performance/2004-08/msg00349.php

Add TODO items we don't want (Idea from Josh Berkus)

>
>
> Features We Do _Not_ Want
> =========================
>
> * All backends running as threads in a single process (not want)
>
>   This eliminates the process protection we get from the current setup.
>   Thread creation is usually the same overhead as process creation on
>   modern systems, so it seems unwise to use a pure threaded model.
>
> * Optimizer hints (not want)
>
>   Optimizer hints are used to work around problems in the optimizer.  We
>   would rather have the problems reported and fixed.
>   http://archives.postgresql.org/pgsql-hackers/2006-08/msg00506.php

Update packages:

<    A package would be a schema with public/private variables,
>    A package would be a schema with session-local variables,
>    http://archives.postgresql.org/pgsql-hackers/2006-08/msg00384.php

Fixed some memory bugs that somehow reappeared.
Also fixed a new Coverity report.

Fixed error handling in numeric conversion (Joachim).
Further regression cleanup.

Suppress MSVC warnings about weak functions by using
_CRT_SECURE_NO_DEPRECATE.

Hiroshi Saito

Update packages description:

<    A package would be a schema with its own variables,
<    private functions, and initialization functions.  It
>    A package would be a schema with public/private variables,
>    public/private functions, and initialization functions.  It

Update packages:

<    private functions, and initialization functions
>    private functions, and initialization functions.  It
>    is also possible to implement these capabilities
>    in all schemas and not use a separate "packages"
>    syntax at all.

Fix win32.mak for config cleanup.

Hiroshi Saito

Update:

<  o COPY FROM STDIN not implemented because not useful?
>  o Implement COPY FROM STDIN

Fix 'make clean' for change of regression.diffs file name.

Add a feature for automatic initialization and finalization of dynamically
loaded libraries: call functions _PG_init() and _PG_fini() if the library
defines such symbols.  Hence we no longer need to specify an initialization
function in preload_libraries: we can assume that the library used the
_PG_init() convention, instead.  This removes one source of pilot error
in use of preloaded libraries.  Original patch by Ralf Engelschall,
preload_libraries changes by me.

Reverse order of performance guides so powerpostgresql is first.

Add detail on packages:

>
>    A package would be a schema with its own variables,
>    private functions, and initialization functions
>

Add package item:

<  o Add Oracle-style packages
>  o Add Oracle-style packages  (Pavel)
> * Pavel is Pavel Stehule <pavel.stehule@hotmail.com>

Fix definition of "errcode" for MSVC.

Hiroshi Saito

Done:

<    o Automatically force archiving of partially-filled WAL files when
>    o -Automatically force archiving of partially-filled WAL files when
<
<      Doing this will allow administrators to know more easily when
<      the archive contains all the files needed for point-in-time
<      recovery.
<      http://archives.postgresql.org/pgsql-patches/2005-04/msg00121.php
<
<    o Add reporting of the current WAL file and offset, perhaps as
>    o -Add reporting of the current WAL file and offset, perhaps as
<
<      The offset allows parts of a WAL file to be archived using
<      an external program.
<

Fix bug introduced by last patch, thanks again to Mario Weilguni <mweilguni@sime.com>

Cleaned up log output a little bit more.

Clarified COPY FROM STDIN in ecpg todo

Made parser check for valid copy to/from stdin/stdout combinations.
Lots of small changes in regression test suite

Done:

< * Allow protocol-level BIND parameter values to be logged
<
<   http://archives.postgresql.org/pgsql-hackers/2006-02/msg00165.php
> * -Allow protocol-level BIND parameter values to be logged, if text mode

For protocol-level prepare/bind/execute:

o  print user name for all
o  print portal name if defined for all
o  print query for all
o  reduce log_statement header to single keyword
o  print bind parameters as DETAIL if text mode

Put back another improperly-removed #include.

On some platforms, pg_usleep isn't interruptible by signals; fix
archiver to behave per original coder's expectation on these machines.
We already know this everywhere else AFAICT.

fix bug about modifying value in shared buffer,
what was a reason to corrupt index.
Thank to Mario Weilguni <mweilguni@sime.com> to
discover a bug.

Make recovery from WAL be restartable, by executing a checkpoint-like
operation every so often.  This improves the usefulness of PITR log
shipping for hot standby: formerly, if the standby server crashed, it
was necessary to restart it from the last base backup and replay all
the WAL since then.  Now it will only need to reread about the same
amount of WAL as the master server would.  The behavior might also
come in handy during a long PITR replay sequence.  Simon Riggs,
with some editorialization by Tom Lane.

Joachim fixed some bugs in numeric handling in pgtypeslib.
Fixed and cleaned up some regression tests. Also added a new one.

Tweak sanity_check regression test to display more tables (viz, those
without indexes) but not to display temp tables.  It's a bit hard to
credit that sanity_check could get through a database-wide VACUUM
while the preceding create_index test is still trying to clean up
its temp tables ... but I see no other explanation for the current
failure report from buildfarm member sponge.

Add support for forcing a switch to a new xlog file; cause such a switch
to happen automatically during pg_stop_backup().  Add some functions for
interrogating the current xlog insertion point and for easily extracting
WAL filenames from the hex WAL locations displayed by pg_stop_backup
and friends.  Simon Riggs with some editorialization by Tom Lane.

Use better named loop variable for large loop, rather than 'i'.

Fix inheritance_planner() to delete dummy subplans from its Append plan
list, when some of the child rels have been excluded by constraint
exclusion.  This doesn't save a huge amount of time but it'll save some,
and it makes the EXPLAIN output look saner.  We already did the
equivalent thing in set_append_rel_pathlist(), but not here.

Two more changes to regression tests to fix two differences in different setups.

Fix references to the Options section in the pgcrypto documentation.
Patch from Michael Fuhr.

Extend relation_excluded_by_constraints() to check for mutually
contradictory WHERE-clauses applied to a relation.  This makes the
GUC variable constraint_exclusion rather inappropriately named,
but I've refrained for the moment from renaming it.
Per example from Martin Lesser.

Teach predicate_refuted_by() how to do proofs involving NOT-clauses.
This doesn't matter too much for ordinary NOTs, since prepqual.c does
its best to get rid of those, but it helps with IS NOT TRUE clauses
which the rule rewriter likes to insert.  Per example from Martin Lesser.

Add some blank lines for formatting.

Fix domain_in() bug exhibited by Darcy Buskermolen.  The idea of an EState
that's shorter-lived than the expression state being evaluated in it really
doesn't work :-( --- we end up with fn_extra caches getting deleted while
still in use.  Rather than abandon the notion of caching expression state
across domain_in calls altogether, I chose to make domain_in a bit cozier
with ExprContext.  All we really need for evaluating variable-free
expressions is an ExprContext, not an EState, so I invented the notion of a
"standalone" ExprContext.  domain_in can prevent resource leakages by doing
a ReScanExprContext on this rather than having to free it entirely; so we
can make the ExprContext have the same lifespan (and particularly the same
per_query memory context) as the expression state structs.

#ifdef fix for MSVC builds of libpq.

Hiroshi Saito

Improve logging of protocol-level prepared statements.

Fix bug in new pg_dump -T/-N handling that was dumping system schemas if
these options were used before -n/-t.

Remove redeclaration of struct sqlca_t --- unnecessary and provokes
warnings on some compilers.

Fix missing 'static' keywords --- some compilers gripe about this.

Fix inadequate quoting in test for AIX xlc.

'make clean' must remove the create subdirectories results/ and log/,
not merely remove their contents.  Else 'cvs update' complains.

Teach eval_const_expressions to simplify BooleanTest nodes that have
constant input.  Seems worth doing because rule rewriter inserts
IS NOT TRUE tests into WHERE clauses.

Regression test updates and fixes

Slight wording improvement in documentation.

Add missing ecpg function prototype needed when in threaded mode ---
supresses compiler warning.

Add URL for terminate backend test:

>   http://archives.postgresql.org/pgsql-hackers/2006-08/msg00174.php

Add some basic tests of GUC behavior.
Joachim Wieland

Cause ALTER TABLE to perform ALTER COLUMN DROP DEFAULT operations during
the DROP pass rather than the ADD_CONSTR pass.  On examining the code I
think this was just an oversight rather than intentional, and it seems
to satisfy the principle of least surprise better than the alternative
solution that was discussed.  Add an example to the ref page showing how
to do ALTER TYPE and update the default in one command.  Per gripe from
Markus Bertheau that that wasn't possible.

Remove use of a regex character class in resultmap (for freebsd version
check).  This isn't supported by pg_regress since the recent rewrite
into C.  While we could add char classes to pg_regress.c's code, it's
not really needed at the moment: thanks to Andrew's patch to make
pg_regress always accept the 'standard' comparison file, we can just
drop the version check.

Fix AfterTriggerExecute() to pass tg_trigtuple and tg_newtuple as NULLs
rather than pointers to garbage, when calling AFTER STATEMENT triggers.
Michael Fuhr

Add missing pgstat_count_index_scan(), per Andreas Seltenreich.