Clarify wording on when ctid is modified by VACUUM FULL.

Add support for XML build option to MSVC build scripts.
Magnus Hagander

Fix multiple breakages in last XML patch.

De-escape XML names when reverse-compiling XML expressions.

Fix up btree's initial scankey processing to be able to detect redundant
or contradictory keys even in cross-data-type scenarios.  This is another
benefit of the opfamily rewrite: we can find the needed comparison
operators now.

Add TLS thread URL:

>   http://archives.postgresql.org/pgsql-hackers/2006-12/msg01213.php

Remove:

< * Add a GUC to control whether BEGIN inside a transcation should abort
<   the transaction.

Remove caveat about avoiding cross-type operators in constraints intended
for use with constraint exclusion.  We can prove those cases now...

Enable btree_predicate_proof() to make proofs involving cross-data-type
predicate operators.  The hard stuff turns out to be already done in the
previous commit, we need merely open the floodgates...

Done:

< * Move some /contrib modules out to their own project sites
<
<   Particularly, move GPL-licensed /contrib/userlock and
<   /contrib/dbmirror/clean_pending.pl.
<

Add send and recv functions for xml type.

Handle content and document options in xmlparse() correctly.

Add a defense to prevent core dumps if 8.2 version of rank_cd() is used with
the 8.1 SQL function definition for it.  Per report from Rajesh Kumar Mallah,
such a DBA error doesn't seem at all improbable, and the cost of checking for
it is not very high compared to the cost of running this function.  (It would
have been better to change the C name of the function so it wouldn't be called
by the old SQL definition, but it's too late for that now in the 8.2 branch.)

fflush the \o file, if any, after each backslash command.  We already
do this for ordinary SQL commands, so it seems consistent to do it for
backslash commands too.  Per gripe from Rajesh Kumar Mallah.

Revert exports.list change pending closer study.

Use a more backward-compatible syntax for exports.list on Linux.
Per Thorkil Olesen.

Clean up pgindent handling of comments after 'else' by only moving
multi-line comments to the next line.

Modify local buffer management to request memory for local buffers in blocks
of increasing size, instead of one at a time.  This reduces the memory
management overhead when num_temp_buffers is large: in the previous coding
we would actually waste 50% of the space used for temp buffers, because aset.c
would round the individual requests up to 16K.  Problem noted while studying
a performance issue reported by Steven Flatt.

Back-patch as far as 8.1 --- older versions used few enough local buffers
that the issue isn't significant for them.

Improve memory management code to avoid inefficient behavior when a context
has a small maxBlockSize: the maximum request size that we will treat as a
"chunk" needs to be limited to fit in maxBlockSize.  Otherwise we will round
up the request size to the next power of 2, wasting space, which is a bit
pointless if we aren't going to make the blocks big enough to fit additional
stuff in them.  The example motivating this is local buffer management, which
makes repeated allocations of 8K (one BLCKSZ buffer) in TopMemoryContext,
which has maxBlockSize = 8K because for the most part allocations there are
small.  This leads to each local buffer actually eating 16K of space, which
adds up when there are thousands of them.  I intend to change localbuf.c to
aggregate its requests, which will prevent this particular misbehavior, but
it seems likely that similar scenarios could arise elsewhere, so fixing the
core problem seems wise as well.

Print combining characters (those reported as having zero width by
PQdsplen()) normally, instead of replacing them by \uXXXX sequences.
Assume that they in fact occupy zero screen space for formatting purposes.
Per gripe from Michael Fuhr and ensuing discussion.

Use FROM clause in example UPDATE commands where appropriate.  Also
remove long-obsolete statement that there isn't a check for infinite
recursion in view rules.

Use "dead" rather than "expired" for vacuumable rows.

Fix failure due to accessing an already-freed tuple descriptor in a plan
involving HashAggregate over SubqueryScan (this is the known case, there
may well be more).  The bug is only latent in releases before 8.2 since they
didn't try to access tupletable slots' descriptors during ExecDropTupleTable.
The least bogus fix seems to be to make subqueries share the parent query's
memory context, so that tupdescs they create will have the same lifespan as
those of the parent query.  There are comments in the code envisioning going
even further by not having a separate child EState at all, but that will
require rethinking executor access to range tables, which I don't want to
tackle right now.  Per bug report from Jean-Pierre Pelletier.

Repair bug #2839: the various ExecReScan functions need to reset
ps_TupFromTlist in plan nodes that make use of it.  This was being done
correctly in join nodes and Result nodes but not in any relation-scan nodes.
Bug would lead to bogus results if a set-returning function appeared in the
targetlist of a subquery that could be rescanned after partial execution,
for example a subquery within EXISTS().  Bug has been around forever :-(
... surprising it wasn't reported before.

Repair bug #2836: SPI_execute_plan returned zero if none of the querytrees
were marked canSetTag.  While it's certainly correct to return the result
of the last one that is marked canSetTag, it's less clear what to do when
none of them are.  Since plpgsql will complain if zero is returned, the
8.2.0 behavior isn't good.  I've fixed it to restore the prior behavior of
returning the physically last query's result code when there are no
canSetTag queries.

Remove incorrect semicolon in example.  Joachim Wieland

Fix memory reallocation condition

Call srandom() instead of srand().
pgbench calls random() later, so it should have called srandom().
On most platforms except Windows srandom() is actually identical
to srand(), so the bug only bites Windows users.
per bug report from Akio Ishida.

Make HISTCONTROL=ignoredups work again (broken by misordering of
operations during recent code refactoring).  Per bug #2840 from Ned Crigler.

Bring some order and sanity to error handling in the xml patch.
Use a TRY block instead of (inadequate) ad-hoc coding to ensure that
libxml is cleaned up after a failure.  Report the intended SQLCODE
instead of defaulting to XX000.  Avoid risking use of a dangling
pointer by keeping the persistent error buffer in TopMemoryContext.
Be less trusting that error messages don't contain %.

This patch doesn't do anything about changing the way the messages
are put together --- this is just about mechanism.

Fix machine-dependent crash in sqlchar_to_unicode().  Get rid of
bletcherous and unsafe manipulation of global encoding setting.
Clean up libxml reporting mechanism a bit (it still looks like a
dangling-pointer crash waiting to happen, though, not to mention
being far less than sane from a localization standpoint).

Code review for XML patch.  Instill a bit of sanity in the location of
the XmlExpr code in various lists, use a representation that has some hope
of reverse-listing correctly (though it's still a de-escaping function
shy of correctness), generally try to make it look more like Postgres
coding conventions.

Suppress various compiler warnings in new xml code.

Remove unnecessary parentheses in if() statements.

Change a VACUUM manual page word from 'deleted' to 'expired', so DELETE
and UPDATE are clearly covered by the term.

Document that CREATE TYPE names should not begin with an underscore,
rather than being disallowed.

For GUC values, check for partial string matches on 'on' and 'off', but
require at least two characters for uniqueness.   This now matches the
behavior of other boolean strings we support, per report from Gurjeet
Singh.

Restructure operator classes to allow improved handling of cross-data-type
cases.  Operator classes now exist within "operator families".  While most
families are equivalent to a single class, related classes can be grouped
into one family to represent the fact that they are semantically compatible.
Cross-type operators are now naturally adjunct parts of a family, without
having to wedge them into a particular opclass as we had done originally.

This commit restructures the catalogs and cleans up enough of the fallout so
that everything still works at least as well as before, but most of the work
needed to actually improve the planner's behavior will come later.  Also,
there are not yet CREATE/DROP/ALTER OPERATOR FAMILY commands; the only way
to create a new family right now is to allow CREATE OPERATOR CLASS to make
one by default.  I owe some more documentation work, too.  But that can all
be done in smaller pieces once this infrastructure is in place.

Add a link to the developer's FAQ for my article about how companies can
work effectively with open source communities.

Slight adjustments to xml documentation to reflect functionality just
added.

Fix expected file.

Catalog version bump for SQL/XML changes.

Fix convertion for 'PFX flag N num'

Initial SQL/XML support: xml data type and initial set of functions.

8.3 release schedule is year 2007, not 2006.

Add timeline for next release to developer's FAQ.

Item done.

<  o Improve xid wraparound detection by recording per-table rather
<    than per-database

Interpret a dbName param to PQsetdbLogin as a conninfo string if it contains an = sign. Tom Lane and Andrew Dunstan.

Set pg_am.amstrategies to zero for index AMs that don't have fixed
operator strategy numbers, ie, GiST and GIN.  This is almost cosmetic
enough to not need a catversion bump, but since the opr_sanity regression
test has to change in sync with the catalog entry, I figured I'd better
do one.

fix thinko in placement of TimeValStruct typedef in Windows case, as reported by Magnus.

Fix typo:

<   While PostgreSQL clients runs fine limited-resource environments, the
>   While PostgreSQL clients runs fine in limited-resource environments, the

Move entry into CLUSTER section:

< * Make CLUSTER preserve recently-dead tuples per MVCC requirements
>  o Make CLUSTER preserve recently-dead tuples per MVCC requirements

enable \timing oputput for \copy commands

Fix some planner bugs exposed by reports from Arjen van der Meijden.  These
are all in new-in-8.2 logic associated with indexability of ScalarArrayOpExpr
(IN-clauses) or amortization of indexscan costs across repeated indexscans
on the inside of a nestloop.  In particular:

Fix some logic errors in the estimation for multiple scans induced by a
ScalarArrayOpExpr indexqual.

Include a small cost component in bitmap index scans to reflect the costs of
manipulating the bitmap itself; this is mainly to prevent a bitmap scan from
appearing to have the same cost as a plain indexscan for fetching a single
tuple.

Also add a per-index-scan-startup CPU cost component; while prior releases
were clearly too pessimistic about the cost of repeated indexscans, the
original 8.2 coding allowed the cost of an indexscan to effectively go to zero
if repeated often enough, which is overly optimistic.

Pay some attention to index correlation when estimating costs for a nestloop
inner indexscan: this is significant when the plan fetches multiple heap
tuples per iteration, since high correlation means those tuples are probably
on the same or adjacent heap pages.

Put JST back into the default set of timezone abbreviations;
was removed in an unexplainable moment of brain fade.

Back out double-run of PDF/PS output.  Requires building bookindex.sgml
properly.

Remove SGML docs about openjade performance patch, and instead add
comment in style sheet where indenting code is commented out.

Backpatch to 8.2.X.

TODO item not wanted:

>
> * Embedded server (not wanted)
>
>   While PostgreSQL clients runs fine limited-resource environments, the
>   server requires multiple processes and a stable pool of resources to
>   run reliabily and efficiently.  Stripping down the PostgreSQL server
>   to run in the same process address space as the client application
>   would add too much complexity and failure cases.

Link to summary XML email, rather than thread top:

< * Consider changing documentation from SGML to XML
> * Consider changing documentation format from SGML to XML
<   http://archives.postgresql.org/pgsql-docs/2006-12/msg00033.php
>   http://archives.postgresql.org/pgsql-docs/2006-12/msg00152.php

Document issues for SGML and XML:

>
> * Consider changing documentation from SGML to XML
>
>   http://archives.postgresql.org/pgsql-docs/2006-12/msg00033.php
>

Document patch needed to get PDF and PS output in a reasonable amount of
time.

Remove unneeded tab in file.

Run Jade twice when outputting Postscript and PDF so the index is
correct, add comments about other multiple runs in the Makefile.

Backpatch to 8.2.X.

Make --with-ldap build on Unixware, per Olivier Prenant.

Remove Windows port^W^Wobsolete template file.

Activate WIN32_STACK_RLIMIT override only on platforms where this is
necessary.

Put back yet another improperly-removed #include, per Mark Kirkwood.

Update entry:

< * Have EXPLAIN ANALYZE highlight poor optimizer estimates
> * Have EXPLAIN ANALYZE issue NOTICE messages when the estimated and
>   actual row counts differ by a specified percentage

Fix planner to do the right thing when a degenerate outer join (one whose
joinclause doesn't use any outer-side vars) requires a "bushy" plan to be
created.  The normal heuristic to avoid joins with no joinclause has to be
overridden in that case.  Problem is new in 8.2; before that we forced the
outer join order anyway.  Per example from Teodor.

Document that log_line_prefix %t does not print timezone on Win32.

Oops, removed:

< * Allow REINDEX CONCURRENTLY

Add:

> * Allow REINDEX CONCURRENTLY

Allow augmenting CPPFLAGS from the configure command line.  This generally
works, but some platform templates overwrote it without asking.

Remove blank lines in HTML FAQ.

Add FAQ entry to mention using COALESCE() for concatenation of possible
NULLs.

Add a paramtypmod field to Param nodes.  This is dead weight for Params
representing externally-supplied values, since the APIs that carry such
values only specify type not typmod.  However, for PARAM_SUBLINK Params
it is handy to carry the typmod of the sublink's output column.  This
is a much cleaner solution for the recently reported 'could not find
pathkey item to sort' and 'failed to find unique expression in subplan
tlist' bugs than my original 8.2-compatible patch.  Besides, someday we
might want to support typmods for external parameters ...

Make separate targets for building printable documentation in A4 and
US letter paper formats.

Reorganize XSLT stylesheet support.  Put common things into a separate
file (instead of repeating), add XSL-FO stylesheet and appropriate make
rules.

Add some information about increasing JadeTeX parameters.

Drop indentation of verbatim environments in print output.  This increased
the build time by what seemed like infinity.

Generalize Texinfo rules.  Prevent them from overriding the PostScript
build rules.

Remove the logId/logSeg fields from pg_control, because they are not needed
in normal operation, and we can avoid rewriting pg_control at every log
segment switch if we don't insist that these values be valid.  Reducing
the number of pg_control updates is a good idea for both performance and
reliability.  It does make pg_resetxlog's life a bit harder, but that seems
a good tradeoff; and anyway the change to pg_resetxlog amounts to automating
something people formerly needed to do by hand, namely look at the existing
pg_xlog files to make sure the new WAL start point was past them.

In passing, change the wording of xlog.c's "database system was interrupted"
messages: describe the pg_control timestamp as "last known up at" rather than
implying it is the exact time of service interruption.  With this change the
timestamp will generally be the time of the last checkpoint, which could be
many minutes before the failure; and we've already seen indications that
people tend to misinterpret the old wording.

initdb forced due to change in pg_control layout.  Simon Riggs and Tom Lane

Fix broken markup.

Fix the build for when SHOW_MEMORY_STATS is defined. The reference to
the nonexistent ShowStats variable is simply removed, per Gavin Sherry.

Avoid double free of _SPI_current->tuptable.  AtEOSubXact_SPI() now tries to
release it in a subtransaction abort, but this neglects possibility that
someone outside SPI already did.  Fix is for spi.c to forget about a tuptable
as soon as it's handed it back to the caller.
Per bug #2817 from Michael Andreen.

Repair incorrect placement of WHERE clauses when there are multiple,
rearrangeable outer joins and the WHERE clause is non-strict and mentions
only nullable-side relations.  New bug in 8.2, caused by new logic to allow
rearranging outer joins.  Per bug #2807 from Ross Cohen; thanks to Jeff
Davis for producing a usable test case.

Fix planning of SubLinks to ensure that Vars generated from transformation of
a sublink's test expression have the correct vartypmod, rather than defaulting
to -1.  There's at least one place where this is important because we're
expecting these Vars to be exactly equal() to those appearing in the subplan
itself.  This is a pretty klugy solution --- it would likely be cleaner to
change Param nodes to include a typmod field --- but we can't do that in the
already-released 8.2 branch.
Per bug report from Hubert Fongarnand.

Add a txn_start column to pg_stat_activity. This makes it easier to
identify long-running transactions. Since we already need to record
the transaction-start time (e.g. for now()), we don't need any
additional system calls to report this information.

Catversion bumped, initdb required.

Various improvements to the GUC description strings. Punctuate and
capitalize the strings like sentences. Remove unnecessarily
specific descriptions of the units used by GUC variables, since
we now allow any reasonable unit to be specified.

Change psql \\ example to use single quotes, per TOm.

Back out mention of port success from FAQs, per Tom, added by Simon.

Clean up psql -c documentation that uses \\.

Make URL to docs use /current/.

Fix documentation example of using psql \x with a SELECT command, per
Simon Riggs.  Backpatch to 8.2.X.

Fix typos in comments and error messages in HStore. Patch from Filip
Rembialkowski, with some additional fixes by myself.

Update of port patches, HEAD patch only.

Simon Riggs

Fix pg_dump linking on Win32 with MSVS win32.mak:

The module link is insufficient.:-(

---- Sorry, japanese message change to xxx ---
link.exe @C:\DOCUME~1\hi-saito\LOCALS~1\Temp\nmk03360.
common.obj : error LNK2001: xxxxxx "_pg_qsort" xxxxxx
pg_dump_sort.obj : error LNK2001: xxxxx "_pg_qsort" xxxxx
.\Release\pg_dump.exe : fatal error LNK1120: xxxxxxx
NMAKE : fatal error U1077: 'link.exe' : xxxxx '0x460'
Stop.

Hiroshi Saito

Patch of Win32 Encoding problem for server messages using
FormatMessage() (This should have been in 8.2.0, patched to 8.2.X and
HEAD):

I think this problem to be complex....
http://archives.postgresql.org/pgsql-hackers/2006-11/msg00042.php

FormatMessage of windows cannot consider the encoding of the database.
However, I should try the solution now. It is necessary to clear the
problem.

Multi character-code exists together in message and log. It doesn't
consider
the data base encoding that the user intended....

The user in multi-byte country can try this.
http://inet.winpg.jp/~saito/pg_bug/MessageCheck.c

That is, it is likely to become it in this manner.(Japanese)
http://inet.winpg.jp/~saito/pg_bug/FormatMessage998.png

Hiroshi Saito

Fix core dump of ispell for case of non-successfull initialization.
Previous versions aren't affected.

Fix synonym dictionary init: string should be malloc'ed, not palloc'ed. Bug
introduced recently while fixing lowerstr().

Refactor ExecGetJunkAttribute to avoid searching for junk attributes
by name on each and every row processed.  Profiling suggests this may
buy a percent or two for simple UPDATE scenarios, which isn't huge,
but when it's so easy to get ...

Fix LIMIT/OFFSET for null limit values.  This worked before 8.2 but was broken
by the change to make limit values int8 instead of int4.  (Specifically, you
can do DatumGetInt32 safely on a null value, but not DatumGetInt64.)  Per
bug #2803 from Greg Johnson.