First version of external projects manual section.

Add:

> * Fix priority ordering of read and write light-weight locks (Neil)

Fix compile breakage from SIGPIPE fix for threading.

Remove doc changes that were in process during previous commit.

Back out fix for Unicode characters above 0x10000

Code review for recent libpq changes.  Be more careful about error
handling in SIGPIPE processing; avoid unnecessary pollution of application
link-symbol namespace; spell 'pointer to function' in the conventional
way.

Add:

<
>  o Fix problem with shared memory on the Win32 Terminal Server

> I have installed your patch and adjusted the names of the standards
> throughout to the spellings suggested by your book.

Great.

A follow-up patch for current CVS HEAD is attached, and available at
http://troels.arvin.dk/db/pgsql/conformance/pgsql-sql-conformance-
followup.patch

The patch
 - includes a core feature ID that had been left
   out by mistake (C011)
 - updates the sql_feature_packages.txt table to
   reflect changes in SQL:2003 which were not
   covered properly in my last patch

Troels Arvin

> > 8.0beta3 has pg_autovacuum included, when I want to run this as a
> > Windows service, it says you can use the -I and -R options.
> >
> > When I do that and I specify a password with '-P'
> (uppercase) then in
> > the registry it's saved as '-p' (lowercase) in the
> service-commandline
> > (ImagePath).

This was fixed in v1.21 of pg_autovacuum.c, That rev is tagged for
beta3, so you should not be seeing this issue unless you actually have
an older version for some reason.

http://developer.postgresql.org/cvsweb.cgi/pgsql/contrib/pg_autovacuum/p
g_autovacuum.c.diff?r1=1.20;r2=1.21;f=h

> > Also it removes the quotes I added and I'm not so sure it
> would work
> > the way it's supposed to, without it.

It's not so much that it strips them (that happens automagically), more
that it doesn't re-add them when it writes the command line in the
registry. The attached patch fixes that by simply quoting all options
that may need it.
> > If you add DependOnService (a REG_MULTI_SZ an
> array-like-thingie) and
> > have the name (in this case: pgsql-8.0-beta2-dev3) of a service it
> > depends on, it will not fail to start (it will not even try, as
> > PostgreSQL is not running), when PostgreSQL already failed.
> >
> > Maybe it's an idea to specify it on the commandline (what
> service to
> > depend on).

A -E <service> option is added in the attached patch.

Dave Page

> I enclose a short patch to reduce the PGARCH_RESTART_INTERVAL from 60
> seconds to 10 seconds. The original number was plucked from thin air
> some months ago, and I'd like to review that now based upon further
> thought, observation and experience.
>
> This change has little or no effect on performance, since the interval
> is there mainly to avoid repeated respawn attempts if archiver fails at
> startup. Archiver start-up time is very quick, so there is little danger
> of exceeding 10 seconds.
>
> On a busy system, if the archiver does die, then many files can build up
> in the 60 seconds before respawning. That xlog file backlog could take
> some time to clear. This then leaves a larger than normal window of data
> loss for a possibly long period.
>
> It's a minor change only, with no other effect on function.

Simon Riggs

Fix for Unicode characters above 0x10000.

John Hansen

On win32, there is currently no way to get the equivalent function of
the "ps" argument list on Unix - meaning that there is no way to
identify for example the stats processors or the bgwriter.

This patch adds this functionality, in a bit of a crufty way. It creates
a kernel Event object with the name of what would be in the title. This
can be viewed using for example Process Explorer.

It's been very handy for me during both debugging and using. I haven't
figured a better way, but perhaps someone has one that's less crufty? If
not, here is at least a working patch :-)

Magnus Hagander

Attached is a patch that adds the function xml_encode_special_chars to
the xml2 contrib module. It's against 8.0beta4. It's intended for
commit.

Markus Bertheau <twanger@bluetwanger.de>

Add Charset WIN1252 support.

Roland Volkmann

Allow libedit to keep its headers in /usr/include/readline/ ... not a
very good practice IMHO, but apparently some people think so.

Add documention on ARRAY() function.

David Fetter

Add mention of using --disable-rpath with regression test.

Prevent pg_autovacuum -D from needing an argument.

Kenneth Marshall

Hack to work around broken linker on older NetBSD/OpenBSD/Irix assumed
that readline must depend on libcurses, but it seems more recent ones
use libtermcap instead.  Allow that case.

Change Win32 dlerror message to:

return "dynamic loading error";

Add for Win32:

>  o Improve dlerror() reporting string

Add:

> * Allow a warm standby system to also allow read-only queries
>
>   This is useful for checking PITR recovery.
>

Disallow the combination VACUUM FULL FREEZE for safety's sake, for the
reasons I outlined in pghackers a few days ago.

Also, undo someone's overly optimistic decision to reduce tuple state
checks from if (...) elog() to Asserts.  If I trusted this code more,
I might think it was a good idea to disable these checks in production
installations.  But I don't.

Add:

> * Fix psql's display of schema information (Neil)

Don't bother adding to cflags/cppflags, just set them because configure
handles that, and make solaris debug use no optimization.

Wording improvement.

Document that btrim()'s second parameter is optional, and defaults to spaces.

Update Brazilian FAQ.

Euler Taveira de Oliveira

Rework libpq threaded SIGPIPE handling to avoid interference with
calling applications.  This is done by blocking sigpipe in the libpq
thread and using sigpending/sigwait to possibily discard any sigpipe we
generated.

Fix a potential free() of string literal in oid2name, per report from
Michael Fuhr. Along the way, fix a bunch of accesses to uninitialized
memory, add a mystrdup() routine and use it to cleanup some code.

Add:

>
> * Allow FOR UPDATE queries to do NOWAIT locks
>

This is a little patch to correct the documentation on CVS. The URL for
downloading CVS at cyclic.com site is long defunct, and I changed the text
to not overtly recommend CVS 1.10, a now fairly old version.

Jon Jensen

Update Japanese FAQ.

Jun Kuwamura

Teach regex_fixed_prefix() the correct handling of advanced regex
escapes --- they aren't simply quoted characters.  Problem noted by
Antti Salmela.  Also fix problem with incorrect handling of multibyte
characters when followed by a quantifier.

Make some adjustments to reduce platform dependencies in plan selection.
In particular, there was a mathematical tie between the two possible
nestloop-with-materialized-inner-scan plans for a join (ie, we computed
the same cost with either input on the inside), resulting in a roundoff
error driven choice, if the relations were both small enough to fit in
sort_mem.  Add a small cost factor to ensure we prefer materializing the
smaller input.  This changes several regression test plans, but with any
luck we will now have more stability across platforms.

Allow libpq to build on MS Visual Studio .NET 2003 on Windows XP.

Update French FAQ.

Guillaume LELARGE

Fix timestamptz_age() to do calculation in local timezone not GMT, per bug 1332.

Clarify documentation of age() functions.

Change planner to use the current true disk file size as its estimate of
a relation's number of blocks, rather than the possibly-obsolete value
in pg_class.relpages.  Scale the value in pg_class.reltuples correspondingly
to arrive at a hopefully more accurate number of rows.  When pg_class
contains 0/0, estimate a tuple width from the column datatypes and divide
that into current file size to estimate number of rows.  This improved
methodology allows us to jettison the ancient hacks that put bogus default
values into pg_class when a table is first created.  Also, per a suggestion
from Simon, make VACUUM (but not VACUUM FULL or ANALYZE) adjust the value
it puts into pg_class.reltuples to try to represent the mean tuple density
instead of the minimal density that actually prevails just after VACUUM.
These changes alter the plans selected for certain regression tests, so
update the expected files accordingly.  (I removed join_1.out because
it's not clear if it still applies; we can add back any variant versions
as they are shown to be needed.)

Add:

> * Allow ecpg to work with MSVC and BCC

Update with Gavin's additions.

Remove question mark on COPY CSV fix:

<    returns in data?
>    returns in data

Add \n to end of output for psql \s with no history file name.

This prevents the next psql prompt from showing up on the end of the
last history line.

Update Turkish FAQ.

Devrim GUNDUZ

Removed:

< * Make log_min_duration_statement output when the duration is reached rather
<   than when the statement completes
<
<   This prints long queries while they are running, making trouble shooting
<   easier.  Also, it eliminates the need for log_statement because it
<   would now be the same as a log_min_duration_statement of zero.

Quote SHELL arguments only on Win32.

Add:

> * Make log_min_duration_statement output when the duration is reached rather
>   than when the statement completes
>
>   This prints long queries while they are running, making trouble shooting
>   easier.  Also, it eliminates the need for log_statement because it
>   would now be the same as a log_min_duration_statement of zero.

Fix readline/libedit selection code to prefer readline over libedit
reliably (ie, regardless of which libraries they depend on).  Also
make sure that we don't select headers that obviously belong to the
wrong one of the two libraries.  This was discussed back around 4-Sep
but seems to have slipped through the cracks.  The header selection
could be checked more closely, perhaps, but let's see if this is good
enough.

Update wording:

< you would like to work on an item, please read the developer's FAQ
> you would like to work on an item, please read the Developer's FAQ

Updated TODO list description:

9c5
< Last updated: Mon Nov 29 23:33:09 EST 2004
> Last updated: Tue Nov 30 00:03:37 EST 2004
13a10,16
> #A hyphen, "-", marks changes that will appear in the upcoming 8.1 release.#
>
> Bracketed items, "[]", have more detail.
>
> This list contains all known PostgreSQL bugs and feature requests. If
> you would like to work on an item, please read the developer's FAQ
> first.

Add:

> * Prevent INET cast to CIDR from droping netmask, SELECT '1.1.1.1'::inet::cidr

Add:

>  o Allow COPY FROM ... CVS to interpret newlines and carriage
>    returns in data?
>
>    This would require major refactoring of the copy source code.

Fix a few typos in comments.

Add:

> * Improve NLS maintenace of libpgport messages linked onto applications
>

Update plperl to use ereport() not elog() for user-facing messages,
so that they will be translatable.  Give messages some semblance of
conformance to the style guide.

Add:
<
> * Allow cross-compiling by generating the zic database on the target system

Clean up initdb's error handling so that it prints something more
useful than just \'failed\' when there's a problem.  Per gripe from
Chris Albertson.

In an unrelated change, use VACUUM FULL; VACUUM FREEZE; rather than
a single VACUUM FULL FREEZE command, to respond to my worries of a
couple days ago about the reliability of doing this in one go.

Update Turkish FAQ.

Devrim GUNDUZ

Add comment explaining possible compiler warning:

    /*
     *  Some compilers with throw a warning knowing this test can never be
     *  true because off_t can't exceed the compared maximum.
     */
    if (th->fileLen > MAX_TAR_MEMBER_FILELEN)
        die_horribly(AH, modulename, "archive member too large for tar format\n");

Add:

> * Auto-vacuum
>  o Move into the backend code
>  o Scan the buffer cache to find free space or use background writer
>  o Use free-space map information to guide refilling

Typo fixes.

Euler Taveira de Oliveira

Have initdb display relative paths to start postmaster if used to invoke
initdb, and display in a path-native way.

Make pg_dumplo schema-aware.  Karel Zak

Avoid scribbling on original parsetree during DECLARE CURSOR.  This
prevents problems when the DECLARE is in a portal and is executed
repeatedly, as is possible in v3 protocol.  Per analysis by Oliver
Jowett, though I didn't use his patch exactly.

Add description:

<   information, either by name or offset from UTC
>   information, either zone name or offset from UTC
>
>   If the TIMESTAMP value is stored with a time zone name, interval
>   computations should adjust based on the time zone rules, e.g. adding
>   24 hours to a timestamp would yield a different result from adding one
>   day.
>

Mega-clarifications from Joachim Wieland.

Work around lack of NLS support in libpgport by making those components
who use it scan the relevant source files for their own catalog.  It
creates a bit of duplicate work for translators, but it gets the job done
for now.

Correctly name the Windows operating systems

Update of conformance information to SQL:2003
by Troels Arvin, Simon Riggs, Elein Mustain

Make spelling of SQL standard names uniform.

Fix HAVE_OPTRESET to be HAVE_INT_OPTRESET.  Typos spotted by Lorne Sunley.

Add web development faq item.

Add mention of Cygwin. Update version number.

Add to CPPFLAGS/CFLAGS in template files, don't over-ride them.

This adds mention of my latest tweak to the tsearch2/pg_trgm
integration.  It is much better to create a word list of unstemmed words
than stemmed ones.

Chris K-L

RelOptInfo.pages should really be declared as BlockNumber, not long.

Install Tcl regex fixes to sync our regex engine with Tcl 8.4.8 (up from
8.4.1).  This corrects some curious regex bugs, though not the greediness
issue I was hoping to find a solution for :-(

Our interface code for Spencer's regexp package was checking for regexp
error conditions during regexp compile, but not during regexp execution;
any sort of "can't happen" errors would be treated as no-match instead
of being reported as they should be.  Noticed while trying to duplicate
a reported Tcl bug.

A client_encoding specification coming from the connection request has
to be processed by GUC before InitPostgres, because any required lookup
of the encoding conversion function has to be done during InitializeClientEncoding.
So, I broke this last week by moving GUC processing to after InitPostgres :-(.
What we can do as a compromise is process non-SUSET variables during
command line scanning (the same as before), and postpone the processing
of only SUSET variables.  None of the SUSET variables need to be set
before InitPostgres.

Avoid getting bit by roundoff error while checking $Safe::VERSION.
Per report from Mark Kirkwood.

Trivial fix for a bug introduced in r1.94 of help.c: we want to only
include "\s" in \? output when readline is enabled, but that commit
supressed "\s" whether readline was enabled or not.

Assert that BufferIsPinned() in IncrBufferRefCount(), rather than using
a home-brewed combination of assertions that boiled down to the same
thing.

Prevent pgcrypto from successfully compiling if no valid random source
has been defined. Previously, pgcrypto would compile but would be
unusable.

New translations

Translation updates

Clean files generated by htmlhelp target.

Add htmlhelp stylesheet and build target.

Further plperl cleanup: be more paranoid about checking the type of
data returned from Perl.  Consolidate multiple bits of code to convert
a Perl hash to a tuple, and drive the conversion off the keys present
in the hash rather than the tuple column names, so we detect error if
the hash contains keys it shouldn't.  (This means keys not in the hash
will silently default to NULL, which seems ok to me.)  Fix a bunch of
reference-count leaks too.

The beginnings of a regression test for plperl.  Right now it only
covers return value processing, but that was the most broken stuff...

Try to instill some sanity in plperl's function result processing.
Get rid of static variables for SETOF result, don't crash when called
from non-FROM context, eliminate dead code, etc.

Fix typo in release notes. Michael Fuhr.

update us to beta5

Update release notes for recent changes; also minor editorialization.

Fix rounding problem in dynahash.c's decision about when the target
fill factor has been exceeded.  We usually run with ffactor == 1, but
the way the test was coded, it wouldn't split a bucket until the actual
fill factor reached 2.0, because of use of integer division.  Change
from > to >= so that it will split more aggressively when the table
starts to get full.

Reduce the default size of the PortalHashTable in order to save a
few cycles during transaction exit.  A typical session probably
wouldn't have as many as half a dozen portals open at once, so the
original value of 64 seems far larger than needed.

While fixing plperl and pltcl, I realized plpgsql wasn't doing
subtransactions quite right either: the ReleaseCurrentSubTransaction
call should occur inside the PG_TRY, so that the proper path is taken
if an error occurs during subtransaction commit.  This assumes that
AbortSubTransaction can cope with the state left behind if
CommitSubTransaction fails partway through, but we were already
requiring that.

Suppress remaining compile warnings, and add a comment about why
it's not really broken.  Andrew Dunstan

Fix plperl and pltcl error handling per my previous proposal.  SPI
operations are now run as subtransactions, so that errors in them
can be reported as ordinary Perl or Tcl errors and caught by the
normal error handling convention of those languages.  Also do some
minor code cleanup in pltcl.c: extract a large chunk of duplicated
code in pltcl_SPI_execute and pltcl_SPI_execute_plan into a shared
subroutine.

Fix typo.

Patch of 2004-03-30 corrected date_part(timestamp) for extracting
the year from a BC date, but failed to make the same fix in
date_part(timestamptz).