Minor SGML markup improvements.

Make use of statistics on index expressions.  There are still some
corner cases that could stand improvement, but it does all the basic
stuff.  A byproduct is that the selectivity routines are no longer
constrained to working on simple Vars; we might in future be able to
improve the behavior for subexpressions that don't match indexes.

Change may -> might, and remove an extra tab.

- Cleaned up parser a little bit. It does not make sense to allow a
  typename to be typedef'ed that cannot be parsed as variable type.
- Allowed some SQL keywords to be used as C variable names.

First steps towards statistics on expressional (nee functional) indexes.
This commit teaches ANALYZE to store such stats in pg_statistic, but
nothing is done yet about teaching the planner to use 'em.
Also, repair longstanding oversight in separate ANALYZE command: it
updated the pg_class.relpages and reltuples counts for the table proper,
but not for indexes.

New translation

- Allowed some C keywords to be used as SQL column names.

    - Added missing braces to array parsing.
- Set ecpg version to 3.1.1.
- Removed that old debugging output that I forgot the last time.

Minor documentation tweak.

Create crosstype comparison operators for date vs. timestamp and date
vs. timestamptz.  This allows use of indexes for expressions like
  datecol >= date 'today' - interval '1 month'
which were formerly not indexable without casting the righthand side
down from timestamp to date.

Repair optimization bug I introduced in a moment of brain fade back in
Nov 2002: when constant-expression simplification removes all the
aggregate function calls from a query, that doesn't mean we can act as
though there never were any aggregates.  Per bug report from Gabor Szucs.

Documentation for vacuum_cost config options.

Jan

After further thought about support for gathering stats on functional
indexes, it seems like we ought to put another layer of indirection
between the compute_stats functions and the actual data storage.  This
would allow us to compute the values on-the-fly, for example.

Mention psql variable names are case-sensitive.

Fix typo:

< * Allow cross-db queries with transaction sematics
> * Allow cross-db queries with transaction semantics

Tom Lane wrote:
> momjian@svr1.postgresql.org (Bruce Momjian) writes:
>>      someone asked me about the FK deadlock fix, mentioned in the 7.3.3
>>      release notes as 3rd change:
>>      http://www.postgresql.org/docs/current/static/release-7-3-3.html
>>      Actually, that fix was available with 7.4, not 7.3. Don't know if we can
>>      retroactively change the release-notes though.
>
> This is completely erroneous, please undo it.
>
> 2003-05-21 14:14  tgl
>
>       * src/: backend/utils/adt/ri_triggers.c,
>       test/regress/expected/foreign_key.out (REL7_3_STABLE): Back-patch
>       Jan's fix to avoid primary key lookup (and lock) if foreign key
>       does not change on UPDATE.

Oh ... didn't know that you did a backpatch. Sorry

Jan

Add:

> * Use nested transactions to prevent syntax errors from aborting a transaction

Add:

> * Allow temporary views on non-temporary tables

Try to make 'cross-database references are not implemented' errors a
bit more helpful by identifying the specific qualified name being
complained of.

Add hooks for type-specific calculation of ANALYZE statistics.  Idea and
coding by Mark Cave-Ayland, some kibitzing by Tom Lane.  initdb forced
due to new column in pg_type.

Add from Joe Conway:

>  o Modify array literal representation to handle array index lower bound
>    of other than one
>
183d185
<

Add CVS ID tags to port/win32/files.

Jan:

someone asked me about the FK deadlock fix, mentioned in the 7.3.3
release notes as 3rd change:

     http://www.postgresql.org/docs/current/static/release-7-3-3.html

Actually, that fix was available with 7.4, not 7.3. Don't know if we can
retroactively change the release-notes though.

Avoid delaying postmaster shutdown by up to 10 seconds on platforms
where signals do not terminate sleep() delays.

Improve \? wording, remove 'internal'.

Translation updates

Add bitmap discussion to performance TODO.detail.

Remove TODO.detail files that contained useless or very old information.
Update TODO accordingly.

Done:

<
<
< Reporting
< =========
<
< * Show location of syntax error in query [yacc]

File not needed:

.< * Improve speed with indexes (perhaps recreate index instead) [vacuum]
> * Improve speed with indexes (perhaps recreate index instead)
369c369
<   lock and truncate table [vacuum]
>   lock and truncate table
371c371
<   rather than in /contrib [vacuum]
>   rather than in /contrib

Mostly done:

< * Allow better handling of numeric constants, type conversion [typeconv]

File not needed:

< * Add replication of distributed databases [replication]
> * Add replication of distributed databases

Remove:

<  o http://gborg.postgresql.org/project/pgreplication/projdisplay.php

Merge files:

< * Allow persistent backends [persistent]
> * Allow persistent backends [pool]
397c397
<   connection pooling
>   connection pooling [pool]

Not needed:

<   float4, numeric/decimal too [optimizer]
>   float4, numeric/decimal too
422c422
< * Missing optimizer selectivities for date, r-tree, etc. [optimizer]
> * Missing optimizer selectivities for date, r-tree, etc

Not needed:

< * Delay fsync() when other backends are about to commit too [fsync]
> * Delay fsync() when other backends are about to commit too

Not needed:

< * Add MATCH PARTIAL referential integrity [foreign]
> * Add MATCH PARTIAL referential integrity

Remove crossdb content.

Add, dblink doesn't do this:

> * Allow cross-db queries with transaction sematics

Done, mostly by dblink, I think:

< * Allow queries across multiple databases [crossdb]

Fix typo:

On Mon, 2004-01-26 at 21:28, Peter Eisentraut wrote:
> Christophe Combelles wrote:
> > At the bottom of this doc file :
> > file:///usr/share/doc/postgresql-doc/html/tutorial-createdb.html
> > "and it also happens that that user always has permission"
> >                       ---- x2
> The first "that" serves as a conjuction, the second one serves as an
> article.  Looks correct to me.

A better workaround for the sentence would be something like:

        "and it also happens that the user always has permission"

Looks easier to read, I think.

Enver ALTIN (a.k.a. skyblue)

Add:
<
> * Allow substring/replace() to get/set bit values

Fixed bug where FlushRelationBuffers() did call StrategyInvalidateBuffer()
for already empty buffers because their buffer tag was not cleard out
when the buffers have been invalidated before.

Also removed the misnamed BM_FREE bufhdr flag and replaced the checks,
which effectively ask if the buffer is unpinned, with checks against the
refcount field.

Jan

Remove URL for specific pljava implementation:

<  o Allow Java server-side programming, http://pljava.sourceforge.net
<    [java]
>  o Allow Java server-side programming [java]

Check only live tuples for OID validity, to avoid issues after ALTER
TABLE.  Per recent discussion.

Added hints about the reason, why the command string in
the view pg_stat_activity is missing, as per Bruces suggestion.

Jan

Commit the reasonably uncontroversial parts of J.R. Nield's PITR patch, to
wit: Add a header record to each WAL segment file so that it can be reliably
identified.  Avoid splitting WAL records across segment files (this is not
strictly necessary, but makes it simpler to incorporate the header records).
Make WAL entries for file creation, deletion, and truncation (as foreseen but
never implemented by Vadim).  Also, add support for making XLOG_SEG_SIZE
configurable at compile time, similarly to BLCKSZ.  Fix a couple bugs I
introduced in WAL replay during recent smgr API changes.  initdb is forced
due to changes in pg_control contents.

Repair some problems in bgwriter start/stop logic.  In particular, don't
allow the bgwriter to start before the startup subprocess has finished
... it tends to crash otherwise.  (The same problem may have existed for
the checkpointer, I'm not entirely sure.)  Remove some code that was
redundant because the bgwriter is handled as a member of the backend list.

Add:

>  o Disallow dropping of an inherited constraint

Check and set thread-safe functions separately, rather than as a single
variable.

Remove thread locking for non-thread-safe functions, instead throw a
compile error.

Platforms will have to re-run tools/thread to record their thread
safety.

Properly set NEED_REENTRANT_FUNCS for threaded libpq/ecpg.

Without this patch, no thread locking or *_r functions were being used.

Does not apply anymore:

< * Make blind writes go through the file descriptor cache

No need to link libpq into these programs ...

SGML markup improvements.

Add configure support for determining UINT64_FORMAT, the appropriate
snprintf format for uint64 items.

More clearly describe why PQinSend returns false for non-threaded libpq.

Add URL for most current version.

Repair missing inclusions of -lintl for shared libraries.

Looks like we need <unistd.h> for select() on Darwin.

Centralize implementation of delay code by creating a pg_usleep()
subroutine in src/port/pgsleep.c.  Remove platform dependencies from
miscadmin.h and put them in port.h where they belong.  Extend recent
vacuum cost-based-delay patch to apply to VACUUM FULL, ANALYZE, and
non-btree index vacuuming.

By the way, where is the documentation for the cost-based-delay patch?

Restructure smgr API as per recent proposal.  smgr no longer depends on
the relcache, and so the notion of 'blind write' is gone.  This should
improve efficiency in bgwriter and background checkpoint processes.
Internal restructuring in md.c to remove the not-very-useful array of
MdfdVec objects --- might as well just use pointers.
Also remove the long-dead 'persistent main memory' storage manager (mm.c),
since it seems quite unlikely to ever get resurrected.

Win32 signals cleanup. Patch by Magnus Hagander, with input from Claudio
Natoli and Bruce Momjian (and some cosmetic fixes from Neil Conway).
Changes:

    - remove duplicate signal definitions from pqsignal.h

    - replace pqkill() with kill() and redefine kill() in Win32

    - use ereport() in place of fprintf() in some error handling in
      pqsignal.c

    - export pg_queue_signal() and make use of it where necessary

    - add a console control handler for Ctrl-C and similar handling
      on Win32

    - do WaitForSingleObjectEx() in CHECK_FOR_INTERRUPTS() on Win32;
      query cancelling should now work on Win32

    - various other fixes and cleanups

Add mention of the developer's FAQ.

Add mention of PostgreSQL as a community project.

Add PITR web page:

< * Point-in-time data recovery using backup and write-ahead log
< * Create native Win32 port, http://momjian.postgresql.org/main/writings/pgsql/win32.html
> * Point-in-time data recovery using backup and write-ahead log,
>   http://momjian.postgresql.org/main/writings/pgsql/project/pitr.html
> * Create native Win32 port, http://momjian.postgresql.org/main/writings/pgsql/project/win32.html

Add missing dependency, per Wade Klaver.

Cost based vacuum delay feature.

Jan

Documentation for generate_series() functions committed a few days ago.

Backing out the background writer sync() option.

Jan

Use memmove() rather than memcpy() in set_var_from_var(). If this function
is asked to assign a variable to itself, it will result in doing a
memcpy() on an entirely-overlapping memory range, which results in
undefined behavior according to ANSI C. That said, it is unlikely to
actually do anything bad on any sane libc, but this keeps valgrind quiet.

pwd

Rename SortMem and VacuumMem to work_mem and maintenance_work_mem.
Make btree index creation and initial validation of foreign-key constraints
use maintenance_work_mem rather than work_mem as their memory limit.
Add some code to guc.c to allow these variables to be referenced by their
old names in SHOW and SET commands, for backwards compatibility.

Add:

> * Make pg_restore continue after errors, so it acts more like pg_dump scripts

Add function (actually an int4 and an int8 version) that generates
a series of numbers, optionally using an explicit step size other
than the default value (one). Use function in the information_schema
to replace hard-wired knowledge of INDEX_MAX_KEYS. initdb forced due
to pg_proc change. Documentation update still needed -- will be
committed separately.

Win32 adjustments for dirmod and configure/configure.in.

autoconf run.

Set only LC_ALL for sort in tags creation.

> src/backend/commands/user.c file has some parse error at repalloc(),
palloc()$

Fixed.  Thanks.

> src/backend/postmaster/pgstat.c miss
> #include "tcop/tcopprot.h" line.

Fixed.

> src/utils/dllinit.c wrong include header line at MinGW.
> #include <cygwin/version.h> must be not included

Fixed.

> by the way,
> I can't compile eccp because I used lower version bison.

> and bin/pg_resetxlog too. in this case I can't find what's wrong.

Fixed.

Fix a read of uninitialized memory in next_token() of hba.c, spotted via
valgrind: a buffer passed to strncmp() had to be NUL-terminated. Original
report and patch from Dennis Bjorkland, some cleanup by Andrew Dunstan,
and finally some editorializing from Neil Conway.

Adjustments for Win32-specific rename code, and add include file.

Move win32 changes from configure to configure.in, per Tom, autoconf
run.

Do not let external specification of CFLAGS stop us from adding
-fno-strict-aliasing.

Avoid generating invalid character encoding sequences in make_greater_string.
Not sure how this mistake evaded detection for so long.

Use Tcl_PutEnv() in place of putenv() in libpgtcl, as the latter can
apparently corrupt the Tcl runtime. Per suggestion from Michael
Brusser <michael@synchronicity.com>

Adjust rename on Win32 to only link to temp name while holding lock,
then release locks and loop over renaming to active file name.

Briefly,
 * configure + Makefile changes
 * shared memory attaching in EXEC_BACKEND case (+ minor fix for apparent
cygwin bug under cygwin/EXEC_BACKEND case only)
 * PATH env var separator differences
 * missing win32 rand functions added
 * placeholder replacements for sync etc under port.h

To those who are really interested, and there are a few of you: the attached
patch + file will allow the source base to be compiled (and, for some
definition, "run") under MingW, with the following caveats (I wanted to
first properly fix all but the last of these, but y'all won't quit asking
for a patch :-):

        * child death: SIGCHLD not yet sent, so as a minimum, you'll need to
put in some sort of delay after StartupDatabase, and handle setting
StartupPID to 0 etc (ie. the stuff the reaper() signal function is supposed
to do)

        * dirmod.c: comment out the elog calls

        * dfmgr.c: some hackage required to substitute_libpath_macro

        * slru/xact.c: comment out the errno checking after the readdir
(fixed by next version of MingW)

Again, this is only if you *really* want to see postgres compile and start,
and is a nice leg-up for working on the other Win32 TODO list items. Just
don't expect too much else from it at this point...

Claudio Natoli

Set locale to C before doing sort in make_ctags.

Update char_length() example for new semantics.

Make length() disregard trailing spaces in char(n) values, per discussion
some time ago and recent patch from Gavin Sherry.  Update documentation
to point out that trailing spaces are insignificant in char(n).

Fix a probably-harmless read of uninitialized memory in mkdir_p(), to
silence a valgrind warning.

Remove a superfluous semi-colon.

Micro-opt: replace calls like
    appendStringInfo(buf, "%s", str);
with
    appendStringInfoString(buf, str);
as the latter form is slightly faster.

Fix text_position to not scan past end of source string in multibyte
case, per report from Korea PostgreSQL Users' Group.  Also do some
cosmetic cleanup in nearby code.

Fix debug elog message to agree with name of its routine.

Remove sleep() and use single PG_SLEEP call for Win32 signal handling
and consistency.

Change PG_USLEEP to use SleepEx() for signal interuptability.

Add:
<
> * Allow libpq to return information about prepared queries

Fix (debatable) spelling mistake in a comment: 'concatenate' is the usual
term, not 'catenate'.

Make USING and WITH optional to bring the syntax of \copy into exact
agreement with what the backend grammar actually accepts (which is a
bit looser than what its documentation claims).  Per report from Bill
Moran, though I did not use his patch since it removed all the
undocumented flexibility that the code historically had and the backend
still has.

Review uses of IsUnderPostmaster, change some tests to look at
whereToSendOutput instead because they are really inquiring about
the correct client communication protocol.  Update some comments.
This is pointing towards supporting regular FE/BE client protocol
in a standalone backend, per discussion a month or so back.

Fix typo.