Convert documentation from rst to Markdown

It seems that many contributors already submit patches thinking that
rst is Markdown, which leads to incorrect and inconsistent formatting,
since the two are similar but not compatible.  By using the more well
known Markdown, we can perhaps hope to achieve better formatted
documentation contributions.

Also, since the web site uses Markdown as its source format, by using
Markdown here we can avoid the fragile conversion process altogether.

Remove outdated auth_file documentation

Once upon a time, one could point auth_file to pg_auth in the
PostgreSQL data directory, but this is long obsolete (gone as of
PostgreSQL 9.0), so remove mentions of it.

Prevent too long user name or password from client

In most cases, this wouldn't work anyway, because for example the user
wouldn't be found in pgbouncer, since userlist.txt doesn't permit too
long user names.  But in the case of PAM there was no such check, so
too long user names could be added by add_pam_user(), which would
truncate them, and then a subsequent search using the not-truncated
name wouldn't find it, causing duplicates to be added.

Reported-by: @achix
fixes #353

Merge pull request #356 from mnencia/issue-220

Avoid 'unexpected response from login query' after a postgres reload

Avoid 'unexpected response from login query' after a postgres reload

After a PostgreSQL reload, the backend could inform the frontend about
configuration changes by sending some ParameterStatus messages
together with the usual login query response. These messages can be
safely ignored in the login query response handler.

Closes: #220

Move comment to the right place

Put units on log message

age=N -> age=Ns

Merge pull request #329 from marcocitus/cancellations_fix

Do not wait server_login_retry for next connect if cancellation succeeds

Do not wait server_login_retry for next connect if cancellation succeeds

If postgres restarts while there are N cancellations in the queue,
pgbouncer is currently unavailable for at least N*server_login_retry
because it uses every new connection for one queued cancellation and
then waits server_login_retry before opening a new connection because
the last_connect_failed flag is still set to 1. This can lead to
prolonged downtime.

This changes fixes the issue by introducing a last_login_failed flag.
The last_connect_failed is now reset when a cancellation succeeds, such
that launch_new_connection no longer waits if pgbouncer manages to
connect, but has queued cancellations. The last_login_failed flag has
the same semantics as the last_connect_failed flag had previously, such
that check_fast_fail still rejects connections when there are no servers
available and the last login failed.

Add exit status to test scripts

When a test fails, exit with status 1, so automation can catch test
failures.  Also add a way to skip tests that cannot be run (mainly for
lack of sudo in this case).

Fix rare crash

SHOW FDS could in rare cases crash if a client had not been assigned
to a pool yet, causing a null pointer dereference.

fixes #311

doc: Update SHOW DATABASES documentation

Documentation of reserve_pool was missing.

fixes #322

Fix typos

fixes #322

Clarify file descriptor use log message

Make sure file descriptor info goes to the log

Delay the call to check_limits() until after daemonization so that the
message goes to the server log and is not printed to some other output
location.

Fix rst syntax

Improve shell script portability

Use printf instead of echo -n, for BSD compatibility, similar to
1b6db6c506cbed67fb4012a1217898a4b8e35252.

Fix psql invocation in tests

similar to 4f48ae3c7c7a3ae7aab4594420b0646ae27d4c7d, but for the ssl
tests

Fix up conntest test programs

Allow asynctest to run without an explicitly specified connection
string.  That way it can pick up the connection parameters from the
environment.  The run-conntest.sh driver script was already calling it
that way.

Fix the location of the pgbouncer binary in run-conntest.sh.

Improve test script robustness

Consistently exit with an error if the OS is not supported by the
firewall manipulation commands.  Previously, it would in some cases
print an error but not exit.

Fix typo in test script

Make log message more consistent

Travis CI: Run optscan.sh

optscan.sh: exit 1 on error

Update v1.9.0 release date

Fix typo

Bump libusual

v1.9

WAIT_CLOSE command

Fast close

Disconnect a server in session pool mode immediately if it is in
"close_needed" (reconnect) mode.  This ensures that the RECONNECT
command doesn't have to wait for session end.

RECONNECT command

Add close_needed column to SHOW SERVERS

This allows monitoring which server connections need reconnecting after
a configuration change.

Improve whitespace

Fix -Wimplicit-fallthrough warnings

in otherwise forgotten test program file

Minor whitespace fix in log message

test: Update MacOS firewall commands

Make commands in conntest.sh match the newer variants in test.sh.  Also
add a missing sudo.

doc: Clarify file descriptor formula

The previous phrasing made it look like max_pool_size etc. were
configuration settings.  Perhaps this way it's a bit clearer.

fixes #190

Make capitalization of log messages consistent

also minor typo and punctuation corrections

Merge pull request #255 from eulerto/reserve-pool-fix

Fix reserve_pool parameter

NEWS: Fix typos

fixes #296

doc: Clarify documentation of server_lifetime

fixes #305

doc: Document that KILL requires RESUME afterwards

fixes #310

test.sh: Sort out netcat zoo

The previous code distinguished between Linux and non-Linux netcat.
This didn't stand the test of time, since Linux distributions now ship
multiple variants of netcat and other operating systems also provide
multiple options.  So instead try to detect the variant from the help
output.  Also, the previous uses of the -q and -w options behaved
strangely with some versions and/or were inconsistent with the
documentation.  So abandon those options and just rely on the existing
killall call.

The test_server_connect_timeout_establish test should now pass again on
hopefully most configurations.

Fix comments

Improve punctuation in stats message

Update code comment

doc: Document reconnect behavior on reload and DNS change

This is long-standing behavior, just make the documentation about it
more explicit.

doc: Add missing documentation for various SHOW fields

Various output fields from SHOW commands were not documented.

Fix -Wimplicit-fallthrough warnings

These warnings started showing up with GCC 7.  The code was already
correct, but the intent is now a bit clearer.  Compilation with recent
GCCs should now be warning-free again.

test: Restore userlist.txt after test run

test.sh: Wrap all sudo calls in CAN_SUDO check

One call had been missed.

.gitignore: Add test/pgdata/

Correct list of required software

In particular, pkg-config is required for normal builds, not just from
Git.

Normalize spelling of Git

doc: Document SET command

doc: Small improvement in quick start

Add an indication that the "SHOW HELP" example output is not complete.
Then we don't have to feel obliged to update it every time we add
something to the actual help output.

Merge pull request #301 from danielgustafsson/dg-null_deref

Fix a double-free and a NULL pointer deref

Avoid NULL pointer deref in parse_line

If we fail to calloc the rule buffer, going to failed: will deref
rule via the rule_free() call. Avoid by returning false directly
and bypass the failed: block.

Avoid double-free in parse_filename

If the fopen() call fails parse_namefile() frees the filename buffer
fn, and the caller does the same. Avoid freeing in parse_namefile()
and leave the cleanup to the caller.

Fix whitespace errors reported by Git

doc: Improve signals documentation

Add SIGUSR1 and SIGUSR2.  Fix grammar a bit.

Port mkauth.py to Python 3

fixes #263

Travis CI: Test make deb target

Fix mistake in test setup

This caused the test test_database_change to fail.

Fix psql invocation in tests

Always run psql with -X, otherwise some tests fail if there is something
in .psqlrc producing output.  Also fix some potential portability
problems in option syntax: Put non-option arguments last, don't mix
options with and without arguments.

v1.8.1

Travis CI: Add configure arguments matrix

Travis CI: Convert script to single YAML block

Otherwise the scripts are all run independently of each other, which
doesn't make sense.

Travis CI: Add test for building from dist tarball

Check that the distribution tarball can actually be built from, in case
it's missing a file.  Also check `make install` while we're here.

Add include/pam.h to distribution tarball

fixes #261

v1.8

doc: Fix rst syntax

Words ending in underscore are links.  This confuses pandoc (for the web
site) (but apparently not rst2man).  Escape with backslash to fix.

Display 0 ttl for stale DNS entries in SHOW DNS_HOSTS

Travis CI: Add dist target to script

Use strerror() instead of %m for portability

Minor spelling and grammar improvements

Merge pull request #260 from petere/doc-fixes

detect and fix errors in documentation sources

doc: Fix duplicate target name

Since there are two sections called "auth_user", we need to make one of
them an explicit target so we can link to it.

doc: Catch warnings and errors from rst2man

Make rst2man exit with a non-zero exit status when there are warnings or
errors in the source.

Travis CI: Add python-docutils as dependency

for rst2man

Fix handling of absent rst2man

The makefile line

    RST2MAN ?= rst2man

didn't have the desired effect, because config.mak sets RST2MAN, and ?=
doesn't do anything if the variable is set to empty.  So instead let
configure put in a default value if the program cannot be found.

Add Travis CI

Merge pull request #257 from eulerto/default-values-fix

Use default values in config file

Update libusual

Use default values in config file

Instead of using arbritary values, use the default values. It is to
avoid surprises if you just remove comment character (;). I also did
some cosmetic changes. While at it, add some default information for
auth_user.

Fix reserve_pool parameter

The correct per pool parameter is reserve_pool. The global parameter is named
reserve_pool_size.

While at it, document reserve_pool parameter.

Merge pull request #253 from eshkinkot/master

Receiving NotificationResponse asynchronously should not raise warning

Receiving NotificationResponse asynchronously should not raise warning

Improve handling of auth_file cache and errors

Fixes #192

Improve the hba.conf parsing issue warning

This was added by 4f3dfc9, the wording was no ideal.

Merge pull request #243 from gplv2/master

add clues for sysadmin concerning HBA issues

Merge pull request #229 from petere/crash-fix

Fix crash from memory overrun

Merge pull request #235 from petere/pgbouncer-ini-auth-type

pgbouncer.ini: Add missing auth_type's to comment

Add STATS_TOTALS/STATS_AVERAGES into HELP

And separate the STATS* commands to it's own line.

Missed by 656844e

Merge pull request #238 from 'tvondra/statistics-fixes'

Track separate stats for queries and transactions

add clues for sysadmin concerning HBA issues

Add SHOW STATS_TOTALS / STATS_AVERAGES as admin commands

We already had SHOW STATS, but after adding the wait_time colums it
got a bit too wide for regular screens. That's incovenient, as the
admin interface does not selecting only some of the columns.

But in most cases we're only interested either in totals or averages,
not both at the same time. So let's add commands showing only the
relevant subset of columns.

Track total time spent waiting for server

There already is maxwait column in pool details, showing how long
the oldest client is currently waiting. Which is useful, but it does
not allow us to easily break client time into the three basic
categories: busy, idle and waiting.

This adds tracking of total time spent waiting for a server, and
adds it as wait_time into SHOW STATS. The total value is simply
accumulated over time, the average value is 'per second' value.

The value is only updated when a client acquires a server, so if
a client is waiting indefinitely, the wait time won't be reflected
in the value. That would require inspecting the the list of waiting
clients, which seems like overkill. Moreover, that's what maxwait
is good for.

Track separate stats for queries and transactions

The documentation claimed avg_query tracks average query duration,
but it was only updated when switching into 'idle' state. So in
transaction or session pooling modes, it was actually the duration
of the whole transaction, including 'idle in transaction' time and
time spen executing (multiple) queries.

This was causing confusion, e.g. when the application was keeping
transactions open without executing any queries. In that case the
avg_query metric was increasing although the database was handling
queries just fine (without any slow-down).

Instead of just fixing the avg_query metric, it seems quite useful
to have timing data both for queries and transactions. So this
patch replaces

 - total_query_time
 - avg_query

with

 - total_xact_time
 - total_query_time
 - avg_xact_time
 - avg_query_time

This is also related to the definition of 'request' which was used
to compute the avg_query, and so it equal to a transaction. This
patch replaces the counter with two - one for transactions and one
for queries. As we also computed avg_req, the patch replaces

 - total_requests
 - avg_req

with

 - total_xact_count
 - total_query_time
 - avg_xact_count
 - avg_query_count

Note: This is likely to affect monitoring solutions, as the column
names in SHOW STATS change.

Corrects bits vs bytes

Change "b/s" to "B/s", because the units are bytes.