evdns_getaddrinfo() now supports the /etc/hosts file.

The regular blocking evutil_getaddrinfo() already supported /etc/hosts
by falling back to getaddrinfo() or gethostbyname().  But
evdns_getaddrinfo() had no such facility.  Now it does.

The data structure here isn't very clever.  I guess people with huge
/etc/hosts files will either need to get out of the 1980s, or submit a
patch to this code so that it uses a hashtable instead of a linked
list.

Includes basic unit tests.

Refactor code from evdns into a new internal "read a file" function.

Enable branch-prediction hints with EVUTIL_UNLIKELY.

This had been accidentally disabled.  Since it seems to work with GCC, I'm
turning it back on when GCC is present.

Fix byte counts when mixing deferred and non-deferred evbuffer callbacks.

This patch finishes 390e0561, which was somehow committed in a half-finished
state.  It solves a failing unit test on windows.

Merge branch 'ratelimit'

Conflicts:
bufferevent_async.c

Eradicated the last free() call. Let mm_free() take care of deallocation.

Fix compilation of rate-limiting code on win32.

Fix test-ratelim compilation on Linux.

I'd forgotten to include time.h, and to link against libm.

Never believe that we have pthreads on win32, even if gcc thinks we do.

Apparently some newer versions of mingw provide a fake pthreads api to
let applications work even if they don't know about windows threading.
That's nice, but we aren't one of those.

Fix crash bugs when a bufferevent's eventcb is not set.

In many places throughout the code, we called _bufferevent_run_eventcb
without checking whether the eventcb was actually set.  This would
work fine when the bufferevent's callbacks were deferred, but
otherwise the code would segfault.  Strangely, we always remembered to
check before calling the _bufferevent_run_{read,write}cb functions.

To prevent similar errors in the future, all of
_buferevent_run_{read,write,event}cb now check to make sure the
callback is actually set before invoking or deferring the callback.
This patch also removes the now-redundant checks for {read,write}cb.

Whitespace fixes in test.sh

Allow test.sh to be run as ./test/test.sh

Allow the user to redirect the verbose output of test/test.sh to a file

By default, the test.sh script still suppresses the output of all the
tests it invokes.  Now, however, you can have that output written to
a file specified in the TEST_OUTPUT_FILE shell variable.

Make the initial nameserver probe timeout configurable.

When we decide that a nameserver is down, we stop sending queries to
it, except to periodically probe it to see if it has come back up.
Our previous probe sechedule was an ad-hoc and hard-wired "10 seconds,
one minute, 5 minues, 15 minutes, 1 hour, 1 hour, 1 hour...".  There
was nothing wrong with having it be ad-hoc, but making it hard-wired
served no good purpose.

Now the user can set the initial timeout via a new
"initial-probe-timeout:" option; future timeouts back off by a factor
of 3 on every failure to a maximum of 1 hour.

As a side-benefit, this lets us cut the runtime of the dns/retry test
from about 40 seconds to about 3 seconds.  Faster unit tests are
always a good thing.

Fix the code that allowed DNS options to not end with :

We tried to fix this in 0.2.0.3-alpha, but our fix was buggy.

Introduced evutil_make_socket_closeonexec() to preserve fd flags for F_SETFD.

Use this to eliminate the various macros that called F_SETFD throughout
the code.

Adjusted fcntl() retval comparison on evutil_make_socket_nonblocking().

Apparently, a successful return value on F_SETFL is "anything but
-1".

Do not make bufferevent_setfd implicitly disable EV_READ and EV_WRITE.

This obviates the need for BEV_SUSPEND_CONNECTING, and good riddance.

Testing code for bufferevent rate-limiting.

This is not part of the regression tests, since running it necessarily
takes a while.  There is a new test-ratelim test; run it with '-h'
for an argument to see its options.

Rate-limiting for bufferevents; group and individual limits are supported.

The fairness algorithms are not the best, not every bufferevent type
is supported, and some of the locking tricks here are simply absurd.
Still, this code should be a good first step.

Expose our cached gettimeofday value with a new interface

I've got a two use case that wants this for a fairly sensible purpose:
one external and on internal.

Improve readability of evutil_unparse_protoname()

Fix a bogus free in evutil_new_addrinfo()

Fix an fd leak in evconnlistener_new_bind().

Make evutil_make_socket_nonblocking() leave any other flags alone.

Fixes bug 2922121

Fix compilation of devpoll.c by adding missing thread includes.

(Bug 2922156)

Replace some cases of uint32_t with ev_uint32_t.

Spotted by Roman Puls.

Do not ignore bufferevent_enable(EV_READ) before bufferevent_connect().

Previously, we weren't remembering that we wanted to re-add the read
event once the connect was finished.  Now we are.

Fix up behavior of never-defered callbacks a little

Simplify the read high-watermark checking.

Remove the contents of WIN32-Prj as unmaintained.

Makefile.nmake is now the preferred way to build with MSVC; the
project files haven't worked properly in ages.

Use evutil_socket_t, not int, when logging socket errors.

Fix a few locking issues on windows.

Set all instances of the version number correctly.

Note that we've made two subtle mistakes: we are supposed to suffix
any non-released version with "-dev", and we're supposed to use the
last byte of the numeric version to indicate whether we have done this.

For example, when 2.0.4-alpha is released, its numeric versin will be
0x 02 00 04 00.  As soon as we tag it, we will change the version in
the git repository to 2.0.4-alpha-dev, whose numeric version will be
0x 02 00 04 01 or something.

Drop install-sh from our git repo: a mismatched version could break "make dist"

Fix a segfault when freeing SSL bufferevents in an unusual order

Have container bufferevents hold a reference to their underlying bufferevents.

(Commit message and minor revisions by nickm.)

Fix a segfault when writing a very fragmented evbuffer onto an SSL

Fixes bug 2916328.

Update sample/signal-test.c to use newer APIs and not leak.

Only define _GNU_SOURCE if it is not already defined.

Fix compile on Snow Leopard with gcc warnings enabled

Fix a snow leopard compile warning in the unit tests.

Reported by Sebastian Hahn.

Refactor our 'suspend operation' logic on bufferevents.

There are lots of things we do internally in bufferevents to indicate
"the user would like this operation to happen, but we aren't going to
try until some other condition goes away."  Our logic here has gotten
entirely too complicated.

This patch tries to fix that by adding the idea of 'suspend flags' for
read and write.  To say "don't bother reading or writing until
condition X no longer holds," bufferevent_suspend_read/write(bev,
BEV_SUSPEND_X).  When X no longer holds, call
bufferevent_unsuspend_read/write(bev, BEV_SUSPEND_X).

Right now, only the read-watermark logic uses this.

Add the abilitity to mark some buffer callbacks as never-deferred.

New EVTHREAD_TRY_LOCK function to try to grab a lock.

Merge commit 'niels/dnscrash'

Fix a crash when reading badly formatted resolve.conf; from Yasuoka Masahiko

Update nmake makefile to build evthread.c

Fix regress_iocp.c usage of old lock allocation macros.

Fix up evthread compilation on windows

Valgrind fix: Clear struct kevent before checking for OSX bug.

William's original commit message:

   Valgrind complains on startup because kq_init passes to kevent only
   a partially initialized structure. The code doesn't expect kevent
   to look at .fflags, .udata, or .data, I suppose, because it merely
   tickles the kernel looking for an error response. But perhaps
   that's unwarranted chuminess (notwithstanding that it's checking
   for an OS X bug), and needless noise nonetheless.

Improved optional lock debugging.

There were a couple of places in the code where we manually kept lock
counts to make sure we never accessed resources without holding a
lock, and that we never released a lock we didn't have.  The
lock-debugging code already puts counts on _every_ lock when lock
debugging is enabled, so there is no need to keep these counts around
otherwise.  This patch rewrites the ASSERT_FOO_LOCKED macros to all
use a common EVLOCK_ASSERT_LOCKED().

We also teach the lock debugging code to keep track of who exactly
holds each lock, so that EVLOCK_ASSERT_LOCKED() means "locked by this
thread."

Fix an evdns lock violation.

Original message:

   evdns contains a bug related to thread lock.

   enable thread lock by evthread_use_pthreads() will cause successive
   evdns_base_resolve_ipv4() (and other resolve functions i think) to
   hang on EVDNS_LOCK(base) after one or several successful call to
   evdns_base_resolve_ipv4().

Fix a locking bug in event_base_loop()

We previously were releasing the lock when we exited the main loop
in some ways, but not in others.

Fix two use-after-free bugs in unit tests spoted by lock debugging

Stop passing EVTHREAD_READ and EVTHREAD_WRITE to non-rw locks.

Previously, our default lock model kind of assumed that every lock was
potentially a read-write lock.  This was a poor choice, since
read-write locks are far more expensive than regular locks, and so the
lock API should only use them when we can actually take advantage of
them.  Neither our pthreads or win32 lock implementation provided rw
locks.

Now that we have a way (not currently used!) to indicate that we
really want a read-write lock, we shouldn't actually say "lock this
for reading" or "lock this for writing" unless we mean it.

Revise the locking API: deprecate the old locking callbacks and add trylock.

Previously, there was no good way to request different kinds of lock
(say, read/write vs writeonly or recursive vs nonrecursive), or for a
lock function to signal failure (which would be important for a
trylock mode).

This patch revises the lock API to be a bit more useful.  The older
lock calls are still supported for now.

We also add a debugging mode to catch common errors in using the
locking APIs.

Fix memory-leak of signal handler array with kqueue.

It turns out that kqueue_dealloc wasn't calling evsig_dealloc()
(because it doesn't use the main signal handler logic) so the sh_old
array was leaking.

This patch also introduces a fix in evsig_dealloc() where we set
the sh_old array to NULL when we free it, so that main/fork can pass.

Parenthesize macro arguments more aggressively

Add a warning about the use of event_initialized.

Tolerate code that returns from a fatal_cb.

Also, replace more abort() calls with EVUTIL_ASSERT() or event_errx.

Add stub header for 2.0.4-alpha changelog.

Add more people who wrote patches to the acknowledgments

The names came from grepping ChangeLog for 'patch/code from/by'.

Improve the README with more information and links.

(Also, try to test out the new commit script.)

Add a .gitignore file.

.gitignore plays the same role in Git as the svn:ignore property does in
subversion.

call it 2.0.3-alpha

svn:r1556

Remove most calls to event_err() in http and deal with memory errors instead

svn:r1555

nick found a race condition in the pthreads test case

svn:r1554

On FreeBSD and other OSes, connect can return ECONREFUSED immediately; instead of failing the function call, pretend with faileld in the callback.

svn:r1553

Documentation adjustments

svn:r1552

Fix a spelling error and remove some dead code

svn:r1551

Do the proper hack for the (Open)BSD getaddrinfo quirk.

From evutil.c:

   Some older BSDs (like OpenBSD up to 4.6) used to believe that
   giving a numeric port without giving an ai_socktype was verboten.
   We test for this so we can apply an appropriate workaround.  If it
   turns out that the bug is present, then:

    - If nodename==NULL and servname is numeric, we build an answer
      ourselves using evutil_getaddrinfo_common().

    - If nodename!=NULL and servname is numeric, then we set
      servname=NULL when calling getaddrinfo, and post-process the
      result to set the ports on it.

   We test for this bug at runtime, since otherwise we can't have the
   same binary run on multiple BSD versions.

svn:r1550

Make our failing-connection bufferevent test more tolerant.

I thought we had a way to do connect() that would never fail
immediately, but always wait for a moment before failing.  It
turns out that on FreeBSD it can fail immediately.  This is not
FreeBSD's fault, or even a real bug anywhere but in the unit test.

svn:r1549

Add a temporary workaround for an ssl bug found on FreeBSD.

Basically, we only want to report the 'connected' event because of
the socket connect() finishing when we have an actual socket
bufferevent; on an SSL bufferevent, 'connected' means 'SSL
connection finished.'

This isn't FreeBSD's fault: it just has a connect() that tends to
succeed pretty early.

svn:r1548

Build correctly with mm replacement turned off.

svn:r1547

Fix compilation with threading disabled.

svn:r1546

Move responsibility for IOCP callback into bufferevent_async.

This patch from Chris Davis saves some callback depth, and adds proper
ref-counting to bufferevents when there's a deferred evbuffer callback
inflight.  It could use a couple more comments to really nail down what
its invariants are.

svn:r1543

Clarify even more about various system-specific problems with getaddrinfo

svn:r1542

Use the common-case code from getaddrinfo_common *always*; OS differences are just too huge.

svn:r1541

Never pass our weird flags to the system getaddrinfo.  Make sure there is no overlap between flag values.

svn:r1540

OpenBSD demands that sys/types.h be included before sys/socket.h

svn:r1539

Windows *does* have getservbyname, no matter what autoconf says.

TODO: figure out why autoconf is confused about this.

svn:r1538

Add two implementations of getaddrinfo: one blocking and one nonblocking.

The entry points are evutil_getaddrinfo and evdns_getaddrinfo respectively.
There are fairly extensive unit tests.

I believe this code conforms to RFC3493 pretty closely, but there are
probably more issues.  It should get tested on more platforms.

This code means we can dump the well-intentioned but weirdly-implemented
bufferevent_evdns and evutil_resolve code.

svn:r1537

Remove the stupid brokenness where DNS option names needed to end with a
colon.

svn:r1536

Fix a declaration of __func__ in rpcgen.

svn:r1535

Prefer calloc(a,b) to malloc(a*b).  via openbsd.

svn:r1531

When running set[ug]id, don't check the environment.

Idea from OpenBSD, but made a bit more generic to handle uncivilized lands
that do not define issetugid.

svn:r1530

Use arc4random() for dns transaction ids where available.  Patch taken from OpenBSD

svn:r1528

Fix a couple of event_debug calls.

svn:r1527

Change event_base.activequeues to "array of eventlist".

Previously, event_base.activequeues was of type "array of pointers to
eventlist."  This was pointless: none of the eventlists were allowed
to be NULL.  Worse, it was inefficient:

  - It made looking up an active event queue take two pointer
    deferences instead of one, thus risking extra cache misses.
  - It used more RAM than it needed to, because of the extra pointer
    and the malloc overhead.

Also, this patch fixes a bug where we were saying
calloc(N,N*sizeof(X)) instead of calloc(N,sizeof(X)) when allocating
activequeues.  That part, I'll backport.

Also, we warn and return -1 on failure to allocate activequeues,
rather than calling event_err.

svn:r1525

Change an OOM err to a warn in event_tagging.c

svn:r1524

Change an err to a warn in bufferevent_openssl

svn:r1523

Patch from Ryan Phillips: accept ipv6 addresses returned by getaddrinfo in http.c

svn:r1522

Unit tests for got_break and got_exit.

svn:r1521

Make persistent timeouts more accurate.

Previously, if the user scheduled a persistent timeout for {1,0}, we
would schedule the first one at "now+one second", and then when we
were about to run its callback, we would schedule it again for one
second after that.  This would introduce creeping delays to the event
that was supposed to run every second.

Now, we schedule the event for one second after it was _last
scheduled_.  To do this, we introduce internal code to add an event at
an _absolute_ tv rather than at now+tv.

svn:r1520

Make sure that common timeouts are inserted in-order.

This code should be a no-op, except under strange thread contention
situations.

svn:r1519

Add an option to disable the timeval cache.

svn:r1518

Implement queued timeouts for case where many timeouts are the same.

Libevent's current timeout code is relatively optimized for the
randomly scattered timeout case, where events are added with their
timeouts in no particular order.  We add and remove timeouts with
O(lg n) behavior.

Frequently, however, an application will want to have many timeouts
of the same value.  For example, we might have 1000 bufferevents,
each with a 2 second timeout on reading or writing.  If we knew this
were always the case, we could just put timeouts in a queue and get
O(1) add and remove behavior.  Of course, a queue would give O(n)
performance for a scattered timeout pattern, so we don't want to
just switch the implementation.

This patch gives the user the ability to explicitly tag certain
timeout values as being "very common".  These timeout values have a
cookie encoded in the high bits of their tv_usec field to indicate
which queue they belong on.  The queues themselves are each
triggered by an entry in the minheap.

See the regress_main.c code for an example use.

svn:r1517

We do not work any more without an event-config.h; stop pretending that it is meaningful to check for HAVE_CONFIG_H

svn:r1516

Fix kqueue.c build on GNU/kFreeBSD systems.

Yes, some people like to have a BSD-family kernel (thus getting
kqueue) with a GNU-family libc (thus occasionally mandating
_GNU_SOURCE).

Thanks to Debian for noticing this.

svn:r1514

Fix a miscalculated realloc() size in win32select.c.

This bug was introduced by the code to make the backend able to safely release the base lock while calling select().

Also, we change win32select.c to the same 32-fds-to-start default as the rest of the backends, so that the main/many_events test can test it.  It was at 64-to-start, so the test wasn't hitting it.

svn:r1513