Correctly detect failure to delete bufferevent read-timeout event

Gilad Benjamini noted that we check the error code for deleting a
write-timeout event twice, and the read timeout not at all.  This
shouldn't be a bit problem, since it's really hard for a delete to
fail on a timeout-only event, but it's worth fixing.

Fixes bug 3046787

Add a unit test for conditions

Make the regress_pthread.c tests work on windows with current test APIs

Use conditions instead of current_event_lock to fix a deadlock.

Avi Bab correctly noted as bug 3044479 the fact that any thread
blocking on current_event_lock will do so while holding
th_base_lock, making it impossible for the currently running event's
callback to call any other functions that require th_base_lock.

This patch switches the current_event_lock code to instead use a
condition variable that we wait on if we're trying to mess with
a currently-executing event, and that we signal when we're done
executing a callback if anybody is waiting on it.

Add a condition variable backend, with implementations for pthreads and win32

The interface from the user's POV is similar to the locking
implementation: either provide a structure full of function
pointers, or just call evthread_use_*_threads() and everything will
be okay.

The internal interface is meant to vaguely resemble pthread_cond_*,
which Windows people will better recognize as *ConditionVariable*.

Make definition of WIN32_LEAN_AND_MEAN in event.h conditional.

(Inclusion order might trigger a warning for redefinition on Windows.)

Clean up syntax on TAILQ_ENTRY() usage

Though the C standards allow it, it's apparently possible to get MSVC
upset by saying "struct { int field; } (declarator);" instead of
"struct {int field; } declarator;", so let's just not do that.

Bugfix for 3044492

(commit msg by nickm)

Make include/event2/event-config.h not included in source dist

As a generated file, it shouldn't get included in our source
distribution.  Apparently there is an automake incant for this:
nobase_ even stacks with nodist_ .

Change include order in Makefile.nmake

If there is an event-config.h in include/event2 (either because we
screwed up packaging like in 2.0.6-rc or because we previously tried
building with mingw and we didn't make distclean in the middle), we
want MSVC to find the one one in WIN32-Code/include/event2 first.

Found by Gilad Benjamini.

Update the whatsnew-2.0.txt document

Document that DNS_NO_SEARCH is an obsolete alias for DNS_QUERY_NO_SEARCH

Completely remove the (mostly-removed) obsolete thread functions.

Merge branch 'more_pkgconfig'

Add pkgconfig files for libevent_{openssl,pthreads}

Fix a nasty dangling-event bug when using rate-limiting groups

When we freed a bufferevent that was in a rate-limiting group and
blocked on IO, the process of freeing it caused it to get removed
from the group.  But removing the bufferevent from the group made
its limits get removed, which could make it get un-suspended and in
turn cause its events to get re-added.  Since we would then
immediately _free_ the events, this would result in dangling
pointers.

Fixes bug 3041007.

Increment vesion to 2.0.6-rc-dev

Increment versions to 2.0.6-rc

Changlog and new acknowledgements for 2.0.6-rc

Move event-config.h to include/event2

This change means that all required include files are in event2, and
all files not in event2/* are optional.

Fix evdns build with -DUNICODE

It turns out that GetProcAddress always takes its second argument as
a C string, regardless of whether unicode is on or not.

Fix unit tests with -DUSE_DEBUG enabled

If you were to enable USE_DEBUG and slog through all 700+ MB of
debugging output, you'd find that one of the unit tests failed,
since it tested the debug logging code, but the string it expected
and the string it logged differed by a tab vs 2 spaces.

Make test-changelist count cpu usage right on win32

Use AF_INET socketpair to test sendfile on Solaris

Turn our socketpair() replacement into its own function

This patch splits the formerly windows-only case of evutil_socketpair()
into an (internal-use-only) function named evutil_ersatz_socketpair(), and
makes it build and work right on non-Windows hosts.

We need this for convenience to test sendfile on solaris, where socketpair
can't give you an AF_INET pair, and sendfile() won't work on AF_UNIX.

Remember to initialize timeout events for bufferevent_async

Fixes segfaults in unit tests.

Increase the tolerance in our unit tests for sloppy clocks.

(Apparently openbsd in virtualbox just doesn't keep very accurate time.)

Make tests quieter on local dns resolver failure

Merge branch 'openssl_ratelim'

Fix an assertion bug in test-ratelim

If the rate limit was low enough, then the echo_conns wouldn't finish
inside the 300 msec we allowed for them to close.  Instead, count the
number of connections we have, and keep waiting until they are all
closed.

Add option to test-ratelim to test min_share

Add an interface to expose min_share in ratelimiting groups

Fix rate-limit calculation on openssl bufferevents.

When you're doing rate limiting on an openssl connection, you nearly
always want to limit the number of bytes sent and received over the
wire, not the number of bytes read or written over the secure
transport.

Fixed compilation of sample/le-proxy.c on win32

Build more cleanly with NetBSDs that dislike toupper(char)

To be fair, when char can be signed, if toupper doesn't take negative
characters, toupper(char) is a very bad idea.  So let's just use the
nice safe EVUTIL_TOUPPER instead.  (It explicitly only upcases ASCII,
but we only use it for identifiers that we know to be ASCII anyway).

Fix badly-behaved subtest of dns/bufferevent_connect_hostname

The bufferevent_connect_hostname test was specifying AF_INET, but the
gethostbyname test we were using to see what error to expect was using
PF_UNSPEC, leading to possible divergence of results.

Improve error message for failed epoll to make debugging easier.

Constify a couple of arguments to evdns_server_request_add_*_reply

Replace (unused,always 0) is_tcp argument to evdns_add_server_port*() with flags

Since we weren't using it for anything, and we always failed if it was
set, we're allowed to change the future semantics of setting it.

Stop asserting when asked for a (unsupported) TCP dns port. Just return NULL.

Change bufferevent_openssl::do_write so it doesn't call SSL_write with a 0 length buffer

I was running into a problem when using bufferevent_openssl with a
very simple echo server.  My server simply bufferevent_read_buffer 'd
data into an evbuffer and then passed that evbuffer straight to
bufferevent_write_buffer.

The problem was every now and again the write would fail for no
apparent reason. I tracked it down to SSL_write being called with the
amount of data to send being 0.

This patch alters do_write in bufferevent_openssl so that it skips
io_vecs with 0 length.

Make test/test.sh call test-changelist

Eventually test-changelist should expand to try more cases, maybe
query the status of the actual changelist somehow, and integrate it
with the rest of the unit tests.

Also, add test-changelist to gitignore.

Fix whitespace.

Remove unused variables in test/test-changelist.c

Possible fix to 100% cpu usage with epoll and openssl

I'm running a fairly simple bit of test code using libevent2 with epoll and
openssl bufferevents and I've run into a 100% cpu usage problem.

Looking into it 100% usage was caused by epoll_wait constantly
returning write events on the openssl socket when it shouldn't really have
been looking for write events at all (N_ACTIVE_CALLBACKS() was returning 0
also).

Looking a bit deeper eventbuffer_openssl socket seems to be requesting
that the EV_WRITE event be removed when it should, but the event isn't
actually being removed from epoll.

Continuing to follow this I think I've found a bug in
event_changelist_del.

For evpoll event_del calls event_changelist_del which caches the change
which is then actioned later when evpoll_dispatch is called.

In event_changlist_del there is a check so that if the currently changed
action is an add then the cached action is changed to a no-op rather than a
delete (which makes sense). The problem arises if there are more than
two add or delete operations between calls to dispatch, in this case it's
possible that the delete is turned into a no-op when it shouldn't have
been.

For example starting with the event on, a delete followed by an add and
then another delete results in a no-op when it should have been a delete (I
added a fair bit of debug output that seems to confirm this behaviour).

I've applied a small change that checks the original old_event stored with
the change and only converts the delete to a no-op if the event isn't on in
old_event. This seems to have fixed my problem.

Merge branch 'pncalls_fix'

Fix wrong sie calculation of iovec buffers when exact=1

The old code had a bug where the 'exact' flag to 1 in
_evbuffer_read_setup_vecs would never actually make the iov_len field
of the last iovec get truncated.  This patch fixes that.

Pass flags to fcntl(F_SETFL) and fcntl(F_SETFD) as int, not long

Everybody but Linux documents this as taking an int, and Linux is
very tolerant of getting an int instead.  If it weren't, everybody
doing fcntl(fd,F_SETFL,O_NONBLOCK) would break, since the glibc
headers define O_NONBLOCK as an int literal.

Suppress a spurious EPERM warning in epoll.c

It's okay for us to get an EPERM when doing an EPOLL_DEL on an fd; it
just means that before we got a chance to the EPOLL_DEL, we closed the
fd and reopened a new non-socket that wound up having the same fd.

Partial fix for Bug 3019973.

Don't race when calling event_active/event_add on a running signal event

There was previously no lock protecting the signal event's
ev_ncalls/ev_pncalls fields, which were accessed by all of
event_signal_closure, event_add_internal, event_del_internal, and
event_active_nolock.  This patch fixes this race by using the
current_event_lock in the same way it's used to prevent
event_del_internal from touching an event that's currently running.

Tidy up the code in evthread_make_base_notifiable a little

Previously, we had a few conditional statements with the "if (...)"
inside an #ifdef and the body outside.  That kind of thing is hard to
read.

Drain th_notify_fd[0] more bytes at a time.

Fix a deadlock related to event-base notification.  Diagnosed by Zhou Li, Avi Bab, and Scott Lamb.

The problem was that the thread doing the notification could block on
write in evthread_notify_base_default while holding the th_base_lock.
The main thread would never drain th_notify_fd[0], since it would need
th_base_lock to actually trigger events.

Make sample/hello_world work on windows

We forgot to include the WSAStartup call in main().

Patch from an anonymous user on Sourceforge.

Fixes bug 3025354.

never let bufferevent_rlim functions return negative

Really only add libevent_core.la to LIBADD on mingw

Commit fdc629736e1 tried to do this, but added it for mingw and
for everything else. Fixes a segfault in bufferevent unittests.

Add bufferevent_lock()/bufferevent_unlock()

Although bufferevent operations are threadsafe, sometimes you need
to make sure that a few operations on a single bufferevent will all
be executed with nothing intervening.  That's what these functions
are for.

Fix sentence fragment in docs for event_get_struct_event_size()

Unit test for event_get_struct_event_size()

Add a comment to describe our plan for library versioning

Set library version for libevent_pthreads correctly

Document a change in the semantics of event_get_struct_event_size()

Have autogen.sh pass --force-missing to automake

Previously, our autogen.sh script wouldn't tell automake to update
older versions of its copied-in scripts, which would cause problems if
they got sufficiently out-of-date.

Remove some automake-generated files from version control.

Fix a pedantic gcc 4.4 warning in event2/event.h

Fix possible nullptr dereference in evhttp_send_reply_end()

(The existing implementation had sanity-checking code for the case where
 its argument was NULL, but it erroneously dereferenced it before actually
 doing the sanity-check. --nickm)

Add a function to retrieve the other side of a bufferevent pair

Add test for behavior on remote socket close

On all the backends on this little mac laptop, that behavior is to
report a remote socket close as both EV_READ and EV_WRITE.
Historically, we had problem for some of these behaviors on some
backends, so let's make sure that such behaviors don't come back.

Fix logic in correcting high values from FIONREAD

The old logic made sense back when buffer.c was an enormous linear
buffer, but it doesn't make any sense for the chain-based
implementation.

This patch also refactors the ioctl{socket}? call into its own function.

Close the file in evutil_read_file whether there's an error or not.

evutil_read_file would close the file if there was an error, but not if things went normally.

Add the libtool-generated /m4/* stuff to .gitignore

Let evhttp_send_error infer the right error reasons

Fix the default HTTP error template

The current template...

<HTML><HEAD><TITLE>%s</TITLE>
</HEAD><BODY>
<H1>Method Not Implemented</H1>
Invalid method in request<P>
</BODY></HTML>

is highly confusing. The given title is easily overlooked and the
hard-coded content is just plain wrong in most cases (I really read
this as "the server did not understand the requested HTTP method)

This patch changes the template to include the error reason in the
body as well as in the header, and to infer the proper reason from
the status code whenever the reason argument is NULL.

This patch also removes a redundant evhttp_add_header from
evhttp_send_error; evhttp_send_page already adds a "Connection:
close" header.

Have the unit tests report errors from test.sh

The default behavior of test.sh was to suppress all output from
test/regress, and say nothing but OKAY or FAILED.  This wasn't so good
for getting bugs reported, since lots of people didn't know to set
TEST_OUTPUT_FILE, or re-run ./test/regress on its own.

Now, when you don't specify an output file for test.sh, it runs
regress with the --quiet option.  This option makes the unit tests
only print output on failure, which is what we probably wanted.

Make test.sh exit with nonzero status if tests fail

This behavior makes "make verify" actually fail when the tests fail,
which is what it's supposed to do.

Remove all non-error prints from test/regress.c

Now, running ./test/regress --quiet will indeed only inform you
about errors.  Previously, it would also spew extra output.

Remove the now-obsolete setup_test() and cleanup_test() functions

Use generic win32 interfaces, not ASCII-only ones, where possible.

Merge branch 'evdns_no_empty_handles'

Remove some dead assignments

If no evdns request can be launched, return NULL, not a handle

Some of our evdns code was willing to return an evdns_request with
handle->current_req set to NULL.  Really, those cases should just
return NULL.

Use -Wlogical-op on gcc 4.5 or higher

It exposed one bug for us (see 8c3452bcb294e07888), and might
prevent more.

Correctly recognize .255 addresses as link-local when looking for interfaces

Avoid close of uninitialized socket in evbuffer unit test

Attempts to fix a crash bug found by Brodie Thiesfield.

Replace (safe) use of strcpy with memcpy to appease OpenBSD

If Libevent uses strcpy, even safely, it seems OpenBSD's linker will
complain every time a library links Libevent.  It's easier just not to
use the old thing, even when it's safe to do so.

Add some missing includes to fix Linux build again

Make test-ratelim clean up after itself better.

Avoid event_del on uninitialized event in event_base_free

This was mostly harmless, since the event was cleared with calloc, but
still it's not a correct thing to do.

Add options to test-ratelim.c to check its results

The new options let you specify a maximum deviation of bandwidth used
from expected bandwidth used, and make test-ratelim.c exit with a
nonzero status when those deviations are violated.

This patch also adds a test-ratelim.sh script to run test-ratelim with
a few sensible options for testing.

Do not check that event_base is set in EVBASE_ACQUIRE_LOCK

In every place that we call EVBASE_ACQUIRE_LOCK, the base is either
set, or must be set, so the test is redundant.

Remove the now-unusable EVTHREAD_LOCK/UNLOCK constants

Mark the event_err() functions as __attribute__((noreturn))

This attribute tells gcc (and anything else that understands gcc
attributes) that the functions will never return control, and helps
the optimizer a little.  With luck, it will also tell
less-than-full-program dataflow analysis tools that they don't need to
worry about any code path that involves calling one of these functions
and then returning.

This patch also forces event_exit() to always exit, no matter what the
user-supplied fatal_callback does.  This means that the old unit tests
for the event_err* functions don't work any more, since they assume it
is safe to call event_err* if you've given it a bogus fatal_callback
that doesn't exit.  Instead, we have to make the unit tests fork
before calling event_err(), and have the main unit test process wait
for the event_err() test to exit with a sane exit code.  On unix,
that's trivial.  On windows, let's not bother and just assume that
event_err* works.

Test the unlocked-deferred callback case of bufferevents

Remove the obsolete evthread interfaces

These were added in 2.0.1, and deprecated in 2.0.4 and 2.0.5; we've
promised that they would be removed, and warned whenever they were
invoked.  Users should call evthread_set_lock_callbacks instead...  or
ideally just call evthread_use_windows_threads or
evthread_use_pthreads.

Bump version to 2.0.5-beta-dev

Increment version numbers for 2.0.5-beta

Add a changelog for 2.0.5-beta

Fix some autoconf issues on OpenBSD

Issue 1: autoconf gets accept when a header works properly with cpp
but not with cc.  This was true of the sys/sysctl.h header on
openbsd.  The fix: include sys/param.h (if present) when testing for
sys/sysctl.h

Issue 2: Somehow, autoconf's macro generation code is messed up on
some versions of openbsd (including mine, and other people's too) so
that instead of SIZEOF_VOID_P, it makes SIZEOF_VOID__.
evutil/util.h now works around that.

Define _REENTRANT as needed on Solaris, elsewhere

It turns out that _REENTRANT isn't only needed to make certain
functions visible; we also need it to make pthreads work properly
some places (like Solaris, where forgetting _REENTRANT basically
means that all threads are sharing the same errno).  Fortunately,
our ACX_PTHREAD() configure macro already gives us a PTHREAD_CFLAG
variable, so all we have to do is use it.

Fix test.sh on freebsd

It turns out that in all conformant shells, "unset FOO" removes FOO
both from the shell's variables and from the exported environment.
(I've tested this on msys, opensolaris, linux, osx, and freebsd.)

And in nearly every shell I can find, "unset FOO; export FOO" does
the same as unset FOO... except in my FreeBSD VM, where the "export
FOO" sets the exported value of FOO equal to "".  This broke test.sh
for us.

The fix is simple: remove the needless exports!

Make test.sh support mingw/msys on win32

This required:
   - Adding another WIN32 section in test.sh
   - not running "touch /dev/null"
   - calling WSAStartup in all the test binaries
   - Fixing a dumb windows-only bug in test-time.c