Merge remote-tracking branch 'sebastian/clang_unknown_warning_options' into patches-2.0

Properly zero the kevent in kq_setup_kevent()

Detected by clang

Don't do clang version detection when disabling some flags

When clang 2.9 was around we hoped they'd introduce support for the
normalized=id and override-init warnings by 3.0, but they haven't. We
should only add the version detection back in when clang actually
supports those warnings.

Stop crashing in evdns when nameserver probes give a weird error

When a nameserver is down, we periodically try sending a "probe"
message to that nameserver to see if it has come back up.  If a
nameserver comes up, we cancel any pending probe messages.

Cancelling a probe message while handling the probe's response would
result in a access-after-free or a double-free, so when we notice that
we're about to call a nameserver up because of having received a probe
from it, we need to check whether current response is the response
from the probe.

There was a case where we didn't to that, though: when the resolver
gave us an unusual error response to our request that it resolve
google.com.  This is pretty rare, but apparently it can happen with
some weird cacheing nameservers -- the one on the mikrotik router, for
example.  Without this patch, we would crash with a NULL pointer
derefernce.

Thanks to Hannes Sowa for finding this issue and helping me track it
down.

Changed OPENSSL_LDFLAGS to OPENSSL_LIBADD

Added OPENSSL_LDFLAGS env variable which is appended to SSL checks.

If openssl is not installed system-wide or not compiled as a shared library,
some systems require various link flags (e.g., -ld).

Tweak the evutil_open_closeonexec patch to work on windows, old unixes.

Windows doesn't have a mode_t as far as I can tell.

Some unixes, iirc, don't like three-argument open without O_CREAT.

Make uses of open() close-on-exec safe by introducing evutil_open_closeonexec.

In a multi-process/threaded environment, opening fds internally
without the close-on-exec flag could leak fds to child processes.

Add an empty section to the changelog for 2.0.18-stable

Correct a name in the credits. oops

Bump version to 2.0.17-stable-dev

Update the credits in the readme

Finalize the changelog

Update copyright notices to 2012

Bump version to 2.0.17-stable

In the kqueue backend, do not report EBADF as an EV_READ

We were doing this because of (correct) reports that NetBSD gives an
EBADF when you try to add the write side of a pipe for which the
read side has been closed.  But on most kqueue platforms, that
doesn't happen, and on *all* kqueue platforms, reporting a
nonexistent fd (which we usually have if we have seen EBADF) as
readable tends to give programs a case of the vapors.

Nicholas Marriott wrote the original patch here; I did the comment
fixes.

Avoid crash when freeing event_iocp and using event_set_mem_functions

There was a calloc that needed to be an mm_calloc.

Reported by "fffvvvzz" on sourceforge.  Ticket 3486114

Bring the changelog up to date

Loop on filtering SSL reads until we are blocked or exhausted.

This is not a perfect fix, but it's much much better than the
current buggy behavior, which could lead to filtering SSL
connections that just stopped reading.

Based on ideas by Maseeb Abdul Qadir and Mark Ellzey.

Use C-style comments in C source files (for compatibility with compilers such as xlc on AIX).

evdns: fix a bug in circular-queue implementation

found by Wang Qin

Better workaround for Linux 3.2 edge-triggered epoll bug

On further investigation, it appears that this problem is limited to
AF_UNIX sockets, so let's just do the test on AF_INET sockets.

Do a memberwise comparison of threading function tables

Doing a memcmp risks comparing uninitialized padding bytes at the
end of the structure.

Make event_base integrity check work on windows

Start writing a changelog for 2.0.17-stable

Oops:remove an accidentally committed "sleep(1)" in a unit test

Workaround in the unit tests for an apparent epoll bug in Linux 3.2

Fix a fd leak in event_reinit()

We were supposed to be closing the ev_signal_pair sockets.

Fix a list corruption bug when using event_reinit() with signals present

While re-adding all the events, event_reinit() could add a signal
event, which could then cause evsig_add() to add the
base->sig.ev_signal event.  Later on its merry path through
base->eventqueue, event_reinit() would find that same event and give
it to event_io_add a second time.  This would make the ev_io_next
list for that fd become circular.  Ouch!

Check event_base correctness at end of each unit test

Add function to check referential integrity of an event_base

Force strict validation of HTTP version in response.

This sometimes accepted invalid versions like 'ICY' (n = 0, major = undefined, sometimes > 1).

Suppress a gcc warning from ignoring fwrite return in http-sample.c

Found by Steve Snyder

Fix a race condition in the dns/bufferevent_connect_hostname test.

As originally written, the test would only pass if the accept()
callbacks for the evconnlistener were all invoked before the last of
the CONNECTED/ERROR callbacks for the connecting/resolving bufferevent
had its call to event_base_loopexit() complete.  But this was only
accidentally true in 2.0, and might not be true at all in 2.1 where
we schedule event_base_once() callbacks more aggressively.

Found by Sebastian Hahn.

Make evconnlistener work around bug in older Linux when getting nmapped

Older Linuxes sometimes respond to some nmap probes by having accept()
return a success but with socklen 0.  That can lead to confusing behavior
when you go to process the sockaddr.

Remove bogus casts of socket to int before calling ev_callback

This should make 64-bit windows act better.

Found by Mark Heily.

Backport evhttp_connection_get_bufferevent to Libevent 2.0

Backport by Arno Bakker; original implementation in 8d3a8500f4

Slightly clarify evbuffer_peek documentation

Fix behavior of evbuffer_peek(buf,-1,NULL,NULL,0)

(Patch altered by nickm to not affect the behavior of
evbuffer_peek(buf,-1,NULL,vec,n_vec).)

check for sysctl before we use it

Not all C libraries under Linux support the sysctl() func.

Fix a silly compilation error with the sun compiler

Apparently, other compilers were allowing "return free(x)" in a
function returning void.

Be absolutely sure to clear pncalls before leaving event_signal_closure

I thought we'd fixed the cases where this could come up, but
apparently having an event_base_break() happen while processing
signal events could get us in trouble.

Found by Remi Gacogne.  Sourceforge issue 3451433 .

Increment version to 2.0.16-stable-dev

Increment version to 2.0.16-stable

Revise 2.0.16-stable changelog

add comment to new consider_reading code

Avoid spinning on OpenSSL reads

Previously, if some sender were generating data to read on an
OpenSSL connection as fast as we could process it, we could easily
wind up looping on an openssl do_read operation without ever
considering other sockets.

The difference between this and the original method in
consider_reading() is that it only loops for a single completed
*frame* instead of looping until fd is drained or an error condition
was triggered.

{Patch split out by nickm}

Move SSL rate-limit enforcement into bytes_to_read()

Refactor amount-to-read calculations in buffervent_ssl consider_reading()

Split up consider_reading()'s conditional checks into another function
can_read() for simplicity sake.

{Split into a separate patch by nickm}

Revert "Avoid potential SSL read spinlocks"

This reverts commit fc52dbac87f4937f8306759506d6a2ad15ca244c.

Revert "openssl bufferevent has the same issue with writing as prior commit."

This reverts commit 7353663eb7c0b2a1caaaa5acd818515f156cf2ca.

Add new entries to changelog, new credits to README

Fix DNS memleak checks when running with malloc-replacement/debugging disabled

Don't try to make notifiable event_base when no threading fns are configured

Warn when unable to construct base because of failing make_base_notifiable

openssl bufferevent has the same issue with writing as prior commit.

Avoid potential SSL read spinlocks

OpenSSL bufferevents with deferred callbacks enabled under high load will
spinlock in the function consider_reading(). This loop continues until all
data has been read.

Because of this condition; openssl bufferevents will never return back into
event_base_loop() until SSL_read has determined data is no longer ready.

As of yet I have not found a reason why this while loop exists, so this patch
just swaps out while for if.

If needed I can write same code which would trigger this effect; optionally
libevhtp has a test.c program which can be run with the following flags:

./test -s <keyfile.pem>

curl -vvvv -k -d@<HUGE_ASS_FILE> https://127.0.0.1:8081/

The return data will include the number of times the readcb got data and the
length of that read.

Without this patch, you are likely to see a small amount of "bytes read....",
otherwise the "bytes read..." return data should show much more reasonable
numbers.

Improve win32 behavior of dns-sample.c codex

Fix typo in whatsnew-2.0.txt

Fix an evbuffer crash in evbuffer_remove_buffer()

Found by Greg Hazel.

improve test to remove at least one buffer from src

unit test for remove_buffer bug

Fix compile warning from saying event2/*.h inside a comment

Based on a patch by Adrian Chadd

epoll: close fd on alloc fail at initialization

If the memory allocations fail then we free any other allocated
structures but don't close the file descriptor resulting in an leak of
fd's.

Update copyright dates to 2011.

Add note about evhttp_send_reply_end to its doxygen

More detailed message in case of libevent self-debugging failure.

Style and comment tweaks for dns/leak* tests

Test for commit aff6ba1

Empty DNS reply with OK status is another way to say NODATA.

Sometimes DNS reply has nothing but query section. It does not look like
error, so it should be treated as NODATA with TTL=0 as soon as there is
no SOA record to deduce negative TTL from.

Tests for 94fba5b and f72e8f6

Bump version to 2.0.15-stable-dev

Credit a patch from a one-named user

Increment version to 2.0.15-stable

Add changelog for 2.0.15-stable

refer to non-deprecated evdns functions in comments

Merge remote-tracking branch 'github/20_addfile_ssl' into patches-2.0

Fix some "value never used" warnings with gcc 4.6.1

Make write-checking fixes use tt_fail_perror

Fixed compiler warnings for unchecked read/write calls.

Prefer mmap to sendfile unless a DRAINS_TO_FD flag is set. Allows add_file to work with SSL.

The sendfile() implementation for evbuffer_add_file is potentially more
efficient, but it has a problem: you can only use it to send bytes over
a socket using sendfile().  If you are writing bytes via SSL_send() or
via a filter, or if you need to be able to inspect your buffer, it
doesn't work.

As an easy fix, this patch disables the sendfile-based implementation of
evbuffer_add_file on an evbuffer unless the user sets a new
EVBUFFER_FLAG_DRAINS_TO_FD flag on that evbuffer, indicating that the
evbuffer will not be inspected, but only written out via
evbuffer_write(), evbuffer_write_atmost(), or drained with stuff like
evbuffer_drain() or evbuffer_add_buffer().  This flag is off by
default, except for evbuffers used for output on bufferevent_socket.

In the future, it could be interesting to make a best-effort file
segment implementation that tries to send via sendfile, but mmaps on
demand.  That's too much complexity for a stable release series, though.

Make evbuffer callbacks get the right n_added value after evbuffer_add

Patch from Alex.

Merge branch '20_loopbreak_in_signal' into patches-2.0

Use _SOURCES, not _sources, in sample/Makefile.am

Found by Adrian Chadd

le-proxy and regress depend on openssl directly

Add DNS_ERR_NODATA error code to handle empty replies.

Fix docstring in dns.h

When a signal callback is activated to run multiple times, allow event_base_loopbreak to work even before they all have run.

Found by Abilio Marques.

DNS: add ttl for negative answers using RFC 2308 idea.

Increment version to 2.0.14-stable-dev

Credit new contributors for 2.0.14-stable

Pick a release date for the changelog

Bump version to 2.0.14-stable

clear read watermark on underlying bufferevent when creating filtering bev to fix potentially failing fragmented ssl handshakes

Checkpoint changelog entries for 2.0.14-stable

Correctly terminate IO on an async bufferevent on bufferevent_free

Have test-ratelim.c support IOCP

Make IOCP rate-limiting group support stricter and less surprising.

Previously, we wouldn't decrement read/write buckets because of IOCP
reads and writes until those reads and writes were complete.  That's
not so bad on the per-connection front.  But for group limits, the
old approach makes us launch a huge amount of reads and writes
whenever the group limit becomes positive, and then decrement the
limit to a hugely negative number as they complete.

With this patch, we decrement our read buckets whenever we launch an
IOCP read or write, based on the maximum that tried to read or
write.  Later, when the operations finish, we re-increment the
bucket based on the portion of the request that couldn't finish.

Support negative arguments to _bufferevent_decrement_(read/write)_buckets()

Cleanup on 7c11e51e1ab: fix strtol usage