Clean up a mistake in pointer manipulation in evbuffer_remove

Rewrite evbuffer_expand and its users

The previous evbuffer_expand was not only incorrect; it was
inefficient too.  On all questions of time vs memory tradeoffs, it
chose to burn time in order to avoid wasting memory.  The new code
tries to be a little more balanced: it only resizes an existing chain
when doing so doesn't require too much copying, and when failing to do
so would waste a lot of the chain's space.

This patch also rewrites evbuffer_chain_insert to work properly with
last_with_datap, and adds a few convenience functions to buffer.c.

Fix a memory leak when appending/prepending to a buffer with unused space.

Make the no_iovecs case of write_atmost compile

Apparently nobody had tested it before on a system that had sendfile.
Why would you have sendfile and not writev?  Perhaps you're trying to
test the no-iovecs code to make sure it still works.

Turn the increasingly complex *_CHAIN() macros into functions

Replace last_with_data with a slightly smarter version

To implement evbuffer_expand() properly, you need to be able to
replace the last chunk that has data, which means that we need to keep
track of the the next pointer pointing to the last_with_data chunk,
not the last_with_data chunk itself.

Fix critical bug in evbuffer_write when writev is not available

evbuffer_pullup() returns NULL if you try to pull up more bytes than
are there.  But evbuffer_write_atmost would sometimes ask for more
bytes to be pulled up than it had, get a NULL, and fail.

Make evbuffer_prepend handle empty buffers better

If the first chunk of a buffer is empty, and we're told to prepend to
the buffer, we should be willing to use the entire first chunk.
Instead, we were dependent on the value of chunk->misalign.

Do not use evbuffer_expand() to add the first chain to a buffer

(It's a big function, and using it this way is overkill.)

Increase MIN_BUFFER_SIZE to 512 (1024 on 64-bit)

This constant decides the smallest (and typical) size of each evbuffer
chain.  Since this number includes sizeof(evbuffer_chain) overhead,
the old value (256) was just too low: on 64-bit platforms, it would
spend nearly 20% of the allocations on overhead.  The new values mean
that we'll be spending closer to 5% of evbuffer allocations on overhead.

It would be nice to get this number even lower if we can.

Fix a free(NULL) in minheap-internal.h

Fix minheap code to use replacement malloc functions

minheap-internal.h still had an extra realloc and an extra free that
needed to be replaced with mm_realloc and mm_free().

Remove a needless min_heap_shift_up_() call

Previously, every call to min_heap_shift_down_() would invoke
min_heap_shift_up_() at the end.  This used to be necessary in the
first version of the minheap code, since min_heap_erase() would call
min_heap_shift_down_() unconditionally.  But when patch 8b7a3b36763
from Marko Kreen fixed min_heap_erase() to be more sensible, we left
the weird behavior of min_heap_shift_down_() in place.

Fortunately, "cui" noticed this and reported it on Niels's blog.

Make evutil_signal_active() match declaration.

Never test for select() on windows

On 64-bit windows, configure actually _finds_ select when it tests for
it, and due to the ordering of the io implementations in event.c it is
chosen over the win32select implementation.

This modification skips the test for select on win32 (we don't want
that anyway, because Windows has its own), causing my windows box to
get the win32select implementation.

(edited by Nick)

Merge branch 'build'

Use dist_bin_SCRIPTS, not EXTRA_DIST, to distribute scripts

Fix infrequent memory leak in bufferevent_init_common().

Detect and refuse reentrant event_base_loop() calls

Calling event_base_loop on a base from inside a callback invoked by
that same base, or from two threads at once, has long been a way to
get exceedingly hard-to-diagnose errors.  This patch adds code to
detect such reentrant invocatinos, and exit quickly with a warning
that should explain what went wrong.

Functions to track the total bytes sent over a rate limit group.

Make 'main/many_events' test 70 fds, not 64.

This is mainly intended to ensure that we don't get hung up on
the 64-handle limit that lots of O(n) Windows functions (but FWICT
not select) like to enforce.

Set mem_offset for every bufferevent type

Avoid an (untriggerable so far) crash bug in bufferevent_free()

We were saying
     mm_free(bufev - bufev->be_ops->mem_offset);
when we should have said
     mm_free(((char*)bufev) - bufev->be_ops->mem_offset);

In other words, if mem_offset had ever been nonzero, then instead of
backing up mem_offset bytes to find the thing we were supposed to free, we
would have backed up mem_offset*sizeof(struct bufferevent) bytes, and freed
something completely crazy.

Spotted thanks to a conversation with Jardel Weyrich

Fix some memory leaks in the unit tests

These don't matter except inasmuch as they give real memory leaks
a place to hide.

Found with valgrind

Free evdns_base->req_heads on evdns_base_free

It looks like when we moved from one big inflight-requests list to an
n-heads structure, we didn't make evdns_base_free() free the array of
heads.  This patch should fix that.

Found with valgrind

Fix a write of uninitialized RAM in regression tests

Not actually harmful, but not something we should be doing.

Found by valgrind.

Do not close(-1) when freeing an uninitialized socket bufferevent

Avoid a spurious close(-1) on Linux

On Linux, we use only one fd to do main-thread signaling (since we have
eventfd()), so we don't need to close th_notify_fd[1] as we would if we were
using a socketpair.

Fix a possible double-free bug in SSL bufferevents with CLOSE_ON_FREE

With CLOSE_ON_FREE set, we were telling the BIO to free the bufferevent when
it was closed, and also freeing it ourselves.

Fix an obnoxious typo in the bufferevent_timeout_filter test

We were using the same bufferevent as the child of two filtering parents,
orphaning another.  This made one get freed twice, and the other not at all.

Possible fix for bug 2963306 spotted by Doug Cuthbertson.

Improve robustness for refcounting

Document that we do intend to double-decref underlying bufferevents under
some circumstances.  Check to make sure that we don't decref past 0.

Give a better warning for bad automake versions.

If you tried to build with automake-1.6 or earlier, we would
previously spit out pages and pages of garbage output.  Now, automake
should just say "Hey, I'm not new enough for this."

Remove an orphaned RELEASE flag in Makefile.am

Switch to using AM conditionals in place of AC_LIBOBJ

AC_LIBOBJ is really only meant for defining missing library functions,
not conditional code compilation.  Sticking our conditionally compiled
modules in SYS_SRC should make stuff easier to maintain.

Remove redundant stuff from EXTRA_DIST

To a first approximation, sources that are mentioned anywhere in an
automake file don't need to get mentioned in EXTRA_DIST.

Support the standard 'make check' target in place of 'make verify'

Based on patch 2816088 from Zack Weinberg

Merge branch 'evbuffer_insert_point'

Functions to manipulate existing rate limiting groups.

This patch adds a function to change the current rate limit of a rate
limiting group, and another to free an empty rate limiting group.

Try to comment some of the event code more

Add some glass-box tests for the last_with_data code.

Fix last_with_data compilation on windows

Clarify Christopher Clark's status as writer of original ht code.

Allow evbuffer_read() to split across more than 2 iovecs

Previously it would only accept 2 iovecs at most, because our
previous_to_last nonsense didn't let it take any more.  This forced us
to do more reallocations in some cases when an extra small malloc
would have sufficed.

Remove previous_to_last from evbuffer

Use last_with_data in place of previous_to_last

This actually makes some of the code a lot simpler.  The only
ones that actually used previous_to_last for anything were reserving
and committing space.

Revise evbuffer to add last_with_data

This is the first patch in a series to replace previous_to_last with
last_with_data.  Currently, we can only use two partially empty chains
at the end of an evbuffer, so if we have one with 511 bytes free, and
another with 512 bytes free, and we try to do a 1024 byte read, we
can't just stick another chain on the end: we need to reallocate the
last one.  That's stupid and inefficient.

Instead, this patch adds a last_with_data pointer to eventually
replace previous_to_last.  Instead of pointing to the penultimated
chain (if any) as previous_to_last does, last_with_data points to the
last chain that has any data in it, if any.  If all chains are empty,
last_with_data points to the first chain.  If there are no chains,
last_with_data is NULL.

The next step is to start using last_with_data everywhere that we
currently use previous_to_last.  When that's done, we can remove
previous_to_last and the code that maintains it.

Merge branch 'evport'

Make evdns use the regular logging system by default

Once, for reasons that made sense at the time, we had evdns.c use its
own logging subsystem with two levels, "warn" and "debug".  This leads
to problems, since setting a log handler for Libevent wouldn't actually
trap these messages, since they weren't on by default, and since some of
the warns should really be msgs.

This patch changes the default behavior of evdns.c to log to
event_(debugx,warnx,msgx) by default, and adds a new (internal-use-only)
log level of EVDNS_LOG_MSG.  Programs that set a evdns logging
function will see no change.  Programs that don't will now see evdns
warnings reported like other warnings.

Avoid errors in http.c when building with VC 2003 .NET

Avoid errors in evutil.c when building with _UNICODE defined

more whitespace normalization

Replace users of "int fd" with "evutil_socket_t fd" in portable code

Remeber, win32 has a socket type that's actually a handle, so if
there's a chance that code is run on win32, we can't use "int" as the
socket type.

This isn't a blind search-and-replace: sometimes an fd is really in
fact for a file, and not a socket at all.

Add Christopher Clark and Maxim Yegorushkin to the LICENSE file

Update all our copyright notices to say "2010"

Improve the speed of evbuffer_readln()

This makes some cases of bench_http about 5% faster.

Our internal evbuffer_strpbrk() function was overly general (it tried
to handle all character sets when we only used it for "\r\n"), and
not very efficient (it called memchr once for each character in the
buffer until it found a \r or a \n).  It actually showed up in some
profiles for HTTP testing, since evbuffer_readln() calls it when doing
loose CRLF detection.  This patch replaces it with a faster
implementation.

Remove signal_assign() and signal_new() macros.

These were introduced and deprecated in the same version (2.0.1-alpha),
presumably in two-stage process.  Everybody sane should be using
evsignal_assign() and evsignal_new() instead.

VC has no getopt(), so do without in bench_http.

Get bench_http to work on Windows; add a switch to enable IOCP.

Revert the broken part of 2cffd6c937

It looks like I accidentally removed most of WIN32-Code/event-config.h
when I was bumping the version.  Fortunately, this happened when I
bumped to 2.0.4-alpha-dev rather than when I bumped to 2.0.4-alpha. :)

This patch restores the deleted parts of WIN32-Code/event-config.h

Distribute libevent.pc.in, not libevent.pc

Bump version to 2.0.4-alpha-dev

Bump the version to 2.0.4-alpha

Add a changelog for 2.0.4-alpha from Git, sorted by hand

Fix compilation with --disable-debug-mode

Small cleanups on freebsd-connect-refused patch.

There should be no need to call be_socket_enable: that does an
event_add().  What we really want to do is event_active(), to make
sure that the writecb is executed.

Also, there was one "} if () {" that was missing an else.

I've noted that the return value for evutil_socket_connect() is
getting screwy, but since that isn't an exported function, we can fix
it whenever.

deal with connect() failing immediately

Fix arc4random compilation on MSVC.

Try to define a sane _EVENT_SIZEOF_SIZE_T for msvc compilation

Fix mingw compilation

Delete stack-alloced event in new unit test before returning.

Use new timeval diff comparison function in bufferevent test

Add test for periodic timers that get activated for other reasons

This was already independently verified by the new bufferevent
timeout tests, but it's good to explicitly check that our code
does what it should.

Add a test for timeouts on filtering bufferevents.

Provide consistent, tested semantics for bufferevent timeouts

The different bufferevent implementations had different behavior for
their timeouts.  Some of them kept re-triggering the timeouts
indefinitely; some disabled the event immediately the first time a
timeout triggered.  Some of them made the timeouts only count when
the bufferevent was actively trying to read or write; some did not.

The new behavior is modeled after old socket bufferevents, since
they were here first and their behavior is relatively sane.
Basically, each timeout disables the bufferevent's corresponding
read or write operation when it fires.  Timeouts are stopped
whenever we suspend writing or reading, and reset whenever we
unsuspend writing or reading.  Calling bufferevent_enable resets a
timeout, as does changing the timeout value.

Fix a bug in resetting timeouts on persistent events when IO triggers.

When we fixed persistent timeouts to make them reset themselves
based on the previous scheduled time rather than the current
time... we made them do so regardless of whether the event was
triggering because of a timeout or not!

This was of course bogus.  When a _timeout_ triggers, we should
schedule the event for N seconds based on the last
_schedule_ time... but when IO triggers, we should reset the
timeout for N seconds after now.

Fix some race conditions in persistent events and event_reinit

I found these by adding an EVENT_BASE_ASSERT_LOCKED() call to most
of the functions in event.c that can only be called while holding
the lock.

event_reinit() never grabbed the lock, but it needed to.

event_persist_closure accessed the base to call event_add_internal()
and gettime() when its caller had already dropped the lock.

event_pending() called gettime() without grabbing the lock.

Merge remote branch 'github/split_free_from_decref'

Expose view of current rate limit as constrained by group limit

Make bufferevent_free() clear all callbacks immediately.

This should end the family of bugs where we call bufferevent_free()
while a pending callback is holding a reference on the bufferevent,
and the callback tries to invoke the user callbacks before it releases
its own final reference.

This means that bufferevent_decref() is now a separate function from
bufferevent_free().

Suspend read/write on bufferevents during hostname lookup

When we're doing a lookup in preparation for doing a connect, we
might have an unconnected socket on hand, and mustn't actually do
any reading or writing with it.

Clean up formatting: function/keyword spacing consistency.

- Keywords always have a space before a paren.  Functions never do.

- No more than 3 blank lines in a row.

Clean up formatting: remove trailing spaces

Clean up formatting: use tabs, not 8-spaces, to indent.

Clean up formatting: Disallow space-before-tab.

When connect() succeeds immediately, don't invoke the callback immediately.

We need this to get unit tests to pass on freebsd.

Add some headers to fix freebsd compilation

Add the "compile" script to gitignore.

Add a unit test for secure rng.

Mostly, this is just to make sure our arc4random_buf() implementation isn't
dumb.

Fix getpid() usage on Windows

On Windows, getpid() is _getpid(), and requires that we first include
<process.h>.  arc4random.c previously didn't know that.

Actually, I question whether arc4random needs to do its getpid() tricks
on Windows.  They exist only so that we remember to re-seed the ARC4
cipher whenever we fork... but Windows has no fork(), so I think we're
in the clear.

When working without a current event base, don't try to use IOCP listeners

This fixes a bug turned up with the http unit tests, where we create
the evhttp object using an implicit (NULL) event_base.  This failed
pretty badly when we tried to use IOCP-based listeners.  We could
hunt for the current base from inside listener.c in the future, or
get the iocp base some other way, but for now this is probably the safest
solution.

Construct Windows locks using InitializeCriticalSectionAndSpinCount

Previously we were using InitializeCriticalSection, which creates a
lock that blocks immediately on contention and waits to be
rescheduled.  This is inefficient; it's better to wait for a little
while before telling the US to reschedule us, in case the lock becomes
available again really soon (since most locks mostly do).

Good pthreads implementations do this automatically.  On Windows,
though, we need to call this magic function, and we need to pick the
spin count ourselves.

Merge branch 'arc4random'

Add the arc4random.c license to the LICENSE file.

Fix two unlocked reads in evbuffer.

Some initializers (in evbuffer_read and evbuffer_commit) were reading
the last and/or previous_to_last fields without grabbing the evbuffer
lock.

This may fix a hard-to-trigger race condition or two.

Update event-config.h version number to match configure.in

Merge commit 'niels/http_close_connection'

Increment the submicro version number.

We've changed a couple of APIs introduced in 2.0.1-alpha, so it
behooves us to give high-needs apps (like Tor) a way to tell we've
done this.

Sensible apps will just say "is it 2.0.3-alpha or 2.0.4-alpha" and
ignore the existence of 2.0.3-alpha-dev, which is just as it should
be.

validate close cb on server when client connection closes

clean up terminate_chunked test

Make RNG work when we have arc4random() but not arc4random_buf()