test: fix bufferevent/bufferevent_pair_release_lock for freebsd

On FreeBSD with kqueue there is a call to evthread_debug_lock_mark_unlocked()
during event_base_free(), that will fail with an assert because of unmatched
"held_by", fix this by reseting lock callbacks to NULL before
event_base_free().

Trace:
  bufferevent/bufferevent_pair_release_lock: [warn] Trying to disable lock functions after they have been set up will probaby not work.
  [warn] Trying to disable lock functions after they have been set up will probaby not work.

    FAIL libevent/test/regress_bufferevent.c:259: lock: lock error[err] libevent/evthread.c:277: Assertion lock->held_by == me failed in evthread_debug_lock_mark_unlocked
  [New Thread 802006400 (LWP 100070/regress)]

  Program received signal SIGABRT, Aborted.
  [Switching to Thread 802006400 (LWP 100070/regress)]
  0x000000080167d6ca in thr_kill () from /lib/libc.so.7
  (gdb) bt
  #0  0x000000080167d6ca in thr_kill () from /lib/libc.so.7
  #1  0x0000000801752149 in abort () from /lib/libc.so.7
  #2  0x00000000004dff44 in event_exit (errcode=-559030611) at libevent/log.c:105
  #3  0x00000000004e053c in event_errx (eval=-559030611, fmt=0x5182cc "%s:%d: Assertion %s failed in %s") at libevent/log.c:162
  #4  0x00000000004d9954 in evthread_debug_lock_mark_unlocked (mode=0, lock=0x802017060) at libevent/evthread.c:277
  #5  0x00000000004d909a in debug_lock_unlock (mode=0, lock_=0x802017060) at libevent/evthread.c:290
  #6  0x00000000004e132c in evsig_dealloc_ (base=0x80201e300) at libevent/signal.c:434
  #7  0x00000000004e36c1 in kq_dealloc (base=0x80201e300) at libevent/kqueue.c:435
  #8  0x00000000004c9a44 in event_base_free_ (base=0x80201e300, run_finalizers=1) at libevent/event.c:855
  #9  0x00000000004c931a in event_base_free (base=0x0) at libevent/event.c:887
  #10 0x0000000000452657 in lock_unlock_free_thread_cbs () at libevent/test/regress_bufferevent.c:279
  #11 0x0000000000452621 in free_lock_unlock_profiler (data=0x8020170a0) at libevent/test/regress_bufferevent.c:317
  #12 0x000000000044bc8f in test_bufferevent_pair_release_lock (arg=0x8020170a0) at libevent/test/regress_bufferevent.c:334
  #13 0x00000000004b2288 in testcase_run_bare_ (testcase=0x737660) at libevent/test/tinytest.c:105
  #14 0x00000000004b1e72 in testcase_run_one (group=0x738c90, testcase=0x737660) at libevent/test/tinytest.c:252
  #15 0x00000000004b2930 in tinytest_main (c=3, v=0x7fffffffead0, groups=0x738c20) at libevent/test/tinytest.c:434
  #16 0x00000000004982fe in main (argc=3, argv=0x7fffffffead0) at libevent/test/regress_main.c:459
  (gdb) f 4
  #4  0x00000000004d9954 in evthread_debug_lock_mark_unlocked (mode=0, lock=0x802017060) at libevent/evthread.c:277
  277                     EVUTIL_ASSERT(lock->held_by == me);
  Current language:  auto; currently minimal
  (gdb) p lock
  $1 = (struct debug_lock *) 0x802017060
  (gdb) p lock->held_by
  $2 = 0
  (gdb) p me
  $3 = 34393318400

Merge branch 'cloudabi-fixes-pr-278'

Rebased version of #278

* cloudabi-fixes-pr-278:
  Assume that ke_udata is an integer type on CloudABI.
  Add missing include of <netinet/in.h>.
  Include <sys/ioctl.h>, <sys/resource.h> and <sys/wait.h> optionally.

Assume that ke_udata is an integer type on CloudABI.

Add missing include of <netinet/in.h>.

POSIX states that sockaddr_in6 should be declared in <netinet/in.h>. By
including this header, the code now builds on FreeBSD and CloudABI.

Include <sys/ioctl.h>, <sys/resource.h> and <sys/wait.h> optionally.

Though CloudABI implements a very large part of POSIX, it does not
provide these header files, for the reason that there is no raw device
access, no resource limiting and no access to the global process table
through wait().

It looks like these header files are not actually needed in theory.
There don't seem to be any constructs in these source files that use
these features, but I suspect they might still be required on some
systems.

Add a prototype for event_disable_debug_mode()

Exporting this function seems rather useless, as debugging mode has to
be enabled early and calling this function doesn't allow it to get
toggled back on later.

Fixes a compile warning when using clang 3.6.

Fixes #271
Fixes #224

http: export evhttp_connection_set_family()

Fixes #176

test/regress_be: bufferevent_enable() shouldn't call eventcb by it's own

It must enter the event loop regardless BEV_OPT_DEFER_CALLBACKS, to avoid
potential errors with subsequent connect(), you will find more info in #43,
since this is a regression for it.

test/regress_be: introduce fake_listener_create()

Merge branch 'evhttp-request-own-fixes'

I hope that I validated all places where evhttp_request_free() called and
ownership of request can be belong to user-specific code.

* evhttp-request-own-fixes:
  http: fix evhttp_request_own() by checking EVHTTP_USER_OWNED in more cases
  test/regress_http: cover evhttp_request_own()

Fixes #68

http: fix evhttp_request_own() by checking EVHTTP_USER_OWNED in more cases

Suggested-by: @ellzey
Fixes: http/request_own
Fixes: #68

test/regress_http: cover evhttp_request_own()

Merge branch 'http-server-EOF-at-read-v3'

This patchset fixes an issue with detecting EOF in http server and add some
regression tests to make sure that we will not break anything.

* http-server-EOF-at-read-v3:
  http: fix detecting EOF without write
  test/regress_http: cover write during read
  test/regress_http: verify that closecb will be called without multiple write

Closes #78
Link: http://stackoverflow.com/questions/18743948/libevent2-http-server-how-to-detect-client-close/18776728?noredirect=1#18776728

http: fix detecting EOF without write

Before this patch http server don't knows when client disconnected until it
will try to write to it, IOW to detect is client still alive you need to write
something to client socket, however it is not convenient since it requires to
store all clients somewhere and poll them periodically, and I don't see any
regressions if we will leave EV_READ always (like libevhtp do), since we
already reset read callback in evhttp_write_buffer() (see
http/write_during_read).

Also since we don't disable EV_READ anymore we don't need some enable EV_READ,
so we will reduce number of epoll_ctl() calls.

Covered-by: http/terminate_chunked_oneshot
Covered-by: http/write_during_read
Fixes: #78

test/regress_http: cover write during read

This is the regression for evhttp_write_buffer() where we reset readcb to avoid
illegal state:
http/write_during_read: [err] evhttp_read_cb: illegal connection state 7

If you will comment that this test will fail.

test/regress_http: verify that closecb will be called without multiple write

And now this works incorrect, i.e. http layer will not detect EOF until another
write.

Reported-in: #78

test: run regress with EVENT_DEBUG_MODE=1 and without

This could show some bugs like "event_assign called on an already added event",
and some others that debugging mode could track.

test/regress: fix bufferevent_pair_release_lock with EVENT_DEBUG_MODE

Before this patch you will see next error:
$ EVENT_DEBUG_MODE= regress --no-fork bufferevent/bufferevent_pair_release_lock
bufferevent/bufferevent_pair_release_lock: [err] evthread initialization must be called BEFORE anything else!

sample/https-client: add -timeout option

Merge branch 'be-openssl-drop-fd_is_set-v4'

This must fix some issues with bufferevent openssl layer + some cleanups.

* be-openssl-drop-fd_is_set-v4:
  be_openssl: don't use *_auto() in do_handshake() we can't have fd == -1 there
  be_openssl: don't call set_open_callbacks() if fd == -1
  be_openssl: introduce be_openssl_auto_fd() helper
  be_openssl: introduce set_open_callbacks_auto()
  be_openssl: get rid off hackish "fd_is_set", to fix some corner cases

be_openssl: don't use *_auto() in do_handshake() we can't have fd == -1 there

be_openssl: don't call set_open_callbacks() if fd == -1

This must be illegal, firstly we must do set_do handshake and only after this
we could read/write.

be_openssl: introduce be_openssl_auto_fd() helper

be_openssl: introduce set_open_callbacks_auto()

This will split cases when we need to extract fd (cases when we have fd==-1
passed to set_open_callbacks()), and cases when we mustn't have to do this --
SET_FD via be_openssl_ctrl().

be_openssl: get rid off hackish "fd_is_set", to fix some corner cases

This patch is a cleanup and a bug fix, it drops ```fd_is_set``` flag, and
replace it with some checks to event_initialized(), and now we will not call
event_assign() on already added event, plus we will delete event when we really
have to (this patch fixes the case when server is down, IOW before this patch
we will not call event_del() because ```fd_is_set``` was reset to 0) and this
will fix some issues with retries in http layer for ssl.

Reported-in: #258
Fixes: regress ssl/bufferevent_socketpair_timeout
Fixes: regress ssl/bufferevent_socketpair_timeout_freed_fd

Merge branch 'test-regress-be-openssl-v2'

This patchset is a bunch of regression tests for bufferevent openssl layer,
some of them already show some bugs, that bugs will be fixed in the next
patches.

* test-regress-be-openssl-v2:
  test/regress_ssl: check events fd/pending after timeout triggered
  test/regress_ssl: cover case when server didn't up (failed with timeout)
  test/regress_ssl: covert that we can't change fd with underlying
  test/regress_ssl: cover that events (read/write) at finish not pending
  test/regress_ssl: cover fd manipulations
  test/regress_ssl: convert open_ssl_bufevs() to mask
  test/regress_ssl: convert client/server to mask too
  test/regress_ssl: cover "allow_dirty_shutdown"
  test/regress_ssl: convert regress_bufferevent_openssl() to bitmask

test/regress_ssl: check events fd/pending after timeout triggered

In this case client can't connect to server, and this bring to the front some
bugs with assigning on already added events (because of ```fd_is_set``` stuff),
for more info see #258, since this is the reproducible for it.

test/regress_ssl: cover case when server didn't up (failed with timeout)

test/regress_ssl: covert that we can't change fd with underlying

test/regress_ssl: cover that events (read/write) at finish not pending

test/regress_ssl: cover fd manipulations

test/regress_ssl: convert open_ssl_bufevs() to mask

test/regress_ssl: convert client/server to mask too

test/regress_ssl: cover "allow_dirty_shutdown"

test/regress_ssl: convert regress_bufferevent_openssl() to bitmask

Test against SO_REUSEADDR (along with _WIN32).

This makes the code build on other systems that also don't have
SO_REUSEADDR without requiring special code.

[ azat: partially revert WIN32 check since SO_REUSEADDR on win32 differs from
unix semantics. ]

Closes #275

tests/regress_ssl: drop duplicated assert

Always define missing TAILQ functions from sys/queue.h

On both Android and Ubuntu machines, TAILQ_END is not defined.  This
header also does not seem to be part of standard BSD sys/queue.h

Fix this by always defining missing TAILQ_ macros rather than
conditioning on a particular macro.

Fixes #267

Don't use BSD u_* types.

These types are not part of POSIX. As we only use them in a small number
of places, we'd better replace them by C standard types. This makes a
larger part of the code build for CloudABI.

Remove BSD-ism: TIMEVAL_TO_TIMESPEC().

Systems like CloudABI implement kqueue() but do not provide the
BSD-specific TIMEVAL_TO_TIMESPEC() macro. Change the code to perform
this manually, as it is not hard to do this conversion.

be: include all variations of headers for sockaddr_in6 struct

Fixes: c42bc6b279fd7cd4bc9b04c86a12e2ec5512cce1 ("be: fix sockaddr_in6 type
definition for win32")
Fixes: e04555155816306f23829a15b747664a57330c28 ("Merge branch
'reuse-conn_address-on-retry-v11'")
CI: https://ci.appveyor.com/project/nmathewson/libevent/build/2.1.5.109
Tested: manually

http: eliminate warning about "socklen" in evhttp_connection_connect_()

be: fix sockaddr_in6 type definition for win32

bufferevent-internal.h:217:23: error: field 'in6' has incomplete type
   struct sockaddr_in6 in6;
                       ^
CI: https://ci.appveyor.com/project/nmathewson/libevent/build/2.1.5.108

sample/https-client: don't try to free uninitialized SSL

sample/https-client.c:459:3: warning: ‘ssl’ may be used uninitialized in this function [-Wmaybe-uninitialized]
   SSL_free(ssl);

sample/https-client: graceful exit with freeing memory (to make valgrind happy)

https-client: correctly handle URLs with no path (like "https://host:port")

path == NULL check removed

Fixes: #233
Fixes: #234

sample/http-connect: don't use assert() to make it work with NDEBUG

Otherwise it will not work for cmake release target type.

test/regress_http: initialize "dns_base" to avoid reading trash

Even though it is very unlikely, but it will better to fix this.

sample/http-connect: made it compatible with C90

Merge branch 'reuse-conn_address-on-retry-v11'

There is regression tests and also this code worked/tested during crawling a
huge number of pages (billions).

* reuse-conn_address-on-retry-v11:
  be_sock: bufferevent_socket_set_conn_address(): assert instead of silent no-op
  http: reuse connected address only with EVHTTP_CON_REUSE_CONNECTED_ADDR
  be_sock: sanity check in bufferevent_socket_set_conn_address()
  be: replace sockaddr_storage with sockaddr_in6 for conn_address
  be: we don't need to use getpeername() we we have conn_address
  be: replace conn_address by full struct instead of pointer
  test/http: cover retrying with saved conn_address by shutting down dns server
  http: use IP address that we got before (if any) during retrying
  bufferevent: move conn_address out from http into bufferevent
  be: make @sa const for bufferevent_socket_connect()
  util: make @sa const for evutil_socket_connect_()

be_sock: bufferevent_socket_set_conn_address(): assert instead of silent no-op

http: reuse connected address only with EVHTTP_CON_REUSE_CONNECTED_ADDR

be_sock: sanity check in bufferevent_socket_set_conn_address()

be: replace sockaddr_storage with sockaddr_in6 for conn_address

We need only ipv6/ipv4 for connect in bufferevent, and since
sockaddr_storage is pretty big (128 bytes) it will be better to use
sockaddr_in6 here (it will fit ipv4 too).

be: we don't need to use getpeername() we we have conn_address

Since getpeername() could fail.

be: replace conn_address by full struct instead of pointer

test/http: cover retrying with saved conn_address by shutting down dns server

http: use IP address that we got before (if any) during retrying

Before this patch every time we are retrying our request we resolve
domain, but we could optimize this (since UDP is slow) by using cached
conn_address value, so do this.

bufferevent: move conn_address out from http into bufferevent

In http the only case when when we could store it is when we already
connected, *but* if we are doing request using domain name, then we need
to do request to nameserver to get IP address, and this is handled by
bufferevent.
So when we have IP address (from nameserver) and don't have connection
to this IP address, we could already cache it to avoid extra DNS
requests (since UDP is slow), and we can't do this from http layer, only
from bufferevent.

be: make @sa const for bufferevent_socket_connect()

util: make @sa const for evutil_socket_connect_()

sample: add HTTP CONNECT tunnelling example using libevent http layer

http: introduce evhttp_request_free_() helper

http: introduce evhttp_is_request_connection_close() helper

Updated gitignore

Merge pull request #190 from JohnOhl/evhttp-post-fix

evhttp: Fix failure to send all output data for POST/PUT requests

Update dns-example.

There's somebody out there who is going to have a compiler from 1986 who will complain. Better to fix c99 now.

Merge pull request #183 from azat/dns-example

Some improvements for dns-example

Merge pull request #254 from zeliard/master

Fix bench_httpclient to support win32

Update bench_httpclient.c

*fixed: socket_geterror instead of WSAGetLastError

Merge pull request #253 from ellzey/master

Set correct socklen for PF_INET6 sockaddr len

*fix: bench_httpclient to support win32

Set correct socklen for PF_INET6 sockaddr len

Reported and patched by Pankaj Sharma

Merge pull request #251 from ellzey/21_err_on_thread_init_ordering

Debug mode option to error on evthread init AFTER other event calls.

Debug mode option to error on evthread init AFTER other event calls.

- A handy event_enable_debug_mode() feature which will error and abort the
  application if any thread-aware libevent functions are called BEFORE the
  evthread API has been initialized (manually, or through
  evthread_use_windows_threads() / evthread_use_pthreads()

- This is done by setting the global debug variable
  'event_debug_created_threadable_ctx_' whenever the following functions
  are called:

     evthreadimpl_lock_alloc_()
     evthreadimpl_cond_alloc_()
     event_base_new_with_config() <- this checks to see if the thread
                                     callbacks are enabled first, so we
                                     have to manually set the variable.

- Example:

int main(int argc, char ** argv) {
    struct event_base * base;

    event_enable_debug_mode();

    base = event_base_new();

    evthread_use_pthreads();

    return 0;
}

When executed, the program will throw an error and exit:

[err] evthread initialization must be called BEFORE anything else!

Merge pull request #245 from ellzey/21_size_and_misc_fixes

Fix garbage value in socketpair util function, stdint?

Merge pull request #239 from ellzey/issue237

Call underlying bev ctrl SET_FD on filtered bufferevents

Update README.md

Update README.md

Update README.md

Update travis config for status updates

Update README.md

Use autotools for appveyor until cmake is fixed.

Commented out a WIN32 threading / timing test for now

- seems as if windows has some time scale issues which I am looking
  into. For now I am commenting out the regression test until it is
  fixed.

Merge branch 'master' into 21_size_and_misc_fixes

Merge pull request #241 from ellzey/21_fix_appveyor_ssl_link

Fix download link for appveyor SSL

Fix the link for appveyor OpenSSL installer (WIN32)

* change and move the openssl self installer off to a site we own
   - the old link was 404, probably due to being replaced with a newer
     non-vuln version. But since we are only using this installer to
     auto-build with on appveyor (not as a release), then having a file
     we don't change and own seems to be a better solution.
* reduce verbosity

Merge branch 'master' into issue237

Fix garbage value in socketpair util function, stdint?

* Fixed an issue with evutil_ersatz_socketpair_, listen_addr could all
  be compared against with agarbage values. So just memset it before
  using it anywhere.

* Nick might punch me in the face, but if we have stdint.h; (as in
  EVENT__HAVE_STDINT_H is defined), might as well use those instead of
  the manual [U]INT[X}_MAX/MIN muck in there now.

Merge pull request #242 from ellzey/pullRequest118

expose bufferevent_incref/decref (with fewer modifications)

expose bufferevent_incref/decref (with fewer modifications)

Call underlying bev ctrl SET_FD on filtered bufferevents

If a bufferevent_filter is set on an underlying bufferevent which has
ctrl functions, bufferevent_filter needs to handle this.

For now I have added just BEV_CTRL_SET_FD, since this is needed for
bufferevent_sock to assign file descriptors to the proper
bufferevent_read/write callbacks.

A good example of the problem can be found in issue #237
https://github.com/libevent/libevent/issues/237

Fix potential fd leak in listener_read_cb()

As pointed out by harlan_ in #libevent after running a coverity sweep.
If the listener is free'd, 'new_fd' is never closed.

tab

fix the return value of event_deferred_cb_schedule_

Merge pull request #220 from miniupnp/fix_warnings

Fix warnings

Fix mixed declarations and code (forbidden by ISO C90)

Fix "function declaration isn’t a prototype"

add "void" to argument list

Merge pull request #214 from JoakimSoderberg/appveyor

Forgot to install OpenSSL for appveyor

Forgot to install OpenSSL for appveyor