test: fix leak in dns/getaddrinfo_cancel_stress

Some requests may get response (evutil_addrinfo) from gaic_server_cb,
in case of cancel_event (10000ms) will not be fast enough.

test: fix UB in evbuffer/empty_reference_prepend_buffer

UBSAN reports:
  test/regress_buffer.c:2360:2: runtime error: null pointer passed as argument 1, which is declared to never be null
  /usr/include/string.h:140:33: note: nonnull attribute specified here

ci: set build type to debug with sanitizers

test: really disable bufferevent_pair_release_lock under ASAN (and fix gcc)

test-closed: fix leak

build: do not disable deprecation warnings on macOS

this was for using openssl-0.9.8 included in macOS 10.7 - 10.12,
but it is long since time you really should not use that openssl

Merge #1046 -- build: misc configure changes

* upstream/pr/1046:
  build: consolidate darwin compile flag additions in configure
  build: consistently use dnl for comments in configure.ac

Add abi-check report into artifacts

build: consolidate darwin compile flag additions in configure

This is mostly move-only, apart from some changes to comments.

build: consistently use dnl for comments in configure.ac

test: add getaddrinfo(AI_ADDRCONFIG) test (off by default)

build: remove duplicate -Wredundant-decls

Merge branch 'tests-under-sanitizers'

* tests-under-sanitizers:
  test: fix memory leaks for https (add BEV_OPT_CLOSE_ON_FREE)
  test: "fix" (with a quirk) leak in ssl/bufferevent_wm (w/o defer callbacks)
  test: disable bufferevent/bufferevent_pair_release_lock under ASAN (too tricky)
  test: detect test failures if atexit handler calls _exit(!0) (sanitizers)
  Add LSAN suppressions (for OpenSSL temporary quirk)
  Add TSAN suppressions
  ci: run tests under sanitizers

Fixes: #955

test: fix memory leaks for https (add BEV_OPT_CLOSE_ON_FREE)

- http/https_filter_basic
- http/https_filter_chunk_out

test: "fix" (with a quirk) leak in ssl/bufferevent_wm (w/o defer callbacks)

test: disable bufferevent/bufferevent_pair_release_lock under ASAN (too tricky)

And cannot be suppressed with suppressions due to setup routines.

test: detect test failures if atexit handler calls _exit(!0) (sanitizers)

tinytest uses another way of detecting test failures, it uses pipe
between child and parent, and if the test function in child returns OK
it writes OK flag into pipe, and reads it in parent.

However sanitizers uses atexit handlers to detect leaks, and this will
not detect failures in case of exit() will be called from the atexit
handlers, fix this by checking status after waitpid().

Add LSAN suppressions (for OpenSSL temporary quirk)

Add TSAN suppressions

ci: run tests under sanitizers

Added:
- ASAN
- TSAN
- UBSAN

And disable some tests that are know to have leaks.

Make all classes Entry, Struct, etc) new-style classes

This allows the object methods to be properly inherited and called via
`super(..)`, addressing breakage with python 2.x, introduced in
cfcc093606e747a5d250787012bac0b149c60d6d.

Fixes #1042.

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

evdns: do not pass NULL to memcpy() in evdns_server_request_format_response()

In case of OPT pseudo-RR `class` field is treated as a requestor's UDP
payload size, and class will have 512 (DNS_MAX_UDP_SIZE), and data is
NULL:

  (gdb) p *item
  $4 = {
    next = 0x0,
    name = 0x602000000130 "",
    type = 41,
    class = 512,
    ttl = 0,
    is_name = 0 '\000',
    datalen = 0,
    data = 0x0
  }

And UBSAN will reports:

  ../evdns.c:2493:5: runtime error: null pointer passed as argument 2, which is declared to never be null
      #0 0x7ffff70b65bb in evdns_server_request_format_response ../evdns.c:2493
      #1 0x7ffff70b706b in evdns_server_request_respond ../evdns.c:2529
      #2 0x5555557975ab in regress_dns_server_cb ../test/regress_testutils.c:263
      #3 0x7ffff70a8489 in request_parse ../evdns.c:1576
      #4 0x7ffff70aa445 in server_udp_port_read ../evdns.c:1726
      #5 0x7ffff70ac5cc in server_port_ready_callback ../evdns.c:1849
      #6 0x7ffff6d3054c in event_persist_closure ../event.c:1645
      #7 0x7ffff6d311cd in event_process_active_single_queue ../event.c:1704
      #8 0x7ffff6d33258 in event_process_active ../event.c:1805
      #9 0x7ffff6d361b5 in event_base_loop ../event.c:2047
      #10 0x7ffff6d334ac in event_base_dispatch ../event.c:1839
      #11 0x555555739df2 in test_edns ../test/regress_dns.c:2639
      #12 0x5555557b9e96 in testcase_run_bare_ ../test/tinytest.c:173
      #13 0x5555557ba8f0 in testcase_run_one ../test/tinytest.c:333
      #14 0x5555557bc9a0 in tinytest_main ../test/tinytest.c:527
      #15 0x555555787faa in main ../test/regress_main.c:528
      #16 0x7ffff606c001 in __libc_start_main (/usr/lib/libc.so.6+0x27001)
      #17 0x55555569436d in _start (/src/le/libevent/.cmake-debug/bin/regress+0x14036d)

buffer: do not pass NULL to memcpy() from evbuffer_pullup()

UBSAN reports:

  evbuffer/remove_buffer_with_empty3: ../buffer.c:1443:3: runtime error: null pointer passed as argument 2, which is declared to never be null
      #0 0x7ffff6cd0410 in evbuffer_pullup ../buffer.c:1443
      #1 0x5555556d68b9 in test_evbuffer_remove_buffer_with_empty3 ../test/regress_buffer.c:408
      #2 0x5555557b95ee in testcase_run_bare_ ../test/tinytest.c:173
      #3 0x5555557ba048 in testcase_run_one ../test/tinytest.c:333
      #4 0x5555557bc0f8 in tinytest_main ../test/tinytest.c:527
      #5 0x555555787702 in main ../test/regress_main.c:528
      #6 0x7ffff606c001 in __libc_start_main (/usr/lib/libc.so.6+0x27001)
      #7 0x55555569436d in _start (/src/le/libevent/.cmake-debug/bin/regress+0x14036d)

test: do not pass NULL to memcmp() in evbuffer_datacmp() helper

Fixes:
  runtime error: null pointer passed as argument 2, which is declared to never be null

http: fix undefined-shift in EVUTIL_IS*_ helpers

evutil.c:2559:1: runtime error: left shift of 1 by 31 places cannot be represented in type 'int'
    #0 0x4f2be0 in EVUTIL_ISXDIGIT_ libevent/evutil.c:2559:1
    #1 0x4bd689 in regname_ok libevent/http.c:4838:7
    #2 0x4bc16b in parse_authority libevent/http.c:4958:9
    #3 0x4bb8b5 in evhttp_uri_parse_with_flags libevent/http.c:5103:7
    #4 0x4bb762 in evhttp_uri_parse libevent/http.c:5050:9
    #5 0x4b8f41 in evhttp_parse_query_impl libevent/http.c:3505:9
    #6 0x4b8ed7 in evhttp_parse_query libevent/http.c:3569:9

Bug: https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=23291
Report: https://oss-fuzz.com/testcase-detail/5670743106125824

Check error code of evhttp_add_header_internal() in evhttp_parse_query_impl()

wepoll: use lower-cased windows headers

This matches their use throughout the rest of the project, and fixes the
build when you are cross-compiling on Linux using mingw-w64. i.e:

  CC       epoll.lo
  CC       wepoll.lo
  CC       signal.lo
wepoll.c:138:10: fatal error: WS2tcpip.h: No such file or directory
 #include <WS2tcpip.h>
          ^~~~~~~~~~~~
compilation terminated.
make[2]: *** [Makefile:1918: wepoll.lo] Error 1

cmake: avoid problems from use of CMAKE_USE_PTHREADS_INIT

In some CMake integrations, portions of the toolchain may end up
defining CMAKE_USE_PTHREADS_INIT even when EVENT__DISABLE_THREAD_SUPPORT
is set for libevent.  Modify the build to not rely on this side effect
of find_package(Threads, ...) [which could be done elsewhere] but instead
to use EVENT__HAVE_PTHREADS which is defined only on the desired codepath.

Without this change, affected builds fail as a result of event_pthreads source
files being built but with build defines which cause the build to fail.

Signed-off-by: Paul Osborne <paul.osborne@smartthings.com>

recreate socket when udp failed

test/regress_http: remove second ARRAY_SIZE macros

test/regress_testutils: use inet_addr()

test/regress_dns: use tt_int_op() over tt_assert() in assert_request_results()

evdns: Add support for setting maximum UDP DNS message size.

Added new option `edns-udp-size` for evdns_base which allows
to control maximum allowed size of UDP DNS messages. This
maximum size is passed to the DNS server via edns mechanism.

CI: catch failures and retry

remove FindGit.cmake, improve `git describe` command

checkpatch.sh: fix clang-format-diff usage

- strip 1 path component
- it does not accept file name anymore, only stdin

Refs: #1029

checkpatch.sh: fix usage

Refs: #1029

Fix clang-format-diff usage

"--style" is invalid:

$ ./checkpatch.sh -r HEAD
usage: clang-format-diff [-h] [-i] [-p NUM] [-regex PATTERN] [-iregex PATTERN]
                         [-sort-includes] [-v] [-style STYLE] [-binary BINARY]
clang-format-diff: error: unrecognized arguments: --style={ Language:... }

http: Merge branch 'http-max_connections-pr-592'

@jcoffland:

  "When the max connection limit is enabled and the limit is reached, the
   server will respond immediately with 503 Service Unavailable. This can
   be used to prevent servers from running out of file descriptors. This is
   better than request limiting because clients may make more than one
   request over a single connection. Blocking a request does not
   necessarily close the connection and free up a socket."

* http-max_connections-pr-592:
  test: cover evhttp max connections
  Added evhttp max simultaneous connection limiting

test: cover evhttp max connections

variable redefinition in win32_dispatch

Merge branch 'evdns-tcp-pr-1004'

@seleznevae:

  "Added support for DNS requests via TCP. By default, requests are done
   via UDP. In case truncated response is received new attempt is done
   via TCP connection. Added 2 new macros DNS_QUERY_USEVC and
   DNS_QUERY_IGNTC to force all requests to be done via TCP and to disable
   switch to TCP in case of truncated responses.

   Also added possibility for DNS server to listen and receive requests on
   TCP port. Current implementation of TCP support in DNS server seems
   rather preliminary and maybe changes after discussion and code review.

   Fallback to TCP in case of truncated DNS requests is done automatically.
   To imitate the old behaviour macros DNS_QUERY_IGNTC should be used. To
   force all DNS requests to be done via TCP one should use the flag
   DNS_QUERY_USEVC. Names DNS_QUERY_IGNTC, DNS_QUERY_USEVC were chosen to
   imitate similar flags in c-ares and glibc."

Ok, interfaces looks good, merging to avoid stalling it for too long.

* evdns-tcp-pr-1004:
  evdns: fix coding style issues
  evdns: fix trailing whitespaces
  evdns: bufferevent_setcb before bufferevent_free is redundant
  evdns: Implement dns requests via tcp

evdns: fix coding style issues

evdns: fix trailing whitespaces

evdns: bufferevent_setcb before bufferevent_free is redundant

test: http/autofree_connection cleanup

evdns: Implement dns requests via tcp

http: fix EVHTTP_CON_AUTOFREE in case of timeout (and some else)

Refs: #182

http: fix EVHTTP_CON_AUTOFREE in case of connection error

Refs: #182

test: cleanup http/autofree_connection

test: fix http/autofree_connection

Refs: #182

evdns: Add additional validation for values of dns options

Add wepoll support to light up the epoll backend on Windows

libevent is lacking a scalable backend on Windows. Let's leverage the wepoll
library until Windows comes up with an epoll/kqueue compete user mode API.

- All regress tests pass for standard wepoll
- These 2 tests fail intermittently for changelist wepoll, so disabling
  changelist wepoll for now
     http/cancel_inactive_server
     http/stream_in
- verify target on Windows runs tests for both wepoll and win32 backends
- wepoll backend preferred over win32 backend
- wepoll version 1.5.6

v2: cleaner backend abstraction. Disallow wepoll on MinGW/Cygwin.
v3: Add wepoll.h to dist
v4: Make sure wepoll source files are excluded from cygwin/mingw builds
v5: Keep win32 as default backend on windows.
v6: Include wepoll in mingw builds. Verified that regress tests pass w/ WEPOLL backend.
v7: Enable wepoll on mingw when building with cmake
v8: Add wepoll testrunner for autotools test target

test: Fix test_simpleclose for Windows platform

Replace close with evutil_closesocket
Caught with PR #1006

Include details of the ABI compatibility report

Add ABI compatibility report deploy

Closes: #887

abi-check: abi-monitor 1.10 does not support -make -j8 (1.12 supports though)

An error for 1.10 on ci:
  https://github.com/azat/libevent/runs/647860649?check_suite_focus=true#step:4:219

Do not ignore anything in .github

Fixes: 28eb0d91 ("github actions looks good - drop travis/appveyor (#951)")

Add API/ABI checker (using LVC)

v2 (by azat):
- drop package installations
- use local .abi-check over $HOME/abi-check for build dir
- drop regex check, simply use default values (too complex otherwise)
- use sub-shell to avoid cd back
- add missing quotes
- make the style uniq across the whole file (no tabs for indent, copy-paste?)
- drop `set -x`, use `bash -x abi-check.sh` over
- drop EVENT_ABI_CHECK
- use /usr/bin/env bash as shebang
- use `find | xargs` over `cp $(grep -v)`
- adjust markdown syntax in abi-check/README.md
- adjust link to the publicly available documentation

v3 (by azat):
- docker image
- git check-ignore
- make -j8
- allow to change defaults

Refs: #887

ci/linux: add dist check

Update list of cmake files for autotools dist archive

Fixes: #976

ci: change cache key for windows/mingw

Should fix the following current failures:
- 2020-05-04T22:32:02.9490248Z C:\Program Files (x86)\Microsoft Visual Studio\2019\Enterprise\MSBuild\Microsoft\VC\v160\Microsoft.CppCommon.targets(231,5): error MSB6006: "cmd.exe" exited with code 3. [D:\a\libevent\libevent\build\regress.vcxproj]
- cmake : /usr/bin/sh: /C/hostedtoolcache/windows/Python/3.7.6/x64/python.exe: No such file or directory

P.S. I guess python has another path, but on my fork it is the same and
it passes.

Pass --quiet to the event_rcpgen.py (autotools already does this)

Do not run CI if message contains "ci skip"

https://github.com/marketplace/actions/skip-based-on-commit-message

There is typo in GetAdaptersAddresses windows library. It should be iphlpapi.dll

Support EV_CLOSED on linux for poll(2)

Refs: #984

Fix EV_CLOSED detection/reporting (epoll only)

- EV_CLOSED is EPOLLRDHUP in epoll
- EPOLLRDHUP reported w/o EPOLLHUP if the socket closed with shutdown(SHUT_WR)
- EPOLLRDHUP reported w/  EPOLLHUP if the socket closed with close()
  so in this case epoll backend will detect this event as error
  (EV_READ|EV_WRITE), since the epoll_ctl() will return EPOLLRDHUP with
  EPOLLHUP set, but this is not correct, let's fix this.

Fixes: #984

Merge branch 'EV_CLOSED-and-EV_ET-fixes'

* EV_CLOSED-and-EV_ET-fixes:
  Avoid triggering wrong events with EV_ET set
  epoll: handle EV_ET for EV_CLOSED too
  test: cover EV_CLOSED with lots of possible scenarious
  test: rename simpleclose to simpleclose_rw (since it works via write/read)

Avoid triggering wrong events with EV_ET set

For the event at least something except EV_ET should be set, so checking
ev->ev_events with "triggered" events is wrong, because EV_ET is always
passed (see epoll), since it will be filtered out if it is not set in
event.

epoll: handle EV_ET for EV_CLOSED too

test: cover EV_CLOSED with lots of possible scenarious

- trigger *RDHUP via close() <-- has issues
- trigger *RDHUP via shutdown()
- EV_CLOSED
- EV_CLOSED|EV_PERSIST
- EV_CLOSED|EV_ET <!-- has issues
- EV_CLOSED|EV_ET|EV_PERSIST

test: rename simpleclose to simpleclose_rw (since it works via write/read)

github actions looks good - drop travis/appveyor (#951)

Actually right now github's VMs is better then travis/appveyor.

bufferevent: allow setting priority on socket and openssl type

cmake: set a default value for LIBEVENT_STATIC_LINK

evutil_time: improve evutil_gettimeofday on Windows

If present, use GetSystemTimePreciseAsFileTime instead of
GetSystemTimeAsFileTime. Available since Windows 8.

bench: Allow backend method selection

-l         list available methods
-m <name>  use method

cmake: missing test-closed binary

Merge branch 'event_rpcgen.py-cleanup'

* event_rpcgen.py-cleanup:
  event_rpcgen.py: fix arguments-differ
  event_rpcgen.py: fix attribute-defined-outside-init
  event_rpcgen: suppress some warnings to make pylint clean
  Don't accumulate arguments in `Entry.GetTranslation`
  Fix improper string concatenations in lists
  Fix warnings regarding unused variables
  Don't override the `type` built-in
  Call `super` to call methods from the parent class
  Address `no-self-use` issues reported by pylint
  Run the code through the black formatter
  Reformat strings to template
  Add `argparse` support
  Precompile regular expressions
  Use bools instead of ints values where possible
  Rename all global variables to match the PEP8 spec
  Handle file pointers with context suite patterns
  Iterate over `tokens` with a for instead of while
  Fix indentation for `RpcGenError`
  Don't override `file` built-in
  Resolve variable name issues per PEP8
  Sort imports per PEP8

event_rpcgen.py: fix arguments-differ

event_rpcgen.py: fix attribute-defined-outside-init

event_rpcgen: suppress some warnings to make pylint clean

Don't accumulate arguments in `Entry.GetTranslation`

Initialize `extradict` safely to avoid accumulating arguments in dict
objects passed in across calls.

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Fix improper string concatenations in lists

This change adds commas between elements or explicitly concatenates the
strings, so the values are no longer concatenated by accident.

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Fix warnings regarding unused variables

Prefix all unused variables with `_` to mute unused variable warnings
with flake8/pylint.

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Don't override the `type` built-in

Name the second parameter to `Entry(..)` `ent_type` to avoid overriding
the built-in.

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Call `super` to call methods from the parent class

Not only does it make it clearer to the reader what the intent is behind
the code, it fixes MRO evaluation of classes if the parent-child
relationship is nonlinear.

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Address `no-self-use` issues reported by pylint

Sprinkle around `@staticmethod` where need be and raise
`NotImplementedError` from `Entry.GetInitializer` instead of doing
similar with `assert`. `NotImplementedError` will provide a hint to
static analyzers that there are abstract methods which need to be
implemented, if they aren't, in subclasses.

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Run the code through the black formatter

This resolves a number of flake8 issues as well as pylint issues. Not
all of the changes mesh between flake8/pylint though, so there are some
false positives, but it's better than before.

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Reformat strings to template

This change converts the existing code to use triple-quotes extensively,
in the end-goal of making the code to reformat with black more readable
before and after the change (black messes around with the formatting in
a less than desirable way).

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Add `argparse` support

This change converts raw parsing with `sys.argv` to its equivalent logic
with `argparse`.

It doesn't fully convert over all of the TODO items listed in the
comments, but it does provide some top-level structure which can be used
to drive down further improvements and structure.

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Precompile regular expressions

This change boost performance at scale by pre-compiling regular
expressions in the global space, then reusing them many times within
functions.

This (while not the desired intent of the author) will boost
performance when parsing input.

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Use bools instead of ints values where possible

This is being done to clarify logic and isn't being done for performance
reasons whatsoever, as bools are derived from ints.

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Rename all global variables to match the PEP8 spec

Global variables should be in all caps, as opposed to lowercase.

While here, use named groups for `STRUCT_REF_RE` instead of numbered
groups to make the results and their indented tokens to parse more
intuitive to the end reader.

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Handle file pointers with context suite patterns

This removes the need for manually calling the file pointer's `.close`
methods directly.

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Iterate over `tokens` with a for instead of while

This simplifies the logic and avoids unnecessary copying/slicing of
array elements in `tokens`.

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Fix indentation for `RpcGenError`

Indentation for the exception was double what it should have been. This
change normalizes the indentation to a consistent standard with the rest
of the file.

Fix minor flake8 issues while here corresponding to the minimum number
of needed blank lines around the class and its methods.

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Don't override `file` built-in

Use `filep` instead of `file` to clarify the fact that `file` is a file
pointer object.

This mutes warnings on python 2.7 with `pylint`.

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Resolve variable name issues per PEP8

Move all logic under `if __name__ == "__main__"` to a `main(..)`
function.

The purpose of this is to not only address flake8/pylint reported issues
with variable names, but also to enable testing of the function in
isolation to ensure the logic acts as desired.

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>

Sort imports per PEP8

Signed-off-by: Enji Cooper <yaneurabeya@gmail.com>