Merge pull request #2230 from Whissi/improve-remotebackend-testsuite-r1

Improve remotebackend testsuite

Show 'modules/remotebackend/test-suite.log' when exists

This will help us to see what's going on.

Workaround for Travis `make check` failure no longer needed

Make parallel test harness work with automake-1.11

Add check for curl program

When building "remote" module with unit tests enabled we need the curl program
because the remotebacked testsuite uses the curl program.

When test service startup timeout was reached kill (cleanup) still running test services

If curl for example isn't installed or fails to check the service status for any reason,
we need to kill the test service if still running to prevent any resource leak.

Fix testrunner.sh's exit status

"$rv" isn't defined so use "$?" instead.

Detect test service start failures

It is possible that a test service doesn't start (i.e. due to missing Ruby dependencies).

We are now checking if the test services are running or we will display a meaningful
error message.

Also, because testrunner.sh is now called by test-driver, we can skip tests.

Detect test service stop failures

Imagine a test blocks or kills the test service. Failures like that
should be detected.

Test services should log into their own log file

Each test has a general log file in the following schema:

  remotebackend_<module>.log

When testrunner.sh spins up a service, the service logs its output
into the general log file. But test-driver from automake, which is
using the same log file and starts after the test service is up and
running, will overwrite the log file.

So in case of a server failure we will miss important log data.

Using a dedicated log file for the services we start will solve
this problem. The new schema for server log files will be

  remotebackend_<module>_server.log

automake: Use parallel test harness to prevent a parallel make issue

The http, post and json test are using the same TCP port. Because of
that we need to specify an execution order or we will get errors like

  INFO  WEBrick 1.3.1
  INFO  ruby 2.0.0 (2014-11-13) [x86_64-linux]
  WARN  TCPServer Error: Address already in use - bind(2)
  WARN  TCPServer Error: Address already in use - bind(2)
  /usr/lib64/ruby/2.0.0/webrick/utils.rb:85:in `initialize': Address already in use - bind(2) (Errno::EADDRINUSE)
          from /usr/lib64/ruby/2.0.0/webrick/utils.rb:85:in `new'
          from /usr/lib64/ruby/2.0.0/webrick/utils.rb:85:in `block in create_listeners'
          from /usr/lib64/ruby/2.0.0/webrick/utils.rb:82:in `each'
          from /usr/lib64/ruby/2.0.0/webrick/utils.rb:82:in `create_listeners'
          from /usr/lib64/ruby/2.0.0/webrick/server.rb:132:in `listen'
          from /usr/lib64/ruby/2.0.0/webrick/server.rb:113:in `initialize'
          from /usr/lib64/ruby/2.0.0/webrick/httpserver.rb:45:in `initialize'
          from ./unittest_http.rb:184:in `new'
          from ./unittest_http.rb:184:in `<main>'

when running the tests in parallel (`make -j5 check`).

Disable shell debug mode

Probably leftovers from a previous debugging session.

Merge pull request #2234 from rubenk/cleanup-log-messages

Cleanup the log messages a bit

remove the parts that are wrong from this readme, add some stuff that is right

Cleanup the log messages a bit

And fix a few typos while we're at it.

Merge pull request #2237 from zeha/share-thread-ueberbackend

PacketHandler: Share UeberBackend with DNSSECKeeper

Merge pull request #2243 from mind04/dolog

dnsdist requires dolog.hh

dnsdist requires dolog.hh

Merge pull request #2242 from mind04/dist

add LuaContext.hpp to auth dist tar.bz2

add LuaContext.hpp to auth dist tar.bz2

Merge pull request #2235 from Whissi/make-remotebackend-zeromq-depending-on-remote-module

0MQ remotebackend requires remote backend itself

Merge pull request #2236 from Whissi/cleanup-configure-output

Improve configure output

Merge pull request #2157 from cmouse/tsig-changes

Tsig changes

move statbag so static initialisation happens early enough for packetcache; thanks @cmouse for pointers

Merge pull request #1735 from cmouse/send-servfail-on-error

Make sure we send servfail on error

remove dependency on sendmmsg, which did not help in any case

Avoid warning: ISO C++11 does not allow conversion from string literal to 'char *' [-Wc++11-compat-deprecated-writable-strings]

Merge pull request #2238 from cmouse/fix-lua-auth-warning

Use correct type for loop variable, removes warning

we used to rely on SRCDIR environment variable being set, now assume . if unset

fix up our c++2011-with-working-lua-detection (thanks to pieter for spotting the issue)

Use correct type for loop variable, removes warning

Replace PacketHandler with UeberBackend where possible

Makes reasoning about PacketHandler usage easier.

Remove emitNSEC3 from header file

I broke it's signature during the last cleanup, but nobody outside
packethandler.cc uses it.

PacketHandler: Remove signatures for missing functions

PacketHandler: Share UeberBackend with DNSSECKeeper

Reduces number of backend instances by 50%, very relevant for setups
that have backends with huge startup/runtime cost.

Add information whether we are building ZeroMQ remotebackend to summary

"--disable-hardening" option improved

* Splitted into argument and helptext

* MSG about hardening status added to configure output

dnsdist is c++2011 now which means jenkins can't build it anymore for us. Remove it from RPM.

ZeroMQ remotebackend requires remote backend itself

Merge pull request #2233 from rubenk/handle-missing-so_reuseport

Older kernels don't have SO_REUSEPORT

Older kernels don't have SO_REUSEPORT

only do c++-2011 is luawrapper works (breaks c+2011 for non-lua builds, but want to get the tests running again)

turns out travis and jenkins don't know about the sendmmsg system call (eh?)

didn't work

Merge branch 'master' into dnsdist11

Merge pull request #2231 from rubenk/testrunner-needs-libdl

The testrunner needs -ldl now

The testrunner needs -ldl now

Merge pull request #2142 from zeha/untangle-dnsbackend-ueberbackend

Stop pretending UeberBackend is a normal DNSBackend

Merge pull request #2167 from Habbie/html-tar-bz2

html.tar.bz2 target, partial resolution for #2165

Merge pull request #2176 from rubenk/recursor-systemd

Start pdns-recursor before nss-lookup.target

Merge pull request #2185 from rubenk/systemd-improvements

Systemd improvements

Merge pull request #2182 from AdamMajer/master

Memory leak cleanup in unit tests thanks to valgrind

Merge pull request #2213 from James-TR/patch-1

Welcome to 2015

Merge pull request #2229 from rubenk/make-rule-explicit

Use an explit rule to turn ragel into C++

re-allow building without lua

Merge pull request #1471 from Habbie/luapolicy

initial implementation of Lua policy engine

Merge work-in-progress Lua policy engine.

Some text from the Pull Request at the time of merge:

Should not break anything when not used; should not break anything when used
(assuming the loaded script is free of bugs). Example script may not be
entirely correct. Needs tests (dnsperf QPS is a fine KPI).

Run `git show <thiscommit> | grep FIXME` to see known issues.

Todo/evolution ideas:

Copy reload/unload behaviour from recursor (allow reloading different script,
don't replace running instance when loading fails due to syntax errors etc).
Related, make sure we do PASS when the police() call fails.

Add pdns-side metrics (drops/passes/truncates/lua errors) (probably some
actual breakage in the metrics area right now). Log (sample of) lua errors.

Call metrics() periodically (every second) and merge those into our own,
including carbon submission? Perhaps with incremental (number since last read)
vs. absolute flag (number since startup). If absolute, consider
'checkpointing' on script reload.

Call statsline() periodically (every X minutes) for a summary we can log?

Write wrapper (in Lua?) to allow loading policy scripts into recursor using
the hooks already present there (pre/postresolve).

Expose header/extra flags (RD, DO, etc.).

Use an explit rule to turn ragel into C++

The implicit rule causes Make to search for a .rl
file for each .cc file

Merge pull request #2219 from mind04/mixed

evaluate KSK ZSK pairs per algorithm

Merge pull request #2222 from James-TR/pdnssec-doc-fix

Bring pdnssec algs inline with pdnssec source

Merge pull request #2226 from rubenk/silence-scary-warning-in-configure-recursor

Silence warnings that always occur on FreeBSD

Merge pull request #2228 from Habbie/fixsendmsg

make sure we never call sendmsg with msg_control!=NULL && msg_controllen>0

Do not delete b too early

Make sure we send servfail on error

add recursor-test-freebsd script

make sure we never call sendmsg with msg_control!=NULL && msg_controllen>0. Fixes #2227

Bring pdnssec algs inline with pdnssec source

* Changed the algorithms to be inline with shorthand2algorithm()
  from pdns/pdnssec.c
* Might need to clarify what the other algorithms are, too

Silence warnings that always occur on FreeBSD

fix mailman link, thanks @justinclift

Merge pull request #2224 from arjenz/master

Fix typo

Fix typo

Fix a typo as noticed on http://blog.powerdns.com/2015/02/12/powerdns-recursor-3-7-1-released/

secpoll for rec 3.7.1

drop RC details

3.7.1 changelog

evaluate KSK ZSK pairs per algorithm

on Linux, SO_TIMESTAMP == SCM_TIMESTAMP, on at least FreeBSD, it is not, causing us to miss harvesting the timestamp, and dropping all packets as too old. With this change, we don't drop if we can't find the timestamp, plus harvest it properly

update release notes and documentation for 3.7.0

secpoll for 3.7.0

Welcome to 2015

* It's February! :D

Restrict address families that can be used

To AF_UNIX AF_INET and AF_INET6.

Mount /home and /run/user read-only

Give recursor its own read-only mount namespace

/usr and /etc are mounted read-only

Ensure recursor can't elevate its privileges

Drop unneeded capabilities

The recursor only needs CAP_NET_BIND_SERVICE
to bind to port 53

Give recursor its own /dev namespace

Memory leak cleanup in unit tests, thanks to valgrind

Merge pull request #1997 from rubenk/fix-undef-warnings

Fix undef warnings

Fix a few warnings which show up with -Wundef

Also remove DARWIN, since OS X doesn't define that

Merge pull request #2090 from rubenk/remove-commented-out-zone2ldap-from-spec

Remove commented out zone2ldap

Merge pull request #2210 from shimmi2/master

Update migration.md

Update migration.md

Updated link to wiki for easy reach scripts for migrating from MyDNS

Merge pull request #2181 from mind04/api1

always set di.notified_serial in getAllDomains

always set di.notified_serial in getAllDomains

Merge pull request #2170 from mind04/docker

update example in the Dockerfile for building the markdown docs

Merge pull request #2184 from rubenk/fail-when-compiling-epollmplexer-fails

Fail when compiling epollmplexer fails

Merge pull request #2190 from rubenk/cp-dont-move-binaries

Copy the binaries during install, don't move them

Merge pull request #2199 from rubenk/fix-building-with-boost-1.57

fix building with GCC 5

Merge pull request #2200 from cmouse/add-newline-carbon-error

Add newline to carbon error message on recursor

Merge pull request #2201 from zeha/api-improvements

Zone API improvements

Merge pull request #2202 from zeha/docs

Documentation improvements