API (Auth): fix hosting of root zone

As discovered by @jpmens in #2216, the API could not create the root
zone, and listing zones would also fail when the root zone was present.

This corrects those bugs, plus another that prevented reading the root
zone, and adds a small API test set for the root zone.

Fixes #2216.

Merge pull request #2278 from mind04/gitignore

add calidns and dumresp to .gitignore

add calidns and dumresp to .gitignore

Merge pull request #1993 from rubenk/libtool

Libtool stuff

Any recent system has RTLD_NOW

And we checked them all...

Bail out if dlopen doesn't work

Use libtool to check for libdl

Require libtool 2.2.2 or newer for bootstrapping

Merge pull request #2276 from cmouse/fix-lmdb-race-condition

Properly lock lmdb database, fixes #1954

Merge pull request #2252 from cmouse/consistent-config-h

Consistently include config.h as first, if HAVE_CONFIG_H is defined

Properly lock lmdb database, fixes #1954

The LMDB database needs to be reloaded without allowing requests, so
we use readwrite lock to ensure that this cannot happen.

Remove undef VERSION as it's not really needed

Set HAVE_CONFIG_H when building recursor

Include config.h only in .cc files

Including config.h in header files can make it difficult to make
the header files public in future, also, including config.h only
in compilation units ensures it's only included once.

Merge pull request #2180 from rubenk/sanitizers

Add support for various sanitizers

Merge pull request #2265 from rubenk/exit-on-unknown-command

pdns_control: exit 1 on unknown command

remove useless script

Merge pull request #2263 from rubenk/log-when-we-cant-do-relro

Log when we cant do relro

Merge pull request #2269 from rubenk/report-to-ueberbackend-once

Let gpgsqlbackend report only once

Merge pull request #2259 from Habbie/nozonerefused

respond REFUSED instead of NOERROR for "unknown zone" situations

rec_control: exit 1 on unknown command

Let gpgsqlbackend report only once

That's more than enough ;)

Merge pull request #2019 from rubenk/add-missing-include-guards

Add missing include guards

pdns_control: exit 1 on unknown command

Fixes #1295

Add support for various sanitizers

- AddressSanitizer
- ThreadSanitizer
- LeakSanitizer
- MemorySanitizer
- Undefined Behavious Sanitizer

Check compiler for relro support instead of linker

We use the compiler for linking in most cases
instead of calling ld directly.

Do this the same way as we do for the recursor.
Fixes #2172

Log when we don't know how to link relro

Merge pull request #2262 from hkraal/master

Documentation enhancements (added links and MySQL replication information)

Warn for STATEMENT based replication with MySQL and added links to modes-of-operation.md in settings.md

Merge pull request #2255 from rubenk/fix-automake-warning

Fix automake warnings for remotebackend testsuite

Merge pull request #2260 from rubenk/remove-temporary-socket

pdns_control: don't open socket in /tmp

pdns_control: don't open socket in /tmp

pdns_control opened a socket in /tmp to receive
responses on from pdns. However, since the control
socket pdns_control connects to is a SOCK_STREAM socket
there's no need to do this anymore.

Fixes #2221

Merge pull request #1953 from rubenk/limit-notifies

Limit who can send us AXFR notify queries

Limit who can send us AXFR notify queries

Fixes #1937 and #1120

Merge pull request #1948 from rubenk/dont-return-success-on-failure

Don't exit 0 on failure

Merge pull request #2257 from rubenk/security-for-pdns-systemd-unit

Add more restrictions to pdns systemd unit file

Merge pull request #2256 from rubenk/fix-systemd-capabilities-for-recursor

recursor needs capability to switch user and group

Merge pull request #2254 from rubenk/set-defaults-for-cflags

Add -Wall to the default CFLAGS

respond REFUSED instead of NOERROR for "unknown zone" situations

Add more restrictions to pdns systemd unit file

We already did for the recursor, now do the same for auth.

recursor needs capability to switch user and group

Fix automake warnings for remotebackend testsuite

Define RECHECK_LOGS and TEST_EXTENSIONS outside of the UNIT_TESTS
conditional

Fixes the following warnings:
/usr/share/automake-1.14/am/check.am: warning: RECHECK_LOGS was already defined in condition UNIT_TESTS, which is included in condition TRUE ...

modules/remotebackend/Makefile.am:74: ... 'RECHECK_LOGS' previously defined here

modules/remotebackend/Makefile.am:62: warning: 'TEST_EXTENSIONS' cannot have conditional contents

Add -Wall to the default CFLAGS

The default on my system is -g -O2

Merge pull request #2253 from pieterlexis/configureOutputCXXYesNo

Have configure show yes/no for C++2011 support

Have configure show yes/no for C++2011 support

Merge pull request #2251 from hkraal/patch-1

Corrected default value for master setting

Corrected default value for master setting

Merge pull request #2215 from pieterlexis/issue-2179-API-send-403

JSON-API: Send 403 on bad API-Key

avoid fbsd10 build failure, thanks @rubenk

move recursor-git build script from jenkins config into git

move auth-git build script from jenkins config into git

Merge pull request #2218 from sspans/sspans-bindany

add support for non-local binds

add support for non-local binds

- add option non-local-bind to request this behaviour
- add support to auth and recursor
- add utility function to set sockopts

teach dnsscope to read multiple files closes #2247

add support for raw IP tcpdump format, which makes is compatible with DNS OARC dnscap and closes #2246

remove all traces of fancy records

Merge pull request #2230 from Whissi/improve-remotebackend-testsuite-r1

Improve remotebackend testsuite

Show 'modules/remotebackend/test-suite.log' when exists

This will help us to see what's going on.

Workaround for Travis `make check` failure no longer needed

Make parallel test harness work with automake-1.11

Add check for curl program

When building "remote" module with unit tests enabled we need the curl program
because the remotebacked testsuite uses the curl program.

When test service startup timeout was reached kill (cleanup) still running test services

If curl for example isn't installed or fails to check the service status for any reason,
we need to kill the test service if still running to prevent any resource leak.

Fix testrunner.sh's exit status

"$rv" isn't defined so use "$?" instead.

Detect test service start failures

It is possible that a test service doesn't start (i.e. due to missing Ruby dependencies).

We are now checking if the test services are running or we will display a meaningful
error message.

Also, because testrunner.sh is now called by test-driver, we can skip tests.

Detect test service stop failures

Imagine a test blocks or kills the test service. Failures like that
should be detected.

Test services should log into their own log file

Each test has a general log file in the following schema:

  remotebackend_<module>.log

When testrunner.sh spins up a service, the service logs its output
into the general log file. But test-driver from automake, which is
using the same log file and starts after the test service is up and
running, will overwrite the log file.

So in case of a server failure we will miss important log data.

Using a dedicated log file for the services we start will solve
this problem. The new schema for server log files will be

  remotebackend_<module>_server.log

automake: Use parallel test harness to prevent a parallel make issue

The http, post and json test are using the same TCP port. Because of
that we need to specify an execution order or we will get errors like

  INFO  WEBrick 1.3.1
  INFO  ruby 2.0.0 (2014-11-13) [x86_64-linux]
  WARN  TCPServer Error: Address already in use - bind(2)
  WARN  TCPServer Error: Address already in use - bind(2)
  /usr/lib64/ruby/2.0.0/webrick/utils.rb:85:in `initialize': Address already in use - bind(2) (Errno::EADDRINUSE)
          from /usr/lib64/ruby/2.0.0/webrick/utils.rb:85:in `new'
          from /usr/lib64/ruby/2.0.0/webrick/utils.rb:85:in `block in create_listeners'
          from /usr/lib64/ruby/2.0.0/webrick/utils.rb:82:in `each'
          from /usr/lib64/ruby/2.0.0/webrick/utils.rb:82:in `create_listeners'
          from /usr/lib64/ruby/2.0.0/webrick/server.rb:132:in `listen'
          from /usr/lib64/ruby/2.0.0/webrick/server.rb:113:in `initialize'
          from /usr/lib64/ruby/2.0.0/webrick/httpserver.rb:45:in `initialize'
          from ./unittest_http.rb:184:in `new'
          from ./unittest_http.rb:184:in `<main>'

when running the tests in parallel (`make -j5 check`).

Disable shell debug mode

Probably leftovers from a previous debugging session.

Merge pull request #2234 from rubenk/cleanup-log-messages

Cleanup the log messages a bit

remove the parts that are wrong from this readme, add some stuff that is right

Cleanup the log messages a bit

And fix a few typos while we're at it.

Merge pull request #2237 from zeha/share-thread-ueberbackend

PacketHandler: Share UeberBackend with DNSSECKeeper

Merge pull request #2243 from mind04/dolog

dnsdist requires dolog.hh

dnsdist requires dolog.hh

Merge pull request #2242 from mind04/dist

add LuaContext.hpp to auth dist tar.bz2

add LuaContext.hpp to auth dist tar.bz2

JSON-API: Send 401 on bad API-Key

  * Closes #2179
  * We send an HTTP 401 (Unauthorized) when:
    * The API Key is wrong
    * The API Key is empty or missing
  * Authentication failures are logged as Error (was Debug)
  * Fix the API regression test to accept this 401 as valid

Merge pull request #2235 from Whissi/make-remotebackend-zeromq-depending-on-remote-module

0MQ remotebackend requires remote backend itself

Merge pull request #2236 from Whissi/cleanup-configure-output

Improve configure output

Merge pull request #2157 from cmouse/tsig-changes

Tsig changes

move statbag so static initialisation happens early enough for packetcache; thanks @cmouse for pointers

Merge pull request #1735 from cmouse/send-servfail-on-error

Make sure we send servfail on error

remove dependency on sendmmsg, which did not help in any case

Avoid warning: ISO C++11 does not allow conversion from string literal to 'char *' [-Wc++11-compat-deprecated-writable-strings]

Merge pull request #2238 from cmouse/fix-lua-auth-warning

Use correct type for loop variable, removes warning

we used to rely on SRCDIR environment variable being set, now assume . if unset

fix up our c++2011-with-working-lua-detection (thanks to pieter for spotting the issue)

Use correct type for loop variable, removes warning

Replace PacketHandler with UeberBackend where possible

Makes reasoning about PacketHandler usage easier.

Remove emitNSEC3 from header file

I broke it's signature during the last cleanup, but nobody outside
packethandler.cc uses it.

PacketHandler: Remove signatures for missing functions

PacketHandler: Share UeberBackend with DNSSECKeeper

Reduces number of backend instances by 50%, very relevant for setups
that have backends with huge startup/runtime cost.

Add information whether we are building ZeroMQ remotebackend to summary

"--disable-hardening" option improved

* Splitted into argument and helptext

* MSG about hardening status added to configure output

dnsdist is c++2011 now which means jenkins can't build it anymore for us. Remove it from RPM.

ZeroMQ remotebackend requires remote backend itself

Merge pull request #2233 from rubenk/handle-missing-so_reuseport

Older kernels don't have SO_REUSEPORT

Older kernels don't have SO_REUSEPORT

only do c++-2011 is luawrapper works (breaks c+2011 for non-lua builds, but want to get the tests running again)

turns out travis and jenkins don't know about the sendmmsg system call (eh?)