for now, skip the 'ghost' tests so we can reenable recursor testing on travis

make this test independent of ordering of json

actually fail if the recursor tests fail

this test relies on the ordering within json which is not wise, but I verified we got it right and set the ordering to what pdns emits now

warn if recursor or pdns can't be found in regression tests (but continue anyhow), improve documentation, remove "you can safely ignore this error"-error which still confused me, document lua-posix dependency, document how authbind works

another place where we looked for the recursor in the wrong place

another place that looked for pdns_recursor in the old place

make regression tests look in sane default place for pdns_recursor, make travis put pdns_recursor in that sane place

Merge pull request #3569 from Habbie/name-in-error

log name/qtype when sending out servfail

Merge pull request #3592 from pieterlexis/issue-3591-secure-delegated-test-broken

Add a ZSK to secure-delegated test zone properly

Merge pull request #3596 from mind04/botan

remove unnecessary botan signers (rsa and ecdsa)

Merge pull request #3582 from rgacogne/dnsdist-unify

dnsdist: Refactor query/response handling code (UDP/TCP)

Merge pull request #3587 from pieterlexis/l-root

Move the root server addresses to a header

Merge pull request #3595 from pieterlexis/trailing-dot-in-create-zone

pdnsutil: add NS record without trailing dot with create-zone

Merge pull request #3578 from pieterlexis/disable-syslog

Add a `disable-syslog` option

Merge pull request #3593 from pieterlexis/atomic-on-mipsel

Add -latomic to LDFLAGS on mips(el)

Merge pull request #3594 from rgacogne/dnsdist-single-console-command

dnsdist: Prevent EOF error for empty console response w/o sodium

Merge pull request #3598 from ahupowerdns/pdnsutil-help

make pdnsutil help output to stdout, document create-slave-zone in "help" output

Merge pull request #3599 from ahupowerdns/pdnsutil-fail-fix

alternate to #3579 as fix for #3387. lot shorter.

alternate to #3579 as fix for #3387. lot shorter.

make pdnsutil help output to stdout, document create-slave-zone in "help" output

Merge pull request #3590 from a6502/luabackendfixes-take2

Luabackendfixes take2

remove unnecessary botan signers

pdnsutil: add NS record without trailing dot with create-zone

Closes #3484

dnsdist: Prevent EOF error for empty console response w/o sodium

Prevent the "Fatal error: EOF while reading message" error when
the server send an empty response to a single console command.
It was caused by calling `readn2()` for a 0-sized read.
When libsodium support is enabled, padding prevents 0-sized
responses anyway.

Add -latomic to LDFLAGS on mips(el)

Closes #3486

Add a ZSK to secure-delegated test zone properly

Don't rely on the output of pdnsutil for this

Closes #3591

Fix recursor test in buildbot

simple test script for luabackend

repair dnssec in luabackend (done by ahu); try not to crash on unexpected return values; use integers where appropriate because that works better for lua 5.3

Merge pull request #3586 from pieterlexis/rm-root-ref

Remove the send-root-referral option

log name/qtype when sending out servfail

add DNSName::toLogString

Merge pull request #3585 from pieterlexis/wtf8

Use another copyright keypoint

Remove the send-root-referral option

This was already disabled and is wrong and bad:
https://www.dns-oarc.net/oarc/articles/upward-referrals-considered-harmful

Merge pull request #3565 from rgacogne/coverity-fixes

Small fixes reported by coverity

Merge pull request #3580 from mind04/bind-list

bindbackend: fix, set domain in list()

Merge pull request #3579 from rgacogne/coverity-fixes-pdns

auth: Fix reading invalid iterator in fillZone()

Merge pull request #3584 from sjvs/patch-1

Update Makefile.am: do not swallow curl errors

Move the root server addresses to a single place

Also, update the L-root IPv6 Address

Closes #3533
Closes #3534

Use another copyright keypoint

Merge pull request #3522 from rgacogne/dnsdist-carbon-names

dnsdist: Per-carbon server hostnames

dnsdist: Split DNSCrypt encryption from sendResponse. Fix flags.

Splitting DNSCrypt encryption from the sendResponse functions to
avoid the ugly #ifdef'ed definitions.
Flags were not correctly restored for self-generated responses.

Update pdns/recursordist/Makefile.am: make curl show errors

Update pdns/Makefile.am: make curl report error on failure

By default 'curl -s' (for silent) will swallow any errors that occur during the retrieval of the URL. This makes problems rather difficult to debug. The '-S' flag changes this behaviour: "When used with -s it makes curl show an error message if it fails" (from the manpage)

Merge pull request #3577 from Habbie/sdig-hidettl

add hidettl flag to sdig

dnsdist: Refactor duplicated query handling code (UDP/TCP)

Merge the UDP/TCP code handling:

* dynamic blocks
* blockfilter
* rules

This fixes an issue with DNSCrypt, where cached responses were not
being encrypted.

bindbackend: fix, set domain in list()

dnsdist: Refactor duplicated response handling code (UDP/TCP)

add hidettl flag to sdig

whitespace

Merge pull request #3576 from ekohl/simplify-example

Remove redundant rectify-zone command

Remove redundant rectify-zone command

Merge pull request #3173 from pieterlexis/uri-and-caa

Add the URI and CAA record types

Merge pull request #3571 from Habbie/zones-multiline-whitespace

strip all types of whitespace from around content while parsing zones, fixes #3568

Merge pull request #3547 from rubenk/quote-all-the-things

Add some missing quotes in configure.ac

Merge pull request #3566 from Habbie/dyndns-osx

half-fix nsupdate test portability to osx, remaining issue is the -V argument to sort in mysqldiff

Merge pull request #3567 from Habbie/dyndns-uint32_t

fix negative number in logline

Merge pull request #3570 from rgacogne/dnsdist-samples

dnsdist: Add rule samples to dnsdistconf.lua, fix the existing ones

Merge pull request #3574 from pieterlexis/fix-centos6-dnsdist-builds

Fix CentOS 6 builds

Merge pull request #3572 from pieterlexis/notify-in-tools-deb

Ship the notify tool in the pdns-tools deb

Merge pull request #3573 from rubenk/pdns-adjust-documentation-setting

pdns: man pages are in section 1 now

Add the CAA record

Add xfrUnquotedText()

Add URI QType

Add a `lenField` option to xfrText()

This option (true by default) tells the writer/parser to add/read a
byte that is the length of the data following.

Use devtoolset-3 on CentOS 6

Fix dnsdist builds for CentOS 6

dnsdist: add a --disable-syslog option

This prevents double logging in e.g. systemd

Add a disable-syslog setting

This allows the use of e.g. the `Type=simple` in systemd and prevents
the double logging issue.

dnsdist: Add regression tests for Carbon

dnsdist: Per-carbon server hostnames

We used the last specified `ourname` for all servers. We still use
the first specified interval for all servers for now.

auth: Fix reading invalid iterator in fillZone()

Reported by coverity:
```
CID 1353069 (#1 of 1): Using invalid iterator (INVALIDATE_ITERATOR)

19. deref_iterator: Dereferencing iterator rit though it is already
past the end of its container.
```

Add some missing quotes in configure.ac

Merge pull request #3507 from zeha/hideapikey

API: Mask out api-key in settings list

Merge pull request #3495 from zeha/forjeeves

Add /api discovery endpoint

Merge pull request #3415 from ahupowerdns/clearzone

pdnsutil clearzone allows operator to remove all records of a zone but leave everything else in place

Merge pull request #3389 from pieterlexis/pdnsutil-chroot

pdnsutil: support chroot

Merge pull request #3562 from rubenk/remotebackend-remove-unused-automake-variable

We no longer rely on boost serialization

Merge pull request #3558 from rubenk/pdns-recursor-fix-building-on-OSX

pdns-recursor: fix build failure on OSX

Merge pull request #3554 from nlyan/ctxlinkfixes

Fix Boost component library detection on ARM64 etc.

Merge pull request #3549 from rubenk/dont-break-vim-syntax-highlighting

Single single quotes break Vim highlighting

Merge pull request #3546 from rubenk/dnsdist-needs-autoconf-2.61

Dnsdist needs Autoconf >= 2.61 for Boost macros

Merge pull request #3545 from rubenk/recursor-needs-autoconf-2.61

Recursor needs Autoconf >= 2.61 for Boost macros

Merge pull request #3541 from rubenk/spec-point-to-https-url

Specs: use https url for powerdns.com

Merge pull request #3540 from rubenk/remove-unused-recursor-spec

Remove unused pdns-recursor.spec

strip all types of whitespace from around content while parsing zones, fixes #3568

pdns: man pages are in section 1 now

e9046db moved all our manpages to section 1.

dnsdist: Add rule samples to dnsdistconf.lua, fix the existing ones

Ship the notify tool in the pdns-tools deb

fix negative number in logline

half-fix nsupdate test portability to osx, remaining issue is the -V argument to sort in mysqldiff

Merge pull request #3564 from rgacogne/dnsdist-readn2-eagain

dnsdist: Add more information when readn2 fails because of EAGAIN

Small fixes reported by coverity

dnsdist: Add more information when readn2 fails because of EAGAIN

We no longer rely on boost serialization

5b71a3b removed the autoconf check for BOOST_SERIALIZATION.
Remove the variable since this now doesn't do anything.

make sure ednsoptions.hh gets distributed, fixing build on our builder infrastructure, which builds from make dist

pdns-recursor: fix build failure on OSX

Using OpenSSL from Homebrew, by doing
./configure --with-openssl=/Users/ruben/homebrew/Cellar/openssl/1.0.2g

Results in:

/Library/Developer/CommandLineTools/usr/bin/make  all-am
CXX      base64.o
base64.cc:7:10: fatal error: 'openssl/bio.h' file not found
     ^
1 error generated.

Merge pull request #3557 from rubenk/pdns-fix-building-on-osx

pdns: Fix build on OSX

nits