dnsdist: Log the content of webserver's exceptions

Merge pull request #3823 from mind04/gcc61-master

add gcc 6.1 support to boost.m4

Merge pull request #3826 from ahupowerdns/quietsmn

implement a 'quiet' mode for SuffixMatchNodeRule() which prevents Sho…

implement a 'quiet' mode for SuffixMatchNodeRule() which prevents ShowRules() from listing a million domain names.

include 1.0.0 announcement and announcement-video on website of dnsdist

add gcc 6.1 support to boost.m4

Merge pull request #3813 from ahupowerdns/multi-wash

Multi wash: make dnswash process multiple files at once & anonymize IPv6 fully now (128 bits)

Merge pull request #3812 from zeha/docs-rrsets

APi docs: Fix typo rrset -> rrsets

APi docs: Fix typo rrset -> rrsets

make sure we zero out the anonymized IPv6 address.

days since fixing last part where we got IPv6 wrong: 0

make dnswasher be able to wash multiple files, retaining consistent IP address mapping

Merge pull request #3807 from rgacogne/auth-caches-ttl-settings

auth: Add TTL settings for DNSSECKeeper's caches (key, medatada)

Update DNSSECKeeper's caches settings in pdns.conf-dist

Better description for DNSSECKeeper's cache, 0 disables caching

* Fix the description of the new settings
* Setting a 0-TTL disables caching
* Only get the value once, as it's done for `max-nsec3-iterations`

Merge pull request #3806 from rgacogne/fromiscmap-nocheck

auth: Move key validity check out of `fromISCMap()`

Merge pull request #3802 from Habbie/robust-doresolve

refactor doResolve out of secpoll

Merge pull request #3663 from klaus3000/pdnscontrol_notify

fix: also slaves may send NOTIFYs if slave-renotify is enabled

Merge pull request #3743 from hlindqvist/policy-rrl-mask

Implement address masking in RRL script (#3286)

Add key check on `pdnsutils hsm assign`

Rename `DNSCryptoKeyEngine` `checkKeys()` method to `checkKey()`

auth: Move key validity check out of `fromISCMap()`

It doesn't make a lot of sense to check the key validity at every
call of `fromISCMap()`, and it hurts performance a lot when keys
are not cached.

* Add separate `DNSSECKeeper::checkKeys()` and
`DNSCryptoKeyEngine::checkKeys()` methods
* Key validity is checked on import-zone-key, check-zone and
test-algorithm(s)

auth: Add TTL settings for DNSSECKeeper's caches (key, medatada)

Merge pull request #3805 from ahupowerdns/depurl

remove purl.js: outdated & unused

Merge pull request #3797 from pieterlexis/issue-270-Version-for-tools

Add --version and --help to all the tools

outdated & unused

Merge pull request #3803 from ahupowerdns/logger-fixes

Logger fixes

Merge pull request #3804 from rgacogne/rec-leak-validate

rec: Fix a memory leak in DNSSEC validation

rec: Fix a memory leak in DNSSEC validation

`DNSCryptoKeyEngine::makeFromPublicKeyString()` returns a naked
pointer to a new object.

Merge pull request #3801 from rgacogne/rec-lua-rcodes

rec: Add missing Lua rcodes bindings

further logging silencing

this wins no prizes - our protobuf logger is used both in dnsdist and recursor and sometimes needs to log. We previously did that to cerr since dnsdist and recursor have different logging promitives. This adds #ifdef based support for both. It works, is the best I can say about it.

rename a bunch of things

move stub code into stubresolver.cc/hh

honor qtype

rec: Add missing Lua rcodes bindings

Closes #3717.

Merge pull request #3798 from Habbie/requests-version

specify requests 2.9.2 to work around a bug in linkchecker

specify requests 2.9.2 to work around a bug in linkchecker

Merge pull request #3794 from pieterlexis/rm-validDNSName

Remove the ancient validDNSName function

Add sdig manpage to pdns-tools deb

Add --help and --version to sdig

Add ixplore manpage to docs website

Add --version to zone2sql

Add --version to zone2ldap

Add --version to zone2json

pdns_recursor: Exit friendly on --version

Add --help and --version to nsec3dig

Add nproxy manpage, ship nproxy in pdns-tools deb

Add --version to nproxy

Add --help and --version to ixplore

Add notify manpage

Add --help and --version to notify

Add dumresp manpages and add dumresp to pdns-tools

Add --help and --version to dumresp

Add --help and --version to dnswasher

Add --version to dnstcpbench

Add --version to dnsscope

Add --help and --version to dnsscan

Add --version to dnsreplay

Add --version and --help to dnsgram

make dnspcap spit out the filename on error

Add --help and --version to dnsbulktest

Add calidns manpage and add to pdns-tools

Merge pull request #3795 from kaosdrachen/patch-1

Fixed a typo

Add --help and --version to calidns

Fixed a typo

Line 284: unset-pushish-cds --> unset-publish-cds

Add --version to pdnsutil

Add --version to rec_control

Merge pull request #3752 from pieterlexis/issue-3682-DNSSEC-processing

recursor: DNSSEC related query flag processing

Merge pull request #3662 from klaus3000/soa_serial_0

handle SOAs with serial 0 correctly in incoming AXFR

Merge pull request #3754 from rgacogne/dnsdist-custom-headers

dnsdist: Allow the use of custom headers in the web server

Merge pull request #3772 from pieterlexis/issue-3738-cap-servfail-ttl

Cap packetcache-servfail-ttl to packetcache-ttl

Remove the ancient validDNSName function

It was unused anyway, closes #213.

Merge pull request #3789 from rgacogne/dnsname-negative-labellen-ispartof

Add consistency checks to segmentDNSNameRaw()

Merge pull request #3792 from pieterlexis/dnssec-regression-part-3

More DNSSEC tests and a RRSIG validation fix for wildcards

Add DNSSEC tests for cnames to/from (in)secure

Add simple NODATA tests

Add 2 wildcard CNAME tests

recursor: Correctly validate wildcard RRSIGs

Add DNSSEC wilcard test

Add 2 tests with subtrees inside a secure zone

To test if the recursor actually validates RRSIGs with a signer name
that is not directly a parent of the name to validate. i.e. validates
signer name = 'domain.example' and record owner name =
'some.sub.domain.example'

Merge pull request #3784 from mind04/soa-cache-master

fix SOA caching with multiple backends

Merge pull request #3788 from mind04/mysql-timeout

make mysql timeout configurable

Add consistency checks to segmentDNSNameRaw()

This fixes most issues found by fuzzing loadRPZFromFile() with
American Fuzzy Lop.

Throw on negative label length in `DNSName::isPartOf()`

Found with American Fuzzy Lop and Address Sanitizer.

Merge pull request #3765 from pieterlexis/update-yahttp

Update yahttp

Merge pull request #3766 from rgacogne/packetparser-min-offset

Add a minimum offset parameter to DNSName

Merge pull request #3768 from rgacogne/afl-crash-fixes

Fix various crashes

Merge pull request #3773 from rgacogne/dnsdist-web-req-resp

dnsdist: Stop copying the request headers to the response

Merge pull request #3786 from pieterlexis/recursor-dnssec-part-2

More DNSSEC tests

Add basic NSEC and NSEC3 tests

Add a zone with NSEC3-optout for the NSEC3 tests

Add timing based DNSSEC tests

Note: the `faketime` program does not clean up its childprocesses
properly (possibly in combination with authbind), hence we LD_PRELOAD it
and supply the faketime through the environment.

non opt-out nsec3

make mysql timeout configurable

Merge pull request #3767 from ahupowerdns/dnsdist-yaks

Please ponder: nodelay, console newlines, print out json, silence some trivia, move to 'return' for Lua statements

Merge pull request #3783 from rgacogne/type-conversion-fixes

Fix type conversions, add some checks

Merge pull request #3779 from rgacogne/dnsname-afl-crash-unsigned

Use unsigned char* in getRawLabels() and countLabels()

Merge pull request #3785 from ahupowerdns/nsec3fix

process nsec3 insecure delegation

process NSEC3 insecure delegation, closes #3675

enable function to hash qnames w/o having the NSEC3PARAM ready