dnsdist: Nodes in NMG are now ordered, fix the API regression tests

Merge pull request #7072 from r-bk/fix_lua_recursor4_exception_handling

pdns-recursor: properly handle exceptions thrown from lua-recursor4

Merge pull request #7068 from phonedph1/edns

rec: dump edns harder

Merge pull request #6986 from rgacogne/dnsdist-warning-dynblocks

dnsdist: Add warning rates to dynBlockRulesGroup rules

pdns-recursor: properly handle exceptions thrown from lua-recursor4

directResolve function is used by lua-recursor4 in various callbacks. As
a result an exception thrown from this function is caught in generic
exception handlers at the end of startDoResolve (pdns_recursor).
Specifically, ImmediateServFailException is caught in the catch-all
exception handler, which obscures the origin of the error.

This commit adds handling of all exceptions inside directResolve and
converts them to error code (-1). This way, an exception in this
function is handled properly in startDoResolve and ServFail is sent
downstream.

To clarify, in case of exception the return DNSRecord vector is cleared
to make sure that old behavior is preserved, when in case of exception
the vector was not referenced in any way.

Merge pull request #7070 from r-bk/fix_memory_leak_in_catch_all_block

pdns-recursor: avoid a memory leak in catch-all exception handler

dnsdist: Clarify that DynBlock's warning rates can't be used alone

Merge pull request #7062 from rgacogne/dnsdist-tls-stored-sessions

dnsdist: Add a setting to control the number of stored sessions

pdns-recursor: avoid a memory leak in catch-all exception handler

This commit prevents a leak of DNSComboWriter in the catch-all exception
handler.

Do the edns dumping harder.

dnsdist: Check 'numberOfStoredSessions' >= 0, dismiss otherwise

dnsdist: Add a setting to control the number of stored sessions

Merge pull request #7064 from rgacogne/dnsdist-tls-accept-leak-smart

 dnsdist: Wrap GnuTLS and OpenSSL pointers in smart pointers

dnsdist: Wrap GnuTLS and OpenSSL pointers in smart pointers

Merge pull request #7060 from rgacogne/dnsdist-tls-accept-leak

dnsdist: Release memory on DNS over TLS handshake failure

Merge pull request #7054 from mind04/doc-warnings2

auth: fix all warnings in the docs

Merge pull request #7057 from mind04/sd-scopemask

auth: scopeMask in the SOAData structure is unused after #5512

dnsdist: Remove potential double-free in GnuTLS session tickets error handling

dnsdist: Also catch exceptions not derived from std::exception

dnsdist: Release memory on DNS over TLS handshake failure

Merge pull request #7055 from phonedph1/rpz-log

rec: RPZ - Include zone name in loading and indexed message

provide some context as to which zone

Merge pull request #7053 from mind04/doc-warnings

rec: fix all warnings in the docs

auth: scopeMask in the SOAData structure is unused after #5512

auth: fix a warining in the docs

auth: remove duplicate dns update section from the backend-writers-guide

rec: fix some warnings in the docs

Merge pull request #7050 from mind04/el6-boost

auth: fix el6 build with default boost

Merge pull request #7025 from Habbie/remove-api-logfile

remove api-logfile flag and grep API endpoint

Merge pull request #7046 from ahupowerdns/dynupdate-log-improv

slightly improve rfc2136 error message on failed prerequisite: what name

Merge pull request #7040 from Habbie/builder-el6

make auth builder work on el6

Merge pull request #7028 from jsoref/travis-dangling-symlinks

Travis dangling symlinks

auth: fix el6 build, histograms are too sophisticated for boost 1.41

package tools now supported due to boost upgrade

switch to devtoolset-7

slightly improve rfc2136 error message on failed prerequisite: what name

Merge pull request #7042 from ahupowerdns/multi-rpz-doc

document how multiple RPZs are consulted

Merge pull request #7044 from rgacogne/rec-test-syncres-conflict-fix

rec: Fix a compilation issue in the SyncRes unit tests

rec: Fix a compilation issue in the SyncRes unit tests

Introduced by a conflict between #6708 and #6979.

leave the default boost for el7

document how multiple RPZs are consulted

remove -std=gnu++0x

make auth builder work on el6

Merge pull request #6979 from rgacogne/rec-cname-authority

rec: Authority records in AA=1 CNAME answer are authoritative

Merge pull request #6962 from rgacogne/nmt-faster-removal

Store NetmaskTree nodes in a set for faster removal

Merge pull request #7034 from pieterlexis/doc-fix

Fix several sphinx warnings in the dnsdist docs.

Merge pull request #7032 from pieterlexis/rm-delaypipe-from-auth

Move delaypipe tests from auth to dnsdist

Merge pull request #6969 from ahupowerdns/loglog2018

a clean re-do of an earlier PR to add the glorious log-log histograms

Merge pull request #7015 from rgacogne/dnsdist-protobuf-serverid

 dnsdist: Add support for exporting a server ID in protobuf

Merge pull request #7027 from jsoref/readme-debian-9

Update readme for debian 9

Merge pull request #7030 from ahupowerdns/dnsdist-tcp-speedup

dnsdist did not set TCP_NODELAY, causing needless latency

Merge pull request #7017 from ahupowerdns/txt-escape-127

Make sure we escape 127 in TXT records

Merge pull request #7029 from pieterlexis/pdns-builder-version

pdnsbuilder: Make the version number even better

Fix several sphinx warnings

Enable unit tests for dnsdist in EL builds

Remove delaypipe testing from auth

Move it to dnsdist, this is the only place where it is used.

use already available function in misc.cc instead of setsockopt

Merge pull request #4598 from zilopbg/soa-fix

auth: Add support for "NONE" SOA-EDIT kind

dnsdist did not set TCP_NODELAY, causing needless latency
Winfried and others noted that our TLS responses were super slow. This turned out to be caused by the Nagle
algorithm which we failed to disable. https://en.wikipedia.org/wiki/Nagle%27s_algorithm

fix up reallylate count problem as spotted by @ph1

travis: complain about dangling symlinks

Update readme for debian 9

remove a bit less

remove more

nit

nit

remove api-logfile flag and grep API endpoint

Merge pull request #7023 from ahupowerdns/dnsdist-metrics-docs

Clarify meaning of dnsdist statistics

Merge branch 'master' into loglog2018

Clarify meaning of dnsdist statistics
The various statistics kept by dnsdist do add up to a coherent picture, this PR documents how.

Merge pull request #6708 from rgacogne/rec-pb-types

rec: Support exporting more record types via protobuf

Merge pull request #6997 from pieterlexis/thread-names

Name threads in the programs

Merge pull request #6727 from pieterlexis/alias-servfail-on-nxd

ALIAS: Respond SERVFAIL on non-NOERRORs from resolver

Merge pull request #6910 from pieterlexis/openssl-eddsa

Add support for OpenSSL 1.1.1's ed25519 and ed448 for signing and verifying

Merge pull request #7018 from ahupowerdns/dnsdist-response-clarify

document explicitly that the dnsdist 'responses' metric is actually 'backend responses'

Merge pull request #7022 from jsoref/doc-dash

fixing doc rst error by extending dashes

fixing doc rst error by extending dashes

pdnsbuilder: Make the version number even better

rec: Support exporting more record types via protobuf

Merge pull request #7007 from Line-Rate-Development/prometheus_active_servers

dnsdist: export Prometheus metric about number of alive servers in pool

document that the dnsdist 'responses' metric is actually 'backend responses'

Make sure we escape 127 in TXT records
It turns out that value 127 (decimal) in TXT records also needs to be escaped as 127 ('DEL') is unprintable. Adds test too, and documents our test infra a bit better.

pdns-builder: fix building auth for Ubuntu Trusty

Merge pull request #7011 from Habbie/ixfrdist-fixes

various ixfrdist fixes/improvements

Merge pull request #6068 from rgacogne/dnsdist-edns-options

dnsdist: Add DNSQuestion:getEDNSOptions() to access incoming EDNS options

dnsdist: Add warning rates to dynBlockRulesGroup rules

dnsdist: Add support for exporting a server ID in protobuf

Merge pull request #7004 from rgacogne/rec-outgoing-protobuf-ecs-serverid

rec: Export outgoing ECS value and Server ID in protobuf if any

Store NetmaskTree nodes in a set for faster removal

The insertion is a bit slower as a result (~ +25%) but removal is
much, much more faster for large sets as it was O(n) previously.
Walking all the entries might be a bit slower as well, but this
change has no impact on the lookup speed, which is the critical
point for the NMT.

Merge pull request #7012 from paddg/patch-9

DNS over TLS is only possible via TCP/IP

Merge pull request #7013 from rgacogne/rec-fix-regression-api-allow

 rec: Fix the allow-from-file test in the API regression tests

pdns-builder: re-instate the "g" for git version

Update pdns-builder

builder: Kill dbconfig with fire

DNS over TLS is only possible via TCP/IP

rec: Set allow-from-file in the configuration file in the tests

We can't override it via the API when it's set on the command line.

rec: Make sure that the updated allow-from list has only one entry

clarify testing zone names

stop crashing on out-of-zone data during inbound AXFR

send REFUSED for UDP queries we are unable to handle