dnsdist: Add statistics and config to API to make pdnscontrol happy

This is a very rough implementation to unify dnsdist with auth and
rec as far as pdnscontrol is concerned, by adding:
- /api/v1/servers/localhost/config
- /api/v1/servers/localhost/statistics

We'll need to refactor this at some point, maybe by merging with
ws-api.

Merge pull request #3504 from rgacogne/dnsdist-api-key

dnsdist: Allow accessing the API with an optional API key

Merge pull request #3500 from rgacogne/dnsdist-intro

dnsdist: Fix addServer() -> newServer() in introduction.md

Merge pull request #3501 from rgacogne/dnsdist-enhance-cache

dnsdist: packet cache enhancements

dnsdist: Allow accessing the API with an optional API key

The API key can be specified as an additional, optional parameter
to `webserver()`. If present in a X-API-Key header, it allows
access to the API URLs:
- /api/v1/servers/localhost
- /jsonstat

Others URLs are still only allowed through basic authentication.

dnsdist: Fix addServer() -> newServer() in introduction.md

Merge pull request #3498 from rgacogne/dnsdist-labellen

Fix parsing of invalid DNS names

Merge pull request #3499 from rgacogne/dnsdist-multi-carbon

dnsdist: Add support for multiple carbon servers

dnsdist: Allow the use of stale cache entries if no backend are available

And add more documentation and regression tests.

Merge pull request #3496 from ahupowerdns/do-3490

fix up #3478 - rhel6 compat

Merge pull request #3497 from ahupowerdns/more-cleanups

More cleanups - silence some common warnings, make servfail cache ttl explicit, deal better with 'responses with no question'

dnsdist: Add support for multiple carbon servers

Fix end computation in DNSName::packetParser

end was computed by

end = qpos + offset + len

but the offset is already included in len, as seen in the way
label compression is handled, by calling packetParser with the
same original position and len but an updated offset.

dnsdist: Fix a crash when adding an invalid packet to the cache

Reported by @rygl.

Merge pull request #3440 from pieterlexis/dnsdist-client-improvements

Client operation improvements for dnsdist

fix up #3478 - rhel6 compat

reinstate old behaviour that we do process authoritative responses that are header only to hasten the timeout

silence some common errors with log-common-errors=off

make it explicit that servfail packets get stored for servfail-packetcache-ttl seconds

please don't just replace atoi with pdns_stou - it does something different

Merge pull request #3494 from ahupowerdns/various-fixes

Various fixes: ignore unrequested EDNS Subnet, count DNSSEC queries, add recursor packet cache dumping & make it sequential in order

hook up recursor packet cache dumping to rec_control dump-cache

add a 'wants DNSSEC' metric to recursor

teach recursor packet cache to dump itself too for dump-cache

if you send us EDNS subnet information we did not ask for, ignore it. Increases cache hitrate for a popular CDN.

dump recursor cache in sequential ordering, which allows us to debug our deletion queue

Merge pull request #3493 from celevra/patch-1

Update README.md

Merge pull request #3491 from rgacogne/dnsdist-cache-response-crash

dnsdist: Don't parse DNS names when caching responses

Update README.md

we prevent an authoritative server to keep its nameservers alive even though they had changed the parent, but this code had a bug which set the TTL of nameserver entries to negative numbers, leading to overly frequent requerying. Closes #3489.

dnsdist: Don't parse DNS names when caching responses

Fix a crash reported by @rygl:

terminate called after throwing an instance of 'std::out_of_range'
what():  dnsname issue: Found a forward reference during label decompression

dnsdist: Add a specific TTL for ServFail responses

Before this commit we used the maxTTL for Server Failure responses
as well, and it might not be a good idea.

Fixes #3469.

dnsdist: Add a regression tests for skipCache from Lua

dnsdist: Add/fix cache cleaning options

The function to remove expired entries was broken, and we were
missing a way to nuke a lot of valid entries at once.
We can now:
- remove entries by qname and qtype
- remove n expired entries
- remove n entries

Fix #3468.

Merge pull request #3485 from ahupowerdns/multimetrorec

expand 'carbon-server' to also support multiple , separated servers f…

Merge pull request #3483 from ahupowerdns/ednssubnet-recursor-lua

implement exposing edns subnet in preresolve() - other hooks would re…

improve error message on unparseable responses from backend, and also do not log about empty packets

Merge pull request #3481 from ahupowerdns/dnsdistexcept

Dnsdistexcept

implement exposing edns subnet in preresolve() - other hooks would require some more work (they don't get EDNS anyhow)

yes

catch DNSName exceptions in responder thread, possibly preventing death of dnsdist

Merge pull request #3466 from janeczku/skipcache-lua-binding

dnsdist: add dq binding for skipping packet cache in LuaAction

Merge pull request #3477 from pieterlexis/centos6-pgsql-fix

Fix pgsql backend compilation on centos 6

Merge pull request #3478 from rubenk/fix-issue-with-older-autoconf-versions

m4_esyscmd_s only exists in Autoconf 2.64 or newer

Merge pull request #3474 from mind04/missing

remove unnecessary include from selectmplexer.cc

Merge pull request #3475 from mind04/el6

el6 fixes

improve comments in recursor_cache.cc, plus improve the disabled debug logging

Merge pull request #3476 from mind04/nit

add missing bracket  in configure.ac

Merge pull request #3479 from nlyan/mtdocs

Add some comments to our use of Boost context

Merge pull request #3472 from nlyan/mtcleanup

Improve compatibility for old compilers & libs in MTasker

don't store empty records in the cache if we did get RRSIGs for a record we did not accept from an authoritative server

Add some comments to our use of Boost context

Add Lua bindings for DNSQuestion skipcache

m4_esyscmd_s only exists in Autoconf 2.64 or newer

Since we like to be able to keep building on RHEL6, which
has autoconf 2.61, use the older m4_esyscmd macro and strip
the newline in the version ourself.

Resolves #3471

Fixes the following error:
$ autoreconf -vif
autoreconf: Entering directory `.'
autoreconf: configure.ac: not using Gettext
autoreconf: running: aclocal --force -I m4
autoreconf: configure.ac: tracing
autoreconf: running: libtoolize --copy --force
libtoolize: putting auxiliary files in AC_CONFIG_AUX_DIR, `build-aux'.
libtoolize: copying file `build-aux/ltmain.sh'
libtoolize: putting macros in AC_CONFIG_MACRO_DIR, `m4'.
libtoolize: copying file `m4/libtool.m4'
libtoolize: copying file `m4/ltoptions.m4'
libtoolize: copying file `m4/ltsugar.m4'
libtoolize: copying file `m4/ltversion.m4'
libtoolize: copying file `m4/lt~obsolete.m4'
autoreconf: running: /usr/bin/autoconf --force
configure.ac:3: error: possibly undefined macro: m4_esyscmd_s
      If this token and others are legitimate, please use m4_pattern_allow.
      See the Autoconf documentation.
autoreconf: /usr/bin/autoconf failed with exit status: 1

Nit for rubenk

Fix pgsql backend compilation on centos 6

Merge pull request #3465 from tfarina/fix-3425

add dns_toupper() helper function

add missing bracket  in configure.ac

Add context impls to EXTRA_DIST

Fix cast parsing bug with GCC 4.7.

GCC 4.7 doesn't seem to like some_cast<::type>

Disable boost.m4's BOOST_CONTEXT tests for Boost <= 1.51

Add fallback to ucontext for Boost <= 1.51

actually test against the right shipped tld names list if curl can't be found

Merge pull request #3473 from nlyan/gcc47

Small fix to get recursor building on GCC 4.7 again

nit, thanks @ekohl

Fix missing definition UINT16_MAX under GCC 4.7.

std::numeric_limits is used elsewhere, so I went with that.

spruce up dnsdist built-in website with cache hitrate percentage (in text & graph)

turns out, our delta() output added dates with # comments. Lua uses -- comments. Duh. Plus stop logging empty lines in delta()

close #3467: dnsdist cache hits not accounted properly in latency stats. Now count as '0'.

expand 'carbon-server' to also support multiple , separated servers for recursor. Open question: rename to carbon-servers?

add dns_toupper() helper function

This patch adds a ASCII version of toupper() function, called
dns_toupper(), and use it in place of toupper().

This fixes issue #3425

Merge pull request #3346 from rgacogne/dnsdist-reuseport

dnsdist: Add reuseport support, maxOutstanding -> 10240, document perf tuning

Merge pull request #3461 from rgacogne/dnsdist-issue-3460

dnsdist: Fix crash when calling rmServer() with an invalid index

in dnsdist maintenance thread we'd lock up trying to lock g_luamutex twice

dnsdist: maxOustanding defaults to 10240. Add 'tuning' to README

fix up recuweb password popup weirdness, now give nice warning on wrong password. Still open: do we need the api-key password?

dnsdist: Add an optional reuseport param to {add,set}Local()

If set to true, this parameter sets SO_REUSEPORT on platforms
supporting for this option, allowing multiple servers to
bind to the same port.
The same parameter is also added to addDNSCryptBind().

Merge pull request #3427 from nlyan/mtcleanup

Massage System V context switching out of MTasker

Change a <span> to a <div> for better rendering

dnsdist: Fix crash when calling rmServer() with an invalid index

Fix #3460.

make calidns send out precisely measured cache miss rates

Merge pull request #3457 from rgacogne/dnsdist-string-only-server

dnsdist: Fix str-only server not being added to the default pool

Merge pull request #3450 from rgacogne/dnsdist-lock-cache

dnsdist: Prevent the cache ptr from being altered under our feet

Merge pull request #3458 from rgacogne/dnsdist-cache-tests

dnsdist: Fix cache tests. Clean tests backends.

uninitialized variable if mysql version < 5.5

the boost container lib was introduced in version 1.48

Merge pull request #3451 from rgacogne/rec-replace-to-back

recursor: Move replaced cached entries to the back

dnsdist: Fix str-only server not being added to the default pool

As reported by @pieterlexis, server defined with the "string-only"
syntax were not correctly added to the default pool. This should
fix #3456.
In addition to that, this commit adds some Lua bindings for server
objects:
- member functions `getName()` and `getNameWithAddr()`
- member data `name`

Merge pull request #3449 from rgacogne/dnsdist-pool-terminal

dnsdist: Make PoolAction() stop the rule processing again

Merge pull request #3455 from ahupowerdns/comfun

DNSName escaped parsing speedups, comfun bulk zone/ns analysis tool, tiny dnsdist fixup

dnsdist: Fix cache tests. Clean tests backends.

Several issues:
- the cache tests used a vey small cache, not large enough for the
number of responses we expected to cache during the test suite
- this was hidden by the default response from the backends
matching what the test expected
- and by the backends not counting properly what looked like a
health check but wasn't.

Be a little more explicit on the addition of the SEP on CSKs

Merge pull request #3454 from pieterlexis/auth-4.0.0-alpha2-docs

Documentation updates for the upcoming alpha2 releases

dnsdist: Prevent the cache ptr from being altered under our feet

Make sure we hold the Lua mutex before getting the packet cache
shared_ptr, so that we don't have a thread reading it at the
exact same time it is altered by another.
We could have used atomic_load/atomic_store but libstdc++ uses
a pool of mutex for that anyway.
This might fix #3396.

Merge pull request #3453 from pieterlexis/silence-biowrite-warning

Silence a BIO_write warning

Recursor 4.0.0-alpha2 changelog

Documentation on Auth 4.0.0 alpha2

Silence a BIO_write warning

Merge pull request #3452 from pieterlexis/detect-network-libs

Detect several network libraries properly

this commit uglifies DNSName escaped representation parsing for tremendous speedup (2x) during bulk zone loading from disk or database.
Part of the uglification is that we now special case unescaped names, which are the vast majority of cases.
Simultaneously, this moves us back to DNSName boost::container::string on non-Apple platforms, which delivered another 15% speedup on general operations
Finally, an additional unit test is added.