improve sdig error reporting (was an ABORT), closes #3517

clarify a deficiency in our packet hashing in the presence of EDNS subnet options

only deal with (1) EDNS record

Merge pull request #3514 from ahupowerdns/propotag

propagate calculated packet cache tag to preresolve (the other hooks …

propogate calculated packet cache tag to preresolve (the other hooks could get it with a typing exercise)

Merge pull request #3513 from ahupowerdns/ednssubnetgettag

give gettag the ednssubnetmask too. Fix up logger to actualy log our …

Merge pull request #3512 from ahupowerdns/unlabel

wow yet another misnamed function attempting to encode DNS strings!

give gettag the ednssubnetmask too. Fix up logger to actualy log our enum.

wow yet another misnamed function attempting to encode DNS strings!

Merge pull request #3502 from tfarina/fix-3487

make second argument to pdnslog optional

Merge pull request #3510 from rgacogne/dnsdist-api-frontends

dnsdist: Add frontends to API

make second argument to pdnslog optional

This patch makes the |loglevel| parameter for pdnslog in Lua, optional.
If not specified the default log level will be Warning.

Fixes #3487

dnsdist: Add frontends to API

when pre-parsing qname for gettag in lua, catch exception and set tag to 0

Merge pull request #3508 from rgacogne/dnsdist-api-config-stats

dnsdist: Add statistics and config to API to make pdnscontrol happy

Merge pull request #3505 from PowerDNS/terrorobe-patch-1

minor nits in dnsdist webserver() documentation

dnsdist: Add statistics and config to API to make pdnscontrol happy

This is a very rough implementation to unify dnsdist with auth and
rec as far as pdnscontrol is concerned, by adding:
- /api/v1/servers/localhost/config
- /api/v1/servers/localhost/statistics

We'll need to refactor this at some point, maybe by merging with
ws-api.

minor nits in dnsdist webserver() documentation

Merge pull request #3504 from rgacogne/dnsdist-api-key

dnsdist: Allow accessing the API with an optional API key

Merge pull request #3500 from rgacogne/dnsdist-intro

dnsdist: Fix addServer() -> newServer() in introduction.md

Merge pull request #3501 from rgacogne/dnsdist-enhance-cache

dnsdist: packet cache enhancements

dnsdist: Allow accessing the API with an optional API key

The API key can be specified as an additional, optional parameter
to `webserver()`. If present in a X-API-Key header, it allows
access to the API URLs:
- /api/v1/servers/localhost
- /jsonstat

Others URLs are still only allowed through basic authentication.

dnsdist: Fix addServer() -> newServer() in introduction.md

Merge pull request #3498 from rgacogne/dnsdist-labellen

Fix parsing of invalid DNS names

Merge pull request #3499 from rgacogne/dnsdist-multi-carbon

dnsdist: Add support for multiple carbon servers

dnsdist: Allow the use of stale cache entries if no backend are available

And add more documentation and regression tests.

Merge pull request #3496 from ahupowerdns/do-3490

fix up #3478 - rhel6 compat

Merge pull request #3497 from ahupowerdns/more-cleanups

More cleanups - silence some common warnings, make servfail cache ttl explicit, deal better with 'responses with no question'

dnsdist: Add support for multiple carbon servers

Fix end computation in DNSName::packetParser

end was computed by

end = qpos + offset + len

but the offset is already included in len, as seen in the way
label compression is handled, by calling packetParser with the
same original position and len but an updated offset.

dnsdist: Fix a crash when adding an invalid packet to the cache

Reported by @rygl.

Merge pull request #3440 from pieterlexis/dnsdist-client-improvements

Client operation improvements for dnsdist

fix up #3478 - rhel6 compat

reinstate old behaviour that we do process authoritative responses that are header only to hasten the timeout

silence some common errors with log-common-errors=off

make it explicit that servfail packets get stored for servfail-packetcache-ttl seconds

please don't just replace atoi with pdns_stou - it does something different

Merge pull request #3494 from ahupowerdns/various-fixes

Various fixes: ignore unrequested EDNS Subnet, count DNSSEC queries, add recursor packet cache dumping & make it sequential in order

hook up recursor packet cache dumping to rec_control dump-cache

add a 'wants DNSSEC' metric to recursor

teach recursor packet cache to dump itself too for dump-cache

if you send us EDNS subnet information we did not ask for, ignore it. Increases cache hitrate for a popular CDN.

dump recursor cache in sequential ordering, which allows us to debug our deletion queue

Merge pull request #3493 from celevra/patch-1

Update README.md

Merge pull request #3491 from rgacogne/dnsdist-cache-response-crash

dnsdist: Don't parse DNS names when caching responses

Update README.md

we prevent an authoritative server to keep its nameservers alive even though they had changed the parent, but this code had a bug which set the TTL of nameserver entries to negative numbers, leading to overly frequent requerying. Closes #3489.

dnsdist: Don't parse DNS names when caching responses

Fix a crash reported by @rygl:

terminate called after throwing an instance of 'std::out_of_range'
what():  dnsname issue: Found a forward reference during label decompression

dnsdist: Add a specific TTL for ServFail responses

Before this commit we used the maxTTL for Server Failure responses
as well, and it might not be a good idea.

Fixes #3469.

dnsdist: Add a regression tests for skipCache from Lua

dnsdist: Add/fix cache cleaning options

The function to remove expired entries was broken, and we were
missing a way to nuke a lot of valid entries at once.
We can now:
- remove entries by qname and qtype
- remove n expired entries
- remove n entries

Fix #3468.

Merge pull request #3485 from ahupowerdns/multimetrorec

expand 'carbon-server' to also support multiple , separated servers f…

Merge pull request #3483 from ahupowerdns/ednssubnet-recursor-lua

implement exposing edns subnet in preresolve() - other hooks would re…

improve error message on unparseable responses from backend, and also do not log about empty packets

Merge pull request #3481 from ahupowerdns/dnsdistexcept

Dnsdistexcept

implement exposing edns subnet in preresolve() - other hooks would require some more work (they don't get EDNS anyhow)

yes

catch DNSName exceptions in responder thread, possibly preventing death of dnsdist

Merge pull request #3466 from janeczku/skipcache-lua-binding

dnsdist: add dq binding for skipping packet cache in LuaAction

Merge pull request #3477 from pieterlexis/centos6-pgsql-fix

Fix pgsql backend compilation on centos 6

Merge pull request #3478 from rubenk/fix-issue-with-older-autoconf-versions

m4_esyscmd_s only exists in Autoconf 2.64 or newer

Merge pull request #3474 from mind04/missing

remove unnecessary include from selectmplexer.cc

Merge pull request #3475 from mind04/el6

el6 fixes

improve comments in recursor_cache.cc, plus improve the disabled debug logging

Merge pull request #3476 from mind04/nit

add missing bracket  in configure.ac

Merge pull request #3479 from nlyan/mtdocs

Add some comments to our use of Boost context

Merge pull request #3472 from nlyan/mtcleanup

Improve compatibility for old compilers & libs in MTasker

don't store empty records in the cache if we did get RRSIGs for a record we did not accept from an authoritative server

Add some comments to our use of Boost context

Add Lua bindings for DNSQuestion skipcache

m4_esyscmd_s only exists in Autoconf 2.64 or newer

Since we like to be able to keep building on RHEL6, which
has autoconf 2.61, use the older m4_esyscmd macro and strip
the newline in the version ourself.

Resolves #3471

Fixes the following error:
$ autoreconf -vif
autoreconf: Entering directory `.'
autoreconf: configure.ac: not using Gettext
autoreconf: running: aclocal --force -I m4
autoreconf: configure.ac: tracing
autoreconf: running: libtoolize --copy --force
libtoolize: putting auxiliary files in AC_CONFIG_AUX_DIR, `build-aux'.
libtoolize: copying file `build-aux/ltmain.sh'
libtoolize: putting macros in AC_CONFIG_MACRO_DIR, `m4'.
libtoolize: copying file `m4/libtool.m4'
libtoolize: copying file `m4/ltoptions.m4'
libtoolize: copying file `m4/ltsugar.m4'
libtoolize: copying file `m4/ltversion.m4'
libtoolize: copying file `m4/lt~obsolete.m4'
autoreconf: running: /usr/bin/autoconf --force
configure.ac:3: error: possibly undefined macro: m4_esyscmd_s
      If this token and others are legitimate, please use m4_pattern_allow.
      See the Autoconf documentation.
autoreconf: /usr/bin/autoconf failed with exit status: 1

Nit for rubenk

Fix pgsql backend compilation on centos 6

Merge pull request #3465 from tfarina/fix-3425

add dns_toupper() helper function

add missing bracket  in configure.ac

Add context impls to EXTRA_DIST

Fix cast parsing bug with GCC 4.7.

GCC 4.7 doesn't seem to like some_cast<::type>

Disable boost.m4's BOOST_CONTEXT tests for Boost <= 1.51

Add fallback to ucontext for Boost <= 1.51

actually test against the right shipped tld names list if curl can't be found

Merge pull request #3473 from nlyan/gcc47

Small fix to get recursor building on GCC 4.7 again

nit, thanks @ekohl

Fix missing definition UINT16_MAX under GCC 4.7.

std::numeric_limits is used elsewhere, so I went with that.

spruce up dnsdist built-in website with cache hitrate percentage (in text & graph)

turns out, our delta() output added dates with # comments. Lua uses -- comments. Duh. Plus stop logging empty lines in delta()

close #3467: dnsdist cache hits not accounted properly in latency stats. Now count as '0'.

expand 'carbon-server' to also support multiple , separated servers for recursor. Open question: rename to carbon-servers?

add dns_toupper() helper function

This patch adds a ASCII version of toupper() function, called
dns_toupper(), and use it in place of toupper().

This fixes issue #3425

Merge pull request #3346 from rgacogne/dnsdist-reuseport

dnsdist: Add reuseport support, maxOutstanding -> 10240, document perf tuning

Merge pull request #3461 from rgacogne/dnsdist-issue-3460

dnsdist: Fix crash when calling rmServer() with an invalid index

in dnsdist maintenance thread we'd lock up trying to lock g_luamutex twice

dnsdist: maxOustanding defaults to 10240. Add 'tuning' to README

fix up recuweb password popup weirdness, now give nice warning on wrong password. Still open: do we need the api-key password?

dnsdist: Add an optional reuseport param to {add,set}Local()

If set to true, this parameter sets SO_REUSEPORT on platforms
supporting for this option, allowing multiple servers to
bind to the same port.
The same parameter is also added to addDNSCryptBind().

Merge pull request #3427 from nlyan/mtcleanup

Massage System V context switching out of MTasker

Change a <span> to a <div> for better rendering

dnsdist: Fix crash when calling rmServer() with an invalid index

Fix #3460.

make calidns send out precisely measured cache miss rates

Merge pull request #3457 from rgacogne/dnsdist-string-only-server

dnsdist: Fix str-only server not being added to the default pool

Merge pull request #3450 from rgacogne/dnsdist-lock-cache

dnsdist: Prevent the cache ptr from being altered under our feet