rec: Handle multiple EDNS0 Options in gettag

Refactor the handling of EDNS0 Options parsing to use the same code
in dnsdist and the recursor (packet cache and gettag).
Closes #3516.

Merge pull request #3509 from rgacogne/dnsdist-tcp-cache

dnsdist: Check response validity over TCP, more cache fixes

Merge pull request #3524 from zeha/cleanup

Remove unused function simpleExpandTo - contuing the quest to have only one dns name parser in all of powerdns!

Merge pull request #3529 from pieterlexis/dnssec-off

Recursor: dnssec=off by default for now plus changelog update

Recursor: disable dnssec in the default config

This will be set to process after the dnssec implementation is more
bug-free.

Update recursor changelog

Properly print version in autoconf for releases

Merge pull request #3520 from janeczku/rec-stats-loglevel

pdns-rec: reduce log level of periodic statistics to notice

Merge pull request #3527 from ahupowerdns/atomic

make the recursor counters atomic, closes #1747

Merge pull request #3519 from ahupowerdns/ednssubnetblind

make sure our recursor cache is blind for edns subnet - THIS CODE NEE…

Remove unused function simpleExpandTo

Merge pull request #20 from rgacogne/ednssubnetblind

rec: Handle more than EDNS option in our packet cache hashing

make the recursor counters atomic, closes #1747

fix up compilation for non-lua recursor

rec: Handle more than EDNS option in our packet cache hashing

We now skip an ECS option regardless of whether there are others
EDNS options before or after the ECS one, keeping the others
untouched.

Reduce log level of periodic statistics to Notice

astoundingly enough, our function based statistics counters were... 32 bits?!

improve error message on errors emanating from gettag

improve sdig error reporting (was an ABORT), closes #3517

make sure our recursor cache is blind for edns subnet - THIS CODE NEEDS TO BE IMPROVED @rgacogne

clarify a deficiency in our packet hashing in the presence of EDNS subnet options

only deal with (1) EDNS record

Merge pull request #3514 from ahupowerdns/propotag

propagate calculated packet cache tag to preresolve (the other hooks …

propogate calculated packet cache tag to preresolve (the other hooks could get it with a typing exercise)

Merge pull request #3513 from ahupowerdns/ednssubnetgettag

give gettag the ednssubnetmask too. Fix up logger to actualy log our …

Merge pull request #3512 from ahupowerdns/unlabel

wow yet another misnamed function attempting to encode DNS strings!

give gettag the ednssubnetmask too. Fix up logger to actualy log our enum.

wow yet another misnamed function attempting to encode DNS strings!

Merge pull request #3502 from tfarina/fix-3487

make second argument to pdnslog optional

Merge pull request #3510 from rgacogne/dnsdist-api-frontends

dnsdist: Add frontends to API

make second argument to pdnslog optional

This patch makes the |loglevel| parameter for pdnslog in Lua, optional.
If not specified the default log level will be Warning.

Fixes #3487

dnsdist: Add frontends to API

dnsdist: Check response validity over TCP, more cache fixes

- Add `unsetCache()` to remove the cache from a pool
- Check the response size before caching it, and make no
assumption when getting it from the cache
- Check that the response is larger than sizeof(dnsheader) over
TCP too
- Check that the response matches the query over TCP too, because
we reuse downstream connections

when pre-parsing qname for gettag in lua, catch exception and set tag to 0

Merge pull request #3508 from rgacogne/dnsdist-api-config-stats

dnsdist: Add statistics and config to API to make pdnscontrol happy

Merge pull request #3505 from PowerDNS/terrorobe-patch-1

minor nits in dnsdist webserver() documentation

dnsdist: Add statistics and config to API to make pdnscontrol happy

This is a very rough implementation to unify dnsdist with auth and
rec as far as pdnscontrol is concerned, by adding:
- /api/v1/servers/localhost/config
- /api/v1/servers/localhost/statistics

We'll need to refactor this at some point, maybe by merging with
ws-api.

minor nits in dnsdist webserver() documentation

Merge pull request #3504 from rgacogne/dnsdist-api-key

dnsdist: Allow accessing the API with an optional API key

Merge pull request #3500 from rgacogne/dnsdist-intro

dnsdist: Fix addServer() -> newServer() in introduction.md

Merge pull request #3501 from rgacogne/dnsdist-enhance-cache

dnsdist: packet cache enhancements

dnsdist: Allow accessing the API with an optional API key

The API key can be specified as an additional, optional parameter
to `webserver()`. If present in a X-API-Key header, it allows
access to the API URLs:
- /api/v1/servers/localhost
- /jsonstat

Others URLs are still only allowed through basic authentication.

dnsdist: Fix addServer() -> newServer() in introduction.md

Merge pull request #3498 from rgacogne/dnsdist-labellen

Fix parsing of invalid DNS names

Merge pull request #3499 from rgacogne/dnsdist-multi-carbon

dnsdist: Add support for multiple carbon servers

dnsdist: Allow the use of stale cache entries if no backend are available

And add more documentation and regression tests.

Merge pull request #3496 from ahupowerdns/do-3490

fix up #3478 - rhel6 compat

Merge pull request #3497 from ahupowerdns/more-cleanups

More cleanups - silence some common warnings, make servfail cache ttl explicit, deal better with 'responses with no question'

dnsdist: Add support for multiple carbon servers

Fix end computation in DNSName::packetParser

end was computed by

end = qpos + offset + len

but the offset is already included in len, as seen in the way
label compression is handled, by calling packetParser with the
same original position and len but an updated offset.

dnsdist: Fix a crash when adding an invalid packet to the cache

Reported by @rygl.

Merge pull request #3440 from pieterlexis/dnsdist-client-improvements

Client operation improvements for dnsdist

fix up #3478 - rhel6 compat

reinstate old behaviour that we do process authoritative responses that are header only to hasten the timeout

silence some common errors with log-common-errors=off

make it explicit that servfail packets get stored for servfail-packetcache-ttl seconds

please don't just replace atoi with pdns_stou - it does something different

Merge pull request #3494 from ahupowerdns/various-fixes

Various fixes: ignore unrequested EDNS Subnet, count DNSSEC queries, add recursor packet cache dumping & make it sequential in order

hook up recursor packet cache dumping to rec_control dump-cache

add a 'wants DNSSEC' metric to recursor

teach recursor packet cache to dump itself too for dump-cache

if you send us EDNS subnet information we did not ask for, ignore it. Increases cache hitrate for a popular CDN.

dump recursor cache in sequential ordering, which allows us to debug our deletion queue

Merge pull request #3493 from celevra/patch-1

Update README.md

Merge pull request #3491 from rgacogne/dnsdist-cache-response-crash

dnsdist: Don't parse DNS names when caching responses

Update README.md

we prevent an authoritative server to keep its nameservers alive even though they had changed the parent, but this code had a bug which set the TTL of nameserver entries to negative numbers, leading to overly frequent requerying. Closes #3489.

dnsdist: Don't parse DNS names when caching responses

Fix a crash reported by @rygl:

terminate called after throwing an instance of 'std::out_of_range'
what():  dnsname issue: Found a forward reference during label decompression

dnsdist: Add a specific TTL for ServFail responses

Before this commit we used the maxTTL for Server Failure responses
as well, and it might not be a good idea.

Fixes #3469.

dnsdist: Add a regression tests for skipCache from Lua

dnsdist: Add/fix cache cleaning options

The function to remove expired entries was broken, and we were
missing a way to nuke a lot of valid entries at once.
We can now:
- remove entries by qname and qtype
- remove n expired entries
- remove n entries

Fix #3468.

Merge pull request #3485 from ahupowerdns/multimetrorec

expand 'carbon-server' to also support multiple , separated servers f…

Merge pull request #3483 from ahupowerdns/ednssubnet-recursor-lua

implement exposing edns subnet in preresolve() - other hooks would re…

improve error message on unparseable responses from backend, and also do not log about empty packets

Merge pull request #3481 from ahupowerdns/dnsdistexcept

Dnsdistexcept

implement exposing edns subnet in preresolve() - other hooks would require some more work (they don't get EDNS anyhow)

yes

catch DNSName exceptions in responder thread, possibly preventing death of dnsdist

Merge pull request #3466 from janeczku/skipcache-lua-binding

dnsdist: add dq binding for skipping packet cache in LuaAction

Merge pull request #3477 from pieterlexis/centos6-pgsql-fix

Fix pgsql backend compilation on centos 6

Merge pull request #3478 from rubenk/fix-issue-with-older-autoconf-versions

m4_esyscmd_s only exists in Autoconf 2.64 or newer

Merge pull request #3474 from mind04/missing

remove unnecessary include from selectmplexer.cc

Merge pull request #3475 from mind04/el6

el6 fixes

improve comments in recursor_cache.cc, plus improve the disabled debug logging

Merge pull request #3476 from mind04/nit

add missing bracket  in configure.ac

Merge pull request #3479 from nlyan/mtdocs

Add some comments to our use of Boost context

Merge pull request #3472 from nlyan/mtcleanup

Improve compatibility for old compilers & libs in MTasker

don't store empty records in the cache if we did get RRSIGs for a record we did not accept from an authoritative server

Add some comments to our use of Boost context

Add Lua bindings for DNSQuestion skipcache

m4_esyscmd_s only exists in Autoconf 2.64 or newer

Since we like to be able to keep building on RHEL6, which
has autoconf 2.61, use the older m4_esyscmd macro and strip
the newline in the version ourself.

Resolves #3471

Fixes the following error:
$ autoreconf -vif
autoreconf: Entering directory `.'
autoreconf: configure.ac: not using Gettext
autoreconf: running: aclocal --force -I m4
autoreconf: configure.ac: tracing
autoreconf: running: libtoolize --copy --force
libtoolize: putting auxiliary files in AC_CONFIG_AUX_DIR, `build-aux'.
libtoolize: copying file `build-aux/ltmain.sh'
libtoolize: putting macros in AC_CONFIG_MACRO_DIR, `m4'.
libtoolize: copying file `m4/libtool.m4'
libtoolize: copying file `m4/ltoptions.m4'
libtoolize: copying file `m4/ltsugar.m4'
libtoolize: copying file `m4/ltversion.m4'
libtoolize: copying file `m4/lt~obsolete.m4'
autoreconf: running: /usr/bin/autoconf --force
configure.ac:3: error: possibly undefined macro: m4_esyscmd_s
      If this token and others are legitimate, please use m4_pattern_allow.
      See the Autoconf documentation.
autoreconf: /usr/bin/autoconf failed with exit status: 1

Nit for rubenk

Fix pgsql backend compilation on centos 6

Merge pull request #3465 from tfarina/fix-3425

add dns_toupper() helper function

add missing bracket  in configure.ac

Add context impls to EXTRA_DIST

Fix cast parsing bug with GCC 4.7.

GCC 4.7 doesn't seem to like some_cast<::type>

Disable boost.m4's BOOST_CONTEXT tests for Boost <= 1.51

Add fallback to ucontext for Boost <= 1.51

actually test against the right shipped tld names list if curl can't be found