rec: Refactoring of SyncRes::doResolveAt()

rec: Cleanup the StaticStorage object, renamed to ThreadLocalStorage

Use clang 3.6 instead of 3.5 in Travis builds

rec: Use C++11's thread_local instead of __thread

Since `thread_local` supports non-trivial types, this move allows
us to get rid of many existing naked pointers in the rec.
Requires gcc 4.8+ or clang 3.3+.

rec: Cleanup global variables usage in `SyncRes`

Merge pull request #5320 from ahupowerdns/edns-truncate

 PowerDNS sdig does not truncate trailing bits of EDNS Client Subnet mask

Merge pull request #5308 from rgacogne/unixconnector-no-copy

auth: Don't copy data around when sending and receiving in the Unix Connector

Merge pull request #5263 from fobser/notify-after-dnsupdate

notify slaves after dnsupdate was processed

Merge pull request #5264 from mind04/notify-dnsupdate

Send a notification to all slave servers after every dnsupdate.

Merge pull request #5265 from rgacogne/rec-rpz-wildcard-target

rec: Add support for RPZ wildcarded target names

Merge pull request #5271 from phonedph1/stats

Adjustable statistics interval

Merge pull request #5293 from rgacogne/rec-lua-getstat

rec: Allow retrieving stats from Lua via the `getStat("name")` call

Merge pull request #5309 from baloo/baloo/cleandig

tests: Ensure all required tools are available

Merge pull request #5318 from ahupowerdns/root-renew

explicitly remove old root when repriming

Together with Mukund Sivaraman we found out PowerDNS sdig does not truncate
trailing bits of EDNS Client Subnet mask.  So if you'd truncate something as
a /9, we'd have to use 2 bytes anyhow, but we would not zero the last 7 bits.

We do now. Thanks Mukund & ISC!

when (re)priming the root, we do so with auth=0. We'll only set auth=1 after we have an answer from the roots. This however opens up a small race condition in which the root is expired (ttl=0), but still auth=1 in the cache. Our attempt to replace it with auth=0 dta fails at that point. This is probably due to some fencepost error somewhere. To not be subtle about this, explicitly nuke the root when we reprime.

Merge pull request #5313 from ahupowerdns/no-root-age

don't age the root - this was a mistranslation from 3.x to 4.x

Merge pull request #5312 from ahupowerdns/proto-empty-log

we would attempt to protobuf log DNS questions without a set question…

don't age the root - this was a mistranslation from 3.x to 4.x

we would attempt to protobuf log DNS questions without a set question and get exceptions over that

rec: Document that `getStats()` is only available for 4.1.0+

Merge pull request #5307 from rgacogne/rec-rpz-clear-nsip-bis

rec: Clear the RPZ NS IP table when clearing the policy (bis)

tests: Ensure all required tools are available

If one of those tools misses, the test will silently PASS.
We should ensure it is present

Signed-off-by: Arthur Gautier <baloo@gandi.net>

rec: Clear the RPZ NS IP table when clearing the policy (bis)

auth: Don't copy data around when sending and receiving

Merge pull request #4569 from rgacogne/rec-protobuf-requestor-id

rec: Pass `tcp` to `gettag()`, allow setting the requestor ID from hooks

Merge pull request #5252 from rgacogne/rec-soa-root-nx-trust

rec: Only apply root-nx-trust if the received SOA is "."

Merge pull request #5270 from cmouse/geoip-test

geoipbackend: Add test for city database

Merge pull request #5275 from rgacogne/rec-rpz-fast-updates

rec: RPZ updates are done zone by zone, zones are now shared pointers

Merge pull request #5278 from rgacogne/dnscryptokeyengine-sharedptr

Always wrap DNSCryptoKeyEngine objects in a shared pointer

Merge pull request #5283 from rgacogne/dnssec-cache-auth-issue

rec: Skip DNSSEC validation for cache hits from authoritative zones

Merge pull request #5290 from mind04/master-nsec

auth: add test to make sure NSEC(3) generation is case insensitive

Merge pull request #5296 from mind04/boost

detect gcc/g++ 5.4, 7.0 and 7.1 in boost.m4

Merge pull request #5303 from Habbie/packetlimit

fix off-by-one in dnsreplay --packet-limit

fix off-by-one in dnsreplay --packet-limit

detect gcc/g++ 5.4, 7.0 and 7.1 in boost.m4

rec: Allow setting the protobuf `requestorId` from Lua hooks

rec: Add a `tcp` parameter to `gettag()` since it's now called for TCP

rec: Allow retrieving stats from Lua via the `getStat("name")` call

auth: add test to make sure NSEC(3) generation is case insensitive

test result before fix (auth-4.0.3):

--- ./tests/nsecx-upcase/expected_result        2017-05-03 21:17:26.000000000 +0200
+++ ./tests/nsecx-upcase/real_result    2017-05-03 21:29:10.231994921 +0200
@@ -2,8 +2,10 @@
 0      Z1234567890.wtest.com.  IN      RRSIG   3600    CNAME 13 2 3600 [expiry] [inception] [keytag] wtest.com. ...
 0      server1.wtest.com.      IN      A       3600    1.2.3.4
 0      server1.wtest.com.      IN      RRSIG   3600    A 13 3 3600 [expiry] [inception] [keytag] wtest.com. ...
-1      a.something.wtest.com.  IN      NSEC    86400   wtest.com. A RRSIG NSEC
-1      a.something.wtest.com.  IN      RRSIG   86400   NSEC 13 4 86400 [expiry] [inception] [keytag] wtest.com. ...
+1      *.wtest.com.    IN      NSEC    86400   e.wtest.com. CNAME RRSIG NSEC
+1      *.wtest.com.    IN      RRSIG   86400   NSEC 13 2 86400 [expiry] [inception] [keytag] wtest.com. ...
 2      .       IN      OPT     32768
 Rcode: 0 (No Error), RD: 0, QR: 1, TC: 0, AA: 1, opcode: 0
 Reply to question for qname='Z1234567890.wtest.com.', qtype=A
./tests/nsecx-upcase/unbound-host.out:Z1234567890.wtest.com is an alias for server1.wtest.com. (BOGUS (security failure))
./tests/nsecx-upcase/unbound-host.out:server1.wtest.com has address 1.2.3.4 (BOGUS (security failure))

Merge pull request #5273 from cmouse/geoip-random

geoipbackend: Use dns_random

Merge pull request #5277 from rgacogne/sdig-edns-usage

sdig: Clarify that the `ednssubnet` option takes "subnet/mask"

Merge pull request #5281 from pieterlexis/zone2json-in-tests

Tell the tests where to find zone2json

rec: Add a unit test for the OOB flag on a auth zone cache hit

rec: Skip DNSSEC validation for cache hits from authoritative zones

Tell the tests where to find zone2json

Merge pull request #5280 from rgacogne/dnsdist-poolrule-from-mask

dnsdist: Clarify that addPoolRule() applies to source addresses

dnsdist: Clarify that addPoolRule() applies to source addresses

Always wrap DNSCryptoKeyEngine objects in a shared pointer

It's done almost everywhere, but not quite, and some of the paths
where it's not could leak if an exception is raised.
Also mark the overridden virtual methods with `override` to prevent
future mistakes.

changelog thinks recent 4 releases happened in 2016

sdig: Clarify that the `ednssubnet` option takes "subnet/mask"

The `mask` part is actually optional but it's probably better to
provide it explicitely anyway.

rec: RPZ updates are done zone by zone, zones are now shared pointers

This prevents having to copy and update all the zones even though
the RPZ IXFR tracker only works on one of them at a time.
Also prevents race conditions if two RPZ IXFR tracker threads
update the state at the same time by using `GlobalStateHolder::modify()`
instead of `GlobalStateHolder::setState()`.

geoipbackend: Use dns_random

Closes coverity CID#1374548

geoipbackend: Add test for city database

Merge pull request #5266 from cmouse/geoip-fixes

geoipbackend: Support city databases in region lookup

Merge pull request #5267 from cmouse/geoip-weights

geoipbackend: Move static record lookup to separate method

Merge pull request #5269 from cmouse/geoip-cc

geoipbackend: Add support for %cc modifier

Adjustable statistics interval

geoipbackend: Support city databases in region lookup

City database contains region information as well.

Fixes #5255 and #4122

geoipbackend: Move static record lookup to separate method

Fixes #4704 by applying weights consistently on all lookups.

geoipbackend: Document %cc modifier

Merge pull request #5261 from percipient/json-stat-fix

get-remote-ring's "other" report should only have two items.

geoipbackend: Add support for %cc modifier

Fixes #4122

rec: Add support for RPZ wildcarded target names

Send a notification to all slave servers after every update.
This will speed up the propagation of changes and is very useful for acme verification.

notify slaves after dnsupdate was processed

get-remote-ring's "other" report should only have two items.

Merge pull request #5250 from cmouse/axfrfilter

Implement axfrfilter with LuaContext

Merge pull request #5258 from mind04/query-cache-stats

query cache hit/miss statistics

query cache hit/miss statistics

rec: Make sure the received SOA comes from a "." auth

Merge pull request #5254 from pieterlexis/pkg-snmp-support

Packages: Build with net-snmp support and against LuaJIT

Merge pull request #5249 from tfarina/dns-ascii

move two other functions into ascii.hh

Merge pull request #5235 from ahupowerdns/dnsdist-qnamerule

Dnsdist qnamerule

Allow building the Lua backend with luajit

Merge pull request #5248 from Habbie/gitignore-protobuf

ignore file created by runtests

Merge pull request #5253 from ahupowerdns/dnsdist-verbosepro

add some better dnsdist -v logging on queries that get dropped, timed out or received

Merge pull request #5185 from rgacogne/dnsdist-nmg-add-masks

dnsdist: Add `NetmaskGroup::addMasks()` to fill a NMG from `exceeds*` results

add some better -v logging on queries that get dropped, time out or received

No net-snmp nor luajit on SLES

Build pkgs against LuaJit (where available)

Add the protobuf pkgs as build-dep to EL6

Add net-snmp support to recursor and dnsdist pkgs

rec: Only apply root-nx-trust if the received SOA is "."

If `root-nx-trust` is enabled and we got a NX answer from the root, check that the received SOA is for the root before negatively caching the entire TLD. This might happen if "." is forwarded, for example.

lua-auth: Drop axfrfilter

It's no longer needed.

doc: Update documentation for axfr filter

communicator: Use new version of AXFR filter

lua-auth4: Implement axfrfilter

move two other functions into ascii.hh

dns_isspace() and dns_toupper() are all functions operating upon ASCII
characters. So lets move them into ascii.hh and keep them together with
dns_tolower().

ignore file created by runtests

Merge pull request #5247 from Habbie/requires-nit

nit

nit

Merge pull request #5244 from rgacogne/dnsdist-stop-on-dynblock

dnsdist: Stop sending queries as soon as we are dyn-blocked in tests

dnsdist: Fix a typo in the DynBlocks tests comment

Thanks Habbie for noticing!

dnsdist: Stop sending queries as soon as we are dyn-blocked in tests

Otherwise we might take too much time to finish sending our queries
(2s timeout per query), ending up with the dynamic block rule gone
by the time we finish.

Merge pull request #5239 from rgacogne/dnsdist-debug-dynblocks-failures

dnsdist: Add some debug to the DynBlocks regression tests

dnsdist: Add some debug to the DynBlocks regression tests

Merge pull request #5230 from Habbie/dnsdist-unnest-error

unnest Lua exceptions when they get all the way back to main()

Merge pull request #5199 from ahupowerdns/dnsdistrekey

setKey() was actually "appendKey()". In addition, '-k' would not override for server configuration

Merge pull request #5234 from aerique/bugfix/5054-dnsdist-query-counters-integer-overflows

Bugfix/5054 dnsdist query counters integer overflows