calidns: add --increment and --want-recursion flags

nit

Merge pull request #5334 from pieterlexis/rec-405-changelog

Recursor 4.0.5-RC1 changelog

Add secpoll entry for Recursor 4.0.5 rc 1

Add a Recursor 4.0.5 changelog

Merge pull request #5161 from baloo/baloo/test/5083

fix a regression in axfr-rectify + test

Merge pull request #5331 from pieterlexis/gen-version-unannotated-tags

Use un-annotated tags for determining version

Use un-annotated tags for determining version

Merge pull request #5323 from rgacogne/yahttp-backports

YaHTTP: Sync with upstream changes

Merge pull request #5319 from rgacogne/rec-cache-edns-specific

rec: Only check the netmask for subnet specific cache entries

rec: Add unit tests for the `MemRecursorCache` class

YaHTTP: Sync with upstream changes

Backport changes from upstream up to c5b83288a4c2f8ec07cb8cb7bd150f2210db67b6
"Add missing `YaHTTP::isdigit()`, fix locale-enabled versions"

Merge pull request #5321 from mind04/dnsupdate

Revert "notify slaves after dnsupdate was processed"

Merge pull request #5320 from ahupowerdns/edns-truncate

 PowerDNS sdig does not truncate trailing bits of EDNS Client Subnet mask

Revert "notify slaves after dnsupdate was processed"

This reverts commit 89033f988aa6f4ffbac08c9447a2a7f062f3a34f.

Merge pull request #5308 from rgacogne/unixconnector-no-copy

auth: Don't copy data around when sending and receiving in the Unix Connector

Merge pull request #5263 from fobser/notify-after-dnsupdate

notify slaves after dnsupdate was processed

Merge pull request #5264 from mind04/notify-dnsupdate

Send a notification to all slave servers after every dnsupdate.

Merge pull request #5265 from rgacogne/rec-rpz-wildcard-target

rec: Add support for RPZ wildcarded target names

Merge pull request #5271 from phonedph1/stats

Adjustable statistics interval

Merge pull request #5293 from rgacogne/rec-lua-getstat

rec: Allow retrieving stats from Lua via the `getStat("name")` call

Merge pull request #5309 from baloo/baloo/cleandig

tests: Ensure all required tools are available

Merge pull request #5318 from ahupowerdns/root-renew

explicitly remove old root when repriming

Together with Mukund Sivaraman we found out PowerDNS sdig does not truncate
trailing bits of EDNS Client Subnet mask.  So if you'd truncate something as
a /9, we'd have to use 2 bytes anyhow, but we would not zero the last 7 bits.

We do now. Thanks Mukund & ISC!

rec: Only check the netmask for subnet specific cache entries

We used to check the netmask for all entries for a qname
if at least one of them was a subnet specific one. Since an empty
`Netmask` doesn't match anything, we would effectively ignore every
non subnet specific entries if we had at least one subnet specific
one.
This caused a very hard to reproduce issue with for example
f.root-servers.net that includes an EDNS Client Subnet option in its
answer for `NS .` if the query has an EDNS Client Subnet option.
This caused the recursor to cache a subnet specific entry for `NS .`.
When that entry expired, we retrieved and cached a non subnet specific
one, but that new one was ignored as long as the subnet specific
was not expunged from the cache.
Under certain circumstances that could cause a root refresh loop
using a lot of stack memory.

when (re)priming the root, we do so with auth=0. We'll only set auth=1 after we have an answer from the roots. This however opens up a small race condition in which the root is expired (ttl=0), but still auth=1 in the cache. Our attempt to replace it with auth=0 dta fails at that point. This is probably due to some fencepost error somewhere. To not be subtle about this, explicitly nuke the root when we reprime.

Implement test for #5083

Signed-off-by: Arthur Gautier <baloo@gandi.net>

minor cleanup in the afxr-rectify code

fix a regression in axfr-rectify introduced by commit d86e1bf7

Merge pull request #5313 from ahupowerdns/no-root-age

don't age the root - this was a mistranslation from 3.x to 4.x

Merge pull request #5312 from ahupowerdns/proto-empty-log

we would attempt to protobuf log DNS questions without a set question…

don't age the root - this was a mistranslation from 3.x to 4.x

we would attempt to protobuf log DNS questions without a set question and get exceptions over that

rec: Document that `getStats()` is only available for 4.1.0+

Merge pull request #5307 from rgacogne/rec-rpz-clear-nsip-bis

rec: Clear the RPZ NS IP table when clearing the policy (bis)

tests: Ensure all required tools are available

If one of those tools misses, the test will silently PASS.
We should ensure it is present

Signed-off-by: Arthur Gautier <baloo@gandi.net>

rec: Clear the RPZ NS IP table when clearing the policy (bis)

auth: Don't copy data around when sending and receiving

Merge pull request #4569 from rgacogne/rec-protobuf-requestor-id

rec: Pass `tcp` to `gettag()`, allow setting the requestor ID from hooks

Merge pull request #5252 from rgacogne/rec-soa-root-nx-trust

rec: Only apply root-nx-trust if the received SOA is "."

Merge pull request #5270 from cmouse/geoip-test

geoipbackend: Add test for city database

Merge pull request #5275 from rgacogne/rec-rpz-fast-updates

rec: RPZ updates are done zone by zone, zones are now shared pointers

Merge pull request #5278 from rgacogne/dnscryptokeyengine-sharedptr

Always wrap DNSCryptoKeyEngine objects in a shared pointer

Merge pull request #5283 from rgacogne/dnssec-cache-auth-issue

rec: Skip DNSSEC validation for cache hits from authoritative zones

Merge pull request #5290 from mind04/master-nsec

auth: add test to make sure NSEC(3) generation is case insensitive

Merge pull request #5296 from mind04/boost

detect gcc/g++ 5.4, 7.0 and 7.1 in boost.m4

Merge pull request #5303 from Habbie/packetlimit

fix off-by-one in dnsreplay --packet-limit

fix off-by-one in dnsreplay --packet-limit

detect gcc/g++ 5.4, 7.0 and 7.1 in boost.m4

rec: Allow setting the protobuf `requestorId` from Lua hooks

rec: Add a `tcp` parameter to `gettag()` since it's now called for TCP

rec: Allow retrieving stats from Lua via the `getStat("name")` call

auth: add test to make sure NSEC(3) generation is case insensitive

test result before fix (auth-4.0.3):

--- ./tests/nsecx-upcase/expected_result        2017-05-03 21:17:26.000000000 +0200
+++ ./tests/nsecx-upcase/real_result    2017-05-03 21:29:10.231994921 +0200
@@ -2,8 +2,10 @@
 0      Z1234567890.wtest.com.  IN      RRSIG   3600    CNAME 13 2 3600 [expiry] [inception] [keytag] wtest.com. ...
 0      server1.wtest.com.      IN      A       3600    1.2.3.4
 0      server1.wtest.com.      IN      RRSIG   3600    A 13 3 3600 [expiry] [inception] [keytag] wtest.com. ...
-1      a.something.wtest.com.  IN      NSEC    86400   wtest.com. A RRSIG NSEC
-1      a.something.wtest.com.  IN      RRSIG   86400   NSEC 13 4 86400 [expiry] [inception] [keytag] wtest.com. ...
+1      *.wtest.com.    IN      NSEC    86400   e.wtest.com. CNAME RRSIG NSEC
+1      *.wtest.com.    IN      RRSIG   86400   NSEC 13 2 86400 [expiry] [inception] [keytag] wtest.com. ...
 2      .       IN      OPT     32768
 Rcode: 0 (No Error), RD: 0, QR: 1, TC: 0, AA: 1, opcode: 0
 Reply to question for qname='Z1234567890.wtest.com.', qtype=A
./tests/nsecx-upcase/unbound-host.out:Z1234567890.wtest.com is an alias for server1.wtest.com. (BOGUS (security failure))
./tests/nsecx-upcase/unbound-host.out:server1.wtest.com has address 1.2.3.4 (BOGUS (security failure))

Merge pull request #5273 from cmouse/geoip-random

geoipbackend: Use dns_random

Merge pull request #5277 from rgacogne/sdig-edns-usage

sdig: Clarify that the `ednssubnet` option takes "subnet/mask"

Merge pull request #5281 from pieterlexis/zone2json-in-tests

Tell the tests where to find zone2json

rec: Add a unit test for the OOB flag on a auth zone cache hit

rec: Skip DNSSEC validation for cache hits from authoritative zones

Tell the tests where to find zone2json

Merge pull request #5280 from rgacogne/dnsdist-poolrule-from-mask

dnsdist: Clarify that addPoolRule() applies to source addresses

dnsdist: Clarify that addPoolRule() applies to source addresses

Always wrap DNSCryptoKeyEngine objects in a shared pointer

It's done almost everywhere, but not quite, and some of the paths
where it's not could leak if an exception is raised.
Also mark the overridden virtual methods with `override` to prevent
future mistakes.

changelog thinks recent 4 releases happened in 2016

sdig: Clarify that the `ednssubnet` option takes "subnet/mask"

The `mask` part is actually optional but it's probably better to
provide it explicitely anyway.

rec: RPZ updates are done zone by zone, zones are now shared pointers

This prevents having to copy and update all the zones even though
the RPZ IXFR tracker only works on one of them at a time.
Also prevents race conditions if two RPZ IXFR tracker threads
update the state at the same time by using `GlobalStateHolder::modify()`
instead of `GlobalStateHolder::setState()`.

geoipbackend: Use dns_random

Closes coverity CID#1374548

geoipbackend: Add test for city database

Merge pull request #5266 from cmouse/geoip-fixes

geoipbackend: Support city databases in region lookup

Merge pull request #5267 from cmouse/geoip-weights

geoipbackend: Move static record lookup to separate method

Merge pull request #5269 from cmouse/geoip-cc

geoipbackend: Add support for %cc modifier

Adjustable statistics interval

geoipbackend: Support city databases in region lookup

City database contains region information as well.

Fixes #5255 and #4122

geoipbackend: Move static record lookup to separate method

Fixes #4704 by applying weights consistently on all lookups.

geoipbackend: Document %cc modifier

Merge pull request #5261 from percipient/json-stat-fix

get-remote-ring's "other" report should only have two items.

geoipbackend: Add support for %cc modifier

Fixes #4122

rec: Add support for RPZ wildcarded target names

Send a notification to all slave servers after every update.
This will speed up the propagation of changes and is very useful for acme verification.

notify slaves after dnsupdate was processed

get-remote-ring's "other" report should only have two items.

Merge pull request #5250 from cmouse/axfrfilter

Implement axfrfilter with LuaContext

Merge pull request #5258 from mind04/query-cache-stats

query cache hit/miss statistics

query cache hit/miss statistics

rec: Make sure the received SOA comes from a "." auth

Merge pull request #5254 from pieterlexis/pkg-snmp-support

Packages: Build with net-snmp support and against LuaJIT

Merge pull request #5249 from tfarina/dns-ascii

move two other functions into ascii.hh

Merge pull request #5235 from ahupowerdns/dnsdist-qnamerule

Dnsdist qnamerule

Allow building the Lua backend with luajit

Merge pull request #5248 from Habbie/gitignore-protobuf

ignore file created by runtests

Merge pull request #5253 from ahupowerdns/dnsdist-verbosepro

add some better dnsdist -v logging on queries that get dropped, timed out or received

Merge pull request #5185 from rgacogne/dnsdist-nmg-add-masks

dnsdist: Add `NetmaskGroup::addMasks()` to fill a NMG from `exceeds*` results

add some better -v logging on queries that get dropped, time out or received

No net-snmp nor luajit on SLES

Build pkgs against LuaJit (where available)

Add the protobuf pkgs as build-dep to EL6

Add net-snmp support to recursor and dnsdist pkgs

rec: Only apply root-nx-trust if the received SOA is "."

If `root-nx-trust` is enabled and we got a NX answer from the root, check that the received SOA is for the root before negatively caching the entire TLD. This might happen if "." is forwarded, for example.

lua-auth: Drop axfrfilter

It's no longer needed.

doc: Update documentation for axfr filter

communicator: Use new version of AXFR filter