auth: use override in backends to prevent future mistakes

auth: feedRecord() ordename is now a DNSName

Merge pull request #4955 from klaus3000/upgradingto40

add prepared statements and CAA records to the upgrade info

Merge pull request #5233 from mind04/prepared

some sql improvements

Merge pull request #5316 from mind04/axfr-filter

auth: add option to set a global lua-axfr-script value

Merge pull request #5359 from rgacogne/dnsdist-no-useless-moves

dnsdist: Get rid of std::move() calls preventing copy elision

Changelog: fix render issue

Merge pull request #5360 from pieterlexis/rec-405-rc2-changelog

Add the Recursor 4.0.5 rc 2 changelog

Add the Recursor 4.0.5 rc 2 changelog

Also, order the items somewhat and add additional information

Merge pull request #5358 from rgacogne/dnsdist-nmg-addmasks-typo

dnsdist: Fix a typo in the documentation of NetmaskGroup:addMasks()

dnsdist: Get rid of std::move() calls preventing copy elision

dnsdist: Fix a typo in the documentation of NetmaskGroup:addMasks()

Merge pull request #5349 from ahupowerdns/luajit-namespace

LuaJIT 2.1: Lua fallback functionality no longer uses Lua namespace

Merge pull request #5344 from rgacogne/dnsdist-bin-itf

dnsdist: Add an optional interface parameter to addLocal()/setLocal()

Merge pull request #5351 from rgacogne/rec-const-mt

rec: Mark MT methods as const whenever possible

dnsdist: Move {add,set}Local() additional parameters to a table

dnsdist: Add an optional interface parameter to addLocal()/setLocal()

rec: Mark MT methods as const whenever possible

Merge pull request #5350 from ahupowerdns/xenial-gcc-bug

work around a g++ bug in Ubuntu Xenial, closing #5347.

work around a g++ bug in Ubuntu Xenial, closing #5347.

typo in the fix, sorry!

we guess which versions of Lua need help with luaL_setfuncs, and then supply our own. If we guess wrong however, we trample on the Lua namespace.
With this commit, we don't do the trampling, which should close #5348. We can improve on the fix by using the native luaL_setfuncs for LuaJIT 2.1 beta too.

Merge pull request #5236 from rgacogne/rec-doresolveat-refactor

rec: Move to thread_local, refactor `SyncRes::doResolveAt()` and auth zones

Merge pull request #5332 from rgacogne/edns-truncate-tests

rec: Add unit tests for EDNS Client Subnet truncation

Merge pull request #5335 from shinsterneck/bugfix-syntaxerror-configureac

configure.ac: corrects syntax error in test statement on existance of libcrypto_ecdsa

Merge pull request #5337 from rgacogne/dnsdist-action-per-dynblock

dnsdist: Add an optional action to `addDynBlocks()`

Merge pull request #5342 from rgacogne/dnsdist-action-types

dnsdist: Print useful messages when query and response actions are mixed

Merge pull request #5340 from shantikulkarni/master

Fix typo in ldapbackend.cc from issue #5091

dnsdist: Print useful messages when query and response actions are mixed

Update ldapbackend.cc

dnsdist: Add an optional action to `addDynBlocks()`

This allows using different actions for different blocks, refusing
some and dropping others.

nit

corrects syntax error in test statement on existance of libcrypto_ecdsa

Merge pull request #5334 from pieterlexis/rec-405-changelog

Recursor 4.0.5-RC1 changelog

Add secpoll entry for Recursor 4.0.5 rc 1

Add a Recursor 4.0.5 changelog

rec: Add unit tests for EDNS Client Subnet truncation

Merge pull request #5161 from baloo/baloo/test/5083

fix a regression in axfr-rectify + test

Merge pull request #5331 from pieterlexis/gen-version-unannotated-tags

Use un-annotated tags for determining version

Use un-annotated tags for determining version

Merge pull request #5323 from rgacogne/yahttp-backports

YaHTTP: Sync with upstream changes

Merge pull request #5319 from rgacogne/rec-cache-edns-specific

rec: Only check the netmask for subnet specific cache entries

rec: Add unit tests for the `MemRecursorCache` class

YaHTTP: Sync with upstream changes

Backport changes from upstream up to c5b83288a4c2f8ec07cb8cb7bd150f2210db67b6
"Add missing `YaHTTP::isdigit()`, fix locale-enabled versions"

Merge pull request #5321 from mind04/dnsupdate

Revert "notify slaves after dnsupdate was processed"

rec: Cleanup the auth and forward zones a bit

rec: Get rid of `SyncRes::d_nocache`, prevent root refresh loop

`SyncRes::d_nocache` did not really prevent looking at the cache
or the local zones, and was only used when we refresh the root NS.

rec: Refactoring of SyncRes::doResolveAt()

rec: Cleanup the StaticStorage object, renamed to ThreadLocalStorage

Use clang 3.6 instead of 3.5 in Travis builds

rec: Use C++11's thread_local instead of __thread

Since `thread_local` supports non-trivial types, this move allows
us to get rid of many existing naked pointers in the rec.
Requires gcc 4.8+ or clang 3.3+.

rec: Cleanup global variables usage in `SyncRes`

Merge pull request #5320 from ahupowerdns/edns-truncate

 PowerDNS sdig does not truncate trailing bits of EDNS Client Subnet mask

Revert "notify slaves after dnsupdate was processed"

This reverts commit 89033f988aa6f4ffbac08c9447a2a7f062f3a34f.

Merge pull request #5308 from rgacogne/unixconnector-no-copy

auth: Don't copy data around when sending and receiving in the Unix Connector

Merge pull request #5263 from fobser/notify-after-dnsupdate

notify slaves after dnsupdate was processed

Merge pull request #5264 from mind04/notify-dnsupdate

Send a notification to all slave servers after every dnsupdate.

Merge pull request #5265 from rgacogne/rec-rpz-wildcard-target

rec: Add support for RPZ wildcarded target names

Merge pull request #5271 from phonedph1/stats

Adjustable statistics interval

Merge pull request #5293 from rgacogne/rec-lua-getstat

rec: Allow retrieving stats from Lua via the `getStat("name")` call

Merge pull request #5309 from baloo/baloo/cleandig

tests: Ensure all required tools are available

Merge pull request #5318 from ahupowerdns/root-renew

explicitly remove old root when repriming

Together with Mukund Sivaraman we found out PowerDNS sdig does not truncate
trailing bits of EDNS Client Subnet mask.  So if you'd truncate something as
a /9, we'd have to use 2 bytes anyhow, but we would not zero the last 7 bits.

We do now. Thanks Mukund & ISC!

rec: Only check the netmask for subnet specific cache entries

We used to check the netmask for all entries for a qname
if at least one of them was a subnet specific one. Since an empty
`Netmask` doesn't match anything, we would effectively ignore every
non subnet specific entries if we had at least one subnet specific
one.
This caused a very hard to reproduce issue with for example
f.root-servers.net that includes an EDNS Client Subnet option in its
answer for `NS .` if the query has an EDNS Client Subnet option.
This caused the recursor to cache a subnet specific entry for `NS .`.
When that entry expired, we retrieved and cached a non subnet specific
one, but that new one was ignored as long as the subnet specific
was not expunged from the cache.
Under certain circumstances that could cause a root refresh loop
using a lot of stack memory.

when (re)priming the root, we do so with auth=0. We'll only set auth=1 after we have an answer from the roots. This however opens up a small race condition in which the root is expired (ttl=0), but still auth=1 in the cache. Our attempt to replace it with auth=0 dta fails at that point. This is probably due to some fencepost error somewhere. To not be subtle about this, explicitly nuke the root when we reprime.

Implement test for #5083

Signed-off-by: Arthur Gautier <baloo@gandi.net>

minor cleanup in the afxr-rectify code

fix a regression in axfr-rectify introduced by commit d86e1bf7

Merge pull request #5313 from ahupowerdns/no-root-age

don't age the root - this was a mistranslation from 3.x to 4.x

Merge pull request #5312 from ahupowerdns/proto-empty-log

we would attempt to protobuf log DNS questions without a set question…

don't age the root - this was a mistranslation from 3.x to 4.x

we would attempt to protobuf log DNS questions without a set question and get exceptions over that

rec: Document that `getStats()` is only available for 4.1.0+

Merge pull request #5307 from rgacogne/rec-rpz-clear-nsip-bis

rec: Clear the RPZ NS IP table when clearing the policy (bis)

tests: Ensure all required tools are available

If one of those tools misses, the test will silently PASS.
We should ensure it is present

Signed-off-by: Arthur Gautier <baloo@gandi.net>

rec: Clear the RPZ NS IP table when clearing the policy (bis)

auth: Don't copy data around when sending and receiving

Merge pull request #4569 from rgacogne/rec-protobuf-requestor-id

rec: Pass `tcp` to `gettag()`, allow setting the requestor ID from hooks

Merge pull request #5252 from rgacogne/rec-soa-root-nx-trust

rec: Only apply root-nx-trust if the received SOA is "."

Merge pull request #5270 from cmouse/geoip-test

geoipbackend: Add test for city database

Merge pull request #5275 from rgacogne/rec-rpz-fast-updates

rec: RPZ updates are done zone by zone, zones are now shared pointers

Merge pull request #5278 from rgacogne/dnscryptokeyengine-sharedptr

Always wrap DNSCryptoKeyEngine objects in a shared pointer

Merge pull request #5283 from rgacogne/dnssec-cache-auth-issue

rec: Skip DNSSEC validation for cache hits from authoritative zones

Merge pull request #5290 from mind04/master-nsec

auth: add test to make sure NSEC(3) generation is case insensitive

Merge pull request #5296 from mind04/boost

detect gcc/g++ 5.4, 7.0 and 7.1 in boost.m4

Merge pull request #5303 from Habbie/packetlimit

fix off-by-one in dnsreplay --packet-limit

auth: add option to set a global lua-axfr-script value

fix off-by-one in dnsreplay --packet-limit

detect gcc/g++ 5.4, 7.0 and 7.1 in boost.m4

rec: Allow setting the protobuf `requestorId` from Lua hooks

rec: Add a `tcp` parameter to `gettag()` since it's now called for TCP

rec: Allow retrieving stats from Lua via the `getStat("name")` call

auth: add test to make sure NSEC(3) generation is case insensitive

test result before fix (auth-4.0.3):

--- ./tests/nsecx-upcase/expected_result        2017-05-03 21:17:26.000000000 +0200
+++ ./tests/nsecx-upcase/real_result    2017-05-03 21:29:10.231994921 +0200
@@ -2,8 +2,10 @@
 0      Z1234567890.wtest.com.  IN      RRSIG   3600    CNAME 13 2 3600 [expiry] [inception] [keytag] wtest.com. ...
 0      server1.wtest.com.      IN      A       3600    1.2.3.4
 0      server1.wtest.com.      IN      RRSIG   3600    A 13 3 3600 [expiry] [inception] [keytag] wtest.com. ...
-1      a.something.wtest.com.  IN      NSEC    86400   wtest.com. A RRSIG NSEC
-1      a.something.wtest.com.  IN      RRSIG   86400   NSEC 13 4 86400 [expiry] [inception] [keytag] wtest.com. ...
+1      *.wtest.com.    IN      NSEC    86400   e.wtest.com. CNAME RRSIG NSEC
+1      *.wtest.com.    IN      RRSIG   86400   NSEC 13 2 86400 [expiry] [inception] [keytag] wtest.com. ...
 2      .       IN      OPT     32768
 Rcode: 0 (No Error), RD: 0, QR: 1, TC: 0, AA: 1, opcode: 0
 Reply to question for qname='Z1234567890.wtest.com.', qtype=A
./tests/nsecx-upcase/unbound-host.out:Z1234567890.wtest.com is an alias for server1.wtest.com. (BOGUS (security failure))
./tests/nsecx-upcase/unbound-host.out:server1.wtest.com has address 1.2.3.4 (BOGUS (security failure))

Merge pull request #5273 from cmouse/geoip-random

geoipbackend: Use dns_random

Merge pull request #5277 from rgacogne/sdig-edns-usage

sdig: Clarify that the `ednssubnet` option takes "subnet/mask"

Merge pull request #5281 from pieterlexis/zone2json-in-tests

Tell the tests where to find zone2json

rec: Add a unit test for the OOB flag on a auth zone cache hit

rec: Skip DNSSEC validation for cache hits from authoritative zones

Tell the tests where to find zone2json

Merge pull request #5280 from rgacogne/dnsdist-poolrule-from-mask

dnsdist: Clarify that addPoolRule() applies to source addresses