rec: Handle Secure to Insecure cut on the same auth servers

Meaning the NS answer for the Insecure zone won't be signed and
won't have a DS denial. We will pick that up with the following
DS query, but we need to make sure the NS answer isn't considered
Bogus even though it's not signed.

rec: Fix invalid test for Secure to Insecure on the same auth servers

The answer for the NS of the insecure sub-zone have neither RRSIG nor
secure DS denial.

Merge pull request #5477 from rgacogne/rec-ecs-tests

rec: Add ECS regression tests

Merge pull request #5476 from rgacogne/rec-ixfr-fix

rec: Fix IXFR skipping the additions part of the last sequence

rec: Add ECS regression tests

rec: Add IXFR unit tests

Merge pull request #5409 from ahupowerdns/ecs-stats

Ecs stats: some fun metrics. Documentation has been submitted separately to @pieterlexis

rec: Fix IXFR skipping the additions part of the last sequence

Under certain conditions, we could have skipped the additions part
of the last `IXFR` sequence, because we stopped processing records
after seeing a `SOA` record with the new serial. However, as stated
in rfc1995's "Response format" section:

"the first RR of the added RRs is the newer SOA RR"

add some ECS metrics (UNDOCUMENTED)

Merge pull request #5472 from rgacogne/rec-ecs-index-comment

rec: Rename the ECS cache index and add a comment on how it works

rec: Initialize MemRecursorCache::d_state in the ctor

It's always set in `MemRecursorCache::replace()`, which should be the
only place where we insert new values, but the explicit init makes
Coverity happy.

Merge pull request #5470 from stasic/patch-4

rec: changed IPv6 addr of b.root-servers.net

rec: Rename the ECS cache index and add a comment on how it works

Merge pull request #5403 from rgacogne/rec-incoming-ecs-cache

rec: Use the incoming ECS for cache lookup if `use-incoming-edns-subnet` is set

Merge pull request #5461 from rgacogne/rec-cache-index

rec: Add an ECS index to the cache

rec: Use the incoming ECS for cache lookup if `use-incoming-edns-subnet` is set

Otherwise we insert into the cache based on the incoming ECS but
later do the lookup based on the query's source IP.

rec: Add unit tests for the cache removal queue (back/front)

(cherry picked from commit 7e6f71937f0ac7678b81013da7538ca1e65d779a)

Remove just enough entries from the cache, not one more than asked

(cherry picked from commit f3cb7c78abe3ad639d4583880ae9302b3be99a9e)

rec: Add a NetmaskTree-based cache index for ECS entries

The main idea is not to have to go through all the netmask-specific
entries for a given (qname/qtype), but to have to know quickly which
netmask-specific entry is the best match.
To do that we add an index containing a NetmaskTree for each
(qname,qtype), and we then know quickly which entry to get from the
"regular" cache.

Initial benchmarking results:
 - inserting non-netmask-specific entries has the same performance ;
 - inserting netmask-specific entries is 40% slower because of the additional insertion ;
 - looking for a (qname/qtype) that has no netmask-specific entries remains the same ;
 - looking for (qname/qtype) with 65k netmask-specific entries but only matching the non-netmask one is around 2000 times faster ;
 - looking for (qname/qtype) with 65k netmask-specific entries and matching one is also around 2000 times faster ;
 - pruning the cache is a lot slower (from 11 millions/s to 1.8 millions/s)

Remaining issues:
 - ANY queries do not use the index ;
 - we have to do two lookups
 - removal is slower, but might still be good enough
 - NetmaskTree.erase() does not compact the tree.

Ideas that didn't seem to work out:
 - Storing a pointer of some kind in the NetmaskTree to save a lookup:
   caused issues with our generic cache management functions (moving
   entries to the front or to the back requires an iterator)
 - Keeping the NMT index in the empty Netmak entry (the non-netmask
   specific one) save the additional lookup when we have no ECS
   entries, but made cache management very awkward because we needed
   to keep the non-netmask specific entry around as a place holder
   for the ECS index even if it held no data.

rec: changed IPv6 addr of b.root-servers.net

http://www.internic.net/domain/db.cache
last update:    June 01, 2017
is effective since 2017-06-01

Merge pull request #5381 from kevinquinnyo/docs-queries-issue

Fix query in howtos.md doc

Merge pull request #5454 from rgacogne/dnsdist-tcp-fastopen-not-available

dnsdist: Fix TCP with Fast Open requested but unsupported

Merge pull request #5464 from rgacogne/logging-snmp

Mention the recursor's SNMP support in logging.md

Merge pull request #5463 from rgacogne/dnssec-refactor-cl

rec: Implement "on-the-fly" DNSSEC processing

rec: Compute the zone cuts before trying to validate a cached entry

rec: Remove (wrong) debug message

rec: Accept NXD denial state instead of NXQ for an empty non-terminal

rec: Update validation status of records cached as Indeterminate

rec: Check that DNSKEYs have protocol set to 3

rec: Don't go Bogus on NXDomain while getting DS

rec: Fix validation issue when getting the NS returns a Bogus result

rec: Make the zone cuts and states a member variable

rec: Use a single zone cuts and states variable

rec: Add and clarify RRSIG labels checks

rec: Special names are Insecure

rec: Primed root-servers.net is Insecure

rec: Fix mixup between two unit test names

rec: Pass the zone cuts and states around

rec: Make the Interop mockup auth answer NS queries

rec: Don't follow CNAME when fetching DNSKEYs

rec: Prevent a loop while fetching DNSKEY

If some records on the DNSKEY answer are signed with the same
signer, we could end up in a DNSKEY retrieval loop since we
haven't added the DNSKEY to the cache yet.

rec: Fix all remaining SyncRes unit tests, remove debug log

rec: Fix zone cut status for Insecure/Bogus, fix some tests

rec: Validate lack of DS record

rec: Compute zone cuts and states beforehand

rec: Fix DS handling in unit tests

rec: Reply with and store DNSSEC wildcard proofs

rec: Add more DNSSEC unit tests (bad sig/algo, CNAME state transitions)

rec: Add a `nsec3-max-iterations` setting, default to 2500

rec: Check NSEC3 closest encloser

rec: Fix handling on DS denial during referral

rec: Add more DNSSEC tests, fixing some issues with state transition

rec: Fix DNSSEC issues found by adding more DNSSEC unit test

rec: Add DNSSEC tests in the SyncRes unit tests suite

auth: getKeysFor() signature changed, update toysdig

rec: Fix a typo in the DNSSEC regression tests

rec: Implement "on-the-fly" DNSSEC processing

rec: Only use non-AA data to get NS / DS / glues

Merge pull request #5460 from rgacogne/rec-doc-nxd-typo

Doc: Fix a typo in the recursor's scripting documentation

Merge pull request #5455 from pieterlexis/travis-use-auth-40-for-rec-tests

Travis: Use auth 4.0 for recursor tests

Merge pull request #5457 from Habbie/luabackend-docs

remove broken link; clarify status

Doc: Fix a typo in the recursor's scripting documentation

Mention the recursor's SNMP support in logging.md

remove broken link; clarify status

Merge pull request #5453 from pieterlexis/auth-404-changelog

Authoritative Server 4.0.4 changelog and secpoll

Travis: Use auth 4.0 for recursor tests

Merge pull request #5449 from rgacogne/dnsdist-no-fastopen-unused

dnsdist: Only declare/set `freshConn` if `MSG_FASTOPEN` is defined

dnsdist: Fix TCP with Fast Open requested but unsupported

If `tcpFastOpen` is set on a backend, we used to skip the
`connect()` call regardless of `MSG_FASTOPEN` availability.
We then tried to call `sendmsg()` (without `MSG_FASTOPEN`)
on an unconnected TCP socket, which failed.

Add Authoritative Server 4.0.4 secpoll entry

Update the Authoritative Server 4.0.4 changelog

Merge pull request #5446 from rgacogne/rec-requestor-payload-512

rec: Treat requestor's payload size lower than 512 as equal to 512

dnsdist: Only declare/set `freshConn` if `MSG_FASTOPEN` is defined

Merge pull request #5444 from Habbie/uri-5443

make URI integers 16 bits, fixes #5443

Merge pull request #5437 from mind04/oops

oops

Merge pull request #5442 from mind04/fallback

don't use the libdecaf ed25519 signer when libsoduim is enabled

rec: Treat requestor's payload size lower than 512 as equal to 512

make URI integers 16 bits, fixes #5443

Merge pull request #5438 from Habbie/master-travis-edge

make master branch work on the new travis image

Merge pull request #5336 from ahupowerdns/tisr

Implement a runtime changeable dnsdist rule that matches IP address for a certain time

don't use the libdecaf ed25519 signer when libsoduim is enabled

bump json gem, patch jdnssec, install fakeroot

for the new travis image

add documentation for TimedIPSetRule()

reduce memory usage of TimedIPSet, add cleanup(), add autocomplete

Implement a runtime changeable rule that matches IP address for a certain time.
This effectively allows (for example) pool selection from Lua, but then cached.

Sample code:

```
newServer({address="192.168.1.20", pool=""})
newServer({address="8.8.8.8", pool="elgoog"})

tisrElGoog=TimedIPSetRule()
tisrRest=TimedIPSetRule()
addAction(tisrElGoog:slice(), PoolAction("elgoog"))
addAction(tisrRest:slice(), PoolAction(""))

elgoogPeople=newNMG()
elgoogPeople:addMask("192.168.1.0/28")

function pickPool(dq)
if(elgoogPeople:match(dq.remoteaddr)) -- in real life, this would be external
then
print("Lua caught query for a googlePerson")
tisrElGoog:add(dq.remoteaddr, 10)
return DNSAction.Pool, "elgoog"
else
print("Lua caught query for restPerson")
tisrRest:add(dq.remoteaddr, 60)
return DNSAction.None, ""
end
end

addLuaAction(AllRule(), pickPool)
```

Merge pull request #5380 from rgacogne/mastermake-shared

Make DNSRecordContent::mastermake() return a shared pointer

Merge pull request #5383 from RobinGeuze/fixStatsCasing

dnsdist: Change dnsdist stats functions to always return lowercase names

oops

Merge pull request #5428 from gertvdijk/rec-docs-show-ntas

rec_control documentation fix: `show-ntas` -> `get-ntas`

Merge pull request #5429 from gertvdijk/rec-docs-dont-query

rec: Document behaviour of dont-query with forward-zones.

Merge pull request #5413 from Habbie/rpm-missing-schema

add 3.4.0_to_4.1.0_schema.mysql.sql to backend-mysql rpm

Merge pull request #5427 from mind04/decaf

hello decaf signers (ED25519 and ED448)

Merge pull request #5434 from PowerDNS/rules-docs

Document that rules are not for creating by the thousands

Document that rules are not for creating by the thousands

This addresses #5433, which featured a user attempting to create 30k rules.

add ED448 to signers unit test

initial stab at signer testing; has one 8080 test vector for now

hello decaf signers (ED25519 and ED448)
Testing algorithm 15: 'Decaf ED25519' ->'Decaf ED25519' -> 'Decaf ED25519' Signature & verify ok, signature 68usec, verify 93usec
Testing algorithm 16: 'Decaf ED448' ->'Decaf ED448' -> 'Decaf ED448' Signature & verify ok, signature 163usec, verify 252usec

rec: Document behaviour of dont-query with forward-zones.

In testing, it appears to me that setting a zone in forward-zones to query
for an address limited by dont-query is not stopped by it.

rec_control doc fix: show-ntas -> get-ntas

The documented rec_control command show-ntas does not appear to be correct.

Use `auto` whenever possible with `DNSRecordContent::mastermake()`

Merge pull request #5386 from rgacogne/dnsdist-action-truncate

dnsdist: Make a `truncate` action available to DynBlock and Lua