Merge pull request #5497 from rgacogne/dnsdist-dnsrule-tostring

dnsdist: Add `DNSRule::toString()`, fix dtors for rules and actions

Merge pull request #5502 from rgacogne/luawrapper-dont-move-sharedptr

LuaWrapper: Don't move the content of vectors, maps and unordered_maps

Merge pull request #5493 from pieterlexis/disable-snmp-stretch

Don't build with SNMP on Debian Stretch

LuaWrapper: Don't move the content of vectors, maps and unordered_maps

They might hold shared pointers, and moving them cause the source
to become empty.

luawrapper f9c686e2fa3ad5cf5593265dda491239e32e2955

Merge pull request #5487 from rgacogne/rec-fix-socket-per-thread

rec: Fix all work threads listening on all 'per thread' sockets

Merge pull request #5488 from rgacogne/fix-no-packet-error

rec: Only increase `no-packet-error` on the first read

Merge pull request #5501 from rgacogne/dnsdist-tcp-short-writes

dnsdist: Fix TCP short writes handling

dnsdist: Fix TCP short writes handling

Merge pull request #5245 from rgacogne/auth-sql-connection-reset

auth: Reconnect to the server if the My/Pg connection has been closed

Merge pull request #5492 from Habbie/rec-4.0.6-changelog

changelog+secpoll for recursor 4.0.6

dnsdist: Add virtual dtors for DNSRule, DNSAction and DNSResponseAction

dnsdist: Add `DNSRule::toString()` Lua binding

changelog+secpoll for recursor 4.0.6

rec: Add a test for multiple libcrypto linking

Don't build with SNMP on Debian Stretch

As net snmp is linked to OpenSSL 1.0 and we link against 1.1, users get
'interesting' crashes.

Merge pull request #5466 from zeha/rec-ws-exception

API: Clean up auth/recursor code mismatches

Merge pull request #5483 from rgacogne/rec-ecs-cache-scope-test

rec: Add ECS scope handling by the cache to our regression tests

Merge pull request #5484 from rgacogne/rec-ecs-update-validation-state

rec: Use ECS when updating the validation state if needed

Merge pull request #5486 from rgacogne/rec-dnssec-skipped-sec-to-insec

rec: Handle Secure to Insecure cut on the same auth servers

rec: Only increase `no-packet-error` on the first read

We try to read as many messages as possible after being woken up,
but only the first read can count as a no-packet error.

rec: Fix all work threads listening on all 'per thread' sockets

rec: Handle Secure to Insecure cut on the same auth servers

Meaning the NS answer for the Insecure zone won't be signed and
won't have a DS denial. We will pick that up with the following
DS query, but we need to make sure the NS answer isn't considered
Bogus even though it's not signed.

rec: Fix invalid test for Secure to Insecure on the same auth servers

The answer for the NS of the insecure sub-zone have neither RRSIG nor
secure DS denial.

rec: Use ECS when updating the validation state if needed

If `use-incoming-ecs` is set and an actual ECS value was received.

rec: Add ECS scope handling by the cache in our regression tests

Merge pull request #5477 from rgacogne/rec-ecs-tests

rec: Add ECS regression tests

Merge pull request #5476 from rgacogne/rec-ixfr-fix

rec: Fix IXFR skipping the additions part of the last sequence

rec: Add ECS regression tests

rec: Add IXFR unit tests

Merge pull request #5409 from ahupowerdns/ecs-stats

Ecs stats: some fun metrics. Documentation has been submitted separately to @pieterlexis

rec: Fix IXFR skipping the additions part of the last sequence

Under certain conditions, we could have skipped the additions part
of the last `IXFR` sequence, because we stopped processing records
after seeing a `SOA` record with the new serial. However, as stated
in rfc1995's "Response format" section:

"the first RR of the added RRs is the newer SOA RR"

add some ECS metrics (UNDOCUMENTED)

Merge pull request #5472 from rgacogne/rec-ecs-index-comment

rec: Rename the ECS cache index and add a comment on how it works

rec: Initialize MemRecursorCache::d_state in the ctor

It's always set in `MemRecursorCache::replace()`, which should be the
only place where we insert new values, but the explicit init makes
Coverity happy.

Merge pull request #5470 from stasic/patch-4

rec: changed IPv6 addr of b.root-servers.net

rec: Rename the ECS cache index and add a comment on how it works

Merge pull request #5403 from rgacogne/rec-incoming-ecs-cache

rec: Use the incoming ECS for cache lookup if `use-incoming-edns-subnet` is set

Merge pull request #5461 from rgacogne/rec-cache-index

rec: Add an ECS index to the cache

rec: Use the incoming ECS for cache lookup if `use-incoming-edns-subnet` is set

Otherwise we insert into the cache based on the incoming ECS but
later do the lookup based on the query's source IP.

rec: Add unit tests for the cache removal queue (back/front)

(cherry picked from commit 7e6f71937f0ac7678b81013da7538ca1e65d779a)

Remove just enough entries from the cache, not one more than asked

(cherry picked from commit f3cb7c78abe3ad639d4583880ae9302b3be99a9e)

rec: Add a NetmaskTree-based cache index for ECS entries

The main idea is not to have to go through all the netmask-specific
entries for a given (qname/qtype), but to have to know quickly which
netmask-specific entry is the best match.
To do that we add an index containing a NetmaskTree for each
(qname,qtype), and we then know quickly which entry to get from the
"regular" cache.

Initial benchmarking results:
 - inserting non-netmask-specific entries has the same performance ;
 - inserting netmask-specific entries is 40% slower because of the additional insertion ;
 - looking for a (qname/qtype) that has no netmask-specific entries remains the same ;
 - looking for (qname/qtype) with 65k netmask-specific entries but only matching the non-netmask one is around 2000 times faster ;
 - looking for (qname/qtype) with 65k netmask-specific entries and matching one is also around 2000 times faster ;
 - pruning the cache is a lot slower (from 11 millions/s to 1.8 millions/s)

Remaining issues:
 - ANY queries do not use the index ;
 - we have to do two lookups
 - removal is slower, but might still be good enough
 - NetmaskTree.erase() does not compact the tree.

Ideas that didn't seem to work out:
 - Storing a pointer of some kind in the NetmaskTree to save a lookup:
   caused issues with our generic cache management functions (moving
   entries to the front or to the back requires an iterator)
 - Keeping the NMT index in the empty Netmak entry (the non-netmask
   specific one) save the additional lookup when we have no ECS
   entries, but made cache management very awkward because we needed
   to keep the non-netmask specific entry around as a place holder
   for the ECS index even if it held no data.

rec: changed IPv6 addr of b.root-servers.net

http://www.internic.net/domain/db.cache
last update:    June 01, 2017
is effective since 2017-06-01

Merge pull request #5381 from kevinquinnyo/docs-queries-issue

Fix query in howtos.md doc

Merge pull request #5454 from rgacogne/dnsdist-tcp-fastopen-not-available

dnsdist: Fix TCP with Fast Open requested but unsupported

Merge pull request #5464 from rgacogne/logging-snmp

Mention the recursor's SNMP support in logging.md

Merge pull request #5463 from rgacogne/dnssec-refactor-cl

rec: Implement "on-the-fly" DNSSEC processing

auth/rec ws: sync caught serveConnection exceptions

ws-recursor: remove data.clear() which is also done by arecvtcp

rec: Compute the zone cuts before trying to validate a cached entry

rec: Remove (wrong) debug message

rec: Accept NXD denial state instead of NXQ for an empty non-terminal

rec: Update validation status of records cached as Indeterminate

rec: Check that DNSKEYs have protocol set to 3

rec: Don't go Bogus on NXDomain while getting DS

rec: Fix validation issue when getting the NS returns a Bogus result

rec: Make the zone cuts and states a member variable

rec: Use a single zone cuts and states variable

rec: Add and clarify RRSIG labels checks

rec: Special names are Insecure

rec: Primed root-servers.net is Insecure

rec: Fix mixup between two unit test names

rec: Pass the zone cuts and states around

rec: Make the Interop mockup auth answer NS queries

rec: Don't follow CNAME when fetching DNSKEYs

rec: Prevent a loop while fetching DNSKEY

If some records on the DNSKEY answer are signed with the same
signer, we could end up in a DNSKEY retrieval loop since we
haven't added the DNSKEY to the cache yet.

rec: Fix all remaining SyncRes unit tests, remove debug log

rec: Fix zone cut status for Insecure/Bogus, fix some tests

rec: Validate lack of DS record

rec: Compute zone cuts and states beforehand

rec: Fix DS handling in unit tests

rec: Reply with and store DNSSEC wildcard proofs

rec: Add more DNSSEC unit tests (bad sig/algo, CNAME state transitions)

rec: Add a `nsec3-max-iterations` setting, default to 2500

rec: Check NSEC3 closest encloser

rec: Fix handling on DS denial during referral

rec: Add more DNSSEC tests, fixing some issues with state transition

rec: Fix DNSSEC issues found by adding more DNSSEC unit test

rec: Add DNSSEC tests in the SyncRes unit tests suite

auth: getKeysFor() signature changed, update toysdig

rec: Fix a typo in the DNSSEC regression tests

rec: Implement "on-the-fly" DNSSEC processing

rec: Only use non-AA data to get NS / DS / glues

Merge pull request #5460 from rgacogne/rec-doc-nxd-typo

Doc: Fix a typo in the recursor's scripting documentation

Merge pull request #5455 from pieterlexis/travis-use-auth-40-for-rec-tests

Travis: Use auth 4.0 for recursor tests

Merge pull request #5457 from Habbie/luabackend-docs

remove broken link; clarify status

Doc: Fix a typo in the recursor's scripting documentation

Mention the recursor's SNMP support in logging.md

remove broken link; clarify status

Merge pull request #5453 from pieterlexis/auth-404-changelog

Authoritative Server 4.0.4 changelog and secpoll

Travis: Use auth 4.0 for recursor tests

Merge pull request #5449 from rgacogne/dnsdist-no-fastopen-unused

dnsdist: Only declare/set `freshConn` if `MSG_FASTOPEN` is defined

dnsdist: Fix TCP with Fast Open requested but unsupported

If `tcpFastOpen` is set on a backend, we used to skip the
`connect()` call regardless of `MSG_FASTOPEN` availability.
We then tried to call `sendmsg()` (without `MSG_FASTOPEN`)
on an unconnected TCP socket, which failed.

Add Authoritative Server 4.0.4 secpoll entry

Update the Authoritative Server 4.0.4 changelog

Merge pull request #5446 from rgacogne/rec-requestor-payload-512

rec: Treat requestor's payload size lower than 512 as equal to 512

dnsdist: Only declare/set `freshConn` if `MSG_FASTOPEN` is defined

Merge pull request #5444 from Habbie/uri-5443

make URI integers 16 bits, fixes #5443

Merge pull request #5437 from mind04/oops

oops

Merge pull request #5442 from mind04/fallback

don't use the libdecaf ed25519 signer when libsoduim is enabled