Merge pull request #5504 from rgacogne/dnsdist-nmg-dest

dnsdist: Clarify that NetmaskGroupRule can match the destination

Merge pull request #5511 from pieterlexis/dump-cache-updates

Add more information to recursor cache dumps

Merge pull request #5514 from pieterlexis/rm-blockfilter

dnsdist: Remove BlockFilter

Merge pull request #5426 from stasic/postgres-bigint

Postgres bigint

Merge pull request #5506 from cmouse/goracle

goraclebackend: Add missing query for last key insert id

rec docs: Update tools in the venv

Merge pull request #5512 from zeha/soa-no-packet

Auth: drop broken support for packet-specific SOA replies from backends

Merge pull request #5481 from pieterlexis/new-recursor-docs

New recursor documentation (for 4.1 and up)

Split the Recursor documentation

Transform it to restructured text and use Sphinx to build it.

dnsdist: Remove BlockFilter

Closes #5513

LUABackend: sync function signatures with DNSBackend

Auth: drop broken support for packet-specific SOA replies from backends

bindbackend: avoid inconsistent override usage warnings

Merge pull request #5468 from cmouse/drop-lua-policy

Remove all Lua Policy Engine code

Merge pull request #5508 from rgacogne/dnsdist-dnscrypt-timestamps

dnsdist: Fix the DNSCrypt timestamps returned by the Lua bindings

rec: print records and sigs in negcache dump

rec: Show auth state recursor cache dump

rec: Show validation state in recursor cache dump

rec: Dump RRSIGs from record cache

dnsdist: Fix the DNSCrypt timestamps returned by the Lua bindings

I completely forgot that they were stored in network by-order.
Thanks to bjoe2k4 for reporting the issue!

goraclebackend: Add missing query for last key insert id

Forgotten in 63de53119e80fa93c6374f0db0c4cd5b2712f37c

dnsdist: Clarify that NetmaskGroupRule can match the destination

Merge pull request #5353 from rgacogne/dnsdist-statnode-labels

dnsdist: Add labels count to StatNode, only set the name once

Merge pull request #5490 from rgacogne/dnsdist-certificate-rotation

dnsdist: Add Lua bindings to be able to rotate `DNSCrypt` keys

Merge pull request #5496 from rgacogne/dnsdist-lua-spoof-multi

dnsdist: Add support for returning several IPs to spoof from Lua

Merge pull request #5497 from rgacogne/dnsdist-dnsrule-tostring

dnsdist: Add `DNSRule::toString()`, fix dtors for rules and actions

Merge pull request #5502 from rgacogne/luawrapper-dont-move-sharedptr

LuaWrapper: Don't move the content of vectors, maps and unordered_maps

docs: Note that experimental-lua-policy-script has been dropped

docs: Drop unused documentation

This never was actually used anywhere, so it's
safe to drop.

Merge pull request #5493 from pieterlexis/disable-snmp-stretch

Don't build with SNMP on Debian Stretch

LuaWrapper: Don't move the content of vectors, maps and unordered_maps

They might hold shared pointers, and moving them cause the source
to become empty.

luawrapper f9c686e2fa3ad5cf5593265dda491239e32e2955

lua-auth: Remove police and policycmd

Remove Lua Policy Engine calls from code

Remove Lua Policy Engine tests

Merge pull request #5487 from rgacogne/rec-fix-socket-per-thread

rec: Fix all work threads listening on all 'per thread' sockets

Merge pull request #5488 from rgacogne/fix-no-packet-error

rec: Only increase `no-packet-error` on the first read

Merge pull request #5501 from rgacogne/dnsdist-tcp-short-writes

dnsdist: Fix TCP short writes handling

dnsdist: Fix TCP short writes handling

Merge pull request #5245 from rgacogne/auth-sql-connection-reset

auth: Reconnect to the server if the My/Pg connection has been closed

Merge pull request #5492 from Habbie/rec-4.0.6-changelog

changelog+secpoll for recursor 4.0.6

dnsdist: Add support for returning several IPs to spoof from Lua

dnsdist: Add virtual dtors for DNSRule, DNSAction and DNSResponseAction

dnsdist: Add `DNSRule::toString()` Lua binding

changelog+secpoll for recursor 4.0.6

rec: Add a test for multiple libcrypto linking

Don't build with SNMP on Debian Stretch

As net snmp is linked to OpenSSL 1.0 and we link against 1.1, users get
'interesting' crashes.

Merge pull request #5466 from zeha/rec-ws-exception

API: Clean up auth/recursor code mismatches

Merge pull request #5483 from rgacogne/rec-ecs-cache-scope-test

rec: Add ECS scope handling by the cache to our regression tests

Merge pull request #5484 from rgacogne/rec-ecs-update-validation-state

rec: Use ECS when updating the validation state if needed

Merge pull request #5486 from rgacogne/rec-dnssec-skipped-sec-to-insec

rec: Handle Secure to Insecure cut on the same auth servers

dnsdist: Add Lua bindings to be able to rotate `DNSCrypt` keys

rec: Only increase `no-packet-error` on the first read

We try to read as many messages as possible after being woken up,
but only the first read can count as a no-packet error.

rec: Fix all work threads listening on all 'per thread' sockets

rec: Handle Secure to Insecure cut on the same auth servers

Meaning the NS answer for the Insecure zone won't be signed and
won't have a DS denial. We will pick that up with the following
DS query, but we need to make sure the NS answer isn't considered
Bogus even though it's not signed.

rec: Fix invalid test for Secure to Insecure on the same auth servers

The answer for the NS of the insecure sub-zone have neither RRSIG nor
secure DS denial.

rec: Use ECS when updating the validation state if needed

If `use-incoming-ecs` is set and an actual ECS value was received.

rec: Add ECS scope handling by the cache in our regression tests

Merge pull request #5477 from rgacogne/rec-ecs-tests

rec: Add ECS regression tests

Merge pull request #5476 from rgacogne/rec-ixfr-fix

rec: Fix IXFR skipping the additions part of the last sequence

rec: Add ECS regression tests

rec: Add IXFR unit tests

Merge pull request #5409 from ahupowerdns/ecs-stats

Ecs stats: some fun metrics. Documentation has been submitted separately to @pieterlexis

rec: Fix IXFR skipping the additions part of the last sequence

Under certain conditions, we could have skipped the additions part
of the last `IXFR` sequence, because we stopped processing records
after seeing a `SOA` record with the new serial. However, as stated
in rfc1995's "Response format" section:

"the first RR of the added RRs is the newer SOA RR"

add some ECS metrics (UNDOCUMENTED)

Merge pull request #5472 from rgacogne/rec-ecs-index-comment

rec: Rename the ECS cache index and add a comment on how it works

rec: Initialize MemRecursorCache::d_state in the ctor

It's always set in `MemRecursorCache::replace()`, which should be the
only place where we insert new values, but the explicit init makes
Coverity happy.

Merge pull request #5470 from stasic/patch-4

rec: changed IPv6 addr of b.root-servers.net

rec: Rename the ECS cache index and add a comment on how it works

Merge pull request #5403 from rgacogne/rec-incoming-ecs-cache

rec: Use the incoming ECS for cache lookup if `use-incoming-edns-subnet` is set

Merge pull request #5461 from rgacogne/rec-cache-index

rec: Add an ECS index to the cache

rec: Use the incoming ECS for cache lookup if `use-incoming-edns-subnet` is set

Otherwise we insert into the cache based on the incoming ECS but
later do the lookup based on the query's source IP.

rec: Add unit tests for the cache removal queue (back/front)

(cherry picked from commit 7e6f71937f0ac7678b81013da7538ca1e65d779a)

Remove just enough entries from the cache, not one more than asked

(cherry picked from commit f3cb7c78abe3ad639d4583880ae9302b3be99a9e)

rec: Add a NetmaskTree-based cache index for ECS entries

The main idea is not to have to go through all the netmask-specific
entries for a given (qname/qtype), but to have to know quickly which
netmask-specific entry is the best match.
To do that we add an index containing a NetmaskTree for each
(qname,qtype), and we then know quickly which entry to get from the
"regular" cache.

Initial benchmarking results:
 - inserting non-netmask-specific entries has the same performance ;
 - inserting netmask-specific entries is 40% slower because of the additional insertion ;
 - looking for a (qname/qtype) that has no netmask-specific entries remains the same ;
 - looking for (qname/qtype) with 65k netmask-specific entries but only matching the non-netmask one is around 2000 times faster ;
 - looking for (qname/qtype) with 65k netmask-specific entries and matching one is also around 2000 times faster ;
 - pruning the cache is a lot slower (from 11 millions/s to 1.8 millions/s)

Remaining issues:
 - ANY queries do not use the index ;
 - we have to do two lookups
 - removal is slower, but might still be good enough
 - NetmaskTree.erase() does not compact the tree.

Ideas that didn't seem to work out:
 - Storing a pointer of some kind in the NetmaskTree to save a lookup:
   caused issues with our generic cache management functions (moving
   entries to the front or to the back requires an iterator)
 - Keeping the NMT index in the empty Netmak entry (the non-netmask
   specific one) save the additional lookup when we have no ECS
   entries, but made cache management very awkward because we needed
   to keep the non-netmask specific entry around as a place holder
   for the ECS index even if it held no data.

rec: changed IPv6 addr of b.root-servers.net

http://www.internic.net/domain/db.cache
last update:    June 01, 2017
is effective since 2017-06-01

Merge pull request #5381 from kevinquinnyo/docs-queries-issue

Fix query in howtos.md doc

Merge pull request #5454 from rgacogne/dnsdist-tcp-fastopen-not-available

dnsdist: Fix TCP with Fast Open requested but unsupported

Merge pull request #5464 from rgacogne/logging-snmp

Mention the recursor's SNMP support in logging.md

Merge pull request #5463 from rgacogne/dnssec-refactor-cl

rec: Implement "on-the-fly" DNSSEC processing

auth/rec ws: sync caught serveConnection exceptions

ws-recursor: remove data.clear() which is also done by arecvtcp

rec: Compute the zone cuts before trying to validate a cached entry

rec: Remove (wrong) debug message

rec: Accept NXD denial state instead of NXQ for an empty non-terminal

rec: Update validation status of records cached as Indeterminate

rec: Check that DNSKEYs have protocol set to 3

rec: Don't go Bogus on NXDomain while getting DS

rec: Fix validation issue when getting the NS returns a Bogus result

rec: Make the zone cuts and states a member variable

rec: Use a single zone cuts and states variable

rec: Add and clarify RRSIG labels checks

rec: Special names are Insecure

rec: Primed root-servers.net is Insecure

rec: Fix mixup between two unit test names

rec: Pass the zone cuts and states around

rec: Make the Interop mockup auth answer NS queries

rec: Don't follow CNAME when fetching DNSKEYs

rec: Prevent a loop while fetching DNSKEY

If some records on the DNSKEY answer are signed with the same
signer, we could end up in a DNSKEY retrieval loop since we
haven't added the DNSKEY to the cache yet.

rec: Fix all remaining SyncRes unit tests, remove debug log

rec: Fix zone cut status for Insecure/Bogus, fix some tests