auth: Make sure that we use strict weak records ordering in the API

Merge pull request #6804 from Habbie/rec-buildbot-no-snmp

skip recursor SNMP testing in buildbot

Merge pull request #6812 from Habbie/rec-thread-fixes

rec: load Lua scripts only in worker threads

do not load Lua in the distributor thread

only load the Lua script in worker threads

correct type for getRecursorThreadId

Merge pull request #6796 from cmouse/mmdb

geoipbackend: Document that MMDB support has been added in v4.2

skip recursor SNMP testing in buildbot

Merge pull request #6802 from neilcook/boostfs

Make NOD and Boost FS conditional for compilation based on configure flag

Fix incorrect tests for NOD in configure

Make NOD and Boost FS conditional for compilation based on configure flag

Merge pull request #6728 from neilcook/nod

Newly Observed Domain Support

Newly observed domain support using a stable bloom filter to record previously seen domains.

- Not enabled by default, must be enabled via configure
- Enables new domains to be logged or sent via DNS lookup
- New settings documented

geoipbackend: Document that MMDB support has been added in v4.2

Merge pull request #6650 from pieterlexis/doc-nits

Fix some doc nits and re-do parts of the Geo IP docs

Merge pull request #6694 from zeha/cleanup20180530

Assorted tiny cleanups

Merge pull request #6719 from rgacogne/rec-mtasker-container-bounds

rec: Allocate one more stack byte to make _GLIBCXX_ASSERTIONS happy

Merge pull request #6738 from rgacogne/auth-tsig-6736

auth: Reset the TSIG state between queries

Merge pull request #6774 from wojas/calidns-accurate-target-qps

calidns: accurate qps targets

Merge pull request #6780 from Habbie/api-fillzone-merge

avoid concurrent records/comments iteration from running out of sync

Merge pull request #6788 from rgacogne/dnsdist-doc-maxnegttl-int

dnsdist: Fix the type of maxNegativeTTL (int, not bool) in the doc

Merge pull request #6789 from SvenMW/master

[DOC] fix botan lib link

Merge pull request #6783 from rgacogne/changelog-from-pr-auth

Add Basic Auth support to changelog-from-pr.py

[DOC] fix botan lib link

also change powerdns Downloadlink from http to https

dnsdist: Fix the type of maxNegativeTTL (int, not bool) in the doc

Merge pull request #6787 from rgacogne/dnsdist-132-changelog

dnsdist: Add ChangeLog for dnsdist 1.3.2

Merge pull request #6785 from rgacogne/dnsdist-cache-dump-build-cinttypes

dnsdist: Add missing include for PRId64, fix build on CentOS 6 / SLES 12

dnsdist: Add ChangeLog for dnsdist 1.3.2

dnsdist: Add missing include for PRId64, fix build on CentOS 6 / SLES 12

Merge pull request #6784 from rgacogne/dnsdist-131-changelog

dnsdist: Add ChangeLog for dnsdist 1.3.1

dnsdist: Add ChangeLog for dnsdist 1.3.1

Merge pull request #6782 from rgacogne/dnsdist-soaseen-broken

dnsdist: Fix detection of NoData / NXDomain answers in the cache

Add Basic Auth support to changelog-from-pr.py

GitHub's API rate limiting is quite aggressive, but is more
permissive for authenticated users.
This PR allows authenticating via username and password, but you can
also submit a personal access tokens instead of a password if, for
example, you have 2-factors authentication enabled on your account.

dnsdist: Fix detection of NoData / NXDomain answers in the cache

Checking whether the SOA record is in the right section was broken
because of a misplaced parenthesis, and the unit test checking that
case turned out to be broken too (wrong class) :'(
The broken check was reported by cppcheck (thanks!):

```
Comparison of a boolean expression with an integer.
```

Merge pull request #6764 from rgacogne/dnsdist-rotate-certs

dnsdist: Add support for rotating certificates and keys

Merge pull request #6769 from rgacogne/luawrapper-maybe-uninitialized

LuaWrapper: Disable maybe uninitialized warnings with boost optional

avoid concurrent records/comments iteration from running out of sync

Merge pull request #6726 from rgacogne/dnsdist-clean-maxqpsiprule-lru

 dnsdist: Use LRU to clean the MaxQPSIPRule's store

dnsdist: Rename disableTickets to sessionTickets

Merge pull request #6734 from rgacogne/dnsdist-set-ecs

dnsdist: Add SetECSAction to set an arbitrary outgoing ECS value

Merge pull request #6773 from rgacogne/dnsdist-reuse-race

dnsdist: Fix an outstanding counter race when reusing states

dnsdist: Pass const references to SetECSAction()

Merge pull request #6754 from rgacogne/dnsdist-subnet-collision

 dnsdist: Detect ECS collisions in the packet cache

Merge pull request #6775 from rgacogne/dnsdist-none-action

dnsdist: Implement NoneAction()

Merge pull request #6776 from rgacogne/dnsdist-dynblock-noop

dnsdist: Add DNSAction.NoOp to debug Dynamic Blocks

dnsdist: Make sure that DynBlock tests do not pass when they shouldn't

calidns: accurate qps targets

Instead of a naive fixed sleep between batch sends, check the actual time
passed to determine how long to sleep. This allows calidns to actually
reach qps targets at higher rates.

dnsdist: Add DNSAction.NoOp to debug Dynamic Blocks

Setting the dynamic block action to NoOp allows the dynamic rule to
be inserted as usual and show up while looking at the rules,
while not blocking any query and not stopping subsequent rules from
being evaluated.

dnsdist: Implement NoneAction()

dnsdist: Fix a typo in the documentation of addTLSLocal()'s options

Merge pull request #6760 from rgacogne/dnsdist-dynblockrulesgroup-exclusions

dnsdist: Add netmask-based {ex,in}clusions to DynBlockRulesGroup

dnsdist: Fix an outstanding counter race when reusing states

Merge pull request #6720 from rgacogne/rec-snmp-broadcast

 rec: Allow the SNMP thread to retrieve statistics

dnsdist: Remove an unused local variable in getEDNSOptionsStart()

dnsdist: Detect ECS collisions in the packet cache

We did not detect a collision involving two queries for the same qname,
qtype, qclass and flags but with different ECS values hashing to the same key.
This commit adds an option to the packet cache to parse and keep the ECS value
in order to detect this kind of collisions.
It's not enabled by default because parsing the ECS value has a cost.

Merge pull request #6767 from rgacogne/dnsdist-dynblocks-api-lower

dnsdist: Fix duration false positive in the dynblock regression tests

Merge pull request #6762 from rgacogne/dnsdist-unorderedmap-table

dnsdist: Fix iterating over the results of exceed*() functions

Merge pull request #6749 from rgacogne/dnsdist-cache-dump

dnsdist: Add the ability to dump a summary of the cache content

LuaWrapper: Disable maybe uninitialized warnings with boost optional

GCC enables `-Wmaybe-uninitialized` by default with `-Wall`, and it
reports what looks like false positives with boost::optional types

See:
- https://svn.boost.org/trac10/ticket/12513
- https://gcc.gnu.org/bugzilla/show_bug.cgi?id=78044

dnsdist: Fix duration false positive in the dynblock regression tests

The number of remaining seconds might also be equal to the minimum
value.

Merge pull request #6765 from PowerDNS/doc-bind-api-ro

Document that BIND backend hosted zones can't be altered from the API

Document that BIND backend hosted zones can't be altered from the API

dnsdist: Fix compilation without DoT support

dnsdist: Add an option to disable TLS session resumption via tickets

dnsdist: Add support for rotating certificates and keys

Merge pull request #6747 from rgacogne/dnsdist-flags-collision

dnsdist: Check the flags to detect collisions in the packet cache

Merge pull request #6744 from rgacogne/rec-edns-options-multi-values

rec: Support multiple values for the same EDNS option in gettag

dnsdist: Test that we can iterate over the results of exceed*()

LuaWrapper: Add support for handling specialized unordered map as tables

dnsdist: Add netmask-based {ex,in}clusions to DynBlockRulesGroup

dnsdist: Check the flags to detect collisions in the packet cache

In the unlikely but quite real event two queries with the same qname,
qtype and qclass but different EDNS options or flags end up with
the same hash, the packet cache would return a answer that might
not be suitable for the query. Reduce the odds by checking the
flags present in the dns header in addition to the qname, qtype
and qclass.
For the same reason we might need to consider storing the ECS
subnet if any.

dnsdist: Use LRU to clean the MaxQPSIPRule's store

This makes it possible to remove expired entries from the store
without having to scan more than a fraction of it. Entries are
ordered by their last usage, with least recently used ones at
the front, so we can stop scanning as soon as we find an entry
still valid. Even so, we will only consider a fraction of the
store during each pass to keep the cleaning fast, even with a
large store.

dnsdist: Move rules definitions to a separate header

It makes it easier to test them.

dnsdist: Add the ability to dump a summary of the cache content

Merge pull request #6697 from jsoref/rec_control_tmp

Recursor: try to document how to handle systemd private tmp

Merge pull request #6733 from rgacogne/rec-multi-rpz

rec: Add support for multiple rpz masters as failover

Merge pull request #6740 from rgacogne/dnsdist-packetcache-neg-ttl

 dnsdist: Add a negative TTL option to the packet cache

Merge pull request #6741 from rgacogne/rec-forward-recurse-aa-cache

rec: Don't require authoritative answers for forward-recurse zones

Merge pull request #6745 from rubenk/fix-typo-in-recursor-docs

Fix a typo in the recursor docs

Merge pull request #6746 from rubenk/document-default-for-pdns-distributes-queries

pdns-distributes-queries is on by default

pdns-distributes-queries is on by default

Document this

Fix a typo in the recursor docs

Merge pull request #6495 from Habbie/parse-resolvconf-once

only parse resolv.conf once - this avoids race conditions

Merge pull request #6713 from mind04/bogus-ring

rec: add bogus ring to make it more easy to detect high profile domains with broken dnssec

rec: update the validation state when we replace an existing entry in the packet cache

rec: Add some regression tests for our Lua hooks

rec: Support multiple values for the same EDNS option in gettag

And in the FFI version of gettag.

rec: move bogus ring from packet cache to doProcessUDPQuestion()

rec: Don't require authoritative answers for forward-recurse zones

Merge pull request #6589 from chbruyand/rec-lua-maintenance

rec: Add lua maintenance callback

Merge pull request #6692 from Habbie/reorder-subdirs

auth: reorder SUBDIRS

Merge pull request #6695 from zeha/doc-dnssec-cd

Tiny Recursor dnssec doc improvements

Merge pull request #6725 from zeha/docs-table-size

docs/dnssec: improve HTML rendering of table

rec: Add regression tests for SNMP

rec: Allow the SNMP thread to retrieve statistics

Merge pull request #6739 from ahupowerdns/dedup-rhel6-fix

fix up compilation on rhel6 for dedup speedup in auth

dnsdist: Add a negative TTL option to the packet cache

Also add unit tests for the standalone functions in dnsparser.cc

dnsdist: Pass the correct section to the 'editTTLs' callback

fix up compilation on rhel6 for dedup speedup in auth

auth: Reset the TSIG state between queries