Merge pull request #6830 from Habbie/rec-test-upgrade-pip

recursor testing: upgrade pip

upgrade pip

Merge pull request #6824 from klaus3000/improve-slavecheck-logging

Add the serials when logging the final result of a slave-check

Merge pull request #6768 from rgacogne/rec-several-distributors

rec: Add support for several distributor threads

Merge pull request #6698 from rgacogne/rec-pb-options

rec: Refactor Protobuf options, add query/response selection

rec: Add a few more words about setProtobufMasks() in the documentation

rec: Make 'only log if a tag is present' conditions easier to read

rec: Refactor Protobuf options, add query/response selection

- Turn the protobuf options into a table because there are already
too many of them
- Split the masks applied to the initiator to a separate
`setProtobufMasks` directive
- Add the possibility to log only queries, or only responses
- Add the possibility to select queries (FFI only) and responses
for export from the Lua hooks
- Add regression tests for the protobuf features

Merge pull request #6792 from rgacogne/rec-delay-lua-conf-threads

rec: Delay the creation of RPZ threads until we have dropped privileges

Merge pull request #6826 from phonedph1/getoutstanding

Make getOutstanding be usable from both lua and console

Merge pull request #6813 from phonedph1/dstportrule

dnsdist: DSTPortRule

Actually remove it ;)

Fix type

Merge pull request #6827 from SvenMW/fix_docstring

Update index.rst

Update index.rst

[DOC] fixed duplicate words

Make getOutstanding be usable from both lua and console

fix typo: "ourserial is" -> "our serial is"

Merge pull request #6820 from phonedph1/patch-5

Update config.rst

Merge pull request #6816 from rgacogne/auth-api-strict-ordering

 auth: Make sure that we use strict weak records ordering in the API

When the final result of the slave-check get logged, always add the respective serials to the log line. This is very useful when debugging slave-check issues

Update config.rst

Try to clarify what staleTTL means in terms of the packet cache option.

This hopefully aligns more with the text on https://dnsdist.org/guides/cache.html and real-world observations.

auth: Make sure that we use strict weak records ordering in the API

Add autocompletion data

Don't use a seperate hton variable

rec: Fix 'worker' conflict with #6812

rec: Move the "launching <n> workers" message to the right place

rec: Add support for several distributor threads

Merge pull request #6804 from Habbie/rec-buildbot-no-snmp

skip recursor SNMP testing in buildbot

Merge pull request #6812 from Habbie/rec-thread-fixes

rec: load Lua scripts only in worker threads

Test that DSTPortRule captures queries

Allow matching based on destination port.

do not load Lua in the distributor thread

only load the Lua script in worker threads

correct type for getRecursorThreadId

Merge pull request #6796 from cmouse/mmdb

geoipbackend: Document that MMDB support has been added in v4.2

skip recursor SNMP testing in buildbot

Merge pull request #6802 from neilcook/boostfs

Make NOD and Boost FS conditional for compilation based on configure flag

Fix incorrect tests for NOD in configure

Make NOD and Boost FS conditional for compilation based on configure flag

Merge pull request #6728 from neilcook/nod

Newly Observed Domain Support

Newly observed domain support using a stable bloom filter to record previously seen domains.

- Not enabled by default, must be enabled via configure
- Enables new domains to be logged or sent via DNS lookup
- New settings documented

geoipbackend: Document that MMDB support has been added in v4.2

rec: Delay the creation of RPZ threads until we have dropped privileges

On Linux/glibc, calling `set*id()` from a thread results in the other
threads being sent the `SIGRT_1` signal so they are aware that they
should switch credentials too, because `POSIX` requires that all threads
use the same credentials but Linux actually handles it per thread.
The reception of the signal interrupts the current `syscall` with
`EINTR`, causing the loading of the `RPZ` zone to fail.

Merge pull request #6650 from pieterlexis/doc-nits

Fix some doc nits and re-do parts of the Geo IP docs

Merge pull request #6694 from zeha/cleanup20180530

Assorted tiny cleanups

Merge pull request #6719 from rgacogne/rec-mtasker-container-bounds

rec: Allocate one more stack byte to make _GLIBCXX_ASSERTIONS happy

Merge pull request #6738 from rgacogne/auth-tsig-6736

auth: Reset the TSIG state between queries

Merge pull request #6774 from wojas/calidns-accurate-target-qps

calidns: accurate qps targets

Merge pull request #6780 from Habbie/api-fillzone-merge

avoid concurrent records/comments iteration from running out of sync

Merge pull request #6788 from rgacogne/dnsdist-doc-maxnegttl-int

dnsdist: Fix the type of maxNegativeTTL (int, not bool) in the doc

Merge pull request #6789 from SvenMW/master

[DOC] fix botan lib link

Merge pull request #6783 from rgacogne/changelog-from-pr-auth

Add Basic Auth support to changelog-from-pr.py

[DOC] fix botan lib link

also change powerdns Downloadlink from http to https

dnsdist: Fix the type of maxNegativeTTL (int, not bool) in the doc

Merge pull request #6787 from rgacogne/dnsdist-132-changelog

dnsdist: Add ChangeLog for dnsdist 1.3.2

Merge pull request #6785 from rgacogne/dnsdist-cache-dump-build-cinttypes

dnsdist: Add missing include for PRId64, fix build on CentOS 6 / SLES 12

dnsdist: Add ChangeLog for dnsdist 1.3.2

dnsdist: Add missing include for PRId64, fix build on CentOS 6 / SLES 12

Merge pull request #6784 from rgacogne/dnsdist-131-changelog

dnsdist: Add ChangeLog for dnsdist 1.3.1

dnsdist: Add ChangeLog for dnsdist 1.3.1

Merge pull request #6782 from rgacogne/dnsdist-soaseen-broken

dnsdist: Fix detection of NoData / NXDomain answers in the cache

Add Basic Auth support to changelog-from-pr.py

GitHub's API rate limiting is quite aggressive, but is more
permissive for authenticated users.
This PR allows authenticating via username and password, but you can
also submit a personal access tokens instead of a password if, for
example, you have 2-factors authentication enabled on your account.

dnsdist: Fix detection of NoData / NXDomain answers in the cache

Checking whether the SOA record is in the right section was broken
because of a misplaced parenthesis, and the unit test checking that
case turned out to be broken too (wrong class) :'(
The broken check was reported by cppcheck (thanks!):

```
Comparison of a boolean expression with an integer.
```

Merge pull request #6764 from rgacogne/dnsdist-rotate-certs

dnsdist: Add support for rotating certificates and keys

Merge pull request #6769 from rgacogne/luawrapper-maybe-uninitialized

LuaWrapper: Disable maybe uninitialized warnings with boost optional

avoid concurrent records/comments iteration from running out of sync

Merge pull request #6726 from rgacogne/dnsdist-clean-maxqpsiprule-lru

 dnsdist: Use LRU to clean the MaxQPSIPRule's store

dnsdist: Rename disableTickets to sessionTickets

Merge pull request #6734 from rgacogne/dnsdist-set-ecs

dnsdist: Add SetECSAction to set an arbitrary outgoing ECS value

Merge pull request #6773 from rgacogne/dnsdist-reuse-race

dnsdist: Fix an outstanding counter race when reusing states

dnsdist: Pass const references to SetECSAction()

Merge pull request #6754 from rgacogne/dnsdist-subnet-collision

 dnsdist: Detect ECS collisions in the packet cache

Merge pull request #6775 from rgacogne/dnsdist-none-action

dnsdist: Implement NoneAction()

Merge pull request #6776 from rgacogne/dnsdist-dynblock-noop

dnsdist: Add DNSAction.NoOp to debug Dynamic Blocks

dnsdist: Make sure that DynBlock tests do not pass when they shouldn't

calidns: accurate qps targets

Instead of a naive fixed sleep between batch sends, check the actual time
passed to determine how long to sleep. This allows calidns to actually
reach qps targets at higher rates.

dnsdist: Add DNSAction.NoOp to debug Dynamic Blocks

Setting the dynamic block action to NoOp allows the dynamic rule to
be inserted as usual and show up while looking at the rules,
while not blocking any query and not stopping subsequent rules from
being evaluated.

dnsdist: Implement NoneAction()

dnsdist: Fix a typo in the documentation of addTLSLocal()'s options

Merge pull request #6760 from rgacogne/dnsdist-dynblockrulesgroup-exclusions

dnsdist: Add netmask-based {ex,in}clusions to DynBlockRulesGroup

dnsdist: Fix an outstanding counter race when reusing states

Merge pull request #6720 from rgacogne/rec-snmp-broadcast

 rec: Allow the SNMP thread to retrieve statistics

dnsdist: Remove an unused local variable in getEDNSOptionsStart()

dnsdist: Detect ECS collisions in the packet cache

We did not detect a collision involving two queries for the same qname,
qtype, qclass and flags but with different ECS values hashing to the same key.
This commit adds an option to the packet cache to parse and keep the ECS value
in order to detect this kind of collisions.
It's not enabled by default because parsing the ECS value has a cost.

Merge pull request #6767 from rgacogne/dnsdist-dynblocks-api-lower

dnsdist: Fix duration false positive in the dynblock regression tests

Merge pull request #6762 from rgacogne/dnsdist-unorderedmap-table

dnsdist: Fix iterating over the results of exceed*() functions

Merge pull request #6749 from rgacogne/dnsdist-cache-dump

dnsdist: Add the ability to dump a summary of the cache content

LuaWrapper: Disable maybe uninitialized warnings with boost optional

GCC enables `-Wmaybe-uninitialized` by default with `-Wall`, and it
reports what looks like false positives with boost::optional types

See:
- https://svn.boost.org/trac10/ticket/12513
- https://gcc.gnu.org/bugzilla/show_bug.cgi?id=78044

dnsdist: Fix duration false positive in the dynblock regression tests

The number of remaining seconds might also be equal to the minimum
value.

Merge pull request #6765 from PowerDNS/doc-bind-api-ro

Document that BIND backend hosted zones can't be altered from the API

Document that BIND backend hosted zones can't be altered from the API

dnsdist: Fix compilation without DoT support

dnsdist: Add an option to disable TLS session resumption via tickets

dnsdist: Add support for rotating certificates and keys

Merge pull request #6747 from rgacogne/dnsdist-flags-collision

dnsdist: Check the flags to detect collisions in the packet cache

Merge pull request #6744 from rgacogne/rec-edns-options-multi-values

rec: Support multiple values for the same EDNS option in gettag

dnsdist: Test that we can iterate over the results of exceed*()

LuaWrapper: Add support for handling specialized unordered map as tables

dnsdist: Add netmask-based {ex,in}clusions to DynBlockRulesGroup

dnsdist: Check the flags to detect collisions in the packet cache

In the unlikely but quite real event two queries with the same qname,
qtype and qclass but different EDNS options or flags end up with
the same hash, the packet cache would return a answer that might
not be suitable for the query. Reduce the odds by checking the
flags present in the dns header in addition to the qname, qtype
and qclass.
For the same reason we might need to consider storing the ECS
subnet if any.