implement dynamic cache sizeing for recursor

With this commit, the number of (packet)cache entries can be changed at runtime, although the effect may not be immediate in case of shrinking the cache.

Merge pull request #5696 from wojas/auth-api-patch-serial

auth api: return new serial in header after PATCH

auth api: also return old serial from PATCH

This adds the old serial as X-PDNS-Old-Serial and renames the header of
the new one to match.

The old serial is useful to verify that no other PATCH happened in the
meantime.

auth api: return new serial in header after PATCH

For zone PATCH requests, this adds a new `X-PDNS-Zone-Serial` response
header with the new zone serial.

Ideally this would be returned in a response JSON object, but this API
currently return 204 No Content and I did not want to break any clients
that might rely on this.

Merge pull request #5691 from pieterlexis/boost.m4-gcc-7.2

boost.m4: detect gcc 7.2

Merge pull request #5597 from pieterlexis/dnsdist-signed-unsigned-arm

dnsdist: Fix several signed/unsigned comparison warnings on ARM

Merge pull request #5659 from Habbie/gettag-docs

gettag doc nits

boost.m4: detect gcc 7.2

Merge pull request #5689 from Habbie/check-parts

verify parts.size(). Fixes #5688

explicitly warn when no hostname can be gathered

verify parts.size(). Fixes #5688

Merge pull request #5584 from eehakkin/ldapbackend/new-record-types

ldapbackend: Add support for new record types

Merge pull request #5678 from rgacogne/auth-requestor-payload

auth: Treat requestor's payload size lower than 512 as equal to 512

Merge pull request #5684 from Habbie/5673

be more specific about trailing dot handling, fixes #5673

Merge pull request #5666 from pieterlexis/doc-nits

Fix some doc nits

Merge pull request #5665 from pieterlexis/auth-enable-pkcs11

Enable PKCS#11 in authoritative packages

Merge pull request #5670 from rgacogne/rec-5648-root-denial

rec: Fix erroneous check for section 4.1 of rfc6840

Fix Zone object rendering

rec: Add unit tests for rfc6840 section 4.1

rec: Fix erroneous check for section 4.1 of rfc6840

rec: Go Bogus if the name exists but retrieving the DS results in NXD

Add missing recursor 4.0.6 changelog

Merge pull request #5671 from rgacogne/rec-nsec-wrap-around

rec: Handle NSEC wrap-around

Fix link

Add upgrades notes on new LDAP record types

for #5584

ALso, fix layout

Mention the need for krb5.h

Closes #5674

Add removed recursion opts to upgrade guide

Fix some refs

Fix render error (no more bold text)

Link to the stats from StatisticsItem

Fix a nit in the dnsdist docs

Fix some doc nits

Merge pull request #5672 from rgacogne/rec-nxtrust-denial-nsec

rec: Add NSEC records on nx-trust cache hits

make sure we actually have parts

fix double dot on PTR & co

be more specific about trailing dot handling, fixes #5673

auth: Treat requestor's payload size lower than 512 as equal to 512

Merge pull request #5679 from rgacogne/auth-empty-java-options

auth: Unset _JAVA_OPTIONS before using jdnssec

auth: Unset _JAVA_OPTIONS before using jdnssec

Travis now [1] defaults to _JAVA_OPTIONS="-Xmx2048m -Xms512m". We wouldn't
care much, except that every Java command now outputs the following line
to stderr, breaking our jdnssec diffs:

"Picked up _JAVA_OPTIONS: -Xmx2048m -Xms512m"

[1]: https://docs.travis-ci.com/user/build-environment-updates/2017-09-06/

rec: Add unit tests for NSEC authenticated denial of existence

rec: An exact NSEC{,3} match can't deny the domain

rec: Add NSEC records on nx-trust cache hits

rec: Handle NSEC wrap-around

Document the SoftHSM/Botan interaction

Document enabling of PKCS#11 in changelog

Report PKCS#11 support in configure and --version

Enable PKCS#11 in auth builds

Merge pull request #5662 from RvdE/patch-6

[PATCH]: Recursor 4.1.0 alpha 1 fails to build on FreeBSD

Hopefully fix compilation error on linux

[PATCH]: Recursor 4.1.0 alpha 1 fails to build on FreeBSD

This fixes compilation on FreeBSD, which requires an extra include file and defines a slightly different type.

auth: Fix two mistakes in 4.1 changelog.

Merge pull request #5646 from neilcook/deviceid

Support for identifying devices by id such as mac address

Merge pull request #5658 from aerique/feature/update-auth-changelog

auth: Update the ChangeLog for 4.1.0.

Update secpoll for auth 4.1.0-rc1.

auth: Update the ChangeLog for 4.1.0.

Add missing requestorId and deviceId to summary print statement

gettag doc nits

Merge pull request #5636 from mind04/luabackend-test

Fix and hook up luabackend tests

Merge pull request #5647 from ahupowerdns/dnsdist-dyntrunk-tcp

Make dnsdist dynamic truncate do right thing on TCP/IP

make sure stats get updated in all the right places, plus factor out the updating to a function

enhance test so it also covers non-truncation over TCP/IP for dnsdist dynamic truncation

Add requestorId and deviceId to summary log

Make dnsdist dynamic truncate do right thing on TCP/IP

Winfried noted that our new dynamic truncation rule worked fine on UDP, but on TCP/IP a truncate would be converted into a drop, which was not the intended effect.
This commit makes dynamic truncate a NOOP on TCP.

Merge pull request #5328 from rgacogne/snmp-reconnect

SNMP: Handle SNMP alarms so we can reconnect to the master

Merge pull request #5620 from rgacogne/rec-dump-rpz

rec: Add support for dumping the in-memory RPZ zones to a file

Document deviceId in DNSQuestion

Remove duplicate d_kind declaration.

Document gettag returning optional deviceId

Merge pull request #5642 from pieterlexis/issue-5329-gsql-doc-fixes

Assorted documentation fixes

Merge branch 'master' into rec-dump-rpz

Support for identifying devices by id such as mac address

Merge pull request #5637 from Habbie/sortlist-comboaddress

remove unused SortList compare operator for ComboAddress

Merge pull request #5515 from rgacogne/rec-ecs-source-0

rec: Fix cache handling of ECS queries with a source length of 0

Merge pull request #5567 from rgacogne/rec-register-all-stats

rec: Guard `registerAllStats()` with an atomic flag instead of a bool

Merge pull request #5621 from rgacogne/rec-protobuf-rpz-type

rec: Log the policy type (QName, Client IP, NS IP...) over protobuf

Merge pull request #5622 from rgacogne/rec-log-rpz-changes

rec: Add `log-rpz-changes` to log RPZ additions and removals

Merge pull request #5583 from tcely/issue-2835

listen on 127.0.0.1 during regression tests

Merge pull request #5641 from pieterlexis/issue-5520-catch-DNSName-error-when-parsing-zones

Catch DNSName exception in the Zoneparser

remove unused g_sortlist

Merge pull request #5639 from paddg/patch-6

Otherwise the issues are dead links.

Merge pull request #5640 from paddg/patch-7

Otherwise the issues are dead links.

doc: add upgrade info on the priority field

Closes #4151

docs: Add EOL statements

doc: Add missing Zone properties and SOA-EDIT-API

Closes #3895
Closes #4129

doc: mention the PDF docs (+link)

Closes #2165

docs: Fix order of fields returned in gsql query

Closes #5329

Catch DNSName exception in the Zoneparser

This wraps all calls to `toCanonic` in try/catch and rethrows it as a
PDNSException with more information.

Closes #5520.

Otherwise the issues are dead links.

Maybe that's rather a Github bug because pull(s) and commit(s) works this way. But at least it is now as in /pdns/docs/conf.py

Otherwise the issues are dead links.

Maybe that's rather a Github bug because pull(s) and commit(s) works this way. But at least it is now as in /pdns/docs/conf.py

rec: Fix cache handling of ECS queries with a source length of 0

The current behavior is to send a query without ECS information
and to cache it as a non ECS-specific entry. Unfortunately doing
so meant that we wouldn't send any further ECS-specific queries for
this (qname,qtype) since we could fallback to the non ECS-specific
cached answer.
This commit adds a new parameter, `ecs-scope-zero-addr`, allowing
to specify the address sent to ECS-whitelisted authoritative servers
in that case. If unset, the default is to take the first usable
(non-any) address in `query-local-address` then in `query-local-address6`,
and finally to use `127.0.0.1` as a last resort.

Merge pull request #5613 from rgacogne/rec-display-testrunner-logs

rec: Display the content of the testrunner logs in case of failure

remove unused SortList compare operator for ComboAddress

auth: hook up luabackend test

auth: fix luabackend test2

Merge pull request #5634 from rgacogne/dnsdist-advisories

dnsdist: Add advisories 2017-01 and 2017-02

Merge pull request #4195 from zeha/api-nameservers-or-ns-rrset

API: prevent duplicate records in single RRset

dnsdist: Add advisories 2017-01 and 2017-02

Merge pull request #5632 from rgacogne/dnsdist-1.2.0-changelog

dnsdist: Update the ChangeLog for 1.2.0

Merge pull request #5631 from rgacogne/dnsdist-api-key-only

dnsdist: Make the API available with an API key only

Merge pull request #5630 from rgacogne/dnsdist-h1-168297

dnsdist: Fix potential pointer wrap-around on 32 bits