Merge pull request #7505 from rgacogne/fix-speedtest-gcc8

auth: Fix compilation of speedtest with GCC 8.0+

Merge pull request #7478 from rgacogne/rec-max-cache-bogus-ttl

rec: Add a new 'max-cache-bogus-ttl' option

auth: Fix compilation of speedtest with GCC 8.0+

rec: Fix a typo in the comment of one of the SyncRes unit tests

Merge pull request #7492 from pieterlexis/lua-expose-pdnsrandom

Lua: expose `dns_random` as `pdnsrandom`

Merge pull request #7476 from rgacogne/rpz-default-pol-custom-option

rec: Add an option to not override custom RPZ types with the default policy

Merge pull request #7479 from phonedph1/addrecords

rec: Document addRecord

Add default ttl values

Merge pull request #7483 from rgacogne/dnsdist-logs

dnsdist: Preserve configuration and log files in regression tests

Fix missing word in pdns/recursordist/docs/lua-config/rpz.rst

Co-Authored-By: rgacogne <rgacogne@users.noreply.github.com>

Merge pull request #7485 from rgacogne/clang-static-analyzer-fixes

Fix some warning reported by Clang's static analyzer

Update docs/lua-records/reference/misc.rst

Co-Authored-By: pieterlexis <pieterlexis@users.noreply.github.com>

Merge pull request #7491 from klaus3000/restapi-comma-separated-masters

store masters with comma separated and without trailing space

Lua: expose `dns_random` as `pdnsrandom`

Fixes the usecase in #6853

store masters with comma separated and without trailing space

Merge pull request #7488 from zeha/6114-stoi

API: improve handling of out of range modified_at value

API: improve handling of out of range modified_at value

Fixes #6114.

Merge pull request #7487 from pieterlexis/dnsdist-DoT-autoconf

dnsdist: don't test or show unneeded TLS libs

dnsdist: don't test or show unneeded TLS libs

rec: Wrap FILE* in smart pointers

rec: Set haveEDNS only once

dnsdist: Fix use-after-free on DoT initialization failure

Merge pull request #7482 from hnsk/fix-pdnsutil-add-record-output-order

pdnsutil: Fix output order of pdnsutil add-record

Merge pull request #7352 from Habbie/packet-too-big

respect packet size limits, even with ECS and TSIG

dnsdist: Preserve configuration and log files in regression tests

rec: Add a small regression test for 'max-cache-bogus-ttl'

pdnsutil: Fix output order of pdnsutil add-record

There was also unnecessary whitespace at the end of the line which was
removed. Since it only affected the same line it's included in this single
commit.

Merge pull request #7451 from rgacogne/systemd-deps

Make sure that the systemd binaries are available during the build

Merge pull request #7459 from mind04/dotstrip

auth: fix dot stripping in setContent()

Merge pull request #7477 from Habbie/resolver-lmdb

also use dnsmasq during lmdb testing

Merge pull request #7463 from zeha/auth-api-validate

Auth. API: improve RRset validation

Document addRecord

also use dnsmasq during lmdb testing

rec: Add a new 'max-cache-bogus-ttl' option

rec: Add an option to not override custom RPZ types with the default policy

Merge pull request #7475 from omoerbeek/mydns-no-infinite-loop

Avoid infinite loop in mydnsbackend.

Avoid infinite loop in mydnsbackend.

Merge pull request #7472 from mind04/compress

Do not compress the root

Merge pull request #7470 from mind04/lmdb-missing

auth: lmdb-backend avoid duplicate NSEC3 records in presigned zones

Merge pull request #7142 from 1848/checkinterval

dnsdist: Add option to set interval between health checks

Merge pull request #7467 from Habbie/pdnsutil-compare

pdnsutil: fix signed/unsigned comparison, closes #7465

Do not compress the root

Merge pull request #7432 from mikedamm/master

Clarify documentation to reflect actual behavior of includeDirectory

auth: lmdb-backend avoid duplicate NSEC3 records in presigned zones

pdnsutil: fix signed/unsigned comparison, closes #7465

Merge pull request #7421 from aerique/feature/support-for-github-access-tokens

Hack in support for GitHub access tokens.

Merge pull request #7464 from robinmulder/default-webserver-port

Fix default webserver port in documentation

Fix default webserver port in documentation

Auth. API: improve RRset validation

Refuse to load RRset arrays that contain more than one of CNAME or
DNAME. Expand refusal to load CNAMEs to pre-existing RRsets also to
DNAMEs, and vice versa. Refuse to load zones given in BIND format
for the same reasons. Apply hostname correctness check also to
BIND format zones.

Merge pull request #7457 from omoerbeek/fix-openbsd-warnings

sprintf, strcpy and const method case

Merge pull request #7433 from zeha/update-yahttp

Resync yahttp code to cmouse/yahttp@11be77a1fc4032

auth: fix dot stripping in setContent()

Merge pull request #7453 from ahupowerdns/pdns-lmdb-2

Authortitative LMDB backend.

hook up lmdbbackend to configure, regression tests & travis

add builder files and regression tests for lmdb

expand pdnsutil load-zone so it can load multiple zone/filename pairs in one go

speed up pdnsutil list-zone significantly, plus load up the lmdbbackend files

Merge pull request #7450 from omoerbeek/avoid-unaligned-access

Avoid unaligned access, it hurts on e.g. sparc64

Merge pull request #7438 from Habbie/travis-alias

travis auth: install dnsmasq, configure it on 127.0.0.53

sprintf, strcpy and const method case

Merge remote-tracking branch 'origin/master' into avoid-unaligned-access

Avoid unaligned access, it hurts on e.g. sparc64

Make sure that the systemd binaries are available during the build

Otherwise the detection of systemd's sandboxing features does not
work properly, since it uses `systemctl` to determine the version
of systemd.

Merge pull request #7441 from dol/fix/dnsdist-docs

[dnsdist] Fix wrong version numbering of new features

Merge pull request #7440 from aerique/feature/rec-4.1.11-changelog-and-secpoll

Update changelog and secpol for rec-4.1.11 and rec-4.2.0-alpha1.

Fix wrong version numbering of new features

travis auth: install dnsmasq, configure it on 127.0.0.53

Merge pull request #7435 from aerique/feature/auth-4.1.6-changelog-and-secpoll

Update changelog and secpoll for auth-4.1.6 release.

Add secpoll for auth-4.1.6.

Update changelog for auth-4.1.6.

Merge pull request #7400 from pieterlexis/5900-and-other-doc-fixes

Several documentation fixes and a small fix for the NOD `configure.ac`

Resync yahttp code to cmouse/yahttp@11be77a1fc4032ed268cb5a80eb2aa1d14ce849d

Merge pull request #7428 from ahupowerdns/redo-remotelogger

Reduce systemcall usage in protobuf logging

Clarify documentation to reflect actual behavior

includeDirectory will only include *.conf files, this was not mentioned in the documentation

Reduce systemcall usage in protobuf logging

Since Spectre/Meltdown, system calls have become more expensive.  In
addition, relevant versions of glibc turn out to implement pthread_cond_wait
and pthread_cond_signal in such a way that they use multiple system calls always.
There is an optimization in glibc to improve this but it is disabled.

This new setup changes our protobuf logging so it amortizes system calls so we perform
far less than one call per message.

Note that our previous RemoteLogger was configured in terms of how many
*messages* it would buffer. Our new code is configured in terms of how many
*bytes*. I have multiplied the configured numbers by 100 elsewhere (recursor
config, dnsdist config) to sort of maintain parity.

In addition, the old RemoteLogger would buffer messages while there was no
connection available. We no longer do this.

Finally new, every 'reconnectTimeout' seconds we will flush our buffers
opportunistically to not keep people waiting.

Merge pull request #7350 from sjvs/patch-2

Remove Flake8 from lgtm.yml

Merge pull request #7422 from Habbie/luarec-unnest-exception

LUA: report nested exception

Merge pull request #7426 from Habbie/mvrule-off-by-one

fix off-by-one in mvRule counting

Merge remote-tracking branch 'origin/master' into 5900-and-other-doc-fixes

fix off-by-one in mvRule counting

this makes mvRule(0,x) work where x is the highest rule number

LUA: report nested exception

Merge pull request #7416 from rgacogne/perl-instead-of-sed-makefile

Use perl instead of sed to conditionally remove lines from Makefiles

Merge pull request #7417 from ahupowerdns/begone-spellcheck

While we all enjoy grate spelling, this was just to much hassle

further cleanup

While we all enjoy grate spelling, this was just to much hassle

Use perl instead of sed to conditionally remove lines from Makefiles

Merge pull request #7414 from aerique/feature/update-changelog-for-rec-4.1.10

Update changelog and secpoll for rec-4.1.10.

Merge pull request #7413 from Habbie/epoch-not-deprecated

fix 4.0 changelog that wrongly said SOA-EDIT=EPOCH was deprecated

Merge pull request #7404 from rgacogne/rec-answers-aa

rec: Sanitize records received before doing anything else

Fix broken grammar.

Update changelog and secpoll for rec-4.1.10.

Merge pull request #7412 from ahupowerdns/smart-whitespace

Be smarter about trimming whitespace when creating records from ASCII

fix 4.0 changelog that wrongly said SOA-EDIT=EPOCH was deprecated

closes #7384

use a consistent space predicate

Be smarter about trimming whitespace when creating records from ASCII

In ff7ac440afdae4370e12a1b9eb21d4b1389a861f we added trimming of whitespace,
so you could turn " 1.2.3.4 " into an A record 0x01020304. This commit made us more flexible
but also six times slower in some microbenchmarks.

This commit restores the old performance which shaves double digits percentages of time from many
benchmarks in 'speedtest', while making "make-a record" six times faster again.

Merge pull request #6634 from rgacogne/more-systemd-sandboxing

More sandboxing using systemd's features

Merge pull request #7353 from ahupowerdns/narrow-additional-lookup

Fix attempt to restrict/speed-up additional processing to auth zone

Merge pull request #7401 from rgacogne/rec-hooks-tcp

rec: Fix our Lua hooks not being called over TCP when distributing

Whitelist the 'tcpaaaa' variable name..

Merge pull request #7402 from ahupowerdns/oracle-warning

note in docs that oracle gets no free support