Merge pull request #7435 from aerique/feature/auth-4.1.6-changelog-and-secpoll

Update changelog and secpoll for auth-4.1.6 release.

Add secpoll for auth-4.1.6.

Update changelog for auth-4.1.6.

Merge pull request #7400 from pieterlexis/5900-and-other-doc-fixes

Several documentation fixes and a small fix for the NOD `configure.ac`

Merge pull request #7428 from ahupowerdns/redo-remotelogger

Reduce systemcall usage in protobuf logging

Reduce systemcall usage in protobuf logging

Since Spectre/Meltdown, system calls have become more expensive.  In
addition, relevant versions of glibc turn out to implement pthread_cond_wait
and pthread_cond_signal in such a way that they use multiple system calls always.
There is an optimization in glibc to improve this but it is disabled.

This new setup changes our protobuf logging so it amortizes system calls so we perform
far less than one call per message.

Note that our previous RemoteLogger was configured in terms of how many
*messages* it would buffer. Our new code is configured in terms of how many
*bytes*. I have multiplied the configured numbers by 100 elsewhere (recursor
config, dnsdist config) to sort of maintain parity.

In addition, the old RemoteLogger would buffer messages while there was no
connection available. We no longer do this.

Finally new, every 'reconnectTimeout' seconds we will flush our buffers
opportunistically to not keep people waiting.

Merge pull request #7350 from sjvs/patch-2

Remove Flake8 from lgtm.yml

Merge pull request #7422 from Habbie/luarec-unnest-exception

LUA: report nested exception

Merge pull request #7426 from Habbie/mvrule-off-by-one

fix off-by-one in mvRule counting

Merge remote-tracking branch 'origin/master' into 5900-and-other-doc-fixes

fix off-by-one in mvRule counting

this makes mvRule(0,x) work where x is the highest rule number

LUA: report nested exception

Merge pull request #7416 from rgacogne/perl-instead-of-sed-makefile

Use perl instead of sed to conditionally remove lines from Makefiles

Merge pull request #7417 from ahupowerdns/begone-spellcheck

While we all enjoy grate spelling, this was just to much hassle

further cleanup

While we all enjoy grate spelling, this was just to much hassle

Use perl instead of sed to conditionally remove lines from Makefiles

Merge pull request #7414 from aerique/feature/update-changelog-for-rec-4.1.10

Update changelog and secpoll for rec-4.1.10.

Merge pull request #7413 from Habbie/epoch-not-deprecated

fix 4.0 changelog that wrongly said SOA-EDIT=EPOCH was deprecated

Merge pull request #7404 from rgacogne/rec-answers-aa

rec: Sanitize records received before doing anything else

Fix broken grammar.

Update changelog and secpoll for rec-4.1.10.

Merge pull request #7412 from ahupowerdns/smart-whitespace

Be smarter about trimming whitespace when creating records from ASCII

fix 4.0 changelog that wrongly said SOA-EDIT=EPOCH was deprecated

closes #7384

use a consistent space predicate

Be smarter about trimming whitespace when creating records from ASCII

In ff7ac440afdae4370e12a1b9eb21d4b1389a861f we added trimming of whitespace,
so you could turn " 1.2.3.4 " into an A record 0x01020304. This commit made us more flexible
but also six times slower in some microbenchmarks.

This commit restores the old performance which shaves double digits percentages of time from many
benchmarks in 'speedtest', while making "make-a record" six times faster again.

Merge pull request #6634 from rgacogne/more-systemd-sandboxing

More sandboxing using systemd's features

Merge pull request #7353 from ahupowerdns/narrow-additional-lookup

Fix attempt to restrict/speed-up additional processing to auth zone

Merge pull request #7401 from rgacogne/rec-hooks-tcp

rec: Fix our Lua hooks not being called over TCP when distributing

Whitelist the 'tcpaaaa' variable name..

Merge pull request #7402 from ahupowerdns/oracle-warning

note in docs that oracle gets no free support

Whitelist NXQ

rec: Fix SyncRes unit test since unrelated additional records are now scrubbed

rec: Don't cache non-AA records that we won't use

rec: Fix broken (bad AA bit, missing RRSIG) SyncRes unit tests

rec: Scrub SOA records in authority for AA=0 answers

rec: Be more permissive with CNAME in AA=0 answers

rec: Fix nits (trailing whitespaces, useless return statement)

rec: Add unit tests for the records sanitization in SyncRes

rec: Sanitize records received before doing anything else

rec: Refuse records in the answer section of AA=0 responses

note that oracle gets no free support

rec: Call the ipfilter hook if any over TCP as well

rec: Load the Lua script in the distributor threads, for TCP

rec: Test the Lua hooks over TCP and with distributes-queries

Merge pull request #7370 from pieterlexis/double-cname-dns64

Fix output packets when using getFakeAAAARecords

Merge pull request #7375 from rgacogne/extra-warnings

Fix -Wextra warnings, mostly about members initialization order

Merge pull request #7388 from rgacogne/fix-boost-random-header

Move UUID generators to a common function, fix boost 1.69.0 warning

Merge pull request #7399 from rgacogne/rec-4.1.9-release

rec: Add ChangeLog and secpoll update for the 4.1.9 release

Merge remote-tracking branch 'origin/master' into 5900-and-other-doc-fixes

appease the spelling gods

Merge remote-tracking branch 'origin/master' into fix-boost-random-header

Merge remote-tracking branch 'origin/master' into extra-warnings

rec: Add ChangeLog, advisories and secpoll update for the 4.1.9 release

Merge pull request #7392 from zeha/spellcheck

Spellcheck fixes

whitelist.words: Add "filtername"

Fix typo in "collisions"

Merge pull request #7391 from rgacogne/dnsdist-doc-typo-collisons

dnsdist: Fix 'collisons' typo in the docs

dnsdist: Fix 'collisons' typo in the docs

docs: fix link from changelog to manpage

Sort the NOD/UDR settings and fix underlines

NOD: use LOCALSTATEDIR and nod PREFIX/var as dir

docs: Sphinx markup for added/removed settings

Closes #5900

Merge pull request #6967 from gibson042/2018-08-trailing-data

dnsdist: Expose trailing data

Merge pull request #7056 from mind04/rootkey

rec: remove the old dnssec root key, goodbye 19036 ....

Merge pull request #7148 from Habbie/sdig-class-in

sdig: handle non-IN class records better

Move UUID generators to a common function, fix boost 1.69.0 warning

Merge pull request #7340 from pieterlexis/dnssec-default-algo-checks

auth: error on DNSSEC default misconfiguration

Merge pull request #7310 from rgacogne/dnsdist-dont-expunge-stale

dnsdist: Add a 'keepStaleData' option to the packet cache

Merge pull request #7322 from rgacogne/dnsdist-server-rise

dnsdist: Add a 'rise' parameter to 'newServer()'

Merge pull request #7335 from jsoref/issue-5140

Tell people to use --with-modules=... when they use --without-mysql

Merge pull request #7364 from ahupowerdns/dnsscope-nits

Dnsscope off-by-one + domain-filter

Merge pull request #7383 from rgacogne/rec-retry-on-full-pipe

rec: Try another worker before failing if the first pipe was full

Merge pull request #7382 from rgacogne/unskew-dns-random

Fix dns_random() always returning 0 when the minimum acceptable value is 0

Add 'errfds' to whitelist

Merge pull request #7376 from stephanbosch/patch-1

“third party” is adjective and needs hyphen

Merge pull request #7199 from Habbie/builder-cache-buster

builder: add docker cache busting support

Merge pull request #7379 from pieterlexis/gen-version-on-shallow

Make version correct on shallow copies

rec: Try another worker before failing if the first pipe was full

When the recursor is configured to distribute incoming queries to
its worker threads itself, and in the unlikely case that the pipe
to the selected thread is full, randomly select another worker to
handle the query. If this one fails too, we give up.

Fix dns_random() always returning 0 when the minimum acceptable value is 0

Make version correct on shallow copies

Closes #7378

Merge pull request #7178 from rgacogne/rec-skip-cname-ns-zone

rec: Skip NS for the exact zone in CNAME answers

“third party” is adjective and needs hyphen

Fix -Wextra warnings, mostly about members initialization order

Add things to the spelling whitelist

Use algo nums to compare default-*-algorithm

Merge remote-tracking branch 'origin/master' into double-cname-dns64

Add memlock, Sandboxing, tunables to the spell check whitelist

Detect the systemd version and enable sandboxing features accordingly

Mode sandboxing using systemd's features

Merge pull request #7371 from rgacogne/doc-minumum

auth: Fix 'minumum' typo in the docs

Merge pull request #7369 from rgacogne/ddist-fix-dnscrypt

dnsdist: Fix compilation without DNSCrypt support enabled

auth: Fix 'minumum' typo in the docs

Merge pull request #7320 from pieterlexis/auth-lower-udp-trunc

auth: lower udp-truncation-threshold by default to 1232

Merge pull request #7351 from jsoref/tests-output

Tests output

dnsdist: Fix compilation without DNSCrypt support enabled

Merge pull request #7367 from rgacogne/rec-filterpo-spellcheck

rec: Appease the Gods of spell checking

Add tests for getFakeAAAARecords

Merge pull request #7366 from rgacogne/rec-rpz-qname-pol-tests

rec: Add some python regression tests for RPZ qname policies

rec: Appease the Gods of spell checking