Fix dns_random() in pdns_notify, it needs ::args setup properly.

Init required args before calling dns_random()

No clue why this only happens only on Ubuntu trusty...

Replace almost all occurences of random() by dns_random().

Exceptions are the ones in misc.cc, because they introduce a
dependency to libsodium and/or librypto, which is not wanted in
dnsdist.

The calls in misc,.cc are not security-sensitive so it is not a big
deal to use a deterministic PRNG there.  Also, improve Utility::srandom()
a bit and call it in the recursor.

Add back call to srandom() in common startup. srandom() is still used
and needs seeding (even if the seeding itself is predicable)

Move from random() to dns_random()

An alternative would be to make sure srandom() is always called.
But since dns_random() has the nice uniform upperbound API, I have
chosen to use that one.

Use dns_random() for generating the id of the notify message.

This does introduce a (conditional) dependency on libsodium.

Utility::random() and srandom() is not used anymore.

Avoid infinite loop in mydnsbackend.

Merge pull request #7472 from mind04/compress

Do not compress the root

Merge pull request #7470 from mind04/lmdb-missing

auth: lmdb-backend avoid duplicate NSEC3 records in presigned zones

Merge pull request #7142 from 1848/checkinterval

dnsdist: Add option to set interval between health checks

Merge pull request #7467 from Habbie/pdnsutil-compare

pdnsutil: fix signed/unsigned comparison, closes #7465

Do not compress the root

Merge pull request #7432 from mikedamm/master

Clarify documentation to reflect actual behavior of includeDirectory

auth: lmdb-backend avoid duplicate NSEC3 records in presigned zones

pdnsutil: fix signed/unsigned comparison, closes #7465

Merge pull request #7421 from aerique/feature/support-for-github-access-tokens

Hack in support for GitHub access tokens.

Merge pull request #7464 from robinmulder/default-webserver-port

Fix default webserver port in documentation

Fix default webserver port in documentation

Merge pull request #7457 from omoerbeek/fix-openbsd-warnings

sprintf, strcpy and const method case

Merge pull request #7433 from zeha/update-yahttp

Resync yahttp code to cmouse/yahttp@11be77a1fc4032

Merge pull request #7453 from ahupowerdns/pdns-lmdb-2

Authortitative LMDB backend.

hook up lmdbbackend to configure, regression tests & travis

add builder files and regression tests for lmdb

expand pdnsutil load-zone so it can load multiple zone/filename pairs in one go

speed up pdnsutil list-zone significantly, plus load up the lmdbbackend files

Merge pull request #7450 from omoerbeek/avoid-unaligned-access

Avoid unaligned access, it hurts on e.g. sparc64

Merge pull request #7438 from Habbie/travis-alias

travis auth: install dnsmasq, configure it on 127.0.0.53

sprintf, strcpy and const method case

Merge remote-tracking branch 'origin/master' into avoid-unaligned-access

Avoid unaligned access, it hurts on e.g. sparc64

Merge pull request #7441 from dol/fix/dnsdist-docs

[dnsdist] Fix wrong version numbering of new features

Merge pull request #7440 from aerique/feature/rec-4.1.11-changelog-and-secpoll

Update changelog and secpol for rec-4.1.11 and rec-4.2.0-alpha1.

Fix wrong version numbering of new features

travis auth: install dnsmasq, configure it on 127.0.0.53

Merge pull request #7435 from aerique/feature/auth-4.1.6-changelog-and-secpoll

Update changelog and secpoll for auth-4.1.6 release.

Add secpoll for auth-4.1.6.

Update changelog for auth-4.1.6.

Merge pull request #7400 from pieterlexis/5900-and-other-doc-fixes

Several documentation fixes and a small fix for the NOD `configure.ac`

Resync yahttp code to cmouse/yahttp@11be77a1fc4032ed268cb5a80eb2aa1d14ce849d

Merge pull request #7428 from ahupowerdns/redo-remotelogger

Reduce systemcall usage in protobuf logging

Clarify documentation to reflect actual behavior

includeDirectory will only include *.conf files, this was not mentioned in the documentation

Reduce systemcall usage in protobuf logging

Since Spectre/Meltdown, system calls have become more expensive.  In
addition, relevant versions of glibc turn out to implement pthread_cond_wait
and pthread_cond_signal in such a way that they use multiple system calls always.
There is an optimization in glibc to improve this but it is disabled.

This new setup changes our protobuf logging so it amortizes system calls so we perform
far less than one call per message.

Note that our previous RemoteLogger was configured in terms of how many
*messages* it would buffer. Our new code is configured in terms of how many
*bytes*. I have multiplied the configured numbers by 100 elsewhere (recursor
config, dnsdist config) to sort of maintain parity.

In addition, the old RemoteLogger would buffer messages while there was no
connection available. We no longer do this.

Finally new, every 'reconnectTimeout' seconds we will flush our buffers
opportunistically to not keep people waiting.

Merge pull request #7350 from sjvs/patch-2

Remove Flake8 from lgtm.yml

Merge pull request #7422 from Habbie/luarec-unnest-exception

LUA: report nested exception

Merge pull request #7426 from Habbie/mvrule-off-by-one

fix off-by-one in mvRule counting

Merge remote-tracking branch 'origin/master' into 5900-and-other-doc-fixes

fix off-by-one in mvRule counting

this makes mvRule(0,x) work where x is the highest rule number

LUA: report nested exception

Merge pull request #7416 from rgacogne/perl-instead-of-sed-makefile

Use perl instead of sed to conditionally remove lines from Makefiles

Merge pull request #7417 from ahupowerdns/begone-spellcheck

While we all enjoy grate spelling, this was just to much hassle

further cleanup

While we all enjoy grate spelling, this was just to much hassle

Use perl instead of sed to conditionally remove lines from Makefiles

Merge pull request #7414 from aerique/feature/update-changelog-for-rec-4.1.10

Update changelog and secpoll for rec-4.1.10.

Merge pull request #7413 from Habbie/epoch-not-deprecated

fix 4.0 changelog that wrongly said SOA-EDIT=EPOCH was deprecated

Merge pull request #7404 from rgacogne/rec-answers-aa

rec: Sanitize records received before doing anything else

Fix broken grammar.

Update changelog and secpoll for rec-4.1.10.

Merge pull request #7412 from ahupowerdns/smart-whitespace

Be smarter about trimming whitespace when creating records from ASCII

fix 4.0 changelog that wrongly said SOA-EDIT=EPOCH was deprecated

closes #7384

use a consistent space predicate

Be smarter about trimming whitespace when creating records from ASCII

In ff7ac440afdae4370e12a1b9eb21d4b1389a861f we added trimming of whitespace,
so you could turn " 1.2.3.4 " into an A record 0x01020304. This commit made us more flexible
but also six times slower in some microbenchmarks.

This commit restores the old performance which shaves double digits percentages of time from many
benchmarks in 'speedtest', while making "make-a record" six times faster again.

Merge pull request #6634 from rgacogne/more-systemd-sandboxing

More sandboxing using systemd's features

Merge pull request #7353 from ahupowerdns/narrow-additional-lookup

Fix attempt to restrict/speed-up additional processing to auth zone

Merge pull request #7401 from rgacogne/rec-hooks-tcp

rec: Fix our Lua hooks not being called over TCP when distributing

Whitelist the 'tcpaaaa' variable name..

Merge pull request #7402 from ahupowerdns/oracle-warning

note in docs that oracle gets no free support

Whitelist NXQ

rec: Fix SyncRes unit test since unrelated additional records are now scrubbed

rec: Don't cache non-AA records that we won't use

rec: Fix broken (bad AA bit, missing RRSIG) SyncRes unit tests

rec: Scrub SOA records in authority for AA=0 answers

rec: Be more permissive with CNAME in AA=0 answers

rec: Fix nits (trailing whitespaces, useless return statement)

rec: Add unit tests for the records sanitization in SyncRes

rec: Sanitize records received before doing anything else

rec: Refuse records in the answer section of AA=0 responses

note that oracle gets no free support

rec: Call the ipfilter hook if any over TCP as well

rec: Load the Lua script in the distributor threads, for TCP

rec: Test the Lua hooks over TCP and with distributes-queries

Merge pull request #7370 from pieterlexis/double-cname-dns64

Fix output packets when using getFakeAAAARecords

Merge pull request #7375 from rgacogne/extra-warnings

Fix -Wextra warnings, mostly about members initialization order

Merge pull request #7388 from rgacogne/fix-boost-random-header

Move UUID generators to a common function, fix boost 1.69.0 warning

Merge pull request #7399 from rgacogne/rec-4.1.9-release

rec: Add ChangeLog and secpoll update for the 4.1.9 release

Merge remote-tracking branch 'origin/master' into 5900-and-other-doc-fixes

appease the spelling gods

Merge remote-tracking branch 'origin/master' into fix-boost-random-header

Merge remote-tracking branch 'origin/master' into extra-warnings

rec: Add ChangeLog, advisories and secpoll update for the 4.1.9 release

Merge pull request #7392 from zeha/spellcheck

Spellcheck fixes

whitelist.words: Add "filtername"

Fix typo in "collisions"

Merge pull request #7391 from rgacogne/dnsdist-doc-typo-collisons

dnsdist: Fix 'collisons' typo in the docs

dnsdist: Fix 'collisons' typo in the docs

docs: fix link from changelog to manpage

Sort the NOD/UDR settings and fix underlines

NOD: use LOCALSTATEDIR and nod PREFIX/var as dir

docs: Sphinx markup for added/removed settings

Closes #5900