rec: Use a separate, non-blocking pipe to distribute queries

This allows us to drop queries when a pipe goes full, thus still
distributing queries to other threads instead of blocking. It also
adds a new metric to keep track of queries dropped because the pipe
was full.

Merge pull request #6528 from cmouse/geoip

docs: geoip-database-files has not been dropped in v4.2.0

Merge pull request #6537 from zeha/lgtm-cleanup

Cleanup small issues found by lgtm.com

Merge pull request #6538 from zeha/lgtm-config

Add custom config for lgtm.com

Merge pull request #6545 from Habbie/6312-redux

auth: lower 'packet too short' loglevel in another place

Merge pull request #6557 from Habbie/rec_control-include-dir

make rec_control respect include-dir; closes #6536

Merge pull request #6558 from Habbie/bind-no-suffix

bindbackend: refuse launch suffixes

Merge pull request #6560 from Habbie/compile-and-test

split compile/test in pull request template

split compile/test in pull request template

document bindbackend launch limitation

bindbackend: refuse launch suffixes

make rec_control respect include-dir; closes #6536

Remove redundant function declaration

Add config for lgtm.com

auth: lower 'packet too short' loglevel in another place

Merge pull request #6539 from Habbie/config-help

document undocumented config vars

document undocumented config vars

configuration variables without a help string do not show up in --help and
pdns_control current-config

Add some missing header include guards

Catch exceptions by-ref

Merge pull request #6534 from rgacogne/rec-fix-tcp

Restore the existing behaviour of Socket::connect() with a 0 timeout

Merge pull request #6526 from rgacogne/calidns-ecs-from-file

 calidns: Add an option to read ECS values from the query file, skip comments

Restore the existing behaviour of Socket::connect() with a 0 timeout

73ba5999186da82b444472170f7e0ce312ce536b rightly removed the code
duplication between `Socket::connect()` and `SConnectWithTimeout()`.
Unfortunately the two codes had different behaviours when connecting
in non-blocking mode with a timeout value of zero. The first one
just returned the socket descriptor on `EINPROGRESS`, rightly
assuming that a value of 0 for the timeout meant not to wait for the
connection to established, while `SConnectWithTimeout()` did not
handle that special case, because it was never called with a value
of 0 for the timeout duration.

Merge pull request #6503 from rgacogne/rec-udp-allocs

 rec: Remove some unnecessary allocations and copies in the UDP path

Merge pull request #6524 from rgacogne/dnsdist-multi-certs

dnsdist: Add support for more than one TLS certificate

Merge pull request #6531 from Habbie/lua-meta-interleaved

avoid interleaved access to B (via d_dk)

Merge pull request #6530 from cmouse/ssqlite3

Add missing overrides

avoid interleaved access to B (via d_dk)

godbcbackend: Add missing overrides to SODBC

Found by Travis

ssqlite3: Add missing overrides

Found by Travis

calidns: Skip empty lines, or lines starting with a '#'

calidns: Add an option to read ECS values from the query file

Merge pull request #6529 from chbruyand/luarec-configure

configure: ensure lua is setup when lua records are enabled

configure: ensure lua is setup when lua records are enabled

docs: geoip-database-files has not been dropped in v4.2.0

Merge pull request #6527 from chbruyand/luarec-docs

docs: clarify ifportup and fix some typos

fix configure issues and disable lua records for el6 and sles

luarec tests: double instructions performed to test timeout

docs: clarify ifportup and fix some typos

Merge pull request #6525 from rgacogne/calidns-max-qps

calidns: Add a maximum-qps option to stay at a given stable load

Merge pull request #6171 from ahupowerdns/luarec

LUA Records (yes we know it is Lua)

docs: bump auth version to 4.2 for luarec integration

adjust EXTRA_DIST source

Merge pull request #6523 from rgacogne/dnsdist-rings-sharding-test

 dnsdist tests: avoid failure on not-so-optimal distribution

calidns: Add a maximum-qps option to stay at a given stable load

dnsdist: Add support for more than one TLS certificate

dnsdist: Restore a permissive check so we notice a really bad regression

dnsdist tests: avoid failure on not-so-optimal distribution

(cherry picked from commit d54864b1b0bd670722cf70a3e58d230aaab3a14a)

Merge pull request #6519 from Habbie/travis-luajit

switch travis to luajit; lower luajit required version to 2.0.2

allow luajit 2.0.2

switch travis to luajit

License minicurl files under the MIT license

add lua-reccord-exec-limit option to pdns_server

rethrow lua execution exception with reason

Merge pull request #6508 from rgacogne/rec-rpz-seed-file

rec: Add the possibility to preload RPZ from file, dump updates to a file

rec: Add documentation for the RPZ's `dumpFile` and `seedFile` options

rec: Add the possibility to dump RPZ updates to a file

rec: Add seedFile to load RPZ zones from a file, then update via IXFR

Merge pull request #6498 from cmouse/dnsbackend

dnsbackend: Make isMaster a const

Merge pull request #6506 from rgacogne/rec-stop-rpz-threads-reload

rec: Stop the obsolete RPZ threads after a Lua configuration reload

Merge pull request #6507 from Habbie/autoconf-quotes-lua2

autoconf: fix quoting; fix lua2 backend liblua check

Merge pull request #6509 from KamagoNet/ldap-remove-compiler-warnings

Remove compiler warnings pointed by Aki

Merge pull request #6511 from rgacogne/rec-luajit-rdynamic

rec: Add -rdynamic to C{,XX}FLAGS when we build with LuaJIT

rec: Add -rdynamic to C{,XX}FLAGS when we build with LuaJIT

We need that to get the FFI symbols exported.

clean todolist

remove unecessary requirements

Merge pull request #6493 from gryphius/spare-no-expanse

fix doc typo: expension->expansion

Merge pull request #6494 from cyclops1982/mydns-1

Remove very-long-txt from "to sql" for mydns test

auth: test GeoIP related features of LUA Records

missing requests package

Remove compiler warnings pointed by Aki

autoconf: centralise lua* backend liblua check

add lua rec tests to travis build

add --disable-lua-records option

autoconf: correctly quote AC_MSG_ERROR inside AS_IF

Merge pull request #6502 from rgacogne/dnsdist-wrandom-tests

dnsdist: Be more permissive in wrandom tests, log values on failure

rec: Stop the obsolete RPZ threads after a Lua configuration reload

rec: Don't copy the UDP query from a buffer to a string

rec: Remove unnecessary allocations and copies in DNSComboWriter

Auth: fix tools build

sync with g_log var

Merge remote-tracking branch 'origin/master' into luarec

* origin/master: (241 commits)
  ixfrdist: fix review comments by @rgacogne
  ixfrdist: don't use variable length array
  ixfrdist: reverse no source and ACL checks
  ixfrutil: ensure it does not print by itself
  ixfrdist: use the logging module
  logger: Allow logging with the severity prefix
  auth: Link dnspcap2protobuf against librt when needed
  Update metrics.rst
  requeue serial check if NOTIFY comes in while incoming AXFR is ongoing
  improve slave NOTIFY logging
  Add return 0 for correct exit of set-kind and set-account
  Test dependencies is too recent a feature, disable the uninit test
  rec: Set the RNG parameter to "auto" in the SyncRes unit tests
  Fix the dns_random unit tests, test all available backends
  make lock test pass on macOS
  ixfrdist: update manpage
  ixfrdist: Use workers to handle TCP connections
  Fix a warning on botan >= 2.5.0
  Fix compilation and use of getrandom() when available
  lualang.org -> lua.org
  ...

dnsdist: Be more permissive in wrandom tests, log values on failure

dnsbackend: Make isMaster a const

The const keyword fell to wrong side of the function,
so move it where it belongs to.

Broken in a2dfc9ea78614a9eef514a612117e507d70d4664

luarec: add basic tests

Auth: replace Socket::connect() implementation with SConnectWithTimeout

Remove very-long-txt from "to sql" for mydns test

This avoids the issue that the TXT column is too long (more than 128 chars)

fix doc typo: expension->expansion

Merge pull request #6489 from pieterlexis/issue-6468-ixfrdist-thread-axfr

ixfrdist: use worker threads to handle TCP connections

Merge pull request #6472 from setharnold/patch-5

lualang.org -> lua.org

Merge pull request #6473 from setharnold/patch-6

lualang.org -> lua.org

Merge pull request #6480 from rgacogne/dnsrandom_unit_tests

Fix the dns_random unit tests, test all available backends

Merge pull request #6481 from cyclops1982/6471

Add return 0 for correct exit of set-kind and set-account

Merge pull request #6485 from phonedph1/patch-1

Update metrics.rst

Merge pull request #6487 from rgacogne/auth-dnspcap2protobuf-rt

auth: Link dnspcap2protobuf against librt when needed

ixfrdist: fix review comments by @rgacogne

Merge pull request #6484 from Habbie/recheck-serial

recheck serial when AXFR is done

ixfrdist: don't use variable length array

ixfrdist: reverse no source and ACL checks

ixfrutil: ensure it does not print by itself

ixfrdist: use the logging module