dnsdist: Cleanup closed TCP downstream connections

Regularly walk the TCP downstream connections to properly close
whose that have been shutdown by the other end. It occurs only
after a TCP client connection has been closed and at most every
`setTCPDownstreamCleanupInterval()` seconds, defaulting to 60s.
Until now we only detected that the other end closed the connection
when we tried to reuse it. While this is not an issue with a small
number of backends because the connection are reused pretty quickly,
with a large number of backends dnsdist might end up with thousands
of idle TCP connections to downstream servers in `CLOSE_WAIT` state,
wasting open file descriptors.

Merge pull request #5147 from Habbie/lua-string-nul

LuaWrapper: Allow embedded NULs in strings received from Lua

Merge pull request #5150 from RobinGeuze/sortIncludeDirectory

dnsdist: Make includeDirectory work sorted #5053

Add documentation on the sorting to includeDirectory

Make includeDirectory work sorted

Merge pull request #5103 from rgacogne/rec-listening-socket-per-thread

rec: Use one listening socket per thread when reuseport is enabled

Merge pull request #5139 from rgacogne/rec-unit-tests

rec: Run unit tests, split recursor-specific unit tests from the auth

Merge pull request #5130 from rgacogne/dnsreplay-source

dnsreplay: Add `--source-ip` and `--source-port` options

Merge pull request #5145 from pieterlexis/debian-vers

Update secpoll entries

Merge pull request #5146 from Habbie/rec-mandatory-lua

make Lua mandatory for recursor builds

Merge pull request #5118 from Habbie/pdnsutil-add-active

fix add-zone-key help output

LuaWrapper: Allow embedded NULs in strings received from Lua

make Lua mandatory for recursor builds

secpoll: Use the correct URL for 4.X

secpoll: Add a bunch of debian versions

rec: Run unit tests, split recursor-specific unit tests from the auth

Some unit tests are common and will be run twice, once in the auth
build and once in the rec one. This ensures that they will be run on
rec-4.0.x and auth-4.0.x branches as well.

Merge pull request #5133 from Habbie/dnsdist-docs-udp

clarify that UDP is always there

clarify that UDP is always there

Merge pull request #4929 from zeha/postgres-stmt-name-collision

gpgsql: make statement names actually unique

Merge branch 'master' into postgres-stmt-name-collision

Merge pull request #5115 from pieterlexis/issue-1284

BIND backend: support "native" zones

dnsreplay: Add `--source-ip` and `--source-port` options

Merge pull request #5127 from rgacogne/rec-init-qhash-coverity

Fix minor issues reported by coverity

auth: Remove leftover `PacketHandler::doRecursion` member

Reported by Coverity.

rec: Initialize `qhash` to 0 to make coverity happy

Coverity reports that `qhash` might be used initialized if the packet
cache is disabled. It's indeed used to initialize `dc->d_qhash`, which
will not be used if the packet cache is disabled so there is no real
issue. Still, let's just initialize `qhash` since other tools like Valgrind
are very likely to complain about this too.

Merge pull request #5123 from RobinGeuze/fixFreeBSDBuildNetSNMP

dnsdist, rec: Replace net-snmp-includes.h with hand picked headers

Merge pull request #5125 from ahupowerdns/create-slave-zone

for create-slave-zone, actually add all slaves, and not only first n times

for create-slave-zone, actually look at subsequent arguments, and not keep on adding the first one. Closes #5124.

Replace net-snmp-includes.h with hand picked headers so it no longer breaks compile on FreeBSD

Merge pull request #5101 from rgacogne/cppcheck-rec-auth

Fix minor issues reported by `cppcheck`

Merge pull request #5120 from rgacogne/auth-reuseport-setuid

auth: Create additional `reuseport` sockets before dropping privileges

Merge pull request #5105 from rgacogne/auth-tinydns-leak

auth: Don't leak a CDB object in case of bogus data

Merge pull request #5116 from ahupowerdns/web-auth-digits

Close #1844: we report 1200 qps as 1.2e3 qps in auth webserver.

Merge pull request #5117 from ahupowerdns/qthread-error

Turn PDNSException in qthread into an error & exit instead of crash.

rec: Reorder the performance tips, clean up the markdown

rec: Document `pdns-distribute-queries` and `reuseport` in performance.md

rec: Use one listening socket per thread when reuseport is enabled

Except if `pdns-distributes-queries` is true, of course.
We used to shared the same listening socket between all threads
when `pdns-distributes-queries` is set to false, even with `reuseport`
set to true and `SO_REUSEPORT` support available. After this commit:
* if `pdns-distributes-queries` is true, the distributor thread
is still the only one listening to incoming queries
* if `pdns-distributes-queries` is false and either `reuseport` is
false or `SO_REUSEPORT` support is not available, all threads share
the same listening socket as it was before
* if `pdns-distributes-queries` is false, `SO_REUSEPORT` support is
available and `reuseport` is true, we open a separate listening
socket per thread to let the kernel distribute the incoming queries
for us, avoiding any thundering herd issue as well as the distributor
thread being a bottleneck.

Merge pull request #5113 from RobinGeuze/addPerPoolPolicy

dnsdist: Add support for setting the server selection policy on a per pool basis

Merge pull request #5102 from rgacogne/rec-packetcache-perf

rec: Packet cache speedup / cleanup

Merge pull request #5106 from rgacogne/rec-resolveat-split

rec: Split SyncRes::doResolveAt, add const and static whenever possible

fix add-zone-key help output

auth: Create additional `reuseport` sockets before dropping privileges

with this change, a crash because of a PDNSException in qthread gets turned into an error message and an exit. Closes #3830.

Fix comments from rgacogne
Use nullptr instead of NULL
Statically initialize policy to nullptr in Pool object
Actually set the global state for the pools after setting a new
server selection policy on a pool.

BIND backend: support "native" zones

Allow the use of `type native;` for zones in BIND config files. We also
assume the type is native if no type is specified.

Closes #1284

Also update showPools to display the used server selection policy

Add support for setting the server selection policy on a per pool basis

Close #1844: we report 1200 qps as 1.1e3 qps in auth webserver.

Merge pull request #4752 from mind04/norec

Remove recursion from auth

Merge pull request #4958 from paddg/patch-5

Tuning unit file for medium sized setups

Merge pull request #4966 from pari-/master

rec: enhance documentation

Merge pull request #5087 from Habbie/escape

escape markdown formatting chars

Merge pull request #5096 from pieterlexis/docs-howto-modernize

Docs: modernize the 'database' howto somewhat

Merge pull request #5100 from rgacogne/auth-docs-packet-cache-ttl

auth: Document that the cache respect the answer's TTL

Merge pull request #5089 from pieterlexis/dnsdist-api-404

dnsdist: Send a 404 on unknown API path

Merge pull request #5070 from pieterlexis/dnsdist-addAction-accept-DNSName

dnsdist addAction: Also DNSName(s)

Merge pull request #5094 from ahupowerdns/rfc2308

make our zone parser adhere to RFC2308 wrt implicit TTLs and add test. Adds note to release notes, plus some documentation to nobackend regression tests.

More sles dnsdist builder things

auth: Don't leak a CDB object in case of bogus data

Merge pull request #5104 from pieterlexis/sles-dnsdist-pkg

Add SLES support to dnsdist build-script

Merge pull request #5098 from shantikulkarni/patch-1

SOA object is required for all reverse zones

document the breaking change in zonefile parsing for the release notes.

make our zone parser adhere to RFC2308 wrt implicit TTLs and add test

make rfc2308 test less fragile by using jq

and a README to help the user get up to speed with these tests

make our zone parser adhere to RFC2308 wrt implicit TTLs and add test

rec: Mark pdns_recursor.cc functions/globals as static whenever possible

This might allow the compiler to do some optimizations, and also
make it easier to see where functions and globals are used when
reading the code.

rec: Constify SyncRes methods whenever possible

Add SLES support to dnsdist build-script

rec: Split SyncRes::doResolveAt()

rec: enhance documentation by adding/correcting 'Available
since'-tags for the diversity of available options

rec: Don't parse the QName in the packet cache if we already have it

When `gettag()` or protobuf are enabled, we have already parsed the
qname, qtype and qclass so pass them to the Packet Cache instead of
parsing them again.
Don't parse them several times if we have more than one match from
the cache either.

rec: Clean up time_t / uint32_t mix for the packet cache's TTD

Fix minor issues reported by `cppcheck`

auth: Document that the cache respect the answer's TTL

dnsdist addAction: Also DNSName(s)

escape markdown formatting chars

rec: Clean up the signedness of the packet cache's tag

rec: Speed up the packet cache

* Don't parse the response's qname for every call to
`getResponsePacket()`, this leads to a ~15% speed up on pure retrieval
* Only hash once, keep the hash result around, leading to a ~40%
speed up on insertion

SOA object is required for all reverse zones

As of 4.0.3, an reverse lookups in LDAP strict mode will not work without there being an object with an SOA entry for the reverse lookup zone.  This requirement is a change from 3.3.3. (Issue #5086)

Merge pull request #5097 from baloo/baloo/bugfixes/pysnmp

dnsdist: pysnmp4.3.4 fix compatibility problems with pyasn1

dnsdist: pysnmp4.3.3 fix compatibility problems with pyasn1

Signed-off-by: Arthur Gautier <baloo@gandi.net>

Revert "Fix pysnmp test error."

This reverts commit 9f512fd73afe7c2bceb8e42d7ff7eba527300408.

Docs: modernize the 'database' howto somewhat

Merge pull request #5092 from Habbie/unknown-types-jdnssec

map CDS and CDNSKEY to TYPExxx for jdnssec-verifyzone

dnsdist: Send a 404 on unknown API path

Before, a 401 would be sent for unknown API paths due to the strict
checking.

map CDS and CDNSKEY to TYPExxx for jdnssec-verifyzone

correct RPZ attribution

Merge pull request #5090 from baloo/baloo/bugfixes/pysnmp-fix

dnsdist: Fix pysnmp test error.

Fix pysnmp test error.

Should be reverted once https://github.com/etingof/pysnmp/issues/40 is
fixed and released (and pysnmp bumped to the newest version).

Signed-off-by: Arthur Gautier <baloo@gandi.net>

Merge pull request #5043 from cmouse/mydns

mydnsbackend: Add getAllDomains

Merge pull request #5063 from ahupowerdns/recwcardcname

Implement CNAME wildcards in recursor authoritative component

Merge pull request #5064 from pieterlexis/issue-554-generated-source

Indicate that dnslabeltext.cc is generated

Merge pull request #5078 from pieterlexis/issue-4939-error-on-non-existing-lua-conf

Throw an error when lua-conf-file can't be loaded

Merge pull request #5085 from rgacogne/calidns-ipv6

calidns: Use the correct socket family (IPv4 / IPv6)

add actual wildcard cname to test zone

calidns: Use the correct socket family (IPv4 / IPv6)

add a regression test for wildcard cnames recursor auth

Merge pull request #4920 from plzz/chopoff

Register DNSName::chopOff in lua

With this commit, the recursor authoritative server can deal with CNAME wildcards. This closes #2818.