Fix stats handling for TCP queries.

The previous commit tried to fix the fact that TCP queries were
not correctly accounted, but did not properly handle the fact that
several queries can be sent over a single connection.
Responses were not properly handled either.

Add per-frontend stats to dnsdist

For now, we only display the number of queries received for each
frontend, separating TCP and UDP.

Merge pull request #2846 from rgacogne/dnsdist-rings-rwlocks

Protect dnsdist client and query rings with a RW lock. Plus IDstate lock, which we might be able to remove later. It is going to be bad for performance.

Protect dnsdist IDState and query ring with a RW lock

The IDState issue is mainly origFD, modified by maintThread on timeout while used by the others.
upStatus and availability in DownstreamState are also causing complaints from helgrind / TSAN,
but I believe we can live with racy status and availability.

fix up incbin, with the great help of Dale Weiler. Closes #2957. dnsdist works on our raspberries again!

Merge pull request #2979 from mind04/keycount

check number of keys in trustedkeys file

Merge pull request #2977 from rgacogne/dnsdist-client-getserver

Make getServer() return a dummy one in client mode. Closes #2976.

Merge pull request #2974 from rgacogne/dnsdist-tcp-closed

Gracefully handle a reused downstream TCP connection dying on us

fix up TTL for RPZ zones, and allow override from config

regression-tests: don't include zsk keys with 257 in content in trustedkeys

Make getServer() return a dummy one in client mode. Closes #2976.

more const; disable useless compiler warning

add default/override policies to RPZ, move RPZ config to the Lua configuration file, fix up so that the overrides based on IP addresses in the zone actually work

move our RPZ blocking to the most GLORIOUS NetmaskTree (thanks Aki!)

default zone for zoneparser should be the root, not the "empty DNSName"

const correctness for sortlist comparator

after some further bikeshedding..

it is that kind of day. Or one of those days.

Gracefully handle a reused downstream TCP connection dying on us

In dnsdist, we try to reuse TCP connection to Downstream servers
as much as possible. However, when sending the size of a new
query, we didn't properly handle a connection being closed by the
downstream server.

Turns out, writing tests actually help finding bugs, who
would have thought?

Merge pull request #2964 from Habbie/checkzone-nodot

Fix trailing dot issues in pdnssec check-zone

our messages on filedescriptors were hard to understand

our delaypipe tests sometimes fail, this might at least tell us why. perhaps.

Package some more tools in the semi-static pdns-tools

show trustedkeys after testrun

check number of keys in trustedkeys file

Merge pull request #2967 from mind04/travis

redo .travis.yml

sortlist docs

speedup travis build?

more s/geoipbackend/geoip

redo .travis.yml

emit single dot for root entry in zoneparser-tng

move root-dot method into dnsname

teach getZoneRepresentation to optionally skip the trailing dot on non-root names

nit

Merge pull request #2853 from pieterlexis/pdnstool

Rename pdnssec to pdnsutil: the pain will be huge, but worth it!

Merge pull request #2963 from cmouse/tinycdb-cerr

Remove cerr logging from normal build

Update the documentation wrt renaming pdnssec

Rename pdnssec to pdnsutil

Remove cerr logging from normal build

fix up sortlist to removal of confusing operator[] from netmasktree

Merge pull request #2956 from cmouse/netmasktree-sp1

Netmasktree sp1

Merge pull request #2953 from zeha/api-crash

API: fix crash introduced in abb873ee

Merge pull request #2960 from ahupowerdns/ringcount

merge dynamic blocklist stuff

Merge pull request #2959 from ahupowerdns/lua-travis

Lua travis: fix so travis can build and test us successfully, with or without Lua

add dynamic blocklist to the webpage

add showDynBlocks(), add way to add message for block reason

implement a dynamic blocklist in the core of dnsdist, so it operates Lua-free. Plus add METRICS! MORE METRICS!

not only compile without lua, but also work!

unify various rings, make generic query infra NOTE - WE STILL DON'T LOCK THE RINGS CONSISTENTLY

make sdig wait only 10 seconds, which _might_ give more helpful debugging output in travis. At least earlier :-)

for shame

implement a maintenance() function in dnsdist lua which can configure dynamic filters, plus add ringbuffer tooling to do so:

dyn = newNMG()
function blockFilter(remote, qname, qtype, dh)
-- print(string.format("Called from %s", remote:tostring()))
if(dyn:match(remote))
then
print("Blocking query from " .. remote:tostring() .. " because dynamic blocklist")
return true
end
return false
end

function maintenance()
local newdyn = newNMG()
local exc=exceedServfails(1, 3) -- more than 1 qps over 3 seconds
newdyn:add(exc)
for k, v in pairs( exc ) do
   newdyn:add(k)
end

exc=exceedNXDOMAINs(3, 10)   -- more than 3 qps over 10 seconds
for k, v in pairs( exc ) do
   print("Adding because of NXDOMAIN: "..k:tostring())
   newdyn:add(k)
end

newdyn:add(exceedByterate(1000, 4)) -- more than 1000 bytes/s over 4 seconds

dyn=newdyn
end

we might have more DiffTimes

and the .h..

this restores being able to build recursor w/o Lua, and also continues Travis testing of recursor w/o Lua

move all the lua configuration items to a struct that is RCU for easy reloading

was looking in the wrong place!

see if this makes travis build with Lua

Merge pull request #2945 from cmouse/geoip-interpolation

Geoip interpolation and sundry of fixes.

the day you new that would be arriving: a Lua configuration file for Recursor. Also implements sortlist & makes Lua mandatory (for now) in Recursor

add a single-netmask long test case for netmasktree

Add has_key method

Add few comments

Remove NetmaskTree#[] from geoipbackend

Remove [] accessors

revert to std::string in DNSName for now since Centos6 boost does not have boost::container::string - we should autodetect this with #if on BOOST_VERSION

Merge pull request #2954 from cmouse/deforeach-remote

Fix remotebackend for loops

API: fix crash introduced in abb873ee

And rename the involved var so its clearer what is going on.

Correct the name of the unixODBC package on centos

make nxdomains/noerror responses work. We validate the NSEC/NSEC3 records, but don't yet prove they cover the right things.

hook up ECDSA in git pdns_recursor build, not yet in separate tarball. Fix up CNAME chains and resolving insecure domains with do=1

Merge pull request #2943 from ahupowerdns/deforeach

Do we want this? remove BOOST_FOREACH, fixes two bugs

whitespace conflict. Merge branch 'master' into deforeach

Conflicts:
pdns/dnssecinfra.cc

Merge pull request #2942 from ahupowerdns/deserial

Deserial: remove boost serialization from configure.ac and includes, speeding up builds

Merge pull request #2944 from rgacogne/sanitizers

Add configure options to build dnsdist with various sanitizers

Merge pull request #2947 from rgacogne/dnsdist-tcp-check-len

Check the length of TCP queries in dnsdist

Merge pull request #2948 from rgacogne/dnsname-check-offset-len

Check that offset < len in DNSName constructor

Merge pull request #2950 from pieterlexis/dnsdist-http-contenttype

dnsdist: Add the correct Content-Header for files

Merge pull request #2952 from pieterlexis/dnsdist-version-in-html

Show the dnsdist version in the html

ignore the dnsdist history file

Use symlink for gen-version script

dnsdist: show correct version in the webpage

dnsdist: Add the correct Content-Header for files

Ignore generated file

make nonconst version of getTag() too which is faster

Merge pull request #2949 from ahupowerdns/dprotect

Dprotect: dnssec validation of answers

Check that offset < len in DNSName constructor

Otherwise, we might call memchr() with garbage, as len and offset
are signed but memchr()'s n is unsigned (size_t).

hook up the validator code with the recursor, keep toysdig independent so it can source records over TCP/IP

Check the length of TCP queries

There is no point in trying to parse queries whose length
is < sizeof(dnsheader).

make sure we have enough space to receive those huge dnssec laden packets!

Remove unnecessary test

Add warning

Update docs

Add format specifier for IP

Update documentation

Remove unneeded 1.2.3.4 from dev lo

split out validation bits from toysdig, move to an 'Oracle' that provides answers. Next step: make SyncRes that Oracle in the recursor

Fix remotebackend for loops

Update test suite

Do not reset gl->netmask to 0