Package some more tools in the semi-static pdns-tools

Merge pull request #2967 from mind04/travis

redo .travis.yml

sortlist docs

speedup travis build?

more s/geoipbackend/geoip

redo .travis.yml

Merge pull request #2853 from pieterlexis/pdnstool

Rename pdnssec to pdnsutil: the pain will be huge, but worth it!

Merge pull request #2963 from cmouse/tinycdb-cerr

Remove cerr logging from normal build

Update the documentation wrt renaming pdnssec

Rename pdnssec to pdnsutil

Remove cerr logging from normal build

fix up sortlist to removal of confusing operator[] from netmasktree

Merge pull request #2956 from cmouse/netmasktree-sp1

Netmasktree sp1

Merge pull request #2953 from zeha/api-crash

API: fix crash introduced in abb873ee

Merge pull request #2960 from ahupowerdns/ringcount

merge dynamic blocklist stuff

Merge pull request #2959 from ahupowerdns/lua-travis

Lua travis: fix so travis can build and test us successfully, with or without Lua

add dynamic blocklist to the webpage

add showDynBlocks(), add way to add message for block reason

implement a dynamic blocklist in the core of dnsdist, so it operates Lua-free. Plus add METRICS! MORE METRICS!

not only compile without lua, but also work!

unify various rings, make generic query infra NOTE - WE STILL DON'T LOCK THE RINGS CONSISTENTLY

make sdig wait only 10 seconds, which _might_ give more helpful debugging output in travis. At least earlier :-)

for shame

implement a maintenance() function in dnsdist lua which can configure dynamic filters, plus add ringbuffer tooling to do so:

dyn = newNMG()
function blockFilter(remote, qname, qtype, dh)
-- print(string.format("Called from %s", remote:tostring()))
if(dyn:match(remote))
then
print("Blocking query from " .. remote:tostring() .. " because dynamic blocklist")
return true
end
return false
end

function maintenance()
local newdyn = newNMG()
local exc=exceedServfails(1, 3) -- more than 1 qps over 3 seconds
newdyn:add(exc)
for k, v in pairs( exc ) do
   newdyn:add(k)
end

exc=exceedNXDOMAINs(3, 10)   -- more than 3 qps over 10 seconds
for k, v in pairs( exc ) do
   print("Adding because of NXDOMAIN: "..k:tostring())
   newdyn:add(k)
end

newdyn:add(exceedByterate(1000, 4)) -- more than 1000 bytes/s over 4 seconds

dyn=newdyn
end

we might have more DiffTimes

and the .h..

this restores being able to build recursor w/o Lua, and also continues Travis testing of recursor w/o Lua

move all the lua configuration items to a struct that is RCU for easy reloading

was looking in the wrong place!

see if this makes travis build with Lua

Merge pull request #2945 from cmouse/geoip-interpolation

Geoip interpolation and sundry of fixes.

the day you new that would be arriving: a Lua configuration file for Recursor. Also implements sortlist & makes Lua mandatory (for now) in Recursor

add a single-netmask long test case for netmasktree

Add has_key method

Add few comments

Remove NetmaskTree#[] from geoipbackend

Remove [] accessors

revert to std::string in DNSName for now since Centos6 boost does not have boost::container::string - we should autodetect this with #if on BOOST_VERSION

Merge pull request #2954 from cmouse/deforeach-remote

Fix remotebackend for loops

API: fix crash introduced in abb873ee

And rename the involved var so its clearer what is going on.

Correct the name of the unixODBC package on centos

make nxdomains/noerror responses work. We validate the NSEC/NSEC3 records, but don't yet prove they cover the right things.

hook up ECDSA in git pdns_recursor build, not yet in separate tarball. Fix up CNAME chains and resolving insecure domains with do=1

Merge pull request #2943 from ahupowerdns/deforeach

Do we want this? remove BOOST_FOREACH, fixes two bugs

whitespace conflict. Merge branch 'master' into deforeach

Conflicts:
pdns/dnssecinfra.cc

Merge pull request #2942 from ahupowerdns/deserial

Deserial: remove boost serialization from configure.ac and includes, speeding up builds

Merge pull request #2944 from rgacogne/sanitizers

Add configure options to build dnsdist with various sanitizers

Merge pull request #2947 from rgacogne/dnsdist-tcp-check-len

Check the length of TCP queries in dnsdist

Merge pull request #2948 from rgacogne/dnsname-check-offset-len

Check that offset < len in DNSName constructor

Merge pull request #2950 from pieterlexis/dnsdist-http-contenttype

dnsdist: Add the correct Content-Header for files

Merge pull request #2952 from pieterlexis/dnsdist-version-in-html

Show the dnsdist version in the html

ignore the dnsdist history file

Use symlink for gen-version script

dnsdist: show correct version in the webpage

dnsdist: Add the correct Content-Header for files

Ignore generated file

make nonconst version of getTag() too which is faster

Merge pull request #2949 from ahupowerdns/dprotect

Dprotect: dnssec validation of answers

Check that offset < len in DNSName constructor

Otherwise, we might call memchr() with garbage, as len and offset
are signed but memchr()'s n is unsigned (size_t).

hook up the validator code with the recursor, keep toysdig independent so it can source records over TCP/IP

Check the length of TCP queries

There is no point in trying to parse queries whose length
is < sizeof(dnsheader).

make sure we have enough space to receive those huge dnssec laden packets!

Remove unnecessary test

Add warning

Update docs

Add format specifier for IP

Update documentation

Remove unneeded 1.2.3.4 from dev lo

split out validation bits from toysdig, move to an 'Oracle' that provides answers. Next step: make SyncRes that Oracle in the recursor

Fix remotebackend for loops

Update test suite

Do not reset gl->netmask to 0

Do not cache unknown responses

Support content interpolation

Add configure options to build dnsdist with various sanitizers.

It makes it really easy to enable ASAN, LSAN, MSAN, TSAN, or
USBSAN on a custom build, to track issues.

Turn on EDNS subnet processing

Add interpolation test

Fix test suite name

Fix test suite name

Add interpolation test setup

Add interpolation support for content

move everything to getMDP(), first step in abstracting to be able to talk to SyncRes too

Merge branch 'master' into dprotect

there was a BOOST_REVERSE_FOREACH!

there was a BOOST_REVERSE_FOREACH!

remove boost/foreach includes & autoconf bit

final BOOST_FOREACH cleanup

further for range cleanups

foreach fixup

small range for fixup

some more simpe ones

further straightforward cases

remove all the obviously translatable uses of BOOST_FOREACH

prevent a storm of string copies just for getting the minTTL of a packet

remove boost serialization which actually shaves seconds off ./configure and probably more off our build times

Merge pull request #2939 from rgacogne/dnsdist-truncated

Drop truncated UDP messages caused by a small buffer. Note: might be a good idea for rest of our products as well!

Merge pull request #2941 from sid3windr/patch-2

Correct small typo in dns64 documentation

Merge branch 'pcserial' from @ahupowerdns

improve filedescriptor requesting code so it requests more filedescriptors, plus actually uses the number of launched threads in the calculation... Potentially relevant for 3.7.3 as well!

EMFILE was (out of filedescriptors, too many open files) was reported as an error that could be blamed on the remote nameserver instead of on the OS, causing throttle actions.