for shame

implement a maintenance() function in dnsdist lua which can configure dynamic filters, plus add ringbuffer tooling to do so:

dyn = newNMG()
function blockFilter(remote, qname, qtype, dh)
-- print(string.format("Called from %s", remote:tostring()))
if(dyn:match(remote))
then
print("Blocking query from " .. remote:tostring() .. " because dynamic blocklist")
return true
end
return false
end

function maintenance()
local newdyn = newNMG()
local exc=exceedServfails(1, 3) -- more than 1 qps over 3 seconds
newdyn:add(exc)
for k, v in pairs( exc ) do
   newdyn:add(k)
end

exc=exceedNXDOMAINs(3, 10)   -- more than 3 qps over 10 seconds
for k, v in pairs( exc ) do
   print("Adding because of NXDOMAIN: "..k:tostring())
   newdyn:add(k)
end

newdyn:add(exceedByterate(1000, 4)) -- more than 1000 bytes/s over 4 seconds

dyn=newdyn
end

we might have more DiffTimes

Merge pull request #2945 from cmouse/geoip-interpolation

Geoip interpolation and sundry of fixes.

the day you new that would be arriving: a Lua configuration file for Recursor. Also implements sortlist & makes Lua mandatory (for now) in Recursor

add a single-netmask long test case for netmasktree

revert to std::string in DNSName for now since Centos6 boost does not have boost::container::string - we should autodetect this with #if on BOOST_VERSION

Merge pull request #2954 from cmouse/deforeach-remote

Fix remotebackend for loops

Correct the name of the unixODBC package on centos

make nxdomains/noerror responses work. We validate the NSEC/NSEC3 records, but don't yet prove they cover the right things.

hook up ECDSA in git pdns_recursor build, not yet in separate tarball. Fix up CNAME chains and resolving insecure domains with do=1

Merge pull request #2943 from ahupowerdns/deforeach

Do we want this? remove BOOST_FOREACH, fixes two bugs

whitespace conflict. Merge branch 'master' into deforeach

Conflicts:
pdns/dnssecinfra.cc

Merge pull request #2942 from ahupowerdns/deserial

Deserial: remove boost serialization from configure.ac and includes, speeding up builds

Merge pull request #2944 from rgacogne/sanitizers

Add configure options to build dnsdist with various sanitizers

Merge pull request #2947 from rgacogne/dnsdist-tcp-check-len

Check the length of TCP queries in dnsdist

Merge pull request #2948 from rgacogne/dnsname-check-offset-len

Check that offset < len in DNSName constructor

Merge pull request #2950 from pieterlexis/dnsdist-http-contenttype

dnsdist: Add the correct Content-Header for files

Merge pull request #2952 from pieterlexis/dnsdist-version-in-html

Show the dnsdist version in the html

ignore the dnsdist history file

Use symlink for gen-version script

dnsdist: show correct version in the webpage

dnsdist: Add the correct Content-Header for files

Ignore generated file

make nonconst version of getTag() too which is faster

Merge pull request #2949 from ahupowerdns/dprotect

Dprotect: dnssec validation of answers

Check that offset < len in DNSName constructor

Otherwise, we might call memchr() with garbage, as len and offset
are signed but memchr()'s n is unsigned (size_t).

hook up the validator code with the recursor, keep toysdig independent so it can source records over TCP/IP

Check the length of TCP queries

There is no point in trying to parse queries whose length
is < sizeof(dnsheader).

make sure we have enough space to receive those huge dnssec laden packets!

Remove unnecessary test

Add warning

Update docs

Add format specifier for IP

Update documentation

Remove unneeded 1.2.3.4 from dev lo

split out validation bits from toysdig, move to an 'Oracle' that provides answers. Next step: make SyncRes that Oracle in the recursor

Fix remotebackend for loops

Update test suite

Do not reset gl->netmask to 0

Do not cache unknown responses

Support content interpolation

Add configure options to build dnsdist with various sanitizers.

It makes it really easy to enable ASAN, LSAN, MSAN, TSAN, or
USBSAN on a custom build, to track issues.

Turn on EDNS subnet processing

Add interpolation test

Fix test suite name

Fix test suite name

Add interpolation test setup

Add interpolation support for content

move everything to getMDP(), first step in abstracting to be able to talk to SyncRes too

Merge branch 'master' into dprotect

there was a BOOST_REVERSE_FOREACH!

there was a BOOST_REVERSE_FOREACH!

remove boost/foreach includes & autoconf bit

final BOOST_FOREACH cleanup

further for range cleanups

foreach fixup

small range for fixup

some more simpe ones

further straightforward cases

remove all the obviously translatable uses of BOOST_FOREACH

prevent a storm of string copies just for getting the minTTL of a packet

remove boost serialization which actually shaves seconds off ./configure and probably more off our build times

Merge pull request #2939 from rgacogne/dnsdist-truncated

Drop truncated UDP messages caused by a small buffer. Note: might be a good idea for rest of our products as well!

Merge pull request #2941 from sid3windr/patch-2

Correct small typo in dns64 documentation

Merge branch 'pcserial' from @ahupowerdns

improve filedescriptor requesting code so it requests more filedescriptors, plus actually uses the number of launched threads in the calculation... Potentially relevant for 3.7.3 as well!

EMFILE was (out of filedescriptors, too many open files) was reported as an error that could be blamed on the remote nameserver instead of on the OS, causing throttle actions.

also report fd usage in recursor

fix back the scopemask stuff we removed from the ueberbackend query cache

move dnsname to boost::container::string, remove horrible serialization from packetcache

Merge pull request #2934 from cmouse/gdobc-stuff

Fix gODBC for MSSQL - this corrects the breakage from #2929

nit

Merge pull request #2931 from pieterlexis/dnsdist-version

small dnsdist enhancements

Maurice Makaay spotted that dnsdist built-in-webserver URLs were needlessly absolute. They are relative now. Thanks!

Drop truncated UDP messages caused by a small buffer.

When we receive a message too large for our buffer, recvmsg() will
truncate the content to fit the buffer and set the MSG_TRUNC flag.
There is no point in trying to parse this message because we will
choke during the parsing anyway.

stop testing odbc/sqlite on travis as ubuntu trusty has broken versions of all the relevant libs

Merge pull request #2935 from pieterlexis/comma-sep-arguments-consistent

Allow the use of spaces to parse options

Allow the use of spaces to parse options

Merge pull request #2893 from yossigo/fix_missing_ipv6

Gracefully handle cases where IPv6 (AF_INET6) is not supported.

Merge pull request #2920 from stasic/patch-1

use the vars

Retrieve data only once

Fix example in the README.md

Rename the dnsdist history file to something less generic

dnsdist: Add version number to startup message

Add a bunch of new options to the dnsdist manpage

Add the final dnsdist executable to .gitignore

Add --version to dnsdist

add setting edns-outgoing-bufsize for setting the default EDNS bufsize in recursor for outgoing queries

Merge pull request #2932 from ahupowerdns/fixmalloc

get travis to merge us again

potentially get travis to build us correctly again

add ./configure --enable-malloc-trace which will cause powerdns recursor (for now) to trace malloc calls and report them as metrics.

shave off 23 mallocs per cache miss

Merge pull request #2929 from cmouse/godbc-stuff

gODBC touches

Add godbc_sqlite3 to help

Use sizeof instead of magic number

Use 128k fetch buffer

Consume variable length data in parts

NUL-safe select

Merge pull request #2923 from pieterlexis/pipe-backend-fixes

pipe: Correctly initialize the abi-version var