rgacogne found that arm has unsigned chars which broke all the things in yahttp @cmouse

move ring stuff to own file, so it can share between dnsdist-lua and dnsdist-web, plus we get the locking in one place

this should make us work on all arches for incbin

Merge pull request #2990 from ndonegan/patch-1

Update backend-remote.md

Update backend-remote.md

Merge pull request #2972 from pieterlexis/no-more-experimental

Unmark several features as not-experimental

Merge pull request #2984 from rgacogne/dnsdist-frontend-stats

Add per-frontend stats to dnsdist

Merge pull request #2983 from pieterlexis/ws-return-to-path

Redirect to the path of the request, not the root

Merge pull request #2962 from cmouse/tools-timeout

Make some tools timeout

Merge pull request #2973 from pieterlexis/move-qtypes-to-private

Move internal QTypes to the private range

Merge pull request #2965 from pieterlexis/negcache-tests-dotted-cname

Add negative caching with dotted cnames test

Merge pull request #2970 from pieterlexis/h-root-update

Update root hints for h.root-servers.net

Merge pull request #2975 from stasic/patch-2

make logging output identical

Merge pull request #2985 from rgacogne/dnsdist-rd-queries

Add stats for RD queries in dnsdist

Merge pull request #2986 from rgacogne/dnsdist-idstate-lock

Remove the IDState lock.

Fix stats handling for TCP queries.

The previous commit tried to fix the fact that TCP queries were
not correctly accounted, but did not properly handle the fact that
several queries can be sent over a single connection.
Responses were not properly handled either.

Remove the IDState lock.

Keeping a copy of the origFD in the response handling thread and
setting ids->age to 0 before setting ids->origFD in the UDP query
thread should prevent dropping query because of a race.

Add per-frontend stats to dnsdist

For now, we only display the number of queries received for each
frontend, separating TCP and UDP.

Add stats for RD queries in dnsdist

Merge pull request #2846 from rgacogne/dnsdist-rings-rwlocks

Protect dnsdist client and query rings with a RW lock. Plus IDstate lock, which we might be able to remove later. It is going to be bad for performance.

Update root hints for h.root-servers.net

https://lists.dns-oarc.net/pipermail/dns-operations/2015-November/013862.html

Protect dnsdist IDState and query ring with a RW lock

The IDState issue is mainly origFD, modified by maintThread on timeout while used by the others.
upStatus and availability in DownstreamState are also causing complaints from helgrind / TSAN,
but I believe we can live with racy status and availability.

Redirect to the path of the request, not the root

If you proxy at e.g. /auth, redirecting to / 'breaks' the flow.

fix up incbin, with the great help of Dale Weiler. Closes #2957. dnsdist works on our raspberries again!

Merge pull request #2979 from mind04/keycount

check number of keys in trustedkeys file

Merge pull request #2977 from rgacogne/dnsdist-client-getserver

Make getServer() return a dummy one in client mode. Closes #2976.

Merge pull request #2974 from rgacogne/dnsdist-tcp-closed

Gracefully handle a reused downstream TCP connection dying on us

fix up TTL for RPZ zones, and allow override from config

regression-tests: don't include zsk keys with 257 in content in trustedkeys

Make getServer() return a dummy one in client mode. Closes #2976.

more const; disable useless compiler warning

add default/override policies to RPZ, move RPZ config to the Lua configuration file, fix up so that the overrides based on IP addresses in the zone actually work

move our RPZ blocking to the most GLORIOUS NetmaskTree (thanks Aki!)

default zone for zoneparser should be the root, not the "empty DNSName"

const correctness for sortlist comparator

after some further bikeshedding..

make logging output identical

'pdns_control notify' and 'pdns_control notify-host' produce now the same output message

it is that kind of day. Or one of those days.

Gracefully handle a reused downstream TCP connection dying on us

In dnsdist, we try to reuse TCP connection to Downstream servers
as much as possible. However, when sending the size of a new
query, we didn't properly handle a connection being closed by the
downstream server.

Turns out, writing tests actually help finding bugs, who
would have thought?

Move internal QTypes to the private range

Closes #2924

Move current API path to /api/v1 from /

Closes #2612

Update pdns.conf-dist

Also mark dname-processing as stable

Webserver, API and dnsupdate are not experimental

Closes #2961

Merge pull request #2964 from Habbie/checkzone-nodot

Fix trailing dot issues in pdnssec check-zone

our messages on filedescriptors were hard to understand

our delaypipe tests sometimes fail, this might at least tell us why. perhaps.

Package some more tools in the semi-static pdns-tools

show trustedkeys after testrun

check number of keys in trustedkeys file

Merge pull request #2967 from mind04/travis

redo .travis.yml

sortlist docs

speedup travis build?

more s/geoipbackend/geoip

redo .travis.yml

Add pipe backend symlink

emit single dot for root entry in zoneparser-tng

move root-dot method into dnsname

teach getZoneRepresentation to optionally skip the trailing dot on non-root names

Add negative caching with dotted cnames test

nit

Merge pull request #2853 from pieterlexis/pdnstool

Rename pdnssec to pdnsutil: the pain will be huge, but worth it!

Merge pull request #2963 from cmouse/tinycdb-cerr

Remove cerr logging from normal build

Update the documentation wrt renaming pdnssec

Rename pdnssec to pdnsutil

Remove cerr logging from normal build

fix up sortlist to removal of confusing operator[] from netmasktree

Merge pull request #2956 from cmouse/netmasktree-sp1

Netmasktree sp1

Merge pull request #2953 from zeha/api-crash

API: fix crash introduced in abb873ee

Merge pull request #2960 from ahupowerdns/ringcount

merge dynamic blocklist stuff

Merge pull request #2959 from ahupowerdns/lua-travis

Lua travis: fix so travis can build and test us successfully, with or without Lua

add dynamic blocklist to the webpage

add showDynBlocks(), add way to add message for block reason

implement a dynamic blocklist in the core of dnsdist, so it operates Lua-free. Plus add METRICS! MORE METRICS!

not only compile without lua, but also work!

unify various rings, make generic query infra NOTE - WE STILL DON'T LOCK THE RINGS CONSISTENTLY

make sdig wait only 10 seconds, which _might_ give more helpful debugging output in travis. At least earlier :-)

for shame

implement a maintenance() function in dnsdist lua which can configure dynamic filters, plus add ringbuffer tooling to do so:

dyn = newNMG()
function blockFilter(remote, qname, qtype, dh)
-- print(string.format("Called from %s", remote:tostring()))
if(dyn:match(remote))
then
print("Blocking query from " .. remote:tostring() .. " because dynamic blocklist")
return true
end
return false
end

function maintenance()
local newdyn = newNMG()
local exc=exceedServfails(1, 3) -- more than 1 qps over 3 seconds
newdyn:add(exc)
for k, v in pairs( exc ) do
   newdyn:add(k)
end

exc=exceedNXDOMAINs(3, 10)   -- more than 3 qps over 10 seconds
for k, v in pairs( exc ) do
   print("Adding because of NXDOMAIN: "..k:tostring())
   newdyn:add(k)
end

newdyn:add(exceedByterate(1000, 4)) -- more than 1000 bytes/s over 4 seconds

dyn=newdyn
end

we might have more DiffTimes

Make some tools timeout

and the .h..

this restores being able to build recursor w/o Lua, and also continues Travis testing of recursor w/o Lua

move all the lua configuration items to a struct that is RCU for easy reloading

was looking in the wrong place!

see if this makes travis build with Lua

Merge pull request #2945 from cmouse/geoip-interpolation

Geoip interpolation and sundry of fixes.

the day you new that would be arriving: a Lua configuration file for Recursor. Also implements sortlist & makes Lua mandatory (for now) in Recursor

add a single-netmask long test case for netmasktree

Add has_key method

Add few comments

Remove NetmaskTree#[] from geoipbackend

Remove [] accessors

revert to std::string in DNSName for now since Centos6 boost does not have boost::container::string - we should autodetect this with #if on BOOST_VERSION

Merge pull request #2954 from cmouse/deforeach-remote

Fix remotebackend for loops

API: fix crash introduced in abb873ee

And rename the involved var so its clearer what is going on.

Correct the name of the unixODBC package on centos

make nxdomains/noerror responses work. We validate the NSEC/NSEC3 records, but don't yet prove they cover the right things.

hook up ECDSA in git pdns_recursor build, not yet in separate tarball. Fix up CNAME chains and resolving insecure domains with do=1

Merge pull request #2943 from ahupowerdns/deforeach

Do we want this? remove BOOST_FOREACH, fixes two bugs