Add counter for ignored packets to recursor statistics (+docs).
Turns out recursor can be kept rather busy dealing with packets that will not show up anywhere.

Merge branch 'adp': better infrastructure for metering traffic, prettier grepq

fix up bandwidth exceeded limits, move dnsheader (12 bytes) into ringbuffer, add it to grepq output, make that somewhat pretty, plus fix up TCP reporting to the response rings

Merge pull request #3007 from ndonegan/patch-1

remotebackend Documentation Update

fix up dns ring measurements for BW and NXDOMAIN to not inflate rates erroneously

make grepq look at the the n newest queries, not the n oldest queries

implement grepq() for dnsdist

trim some dependencies for dnsdistdist benefit

make sure we insert query size on query ring too

Merge pull request #3005 from rgacogne/dnsdist-luajit

Add support for using LuaJIT in dnsdist

reenable in-tree dnsdist building

Update backend-remote.md

Update backend-remote.md

Update backend-remote.md

Update backend-remote.md

Documentation Update

Making it clearer that ZeroMQ backend uses the same JSON format as the pipe and unix backends.

Add support for using LuaJIT in dnsdist

LuaJIT support can be enabled with --with-luajit during configure.

let topClients() default to top-10

Merge pull request #2927 from rgacogne/dnsdist-ecs

add EDNS Client Subnet to dnsdist queries. And adds loads of tests, cleanups, improvements etc.

Merge pull request #2919 from zeha/api-dnsname-dot

API: dot correctness

Add more tests for dnsdist ECS support.

Add regression tests for rewriting the ECS value with
larger / smaller values.
Add one unit test for rewriting response.

Add EDNS Client Subnet to queries, unit tests and regression tests.

The main idea is to be able to add EDNS Client Subnet information
to queries to that the downstream servers know who the real client
is. This is easy if the query already has EDNS, since we just have
to add an ECS option to the existing pseudo-RR OPT. Note that if the
query has an existing ECS option, we just leave it as it is unless
setECSOverride has been set to true.
If the original query has no ENDS support, we can easily add the
pseudo-RR OPT with an ECS option, but we need to remove EDNS from
the response, otherwise the client might choke on it. This is not too
hard it the pseudo-RR is the last one, but otherwise removing it
could cause issue with name compression (offsets), therefore we
completely rewrite the response in that case.

This implementation tries hard not to parse the query, and not
to allocate too much objects to parse the response. The huge downside
is that we do not reuse as much parsing code as we probably could.

Unit tests have been added, they are not enabled unless
--enable-unit-tests is set.

Regression tests have been added in regression-tests.dnsdist.

Unit and regression tests are enabled in travis.

implement getNameWithAddr() for downstreams for pretty log messages

further rings speedup

some ring statistics speedups

log when adding a dynamic block

Merge pull request #2996 from zeha/jsoninterface

Rename setting json-interface to api

API: Update and add more examples

Fixes #2511.

API: dot correctness

From and to API consumers we'll now always require/send names (and
content) with dots. To the backend, we'll always require/send without
dots. Some API tests now check the data written to the sqlite DB, too.

Incoming names are now checked against a restricted list of chars,
fixing #1437. The double dot case is taken care of by DNSName (and
we'll no longer report an ISE if DNSName parsing fails - we make
sure to parse all names in a try/except).

Cleanup leftovers from pre-DNSName times.

Turn auth api tests back on in travis.

Add PacketCache::purgeExact

API: copy-edit the spec

Remove links to old documentation, fix some wordings.

API docs: fix section headers

when installing new overlapping dynamic block, record old number of blocks and keep that. More pleasing to the eye.

show some more block/drop kinds in webpage

also show dynblock number of blocks in showDynBlocks()

revamp dynamic block syntax, you now insert blocks per x seconds, and we display remaining seconds count, plus number of things blocked

netmask src rule did not show itself correctly in dnsdist output

resolve conflict, add reporting of acl/locals

Merge branch 'master' of github.com:PowerDNS/pdns

fill out acl and local to index.html

report acl and local addresses over web-api

Merge pull request #2999 from zeha/dnsdistrad

Improve dnsdist html a tiny bit more

Improve dnsdist html a tiny bit more

make webserver display acl-drops - vital debugging hint. Plus GPL reminder.

cleanup dnsdist javascript & html, plus make it look a lot prettier

Merge pull request #2998 from ahupowerdns/various

adds topBandwidth, starts process of abstracting out operations on rings

fix up dnsdist javascript to the new /api/v1/ URLs

Rename setting json-interface to api

Plus:
* Mark settings as available since 4.0, as before they were
called experimental-...
* Sync setting descriptions between auth and recursor.

Merge pull request #2993 from rgacogne/dnsdist-tuning

Allow setting maxOustanding and maxTCPClientThreads in configuration

Merge pull request #2994 from zeha/no-gcc3x

Drop compat code for gcc3.x/RHEL5

Drop compat code for gcc3.x/RHEL5

Closes #320

Merge pull request #2992 from Habbie/no-botan-1.8

get rid of botan 1.8

get rid of botan 1.8

Allow setting maxOustanding and maxTCPClientThreads in configuration

This commit adds the setMaxTCPClientThreads() and
setMaxUDPOutstanding() directives.
These controls, respectively, the maximum number of TCP threads
handling client connections and the maximum number of oustanding
UDP queries to a given backend server.
setMaxUDPOutstanding() is only usable at configuration-time, and
not at runtime.

remove outdated comment

fix up separate build

this should make us work on all arches for incbin

rgacogne found that arm has unsigned chars which broke all the things in yahttp @cmouse

hook up getTopBandwidth()

Merge pull request #2989 from Habbie/64bitpi

don't truncate timestamps on raspberry pi

rgacogne found that arm has unsigned chars which broke all the things in yahttp @cmouse

move ring stuff to own file, so it can share between dnsdist-lua and dnsdist-web, plus we get the locking in one place

this should make us work on all arches for incbin

Merge pull request #2990 from ndonegan/patch-1

Update backend-remote.md

Update backend-remote.md

Merge pull request #2972 from pieterlexis/no-more-experimental

Unmark several features as not-experimental

Merge pull request #2984 from rgacogne/dnsdist-frontend-stats

Add per-frontend stats to dnsdist

don't truncate timestamps on raspberry pi

Merge pull request #2983 from pieterlexis/ws-return-to-path

Redirect to the path of the request, not the root

Merge pull request #2962 from cmouse/tools-timeout

Make some tools timeout

Merge pull request #2973 from pieterlexis/move-qtypes-to-private

Move internal QTypes to the private range

Merge pull request #2965 from pieterlexis/negcache-tests-dotted-cname

Add negative caching with dotted cnames test

Merge pull request #2970 from pieterlexis/h-root-update

Update root hints for h.root-servers.net

Merge pull request #2975 from stasic/patch-2

make logging output identical

Merge pull request #2985 from rgacogne/dnsdist-rd-queries

Add stats for RD queries in dnsdist

Merge pull request #2986 from rgacogne/dnsdist-idstate-lock

Remove the IDState lock.

Fix stats handling for TCP queries.

The previous commit tried to fix the fact that TCP queries were
not correctly accounted, but did not properly handle the fact that
several queries can be sent over a single connection.
Responses were not properly handled either.

Remove the IDState lock.

Keeping a copy of the origFD in the response handling thread and
setting ids->age to 0 before setting ids->origFD in the UDP query
thread should prevent dropping query because of a race.

Add per-frontend stats to dnsdist

For now, we only display the number of queries received for each
frontend, separating TCP and UDP.

Add stats for RD queries in dnsdist

Merge pull request #2846 from rgacogne/dnsdist-rings-rwlocks

Protect dnsdist client and query rings with a RW lock. Plus IDstate lock, which we might be able to remove later. It is going to be bad for performance.

Update root hints for h.root-servers.net

https://lists.dns-oarc.net/pipermail/dns-operations/2015-November/013862.html

Protect dnsdist IDState and query ring with a RW lock

The IDState issue is mainly origFD, modified by maintThread on timeout while used by the others.
upStatus and availability in DownstreamState are also causing complaints from helgrind / TSAN,
but I believe we can live with racy status and availability.

Redirect to the path of the request, not the root

If you proxy at e.g. /auth, redirecting to / 'breaks' the flow.

fix up incbin, with the great help of Dale Weiler. Closes #2957. dnsdist works on our raspberries again!

Merge pull request #2979 from mind04/keycount

check number of keys in trustedkeys file

Merge pull request #2977 from rgacogne/dnsdist-client-getserver

Make getServer() return a dummy one in client mode. Closes #2976.

Merge pull request #2974 from rgacogne/dnsdist-tcp-closed

Gracefully handle a reused downstream TCP connection dying on us

fix up TTL for RPZ zones, and allow override from config

regression-tests: don't include zsk keys with 257 in content in trustedkeys

Make getServer() return a dummy one in client mode. Closes #2976.

more const; disable useless compiler warning

add default/override policies to RPZ, move RPZ config to the Lua configuration file, fix up so that the overrides based on IP addresses in the zone actually work

move our RPZ blocking to the most GLORIOUS NetmaskTree (thanks Aki!)

default zone for zoneparser should be the root, not the "empty DNSName"

const correctness for sortlist comparator

after some further bikeshedding..

make logging output identical

'pdns_control notify' and 'pdns_control notify-host' produce now the same output message

it is that kind of day. Or one of those days.

Gracefully handle a reused downstream TCP connection dying on us

In dnsdist, we try to reuse TCP connection to Downstream servers
as much as possible. However, when sending the size of a new
query, we didn't properly handle a connection being closed by the
downstream server.

Turns out, writing tests actually help finding bugs, who
would have thought?