Merge pull request #6350 from rgacogne/dnsdist-lua-inspection-perfs

dnsdist: Speed up the processing of large ring buffers

Merge pull request #6354 from Habbie/zpt-eof-crash

rather than crash, sheepishly report no file/linenum

Merge pull request #6360 from Habbie/mirror-dnsperf

use mirror for dnsperf

use mirror for dnsperf

Merge pull request #6356 from chbruyand/update-dnsdistconf-lua

dnsdist: Update deprecated syntax used in dist configuration file

rather than crash, sheepishly report no file/linenum

Before this commit, you could crash pdnsutil edit-zone this way:
1) run pdnsutil edit-zone example.org
2) add a line saying: IN TXT ("
3) exit editor

I suspect other consumers of the zone file parser could also crash this way.

After this commit, we don't crash but we fail to report the line number.
There is room for more improvement here.

dnsdist: Move StatNode's counters to uint64_t

dnsdist: Fix StatNode stats update

dnsdist: Restore StatNode's children (optionnally) for dnsscope

dnsdist: Use a reserve()'d unordered_map for exceed* functions

Merge pull request #6326 from rgacogne/calidns-ecs

calidns: Add the --ecs parameter to add random ECS values to queries

dnsdist: Update deprecated syntax used in dist configuration file

Merge pull request #6345 from pieterlexis/secpoll-update

Update secpoll

dnsdist: Don't copy data around in the exceed* functions

dnsdist: Don't copy labels into a deque when inserting in StatNode

dnsdist: Don't keep track of the remote in StatNode

We don't use them (they are not even available from Lua) and it
becomes very painful when you have a lot of different remotes in
the ring buffers.

Merge pull request #6338 from cmouse/lua

build lua2 backend packages

Update secpoll

build lua2 backend packages

Merge pull request #6335 from Habbie/jessie-unbound

note that libunbound also needs to come from backports

Merge pull request #6334 from Habbie/deb892718

add latest deb9 auth to secpoll

note that libunbound also needs to come from backports

add latest deb9 auth to secpoll

Merge pull request #6330 from Habbie/tkey-py3

make tkey.py work on Python 3

make tkey.py work on Python 3

calidns: Add the --ecs parameter to add random ECS values to queries

Merge pull request #6157 from cmouse/lua

Lua2 backend

Merge pull request #5361 from oridistor/master

See #3602, made requests always return to sender, for usage in multi …

Merge pull request #6324 from pieterlexis/waitForMultiData-unused-var-fix

Fix unused variable compiler warning

Merge pull request #6325 from zeha/auth-api-409

Auth API: return status 409 if domain already exists (+test cleanup

Merge pull request #6289 from zeha/dnsdist-stats

dnsdist: unify global stats accounting

Merge pull request #6322 from zeha/dnsdist-tests

dnsdist tests: make py3k compatible and pick py3k if available

Merge pull request #6323 from zeha/dnsdist-remotelogger-checkconfig

dnsdist: create RemoteLoggers in client mode, but avoid connecting

travis: Run tests for lua2

lua2backend: Add new backend

This is API version 1 of lua2 backend.

It provides improved interface for Lua script to act as backends.

Configuration
 - `lua2-filename` - path to script
 - `lua2-query-logging` - log lua queries and results
 - `lua2-api' - API version (default 2)

pdns: Include lua-auth and it's dependencies in pdnsutil

Needed by lua2 backend

lua-base4: Add QType methods

lua-base4: Expose more DNSName methods

These are needed to implement lua2 backend

lua-base4: Add newDRR for making DNSResourceRecords

Remove latency tracking for TCP again, for now

api tests: pick python3 if available

Auth API: return status 409 if domain already exists #4482

api tests: fix up for py3k and other cleanup

Fix unused variable compiler warning

Document protobufServer behaviour change

dnsdist tests: make py3k compatible and pick py3k if available

dnsdist: create RemoteLoggers in client mode, but avoid connecting

Fixes a nullptr deref under --check-config.

TeeAction: make getStats() order deterministic

Merge pull request #6304 from Habbie/unbreak

unbreak various things

make travis happy about new json sorting?

test: fix comments-in-forward-zones-file sorting?

another shot at zone2ldap.1

do dist zone2ldap.1 always

don't try to package ixfrdist.service on trusty

only build zone2ldap.1 when needed

package ixfrdist for sles

test: add zone2json to debian packages

test: remove ldap backend for SLES build some more

test: remove ldap backend for SLES build

again do not try to make /usr/bin/pdns_notify

do not try to make /usr/bin/pdns_notify

luabackend: do not assume binary paths

luabackend: do not _tostring t tables and userdata

Merge pull request #6320 from rgacogne/rec-cache-a-aaaa

rec: Fix ECS-specific NS AAAA not being returned from the cache

rec: Fix ECS-specific NS AAAA not being returned from the cache

Reported by Andreas Jakum (thanks!).

Merge pull request #6306 from rgacogne/rec-update-ecs-index-only-when-needed

rec: Only update the ECS cache index when needed

Merge pull request #6311 from pieterlexis/6305-dnsdist-exit-on-wrong-option

dnsdist: Exit with code 1 on invalid parameter

Merge pull request #6313 from rgacogne/rec-auth-zone-cache-miss

rec: Count a lookup into an internal auth zone as a cache miss

rec: Add the auth-zone-queries metric counting queries to hosted zones

rec: Initialize SyncRes::d_authzonequeries

rec: Count a lookup into an internal auth zone as a cache miss

We only considered a query a cache miss if we had to do at least
one outgoing query, but having to look up into one of the internally
hosted zone (auth-zones) should count as a cache miss too.

Merge pull request #6276 from pieterlexis/issue-6270-dnsupdate-cname

dnsupdate: Reject updates if they would lead to CNAME+Other data

Merge pull request #6243 from mind04/rectify2

Auth: fix rectify (ordername) for non dnssec zones

Merge pull request #6278 from cmouse/pkcs11

pkcs11signers: Fix yubikey NEO to work

Merge pull request #6297 from Habbie/check-zone-unknown-type-content

make check-zone error on rows that have content but shouldn't

Merge pull request #6296 from kaosdrachen/feature-recursor.d

Add a default include-dir for recursor as per auth

Merge pull request #6310 from Habbie/ship-ixfrdist-service

ship ixfrdist.service in tools deb

dnsdist: Exit with code 1 on invalid parameter

Closes #6305 for master

ship ixfrdist.service in tools deb

Merge pull request #6309 from jpmens/patch-10

fix typo

fix typo

rec: Only update the ECS cache index when needed

We don't need to update the ECS index when replacing an existing
entry, except if the entry has expired, because then we might have
removed it from the ECS index.

Merge pull request #6300 from ahupowerdns/ecs-expire-fix

Fix ECS-based cache entry refresh code

Merge pull request #6301 from zeha/rapidjson-cleanup

Remove leftover -I ext/rapidjson

Merge pull request #6302 from rgacogne/axfr-timeout-length

ixfrdist: Also respect the AXFR timeout for the chunk's length

ixfrdist: Also respect the AXFR timeout for the chunk's length

We used to apply the default timeout of 10s to retrieve the chunk's
length even if we were passed a different one.

Remove leftover -I ext/rapidjson

Merge pull request #6299 from rgacogne/dnsdist-doc-MaxQPSRule

dnsdist: Fix the documentation for MaxQPSRule()

Merge pull request #6291 from pieterlexis/ixfrdist-read-properly

ixfrdist: Read only the amount of bytes we need

Merge pull request #6290 from pieterlexis/rec-axfr-timeout

rec: Implement settable AXFR timeout for RPZ

Fix ECS-based cache entry refresh code

This would lead to us not refreshing ECS-varying answers in the cache, and therefore an even more depressed cache rate.

Thanks to @liordot who found the issue & provided a fix in #6241.

pkcs11signers: Use OpenSSL to parse EC parameters if available

This allows more than just two EC key types to be supported.

pdnsutil: Check that hsm was provided a sub-command

Fixes signal 11 crash due to null pointer comparison

pkcs11signers: Support separate public key label

At least Yubikey NEO has separate private and public key labels
so support providing both when necessary.

pkcs11signers: Get actual slot IDs from PKCS#11 device

Some devices have slots that do not start from 0, so we ask
for the slot IDs from the device and iterate those instead of
just guessing the slot ID.

add missing !

dnsdist: Fix the documentation for MaxQPSRule()

Contrary to MaxQPSIPRule(), MaxQPSRule() matches the traffic below
the QPS limit, not above.

Merge remote-tracking branch 'origin/master' into rec-axfr-timeout

Merge pull request #6100 from pieterlexis/ipv4-ipv6-equiv

auth: make outgoing-query-address{,6} behaviour equivalent

Merge pull request #6128 from cmouse/geoip

GeoIPbackend improvements