Merge pull request #3443 from ahupowerdns/speedups

Speedups! Closes some big impediments for performance & even correctness

Merge pull request #3442 from pieterlexis/recursor-ixfr-catch-exception

recursor: catch exception during IXFR of RPZ

Merge pull request #3444 from pieterlexis/recursor-ixfr-tsig-algo-names

recursor: set the TSIG algoname on IXFR correctly

Merge pull request #3445 from pieterlexis/recursor-rpz-docs

Document recursor RPZ options

Document recursor RPZ options

recursor: set the TSIG algoname on IXFR correctly

recursor: catch exception during IXFR of RPZ

This would lead to a SIGABRT before when the IXFR failed.

we were inconsistent in comparing ComboAddresses with sin_family==0. Removed possibility for inconsistency, plus surrounded this bug with unit tests. Added similar test for DNSName.

Merge pull request #3432 from rgacogne/dnsdist-split-tests

dnsdist: Split Caching, Routing and Spoofing from "Advanced" tests

Merge pull request #3429 from mind04/failed

make sure we don't forget passing test marked as failing

Merge pull request #3435 from Habbie/lua-dnsname

add two methods to DNSName for recursor Lua scripting

Merge pull request #3433 from rgacogne/dnsdist-check-response

dnsdist: Check that the answer matches the initial query over UDP

Merge pull request #3437 from Habbie/lua-pdnsunixtime

add pdns.now timeval struct to recursor lua

Merge pull request #3439 from Habbie/lua15minutes

link to learn lua in 15 minutes

lots of speedups local to zoneparser-tng, mostly reducing malloc load and locale use

add "reuseport" to recursor as a switch, off by default

we used toString() to compare incoming packets - showed up in profile at 3% or so

we don't need set close on exec in pdns_recursor since it won't (can't) exec anything

because unset/empty netmasks did not compare as equal, we would fill the cache with tens of thousands of duplicate entries per name

add pdns.now timeval struct to recursor lua

link to learn lua in 15 minutes

Merge pull request #3434 from Habbie/remove-old-lua-recursor

remove v3 lua recursor files (dead code)

Merge pull request #3428 from zeha/apirrsets

API: Fix zone/records design mistake

add two methods to DNSName for recursor Lua scripting

remove v3 lua recursor files (dead code)

dnsdist: Split Caching, Routing and Spoofing from "Advanced" tests

Merge pull request #3423 from Habbie/tinydns-yak

tinydns testing yaks

Merge pull request #3422 from ahupowerdns/multispoof

Multispoof: make the dnsdist spoofing actions accept multiple IPv4 and IPv6 addresses, retaining old syntax + updated regression tests

dnsdist: Check that the answer matches the initial query over UDP

If we wrap around our maxOutstanding counter too fast, we need
to check that the answer we get is for the right query.
In order to do that, we now parse the question section in the
response and compare it to the one we expect (type, class and
name).

update incbin to upstream 3d4aa9, fixing osx builds

s/failing/fail

remove 'failing' flag for passing oracle tests

remove 'failing' flag for passing bind tests

remove 'failing' flag for passing ldap tests

add 'fail.*' option to the regression-test
A failing test must be brokem.

API: Fix zone/records design mistake

Turn Comment.qname into a DNSName

gsql: Remove stripDot where not needed

detect (g)md5sum to support osx brew usage

update tinydns data with cdnskey-cds-test.com domain

support dynamic loading of bindbackend

drop args, use vars like other scripts do, default to assuming they are on PATH

switch to bash; add -u (abort on use of unset var) to flags

Merge pull request #3412 from pieterlexis/dnsdist-check-config

Dnsdist check config

Merge pull request #3419 from Habbie/ldap-skipless

we skip too many ldap tests - unskip those that appear to actually work

Merge pull request #3418 from Habbie/ldap-strict

add ldap strict mode testing

document the new powers of domainspoof/spoofaction in dnsdist

Merge pull request #3420 from Habbie/no-verbose-wildcard-crash

don't servfail on unset wildcard in addNSEC when verbose logging is enabled

Merge pull request #3399 from mind04/rsabits

report OpenSSL RSA keysize in bits

Merge pull request #3413 from rgacogne/dnsdist-healthcheck-messages

dnsdist: log health check error messages even when verbose is off

Merge pull request #3411 from rgacogne/dnsdist-nopacketcache-tcp

dnsdist: Do not share the packet cache entries between TCP and UDP

Merge pull request #3356 from rgacogne/dnsdist-parse-failures-log

dnsdist: Display the query ID and remote IP when parsing fails

make dnsdist spoofing actions support multiple A and AAAA records which we'll shuffle and include, plus regression tests for same

don't servfail on unset wildcard in addNSEC when verbose logging is enabled

document dnsdist regression tests, make it possible to run only part of the regression tests (& document that too)

we skip too many ldap tests - unskip those that appear to actually work

add ldap strict mode testing

Merge pull request #3407 from cmouse/permit-star-entry

Permit star entry

test that API accepts wildcard name

dnsdist: log health check error messages even when verbose is off

This still requires setVerboseHealthChecks(true), but not global
verbose anymore, as the later logs every queries and thus is not
usable on a large deployment.

report an error when we die when .. dnsdist sends us an unexpected answer?!

silence warning about our vinfolog macro (perhaps we should see if we can improve the macro)

refuse to validate empty space - @zaphodb, this may be your crash

turns out we were using libc tolower in performance sensitive places.. top in perf

prevent us dying on emitting error message about unexpected packet

dnsdist: add --check-config commandline switch

This allows testing of the configuration before one will try to restart
dnsdist with a broken config. Additionally, add tests to confirm the
config check still works.

dnsdist: Explicitly use python2 for tests

Permit star, fixes #3406

Merge pull request #3410 from ahupowerdns/recuweb

Merge Recuweb - built in live webpage for recursor

dnsdist: Do not share the packet cache entries between TCP and UDP

It would obviously cause issues, for example with truncated
responses. It is possible to disable the cache for all TCP queries
by using something like:

addAction(TCPRule(true), SkipCacheAction())

Merge pull request #3408 from rgacogne/dnsdist-default-pool

dnsdist: Always create the default pool, clean related log messages

missing symlink

distribute the recuweb stuff to the tarball

make / work too for recuweb

reinstate recuweb, but now internally!

recuweb in recursor 4.0 built in

Merge pull request #3404 from pieterlexis/sles12

Add SLES 12 support to the build-auth-rpm script

It's name, not label.

Merge pull request #3405 from rgacogne/dnsdist-health-check-failures

dnsdist: Add health check logging, `maxCheckFailures` to backend

Merge pull request #3403 from rgacogne/dnsdist-more-tests

dnsdist: Add missing QPSPoolAction & DNSSECRule. Add missing tests.

Merge pull request #3398 from rgacogne/dnsdist-oustanding

dnsdist: Better handling of outstanding counter

dnsdist: Add health check logging, `maxCheckFailures` to backend

`maxCheckFailures` allows waiting for several health check failures
before marking a downstream server down.
Health check errors are logged only in verbose mode and if
`setVerboseHealthChecks()` is set to true.

dnsdist: Always create the default pool, clean related log messages

dnsdist: Add missing QPSPoolAction & DNSSECRule. Add missing tests.

QPSPoolAction() and DNSSECRule() are mentioned in the README but
the Lua bindings were missing.
Add missing tests for some actions and rules.
Clean existing tests a bit in the process.

Add SLES support to the build-auth-rpm script

report OpenSSL RSA keysize in bits

Merge pull request #3397 from mind04/missing

[WIP] add missing files for tools and testrunner to auth tar.bz2

add missing files for tools and testrunner to auth tar.bz2

Merge pull request #3395 from Habbie/dist-dnsrecords-hh

re-dist dnsrecords.hh

re-dist dnsrecords.hh

Merge pull request #3368 from rubenk/link-internal-libs-directly

Link our internal libs directly

Merge pull request #3225 from pieterlexis/docs-400

[Needs review] Many additions and changes to the docs

dnsdist: Better handling of outstanding counter

The outstanding value is now displayed in `showServers()` and we
set the IDS age to 0 as soon as we get a response to prevent
the maintainer thread from cleaning it up during our processing.

Merge pull request #3394 from rgacogne/dnsdist-drop

dnsdist: Fix the Drop action over UDP

Merge pull request #3373 from Habbie/single-place-builds

Give each binary a single place for building

dnsdist: Fix the Drop action over UDP

I broke the Drop action over UDP in commit
1a2a4e68b6368361981cf525e0c5cad3b63c3788 and somehow we did not
have any regression tests actually testing it.

Merge pull request #3372 from Habbie/ldap-testing

make ldap testable, add travis testing

nit

Merge pull request #3388 from rgacogne/dnsdist-lua-lock

dnsdist: Lock the Lua context before executing a LuaAction

dnsdist: Lock the Lua context before executing a LuaAction

Otherwise the stack of the Lua context might get corrupted
whenever another Lua function (blockfilter, policy, maintenance or
another LuaAction) is simultaneously called from another thread.

We might be able to use a separate execution stack via
createThread()/lua_newthread(), but if I understand correctly how
it works, we would need to be sure that the Lua function called
does not access the global state at all, which is probably too
restrictive.

This should fix #3374, #3375, #3376, #3377, #3378, #3379, #3383,
and hopefully the random travis failures in our regression tests.