Merge pull request #3458 from rgacogne/dnsdist-cache-tests

dnsdist: Fix cache tests. Clean tests backends.

Merge pull request #3451 from rgacogne/rec-replace-to-back

recursor: Move replaced cached entries to the back

Merge pull request #3449 from rgacogne/dnsdist-pool-terminal

dnsdist: Make PoolAction() stop the rule processing again

Merge pull request #3455 from ahupowerdns/comfun

DNSName escaped parsing speedups, comfun bulk zone/ns analysis tool, tiny dnsdist fixup

dnsdist: Fix cache tests. Clean tests backends.

Several issues:
- the cache tests used a vey small cache, not large enough for the
number of responses we expected to cache during the test suite
- this was hidden by the default response from the backends
matching what the test expected
- and by the backends not counting properly what looked like a
health check but wasn't.

Be a little more explicit on the addition of the SEP on CSKs

Merge pull request #3454 from pieterlexis/auth-4.0.0-alpha2-docs

Documentation updates for the upcoming alpha2 releases

Merge pull request #3453 from pieterlexis/silence-biowrite-warning

Silence a BIO_write warning

Recursor 4.0.0-alpha2 changelog

Documentation on Auth 4.0.0 alpha2

Silence a BIO_write warning

Merge pull request #3452 from pieterlexis/detect-network-libs

Detect several network libraries properly

this commit uglifies DNSName escaped representation parsing for tremendous speedup (2x) during bulk zone loading from disk or database.
Part of the uglification is that we now special case unescaped names, which are the vast majority of cases.
Simultaneously, this moves us back to DNSName boost::container::string on non-Apple platforms, which delivered another 15% speedup on general operations
Finally, an additional unit test is added.

Detect several network libraries properly

Closes #3369

set RD=1 in calidns for now, more right than what we do now..

don't add NSEC/NSEC3 unless the packet asked for DNSSEC records

gitignore comfun

scanning zonefiles & polling nameservers

Merge pull request #3037 from pieterlexis/issue-3024-ENT-cleanups

Remove superfluous gsql queries and stop relying on schema defaults

Merge pull request #3448 from zeha/recuconfig

Remove edns-subnet-whitelist whitelist pointing to powerdns.com

Merge pull request #3230 from zeha/websec

Auth/Recursor: drop JSONP, add web security headers

Merge pull request #3279 from zeha/bio-api-correctness

Handle return codes from OpenSSL BIO_*

Remove edns-subnet-whitelist whitelist pointing to powerdns.com

Handle return codes from OpenSSL BIO_*

Merge pull request #3443 from ahupowerdns/speedups

Speedups! Closes some big impediments for performance & even correctness

Merge pull request #3442 from pieterlexis/recursor-ixfr-catch-exception

recursor: catch exception during IXFR of RPZ

Merge pull request #3444 from pieterlexis/recursor-ixfr-tsig-algo-names

recursor: set the TSIG algoname on IXFR correctly

Merge pull request #3445 from pieterlexis/recursor-rpz-docs

Document recursor RPZ options

Document recursor RPZ options

recursor: set the TSIG algoname on IXFR correctly

recursor: catch exception during IXFR of RPZ

This would lead to a SIGABRT before when the IXFR failed.

recursor: Move replaced cached entries to the back

When we replace an existing entry, it keeps its existing place in
the expunge queue, while new entries are inserted to the back and
hits are moved to the back.
Moving replaced entries to the back of the queue is more fair and
so probably more efficient, as it would increase the likelihood of
expunging unused expired entries from the cache.

dnsdist: Make PoolAction() stop the rule processing again

It could clearly be confusing, and can easily be done by
ordering rules correctly anyway.
Thanks @rygl for the very valuable feedback.

we were inconsistent in comparing ComboAddresses with sin_family==0. Removed possibility for inconsistency, plus surrounded this bug with unit tests. Added similar test for DNSName.

Merge pull request #3432 from rgacogne/dnsdist-split-tests

dnsdist: Split Caching, Routing and Spoofing from "Advanced" tests

Stop relying on SQL schema defaults

Deprecate the insert-slave-query

Deprecate the insert-record-order-query

Remove superfluous gsql query for ENTs

This fixes part of #3024

Merge pull request #3429 from mind04/failed

make sure we don't forget passing test marked as failing

Merge pull request #3435 from Habbie/lua-dnsname

add two methods to DNSName for recursor Lua scripting

Merge pull request #3433 from rgacogne/dnsdist-check-response

dnsdist: Check that the answer matches the initial query over UDP

Merge pull request #3437 from Habbie/lua-pdnsunixtime

add pdns.now timeval struct to recursor lua

Merge pull request #3439 from Habbie/lua15minutes

link to learn lua in 15 minutes

lots of speedups local to zoneparser-tng, mostly reducing malloc load and locale use

add "reuseport" to recursor as a switch, off by default

we used toString() to compare incoming packets - showed up in profile at 3% or so

we don't need set close on exec in pdns_recursor since it won't (can't) exec anything

because unset/empty netmasks did not compare as equal, we would fill the cache with tens of thousands of duplicate entries per name

add pdns.now timeval struct to recursor lua

link to learn lua in 15 minutes

Merge pull request #3434 from Habbie/remove-old-lua-recursor

remove v3 lua recursor files (dead code)

Merge pull request #3428 from zeha/apirrsets

API: Fix zone/records design mistake

add two methods to DNSName for recursor Lua scripting

remove v3 lua recursor files (dead code)

dnsdist: Split Caching, Routing and Spoofing from "Advanced" tests

Merge pull request #3423 from Habbie/tinydns-yak

tinydns testing yaks

Merge pull request #3422 from ahupowerdns/multispoof

Multispoof: make the dnsdist spoofing actions accept multiple IPv4 and IPv6 addresses, retaining old syntax + updated regression tests

dnsdist: Check that the answer matches the initial query over UDP

If we wrap around our maxOutstanding counter too fast, we need
to check that the answer we get is for the right query.
In order to do that, we now parse the question section in the
response and compare it to the one we expect (type, class and
name).

update incbin to upstream 3d4aa9, fixing osx builds

s/failing/fail

remove 'failing' flag for passing oracle tests

remove 'failing' flag for passing bind tests

remove 'failing' flag for passing ldap tests

add 'fail.*' option to the regression-test
A failing test must be brokem.

API: Fix zone/records design mistake

Turn Comment.qname into a DNSName

gsql: Remove stripDot where not needed

detect (g)md5sum to support osx brew usage

update tinydns data with cdnskey-cds-test.com domain

support dynamic loading of bindbackend

drop args, use vars like other scripts do, default to assuming they are on PATH

switch to bash; add -u (abort on use of unset var) to flags

Merge pull request #3412 from pieterlexis/dnsdist-check-config

Dnsdist check config

Merge pull request #3419 from Habbie/ldap-skipless

we skip too many ldap tests - unskip those that appear to actually work

Merge pull request #3418 from Habbie/ldap-strict

add ldap strict mode testing

document the new powers of domainspoof/spoofaction in dnsdist

Merge pull request #3420 from Habbie/no-verbose-wildcard-crash

don't servfail on unset wildcard in addNSEC when verbose logging is enabled

Merge pull request #3399 from mind04/rsabits

report OpenSSL RSA keysize in bits

Merge pull request #3413 from rgacogne/dnsdist-healthcheck-messages

dnsdist: log health check error messages even when verbose is off

Merge pull request #3411 from rgacogne/dnsdist-nopacketcache-tcp

dnsdist: Do not share the packet cache entries between TCP and UDP

Merge pull request #3356 from rgacogne/dnsdist-parse-failures-log

dnsdist: Display the query ID and remote IP when parsing fails

make dnsdist spoofing actions support multiple A and AAAA records which we'll shuffle and include, plus regression tests for same

don't servfail on unset wildcard in addNSEC when verbose logging is enabled

document dnsdist regression tests, make it possible to run only part of the regression tests (& document that too)

we skip too many ldap tests - unskip those that appear to actually work

add ldap strict mode testing

Merge pull request #3407 from cmouse/permit-star-entry

Permit star entry

test that API accepts wildcard name

dnsdist: log health check error messages even when verbose is off

This still requires setVerboseHealthChecks(true), but not global
verbose anymore, as the later logs every queries and thus is not
usable on a large deployment.

report an error when we die when .. dnsdist sends us an unexpected answer?!

silence warning about our vinfolog macro (perhaps we should see if we can improve the macro)

refuse to validate empty space - @zaphodb, this may be your crash

turns out we were using libc tolower in performance sensitive places.. top in perf

prevent us dying on emitting error message about unexpected packet

dnsdist: add --check-config commandline switch

This allows testing of the configuration before one will try to restart
dnsdist with a broken config. Additionally, add tests to confirm the
config check still works.

dnsdist: Explicitly use python2 for tests

Permit star, fixes #3406

Merge pull request #3410 from ahupowerdns/recuweb

Merge Recuweb - built in live webpage for recursor

dnsdist: Do not share the packet cache entries between TCP and UDP

It would obviously cause issues, for example with truncated
responses. It is possible to disable the cache for all TCP queries
by using something like:

addAction(TCPRule(true), SkipCacheAction())