we used toString() to compare incoming packets - showed up in profile at 3% or so

we don't need set close on exec in pdns_recursor since it won't (can't) exec anything

because unset/empty netmasks did not compare as equal, we would fill the cache with tens of thousands of duplicate entries per name

Merge pull request #3434 from Habbie/remove-old-lua-recursor

remove v3 lua recursor files (dead code)

Merge pull request #3428 from zeha/apirrsets

API: Fix zone/records design mistake

remove v3 lua recursor files (dead code)

Merge pull request #3423 from Habbie/tinydns-yak

tinydns testing yaks

Merge pull request #3422 from ahupowerdns/multispoof

Multispoof: make the dnsdist spoofing actions accept multiple IPv4 and IPv6 addresses, retaining old syntax + updated regression tests

update incbin to upstream 3d4aa9, fixing osx builds

API: Fix zone/records design mistake

Turn Comment.qname into a DNSName

gsql: Remove stripDot where not needed

detect (g)md5sum to support osx brew usage

update tinydns data with cdnskey-cds-test.com domain

support dynamic loading of bindbackend

drop args, use vars like other scripts do, default to assuming they are on PATH

switch to bash; add -u (abort on use of unset var) to flags

Merge pull request #3412 from pieterlexis/dnsdist-check-config

Dnsdist check config

Merge pull request #3419 from Habbie/ldap-skipless

we skip too many ldap tests - unskip those that appear to actually work

Merge pull request #3418 from Habbie/ldap-strict

add ldap strict mode testing

document the new powers of domainspoof/spoofaction in dnsdist

Merge pull request #3420 from Habbie/no-verbose-wildcard-crash

don't servfail on unset wildcard in addNSEC when verbose logging is enabled

Merge pull request #3399 from mind04/rsabits

report OpenSSL RSA keysize in bits

Merge pull request #3413 from rgacogne/dnsdist-healthcheck-messages

dnsdist: log health check error messages even when verbose is off

Merge pull request #3411 from rgacogne/dnsdist-nopacketcache-tcp

dnsdist: Do not share the packet cache entries between TCP and UDP

Merge pull request #3356 from rgacogne/dnsdist-parse-failures-log

dnsdist: Display the query ID and remote IP when parsing fails

make dnsdist spoofing actions support multiple A and AAAA records which we'll shuffle and include, plus regression tests for same

don't servfail on unset wildcard in addNSEC when verbose logging is enabled

document dnsdist regression tests, make it possible to run only part of the regression tests (& document that too)

we skip too many ldap tests - unskip those that appear to actually work

add ldap strict mode testing

Merge pull request #3407 from cmouse/permit-star-entry

Permit star entry

test that API accepts wildcard name

dnsdist: log health check error messages even when verbose is off

This still requires setVerboseHealthChecks(true), but not global
verbose anymore, as the later logs every queries and thus is not
usable on a large deployment.

report an error when we die when .. dnsdist sends us an unexpected answer?!

silence warning about our vinfolog macro (perhaps we should see if we can improve the macro)

refuse to validate empty space - @zaphodb, this may be your crash

turns out we were using libc tolower in performance sensitive places.. top in perf

prevent us dying on emitting error message about unexpected packet

dnsdist: add --check-config commandline switch

This allows testing of the configuration before one will try to restart
dnsdist with a broken config. Additionally, add tests to confirm the
config check still works.

dnsdist: Explicitly use python2 for tests

Permit star, fixes #3406

Merge pull request #3410 from ahupowerdns/recuweb

Merge Recuweb - built in live webpage for recursor

dnsdist: Do not share the packet cache entries between TCP and UDP

It would obviously cause issues, for example with truncated
responses. It is possible to disable the cache for all TCP queries
by using something like:

addAction(TCPRule(true), SkipCacheAction())

Merge pull request #3408 from rgacogne/dnsdist-default-pool

dnsdist: Always create the default pool, clean related log messages

missing symlink

distribute the recuweb stuff to the tarball

make / work too for recuweb

reinstate recuweb, but now internally!

recuweb in recursor 4.0 built in

Merge pull request #3404 from pieterlexis/sles12

Add SLES 12 support to the build-auth-rpm script

It's name, not label.

Merge pull request #3405 from rgacogne/dnsdist-health-check-failures

dnsdist: Add health check logging, `maxCheckFailures` to backend

Merge pull request #3403 from rgacogne/dnsdist-more-tests

dnsdist: Add missing QPSPoolAction & DNSSECRule. Add missing tests.

Merge pull request #3398 from rgacogne/dnsdist-oustanding

dnsdist: Better handling of outstanding counter

dnsdist: Add health check logging, `maxCheckFailures` to backend

`maxCheckFailures` allows waiting for several health check failures
before marking a downstream server down.
Health check errors are logged only in verbose mode and if
`setVerboseHealthChecks()` is set to true.

dnsdist: Always create the default pool, clean related log messages

dnsdist: Add missing QPSPoolAction & DNSSECRule. Add missing tests.

QPSPoolAction() and DNSSECRule() are mentioned in the README but
the Lua bindings were missing.
Add missing tests for some actions and rules.
Clean existing tests a bit in the process.

Add SLES support to the build-auth-rpm script

report OpenSSL RSA keysize in bits

Merge pull request #3397 from mind04/missing

[WIP] add missing files for tools and testrunner to auth tar.bz2

add missing files for tools and testrunner to auth tar.bz2

Merge pull request #3395 from Habbie/dist-dnsrecords-hh

re-dist dnsrecords.hh

re-dist dnsrecords.hh

Merge pull request #3368 from rubenk/link-internal-libs-directly

Link our internal libs directly

Merge pull request #3225 from pieterlexis/docs-400

[Needs review] Many additions and changes to the docs

dnsdist: Better handling of outstanding counter

The outstanding value is now displayed in `showServers()` and we
set the IDS age to 0 as soon as we get a response to prevent
the maintainer thread from cleaning it up during our processing.

Merge pull request #3394 from rgacogne/dnsdist-drop

dnsdist: Fix the Drop action over UDP

Merge pull request #3373 from Habbie/single-place-builds

Give each binary a single place for building

dnsdist: Fix the Drop action over UDP

I broke the Drop action over UDP in commit
1a2a4e68b6368361981cf525e0c5cad3b63c3788 and somehow we did not
have any regression tests actually testing it.

Merge pull request #3372 from Habbie/ldap-testing

make ldap testable, add travis testing

nit

Merge pull request #3388 from rgacogne/dnsdist-lua-lock

dnsdist: Lock the Lua context before executing a LuaAction

dnsdist: Lock the Lua context before executing a LuaAction

Otherwise the stack of the Lua context might get corrupted
whenever another Lua function (blockfilter, policy, maintenance or
another LuaAction) is simultaneously called from another thread.

We might be able to use a separate execution stack via
createThread()/lua_newthread(), but if I understand correctly how
it works, we would need to be sure that the Lua function called
does not access the global state at all, which is probably too
restrictive.

This should fix #3374, #3375, #3376, #3377, #3378, #3379, #3383,
and hopefully the random travis failures in our regression tests.

Merge pull request #3365 from janeczku/udpQueryResponse-fix

recursor: apply rcode set in UDPQueryResponse callback

Merge pull request #3385 from pieterlexis/pdnsutil-default-soa-settings

pdnsutil: respect default-soa-* settings

Merge pull request #3381 from pieterlexis/dnsdist-cflags

dnsdist: remove unneeded compiler flag

Merge pull request #3355 from rgacogne/dnsdist-cache-clean

dnsdist: Add a simple Packet Cache

pdnsutil: respect default-soa-* settings

Closes #3382

Merge pull request #3380 from pieterlexis/dnsdist-pandoc

dnsdist: Correctly test for the manpage

dnsdist: remove unneeded compiler flag

dnsdist: Correctly test for the manpage

setup ldap, run tests

add ldap testing (tree+simple) to regression tests; skip known-failing tests

add all missing types (as far as our tests are concerned) to schema and header

import schema files from the ldap fork

stop testing in-tree recursor build

add courtesy notes

move re2 m4, only dnsdist uses it

rip out the most obvious supporting pieces for building ddnsdist and pdns_recursor in the auth tree

Merge pull request #3370 from ahupowerdns/re2

This adds --enable-re2 so we can benefit from libre2 if we want

Merge pull request #3361 from rgacogne/dnsdist-regression-tests-cleanup

dnsdist: Copy the resp in regression tests instead of fixing it up

dnsdist: Add a simple Packet Cache

Per-pool Packet Cache, using the whole query packet minus the id
has hashing key, to prevent issue related to:
* EDNS Payload size
* ECS
* DNSSEC

The packet cache is not enabled by default, and can be skipped
for specific queries using SkipCacheAction.
It's a per-pool cache, in case you have different responses, but
you can use the same cache for several pools if you want to.

We cache the whole response and age the TTLs when fetching the
response from the cache.

This commit also refactors a bit the way server pools are handled
to be able to have a per-pool cache, and to avoid scanning all
servers when looking for the ones in a given pool.

It is using a fixed-size unordered_map to prevent rehashing. It
is not very efficient with regard to cache cleaning, but I really
would like to use only a ReadLock on the fastpath, and using a
multi index container and moving cache entries to the back / front
on hit / miss would prevent that.

Health checks are moved to a different thread, to prevent them from
being impacted by the cache cleaning operation being slow.

document RE2Rule

Merge pull request #3357 from rgacogne/dnsdist-non-terminal-rules

dnsdist: continue processing rules after some specific actions

Merge pull request #3360 from rgacogne/dnsdist-extended-logs

dnsdist: Add an option to log as text. Display filename in showRules

Merge pull request #3364 from nlyan/master

Shrink PacketID by 10% by eliminating padding.

make re2 something you have to enable explicitly. I can't get it to link statically.

add a RE2Rule based on Google RE2 regex library. Note that if we detect it, we compile it in unconditionally which sucks as it is a dynamic link. We should make this something you turn on.

Link our internal libs directly

If we don't do this and we have an external version of the same
lib installed, we risk picking that one up instead.

See #3127 for background