Merge pull request #3395 from Habbie/dist-dnsrecords-hh

re-dist dnsrecords.hh

re-dist dnsrecords.hh

Merge pull request #3368 from rubenk/link-internal-libs-directly

Link our internal libs directly

Merge pull request #3225 from pieterlexis/docs-400

[Needs review] Many additions and changes to the docs

Merge pull request #3394 from rgacogne/dnsdist-drop

dnsdist: Fix the Drop action over UDP

Merge pull request #3373 from Habbie/single-place-builds

Give each binary a single place for building

dnsdist: Fix the Drop action over UDP

I broke the Drop action over UDP in commit
1a2a4e68b6368361981cf525e0c5cad3b63c3788 and somehow we did not
have any regression tests actually testing it.

Merge pull request #3372 from Habbie/ldap-testing

make ldap testable, add travis testing

nit

Merge pull request #3388 from rgacogne/dnsdist-lua-lock

dnsdist: Lock the Lua context before executing a LuaAction

dnsdist: Lock the Lua context before executing a LuaAction

Otherwise the stack of the Lua context might get corrupted
whenever another Lua function (blockfilter, policy, maintenance or
another LuaAction) is simultaneously called from another thread.

We might be able to use a separate execution stack via
createThread()/lua_newthread(), but if I understand correctly how
it works, we would need to be sure that the Lua function called
does not access the global state at all, which is probably too
restrictive.

This should fix #3374, #3375, #3376, #3377, #3378, #3379, #3383,
and hopefully the random travis failures in our regression tests.

Merge pull request #3365 from janeczku/udpQueryResponse-fix

recursor: apply rcode set in UDPQueryResponse callback

Merge pull request #3385 from pieterlexis/pdnsutil-default-soa-settings

pdnsutil: respect default-soa-* settings

Merge pull request #3381 from pieterlexis/dnsdist-cflags

dnsdist: remove unneeded compiler flag

Merge pull request #3355 from rgacogne/dnsdist-cache-clean

dnsdist: Add a simple Packet Cache

pdnsutil: respect default-soa-* settings

Closes #3382

Merge pull request #3380 from pieterlexis/dnsdist-pandoc

dnsdist: Correctly test for the manpage

dnsdist: remove unneeded compiler flag

dnsdist: Correctly test for the manpage

setup ldap, run tests

add ldap testing (tree+simple) to regression tests; skip known-failing tests

add all missing types (as far as our tests are concerned) to schema and header

import schema files from the ldap fork

stop testing in-tree recursor build

add courtesy notes

move re2 m4, only dnsdist uses it

rip out the most obvious supporting pieces for building ddnsdist and pdns_recursor in the auth tree

Merge pull request #3370 from ahupowerdns/re2

This adds --enable-re2 so we can benefit from libre2 if we want

Merge pull request #3361 from rgacogne/dnsdist-regression-tests-cleanup

dnsdist: Copy the resp in regression tests instead of fixing it up

dnsdist: Add a simple Packet Cache

Per-pool Packet Cache, using the whole query packet minus the id
has hashing key, to prevent issue related to:
* EDNS Payload size
* ECS
* DNSSEC

The packet cache is not enabled by default, and can be skipped
for specific queries using SkipCacheAction.
It's a per-pool cache, in case you have different responses, but
you can use the same cache for several pools if you want to.

We cache the whole response and age the TTLs when fetching the
response from the cache.

This commit also refactors a bit the way server pools are handled
to be able to have a per-pool cache, and to avoid scanning all
servers when looking for the ones in a given pool.

It is using a fixed-size unordered_map to prevent rehashing. It
is not very efficient with regard to cache cleaning, but I really
would like to use only a ReadLock on the fastpath, and using a
multi index container and moving cache entries to the back / front
on hit / miss would prevent that.

Health checks are moved to a different thread, to prevent them from
being impacted by the cache cleaning operation being slow.

document RE2Rule

Merge pull request #3357 from rgacogne/dnsdist-non-terminal-rules

dnsdist: continue processing rules after some specific actions

Merge pull request #3360 from rgacogne/dnsdist-extended-logs

dnsdist: Add an option to log as text. Display filename in showRules

Merge pull request #3364 from nlyan/master

Shrink PacketID by 10% by eliminating padding.

make re2 something you have to enable explicitly. I can't get it to link statically.

add a RE2Rule based on Google RE2 regex library. Note that if we detect it, we compile it in unconditionally which sucks as it is a dynamic link. We should make this something you turn on.

Link our internal libs directly

If we don't do this and we have an external version of the same
lib installed, we risk picking that one up instead.

See #3127 for background

Merge pull request #3363 from Habbie/cryptopp

remove now broken cryptopp invocation

Use rcode returned from UDPQueryResponse callback

Shrink PacketID by 10% by eliminating padding.

PacketID is bloated. Some minor reordering, which shouldn't effect
locality, reduces sizeof(PacketID) from 232 to 208 bytes compiled
against GNU libstdc++ (shipped with GCC 5.3, C++11 ABI) and from 184 to
160 bytes against libc++ 3.7.0. In both cases only 3 bytes of padding
remain for aligning 'bool inIncompleteOkay'.

Merge pull request #3359 from Habbie/unbreak-ldap

unbreak the LDAP backend

remove now broken cryptopp invocation

nit

add lua hook to get a 'raw' IP address (in binary) for rapid lookups

dnsdist: Add an option to log as text. Display filename in showRules

LogAction() could log to the console in text mode or to a file in
binary mode. This commit adds an option to log to a file in text
mode.
When logging to a file, we now display the file name in
showRules().

dnsdist: Copy the resp in regression tests instead of fixing it up

Simply copy the the reponse in the responder threads before altering
the ID, instead of having to fix it afterwards in every tests.

make DNSName friends with unordered maps and sets, plus test this

a function misnamed 'isCanonical' was being used to configure domain forwarding in recursor

liberate getAddr() helper from sortlist.cc for wider use

versionpdns != versionbind

make calidns print syntax if invoked incorrectly

15% speedup in zone loading

fix escaping

get root dots

dnsdist: continue processing rules after some specific actions

Continue processing rules after these actions:
* Pool
* Delay
* NoRecurse
* DisableValidation

It was already the case with:
* Log
* MacAddr

Add OpenSSL to export notes

Update the DNSSEC documentation.

Closes #3089

pdnsutil: add list-algorithms

s/PDNS/PowerDNS/g (with word boundry checks)

Move virtual hosting to running.md

Remove internals.md, move content to better places

Pimp the install page some more

Add zone2json manpage

Restructure and expand the migration docs

Remove useless/old BIND backend options

update zone2sql manpage with all current options

Several improvements to the modes of operation

Move TSIG related information to a separate TSIG page. Rename the modes
of operation page to something a little more understandible.

Move some information around

Replace PowerDNSSEC with PowerDNS

Add notes about ProtectSystem

Closes #3111

Note that we have repos

Merge pull request #3342 from rubenk/dnsdist-spec-add-license

Dnsdist rpm: add license

Merge pull request #3336 from pieterlexis/dnsdist-ragel

Actually test for ragel during dnsdist configure

Merge pull request #3345 from pieterlexis/issue-3305-pdnsutil-complain-unreadable-pdnsconf

pdnsutil: warn if we can't read the config file

Merge pull request #3347 from pieterlexis/issue-1965-pdnsutil-help

pdnsutil: provide helpful output with command help

Merge pull request #3351 from pieterlexis/stop-send-root-referral

Stop sending a root referral in regression testing

Merge pull request #3281 from pieterlexis/rip-out-mbedtls

Fully take out mbedTLS

Merge pull request #3348 from pieterlexis/document-pdnsutil-edit-zone

Document edit-zone in pdnsutil.1

Stop sending a root referral in regression testing

Closes #3062

Merge pull request #3338 from cmouse/geoip-weights

Add weight feature to GeoIP backend

Update documentation on weight feature

Add weight support for record(s)

Document edit-zone in pdnsutil.1

pdnsutil: provide helpful output with command help

Closes #1965

pdnsutil: warn if we can't read the config file

Closes #3305

Merge pull request #3344 from rgacogne/dnsdist-client-bind-error

dnsdist: Log webserver binding errors even in client mode

Merge pull request #3341 from pieterlexis/dnsdist-website

ensure permissions correct when publishing dnsdist.org

Merge pull request #3343 from rubenk/add-some-poetry-to-dnsdist-frontpage

dnsdist.org: add a blurb about the license

dnsdist.org: add a blurb about the license

Dnsdist rpm: add license

Remove OpenSSL conditionals

Fail configure when OpenSSL is not found

Remove mbedtls source

Remove mbedtls support

ensure permissions correct when publishing dnsdist.org

Merge pull request #3339 from pieterlexis/dnsdist-website

Add a dnsdist website

dnsdist: Log webserver binding errors even in client mode

Fixes #3340.

fix minor typo

Add a dnsdist website

Actually test for ragel during dnsdist configure