Merge pull request #3180 from ahupowerdns/local-fixes

Fix up our reporting of address queries are received on, expose port numbers to Lua for dndist and recursor

document various toStringWithPort and getPort() functions, and add them to examples

turns out we weren't gathering the local address for TCP at all, and for UDP we did not do the work for ipfilter except when bound to 0.0.0.0. Now we do it right in the other case too AND gather the port number.

don't return nonsense when toString() is called on an unset or invalid ComboAddress

added hooks to access port numbers of 'local' addresses, but turns out we don't always fill them out yet

Merge pull request #3178 from rgacogne/dnsdist-aggr-testing

dnsdist: Apply the TCP timeout _before_ trying to connect

dnsdist: Apply the TCP timeout _before_ trying to connect.

In addition to that, we are now more aggressive in stopping
dnsdist to avoid getting stuck. Hopefully we should get more useful
error messages when the tests fail.
Removing usage of the timeout parameter with the same value than
the default for clarity.

Merge pull request #3164 from rgacogne/dnsdist-clean-doc

dnsdist: Update documentation and console completion

Merge pull request #3174 from rgacogne/fix-delaypipe

Make sure the DelayPipe thread is the last member initialized

Make sure the DelayPipe thread is the last member initialized

Otherwise the new thread might start running and access
uninitialized members like d_pipe or d_work.
On my host, running dnsdist in gdb without this modification
results in a SIGSEGV at delaypipe.cc:141.

dnsdist: Update documentation and console completion

- Update to recent changes
- Fix somewhat duplicated documentation
- Use parentheses in function calls in the documentation, as
it is probably easier to read for most people not accustomed to
Lua. Fixes #3137

Merge pull request #3125 from zeha/api-json11

API: use json11 in place of rapidjson

Merge pull request #3170 from rgacogne/dnsdist-spoof-cname

dnsdist: Allow using CNAME in spoofed responses

Merge pull request #3160 from rgacogne/coverity-fixes

Fix several minor issues reported by coverity

dnsdist: Add sending CNAME in spoofed responses

- Add addDomainCNAMESpoof() and SpoofCNAMEAction()
- Check that we have enough space in the buffer to write the response
- Implement the first part of #3064

make sure dnsdist updates 'downstream-timeouts' metric properly

Merge pull request #3167 from ahupowerdns/dnsdist-to

Dnsdist: improve visitbility of timeouts, various grepq fixes, plus documentation

Print the socket path we actually used in case of error

Merge remote-tracking branch 'origin/master' into dnsdist-to

Conflicts:
pdns/dnsrulactions.hh

make grepq support multiple criteria, document this, document topSlow(), fix topSlow() label grouping

Merge pull request #3142 from rgacogne/dnscrypt-regression-tests

dnsdist: Add tests and a truncation fix for DNSCrypt

dnsdist: Add a test (and a fix) for DNSCrypt truncation case.

Refactor DNSCrypt regression tests following zeha's lead.

Merge pull request #3156 from zeha/slavetime

Add timezone to generated bind slave zone files

Merge pull request #3149 from zeha/exitonerror

Fix pdnsutil check-all-zones crash

dnsdist: Add a basic regression test for DNSCrypt

I could not find any DNSCrypt client implementation in python without
zillions of dependencies, so I wrote a basic one depending only
on dnspython and libnacl bindings.

Merge pull request #3153 from zeha/dnsdisttestscleanup

Deduplicate dnsdist test code + small things

implement dnsdist timeout searching in grepq and topSlow()

silence warning on vinfolog else confusion

Add timezone to generated bind slave zone files

dnsdist: rename policy_t to policyfunc_t to not clash with OS-provided type

dnsdist: fix brace positioning warning from clang

Fix dnsdist runtests to find dnsdist binary

And support passing parameters to nosetests

Deduplicate dnsdist test code

Merge pull request #3148 from ahupowerdns/dnsdist-nmg

Dnsdist netmaskgroup plus docs

Fix pdnsutil check-all-zones crash

Fixes #3147

add NetmaskGroup to dnsdist Lua and document it, closes #3144

document Advanced DNS Protection features for dnsdist

add missing documentation for topBandwidth() and delta() in dnsdist README

Fix several issues reported by coverity

Merge pull request #3136 from tfarina/patch-2

update the output of 'pdns monitor'

Merge pull request #3141 from mind04/openssl

oops, some debug code slipped into master

Merge pull request #3126 from rgacogne/dnsdist-more-tests

dnsdist: Fix truncateTC, add some lua fns and more regression tests

oops, some debug code slipped into master

Merge pull request #3139 from mind04/openssl

improve openssl m4 file and some cleanup

improve openssl m4 file and some cleanup

respect OPENSSL_LDFLAGS

Merge pull request #3134 from ahupowerdns/lua-fixups

Lua fixups (documentation, bugs) plus dynamic metrics

update the output of 'pdns monitor'

The current output is pretty out-of-date, it is back from 2002!

This patch updates the output to the version of 3.3.

Merge pull request #3073 from janeczku/dnsdist-logging-refactor

Dnsdist: Show INFO logs in default verbosity mode

Merge pull request #3129 from rgacogne/dnsdist-coverity

dnsdist: Fix coverity/clang static analyzer warnings

Merge pull request #3109 from mind04/dnsdist-mbed

merry christmas

Merge remote-tracking branch 'origin' into lua-fixups

Merge pull request #3132 from zeha/rpzdoc

Nits to RPZ doc

Nits to RPZ doc

API: remove rapidjson infrastructure

API: move returnJsonMessage, returnJsonError to HttpResponse

API: replace returnJsonObject with json11 code

API: port recursor /jsonstat to json11

API: port recursor /search-data to json11

API: port recursor /zones to json11

API: port recursor /config/allow-from to json11

API: port auth /zones, /zone to json11

API: port auth /search-data to json11

API: port auth zones /export to json11

API: port auth /zones to json11

API: port cryptokeys to json11

API: port /server/:server/statistics to json11

API: port /server/:server/config to json11

API: port log-search to json11

API: port /api/v1/servers{/localhost} to json11

API: Lay infra for using json11

API: add cryptokeys test

Port zone2sql to json11

remotebackend: inline makeStringFromDocument, drop json.hh include

Fix test-dnsname_cc on clang/OS X

Merge pull request #3128 from mind04/openssl

add ECDSA support to DNSSEC infra via OpenSSL

change ECDSA signer priority

document RPZ

add ECDSA support to DNSSEC infra via OpenSSL

dnsdist: Fix coverity/clang static analyzer warnings.

Fix building the unit tests with sanitizers enabled.
Coverity complained about d_fp in LogAction not being initialized
when constructed from a string, and about negative values from
socket() not being handled.
Clang static analyzer complained about the count var in
addDynBlocks not being initialized in some cases.

dnsdist: Add more regression tests

Tests for:

Actions:
* DelayAction
* RCodeAction

Rules:
* AllRule
* AndRule
* addAnyTCRule
* addDisableValidationRule
* addNoRecurseRule
* addPoolRule
* QTypeRule
* RegexRule
* SuffixMatchNodeRule

Misc:
* ACL
* truncateTC
* fixupCase
* addDomainSpoof
* Round Robin balancing

dnsdist: Add SuffixMatchNodeRule() and RCodeAction()

I needed them for the regression tests, and unless there is a
cleaner way to do the same thing that I missed, they will be
useful.

dnsdist: Fix truncateTC, it wasn't updating the response len anymore

It was broken (still setting TC and fixing ancount, nscount and arcount
but not the response length) since the addition of ECS in
ca404e94c054df56d3f32abf66c643a1dec3b1b2, shame on me.

make ipfilter get passed the dnsheader, make dnsheader useful for lua

fix up ipfilter docs, document metrics, document dnsname, document comboaddress, add links to various parts of documentation

we were passing the wrong dnsheader to the ipfilter lua hook

fix up compilation of testrunner and tsig tests

implement dynamic metric creation from Lua & code to rapidly update these metrics securely. Plus some changes to example code to use metrics & comboaddress equal metric.

implement ComboAddress:equal for lua

* Log infolog() messages in default verbosity mode (without -v flag)

* Change some verbose logging calls from infolog to vinfolog

Merge pull request #3116 from rgacogne/polarssl-compat

Fix building against old PolarSSL versions

Fix build against old PolarSSL versions

ctr_drbg_free() did not exist before PolarSSL 1.3.8

remove mbed leftovers from dnsdist

Merge pull request #2936 from pieterlexis/pipe-backend-no-crash

pipe: don't crash on exceptions

Merge pull request #3108 from Habbie/ecdsa-default

switch (single) ZSK default to ecdsa256

avoid random bindbackend slave related failure

skip pkcs11 test as it does not like ecdsa

disable testing tools that do not support ECDSA; revert this later

switch ZSK default to ecdsa256

Merge pull request #3092 from kempniu/testCrypto-without-libsodium

dnsdist: change message returned by testCrypto() if compiled without libsodium