Add test for comments in forward-zones-file

Allow comments in the forward-zones-file

  * Closes #2430
  * Lines starting with a '#' get skipped.
  * Everything after a '#' symbol on a line is ignored
  * Document this change

Merge pull request #3019 from pieterlexis/issue-2838-ORIGIN-in-zone2sql

zone2sql: support --zone without --zone-name

Merge pull request #3035 from kempniu/b64decode-big-endian-fix

Fix Base64 decoding for dnsdist on big endian platforms

Merge pull request #3039 from rubenk/exit-with-0-when-receiving-sigquit

Exit with 0 when receiving QUIT

Exit with 0 when receiving QUIT

Fixes the first case in #2266

Document secpoll-suffix. Closes #2337

Merge pull request #1896 from tuxis-ie/mysql-foreign-keys

Add foreign keys to the Mysql-scheme

Merge pull request #3013 from pieterlexis/qtype-list

Make the QType enum list better diffible

Merge pull request #3025 from pieterlexis/400-docs

A slew of documentation fixes and additions

Merge pull request #3027 from cyclops1982/patch-1

Small typo in dnsupdate docs

Merge pull request #3032 from cmouse/tsig-algos

Compare TSIG algorithm as DNSName

Merge pull request #3033 from pieterlexis/gcc53

update boost.m4 to latest version

allRule() for dnsdist

more debugging

remove .. in pdnsutil list-zone - thanks Sander Smeenk for noticing

remove some stray debugging from loading rpz from file

docs: sort the settings for the recursor

Remove last remnants of disable-edns

document `dnssec` setting for recursor

implement four dnssec modes: off (3.x behaviour), process (ask for DNSSEC, give it when asked for, validate when asked to), validate (always validate), log-fail, always validate but log failures only.
Also, improve EDNS probing, plus make recursor packet cache DNSSEC aware.

Fix Base64 decoding for dnsdist on big endian platforms

update boost.m4 to latest version

Compare TSIG algorithm as DNSName

docs: Expand opendbx-backend information

This is mostly ported from @nos3's website (thanks!)

Closes: #445

docs: document Autoserial. Closes #1211

docs: clarify TXT record content. Closes #1435

docs: add note about "storage format" in types.md

docs: add note on TTL for DNSSEC RRs. Closes #2195

Split the GSQL backend docs and update it

Closes: #2987 #2067

docs: Update recursor scripting

Closes #2559

Add initial auth 4.0.0 changelog

docs: Update the rrtypes we support

Document the ALIAS record, closes #2394

implement delta() to show changes versus configuration, so you can store your 'just right' setup.

add benchRule which benchmarks rules and AndRule which Ands rules together

add PoolAction() to Lua

how did we miss this? RegexRule in dnsdist for matching queries with regular expressions & doing things to them

Small typo in dnsupdate docs

fix up so it compiles again, I think - may need more uncommitted infra

Merge pull request #3018 from Habbie/osx

minor osx portability nit

Merge pull request #3022 from mind04/dname

traling dot in DNAME content

implement DS anchor configuration, thank you https://twitter.com/PowerDNS_Bert/status/675241924803080192 - we default to the known root DS

Merge branch 'master' of github.com:PowerDNS/pdns

Merge pull request #3023 from rgacogne/emptyclientlinenosodium

Fix dnsdist console client sending empty lines

Fix dnsdist console client sending empty lines

There is no point for the console client to send empty lines to the
server. Just in case, fix the server to not abort the connection
when receiving such empty lines.
Reported by @gryphius as a follow-up on #3015.

Merge pull request #3017 from rgacogne/consoleempty-nosodium

Fix zero-sized response in dnsdist client without libsodium. Also disables setLocal() at runtime.

traling dot in DNAME content

Warn that addLocal() and setLocal() can't be used at runtime

Update zone2sql manpage

zone2sql: support --zone without --zone-name

This *does* mean that $ORIGIN must be set in the zone file.

Closes #2838

minor osx portability nit

Fix zero-sized response in dnsdist client without libsodium

Without libsodium support, we do actually get zero-sized response
(no padding).
Reported by @gryphius in issue #3015.

log if a domain demands DNSSEC processing or not

love the unit tests.

new function: addDomainSpoof("domain", "ipv4", "ipv6"). Also, DNSActions can now modify packet length.

Make the QType enum list better diffible

so, it turns out only the hashing/dnssec parts of powerdns need 'toDNSString()' lowercase. Gave them a helper, made toDNSString() not touch case again.

Revert "toDNSString inexplicably did a toLower() on what it wrote it, potentially causing 0x20 issues. Now, I assume some code needed this. This commit will find that code."

This reverts commit 6d04b73457106e0fbbce7846ea808cd4f4ab7c3b.

Merge pull request #3011 from rgacogne/dnsdist-fix-crypto-doc

Make the string parameter to testCrypto() optional

Merge pull request #3004 from zeha/api-cache-flush

API: make cache flushing a public, documented operation

Merge pull request #2997 from zeha/apirecursortest

API: Reenable Recursor tests

implement fixupCase(true) or fixupCase(false) so you can make your 0x20 violating code work on today's internet. Enjoy.

toDNSString inexplicably did a toLower() on what it wrote it, potentially causing 0x20 issues. Now, I assume some code needed this. This commit will find that code.

for recursor, if client added an EDNS record, add it to the response too

I can't imagine how this worked - DNSName() as name for an OPT record. Should be "."

add makeOpt infrastructure so we can make DNSRecords with OPT pseudo record in there, ready for insertion

speedup, use 'tie' for comparisons in recursor packet cache

API: make cache flushing a public, documented operation

Note that this changes the URL, and only allows for exact flushing now.

Fixes #3003.

Replace dnsnameFromJson() with apiNameToDNSName(stringFromJson())

To reuse the name checking code for strings that didn't come
from json. Also makes it clearer that the checking logic is
an API only thing, and other json consumers may use their own
policy on dots, etc.

split out console code from dnsdist.cc, plus move some generic stuff to misc.cc

further changelog updates

Beginning of 4.0.0 release notes

Merge pull request #2888 from aj-gh/ignored-packet-count

Add counter for ignored packets to recursor statistics.

**BREAKING** dnsdist console communications control break: we now support 32 bit message lengths. Restart daemon for this to work.

spruce up grepq() a little bit with answer count for "No Error" answers

Add counter for ignored packets to recursor statistics (+docs).
Turns out recursor can be kept rather busy dealing with packets that will not show up anywhere.

Merge branch 'adp': better infrastructure for metering traffic, prettier grepq

Make the string parameter to testCrypto() optional.

The documentation does not mention it and I don't think it makes
sense to require one.
Document the fact that makeKey() does return setKey('plaintext')
without libsodium support.
Reported by Charles-Henri Bruyand.

fix up bandwidth exceeded limits, move dnsheader (12 bytes) into ringbuffer, add it to grepq output, make that somewhat pretty, plus fix up TCP reporting to the response rings

Merge pull request #3007 from ndonegan/patch-1

remotebackend Documentation Update

fix up dns ring measurements for BW and NXDOMAIN to not inflate rates erroneously

make grepq look at the the n newest queries, not the n oldest queries

implement grepq() for dnsdist

trim some dependencies for dnsdistdist benefit

make sure we insert query size on query ring too

API: Reenable Recursor tests

And fix a memory/rapidjson issue.

If the data is correct is yet to be seen.

Merge pull request #3005 from rgacogne/dnsdist-luajit

Add support for using LuaJIT in dnsdist

reenable in-tree dnsdist building

Update backend-remote.md

Update backend-remote.md

Update backend-remote.md

Update backend-remote.md

Documentation Update

Making it clearer that ZeroMQ backend uses the same JSON format as the pipe and unix backends.

Add support for using LuaJIT in dnsdist

LuaJIT support can be enabled with --with-luajit during configure.

let topClients() default to top-10

Merge pull request #2927 from rgacogne/dnsdist-ecs

add EDNS Client Subnet to dnsdist queries. And adds loads of tests, cleanups, improvements etc.

Merge pull request #2919 from zeha/api-dnsname-dot

API: dot correctness

Add more tests for dnsdist ECS support.

Add regression tests for rewriting the ECS value with
larger / smaller values.
Add one unit test for rewriting response.

Add EDNS Client Subnet to queries, unit tests and regression tests.

The main idea is to be able to add EDNS Client Subnet information
to queries to that the downstream servers know who the real client
is. This is easy if the query already has EDNS, since we just have
to add an ECS option to the existing pseudo-RR OPT. Note that if the
query has an existing ECS option, we just leave it as it is unless
setECSOverride has been set to true.
If the original query has no ENDS support, we can easily add the
pseudo-RR OPT with an ECS option, but we need to remove EDNS from
the response, otherwise the client might choke on it. This is not too
hard it the pseudo-RR is the last one, but otherwise removing it
could cause issue with name compression (offsets), therefore we
completely rewrite the response in that case.

This implementation tries hard not to parse the query, and not
to allocate too much objects to parse the response. The huge downside
is that we do not reuse as much parsing code as we probably could.

Unit tests have been added, they are not enabled unless
--enable-unit-tests is set.

Regression tests have been added in regression-tests.dnsdist.

Unit and regression tests are enabled in travis.