Remove last remnants of disable-edns

document `dnssec` setting for recursor

docs: Expand opendbx-backend information

This is mostly ported from @nos3's website (thanks!)

Closes: #445

docs: document Autoserial. Closes #1211

docs: clarify TXT record content. Closes #1435

docs: add note about "storage format" in types.md

docs: add note on TTL for DNSSEC RRs. Closes #2195

Split the GSQL backend docs and update it

Closes: #2987 #2067

docs: Update recursor scripting

Closes #2559

Add initial auth 4.0.0 changelog

docs: Update the rrtypes we support

Document the ALIAS record, closes #2394

implement delta() to show changes versus configuration, so you can store your 'just right' setup.

add benchRule which benchmarks rules and AndRule which Ands rules together

add PoolAction() to Lua

how did we miss this? RegexRule in dnsdist for matching queries with regular expressions & doing things to them

fix up so it compiles again, I think - may need more uncommitted infra

Merge pull request #3018 from Habbie/osx

minor osx portability nit

Merge pull request #3022 from mind04/dname

traling dot in DNAME content

implement DS anchor configuration, thank you https://twitter.com/PowerDNS_Bert/status/675241924803080192 - we default to the known root DS

Merge branch 'master' of github.com:PowerDNS/pdns

Merge pull request #3023 from rgacogne/emptyclientlinenosodium

Fix dnsdist console client sending empty lines

Fix dnsdist console client sending empty lines

There is no point for the console client to send empty lines to the
server. Just in case, fix the server to not abort the connection
when receiving such empty lines.
Reported by @gryphius as a follow-up on #3015.

Merge pull request #3017 from rgacogne/consoleempty-nosodium

Fix zero-sized response in dnsdist client without libsodium. Also disables setLocal() at runtime.

traling dot in DNAME content

Warn that addLocal() and setLocal() can't be used at runtime

minor osx portability nit

Fix zero-sized response in dnsdist client without libsodium

Without libsodium support, we do actually get zero-sized response
(no padding).
Reported by @gryphius in issue #3015.

log if a domain demands DNSSEC processing or not

love the unit tests.

new function: addDomainSpoof("domain", "ipv4", "ipv6"). Also, DNSActions can now modify packet length.

so, it turns out only the hashing/dnssec parts of powerdns need 'toDNSString()' lowercase. Gave them a helper, made toDNSString() not touch case again.

Revert "toDNSString inexplicably did a toLower() on what it wrote it, potentially causing 0x20 issues. Now, I assume some code needed this. This commit will find that code."

This reverts commit 6d04b73457106e0fbbce7846ea808cd4f4ab7c3b.

Merge pull request #3011 from rgacogne/dnsdist-fix-crypto-doc

Make the string parameter to testCrypto() optional

Merge pull request #3004 from zeha/api-cache-flush

API: make cache flushing a public, documented operation

Merge pull request #2997 from zeha/apirecursortest

API: Reenable Recursor tests

implement fixupCase(true) or fixupCase(false) so you can make your 0x20 violating code work on today's internet. Enjoy.

toDNSString inexplicably did a toLower() on what it wrote it, potentially causing 0x20 issues. Now, I assume some code needed this. This commit will find that code.

for recursor, if client added an EDNS record, add it to the response too

I can't imagine how this worked - DNSName() as name for an OPT record. Should be "."

add makeOpt infrastructure so we can make DNSRecords with OPT pseudo record in there, ready for insertion

speedup, use 'tie' for comparisons in recursor packet cache

API: make cache flushing a public, documented operation

Note that this changes the URL, and only allows for exact flushing now.

Fixes #3003.

Replace dnsnameFromJson() with apiNameToDNSName(stringFromJson())

To reuse the name checking code for strings that didn't come
from json. Also makes it clearer that the checking logic is
an API only thing, and other json consumers may use their own
policy on dots, etc.

split out console code from dnsdist.cc, plus move some generic stuff to misc.cc

further changelog updates

Beginning of 4.0.0 release notes

Merge pull request #2888 from aj-gh/ignored-packet-count

Add counter for ignored packets to recursor statistics.

**BREAKING** dnsdist console communications control break: we now support 32 bit message lengths. Restart daemon for this to work.

spruce up grepq() a little bit with answer count for "No Error" answers

Add counter for ignored packets to recursor statistics (+docs).
Turns out recursor can be kept rather busy dealing with packets that will not show up anywhere.

Merge branch 'adp': better infrastructure for metering traffic, prettier grepq

Make the string parameter to testCrypto() optional.

The documentation does not mention it and I don't think it makes
sense to require one.
Document the fact that makeKey() does return setKey('plaintext')
without libsodium support.
Reported by Charles-Henri Bruyand.

fix up bandwidth exceeded limits, move dnsheader (12 bytes) into ringbuffer, add it to grepq output, make that somewhat pretty, plus fix up TCP reporting to the response rings

Merge pull request #3007 from ndonegan/patch-1

remotebackend Documentation Update

fix up dns ring measurements for BW and NXDOMAIN to not inflate rates erroneously

make grepq look at the the n newest queries, not the n oldest queries

implement grepq() for dnsdist

trim some dependencies for dnsdistdist benefit

make sure we insert query size on query ring too

API: Reenable Recursor tests

And fix a memory/rapidjson issue.

If the data is correct is yet to be seen.

Merge pull request #3005 from rgacogne/dnsdist-luajit

Add support for using LuaJIT in dnsdist

reenable in-tree dnsdist building

Update backend-remote.md

Update backend-remote.md

Update backend-remote.md

Update backend-remote.md

Documentation Update

Making it clearer that ZeroMQ backend uses the same JSON format as the pipe and unix backends.

Add support for using LuaJIT in dnsdist

LuaJIT support can be enabled with --with-luajit during configure.

let topClients() default to top-10

Merge pull request #2927 from rgacogne/dnsdist-ecs

add EDNS Client Subnet to dnsdist queries. And adds loads of tests, cleanups, improvements etc.

Merge pull request #2919 from zeha/api-dnsname-dot

API: dot correctness

Add more tests for dnsdist ECS support.

Add regression tests for rewriting the ECS value with
larger / smaller values.
Add one unit test for rewriting response.

Add EDNS Client Subnet to queries, unit tests and regression tests.

The main idea is to be able to add EDNS Client Subnet information
to queries to that the downstream servers know who the real client
is. This is easy if the query already has EDNS, since we just have
to add an ECS option to the existing pseudo-RR OPT. Note that if the
query has an existing ECS option, we just leave it as it is unless
setECSOverride has been set to true.
If the original query has no ENDS support, we can easily add the
pseudo-RR OPT with an ECS option, but we need to remove EDNS from
the response, otherwise the client might choke on it. This is not too
hard it the pseudo-RR is the last one, but otherwise removing it
could cause issue with name compression (offsets), therefore we
completely rewrite the response in that case.

This implementation tries hard not to parse the query, and not
to allocate too much objects to parse the response. The huge downside
is that we do not reuse as much parsing code as we probably could.

Unit tests have been added, they are not enabled unless
--enable-unit-tests is set.

Regression tests have been added in regression-tests.dnsdist.

Unit and regression tests are enabled in travis.

implement getNameWithAddr() for downstreams for pretty log messages

further rings speedup

some ring statistics speedups

log when adding a dynamic block

Merge pull request #2996 from zeha/jsoninterface

Rename setting json-interface to api

API: Update and add more examples

Fixes #2511.

API: dot correctness

From and to API consumers we'll now always require/send names (and
content) with dots. To the backend, we'll always require/send without
dots. Some API tests now check the data written to the sqlite DB, too.

Incoming names are now checked against a restricted list of chars,
fixing #1437. The double dot case is taken care of by DNSName (and
we'll no longer report an ISE if DNSName parsing fails - we make
sure to parse all names in a try/except).

Cleanup leftovers from pre-DNSName times.

Turn auth api tests back on in travis.

Add PacketCache::purgeExact

API: copy-edit the spec

Remove links to old documentation, fix some wordings.

API docs: fix section headers

when installing new overlapping dynamic block, record old number of blocks and keep that. More pleasing to the eye.

show some more block/drop kinds in webpage

also show dynblock number of blocks in showDynBlocks()

revamp dynamic block syntax, you now insert blocks per x seconds, and we display remaining seconds count, plus number of things blocked

netmask src rule did not show itself correctly in dnsdist output

resolve conflict, add reporting of acl/locals

Merge branch 'master' of github.com:PowerDNS/pdns

fill out acl and local to index.html

report acl and local addresses over web-api

Merge pull request #2999 from zeha/dnsdistrad

Improve dnsdist html a tiny bit more

Improve dnsdist html a tiny bit more

make webserver display acl-drops - vital debugging hint. Plus GPL reminder.

cleanup dnsdist javascript & html, plus make it look a lot prettier

Merge pull request #2998 from ahupowerdns/various

adds topBandwidth, starts process of abstracting out operations on rings

fix up dnsdist javascript to the new /api/v1/ URLs

Rename setting json-interface to api

Plus:
* Mark settings as available since 4.0, as before they were
called experimental-...
* Sync setting descriptions between auth and recursor.