API: clean up cryptokeys resource

Treat domain not found as a normal not found; treat all keys
absent for single resource request as a normal not found;
return an object instead of a single-valued list for single
resource requests and rename "content" to "privatekey"
and don't re-read the key from the backend.

Also share UeberBackend with DNSSECKeeper to avoid extra
backend connection.

Merge pull request #3634 from rgacogne/dnsdist-dangling-tcp-fd

dnsdist: Prevent dangling TCP fd in case setupTCPDownstream() fails

Merge pull request #3641 from rgacogne/dnsdist-qps-none

dnsdist: Under threshold, QPS action should return None, not Allow

Update link in docs

dnsdist: Under threshold, QPS action should return None, not Allow

Closes #3638.

Merge pull request #3639 from rgacogne/rec-protobuf

rec: Add protobuf support, add RPZ policy name

rec: Remove protobuf debug output

protobuf: add an "originalRequestorSubnet" field

rec: Add a name to DNSFilterEngine policy

rec: Add protobuf support

this liberates the rapid ednssubnet parser in pdns_recursor for use for the protobuf emitter

slightly improve RPZ documentation

dnsdist: Prevent dangling TCP fd in case setupTCPDownstream() fails

Remove the closed socket descriptor from the sockets map.
Otherwise, if an exception occurs in setupTCPDownstream(), we might
try to use it and close it again later, not knowing it has been
reassigned to another socket or, worse, to a TCP acceptor pipe.

fix typo, sorry for that - broke dnspcap2protobuf

adjust to new dnsmessage protobuf semantics: from/to is not requestor/responder. Plus, we ignore rd=0 queries for now.

hopefully fix build without protobuf on travis

fix up dnspcap2protobuf htons plus catch exception

Add unique IDs to match query w/ response in dnspcap2protobuf

Check the packet size in dnspcap2protobuf

Add a dnspcap2protobuf tool

Merge pull request #3627 from rgacogne/dnsdist-ecs-remove

dnsdist: Remove ECS option from response's OPT RR when necessary

Merge pull request #3626 from rgacogne/dnsdist-fix-boost-uuid

dnsdist: Don't include boost/uuid headers without protobuf support

dnsdist: Don't include boost/uuid headers without protobuf support

Merge pull request #3611 from pieterlexis/issue-3392-no-rectify-on-nondnssec

pdnsutil: Don't try to rectify non-DNSSEC zones

Merge pull request #3620 from pieterlexis/rec-control-manpage-test

Add test for rec_control manpage

Merge pull request #3621 from pieterlexis/lowercase-in-db

Lowercase names when inserting in the database

Merge pull request #3623 from zeha/typo

geoip: Fix typo in messages

dnsdist: Remove ECS option from response's OPT RR when necessary

If we added an ECS option to a query already having EDNS,
we need to remove the ECS option sent back by the server if any,
otherwise this might confuse the original client.

geoip: Fix typo in messages

Merge pull request #3622 from ahupowerdns/remi-protobuf

Merge dnsdist protobuf based query logging

fix up protobuf for make dist

autobuild dnsmessage.pb.cc & h

Merge remote-tracking branch 'rgacogne/dnsdist-protobuf' into remi-protobuf

dnsdist: In remote logger, payload size should be 16 bits, not 32

Merge remote-tracking branch 'rgacogne/dnsdist-protobuf'

Lowercase names when inserting in the database

Closes #3583

Add test for rec_control manpage

Closes #601

Merge pull request #3610 from pieterlexis/dnsupdate-docs

Fix dnsupdate docs.

Merge pull request #3616 from ahupowerdns/insecure-fix

For for incorrect 'Bogus' on Insecure on provable insecure delegation, plus better dnssec trace logging

some further additional trace logging for dnssec validation

Closes #3390 by fixing validation of provably insecure delegation for NSEC records, plus improving our DNSSEC validation logging with --trace output on

Merge pull request #3608 from rgacogne/dnsdist-cache-stats

dnsdist: Export cache stats to carbon

Merge pull request #3613 from pieterlexis/ignore-pdns_recursor-pidfile

Ignore pdns_recursor.pid

Ignore pdns_recursor.pid

dnsdist: Use a separate thread and a queue for remote logging

Merge pull request #3609 from rgacogne/dnsdist-display-acl

dnsdist: Display the ACL content on startup

pdnsutil: Fix rectify message for non-DNSSEC zones

Closes: #3392

Merge pull request #3605 from pieterlexis/recursor-forward-multiple

Recursor: Fix the forwarding to multiple servers

Merge pull request #3606 from ahupowerdns/dnssec-ok-fix

Fix a few DNSSEC issues. this closes #3261, closes #3532, closes #3446.

Merge pull request #3607 from ahupowerdns/recuregres-fixes

Improve recursor regression tests

turns out that you also need to strip trailing , to be impervious to JSON order changes.

for now, skip the 'ghost' tests so we can reenable recursor testing on travis

make this test independent of ordering of json

Fix dnsupdate docs. closes #3525

dnsdist: Display the ACL content on startup

Closes #3588.

actually fail if the recursor tests fail

this test relies on the ordering within json which is not wise, but I verified we got it right and set the ordering to what pdns emits now

warn if recursor or pdns can't be found in regression tests (but continue anyhow), improve documentation, remove "you can safely ignore this error"-error which still confused me, document lua-posix dependency, document how authbind works

another place where we looked for the recursor in the wrong place

another place that looked for pdns_recursor in the old place

make regression tests look in sane default place for pdns_recursor, make travis put pdns_recursor in that sane place

fix --dnssec help output about defaults

this fixes #3261 and likely #3532 and #3446. In the new model, SyncRes has one flag: do DNSSEC or not. If the user did not want DNSSEC, pdns_recursor.cc will strip it out for you.
But the processing is mostly done anyhow (except for optimization). This also fixes everyone's favorite warning about State being unset, and it restores 'dnssec=process' as default

Improve trace messages for auth and forward zones

Add remote IP to a logmessage

Fix forward-zone with multiple IPs

Fixes #3523

dnsdist: Split query/response actions

Merge pull request #3569 from Habbie/name-in-error

log name/qtype when sending out servfail

WIP: dnsdist: Add a hackish protobuf over TCP log exporter

dnsdist: Export cache stats to carbon.

Merge pull request #3592 from pieterlexis/issue-3591-secure-delegated-test-broken

Add a ZSK to secure-delegated test zone properly

Merge pull request #3596 from mind04/botan

remove unnecessary botan signers (rsa and ecdsa)

Merge pull request #3582 from rgacogne/dnsdist-unify

dnsdist: Refactor query/response handling code (UDP/TCP)

Merge pull request #3587 from pieterlexis/l-root

Move the root server addresses to a header

Merge pull request #3595 from pieterlexis/trailing-dot-in-create-zone

pdnsutil: add NS record without trailing dot with create-zone

Merge pull request #3578 from pieterlexis/disable-syslog

Add a `disable-syslog` option

Merge pull request #3593 from pieterlexis/atomic-on-mipsel

Add -latomic to LDFLAGS on mips(el)

Merge pull request #3594 from rgacogne/dnsdist-single-console-command

dnsdist: Prevent EOF error for empty console response w/o sodium

Merge pull request #3598 from ahupowerdns/pdnsutil-help

make pdnsutil help output to stdout, document create-slave-zone in "help" output

Merge pull request #3599 from ahupowerdns/pdnsutil-fail-fix

alternate to #3579 as fix for #3387. lot shorter.

alternate to #3579 as fix for #3387. lot shorter.

make pdnsutil help output to stdout, document create-slave-zone in "help" output

Merge pull request #3590 from a6502/luabackendfixes-take2

Luabackendfixes take2

remove unnecessary botan signers

pdnsutil: add NS record without trailing dot with create-zone

Closes #3484

dnsdist: Prevent EOF error for empty console response w/o sodium

Prevent the "Fatal error: EOF while reading message" error when
the server send an empty response to a single console command.
It was caused by calling `readn2()` for a 0-sized read.
When libsodium support is enabled, padding prevents 0-sized
responses anyway.

Add -latomic to LDFLAGS on mips(el)

Closes #3486

Add a ZSK to secure-delegated test zone properly

Don't rely on the output of pdnsutil for this

Closes #3591

Fix recursor test in buildbot

simple test script for luabackend

repair dnssec in luabackend (done by ahu); try not to crash on unexpected return values; use integers where appropriate because that works better for lua 5.3

Merge pull request #3586 from pieterlexis/rm-root-ref

Remove the send-root-referral option

log name/qtype when sending out servfail

add DNSName::toLogString

Merge pull request #3585 from pieterlexis/wtf8

Use another copyright keypoint

Remove the send-root-referral option

This was already disabled and is wrong and bad:
https://www.dns-oarc.net/oarc/articles/upward-referrals-considered-harmful

Merge pull request #3565 from rgacogne/coverity-fixes

Small fixes reported by coverity

Merge pull request #3580 from mind04/bind-list

bindbackend: fix, set domain in list()

Merge pull request #3579 from rgacogne/coverity-fixes-pdns

auth: Fix reading invalid iterator in fillZone()

Merge pull request #3584 from sjvs/patch-1

Update Makefile.am: do not swallow curl errors