Update yahttp, closes #3723

recursor: Add DNSSEC testing infrastructure and tests (#3741)

* Add rec dnssec test infra and initial tests

* Allow running an auth server

during the recursor regression tests.

Also add some boilerplate code so we can add DS records and root hints

* wip

* Add more infra to secure zones etc. wellKnown test passes, simple needs work

* Add own assertions, fix tests (all pass!)

* Hookup recursor DNSSEC tests to travis

* Add separate teardown classes

* Add a bogus zone

* Add tests for flag handling of the recursor

In preparation for #3682

And some new assertions

* Add flags test for bogus domains

* Lower startup delay

* refactor zones and keys

* Make pylint happy

* fix travis

* Disable WellKnown tests, they fail on travis

* WIP

* Add flag tests for insecure zone

* Change domain names to documentation names

Merge pull request #3762 from ahupowerdns/teeaction

 Teeaction: send copy of query to second nameserver, sponge responses

hook up action-stats to JSON output

edit in changes suggested by @rgacogne for TeeAction, thanks

document TeeAction & new getAction()

make TeeAction() quit properly, add getAction() so you can get access to an action, add getStats() to give you raw stats

clean up our error reporting on the console a bit, may need to happen for the remotely connected console too

initial work on TeeAction, still has some missing bits, like not blocking the whole daemon when you delete a rule

grepq() has no sideeffects in dnsdist.

Merge pull request #3755 from rgacogne/dnsdist-fix-regex-sample

dnsdist: Fix RegexRule example in dnsdistconf.lua

Merge pull request #3714 from rubenk/dnsdist-service

dnsdist: add documentation links to dnsdist.service

Merge pull request #3751 from medea61/master

fixing systemd capability issues #3748 & #3749

fixing #3749

fixing #3748

dnsdist: Fix RegexRule example in dnsdistconf.lua

Merge pull request #3745 from pieterlexis/dnsdist-not-remote-logo

dnsdist website, use a local logo

Merge pull request #3744 from rgacogne/dnsdist-100final-changelog

dnsdist: Update ChangeLog for 1.0.0

dnsdist website, use a local logo

dnsdist: add documentation links to dnsdist.service

Merge pull request #3740 from ahupowerdns/bind-nsec-fix

fixes a crash in BIND backend NSEC code - but needs more work

dnsdist: Update ChangeLog for 1.0.0

Merge pull request #3739 from rgacogne/dnsdist-drop-after-daemonize

dnsdist: Drop privileges after daemonizing and writing our pid

this fix prevents a crash in bind backend in dnssec mode but unsure if it does the right thing

dnsdist: Drop privileges after daemonizing and writing our pid

Merge pull request #3713 from rubenk/remove-contrib-dnsdist-service

dnsdist: remove contrib/dnsdist.service

Merge pull request #3730 from rgacogne/dnsdist-top-bandwidth

dnsdist: Make `topBandwidth()` behave like other top* functions

Merge pull request #3700 from pieterlexis/rpm-dnsdist-user

dnsdist: create user from the RPM package to drop privs

typo

Merge pull request #3736 from rgacogne/dnsdist-nmg-rule

dnsdist: Add missing Lua binding for NetmaskGroupRule()

Merge pull request #3737 from Habbie/escapestar

nit

nit

dnsdist: Add missing Lua binding for NetmaskGroupRule()

Merge pull request #3731 from rgacogne/dnsdist-policies-doc

dnsdist: Clarify a bit the documentation of load-balancing policies

Merge pull request #3722 from rubenk/dnsdist-disable-static

dnsdist: use LT_INIT and disable static objects

Merge pull request #3720 from edmonds/branches/edmonds-dnswasher-fixes

Fixes for dnswasher from Robert Edmonds of Farsight - thanks!

Merge pull request #3735 from setharnold/patch-2

Mention dnsdist in main repo README.md

Mention dnsdist in main repo README.md

dnsdist: use LT_INIT and disable static objects

Do the same thing pdns does.

dnsdist: Clarify a bit the documentation of load-balancing policies

dnsdist: Make `topBandwidth()` behave like other top* functions

Fixes #3521.

Merge pull request #3728 from rgacogne/dnsdist-libedit-history

dnsdist: Document libedit Ctrl-R workaround for CentOS 6

Merge pull request #3710 from pieterlexis/always-validate

Always validate on 'validate' and 'log-fail'

Merge pull request #3726 from ahupowerdns/getca-netmasks

implement getCA() for faster & native IP address extraction in Lua sc…

Merge branch 'master' of github.com:PowerDNS/pdns

implement an official pretty ordering for DNSRecords and use it

Merge pull request #3655 from zeha/setptr-soaeditapi

API: Fix set-ptr to honor SOA-EDIT-API

make pdnsutil edit-zone operate on a 'prettysorted' zone in canonical order, except that SOA always comes on top

dnsdist: Document libedit Ctrl-R workaround for CentOS 6

Fixes #3227.

Add a paragraph on dropping privs

Add dnsdist user when installing RPMs

Merge pull request #3711 from rubenk/dnsdist-require-systemd-devel-for-rpm

dnsdist: building rpm needs systemd headers

Merge pull request #3712 from rgacogne/dnsdist-make-check

dnsdist: Make check should run testrunner

Merge pull request #3724 from zeha/mips-atomic

dnsdist: include PDNS_CHECK_OS in configure

prettyfi the pdnsutil edit-zone diff output by grouping changed names together

dnsdist: include PDNS_CHECK_OS in configure

Follow up fix to #3593 which added -latomic on mips(el), but
dnsdist did not use the macro where this got added.

dnswasher: Write obfuscated IPv6 prefixes in network byte order

Make the IPv6 code path follow the IPv4 code path by writing out the
IPObfuscator counter in network byte order.

This makes the obfuscated IPv6 addresses easier to read and avoids
making the output of the tool vary based on the host byte order.

dnswasher: Remove offsets from IPv6 src/dst pointers

I'm not entirely sure why this code was offsetting the IPv6
source/destination header fields, but this commit removes those offsets.

This results in the obfuscation of the first 64 bits of the IPv6
source/destination addresses. (Arguably the whole address should be
obfuscated, though.)

dnswasher: Only zero the IP header checksum for IPv4

IPv6 doesn't have a checksum field. This code previously zeroed the
space in the header where the IPv4 header checksum would be, regardless
of IP header version.

dnswasher: Don't spam stdout in IPObfuscator::obf6()

dnspcap: Decode IPv6 packets in DLT_RAW captures correctly

DLT_RAW captures (linktype 101) were not handling IPv6 packets
correctly.

For DLT_RAW, PcapPacketReader::getUDPPacket() synthesizes a fake
ethertype value (the "contentCode" variable), but for IPv6 it was
incorrectly set to 0x0806 (ARP) instead of 0x86dd (IPv6). This caused
IPv6 packets to silently be discarded.

dnswasher: Fix comment at top of file (RD -> QR)

Only the QR bit (not the RD bit) is consulted when determining which IP
address to obfuscate.

Merge pull request #3715 from mzealey/readme-patch

Add in tools required for recursor ubuntu build

Add in tools required for recursor ubuntu build

dnsdist: remove contrib/dnsdist.service

One service file is more than enough

dnsdist: Make check should run testrunner

Thanks @rubenk !

dnsdist: building rpm needs systemd headers

We check for the systemd headers, which are in systemd-devel

checking systemd/sd-daemon.h usability... no
checking systemd/sd-daemon.h presence... no
checking for systemd/sd-daemon.h... no

Always validate on 'validate' and 'log-fail'

Closes #3709

Also add a comment in the code regarding another DNSSEC ticket

implement getCA() for faster & native IP address extraction in Lua scripts plus document and implement faster way of loading large amounts of netmasks from file.

Merge pull request #3704 from rgacogne/dnsdist-beta1-changelog

dnsdist: beta1 ChangeLog

dnsdist: beta1 ChangeLog

typo

API: honor set-ptr during zone create, too

API: extract storeChangedPTRs out of patchZone

API: one UeberBackend less

API: honor SOA-EDIT-API when handling set-ptr

API: actually set SOA-EDIT-API DEFAULT

API: Expand set-ptr test to check for SOA-EDIT-API result

(And cleanup incorrect comment in existing tests.)

Merge pull request #3697 from pieterlexis/split-travis

Split travis between auth, recursor, dnsdist and docs

Merge pull request #3701 from rgacogne/protobuf-fixes

Protobuf: Encode UUID in binary. Add question to the response msg

Merge pull request #3702 from ahupowerdns/dnsreplay-real

Dnsreplay & ednssubnet: teach dnsreplay to add original IP address as ECS & recursor to log it

don't try to do protobuf w/o protobuf

add ECS logging to pdns_recursor, teach dnsreplay to add original IP address as ECS, plus document all this

Protobuf: Encode UUID in binary. Add question to the response msg

Also:
- merge the dnsdist and recursor Remote Logger implementations.
- fix the protobuf logging over TCP in dnsdist

Merge pull request #3696 from pieterlexis/more-alpha-secpoll

More additions to the secpoll

Merge pull request #3699 from rgacogne/dnsdist-doc-protobuf

dnsdist: Document our remote logging feature

Merge pull request #3677 from pieterlexis/dnsdist-systemd-notify-support

dnsdist: Add support for systemd-notify

dnsdist: patch the systemd.m4

This patch is twofold:
1 - It detects the correct library for sd-daemon (either
libsystemd-daemon (systemd pre-209) or libsystemd (systemd post-209)
2 - Detection of the library and files is only run once, even when
systemd support detection is automatic (when using AX_AVAILABLE_SYSTEMD)

dnsdist: Add systemd notify support

dnsdist: Document our remote logging feature

Merge pull request #3681 from pieterlexis/issue-3645-cache-wipe-dot

Don't throw an error on wipe-cache .something

dnsdist: Import systemd autoconf macros

Imported
https://github.com/mcgrof/funk-systemd/blob/b17396e7b1f5e93db74cae0e9123f39cf27a8339/src/m4/systemd.m4
as m4/systemd.m4

Imported
https://github.com/mcgrof/funk-systemd/blob/b17396e7b1f5e93db74cae0e9123f39cf27a8339/src/m4/features.m4
as m4/ax_arg_default_enable_disable.m4

More additions to the secpoll

Merge pull request #3694 from Habbie/protobuf-old-autoconf

avoid generating empty if/else blocks on autoconf 2.63, fixes #3684

avoid generating empty if/else blocks on autoconf 2.63, fixes #3684

Split travis between the products

For better parallel testing

Revert "temporarily reduce travis runtime, revert me later"

This reverts commit cb547431e9809f85028231cc8015e2ca5e914ad3.

Merge pull request #3691 from rgacogne/dnsdist-ecs-dnsname-crash

Throw if DNSName would overflow when asked to read type/class

Merge pull request #3692 from pieterlexis/dnsdist-makefile

dnsdist: do not install the testrunner

Merge pull request #3690 from rgacogne/dnsdist-doc-ecs-fixes

dnsdist: Doc: Clarify ECS a bit, fix the source address list