Merge pull request #3720 from edmonds/branches/edmonds-dnswasher-fixes

Fixes for dnswasher from Robert Edmonds of Farsight - thanks!

Merge pull request #3735 from setharnold/patch-2

Mention dnsdist in main repo README.md

Mention dnsdist in main repo README.md

Merge pull request #3728 from rgacogne/dnsdist-libedit-history

dnsdist: Document libedit Ctrl-R workaround for CentOS 6

Merge pull request #3710 from pieterlexis/always-validate

Always validate on 'validate' and 'log-fail'

Merge pull request #3726 from ahupowerdns/getca-netmasks

implement getCA() for faster & native IP address extraction in Lua sc…

Merge branch 'master' of github.com:PowerDNS/pdns

implement an official pretty ordering for DNSRecords and use it

Merge pull request #3655 from zeha/setptr-soaeditapi

API: Fix set-ptr to honor SOA-EDIT-API

make pdnsutil edit-zone operate on a 'prettysorted' zone in canonical order, except that SOA always comes on top

dnsdist: Document libedit Ctrl-R workaround for CentOS 6

Fixes #3227.

Merge pull request #3711 from rubenk/dnsdist-require-systemd-devel-for-rpm

dnsdist: building rpm needs systemd headers

Merge pull request #3712 from rgacogne/dnsdist-make-check

dnsdist: Make check should run testrunner

Merge pull request #3724 from zeha/mips-atomic

dnsdist: include PDNS_CHECK_OS in configure

prettyfi the pdnsutil edit-zone diff output by grouping changed names together

dnsdist: include PDNS_CHECK_OS in configure

Follow up fix to #3593 which added -latomic on mips(el), but
dnsdist did not use the macro where this got added.

dnswasher: Write obfuscated IPv6 prefixes in network byte order

Make the IPv6 code path follow the IPv4 code path by writing out the
IPObfuscator counter in network byte order.

This makes the obfuscated IPv6 addresses easier to read and avoids
making the output of the tool vary based on the host byte order.

dnswasher: Remove offsets from IPv6 src/dst pointers

I'm not entirely sure why this code was offsetting the IPv6
source/destination header fields, but this commit removes those offsets.

This results in the obfuscation of the first 64 bits of the IPv6
source/destination addresses. (Arguably the whole address should be
obfuscated, though.)

dnswasher: Only zero the IP header checksum for IPv4

IPv6 doesn't have a checksum field. This code previously zeroed the
space in the header where the IPv4 header checksum would be, regardless
of IP header version.

dnswasher: Don't spam stdout in IPObfuscator::obf6()

dnspcap: Decode IPv6 packets in DLT_RAW captures correctly

DLT_RAW captures (linktype 101) were not handling IPv6 packets
correctly.

For DLT_RAW, PcapPacketReader::getUDPPacket() synthesizes a fake
ethertype value (the "contentCode" variable), but for IPv6 it was
incorrectly set to 0x0806 (ARP) instead of 0x86dd (IPv6). This caused
IPv6 packets to silently be discarded.

dnswasher: Fix comment at top of file (RD -> QR)

Only the QR bit (not the RD bit) is consulted when determining which IP
address to obfuscate.

Merge pull request #3715 from mzealey/readme-patch

Add in tools required for recursor ubuntu build

Add in tools required for recursor ubuntu build

dnsdist: Make check should run testrunner

Thanks @rubenk !

dnsdist: building rpm needs systemd headers

We check for the systemd headers, which are in systemd-devel

checking systemd/sd-daemon.h usability... no
checking systemd/sd-daemon.h presence... no
checking for systemd/sd-daemon.h... no

Always validate on 'validate' and 'log-fail'

Closes #3709

Also add a comment in the code regarding another DNSSEC ticket

implement getCA() for faster & native IP address extraction in Lua scripts plus document and implement faster way of loading large amounts of netmasks from file.

Merge pull request #3704 from rgacogne/dnsdist-beta1-changelog

dnsdist: beta1 ChangeLog

dnsdist: beta1 ChangeLog

typo

API: honor set-ptr during zone create, too

API: extract storeChangedPTRs out of patchZone

API: one UeberBackend less

API: honor SOA-EDIT-API when handling set-ptr

API: actually set SOA-EDIT-API DEFAULT

API: Expand set-ptr test to check for SOA-EDIT-API result

(And cleanup incorrect comment in existing tests.)

Merge pull request #3697 from pieterlexis/split-travis

Split travis between auth, recursor, dnsdist and docs

Merge pull request #3701 from rgacogne/protobuf-fixes

Protobuf: Encode UUID in binary. Add question to the response msg

Merge pull request #3702 from ahupowerdns/dnsreplay-real

Dnsreplay & ednssubnet: teach dnsreplay to add original IP address as ECS & recursor to log it

don't try to do protobuf w/o protobuf

add ECS logging to pdns_recursor, teach dnsreplay to add original IP address as ECS, plus document all this

Protobuf: Encode UUID in binary. Add question to the response msg

Also:
- merge the dnsdist and recursor Remote Logger implementations.
- fix the protobuf logging over TCP in dnsdist

Merge pull request #3696 from pieterlexis/more-alpha-secpoll

More additions to the secpoll

Merge pull request #3699 from rgacogne/dnsdist-doc-protobuf

dnsdist: Document our remote logging feature

Merge pull request #3677 from pieterlexis/dnsdist-systemd-notify-support

dnsdist: Add support for systemd-notify

dnsdist: patch the systemd.m4

This patch is twofold:
1 - It detects the correct library for sd-daemon (either
libsystemd-daemon (systemd pre-209) or libsystemd (systemd post-209)
2 - Detection of the library and files is only run once, even when
systemd support detection is automatic (when using AX_AVAILABLE_SYSTEMD)

dnsdist: Add systemd notify support

dnsdist: Document our remote logging feature

Merge pull request #3681 from pieterlexis/issue-3645-cache-wipe-dot

Don't throw an error on wipe-cache .something

dnsdist: Import systemd autoconf macros

Imported
https://github.com/mcgrof/funk-systemd/blob/b17396e7b1f5e93db74cae0e9123f39cf27a8339/src/m4/systemd.m4
as m4/systemd.m4

Imported
https://github.com/mcgrof/funk-systemd/blob/b17396e7b1f5e93db74cae0e9123f39cf27a8339/src/m4/features.m4
as m4/ax_arg_default_enable_disable.m4

More additions to the secpoll

Merge pull request #3694 from Habbie/protobuf-old-autoconf

avoid generating empty if/else blocks on autoconf 2.63, fixes #3684

avoid generating empty if/else blocks on autoconf 2.63, fixes #3684

Split travis between the products

For better parallel testing

Revert "temporarily reduce travis runtime, revert me later"

This reverts commit cb547431e9809f85028231cc8015e2ca5e914ad3.

Merge pull request #3691 from rgacogne/dnsdist-ecs-dnsname-crash

Throw if DNSName would overflow when asked to read type/class

Merge pull request #3692 from pieterlexis/dnsdist-makefile

dnsdist: do not install the testrunner

Merge pull request #3690 from rgacogne/dnsdist-doc-ecs-fixes

dnsdist: Doc: Clarify ECS a bit, fix the source address list

dnsdist: do not install the testrunner

Throw if DNSName would overflow when asked to read type/class

Otherwise, the caller has to check the consumed size to know
if the type and class he asked for have been read, while it
clearly expected them to be present.
Fix a crash in dnsdist ECS parsing found by american fuzzy lop.

Merge pull request #3689 from Habbie/nocomment

this comment makes no sense after e377f86

this comment makes no sense after e377f86

dnsdist: Doc: Clarify ECS a bit, fix the source address list

temporarily reduce travis runtime, revert me later

Catch an error in wipe-cache

When an invalid DNSName is encountered, we do not wipe anything from the
cache.

Also update the manpage.

Closes #3645

Merge pull request #3642 from pieterlexis/protobuf-cleanups

Protobuf cleanups

Merge pull request #3640 from rgacogne/rec-protobuf-wake-worker

rec: Extract ECS even w/o gettag. Wake worker when exiting.

Merge pull request #3633 from rgacogne/dnsdist-cache-short-ttl

dnsdist: Count "TTL too short" events, default min TTL to 0

Merge pull request #3632 from saltsa/master

fix exit statuses to constants and return 0 when success

Merge pull request #3619 from pieterlexis/issue-2072-rec_control-reload-zones

Don't replace forwards with broken config file

Merge pull request #3618 from pieterlexis/issue-3430-scoped-syntax-docs

Document v6 scoped syntax

Merge pull request #3614 from hlindqvist/policy-lua-fixes

Policy lua script null handling fixes

Merge pull request #3656 from zeha/api-cryptokey-cleanup

API: clean up cryptokeys resource

Merge pull request #3658 from rgacogne/dnsdist-maxqpsiprule-crash

dnsdist: Add a lock to MaxQPSIPRule

Merge pull request #3667 from mind04/default

fix default algorithms in pdnsutil

Merge pull request #3678 from mind04/bindroot

root zone fixes in bind backend

enable all bind root zone tests in travis

redo NSEC3 in bind backend

recursor: ignore generated files

recursor: Protobuf auto* cleanup

dnsdist: allow building with `make dnsdist`

dnsdist: Protobuf automake fixes

dnsdist: ignore generated files

dnsdist: automatically detect protobuf

make dnspcap2protobuf buildable without `make all`

Automatically detect protobuf (similar to Lua)

No need to `--enable-protobuf`. If you want to skip protobuf detection,
`--without-protobuf` is your friend. We also fail configure if
`--with-protobuf=yes` and protobuf is not found.

Ignore built files

Update auth docs

Merge pull request #3612 from pieterlexis/issue-3480-pgsql-segfault

pdnsutil: Fix segfault in the gpgsql backend

Merge pull request #3676 from pieterlexis/docupdates

Documentation updates

Merge branch 'mind04-root'

Merge branch 'root' of https://github.com/mind04/pdns into mind04-root

Merge pull request #3671 from pieterlexis/relative-paths

recursor: use relative paths for recuweb

Merge pull request #3625 from cyclops1982/3362

Suggested fix for #3362 and #2911

Merge pull request #3666 from mind04/backend

Restore old gsql backend behaviour

docs: Update the authoritative mainpage

Merge remote-tracking branch 'habbie/ldapdocs' into docupdates

dnsdist: update last addLuaAction parameter reference

Merge pull request #3563 from GaveUp/master

Clarify ALLOW-AXFR-FROM.