Merge pull request #3301 from rgacogne/dnsdist-outstanding

dnsdist: Better handling of outstanding TCP queries

Merge pull request #3302 from rgacogne/auth-yeti

Fix bindbackend's feedRecord to handle being slave for the root

Fix bindbackend's feedRecord to handle being slave for the root

Replace the out-of-zone check by using DNSName isPartOf().
Without this commit, importing the Yeti root zone via AXFR fails
with:

"Unable to feed record during incoming AXFR of '.':
out-of-zone data 'aaa..' during AXFR of zone '..'

because stripDomainSuffix("aaa.", ".") returns false.

Merge pull request #3298 from ahupowerdns/zedit

implement pdnsutil create-zone zone nsname, add-record, delete-rrset, replace-rrset

explicitly print the new rrset which should be.. educational

make sure replace-rrset replaces the right type

implement pdnsutil create-zone zone nsname, add-record, delete-rrset, replace-rrset

Merge pull request #3199 from cmouse/remove-rapidjson

Remove rapidjson

Remove rapidjson

Merge pull request #3197 from cmouse/remotebackend-json11

Convert remotebackend to JSON11 and fix some small bugs

Merge pull request #3293 from ahupowerdns/udpasy

make asynchronous UDP Lua queries work again in 4.x

Merge pull request #3280 from pieterlexis/recursor-install-config

Install generated recursor.conf-dist in sysconfdir

Merge pull request #3292 from rgacogne/dnsdist-empty-queries

dnsdist: Drop queries with no question (qdcount == 0)

dnsdist: Drop queries with no question (qdcount == 0)

Added a counter for these dropped queries, `emptyQueries` too.
This might be an issue for DNS cookies some day, as it uses
query with no question [1].
Additionnaly drops queries with QR set over TCP too to be
consistent with UDP.
This might close #3290.

[1]: https://tools.ietf.org/html/draft-ietf-dnsop-cookies-09#section-5.4

dnsdist: Better handling of outstanding TCP queries

The outstanding count was incremented for every query processed
in a single TCP session but was only decremented once per session.
It could also have been decremented before being incremented
if setupTCPDownstream() failed.
It might close #3288.

Merge pull request #2591 from cmouse/notify-tsig

Sign NOTIFY with TSIG

improve kv-example script, make sure we honor variable in there

fix up asynchronous querying

Merge pull request #3287 from rgacogne/external-sodium

Temporarily use an external libsodium in travis, revert me later

Test if we can temporarily use external libsodium in travis

Install generated recursor.conf-dist in sysconfdir

Merge pull request #3278 from rgacogne/dnsdist-lock-exceed-respgen

dnsdist: Lock the response ring in exceedRespGen()

dnsdist: Lock the response ring in exceedRespGen()

Hopefully this should fix #3277.

Merge pull request #3242 from pieterlexis/zone2sql-json-comments-test

Add test for zone2sql --json-comments

Merge pull request #3166 from pieterlexis/db-exceptions

Make auth crash less on transient DB failures

Merge pull request #3275 from rgacogne/dnsdist-exceedservfails-typo

dnsdist: Fix exceedServFails() case. Add exceedQRate to completion

Merge pull request #3269 from rgacogne/dnsdist-incbin-unlicense

dnsdist: Include ext/incbin/UNLICENSE in the dnsdist tarball

dnsdist: Fix exceedServFails() case. Add exceedQRate to completion

Rename exceedServfails() to exceedServFails() to be consistent.
Closes #3273.

Update README-dnsdist.md

Merge pull request #3274 from ahupowerdns/recpack

redo packet cache to be simpler, have more features, testcases and still reduce lines of code!

Merge remote-tracking branch 'origin/master' into recpack

Fix auth make dist

also support running w/o lua

revamp recursor packet cache to be far less clever and simply hash its question case insensitively. Plus add testcases.

implement Lua gettag() which optionally tells you which part of the packet cache to look at

clarifying comment

Move pdns-recursor contrib to recursordist

recursor dist: add missing file

Merge pull request #3259 from pieterlexis/recursor-autotools

Fully autotoolize the recursor distribution!

Appease the license-gods

dnsdist: Include ext/incbin/UNLICENSE in the dnsdist tarball

Fix typos

Fix typos

nit

Update tests to match changes

Assert column count when result is not empty

Use pdnsutil instead of pdnssec

Use separate setting for supermaster and notify

This allows enforcing signed supermaster notifications,
but retains compability with possible external nameservers
that do not support signed notifications.

Minimize zones

Fix name handling for tsigkeyname and algorithm

Ignore artefacts from supermaster test

Supermaster feature test

Add documentation

Update pdnsdistconf test

Indicate signed NOTIFY

Add allow-insecure-notify

Fix log levels

use DNSName for tsig keyname

In supermaster mode, set TSIG key used as domain's TSIG key

Check for correct TSIG key for domain

Add accessor for d_tsigkeyname

Sign notifications with TSIG key associated with domain

Use int/number value instead of wrapper

Check account existence

Recursor: have buildscripts use new normal configure

Autotoolize the recursor

This is done similar to dnsdist.

This commit adds a pdns_check_os.m4 to set OS dependent options.

Merge pull request #3268 from ahupowerdns/adfilter

enhance recursor lua with a hashed IP set, plus addRecord which is more generic than addAnswer

add an efficient ComboAddress set (loads around a million IP addresses per second)

add ability to store comboaddress in a hashed container

Merge pull request #3244 from pieterlexis/4.0-forward-zones

Fix the forward zones in the recursor

Merge pull request #3258 from Habbie/rrlfixes

minor fixes to policy/RRL code

Merge pull request #3256 from rgacogne/dnsdist-or-not

dnsdist: Add NotRule() and OrRule()

Merge pull request #3265 from rgacogne/dnsdist-ubsan

dnsdist: Fix misaligned load/store in ECS, reported by UBSAN

Merge pull request #3266 from rgacogne/dnsdist-fake-ds

dnsdist: Do not create socket/thread for fake DS in client mode

Merge pull request #3264 from cmouse/geoipbackend-id

Use correct id numbers for domains

Merge pull request #3255 from janeczku/auth-basic

Don't log authentication errors before sending HTTP basic auth challenge

dnsdist: Do not create socket/thread for fake DS in client mode

While parsing the configuration in client mode, we create a fake
DownstreamState for each newServer() call, because we need it to
return a valid DownstreamState object. Unfortunately this leads
to the creation of a socket for 0.0.0.0, and a subsequent
connection attempt.
We now detect that the address does not make sense in this context
and do not create the associated socket.
Closes #3257.

Use correct id numbers for domains

dnsdist: Fix misaligned load/store in ECS, reported by UBSAN

Using the buffer position as an uint16_t requires 2 byte alignment,
which is not guaranteed here.

Don't throw authentication error on the first request a HTTP client sends

Add empty ComboAddress equality unit-test

Fix the forward zones in the recursor

In the pre-DNSName era, when dns-native names were passed as strings, we
overloaded the NS-name for a forward or auth zone. e.g. an empty string
meant 'this is an auth zone' and '+203.0.113.1' meant 'forward to 203.0.113.1
with the RD bit set'. With DNSNames, this is impossible (yay!).

In this commit, the set of strings (and later DNSNames), is replaced by
a map where a DNSName is the key and the value is a pair of a
ComboAddress and a boolean.

A non-empty DNSName: This is a normal NS, recurse as usual (the pair is
ignored).

An empty DNSName and empty ComboAddress: We are auth for this zone,
check the auth store for an answer.

An empty DNSName and non-empty ComboAddress: The query must be forwarded
to the ComboAddress specified and the boolean in the pair tells us the
value of the RD bit in the query we need to send.

don't toString an empty dnsname

Merge pull request #3176 from zeha/nombed

Allow building with OpenSSL in place of mbedtls

dnsdist: Add NotRule() and OrRule()

Add test for zone2sql --json-comments

Closes #3181

Merge pull request #3251 from rgacogne/dnsdist-any-tcp

dnsdist: Document toString() aliases. Add TCPRule. Make AnyTCRule set TC only over UDP

dnsdist: Add TCPRule. Make addAnyTCRule set TC=1 over UDP, not TCP.

dnsdist: Document toString() and toStringWithPort() aliases

add makeRule convenience function, improve SuffixMatchNodeRule showRules() output, document this

Merge pull request #3232 from Habbie/ghostfixes

Fix recursor ghost tests

[FOR NOW] Disable mbedtls for travis

Dist+build Recursor with openssl instead of mbedtls

Port sha.hh to OpenSSL

Port dnssecinfra.cc to OpenSSL

Port md5.hh to OpenSSL

Port dns_random.cc to OpenSSL

Port base64.cc to OpenSSL

Add --without-mbedtls

Will require openssl though.

Merge pull request #3243 from a6502/master

Some fixes for lua backend for Lua version >= 5.2