Merge pull request #3317 from tjikkun/add_to_dist

add incfiles and src_js/ to dnsdist dist tarball

add incfiles and src_js/ to dnsdist dist tarball

This allows to regenerate the js files

Change 'split horizon' section into 'lua policy functoin' section

Merge pull request #3313 from ahupowerdns/ednsexpose

Ednsexpose: implement the logic we need to generate EDNS MAC fields in dnsdist & read them in recursor

Merge pull request #3223 from tjikkun/min_js

Min js

Merge pull request #17 from rgacogne/ednsexpose

dnsdist: Refactoring of EDNS code

dnsdist: Refactoring of EDNS code

implement mac address stuffing in dnsdist FOR QUERIES WITHOUT EDNS ALREADY.

Add src JS files

The reason for this is to make downstreams like Fedora happy. This makes
checking those files for changes against upstream for example easier.

In the progress I updated the js-libraries so I know which versions are used
for both src and minified version. This is noted in the file src_js/SOURCES

Also I deleted jsrender.js and purl.js because the were unused.

Finally I added a Makefile option to build the minified js files yourself if
you want to do so.

Merge pull request #3309 from rgacogne/dnsdist-tcp-leak

dnsdist: Fix TCP clients threads vector and counters initialization

Merge pull request #3301 from rgacogne/dnsdist-outstanding

dnsdist: Better handling of outstanding TCP queries

dnsdist: Fix TCP clients threads vector and counters initialization

By tracking the FD leak reported in #3300, I observed that:
* we could create up to g_maxTCPClientThreads TCP threads,
but the corresponding vector size was hardcoded at 1024
(which the default for g_maxTCPClientThreads)
* the counters were not explicitely initialized

This commit fixes that and adds some additional checks to make
sure we don't add more TCP client threads, as that could lead to
a race if the vector is resized.

add a sample MAC address extraction to powerdns example Lua script

hook up EDNS options infra to lua, provide getEDNSOptions to get all of them or getDNSOption to probe for 1

hook up edns options to prototypes

Merge pull request #3302 from rgacogne/auth-yeti

Fix bindbackend's feedRecord to handle being slave for the root

Fix bindbackend's feedRecord to handle being slave for the root

Replace the out-of-zone check by using DNSName isPartOf().
Without this commit, importing the Yeti root zone via AXFR fails
with:

"Unable to feed record during incoming AXFR of '.':
out-of-zone data 'aaa..' during AXFR of zone '..'

because stripDomainSuffix("aaa.", ".") returns false.

Merge pull request #3298 from ahupowerdns/zedit

implement pdnsutil create-zone zone nsname, add-record, delete-rrset, replace-rrset

explicitly print the new rrset which should be.. educational

make sure replace-rrset replaces the right type

implement pdnsutil create-zone zone nsname, add-record, delete-rrset, replace-rrset

Merge pull request #3199 from cmouse/remove-rapidjson

Remove rapidjson

Remove rapidjson

Merge pull request #3197 from cmouse/remotebackend-json11

Convert remotebackend to JSON11 and fix some small bugs

Merge pull request #3293 from ahupowerdns/udpasy

make asynchronous UDP Lua queries work again in 4.x

Merge pull request #3280 from pieterlexis/recursor-install-config

Install generated recursor.conf-dist in sysconfdir

Merge pull request #3292 from rgacogne/dnsdist-empty-queries

dnsdist: Drop queries with no question (qdcount == 0)

dnsdist: Drop queries with no question (qdcount == 0)

Added a counter for these dropped queries, `emptyQueries` too.
This might be an issue for DNS cookies some day, as it uses
query with no question [1].
Additionnaly drops queries with QR set over TCP too to be
consistent with UDP.
This might close #3290.

[1]: https://tools.ietf.org/html/draft-ietf-dnsop-cookies-09#section-5.4

dnsdist: Better handling of outstanding TCP queries

The outstanding count was incremented for every query processed
in a single TCP session but was only decremented once per session.
It could also have been decremented before being incremented
if setupTCPDownstream() failed.
It might close #3288.

Merge pull request #2591 from cmouse/notify-tsig

Sign NOTIFY with TSIG

improve kv-example script, make sure we honor variable in there

fix up asynchronous querying

Merge pull request #3287 from rgacogne/external-sodium

Temporarily use an external libsodium in travis, revert me later

Test if we can temporarily use external libsodium in travis

Install generated recursor.conf-dist in sysconfdir

Merge pull request #3278 from rgacogne/dnsdist-lock-exceed-respgen

dnsdist: Lock the response ring in exceedRespGen()

dnsdist: Lock the response ring in exceedRespGen()

Hopefully this should fix #3277.

Merge pull request #3242 from pieterlexis/zone2sql-json-comments-test

Add test for zone2sql --json-comments

Merge pull request #3166 from pieterlexis/db-exceptions

Make auth crash less on transient DB failures

Merge pull request #3275 from rgacogne/dnsdist-exceedservfails-typo

dnsdist: Fix exceedServFails() case. Add exceedQRate to completion

Merge pull request #3269 from rgacogne/dnsdist-incbin-unlicense

dnsdist: Include ext/incbin/UNLICENSE in the dnsdist tarball

dnsdist: Fix exceedServFails() case. Add exceedQRate to completion

Rename exceedServfails() to exceedServFails() to be consistent.
Closes #3273.

Update README-dnsdist.md

Merge pull request #3274 from ahupowerdns/recpack

redo packet cache to be simpler, have more features, testcases and still reduce lines of code!

Merge remote-tracking branch 'origin/master' into recpack

Fix auth make dist

also support running w/o lua

revamp recursor packet cache to be far less clever and simply hash its question case insensitively. Plus add testcases.

implement Lua gettag() which optionally tells you which part of the packet cache to look at

clarifying comment

Move pdns-recursor contrib to recursordist

recursor dist: add missing file

Merge pull request #3259 from pieterlexis/recursor-autotools

Fully autotoolize the recursor distribution!

Appease the license-gods

dnsdist: Include ext/incbin/UNLICENSE in the dnsdist tarball

Fix typos

Fix typos

nit

Update tests to match changes

Assert column count when result is not empty

Use pdnsutil instead of pdnssec

Use separate setting for supermaster and notify

This allows enforcing signed supermaster notifications,
but retains compability with possible external nameservers
that do not support signed notifications.

Minimize zones

Fix name handling for tsigkeyname and algorithm

Ignore artefacts from supermaster test

Supermaster feature test

Add documentation

Update pdnsdistconf test

Indicate signed NOTIFY

Add allow-insecure-notify

Fix log levels

use DNSName for tsig keyname

In supermaster mode, set TSIG key used as domain's TSIG key

Check for correct TSIG key for domain

Add accessor for d_tsigkeyname

Sign notifications with TSIG key associated with domain

Use int/number value instead of wrapper

Check account existence

Recursor: have buildscripts use new normal configure

Autotoolize the recursor

This is done similar to dnsdist.

This commit adds a pdns_check_os.m4 to set OS dependent options.

Merge pull request #3268 from ahupowerdns/adfilter

enhance recursor lua with a hashed IP set, plus addRecord which is more generic than addAnswer

add an efficient ComboAddress set (loads around a million IP addresses per second)

add ability to store comboaddress in a hashed container

Merge pull request #3244 from pieterlexis/4.0-forward-zones

Fix the forward zones in the recursor

Merge pull request #3258 from Habbie/rrlfixes

minor fixes to policy/RRL code

Merge pull request #3256 from rgacogne/dnsdist-or-not

dnsdist: Add NotRule() and OrRule()

Merge pull request #3265 from rgacogne/dnsdist-ubsan

dnsdist: Fix misaligned load/store in ECS, reported by UBSAN

Merge pull request #3266 from rgacogne/dnsdist-fake-ds

dnsdist: Do not create socket/thread for fake DS in client mode

Merge pull request #3264 from cmouse/geoipbackend-id

Use correct id numbers for domains

Merge pull request #3255 from janeczku/auth-basic

Don't log authentication errors before sending HTTP basic auth challenge

dnsdist: Do not create socket/thread for fake DS in client mode

While parsing the configuration in client mode, we create a fake
DownstreamState for each newServer() call, because we need it to
return a valid DownstreamState object. Unfortunately this leads
to the creation of a socket for 0.0.0.0, and a subsequent
connection attempt.
We now detect that the address does not make sense in this context
and do not create the associated socket.
Closes #3257.

Use correct id numbers for domains

dnsdist: Fix misaligned load/store in ECS, reported by UBSAN

Using the buffer position as an uint16_t requires 2 byte alignment,
which is not guaranteed here.

Don't throw authentication error on the first request a HTTP client sends

Add empty ComboAddress equality unit-test

Fix the forward zones in the recursor

In the pre-DNSName era, when dns-native names were passed as strings, we
overloaded the NS-name for a forward or auth zone. e.g. an empty string
meant 'this is an auth zone' and '+203.0.113.1' meant 'forward to 203.0.113.1
with the RD bit set'. With DNSNames, this is impossible (yay!).

In this commit, the set of strings (and later DNSNames), is replaced by
a map where a DNSName is the key and the value is a pair of a
ComboAddress and a boolean.

A non-empty DNSName: This is a normal NS, recurse as usual (the pair is
ignored).

An empty DNSName and empty ComboAddress: We are auth for this zone,
check the auth store for an answer.

An empty DNSName and non-empty ComboAddress: The query must be forwarded
to the ComboAddress specified and the boolean in the pair tells us the
value of the RD bit in the query we need to send.

don't toString an empty dnsname

Merge pull request #3176 from zeha/nombed

Allow building with OpenSSL in place of mbedtls

dnsdist: Add NotRule() and OrRule()

Add test for zone2sql --json-comments

Closes #3181