Merge pull request #3275 from rgacogne/dnsdist-exceedservfails-typo

dnsdist: Fix exceedServFails() case. Add exceedQRate to completion

Merge pull request #3269 from rgacogne/dnsdist-incbin-unlicense

dnsdist: Include ext/incbin/UNLICENSE in the dnsdist tarball

dnsdist: Fix exceedServFails() case. Add exceedQRate to completion

Rename exceedServfails() to exceedServFails() to be consistent.
Closes #3273.

Update README-dnsdist.md

Merge pull request #3274 from ahupowerdns/recpack

redo packet cache to be simpler, have more features, testcases and still reduce lines of code!

Merge remote-tracking branch 'origin/master' into recpack

Fix auth make dist

also support running w/o lua

revamp recursor packet cache to be far less clever and simply hash its question case insensitively. Plus add testcases.

implement Lua gettag() which optionally tells you which part of the packet cache to look at

clarifying comment

Move pdns-recursor contrib to recursordist

recursor dist: add missing file

Merge pull request #3259 from pieterlexis/recursor-autotools

Fully autotoolize the recursor distribution!

Appease the license-gods

dnsdist: Include ext/incbin/UNLICENSE in the dnsdist tarball

Recursor: have buildscripts use new normal configure

Autotoolize the recursor

This is done similar to dnsdist.

This commit adds a pdns_check_os.m4 to set OS dependent options.

Merge pull request #3268 from ahupowerdns/adfilter

enhance recursor lua with a hashed IP set, plus addRecord which is more generic than addAnswer

add an efficient ComboAddress set (loads around a million IP addresses per second)

add ability to store comboaddress in a hashed container

Merge pull request #3244 from pieterlexis/4.0-forward-zones

Fix the forward zones in the recursor

Merge pull request #3258 from Habbie/rrlfixes

minor fixes to policy/RRL code

Merge pull request #3256 from rgacogne/dnsdist-or-not

dnsdist: Add NotRule() and OrRule()

Merge pull request #3265 from rgacogne/dnsdist-ubsan

dnsdist: Fix misaligned load/store in ECS, reported by UBSAN

Merge pull request #3266 from rgacogne/dnsdist-fake-ds

dnsdist: Do not create socket/thread for fake DS in client mode

Merge pull request #3264 from cmouse/geoipbackend-id

Use correct id numbers for domains

Merge pull request #3255 from janeczku/auth-basic

Don't log authentication errors before sending HTTP basic auth challenge

dnsdist: Do not create socket/thread for fake DS in client mode

While parsing the configuration in client mode, we create a fake
DownstreamState for each newServer() call, because we need it to
return a valid DownstreamState object. Unfortunately this leads
to the creation of a socket for 0.0.0.0, and a subsequent
connection attempt.
We now detect that the address does not make sense in this context
and do not create the associated socket.
Closes #3257.

Use correct id numbers for domains

dnsdist: Fix misaligned load/store in ECS, reported by UBSAN

Using the buffer position as an uint16_t requires 2 byte alignment,
which is not guaranteed here.

Don't throw authentication error on the first request a HTTP client sends

Add empty ComboAddress equality unit-test

Fix the forward zones in the recursor

In the pre-DNSName era, when dns-native names were passed as strings, we
overloaded the NS-name for a forward or auth zone. e.g. an empty string
meant 'this is an auth zone' and '+203.0.113.1' meant 'forward to 203.0.113.1
with the RD bit set'. With DNSNames, this is impossible (yay!).

In this commit, the set of strings (and later DNSNames), is replaced by
a map where a DNSName is the key and the value is a pair of a
ComboAddress and a boolean.

A non-empty DNSName: This is a normal NS, recurse as usual (the pair is
ignored).

An empty DNSName and empty ComboAddress: We are auth for this zone,
check the auth store for an answer.

An empty DNSName and non-empty ComboAddress: The query must be forwarded
to the ComboAddress specified and the boolean in the pair tells us the
value of the RD bit in the query we need to send.

don't toString an empty dnsname

Merge pull request #3176 from zeha/nombed

Allow building with OpenSSL in place of mbedtls

dnsdist: Add NotRule() and OrRule()

Merge pull request #3251 from rgacogne/dnsdist-any-tcp

dnsdist: Document toString() aliases. Add TCPRule. Make AnyTCRule set TC only over UDP

dnsdist: Add TCPRule. Make addAnyTCRule set TC=1 over UDP, not TCP.

dnsdist: Document toString() and toStringWithPort() aliases

add makeRule convenience function, improve SuffixMatchNodeRule showRules() output, document this

Merge pull request #3232 from Habbie/ghostfixes

Fix recursor ghost tests

[FOR NOW] Disable mbedtls for travis

Dist+build Recursor with openssl instead of mbedtls

Port sha.hh to OpenSSL

Port dnssecinfra.cc to OpenSSL

Port md5.hh to OpenSSL

Port dns_random.cc to OpenSSL

Port base64.cc to OpenSSL

Add --without-mbedtls

Will require openssl though.

Merge pull request #3243 from a6502/master

Some fixes for lua backend for Lua version >= 5.2

Merge pull request #3249 from ahupowerdns/cmsg-fix

found with the help of @mischapeters - turns out our recent 'supply l…

we silently ignored your Lua script if there was no Lua support in PowerDNS Recursor. This makes us error out again.

quick fix for compiling on FreeBSD 10.2 which appears to be what people use/need to compile powerdns 4.

found with the help of @mischapeters - turns out our recent 'supply local address to lua' improvements triggered us to set the source address on all our replies explicitly, something FreeBSD did not like and was wasteful on Linux. Plus added some logging that would have helped debug this faster.

set c++11 flag for freebsd too

Merge pull request #3234 from pieterlexis/make-check-auth-tarball

remove unneeded source from auth tarball testrunner

Merge pull request #3236 from Habbie/recursorwild

make auth-zone wildcard test actually test an auth-zone

Merge pull request #3238 from Habbie/rawtypetest

test uninterpreted records, closes #3215

Merge pull request #3245 from rgacogne/dnsdist-fix-dq-merge

dnsdist: Fix Lua Spoof PR not being compatible w/ the DNSQuestion one

dnsdist: Fix Lua Spoof PR not being compatible w/ the DNSQuestion one

PR #3241 did not take PR #3233 into account, my bad.

Merge pull request #3240 from jeffpc/master

devpollmplexer fixes + fix DS ucontext.h pollution once and for all

Merge pull request #3233 from rgacogne/dnsdist-dq

dnsdist: Replace the Lua params with a DNSQuestion `dq` object

Merge pull request #3241 from rgacogne/dnsdist-lua-spoof

dnsdist: Implement DNSAction.Spoof. Support IPv6-only SpoofAction

Fix importing of standard libraries for Lua version >= 5.2; Change some lua_pushnumbers to lua_pushinteger because Lua 5.3 has native integers

dnsdist: Implement DNSAction.Spoof. Support IPv6-only SpoofAction

DNSAction.Spoof can be used to return a spoofed response from
a Lua rule. It supports an IPv4 (A), IPv6 (AAAA) or a DNSName
(CNAME).
SpoofAction() can be used IPv6-only, by passing a IPv6 as the
first parameter. It now supports spoofing IPv4-only, IPv6-only,
IPv4 and IPv6, and CNAME.
Closes #3064.

don't pollute the namespace with DS register definition

DS is part of the i386 ABI that's pulled in via ucontext.h.

closes #3239

devpollmplexer is leaky

closes #3001

devpollmplexer doesn't compile due to missing sigset_t

closes #3000

Merge pull request #3235 from rgacogne/dnsdist-nocharset-json

dnsdist: Remove charset from the Content-Type header for application/json contents

test uninterpreted records, closes #3215

make auth-zone wildcard test actually test an auth-zone

dnsdist: Remove charset from Content-Type for application/json

remove unneeded source from auth tarball testrunner

Merge pull request #3229 from pieterlexis/no-dnsdist-for-auth

Remove dnsdist from auth tarball

Merge pull request #3231 from ahupowerdns/dynimp

Document and slightly improve dnsdist dynamic rules

re-enable ghost tests

adapt to trailing dots on names

dnsdist: Replace the Lua params with a DNSQuestion `dq` object

In order to:
1. Be able to add functions/member without breaking the API
2. Being as compatible as possible with the PowerDNS Lua API

To limit the parsing/copy to a minimum, this DNSQuestion differs
from the PowerDNS one. Most Lua members are properly wrapped,
but it currently lacks some advanced functions like `getRecords()`
or `setRecords()`, that we might add later.
In addition to the existing `tostring()`, this commit adds
`toString()` ones to match the PowerDNS syntax.

LuaWrapper is supposed to support read-only members, where you
only define the getter and no setter, but I can't find the right
syntax for that to work, so for now the setter are present for
read-only members, and just do nothing.

use new require semantics

fix fetching of qname from lua table

document dynamic rule generation

implement & document exceedQRate(), plus populate dnsdist.* with dns types.

Remove dnsdist from auth tarball

This ensures any files _only_ needed for dnsdist are not distributed,
that dnsdist (htmlfiles.h specifically) cannot be built from the tarball.

But still allow building dnsdist from the repository root.

Merge pull request #3228 from pieterlexis/generate-manpage-dnsdist

dnsdist: Build manpages from make

Merge pull request #3219 from rgacogne/dnsdist-xss

dnsdist: Remove JSONP, limit command to /jsonstat, add security HTTP headers and CORS

dnsdist: Set the charset to UTF-8 for html, JS, CSS and JSON contents

dnsdist: Remove remote images in the webserver index

- Remove the github link/image
- Add the powerdns logo to the html directory
- Add handling for PNG files in the webserver
- Edit the CSP policy to only allows local images
- Explicitely asks jQuery not to use JSONP while fetching the stats

dnsdist: Add basic CORS support in the webserver

Now that we have removed JSONP support, we need to support
Cross-Origin Resource Sharing (CORS) to allow web pages not served
by our webserver to access our JSON REST API (well, stats).

dnsdist: Support command= only on /jsonstat URL

dnsdist: Remove jsonp callback, add security HTTP headers

- Remove the jsonp callback, using simple json data instead (Fixes #3217)
We might need to add CORS if we want to be able to retrieve JSON
data from a webpage not stored on the embedded web server.
- Add several HTTP headers:
 * X-Content-Type-Options: no-sniff to prevent browsers from guessing MIME type
 * X-Frame-Options: deny to prevent clickjacking
 * X-Permitted-Cross-Domain-Policies: none to keep flash from crossing boundaries
 * X-XSS-Protection: 1; mode=block to mitigate XSS
 * Content-Security-Policy: default-src 'self'; img-src *; style-src 'self' 'unsafe-inline',
 a basic CSP policy to restrict which scripts and CSS can be loaded

Merge pull request #3226 from zeha/libedit2

Drop unused <history.h> include

dnsdist: Build manpages from make

Build manpage when they are not there and ensure they are distributed in
the tarball.

Merge pull request #3224 from tjikkun/fix_html

fix html a bit

Drop unused <history.h> include

Not needed for libedit, and the compat symlink apparently is a
Debian-only thing, breaking the build on Fedora.

Merge pull request #3152 from zeha/shasummer

Fix deleted copy/assignment constructors

fix html a bit

Merge pull request #3221 from zeha/tarball-cleanup

dist-tar cleanup / fixes

Merge pull request #3220 from zeha/libedit

Replace readline with libedit

Merge pull request #3222 from bearggg/master

dnsdist: README hints to AllowAction() yet doesnt exist, add it