Merge pull request #4332 from rgacogne/auth-apply-non-local-bind-query

auth: Apply `non-local-bind` to `query-local-address{,6}` when possible

Merge pull request #4391 from pieterlexis/recursor-NTA-at-level-of-TA

DNSSEC: Actually follow RFC 7646 §2.1

Merge pull request #4381 from pieterlexis/query-local-address-before-lua-config-file

Parse query-local-address before lua-config-file

Merge pull request #4319 from pieterlexis/pipe-SERVFAIL-on-FAIL

pipe: SERVFAIL when needed

Merge pull request #4291 from rgacogne/rec-protbuf-only-tagged

rec: Add an option to only send protobuf messages with a policy or tag set

Merge pull request #4392 from pieterlexis/Lua-scripting-docs

Docs: add missing functions, fix indents

Merge pull request #4394 from pieterlexis/boost-context-1.61

Recursor: allow building against Boost 1.61

Merge pull request #4405 from pieterlexis/autotools-modules-no

Auth: several autoconf cleanups

Auth: allow --with-(dyn-)modules=no

Fixes #4399

Add 3.4.10 to secpoll

Auth: remove unused AC_DEFINE

auth: remove autoconf leftover from before the split

Merge pull request #4373 from ahupowerdns/compression-redo

Revamp label compression code which (+ some cleanups) speeds up large packet creation by ~40%

Merge pull request #4393 from rgacogne/dnsdist-110-beta-changelog

dnsdist: Update ChangeLog for 1.1.0-beta1

dnsdist: Update ChangeLog for 1.1.0-beta1

Rec: show context lib in configure output

Rec: support boost's fcontext in boost 1.61+

Merge pull request #4346 from mind04/anytotcp

change default for any-to-tcp to yes

Add test for NTA at level of TA

DNSSEC: Actually follow RFC 7646 §2.1

We were off by one when counting labels, so when an NTA was added for a
name where a TA was configured, we would still attempt validation.

Reported by @jpmens

rec: Add an option to only send protobuf messages with a policy or tag set

Merge pull request #4305 from rgacogne/dnsdist-lua-anon

dnsdist: Add an optional Lua callback for altering a Protobuf message

Merge pull request #4350 from rgacogne/rec-tcp-gettag

rec: Call `gettag()` for TCP queries

Merge pull request #4380 from rgacogne/dnsdist-clang-ebpf

dnsdist: Fix compilation with clang when eBPF support is enabled

Merge pull request #4387 from pieterlexis/port-overflow

ComboAddress: don't allow invalid ports

Merge pull request #4379 from sspans/patch-1

Update notrack rules

ComboAddress: don't allow invalid ports

Add tests for this.

Fixes: #4382

Docs: add missing functions, fix indents

On the recursor scripting page

Parse query-local-address before lua-config-file

@42wim discovered that the query-local-address was not used for the
initial RPZ AXFR. However, it was used in subsequent IXFRs. It appears
that we executed the lua-config-file before checking the
query-local-address(6).

dnsdist: Fix warnings when compiling with clang

remove hash signs

As requested by @ahupowerdns, to make copy-pasting easier.

Update notrack rules

* switch from NOTRACK to CT target (deprecated around 2012)
* add output accept for sport 53
* describe firewalld configuration for newer centos/fedora/redhat versions

```
Date: Thu, 20 Dec 2012 12:26:22 +0100
Subject: [PATCH] netfilter: xt_CT: recover NOTRACK target support

Florian Westphal reported that the removal of the NOTRACK target
(9655050 netfilter: remove xt_NOTRACK) is breaking some existing
setups.

That removal was scheduled for removal since long time ago as
described in Documentation/feature-removal-schedule.txt
```

https://patchwork.ozlabs.org/patch/207653/

dnsdist: Fix compilation with clang when eBPF is enabled

Merge pull request #4359 from pieterlexis/doc-fixes

Several documentation fixes

Merge pull request #4368 from rgacogne/rec-more-lua-bindings

rec: Fix doc for ComboAddress/Netmask Lua bindings, add missing ones

Merge pull request #4376 from rgacogne/rec-uninit-policy

rec: fix the use of an uninitialized filtering policy

Document config-dir in the manpage better

Closes #4372

rec: document edns-subnet-whitelist

Closes #4275

Rec: Fully document loglevel

closes #4209

rec: fix the use of an uninitialized filtering policy

If `wantsRPZ` is set to false by the `prerpz` hook, `dfepol` might
not be correctly initialized. This leads to `appliedPolicy` not being
either before being passed to `preresolve` and `postresolve`.

Reported by Coverity.

Merge pull request #4365 from rgacogne/dnsdist-outstanding-race

dnsdist: Reset origFD asap to keep the outstanding count correct

Merge pull request #4348 from rgacogne/dnsdist-outstanding-xfr

dnsdist: Fix invalid outstanding count for {A,I}XFR over TCP

Merge pull request #4375 from rgacogne/dnsdist-dynbpf-tuple-rga

dnsdist: tuple requires make_tuple to initialize

add test case for domains with more than 34 parts which our static vector can't compress. Plus deal with that case.

turns out TSIG signing code was using the DNSPacketWriter in a superspecial way. Fixed now.

remove d_record idea from DNSPacketWriter: write the packet directly now. Solves SOA-inter record compression bug. Still left to do: add check for names with more labels than we are prepared to handle. Plus handle that case.

rename d_positions, remove unused "d_pos"

moving some include files to prevent clashes of #defines on OSX

the all new label compression code that is 40% faster even on fast malloc. This commit has a bug with compression within records, and it will fail the tests we made for that too.

add a test that verifies (again) that SOA records get good compression of names within themselves. Output easier to interpret than that from test-dnsrecords.

a base32 test had a stupid name

dnsparser was using an empty dnsname when it meant to use a root.

save a ton of DNSName(".") and DNSName("*") instantiations. Even though these live on the stack, we were going through needless motions.

add pre-made DNSName objects for the root and wildcard. Move DNSName== inline. Reverse its comparison order.

add some more speedtests

add a test that checks we compress all the things in packetwriter

dnsdist: tuple requires make_tuple to initialize

Fix compilation on Ubuntu Xenial.
Reported by Christof Chen (thanks!).

Add recursor 4.0.2 secpoll

Thanks @zaphodb for noticing

slightly improve 4.0.2 recursor release notes

Merge pull request #4364 from pieterlexis/rec-4.0.2-changelog

Add Recursor 4.0.2 changelog

Add Recursor 4.0.2 changelog

doc: Clarify `gettag()` use, `dq`'s `addPolicyTag()`, `{get,set}PolicyTags()`

rec: Call `gettag()` for TCP queries

The `gettag()` hook used to be called to set a tag for the packet cache
and hence it did not make sense to call it for TCP queries, but now it
can also be used to policy tags.

rec: Fix doc for ComboAddress/Netmask Lua bindings, add missing ones

Merge pull request #4324 from rgacogne/lua-RPZ-discard-rebased

Allow Lua access to the result of the Policy Engine decision, skip RPZ

Merge pull request #3 from pieterlexis/lua-RPZ-discard-rebased-doc-update

The return value for prerpz is unused

The return value for prerpz is unused

dnsdist: Add an optional Lua callback for altering a Protobuf message

For anonymization purposes, for example.

rec: The prerpz hook didn't return anything when compiled w/o Lua

dnsdist: Reset origFD asap to keep the outstanding count correct

Previously the health check thread waited until we had finished
with the IDState to set `origFD` to -1, but:
* for the UDP client thread, the only difference it makes is that
`outstanding` will not be incremented if `origFD` is not -1,
which is not what we want since we are going to decrement it
* for the UDP responder thread, it actually increases the
likelihood of decrementing `outstanding` twice, once in the
responder threader and once in the health check thread.

This was especially likely to be an issue because the health check
thread used to call `gettime()` and to acquire a mutex before
setting `origFD` to -1.

Merge pull request #4360 from 42wim/systemd

Make sure mariadb (mysql on centos/rhel) is started before pdns

Merge pull request #4356 from rgacogne/auth-nocachelookup-tsig

auth: Don't look up the packet cache for TSIG-enabled queries

fix subtle bug in findNamedPolicy

Revert "Recursor: Always log EDNS clientsubnet in trace"

This reverts commit 601b188c559fb9d58392bc2115ddd583225ee52c.

`dc->d_ednssubnet` is only available when protobuf support is enabled.

rec: Fix rec_control man page tests

Fix counting of `rec_control help` elements and grep syntax

Recursor config for the regression tests is still in configs

Fix hardcoded prefix in auth-zone-delegation test

Actually fail on failed recursor tests

Fix hardcoded prefix in lowercase-outgoing test

recursor regression tests: have the socket live in /tmp

Recursor tests: we use bashisms now

Recursor tests: Fail on failed tests

Add regression tests for prerpz

Add documentation for the `prerpz` hook

`protobufLogQuery()` never actually gets an applied policy

Minor indentation fixes in `loadRecursorLuaConfig()`

rec: Add a 'prerpz' hook to be able to discard selected RPZ policies

RPZ: Tests for wantsRPZ override, NSDNAME and NSIP

RPZ: Implement NSDNAME and NSIP RPZ capabilities

Closes #2897

This also adds an extra bool 'wantsRPZ' to the Lua engine so RPZ
processing can be disabled for queries (Closes #4226).

Furthermore, IPv6 for RPZ is implemented.

RPZ: Add metrics for the Policy Engine

Closes #2895

RPZ tests: add test for #4086

Add RPZ lua tests

Add basic RPZ tests

Allow Lua to modify the RPZ decision

in preResolve() and postResolve(), the user can now modify the whole
appliedPolicy. For clarity, the appliedPolicy elements have been named
policySomething. one can set the policyKind with the helper
pdns.policykinds.Name.

When the query is not marked as 'handled' by the Lua function, the
(possibly modified) policy is applied to the query.

RPZ: Always set the policy name

For slaved zones, set it to the name of the zone by default. For
file-based RPZs, use "rpzFile";

RPZ: filter correctly by name

Closes #4086

pdns_recursor.cc: Move comment to the right place

Recursor: Always log EDNS clientsubnet in trace

lua-recursor4.cc: whitespace fixes