rec: only delegate if NS's are below apex in auth-zones

As:
 1. we **are** authoritative for the zone named at the apex
 2. We would servfail because we could get an upward referral

Closes #4771

(cherry picked from commit 221a3f72e117a0e0fdf9e4fedf237a8e6526d145)

Merge pull request #4792 from rgacogne/rec40-backport-3869

Backport #3869: rec: Log outgoing queries / incoming responses via protobuf

rec: Wait until after daemonizing to start the outgoing protobuf thread

(cherry picked from commit a79b00a6df3076c1f7af87d0fd093e8aa2fc4e9f)

rec: Log outgoing queries / incoming responses via protobuf

(cherry picked from commit 4898a34807043c2af442ef983f9ef45e0b473651)

Merge pull request #4896 from rgacogne/rec40-tsig-ixfr

Backport #4893: Check TSIG signature on IXFR

Check TSIG signature on IXFR

(cherry picked from commit 16c7f7823221d5d75282a77b2e9043b3f60e1ad2)

Merge pull request #4886 from rgacogne/rec40-spurious-rrs

Backport #4882: Don't parse spurious RRs in queries when we don't need them

Merge pull request #4881 from rgacogne/rec40-depth-limit

Backport #4880: rec: Add `max-recursion-depth` to limit the number of internal recursion

Merge pull request #4878 from pieterlexis/rec-4-mkpubsuffix

Backport #4874: Recursor: ship mkpubsuffixcc

Don't parse spurious RRs in queries when we don't need them

rec: Add `max-recursion-depth` to `upgrading.md`

(cherry picked from commit 8c25e5e927245c8ab5bcf21dc3c86973415ec52a)

rec: Add `max-recursion-depth` to limit the number of internal recursion

Default to 40, was unlimited.

(cherry picked from commit 7c3398aabe2e9dd8c5c3e8b3572455abfa3037be)

Recursor: ship mkpubsuffixcc

Closes #4842

(cherry picked from commit 265ff1c3cb1083e1f5b4ed0ddafd200c2f27acf4)

Merge pull request #4870 from rgacogne/rec40-backport-4852

Backport 4852: DNSName: Check that both first two bits are set in compressed labels

DNSName: Check that both first two bits are set in compressed labels

We checked that at least one of the first two bits was set,
but the 10 and 01 are combinations do not indicate a compressed label
and are reserved for future use.

(cherry picked from commit 99bbbc7bdf675509caf61f41464a1ae62c09f342)

Merge pull request #4805 from rgacogne/rec40-backport-4635

Backport #4635: rec: Don't crash on an empty query ring

Merge pull request #4806 from rgacogne/rec40-backport-4670

Backport #4670: Set `RemoteLogger::d_socket` to -1 after closing it

Merge pull request #4807 from rgacogne/rec40-backport-4789

Backport #4789: rec: Don't choke on escaped content in getZoneCuts()

rec: Don't choke on escaped content in getZoneCuts()

`getZoneCuts()` was constructing a `DNSName` by passing a raw label returned
from `DNSName::getRawLabels()` as a string. The constructor then tried to handle
escaped characters from the string, resulting in a different `DNSName` than the
expected one. This caused the `qname != begin` condition to be false even after
every label in `labelsToAdd` had been added, causing an UB by calling
`std::vector::back()` on an empty vector.
Using `DNSName::prependRawLabel()` instead prevents this issue since the string is
not escaped.

(cherry picked from commit 754914f0177cd990db16ff0cc29c8789e94b32bb)

Set `RemoteLogger::d_socket` to -1 after closing it

Otherwise, in the unlikely case `SSocket()` throws an exception
we might end up with a stale file descriptor in `RemoteLogger::reconnect()`.

(cherry picked from commit 754f300f6b7e64b8de70990950484c4de749d10a)

rec: Don't crash on an empty query ring

It obviously happens if stats-ringbuffer-entries is set to 0.

(cherry picked from commit 5af86fdcdee2843d80d40dd1c22c137e471f9484)

Merge pull request #4770 from rgacogne/rec40-backport-4769

Backport #4769 rec: Set the result to NoError before calling `preresolve`

rec: Set the result to NoError before calling `preresolve`

Otherwise `rq.rcode` needs to be set explicitly when handling the
query from `preresolve`, which is not documented and wasn't the case
before.

(cherry picked from commit ef3b6cd7719e968364f6ad7692ff4287829f37f1)

Merge pull request #4757 from rgacogne/rec40-backport-4724

Backport #4724: rec: Add `getRecursorThreadId()` to Lua, identifying the current thread

Merge pull request #4756 from rgacogne/rec40-backport-4715

Backport #4715: Specify that dnsmessage.proto uses protobuf version 2

rec: Add `getRecursorThreadId()` to Lua, identifying the current thread

(cherry picked from commit b401545341c7e4bd2d27940e95f9fe1af374479d)

Specify that dnsmessage.proto uses protobuf version 2

Recent proto-c versions are complaining loudly otherwise.

(cherry picked from commit 2e14d4bbf6549c70e3422b315287bc69bfe398dd)

Merge pull request #4647 from pieterlexis/backport-4629

Backport #4629:  Handle CNAMEs at the apex of secure zones to other secure zones

Merge pull request #4739 from rgacogne/rec40-dnsname-4718

Backport 4722: Fix incorrect length check in `DNSName` when extracting qtype or qclass

Merge pull request #4695 from rgacogne/backport-4691

Backport #4691: rec: Wait until after daemonizing to start the RPZ and protobuf threads

Fix incorrect length check in `DNSName` when extracting qtype or qclass

In `DNSName::packetParser()`, the length check might have been incorrect
when the caller asked for the `qtype` and/or the `qclass` to be extracted.
The `pos + labellen + 2 > end` check was wrong because `pos` might have already
been incremented by `labellen`. There are 3 ways to exit the main loop:

* `labellen` is 0, the most common case, and in that case the check is valid
* `pos >= end`, meaning that `pos + labellen + 2 > end` will be true regardless
of the value of `labellen` since it cannot be negative
* if `uncompress` is set and a compressed label is found, the main loop is
broken out of, and `labellen` still holds a now irrelevant, possibly non-zero value
corresponding to the first byte of the compressed label length & ~0xc0.

In that last case, if the compressed label points to a position > 255 the check
is wrong and might have rejected a valid packet.
A quick look throught the code didn't show any place where we request decompression
and ask for `qtype` and/or `qclass` in a response, but I might have missed one.

Reported by Houssam El Hajoui (thanks!).

(cherry picked from commit 7b9c052c617d02e1870195d0f216732047d56e22)

Merge pull request #4730 from Habbie/rec-4.0.x-travis-only-rec

do not build/test auth, dnsdist, docs

do not build/test auth, dnsdist, docs

Merge pull request #4729 from Habbie/rec-4.0.x-travis-update

stop auto-started pdns with 0.0.0.0 bind, to allow individual binds

stop auto-started pdns with 0.0.0.0 bind, to allow individual binds

Merge pull request #4717 from rgacogne/backport-4716

Backport #4716: rec: Remove leftover debug msg in `RecursorLua4::DNSQuestion::setRecords()`

rec: Remove leftover debug msg in `RecursorLua4::DNSQuestion::setRecords()`

(cherry picked from commit 3c82a3e58f689324b4c700c8bdad9dd9fb351065)

rec: Wait until after daemonizing to start the RPZ and protobuf threads

Otherwise they are killed when we call `fork()`.
We still want to actually parse the configuration to check for syntax
errors before daemonizing to be able to report any error, so when
`daemon` is set to `yes`, we parse the Lua configuration early
without starting any threads, and then again, starting the threads
that time, after daemonizing.

(cherry picked from commit a4241908a1c80c4293cfcd5056bb67138958f0e6)

Merge pull request #4677 from pieterlexis/backport-4674

Backport #4674: Enable protobuf in CentOS 6 packages

Merge pull request #4636 from rgacogne/rec-backport-4577

Backport #4577: rec: Fix src/dest inversion in the protobuf message for TCP queries

Update boost requirement for DNSName

This version is known to work (CentOS 7)

(cherry picked from commit 46104a7e4ebc19419a3908141358289332709eea)

Add protobuf support to EL6 packages

(cherry picked from commit 7cfda92fa027ecfadc42a6c1063f852a52314c1c)

Merge pull request #4675 from pieterlexis/backport-4672

Backport #4672: On (re-)priming, fetch the root NS records

On (re-)priming, fetch the root NS records

Merge pull request #4652 from rgacogne/rec-40-backport-4573

Backport #4573: Fix building with ECDSA support disabled in libcrypto

Fix building with ECDSA support disabled in libcrypto

(cherry picked from commit aa74d164ae29269168d048d2cc8d7e1f984774c4)

Fix a DNSSEC trace log message

Handle CNAME at secure zone apex to secure zone

Closes #4466

Add test for #4466

rec: Fix src/dest inversion in the protobuf message for TCP queries

(cherry picked from commit 35a7fc41b202da6406f88e79d0bd7b3dccfcae5c)

Merge pull request #4599 from rgacogne/backport-4554

Backport #4554: Add requestorId and some comments to the protobuf definition file

Merge pull request #4610 from pieterlexis/backport-4602

Backport #4602:  NSEC3 optout and Bogus insecure forward fixes

Fix comment indent

Add an RFC quote in the right place

NSEC3 optout and Bogus insecure forward fixes

After the change to zonecuts to find key material, the NSEC3 checking
returned an (incorrect) 'covering nxdomain' for a forwarded subzone with
no DS record in its parent. After fixing this, the NSEC3 optout test
failed as Bogus (instead of insecure). This was fixed by actually
checking the optout flag on a delegation NSEC3 record.

Merge pull request #4597 from pieterlexis/backport-4377-4489

Backport #4377 and #4489: Caching fixes

Merge pull request #4595 from pieterlexis/backport-4516

Backport #4516: On RPZ customPolicy, follow the resulting CNAME

Merge pull request #4594 from pieterlexis/backport-4431

Backport #4431: don't go bogus on zero configured DSs

Merge pull request #4593 from pieterlexis/backport-compiler-warn-fixes

Backport compiler warn fixes

Merge pull request #4591 from pieterlexis/4.0-dnssec-zone-cut

Backport #4389 Switch DNSSEC to using zone-cuts to find key material

Add requestorId and some comments to the protobuf definition file

(cherry picked from commit 0caa1aa850208caf18924b49e5be5ca7cdbf0515)

Add tests for #4369

Move DNSSEC regression tests to 127.0.0.X

DNSSEC: Document interaction with forward-zones

Make the negcache forwarded zones aware

Because of DNSSEC (without NTAs configured), we 'leak' the forwarded
name to the cache when looking for the DNSKEY. This resulted in NXDOMAIN
answers for actual NXDOMAINs, but with the root SOA record. Leading to
inconsistent answers to the client.

Add tests for #4483

rec tests: create controlsocket dirs idempotently

Fix the fields in two debug lines

Cache records for zones that were delegated to from a forwarded zone

Fixes #4483

On RPZ customPolicy, follow the resulting CNAME

Closes #4188

Rec: don't go bogus on zero configured DSs

Fixes #4430

Silence a GCC 6.2 compiler warning

add gcc 6.2 to boost.m4

DNSSEC: generalize getDenial() function

 * Add qname denial check for NSEC
 * Add qtype denial checks
 * Hook up to getKeysFor()

DNSSEC: Implement keysearch based on zone-cuts

This prevents us sending out useless queries for DS records and doesn't
confuse us anymore when the delegation jumps over several labels.

Add getZoneCuts() function

Merge pull request #4512 from rgacogne/backport-4440

Backport #4440: Fix Lua-enabled compilation on OS X and FreeBSD

rec: Fix Lua-enabled compilation on OS X and FreeBSD

(cherry picked from commit 546d1fbf9efe8a4ba81c92d43bc43be457e60713)

Merge pull request #4511 from rgacogne/backport-4499

Backport #4499: Add support for boost::context >= 1.61

rec: Always test if BOOST_VERSION is < 1.61, not >, for readability

(cherry picked from commit 64413f6afd9b3dfeb1bef158f48bb3be496a4e04)

rec: Add support for boost::context >= 1.61

(cherry picked from commit f53de853d71bd1c058b507549d35312f9fa4847f)

Merge pull request #4462 from pieterlexis/backport-4461

Backport #4461: Fall back to SystemV ucontexts on boost >= 1.61

Rec: Disable boost-fcontext on boost 1.61 and up

Fall back to the slower system v ucontext.

(cherry picked from commit cb51346bbd4ea54bc86966e80aa68c990c03dbce)

Revert "Rec: support boost's fcontext in boost 1.61+"

This reverts commit a30361f9f07cb3c4f9ad32dc83555bc593aa3311.

(cherry picked from commit f103e371bd83381feb11dba742843484bf8e95f2)

Merge pull request #4426 from pieterlexis/backport-4425

Backport #4425: Fix a protobuf regression (requestor/responder mix-up) caused by a94673e

Fix a protobuf regression (requestor/responder mix-up) caused by a94673e

(cherry picked from commit b3261c205742fcb0494735d20294d10a615cd10f)

Merge pull request #4422 from pieterlexis/rec-backport-4403

Backport #4403: (rec) Fix build with OpenSSL 1.1.0 final

Merge pull request #4420 from pieterlexis/backport-4396

Backport #4396: add boost context ldflags so freebsd builds can find the libs

Merge pull request #4419 from pieterlexis/backport-4381

Backport #4381: Parse query-local-address before lua-config-file

Merge pull request #4418 from pieterlexis/backport-4383

Backport #4383: Fix accessing an empty policyCustom, policyName from Lua

Merge pull request #4417 from pieterlexis/backport-4385

Backport #4385: Add Lua binding for DNSRecord::d_place

Merge pull request #4416 from pieterlexis/backport-4402

Backport #4402: Ignore NS records in a RPZ zone received over IXFR

Merge pull request #4415 from pieterlexis/backport-4404

Backport #4404: Don't validate when a Lua hook took the query

Merge pull request #4414 from pieterlexis/backport-4394

Backport #4394: Support Boost 1.61+ fcontext

Merge pull request #4413 from pieterlexis/backport-4391

Backport #4391: DNSSEC: Actually follow RFC 7646 §2.1

Merge pull request #4412 from pieterlexis/backport-4388

Backport #4388: Fix RPZ default policy not being applied over IXFR

Bump version requirement for CRYPTO_ctr128_encrypt

While CRYPTO_ctr128_encrypt should be available in 1.0.1,
apparently in some library builds (Ubuntu) one can not link
against it.

(cherry picked from commit 3e4b01664660f1a8d9564508843a7e51b8f7549e)

Fix build with OpenSSL 1.1.0 final

Where aes.h apparently no longer includes opensslv.h.

(cherry picked from commit e6fc073faf3b1d9b4da301821da40dff33186057)

add boost context ldflags so freebsd builds can find the libs

(cherry picked from commit 01f097e45a286355c93da0acf78756e59ad9c126)

Parse query-local-address before lua-config-file

@42wim discovered that the query-local-address was not used for the
initial RPZ AXFR. However, it was used in subsequent IXFRs. It appears
that we executed the lua-config-file before checking the
query-local-address(6).

(cherry picked from commit b7ef582884c603ea45e602c3e42f254cf869d2d7)