Merge pull request #5022 from pieterlexis/backport-4775

Backport #4775: LuaWrapper: Use the correct index when storing a function

Merge pull request #5021 from pieterlexis/backport-4777

Backport #4777: only delegate if NS's are below apex in auth-zones

Merge pull request #5020 from pieterlexis/rec-backport-4793

Backport #4793: Don't call `hostname -f` on openbsd (rec)

Merge pull request #5018 from pieterlexis/backport-4804

Backport #4804: remove hardcoding of port 53 for TCP/IP forwarded zones in recursor, …

Merge pull request #5017 from pieterlexis/rec-backport-4838

backport #4838: Check if we can link against libatomic if needed (rec)

Merge pull request #5014 from pieterlexis/rec-backport-4868

Backport #4868: Document that carbon-server requires IP address, no hostname accepted. (rec)

Merge pull request #5012 from pieterlexis/rec-backport-4879

Backport #4879: Remove a relative import in yahttp-config.h (rec)

Merge pull request #5010 from pieterlexis/backport-4940

Backport #4940: Backport json11 fixes from upstream

Merge pull request #5009 from pieterlexis/backport-4972

Backport #4972: Add the 2017 root key

LuaWrapper: Fix comments since `ValueInRegistry` now takes an optional index

(cherry picked from commit 28abe7558fd5c0d853a7544f49fb780aafbc49f3)

LuaWrapper: Use the correct index when storing a function

The LuaWrapper used to assume that the function was at the
top of the stack, making it effectively impossible to have
a callback function parameter anywhere else than as the last
parameter.

(cherry picked from commit 4ec1e17418d539cea7eb4fb5469e905684ca6457)

rec: only delegate if NS's are below apex in auth-zones

As:
 1. we **are** authoritative for the zone named at the apex
 2. We would servfail because we could get an upward referral

Closes #4771

(cherry picked from commit 221a3f72e117a0e0fdf9e4fedf237a8e6526d145)

Don't call `hostname -f` on openbsd

Closes #2579

(cherry picked from commit df925537cfe0a4706b85353376da6f12996871bb)

remove hardcoding of port 53 for TCP/IP forwarded zones in recursor, to address #4799

(cherry picked from commit 1bde6efa9fa0331dbd431fb42f208b4df530d88c)

Check if we can link against libatomic if needed

Also move the OS detection to the top

(cherry picked from commit 03571f7ac3d5bebb4879849b094e2e03f019cd10)

Document that carbon-server requires IP address, no hostname accepted.

(cherry picked from commit e12f84078798343e9749864cdeee44e68c4a81e6 and 90217d3960e3ee439405989b78fdf7e810d562f2)

Remove a relative import in yahttp-config.h

We set our include directories nowadays.

Closes #4866 (again)

(cherry picked from commit 4c3c83f3bc1eecd82d09e1e527108fae98ce1fda)

Backport json11 fixes from upstream

(cherry picked from commit 3c20dd3b30bd0c15c5f7a1e82fba3bb5254b28df)

Add the 2017 root key

(cherry picked from commit d5037c4d34ffbc89ca5d4f79554dd87aa49fdbc8)

Merge pull request #4792 from rgacogne/rec40-backport-3869

Backport #3869: rec: Log outgoing queries / incoming responses via protobuf

rec: Wait until after daemonizing to start the outgoing protobuf thread

(cherry picked from commit a79b00a6df3076c1f7af87d0fd093e8aa2fc4e9f)

rec: Log outgoing queries / incoming responses via protobuf

(cherry picked from commit 4898a34807043c2af442ef983f9ef45e0b473651)

Merge pull request #4896 from rgacogne/rec40-tsig-ixfr

Backport #4893: Check TSIG signature on IXFR

Check TSIG signature on IXFR

(cherry picked from commit 16c7f7823221d5d75282a77b2e9043b3f60e1ad2)

Merge pull request #4886 from rgacogne/rec40-spurious-rrs

Backport #4882: Don't parse spurious RRs in queries when we don't need them

Merge pull request #4881 from rgacogne/rec40-depth-limit

Backport #4880: rec: Add `max-recursion-depth` to limit the number of internal recursion

Merge pull request #4878 from pieterlexis/rec-4-mkpubsuffix

Backport #4874: Recursor: ship mkpubsuffixcc

Don't parse spurious RRs in queries when we don't need them

rec: Add `max-recursion-depth` to `upgrading.md`

(cherry picked from commit 8c25e5e927245c8ab5bcf21dc3c86973415ec52a)

rec: Add `max-recursion-depth` to limit the number of internal recursion

Default to 40, was unlimited.

(cherry picked from commit 7c3398aabe2e9dd8c5c3e8b3572455abfa3037be)

Recursor: ship mkpubsuffixcc

Closes #4842

(cherry picked from commit 265ff1c3cb1083e1f5b4ed0ddafd200c2f27acf4)

Merge pull request #4870 from rgacogne/rec40-backport-4852

Backport 4852: DNSName: Check that both first two bits are set in compressed labels

DNSName: Check that both first two bits are set in compressed labels

We checked that at least one of the first two bits was set,
but the 10 and 01 are combinations do not indicate a compressed label
and are reserved for future use.

(cherry picked from commit 99bbbc7bdf675509caf61f41464a1ae62c09f342)

Merge pull request #4805 from rgacogne/rec40-backport-4635

Backport #4635: rec: Don't crash on an empty query ring

Merge pull request #4806 from rgacogne/rec40-backport-4670

Backport #4670: Set `RemoteLogger::d_socket` to -1 after closing it

Merge pull request #4807 from rgacogne/rec40-backport-4789

Backport #4789: rec: Don't choke on escaped content in getZoneCuts()

rec: Don't choke on escaped content in getZoneCuts()

`getZoneCuts()` was constructing a `DNSName` by passing a raw label returned
from `DNSName::getRawLabels()` as a string. The constructor then tried to handle
escaped characters from the string, resulting in a different `DNSName` than the
expected one. This caused the `qname != begin` condition to be false even after
every label in `labelsToAdd` had been added, causing an UB by calling
`std::vector::back()` on an empty vector.
Using `DNSName::prependRawLabel()` instead prevents this issue since the string is
not escaped.

(cherry picked from commit 754914f0177cd990db16ff0cc29c8789e94b32bb)

Set `RemoteLogger::d_socket` to -1 after closing it

Otherwise, in the unlikely case `SSocket()` throws an exception
we might end up with a stale file descriptor in `RemoteLogger::reconnect()`.

(cherry picked from commit 754f300f6b7e64b8de70990950484c4de749d10a)

rec: Don't crash on an empty query ring

It obviously happens if stats-ringbuffer-entries is set to 0.

(cherry picked from commit 5af86fdcdee2843d80d40dd1c22c137e471f9484)

Merge pull request #4770 from rgacogne/rec40-backport-4769

Backport #4769 rec: Set the result to NoError before calling `preresolve`

rec: Set the result to NoError before calling `preresolve`

Otherwise `rq.rcode` needs to be set explicitly when handling the
query from `preresolve`, which is not documented and wasn't the case
before.

(cherry picked from commit ef3b6cd7719e968364f6ad7692ff4287829f37f1)

Merge pull request #4757 from rgacogne/rec40-backport-4724

Backport #4724: rec: Add `getRecursorThreadId()` to Lua, identifying the current thread

Merge pull request #4756 from rgacogne/rec40-backport-4715

Backport #4715: Specify that dnsmessage.proto uses protobuf version 2

rec: Add `getRecursorThreadId()` to Lua, identifying the current thread

(cherry picked from commit b401545341c7e4bd2d27940e95f9fe1af374479d)

Specify that dnsmessage.proto uses protobuf version 2

Recent proto-c versions are complaining loudly otherwise.

(cherry picked from commit 2e14d4bbf6549c70e3422b315287bc69bfe398dd)

Merge pull request #4647 from pieterlexis/backport-4629

Backport #4629:  Handle CNAMEs at the apex of secure zones to other secure zones

Merge pull request #4739 from rgacogne/rec40-dnsname-4718

Backport 4722: Fix incorrect length check in `DNSName` when extracting qtype or qclass

Merge pull request #4695 from rgacogne/backport-4691

Backport #4691: rec: Wait until after daemonizing to start the RPZ and protobuf threads

Fix incorrect length check in `DNSName` when extracting qtype or qclass

In `DNSName::packetParser()`, the length check might have been incorrect
when the caller asked for the `qtype` and/or the `qclass` to be extracted.
The `pos + labellen + 2 > end` check was wrong because `pos` might have already
been incremented by `labellen`. There are 3 ways to exit the main loop:

* `labellen` is 0, the most common case, and in that case the check is valid
* `pos >= end`, meaning that `pos + labellen + 2 > end` will be true regardless
of the value of `labellen` since it cannot be negative
* if `uncompress` is set and a compressed label is found, the main loop is
broken out of, and `labellen` still holds a now irrelevant, possibly non-zero value
corresponding to the first byte of the compressed label length & ~0xc0.

In that last case, if the compressed label points to a position > 255 the check
is wrong and might have rejected a valid packet.
A quick look throught the code didn't show any place where we request decompression
and ask for `qtype` and/or `qclass` in a response, but I might have missed one.

Reported by Houssam El Hajoui (thanks!).

(cherry picked from commit 7b9c052c617d02e1870195d0f216732047d56e22)

Merge pull request #4730 from Habbie/rec-4.0.x-travis-only-rec

do not build/test auth, dnsdist, docs

do not build/test auth, dnsdist, docs

Merge pull request #4729 from Habbie/rec-4.0.x-travis-update

stop auto-started pdns with 0.0.0.0 bind, to allow individual binds

stop auto-started pdns with 0.0.0.0 bind, to allow individual binds

Merge pull request #4717 from rgacogne/backport-4716

Backport #4716: rec: Remove leftover debug msg in `RecursorLua4::DNSQuestion::setRecords()`

rec: Remove leftover debug msg in `RecursorLua4::DNSQuestion::setRecords()`

(cherry picked from commit 3c82a3e58f689324b4c700c8bdad9dd9fb351065)

rec: Wait until after daemonizing to start the RPZ and protobuf threads

Otherwise they are killed when we call `fork()`.
We still want to actually parse the configuration to check for syntax
errors before daemonizing to be able to report any error, so when
`daemon` is set to `yes`, we parse the Lua configuration early
without starting any threads, and then again, starting the threads
that time, after daemonizing.

(cherry picked from commit a4241908a1c80c4293cfcd5056bb67138958f0e6)

Merge pull request #4677 from pieterlexis/backport-4674

Backport #4674: Enable protobuf in CentOS 6 packages

Merge pull request #4636 from rgacogne/rec-backport-4577

Backport #4577: rec: Fix src/dest inversion in the protobuf message for TCP queries

Update boost requirement for DNSName

This version is known to work (CentOS 7)

(cherry picked from commit 46104a7e4ebc19419a3908141358289332709eea)

Add protobuf support to EL6 packages

(cherry picked from commit 7cfda92fa027ecfadc42a6c1063f852a52314c1c)

Merge pull request #4675 from pieterlexis/backport-4672

Backport #4672: On (re-)priming, fetch the root NS records

On (re-)priming, fetch the root NS records

Merge pull request #4652 from rgacogne/rec-40-backport-4573

Backport #4573: Fix building with ECDSA support disabled in libcrypto

Fix building with ECDSA support disabled in libcrypto

(cherry picked from commit aa74d164ae29269168d048d2cc8d7e1f984774c4)

Fix a DNSSEC trace log message

Handle CNAME at secure zone apex to secure zone

Closes #4466

Add test for #4466

rec: Fix src/dest inversion in the protobuf message for TCP queries

(cherry picked from commit 35a7fc41b202da6406f88e79d0bd7b3dccfcae5c)

Merge pull request #4599 from rgacogne/backport-4554

Backport #4554: Add requestorId and some comments to the protobuf definition file

Merge pull request #4610 from pieterlexis/backport-4602

Backport #4602:  NSEC3 optout and Bogus insecure forward fixes

Fix comment indent

Add an RFC quote in the right place

NSEC3 optout and Bogus insecure forward fixes

After the change to zonecuts to find key material, the NSEC3 checking
returned an (incorrect) 'covering nxdomain' for a forwarded subzone with
no DS record in its parent. After fixing this, the NSEC3 optout test
failed as Bogus (instead of insecure). This was fixed by actually
checking the optout flag on a delegation NSEC3 record.

Merge pull request #4597 from pieterlexis/backport-4377-4489

Backport #4377 and #4489: Caching fixes

Merge pull request #4595 from pieterlexis/backport-4516

Backport #4516: On RPZ customPolicy, follow the resulting CNAME

Merge pull request #4594 from pieterlexis/backport-4431

Backport #4431: don't go bogus on zero configured DSs

Merge pull request #4593 from pieterlexis/backport-compiler-warn-fixes

Backport compiler warn fixes

Merge pull request #4591 from pieterlexis/4.0-dnssec-zone-cut

Backport #4389 Switch DNSSEC to using zone-cuts to find key material

Add requestorId and some comments to the protobuf definition file

(cherry picked from commit 0caa1aa850208caf18924b49e5be5ca7cdbf0515)

Add tests for #4369

Move DNSSEC regression tests to 127.0.0.X

DNSSEC: Document interaction with forward-zones

Make the negcache forwarded zones aware

Because of DNSSEC (without NTAs configured), we 'leak' the forwarded
name to the cache when looking for the DNSKEY. This resulted in NXDOMAIN
answers for actual NXDOMAINs, but with the root SOA record. Leading to
inconsistent answers to the client.

Add tests for #4483

rec tests: create controlsocket dirs idempotently

Fix the fields in two debug lines

Cache records for zones that were delegated to from a forwarded zone

Fixes #4483

On RPZ customPolicy, follow the resulting CNAME

Closes #4188

Rec: don't go bogus on zero configured DSs

Fixes #4430

Silence a GCC 6.2 compiler warning

add gcc 6.2 to boost.m4

DNSSEC: generalize getDenial() function

 * Add qname denial check for NSEC
 * Add qtype denial checks
 * Hook up to getKeysFor()

DNSSEC: Implement keysearch based on zone-cuts

This prevents us sending out useless queries for DS records and doesn't
confuse us anymore when the delegation jumps over several labels.

Add getZoneCuts() function

Merge pull request #4512 from rgacogne/backport-4440

Backport #4440: Fix Lua-enabled compilation on OS X and FreeBSD

rec: Fix Lua-enabled compilation on OS X and FreeBSD

(cherry picked from commit 546d1fbf9efe8a4ba81c92d43bc43be457e60713)

Merge pull request #4511 from rgacogne/backport-4499

Backport #4499: Add support for boost::context >= 1.61

rec: Always test if BOOST_VERSION is < 1.61, not >, for readability

(cherry picked from commit 64413f6afd9b3dfeb1bef158f48bb3be496a4e04)

rec: Add support for boost::context >= 1.61

(cherry picked from commit f53de853d71bd1c058b507549d35312f9fa4847f)

Merge pull request #4462 from pieterlexis/backport-4461

Backport #4461: Fall back to SystemV ucontexts on boost >= 1.61