Merge pull request #5165 from rgacogne/rec40-backport-5058

Backport #5058: Rec: Store the RPZ policies in an unordered_map instead of a map

Merge pull request #5166 from rgacogne/rec40-backport-5042

Backport #5042: StateHolder: Allocate (and copy if needed) before taking the lock

StateHolder: Allocate (and copy if needed) before taking the lock

(cherry picked from commit 47678b827e9b20a23352e381b16312f1c29831de)

Rec: Store the RPZ policies in an unordered_map instead of a map

This speeds up the loading of huge zones a bit (~20%) while also nicely
improving the lookup speed.
Also adds a `zoneSizeHint` parameter to `rpzFile()` and `rpzMaster()` to be
able to reserve space before loading the zone, to prevent reallocation
and rehashing when possible.

(cherry picked from commit a2d0450ec9fa958308fe0c40499ce28228bb3f00)

Merge pull request #4935 from rgacogne/rec40-backport-4911

Backport #4911: Fix negative port detection for IPv6 addresses on 32-bit

Merge pull request #5047 from rgacogne/rec40-backport-4744

backport #4744: Handle exceptions raised by `closesocket()`

Merge pull request #5045 from rgacogne/rec40-backport-4917

backport #4917: rec: Clean up, fix compiler warnings

Merge pull request #4970 from rgacogne/rec40-tsig-canonical-algo

Backport #4961: Lowercase the TSIG algorithm name in hash computation

Explicitely use const iterators in `validateWithKeySet` and `getKeysFor`

(cherry picked from commit 7a4f4632913046afde9e8acbbff1213b8faf982d)

Make sure `labelsToAdd` is not empty in `getZoneCuts()`

(cherry picked from commit e2f91e7051975a411445ebd54a2a124c78a7d8ff)

Remove `g_rootDS` leftover

(cherry picked from commit 08d5ffac729f6aaa2f63d070a7fcefe42e3c32f4)

Remove unused `RemoteLogger::sendData()` leftover

(cherry picked from commit 59ab41170cee9b95513bdc931a5f125a0c3de205)

rec: Fix shadowed variables

No real issue here, but I'd like to be able `-Wshadow` to prevent
future mishaps at some point.

(cherry picked from commit dd07976412d9b2b35db7179ceb590e542aff9eef)

Handle exceptions raised by `closesocket()`

This was not very well handled, and could cause the PowerDNS process
to terminate. This is especially nasty when `closesocket()` is called
from a destructor, as we could already be dealing with an exception.

(cherry picked from commit a7b68ae7e414ec9f3184df70ac8008f8a310ae60)

Merge pull request #5034 from pieterlexis/rec-backport-4508

Backport #4508: Revert "Merge pull request #947 from mind04/right" (rec)

Merge pull request #5028 from pieterlexis/backport-4619

Backport #4619: Document the -pub- variants

Merge pull request #5023 from pieterlexis/backport-4767

Backport #4767: hide ttl in RPZ tests to avoid random failures

Merge pull request #5035 from pieterlexis/backport-4794

Backport #4794: RPZ: some logging fixes

Merge pull request #5031 from pieterlexis/backport-4603

Backport #4603: g.root-servers.net added IPv6

Merge pull request #5025 from pieterlexis/rec-backport-4762

Backport #4762: SuffixMatchNode: Fix insertion issue for an existing node (rec)

Merge pull request #5022 from pieterlexis/backport-4775

Backport #4775: LuaWrapper: Use the correct index when storing a function

Merge pull request #5021 from pieterlexis/backport-4777

Backport #4777: only delegate if NS's are below apex in auth-zones

Merge pull request #5020 from pieterlexis/rec-backport-4793

Backport #4793: Don't call `hostname -f` on openbsd (rec)

Merge pull request #5018 from pieterlexis/backport-4804

Backport #4804: remove hardcoding of port 53 for TCP/IP forwarded zones in recursor, …

Merge pull request #5017 from pieterlexis/rec-backport-4838

backport #4838: Check if we can link against libatomic if needed (rec)

Merge pull request #5014 from pieterlexis/rec-backport-4868

Backport #4868: Document that carbon-server requires IP address, no hostname accepted. (rec)

Merge pull request #5012 from pieterlexis/rec-backport-4879

Backport #4879: Remove a relative import in yahttp-config.h (rec)

Merge pull request #5010 from pieterlexis/backport-4940

Backport #4940: Backport json11 fixes from upstream

Merge pull request #5009 from pieterlexis/backport-4972

Backport #4972: Add the 2017 root key

Update the manpage as well

(cherry picked from commit 6c9a5b516f73edf5a6f6ec931eea1967090ee48f)

RPZ: log additions/removals at degug, not info

(cherry picked from commit 610d8343deba239edbb88f3f17d3e4118bc782ac)

Unconfuse the RPZ summary

Closes #4342

(cherry picked from commit 00febe394033d2ea53ecbcf135ac94de6ba4be08)

Revert "Merge pull request #947 from mind04/right"

This code only served to fix a combination of system misconfiguration and a
bug in glibc. Meanwhile it turns out this code is incorrect. Removing it.

(cherry picked from commit c96765dae8da4c9322ca4a80e3e101d64faf141f)

g.root-servers.net added IPv6

http://www.internic.net/domain/db.cache
last update:    October 20, 2016

Document the -pub- variants

SuffixMatchNode: Fix insertion issue for an existing node

If the node we are about to insert already existed as an intermediary
one, we need to mark it as an end node.

(cherry picked from commit ed221d0bc700158c21fcb8fc4463085713d07c53)

hide ttl in RPZ tests to avoid random failures

(cherry picked from commit 41eac9c12f28cc7a07a45ae0abe86ba390802e06)

LuaWrapper: Fix comments since `ValueInRegistry` now takes an optional index

(cherry picked from commit 28abe7558fd5c0d853a7544f49fb780aafbc49f3)

LuaWrapper: Use the correct index when storing a function

The LuaWrapper used to assume that the function was at the
top of the stack, making it effectively impossible to have
a callback function parameter anywhere else than as the last
parameter.

(cherry picked from commit 4ec1e17418d539cea7eb4fb5469e905684ca6457)

rec: only delegate if NS's are below apex in auth-zones

As:
 1. we **are** authoritative for the zone named at the apex
 2. We would servfail because we could get an upward referral

Closes #4771

(cherry picked from commit 221a3f72e117a0e0fdf9e4fedf237a8e6526d145)

Don't call `hostname -f` on openbsd

Closes #2579

(cherry picked from commit df925537cfe0a4706b85353376da6f12996871bb)

remove hardcoding of port 53 for TCP/IP forwarded zones in recursor, to address #4799

(cherry picked from commit 1bde6efa9fa0331dbd431fb42f208b4df530d88c)

Check if we can link against libatomic if needed

Also move the OS detection to the top

(cherry picked from commit 03571f7ac3d5bebb4879849b094e2e03f019cd10)

Document that carbon-server requires IP address, no hostname accepted.

(cherry picked from commit e12f84078798343e9749864cdeee44e68c4a81e6 and 90217d3960e3ee439405989b78fdf7e810d562f2)

Remove a relative import in yahttp-config.h

We set our include directories nowadays.

Closes #4866 (again)

(cherry picked from commit 4c3c83f3bc1eecd82d09e1e527108fae98ce1fda)

Backport json11 fixes from upstream

(cherry picked from commit 3c20dd3b30bd0c15c5f7a1e82fba3bb5254b28df)

Add the 2017 root key

(cherry picked from commit d5037c4d34ffbc89ca5d4f79554dd87aa49fdbc8)

Lowercase the TSIG algorithm name in hash computation

`RFC2845` states that the algorithm name should be in `canonical wire
format` for the hash computation, which implies it should be lowercased.
We actually did lowercase it in 3.x, until it was moved to a `DNSName`
in 4.x.

(cherry picked from commit 68e9d647d4229c7a2ebd64d50837195d148c574b)

Merge pull request #4792 from rgacogne/rec40-backport-3869

Backport #3869: rec: Log outgoing queries / incoming responses via protobuf

Fix negative port detection for IPv6 addresses on 32-bit

On a 32-bit Arch, our `test_ComboAddress` unit test fails because
`ComboAddress("[::1]:-6")` is considered valid. This is caused by
`stoul()` not throwing for a negative value and returning an `unsigned
long` value using unsigned integer wraparound rules. Since we used to
store the result value in a `signed int` and treat negative values
as if the port was not set, the test failed.

rec: Wait until after daemonizing to start the outgoing protobuf thread

(cherry picked from commit a79b00a6df3076c1f7af87d0fd093e8aa2fc4e9f)

rec: Log outgoing queries / incoming responses via protobuf

(cherry picked from commit 4898a34807043c2af442ef983f9ef45e0b473651)

Merge pull request #4896 from rgacogne/rec40-tsig-ixfr

Backport #4893: Check TSIG signature on IXFR

Check TSIG signature on IXFR

(cherry picked from commit 16c7f7823221d5d75282a77b2e9043b3f60e1ad2)

Merge pull request #4886 from rgacogne/rec40-spurious-rrs

Backport #4882: Don't parse spurious RRs in queries when we don't need them

Merge pull request #4881 from rgacogne/rec40-depth-limit

Backport #4880: rec: Add `max-recursion-depth` to limit the number of internal recursion

Merge pull request #4878 from pieterlexis/rec-4-mkpubsuffix

Backport #4874: Recursor: ship mkpubsuffixcc

Don't parse spurious RRs in queries when we don't need them

rec: Add `max-recursion-depth` to `upgrading.md`

(cherry picked from commit 8c25e5e927245c8ab5bcf21dc3c86973415ec52a)

rec: Add `max-recursion-depth` to limit the number of internal recursion

Default to 40, was unlimited.

(cherry picked from commit 7c3398aabe2e9dd8c5c3e8b3572455abfa3037be)

Recursor: ship mkpubsuffixcc

Closes #4842

(cherry picked from commit 265ff1c3cb1083e1f5b4ed0ddafd200c2f27acf4)

Merge pull request #4870 from rgacogne/rec40-backport-4852

Backport 4852: DNSName: Check that both first two bits are set in compressed labels

DNSName: Check that both first two bits are set in compressed labels

We checked that at least one of the first two bits was set,
but the 10 and 01 are combinations do not indicate a compressed label
and are reserved for future use.

(cherry picked from commit 99bbbc7bdf675509caf61f41464a1ae62c09f342)

Merge pull request #4805 from rgacogne/rec40-backport-4635

Backport #4635: rec: Don't crash on an empty query ring

Merge pull request #4806 from rgacogne/rec40-backport-4670

Backport #4670: Set `RemoteLogger::d_socket` to -1 after closing it

Merge pull request #4807 from rgacogne/rec40-backport-4789

Backport #4789: rec: Don't choke on escaped content in getZoneCuts()

rec: Don't choke on escaped content in getZoneCuts()

`getZoneCuts()` was constructing a `DNSName` by passing a raw label returned
from `DNSName::getRawLabels()` as a string. The constructor then tried to handle
escaped characters from the string, resulting in a different `DNSName` than the
expected one. This caused the `qname != begin` condition to be false even after
every label in `labelsToAdd` had been added, causing an UB by calling
`std::vector::back()` on an empty vector.
Using `DNSName::prependRawLabel()` instead prevents this issue since the string is
not escaped.

(cherry picked from commit 754914f0177cd990db16ff0cc29c8789e94b32bb)

Set `RemoteLogger::d_socket` to -1 after closing it

Otherwise, in the unlikely case `SSocket()` throws an exception
we might end up with a stale file descriptor in `RemoteLogger::reconnect()`.

(cherry picked from commit 754f300f6b7e64b8de70990950484c4de749d10a)

rec: Don't crash on an empty query ring

It obviously happens if stats-ringbuffer-entries is set to 0.

(cherry picked from commit 5af86fdcdee2843d80d40dd1c22c137e471f9484)

Merge pull request #4770 from rgacogne/rec40-backport-4769

Backport #4769 rec: Set the result to NoError before calling `preresolve`

rec: Set the result to NoError before calling `preresolve`

Otherwise `rq.rcode` needs to be set explicitly when handling the
query from `preresolve`, which is not documented and wasn't the case
before.

(cherry picked from commit ef3b6cd7719e968364f6ad7692ff4287829f37f1)

Merge pull request #4757 from rgacogne/rec40-backport-4724

Backport #4724: rec: Add `getRecursorThreadId()` to Lua, identifying the current thread

Merge pull request #4756 from rgacogne/rec40-backport-4715

Backport #4715: Specify that dnsmessage.proto uses protobuf version 2

rec: Add `getRecursorThreadId()` to Lua, identifying the current thread

(cherry picked from commit b401545341c7e4bd2d27940e95f9fe1af374479d)

Specify that dnsmessage.proto uses protobuf version 2

Recent proto-c versions are complaining loudly otherwise.

(cherry picked from commit 2e14d4bbf6549c70e3422b315287bc69bfe398dd)

Merge pull request #4647 from pieterlexis/backport-4629

Backport #4629:  Handle CNAMEs at the apex of secure zones to other secure zones

Merge pull request #4739 from rgacogne/rec40-dnsname-4718

Backport 4722: Fix incorrect length check in `DNSName` when extracting qtype or qclass

Merge pull request #4695 from rgacogne/backport-4691

Backport #4691: rec: Wait until after daemonizing to start the RPZ and protobuf threads

Fix incorrect length check in `DNSName` when extracting qtype or qclass

In `DNSName::packetParser()`, the length check might have been incorrect
when the caller asked for the `qtype` and/or the `qclass` to be extracted.
The `pos + labellen + 2 > end` check was wrong because `pos` might have already
been incremented by `labellen`. There are 3 ways to exit the main loop:

* `labellen` is 0, the most common case, and in that case the check is valid
* `pos >= end`, meaning that `pos + labellen + 2 > end` will be true regardless
of the value of `labellen` since it cannot be negative
* if `uncompress` is set and a compressed label is found, the main loop is
broken out of, and `labellen` still holds a now irrelevant, possibly non-zero value
corresponding to the first byte of the compressed label length & ~0xc0.

In that last case, if the compressed label points to a position > 255 the check
is wrong and might have rejected a valid packet.
A quick look throught the code didn't show any place where we request decompression
and ask for `qtype` and/or `qclass` in a response, but I might have missed one.

Reported by Houssam El Hajoui (thanks!).

(cherry picked from commit 7b9c052c617d02e1870195d0f216732047d56e22)

Merge pull request #4730 from Habbie/rec-4.0.x-travis-only-rec

do not build/test auth, dnsdist, docs

do not build/test auth, dnsdist, docs

Merge pull request #4729 from Habbie/rec-4.0.x-travis-update

stop auto-started pdns with 0.0.0.0 bind, to allow individual binds

stop auto-started pdns with 0.0.0.0 bind, to allow individual binds

Merge pull request #4717 from rgacogne/backport-4716

Backport #4716: rec: Remove leftover debug msg in `RecursorLua4::DNSQuestion::setRecords()`

rec: Remove leftover debug msg in `RecursorLua4::DNSQuestion::setRecords()`

(cherry picked from commit 3c82a3e58f689324b4c700c8bdad9dd9fb351065)

rec: Wait until after daemonizing to start the RPZ and protobuf threads

Otherwise they are killed when we call `fork()`.
We still want to actually parse the configuration to check for syntax
errors before daemonizing to be able to report any error, so when
`daemon` is set to `yes`, we parse the Lua configuration early
without starting any threads, and then again, starting the threads
that time, after daemonizing.

(cherry picked from commit a4241908a1c80c4293cfcd5056bb67138958f0e6)

Merge pull request #4677 from pieterlexis/backport-4674

Backport #4674: Enable protobuf in CentOS 6 packages

Merge pull request #4636 from rgacogne/rec-backport-4577

Backport #4577: rec: Fix src/dest inversion in the protobuf message for TCP queries

Update boost requirement for DNSName

This version is known to work (CentOS 7)

(cherry picked from commit 46104a7e4ebc19419a3908141358289332709eea)

Add protobuf support to EL6 packages

(cherry picked from commit 7cfda92fa027ecfadc42a6c1063f852a52314c1c)

Merge pull request #4675 from pieterlexis/backport-4672

Backport #4672: On (re-)priming, fetch the root NS records

On (re-)priming, fetch the root NS records

Merge pull request #4652 from rgacogne/rec-40-backport-4573

Backport #4573: Fix building with ECDSA support disabled in libcrypto

Fix building with ECDSA support disabled in libcrypto

(cherry picked from commit aa74d164ae29269168d048d2cc8d7e1f984774c4)

Fix a DNSSEC trace log message

Handle CNAME at secure zone apex to secure zone

Closes #4466

Add test for #4466

rec: Fix src/dest inversion in the protobuf message for TCP queries

(cherry picked from commit 35a7fc41b202da6406f88e79d0bd7b3dccfcae5c)

Merge pull request #4599 from rgacogne/backport-4554

Backport #4554: Add requestorId and some comments to the protobuf definition file

Merge pull request #4610 from pieterlexis/backport-4602

Backport #4602:  NSEC3 optout and Bogus insecure forward fixes