Merge pull request #5174 from rgacogne/auth40-backport-5085

Backport #5085: calidns: Use the correct socket family (IPv4 / IPv6)

Merge pull request #5170 from mind04/auth-4.0.x

Backport: Add an option to allow AXFR of zones with a different (higher/lower) serial #5169

Add an option to allow AXFR of zones with a different serial.

calidns: Use the correct socket family (IPv4 / IPv6)

(cherry picked from commit 7f363f60451fa8e54508c2628be122a8eb021b53)

Merge pull request #5073 from Habbie/backport-4824

Backport #4824: Check in the detected OpenSSL/libcrypto for ECDSA

Merge pull request #5071 from Habbie/backport-5051

backport #5051: fix godbc query logging (cherry-pick of d2bc6b2)

Backport #4824 (cherry-pick of 2a4c374)

Check in the detected OpenSSL/libcrypto for ECDSA

We used to 'just' use the default includes for this detection.

Fixes #4680

fix godbc query logging (cherry-pick of d2bc6b2)

Merge pull request #4932 from zeha/auth40-api-comment-zero-ttl

Backport #4781: API: correctly take TTL from first record even if we are at the last comment

Merge pull request #4934 from rgacogne/auth40-backport-4901

Backport #4901: Fix AtomicCounter unit tests on 32-bit

Merge pull request #4936 from rgacogne/auth40-backport-4911

Backport #4911: Fix negative port detection for IPv6 addresses on 32-bit

Merge pull request #5048 from rgacogne/auth40-backport-4744

backport #4744: Handle exceptions raised by `closesocket()`

Merge pull request #5046 from rgacogne/auth40-backport-4746

backport #4746: auth: Fix coverity warning in `pdnsutil show-zone`

auth: Fix coverity warning in `pdnsutil show-zone`

(cherry picked from commit 0944e3fc8333686767678eadb80fb0236fdc5fba)

Handle exceptions raised by `closesocket()`

This was not very well handled, and could cause the PowerDNS process
to terminate. This is especially nasty when `closesocket()` is called
from a destructor, as we could already be dealing with an exception.

(cherry picked from commit a7b68ae7e414ec9f3184df70ac8008f8a310ae60)

Merge pull request #5033 from pieterlexis/auth-backport-4508

Backport #4508: Revert "Merge pull request #947 from mind04/right" (auth)

Merge pull request #5032 from pieterlexis/backport-4463

Backport #4463: build Bind backend for CentOS 6

Merge pull request #5029 from pieterlexis/backport-4500

Backport #4500: Silence a GCC 6.2 compiler warning

Merge pull request #5027 from pieterlexis/backport-4622

Backport #4622: API dot-inconsistencies

Merge pull request #5026 from pieterlexis/backport-4684

Backport #4684: Clarify pdnsutil activate-tsig-key description

Merge pull request #5024 from pieterlexis/auth-backport-4762

Backport #4762: SuffixMatchNode: Fix insertion issue for an existing node (auth)

Merge pull request #5019 from pieterlexis/auth-backport-4793

Backport #4793: Don't call `hostname -f` on openbsd (auth)

Merge pull request #5016 from pieterlexis/auth-backport-4838

backport #4838: Check if we can link against libatomic if needed (auth)

Merge pull request #5015 from pieterlexis/backport-4861

Backport #4861: Do not resolve the NS-records for NOTIFY targets if the "only-notify"…

Merge pull request #5013 from pieterlexis/auth-backport-4868

Backport #4868: Document that carbon-server requires IP address, no hostname accepted. (auth)

Merge pull request #5011 from pieterlexis/auth-backport-4879

Backport #4879: Remove a relative import in yahttp-config.h (auth)

Revert "Merge pull request #947 from mind04/right"

This code only served to fix a combination of system misconfiguration and a
bug in glibc. Meanwhile it turns out this code is incorrect. Removing it.

(cherry picked from commit c96765dae8da4c9322ca4a80e3e101d64faf141f)

Auth: build Bind backend for CentOS 6

Silence a GCC 6.2 compiler warning

Closes #5007

(cherry picked from commit f226db2f2c12a2c0c16b3125a0438d9aca0d017c)

According to IRC, this should fix #4621

(cherry picked from commit 8f95565346ba5dcc7d26fbd4165da7d9c7faf362)

Clarify pdnsutil activate-tsig-key description

This clarifies the description of pdnsutil {de,}activate-tsig-key.
The command enables TSIG authenticated AXFR for a given zone + key,
which was not clear from the previous description.

(cherry picked from commit ad7568d52bdd29eb708e16176f8b410f0e07b891)

SuffixMatchNode: Fix insertion issue for an existing node

If the node we are about to insert already existed as an intermediary
one, we need to mark it as an end node.

(cherry picked from commit ed221d0bc700158c21fcb8fc4463085713d07c53)

Don't call `hostname -f` on openbsd

Closes #2579

(cherry picked from commit df925537cfe0a4706b85353376da6f12996871bb)

Check if we can link against libatomic if needed

Also move the OS detection to the top

(cherry picked from commit 03571f7ac3d5bebb4879849b094e2e03f019cd10)

Do not resolve the NS-records for NOTIFY targets if the "only-notify" whitelist is empty, as a target will never match an empty whitelist.

(cherry picked from commit 99844905a8abcab33a3b8ed42d3a49f2e419a310)

Document that carbon-server requires IP address, no hostname accepted.

(cherry picked from commit e12f84078798343e9749864cdeee44e68c4a81e6 and 90217d3960e3ee439405989b78fdf7e810d562f2)

Remove a relative import in yahttp-config.h

We set our include directories nowadays.

Closes #4866 (again)

(cherry picked from commit 4c3c83f3bc1eecd82d09e1e527108fae98ce1fda)

Merge pull request #4971 from rgacogne/auth40-tsig-canonical-algo

Backport #4961: Lowercase the TSIG algorithm name in hash computation

Lowercase the TSIG algorithm name in hash computation

`RFC2845` states that the algorithm name should be in `canonical wire
format` for the hash computation, which implies it should be lowercased.
We actually did lowercase it in 3.x, until it was moved to a `DNSName`
in 4.x.

(cherry picked from commit 68e9d647d4229c7a2ebd64d50837195d148c574b)

Fix negative port detection for IPv6 addresses on 32-bit

On a 32-bit Arch, our `test_ComboAddress` unit test fails because
`ComboAddress("[::1]:-6")` is considered valid. This is caused by
`stoul()` not throwing for a negative value and returning an `unsigned
long` value using unsigned integer wraparound rules. Since we used to
store the result value in a `signed int` and treat negative values
as if the port was not set, the test failed.

Fix AtomicCounter unit tests on 32-bit

(cherry picked from commit 00c6f2b9f5173c98cc883332f5ecf8b941715abc)

Backport #4781: API: correctly take TTL from first record even if we are at the last comment

Cherry picked from master 50d739d0ae978b8b0b737b079992744ff8aa126d

Merge pull request #4906 from rgacogne/auth40-revert-4638

Backport #4905: Revert "auth: In `Bind2Backend::lookup()`, use the `zoneId` when we have it"

Revert "auth: In `Bind2Backend::lookup()`, use the `zoneId` when we have it"

This reverts commit 937a66255ff05f2e754ef113833e54cc4cf2004b.
It doesn't work with multiple backends since the `zoneId` is passed to
every available backend on `lookup()`.

(cherry picked from commit 98b9845f2dae3a9fecc64aecaf41150b54388d26)

Merge pull request #4904 from pieterlexis/auth-4-centos-6-rpm-bind-backend

Backport #4903: Build the bind backend for CentOS 6 differently

Build the bind backend for CentOS 6 differently

Closes #4669
Closes #4902

Merge pull request #4895 from rgacogne/auth40-tsig-ixfr

Backport #4893: Check TSIG signature on IXFR

Check TSIG signature on IXFR

(cherry picked from commit 16c7f7823221d5d75282a77b2e9043b3f60e1ad2)

Merge pull request #4885 from rgacogne/auth40-spurious-rrs

Backport #4882: Don't parse spurious RRs in queries when we don't need them

Merge pull request #4891 from rgacogne/auth40-unknown-record-content-size

Backport #4889: auth: Correctly check unknown record content size

Merge pull request #4892 from rgacogne/auth40-webserver-exit

Backport #4887: auth: Don't exit if the webserver can't accept a connection

auth: Don't exit if the webserver can't accept a connection

This could lead to a Denial Of Service, before we even got a chance
to check that the remote client is allowed by the ACL.

Reported by mongo (thanks!).

(cherry picked from commit a84b0d994dfc39d4379050ff9249891ed3e82f56)

Don't parse spurious RRs in queries when we don't need them

auth: Correctly check unknown record content size

(cherry picked from commit b2af454119290be074fc873052d80631c5e16dce)

Merge pull request #4869 from rgacogne/auth40-backport-4852

Backport 4852: DNSName: Check that both first two bits are set in compressed labels

DNSName: Check that both first two bits are set in compressed labels

We checked that at least one of the first two bits was set,
but the 10 and 01 are combinations do not indicate a compressed label
and are reserved for future use.

(cherry picked from commit 99bbbc7bdf675509caf61f41464a1ae62c09f342)

Merge pull request #4863 from rgacogne/auth40-backport-4862

Backport #4862: jdnssec-tools 0.13 has been released

Merge pull request #4808 from rgacogne/auth40-backport-4791

Backport: 4791: Auth: Cleanup `DNSName::getRawLabels()` usage

jdnssec-tools 0.13 has been released

(cherry picked from commit 02f1e33288015a38161e1dc037c61dd0e2005bb1)

auth: Remove `XXX` comment after -hopefully- cleaning the `DNSName` pain

Auth: Cleanup `DNSName::getRawLabels()` usage

No real issue I'm aware of, but it's cleaner that way.

(cherry picked from commit f48c35c07dae04ab409f007d242b71692d49d5da)

Merge pull request #4755 from rgacogne/auth40-backport-4686

Backport #4686: calidns: Don't crash if we don't have enough 'unknown' queries remaining

Merge pull request #4754 from rgacogne/auth40-backport-4638

Backport #4638: auth: In `Bind2Backend::lookup()`, use the `zoneId` when we have it

auth: In `Bind2Backend::lookup()`, use the `zoneId` when we have it

After the initial lookup corresponding to a `DNSBackend::getAuth()`,
the subsequent ones already have the `zoneId`, so use it instead of
looping on `chopOff()` again. This should be much more efficient.

(cherry picked from commit 937a66255ff05f2e754ef113833e54cc4cf2004b)

calidns: Don't crash if we don't have enough 'unknown' queries remaining

(cherry picked from commit b4f5799bf3ed50dc0146a2bbfb2c61551de0136b)

Merge pull request #4750 from rgacogne/auth40-backport-4625

Backport #4625: auth: Unify usage of randomness source by using `dns_random()`

auth: Unify usage of randomness source by using `dns_random()`

`Utility::random()` is not impossible to predict, so even if we are not
using it for anything sensitive it's better to just use `dns_random()`
instead.
Reported by mongo (thanks!).

(cherry picked from commit d2116c15dbf1e0cef93e478678d1f9d403d87f90)

Merge pull request #4738 from rgacogne/auth40-dnsname-4718

Backport 4722: Fix incorrect length check in `DNSName` when extracting qtype or qclass

Fix incorrect length check in `DNSName` when extracting qtype or qclass

In `DNSName::packetParser()`, the length check might have been incorrect
when the caller asked for the `qtype` and/or the `qclass` to be extracted.
The `pos + labellen + 2 > end` check was wrong because `pos` might have already
been incremented by `labellen`. There are 3 ways to exit the main loop:

* `labellen` is 0, the most common case, and in that case the check is valid
* `pos >= end`, meaning that `pos + labellen + 2 > end` will be true regardless
of the value of `labellen` since it cannot be negative
* if `uncompress` is set and a compressed label is found, the main loop is
broken out of, and `labellen` still holds a now irrelevant, possibly non-zero value
corresponding to the first byte of the compressed label length & ~0xc0.

In that last case, if the compressed label points to a position > 255 the check
is wrong and might have rejected a valid packet.
A quick look throught the code didn't show any place where we request decompression
and ask for `qtype` and/or `qclass` in a response, but I might have missed one.

Reported by Houssam El Hajoui (thanks!).

(cherry picked from commit 7b9c052c617d02e1870195d0f216732047d56e22)

Merge pull request #4737 from Habbie/auth-4.0.x-travis-only-auth

do not build/test recursor, dnsdist, docs

Merge pull request #4728 from Habbie/auth-4.0.x-travis-update

MySQL 5.6 is now installed by default in travis images

do not build/test recursor, dnsdist, docs

MySQL 5.6 is now installed by default in travis images

See https://github.com/travis-ci/travis-ci/issues/6961

Merge pull request #4682 from Habbie/odbc-40x

backport odbc unbreaking

build and test godbc backend in travis

actually prepare statements

throw actual exceptions instead of strings so that they get caught and reported properly

update odbc-sqlite3 queries in regression tests

Merge pull request #4651 from rgacogne/auth-40-backport-4573

Backport #4573: Fix building with ECDSA support disabled in libcrypto

Merge pull request #4666 from ton31337/Fix/do_not_thrown_an_error

Do not thrown an error for get() if zone was not found (auth-4.0.x)

Do not thrown an error for get() if zone was not found

Fix building with ECDSA support disabled in libcrypto

(cherry picked from commit aa74d164ae29269168d048d2cc8d7e1f984774c4)

Merge pull request #4592 from rgacogne/auth40-web-rings-leak

Backport #4550: auth: Fix a possible memory leak in the webserver

Merge pull request #4600 from rgacogne/backport-4537

Backport #4537: Replace std::forward/std::make_tuple combo with std::forward_as_tuple

Merge pull request #4614 from pieterlexis/backport-4608

Backport #4608: Make MyDNS backend rpm

Make MyDNS backend rpm

Replace std::forward/std::make_tuple combo with std::forward_as_tuple

Quick and dirty fix for #3552. May not work or break compatibility
with other compilers.

(cherry picked from commit 352bc0409454032acc5e8fb256d5ed8f46445b5a)

auth: Fix a possible memory leak in the webserver

Also state clearly that we advise against running the webserver
without password protection.

Reported by mongo (thanks!).

(cherry picked from commit bea69e320e7f3ec4b9e607f6492a58f01b4fe9bf)

Merge pull request #4558 from mind04/auth-4.0.x

Auth 4.0.x backports

Merge pull request #4586 from rgacogne/backport-4544

Backport #4544: auth: Fix a stack-based off-by-one write in the HTTP remote backend

auth: Fix a stack-based off-by-one write in the HTTP remote backend

Reported by mongo (thanks!).

(cherry picked from commit 9e5fa399eea5152a451753f1db68dec46537447c)

Merge pull request #4523 from zeha/backport-4459

Backport #4459: plugs memory leak in postgresql backend

Merge pull request #4543 from zeha/api-search-no-ents-40x

Backport of #4542: API: search should not return ENTs

API: search should not return ENTs

This should also fix #4534, when backported.

fix a few 'types may not be defined in a for-range-declaration' warnings

add gcc 6.2 to boost.m4

eleksir noted that we leak a ton of memory in postgresql. I'm no postgres expert, but this plugs my leak and still appears to function. In other news, do we need a transaction for every query?

(cherry-picked from master 903bb4924bc5130c0e81f0c5759d0177f53e82fd)

disable negative getSOA caching if the negcache_ttl is 0

fix up packetcache not to use constexpr which upset clang (perhaps it is right)

document cache cleaning rate adjustment, plus switch to symbolic names for limits