Backport #5525

Backport #5523

Backport #5488

Backport #5406

Backport #5320

Backport #5261

Backport #5078

Backport #4960

Backport #4824

Backport #4646

Backport #4561

rec: Fix validation at the exact RRSIG inception or expiration time

Reported by Petr Špaček of cz.nic (thanks!).

(cherry picked from commit 179b340d522e36a65e799b048dcdae85c0237fdc)

Fix typo in two log messages

(cherry picked from commit 59d26fc8d63fd2ff924be2fa5b3bda3699081914)

rec: Only increase `no-packet-error` on the first read

We try to read as many messages as possible after being woken up,
but only the first read can count as a no-packet error.

(cherry picked from commit 390f1dab05bbbb5d9ba2782e89600ca62c4bec14)

rec: Make more specific Netmask < to less specific ones

Having the most specific ones first, then the less specific ones
then the empty one makes it easier to match the most specific first.

(cherry picked from commit a009559d3bc4d648edc3b5fff062b622bbde2389)

Together with Mukund Sivaraman we found out PowerDNS sdig does not truncate
trailing bits of EDNS Client Subnet mask.  So if you'd truncate something as
a /9, we'd have to use 2 bytes anyhow, but we would not zero the last 7 bits.

We do now. Thanks Mukund & ISC!

(cherry picked from commit d7da15c560946cadaadfc173b8964dd6b40932ed)

get-remote-ring's "other" report should only have two items.

(cherry picked from commit d6dcfe36c0d2bb5563322ec90167b5bd4e9efb6b)

Throw an error when lua-conf-file can't be loaded

This ensures we cannot start up if the file is unreadable.
Closes #4939

(cherry picked from commit 0f5785a6c441b043564f3ba26a39145aee74b1c2)

recursor: use explicit yes for default-enabled settings

(cherry picked from commit e498dac1aa762f2ace690e1e7a1631f9611096b6)

Check in the detected OpenSSL/libcrypto for ECDSA

We used to 'just' use the default includes for this detection.

Fixes #4680

(cherry picked from commit 2a4c374451d50e240872cc9907b69c2d2464f2cc)

extract nested exception from Luawrapper

Before:
Oct 28 15:30:34 STL error (www.foobar.com/A from 127.0.0.1): Exception thrown by a callback function called by Lua

After:
Oct 28 15:30:34 STL error (www.foobar.com/A from 127.0.0.1): Exception thrown by a callback function called by Lua. Extra info: Found . in wrong position in DNSName www.foobar.com..internal

reported by @elad, thanks!

(cherry picked from commit 068c763422b5830dc15598089f7760e79f5bdf81)

Update rec_control.1.md

(cherry picked from commit 2c04bf0c18f5e32ff498529162e71982bd3333bf)

Merge pull request #5843 from Habbie/b-root-4.0.x

b.root renumbering, effective 2017-10-24

b.root renumbering, effective 2017-10-24

Merge pull request #5765 from pieterlexis/rec-40-lowercase-outgoing-all-the-things

Backport #5740: Lowercase all outgoing qnames when lowercase-outgoing is set

Merge pull request #5726 from pieterlexis/auth-406-per-cut-validation

Rec 4.0.x: be more resilient with broken auths

Merge pull request #5812 from rgacogne/rec40-travis-encrypt-channel

Backport #5802: Encrypt the IRC channel name so notifications are not sent for forks

Encrypt the IRC channel name so notifications are not sent for forks

(cherry picked from commit f4614876f16ac3223786b26b18a4386045102f09)

Merge pull request #5813 from rgacogne/rec40-backport-5755

Backport #5755: Improve dnsbulktest experience in travis for more robustness

we actually resolve 98% by new definition, so can affort upping threshold from 90 to 95%.

(cherry picked from commit 9fb6940f8b1c96c735af3856976ea7a7bc92d3d8)

Improve dnsbulktest experience in travis for more robustness

This commit changes our dnsbulktest source from Alexa to Cisco Umbrella, but this turned out not to be as important as we thought.
In addition, it turns out we had been installing pdns-tools incorrectly because of wrong apt-settings. We now install pdns-tools from the master repo at repo.powerdns.com
This commit also tunes pdns_recursor to use less simultaneous outbound connections during testing, which appears to make Travis NAT happier, leading to less errors.
Finally, we use new features of dnsbulktest to extract more statistics for how well we are doing. Success is now dependent on errors and timeouts, and less on NXDOMAIN.

(cherry picked from commit 8a27076c38e2d399204d41928374e1bb9c45969c)

Allow no-EDNS fallback when DNSSEC is needed

Stop DNSSEC processing at Insecure

Lowercase all outgoing qnames when lowercase-outgoing is set

This is a backport of #5740

Merge pull request #5676 from aerique/feature/update-copryright-year-rec-4.0.x

Update copyright year in publicly visible output and files

Update copyright year in publicly visible output and files

(cherry picked from commit ff8f70b800e8b81a6d97c2d2568483d03228df2a)

Merge pull request #5627 from rgacogne/rec40-remove-syncres-unit-tests

rec: Remove the SyncRes unit tests from the 4.0 branch

Merge pull request #5629 from rgacogne/rec40-travis-build-dir

Backport #4986: Use `${TRAVIS_BUILD_DIR}` instead of assuming the repo is in `pdns`

Use `${TRAVIS_BUILD_DIR}` instead of assuming the repo is in `pdns`

Thus avoiding issues when/if the repository is cloned with a different
name.

(cherry picked from commit 1e0253cad96199647f92ef4fa8230f614637e80c)

rec: Remove the SyncRes unit tests from the 4.0 branch

test-syncres_cc.cc is not used and was added by mistake in a commit
backporting IXFR tests: c8f3468f102a4ab17ea1b5a9f408ce2bad3ddeab

Merge pull request #5608 from rgacogne/rec40-cache-inttypes

rec: Add missing cinttypes include for PRId64

rec: Add missing cinttypes include for PRId64

Merge pull request #5596 from pieterlexis/rec-dump-rrsigs-from-cache

Backport #5511: Dump RRSIGs on `dump-cache`

rec: Show auth state recursor cache dump

cherry-picked from commit ea9831c08f4c54514006efc1c61990963b10080f

rec: Dump RRSIGs from record cache

Merge pull request #5415 from rgacogne/rec40-ecs-fixes

rec40: Backport ECS fixes

rec: Use the incoming ECS for cache lookup if `use-incoming-edns-subnet` is set

Otherwise we insert into the cache based on the incoming ECS but
later do the lookup based on the query's source IP.

(cherry picked from commit 5736e55e0d2d8cd9a064b8377e87d08a540cb1b1)

Add more tests to the Netmask unit tests

Additional tests:

 * getBits()
 * isIpv4()
 * isIPv6()
 * getNetwork()
 * getMaskedNetwork()
 * check that Netmasks constructed from ComboAddresses with different
ports match

(cherry picked from commit 7f3e6acd659a9fee8ed027e7abe99ea77b3ee691)

when making a netmask from a comboaddress, we neglected to zero the port. This could lead to a proliferation of netmasks.

(cherry picked from commit 0bdabe94e6fd873455d34b88f8954d8cc6034a72)

rec: Don't take the initial ECS source for a scope one if EDNS is off

(cherry picked from commit fe61f5d87871b56a17612c5a8334a84391f0d962)

with this, EDNS Client Subnet becomes compatible with the packet cache, using the existing variable answer facility.

(cherry picked from commit 8bec43b3a28df7d31a4bb464dd043d7ec9caeab0)

also set d_requestor without Lua: the ECS logic needs it

(cherry picked from commit cd00142f8ba7a70a59095249b601eb64257e146c)

Merge pull request #5479 from rgacogne/rec40-5476-ixfr-fix

rec: Backport #5476: Fix IXFR skipping the additions part of the last sequence

Merge pull request #5480 from rgacogne/rec40-5416-cache-expired

rec: Backport #5416: Move expired cache entries to the front so they are expunged

Remove just enough entries from the cache, not one more than asked

(cherry picked from commit f3cb7c78abe3ad639d4583880ae9302b3be99a9e)

rec: Move expired cache entries to the front so they are expunged

(cherry picked from commit 197d755ea3972251352170261a9d7024ca95175c)

rec: Add IXFR unit tests

(cherry picked from commit e503653f7d4c7e28b594336b37bcf602c7f5119a)

rec: Fix IXFR skipping the additions part of the last sequence

Under certain conditions, we could have skipped the additions part
of the last `IXFR` sequence, because we stopped processing records
after seeing a `SOA` record with the new serial. However, as stated
in rfc1995's "Response format" section:

"the first RR of the added RRs is the newer SOA RR"

(cherry picked from commit d67ae3b477c9cf9d2a98f0edad9977dc34a2c8bf)

Merge pull request #5471 from pieterlexis/rec-406-b-root

Backport #4497 and #5470: Add E and B root IPv6 addresses

rec: changed IPv6 addr of b.root-servers.net

http://www.internic.net/domain/db.cache
last update:    June 01, 2017
is effective since 2017-06-01

(cherry picked from commit 951ab1a12096a6cf8514282c5f5d4d7641bc87ae)

e.root-servers.net has IPv6 now

(cherry picked from commit b815c62e1a4be01b4a2a7833855116b8781f86f6)

Merge pull request #5462 from pieterlexis/rex-406-backport-5455

Backport 5455: Travis: Use auth 4.0 for recursor tests

Travis: Use auth 4.0 for recursor tests

(cherry picked from commit dad54543abf80aedefbe47f1d538542763794173)

Merge pull request #5451 from rgacogne/rec40-requestor-payload-512

Backport #5446: rec: Treat requestor's payload size lower than 512 as equal to 512

rec: Treat requestor's payload size lower than 512 as equal to 512

(cherry picked from commit 320157487ec1cd0a9c4bcfd5309d9d651c26eb72)

Merge pull request #5447 from Habbie/rec-4.0.x-uri

rec backport: make URI integers 16 bits, fixes #5443

Merge pull request #5448 from mind04/rec-4.0.x

Rec 4.0.x: backport decaf signer

add ED448 to signers unit test

initial stab at signer testing; has one 8080 test vector for now

don't use the libdecaf ed25519 signer when libsodium is enabled

hello decaf signers (ED25519 and ED448)
Testing algorithm 15: 'Decaf ED25519' ->'Decaf ED25519' -> 'Decaf ED25519' Signature & verify ok, signature 68usec, verify 93usec
Testing algorithm 16: 'Decaf ED448' ->'Decaf ED448' -> 'Decaf ED448' Signature & verify ok, signature 163usec, verify 252usec

make URI integers 16 bits, fixes #5443

Merge pull request #5411 from Habbie/4.0.x-5401

unbreak quoting; fixes #5401

Merge pull request #5424 from mind04/ed25519-r40

Backport of #5422 do not hash the message in the ed25519 signer

do not hash the message in the ed25519 signer

https://www.rfc-editor.org/errata_search.php?rfc=8080

This is a Native zone
Metadata items: None
Zone has NSEC semantics
keys:
ID = 1 (CSK), flags = 257, tag = 3613, algo = 15, bits = 256      Active ( ED25519 )
CSK DNSKEY = example.com. IN DNSKEY 257 3 15 l02Woi0iS8Aa25FQkUd9RMzZHJpBoRQwAQEX1SxZJA4= ; ( ED25519 )
DS = example.com. IN DS 3613 15 1 b2c63605467c4a40942b47a953e9c0d38f81083a ; ( SHA1 digest )
DS = example.com. IN DS 3613 15 2 3aa5ab37efce57f737fc1627013fee07bdf241bd10f3b1964ab55c78e79a304b ; ( SHA256 digest )
DS = example.com. IN DS 3613 15 4 89389da437fca8372e67359dfc0dd4428fa2615df6e31bc5501677dd068514fea5c4efaf82188530a8a1645d9d3ef884 ; ( SHA-384 digest )

DNSKEY and DS match

Merge pull request #5405 from rgacogne/rec40-disable-use-incoming-ecs

Backport #5402: rec: Disable use-incoming-edns-subnet by default

unbreak quoting; fixes #5401

rec: Disable use-incoming-edns-subnet by default

(cherry picked from commit a16c4536496ab0d3cf959bcb45e7a6cf41d02e3e)

Merge pull request #5392 from pieterlexis/rec-405-sync-boost-m4

Sync boost.m4 from master

Sync boost.m4 from master

Merge pull request #5355 from rgacogne/rec40-backport-4924-1988

rec-4.0.x: Backport #4924 and #4988

Merge pull request #5345 from shinsterneck/backport-5335-rec-4.0.x

Backport of #5335 to rec-4.0.x: configure.ac: corrects syntax error in test statement on existance of libcrypto_ecdsa

rec: Add `use-incoming-edns-subnet` to process and pass along ECS

If set, the recusor will process and pass along a received EDNS
Client Subnet to authoritative servers.
The ECS information will only be sent for netmasks and domains listed
in `edns-subnet-whitelist`, and will be truncated if the received scope
exceeds `ecs-ipv4-bits` for IPv4 or `ecs-ipv6-bits` for IPv6.
An incoming ECS source prefix-length of 0 can also be used to
request that no ECS value be sent to the authoritative servers,
in accordance with RFC7871.

(cherry picked from commit b40562da39e3be0dcf193163c386eef369dcc4af)

Correctly parse ECS with a source prefix-length value of 0

It means there is no address there, but the family and source
prefix-length values are still relevant. rfc7871 explicitly says
that the family SHOULD be set to the transport over which the query
is sent if source prefix-length is 0.
It also states that a source prefix-length means the client is
asking that no ECS value be sent.

(cherry picked from commit 53221eafae3fe410586daf98cca0df3d81ea344c)

add iputils.cc to remotebackend tests

(cherry picked from commit 4d541cb1bf211c1a707d34691ea0f3329be0bf1f)

link in iputils.o in places that need it now for truncation of netmask

(cherry picked from commit 4ba0ebc5fe17ea9263ade38d4e76b63072397296)

add ecs-ipv4-bits and ecs-ipv6-bits tunables for EDNS Client Subnet & document them. Split out ECS code from pdns_recursor.cc.

(cherry picked from commit 35695d184316e0686d1dc2d50ef4a4420bc95157)

make EDNS client subnet do some better logging on --trace

(cherry picked from commit 43f759413685af3cc06587c3631009eea3434396)

ComboAddress truncate() is assumed to never throw. Enforce this.

(cherry picked from commit 5b6099b2397c1b5a4789235ad5c06ac83ecfa818)

EDNS Client Subnet parser delivered 'over precise' netmasks, like 1.2.3.4/16. This might have caused problems, but at the very least looks odd. We truncate now.

(cherry picked from commit b85f49a0aa392d40f00e134708c2e12aa1231870)

corrects syntax error in test statement on existance of libcrypto_ecdsa

(cherry picked from commit 8189c881e5ebaa13f5f14d9345335d656bd34e43)

Use un-annotated tags for determining version

Merge pull request #5304 from pieterlexis/rec-405-backports

Recursor backports

Recursor 4.0.5: Backport #5319

rec: Only check the netmask for subnet specific cache entries

We used to check the netmask for all entries for a qname
if at least one of them was a subnet specific one. Since an empty
`Netmask` doesn't match anything, we would effectively ignore every
non subnet specific entries if we had at least one subnet specific
one.
This caused a very hard to reproduce issue with for example
f.root-servers.net that includes an EDNS Client Subnet option in its
answer for `NS .` if the query has an EDNS Client Subnet option.
This caused the recursor to cache a subnet specific entry for `NS .`.
When that entry expired, we retrieved and cached a non subnet specific
one, but that new one was ignored as long as the subnet specific
was not expunged from the cache.
Under certain circumstances that could cause a root refresh loop
using a lot of stack memory.

(cherry picked from commit 65fdd185f4930f685b87340d29535f40d8b52fb3)

Merge pull request #5324 from rgacogne/rec40-yahttp-backports

rec-4.0.x: YaHTTP: Sync with upstream changes

YaHTTP: Sync with upstream changes

Backport changes from upstream up to c5b83288a4c2f8ec07cb8cb7bd150f2210db67b6
"Add missing `YaHTTP::isdigit()`, fix locale-enabled versions"

Recursor 4.0.5: Backport #5318

when (re)priming the root, we do so with auth=0. We'll only set auth=1 after we have an answer from the roots. This however opens up a small race condition in which the root is expired (ttl=0), but still auth=1 in the cache. Our attempt to replace it with auth=0 dta fails at that point. This is probably due to some fencepost error somewhere. To not be subtle about this, explicitly nuke the root when we reprime.

(cherry picked from commit 0d032a66afe508cc86a25eef26fc9be0867a117e)

Recursor 4.0.5: Backport #5304