rec: Make more specific Netmask < to less specific ones

Having the most specific ones first, then the less specific ones
then the empty one makes it easier to match the most specific first.

(cherry picked from commit a009559d3bc4d648edc3b5fff062b622bbde2389)

Merge pull request #5843 from Habbie/b-root-4.0.x

b.root renumbering, effective 2017-10-24

b.root renumbering, effective 2017-10-24

Merge pull request #5765 from pieterlexis/rec-40-lowercase-outgoing-all-the-things

Backport #5740: Lowercase all outgoing qnames when lowercase-outgoing is set

Merge pull request #5726 from pieterlexis/auth-406-per-cut-validation

Rec 4.0.x: be more resilient with broken auths

Merge pull request #5812 from rgacogne/rec40-travis-encrypt-channel

Backport #5802: Encrypt the IRC channel name so notifications are not sent for forks

Encrypt the IRC channel name so notifications are not sent for forks

(cherry picked from commit f4614876f16ac3223786b26b18a4386045102f09)

Merge pull request #5813 from rgacogne/rec40-backport-5755

Backport #5755: Improve dnsbulktest experience in travis for more robustness

we actually resolve 98% by new definition, so can affort upping threshold from 90 to 95%.

(cherry picked from commit 9fb6940f8b1c96c735af3856976ea7a7bc92d3d8)

Improve dnsbulktest experience in travis for more robustness

This commit changes our dnsbulktest source from Alexa to Cisco Umbrella, but this turned out not to be as important as we thought.
In addition, it turns out we had been installing pdns-tools incorrectly because of wrong apt-settings. We now install pdns-tools from the master repo at repo.powerdns.com
This commit also tunes pdns_recursor to use less simultaneous outbound connections during testing, which appears to make Travis NAT happier, leading to less errors.
Finally, we use new features of dnsbulktest to extract more statistics for how well we are doing. Success is now dependent on errors and timeouts, and less on NXDOMAIN.

(cherry picked from commit 8a27076c38e2d399204d41928374e1bb9c45969c)

Allow no-EDNS fallback when DNSSEC is needed

Stop DNSSEC processing at Insecure

Lowercase all outgoing qnames when lowercase-outgoing is set

This is a backport of #5740

Merge pull request #5676 from aerique/feature/update-copryright-year-rec-4.0.x

Update copyright year in publicly visible output and files

Update copyright year in publicly visible output and files

(cherry picked from commit ff8f70b800e8b81a6d97c2d2568483d03228df2a)

Merge pull request #5627 from rgacogne/rec40-remove-syncres-unit-tests

rec: Remove the SyncRes unit tests from the 4.0 branch

Merge pull request #5629 from rgacogne/rec40-travis-build-dir

Backport #4986: Use `${TRAVIS_BUILD_DIR}` instead of assuming the repo is in `pdns`

Use `${TRAVIS_BUILD_DIR}` instead of assuming the repo is in `pdns`

Thus avoiding issues when/if the repository is cloned with a different
name.

(cherry picked from commit 1e0253cad96199647f92ef4fa8230f614637e80c)

rec: Remove the SyncRes unit tests from the 4.0 branch

test-syncres_cc.cc is not used and was added by mistake in a commit
backporting IXFR tests: c8f3468f102a4ab17ea1b5a9f408ce2bad3ddeab

Merge pull request #5608 from rgacogne/rec40-cache-inttypes

rec: Add missing cinttypes include for PRId64

rec: Add missing cinttypes include for PRId64

Merge pull request #5596 from pieterlexis/rec-dump-rrsigs-from-cache

Backport #5511: Dump RRSIGs on `dump-cache`

rec: Show auth state recursor cache dump

cherry-picked from commit ea9831c08f4c54514006efc1c61990963b10080f

rec: Dump RRSIGs from record cache

Merge pull request #5415 from rgacogne/rec40-ecs-fixes

rec40: Backport ECS fixes

rec: Use the incoming ECS for cache lookup if `use-incoming-edns-subnet` is set

Otherwise we insert into the cache based on the incoming ECS but
later do the lookup based on the query's source IP.

(cherry picked from commit 5736e55e0d2d8cd9a064b8377e87d08a540cb1b1)

Add more tests to the Netmask unit tests

Additional tests:

 * getBits()
 * isIpv4()
 * isIPv6()
 * getNetwork()
 * getMaskedNetwork()
 * check that Netmasks constructed from ComboAddresses with different
ports match

(cherry picked from commit 7f3e6acd659a9fee8ed027e7abe99ea77b3ee691)

when making a netmask from a comboaddress, we neglected to zero the port. This could lead to a proliferation of netmasks.

(cherry picked from commit 0bdabe94e6fd873455d34b88f8954d8cc6034a72)

rec: Don't take the initial ECS source for a scope one if EDNS is off

(cherry picked from commit fe61f5d87871b56a17612c5a8334a84391f0d962)

with this, EDNS Client Subnet becomes compatible with the packet cache, using the existing variable answer facility.

(cherry picked from commit 8bec43b3a28df7d31a4bb464dd043d7ec9caeab0)

also set d_requestor without Lua: the ECS logic needs it

(cherry picked from commit cd00142f8ba7a70a59095249b601eb64257e146c)

Merge pull request #5479 from rgacogne/rec40-5476-ixfr-fix

rec: Backport #5476: Fix IXFR skipping the additions part of the last sequence

Merge pull request #5480 from rgacogne/rec40-5416-cache-expired

rec: Backport #5416: Move expired cache entries to the front so they are expunged

Remove just enough entries from the cache, not one more than asked

(cherry picked from commit f3cb7c78abe3ad639d4583880ae9302b3be99a9e)

rec: Move expired cache entries to the front so they are expunged

(cherry picked from commit 197d755ea3972251352170261a9d7024ca95175c)

rec: Add IXFR unit tests

(cherry picked from commit e503653f7d4c7e28b594336b37bcf602c7f5119a)

rec: Fix IXFR skipping the additions part of the last sequence

Under certain conditions, we could have skipped the additions part
of the last `IXFR` sequence, because we stopped processing records
after seeing a `SOA` record with the new serial. However, as stated
in rfc1995's "Response format" section:

"the first RR of the added RRs is the newer SOA RR"

(cherry picked from commit d67ae3b477c9cf9d2a98f0edad9977dc34a2c8bf)

Merge pull request #5471 from pieterlexis/rec-406-b-root

Backport #4497 and #5470: Add E and B root IPv6 addresses

rec: changed IPv6 addr of b.root-servers.net

http://www.internic.net/domain/db.cache
last update:    June 01, 2017
is effective since 2017-06-01

(cherry picked from commit 951ab1a12096a6cf8514282c5f5d4d7641bc87ae)

e.root-servers.net has IPv6 now

(cherry picked from commit b815c62e1a4be01b4a2a7833855116b8781f86f6)

Merge pull request #5462 from pieterlexis/rex-406-backport-5455

Backport 5455: Travis: Use auth 4.0 for recursor tests

Travis: Use auth 4.0 for recursor tests

(cherry picked from commit dad54543abf80aedefbe47f1d538542763794173)

Merge pull request #5451 from rgacogne/rec40-requestor-payload-512

Backport #5446: rec: Treat requestor's payload size lower than 512 as equal to 512

rec: Treat requestor's payload size lower than 512 as equal to 512

(cherry picked from commit 320157487ec1cd0a9c4bcfd5309d9d651c26eb72)

Merge pull request #5447 from Habbie/rec-4.0.x-uri

rec backport: make URI integers 16 bits, fixes #5443

Merge pull request #5448 from mind04/rec-4.0.x

Rec 4.0.x: backport decaf signer

add ED448 to signers unit test

initial stab at signer testing; has one 8080 test vector for now

don't use the libdecaf ed25519 signer when libsodium is enabled

hello decaf signers (ED25519 and ED448)
Testing algorithm 15: 'Decaf ED25519' ->'Decaf ED25519' -> 'Decaf ED25519' Signature & verify ok, signature 68usec, verify 93usec
Testing algorithm 16: 'Decaf ED448' ->'Decaf ED448' -> 'Decaf ED448' Signature & verify ok, signature 163usec, verify 252usec

make URI integers 16 bits, fixes #5443

Merge pull request #5411 from Habbie/4.0.x-5401

unbreak quoting; fixes #5401

Merge pull request #5424 from mind04/ed25519-r40

Backport of #5422 do not hash the message in the ed25519 signer

do not hash the message in the ed25519 signer

https://www.rfc-editor.org/errata_search.php?rfc=8080

This is a Native zone
Metadata items: None
Zone has NSEC semantics
keys:
ID = 1 (CSK), flags = 257, tag = 3613, algo = 15, bits = 256      Active ( ED25519 )
CSK DNSKEY = example.com. IN DNSKEY 257 3 15 l02Woi0iS8Aa25FQkUd9RMzZHJpBoRQwAQEX1SxZJA4= ; ( ED25519 )
DS = example.com. IN DS 3613 15 1 b2c63605467c4a40942b47a953e9c0d38f81083a ; ( SHA1 digest )
DS = example.com. IN DS 3613 15 2 3aa5ab37efce57f737fc1627013fee07bdf241bd10f3b1964ab55c78e79a304b ; ( SHA256 digest )
DS = example.com. IN DS 3613 15 4 89389da437fca8372e67359dfc0dd4428fa2615df6e31bc5501677dd068514fea5c4efaf82188530a8a1645d9d3ef884 ; ( SHA-384 digest )

DNSKEY and DS match

Merge pull request #5405 from rgacogne/rec40-disable-use-incoming-ecs

Backport #5402: rec: Disable use-incoming-edns-subnet by default

unbreak quoting; fixes #5401

rec: Disable use-incoming-edns-subnet by default

(cherry picked from commit a16c4536496ab0d3cf959bcb45e7a6cf41d02e3e)

Merge pull request #5392 from pieterlexis/rec-405-sync-boost-m4

Sync boost.m4 from master

Sync boost.m4 from master

Merge pull request #5355 from rgacogne/rec40-backport-4924-1988

rec-4.0.x: Backport #4924 and #4988

Merge pull request #5345 from shinsterneck/backport-5335-rec-4.0.x

Backport of #5335 to rec-4.0.x: configure.ac: corrects syntax error in test statement on existance of libcrypto_ecdsa

rec: Add `use-incoming-edns-subnet` to process and pass along ECS

If set, the recusor will process and pass along a received EDNS
Client Subnet to authoritative servers.
The ECS information will only be sent for netmasks and domains listed
in `edns-subnet-whitelist`, and will be truncated if the received scope
exceeds `ecs-ipv4-bits` for IPv4 or `ecs-ipv6-bits` for IPv6.
An incoming ECS source prefix-length of 0 can also be used to
request that no ECS value be sent to the authoritative servers,
in accordance with RFC7871.

(cherry picked from commit b40562da39e3be0dcf193163c386eef369dcc4af)

Correctly parse ECS with a source prefix-length value of 0

It means there is no address there, but the family and source
prefix-length values are still relevant. rfc7871 explicitly says
that the family SHOULD be set to the transport over which the query
is sent if source prefix-length is 0.
It also states that a source prefix-length means the client is
asking that no ECS value be sent.

(cherry picked from commit 53221eafae3fe410586daf98cca0df3d81ea344c)

add iputils.cc to remotebackend tests

(cherry picked from commit 4d541cb1bf211c1a707d34691ea0f3329be0bf1f)

link in iputils.o in places that need it now for truncation of netmask

(cherry picked from commit 4ba0ebc5fe17ea9263ade38d4e76b63072397296)

add ecs-ipv4-bits and ecs-ipv6-bits tunables for EDNS Client Subnet & document them. Split out ECS code from pdns_recursor.cc.

(cherry picked from commit 35695d184316e0686d1dc2d50ef4a4420bc95157)

make EDNS client subnet do some better logging on --trace

(cherry picked from commit 43f759413685af3cc06587c3631009eea3434396)

ComboAddress truncate() is assumed to never throw. Enforce this.

(cherry picked from commit 5b6099b2397c1b5a4789235ad5c06ac83ecfa818)

EDNS Client Subnet parser delivered 'over precise' netmasks, like 1.2.3.4/16. This might have caused problems, but at the very least looks odd. We truncate now.

(cherry picked from commit b85f49a0aa392d40f00e134708c2e12aa1231870)

corrects syntax error in test statement on existance of libcrypto_ecdsa

(cherry picked from commit 8189c881e5ebaa13f5f14d9345335d656bd34e43)

Use un-annotated tags for determining version

Merge pull request #5304 from pieterlexis/rec-405-backports

Recursor backports

Recursor 4.0.5: Backport #5319

rec: Only check the netmask for subnet specific cache entries

We used to check the netmask for all entries for a qname
if at least one of them was a subnet specific one. Since an empty
`Netmask` doesn't match anything, we would effectively ignore every
non subnet specific entries if we had at least one subnet specific
one.
This caused a very hard to reproduce issue with for example
f.root-servers.net that includes an EDNS Client Subnet option in its
answer for `NS .` if the query has an EDNS Client Subnet option.
This caused the recursor to cache a subnet specific entry for `NS .`.
When that entry expired, we retrieved and cached a non subnet specific
one, but that new one was ignored as long as the subnet specific
was not expunged from the cache.
Under certain circumstances that could cause a root refresh loop
using a lot of stack memory.

(cherry picked from commit 65fdd185f4930f685b87340d29535f40d8b52fb3)

Merge pull request #5324 from rgacogne/rec40-yahttp-backports

rec-4.0.x: YaHTTP: Sync with upstream changes

YaHTTP: Sync with upstream changes

Backport changes from upstream up to c5b83288a4c2f8ec07cb8cb7bd150f2210db67b6
"Add missing `YaHTTP::isdigit()`, fix locale-enabled versions"

Recursor 4.0.5: Backport #5318

when (re)priming the root, we do so with auth=0. We'll only set auth=1 after we have an answer from the roots. This however opens up a small race condition in which the root is expired (ttl=0), but still auth=1 in the cache. Our attempt to replace it with auth=0 dta fails at that point. This is probably due to some fencepost error somewhere. To not be subtle about this, explicitly nuke the root when we reprime.

(cherry picked from commit 0d032a66afe508cc86a25eef26fc9be0867a117e)

Recursor 4.0.5: Backport #5304

don't age the root - this was a mistranslation from 3.x to 4.x

(cherry picked from commit 03c09afecec7098a605a632606600bca2992dfaf)

Recursor 4.0.5: Backport #5312

we would attempt to protobuf log DNS questions without a set question and get exceptions over that

(cherry picked from commit da5bcd9d891418b9462c76fbc87fd7e18fa374c8)

Merge pull request #5300 from rgacogne/rec40-dnssec-cache-auth

Backport #5283: rec: Skip DNSSEC validation for cache hits from authoritative zones

Recursor 4.0.5: Backport #5265

rec: Add support for RPZ wildcarded target names

Recursor 4.0.5: Backport #5278

Always wrap DNSCryptoKeyEngine objects in a shared pointer

It's done almost everywhere, but not quite, and some of the paths
where it's not could leak if an exception is raised.
Also mark the overridden virtual methods with `override` to prevent
future mistakes.

(cherry picked from commit e69c2dac28d798813dd8e4a986c5045c63806ef0)

Recursor 4.0.5: Backport #5231

rec: Clear the RPZ NS IP table when clearing the policy

Be it the entire policy object or a single zone.

(cherry picked from commit 2ae5639865ca29aa0c7b722e55e9098b81627700)

Rcursor 4.0.5: Backport #5218

rec: Fix cache-only queries against a forward-zone

We used to pass the return code from `asyncresolve` directly to the
caller, leading the success code (1) to be interpreted as `RCode::FormErr`.

(cherry picked from commit 6148fa9731f6e4cef35243c8f35399d2b1e89215)

Recursor: Backport #5147

LuaWrapper: Allow embedded NULs in strings received from Lua

(cherry picked from commit 448990ab9bd7355f42ff8752a973aff20bdaf4e7)

Recursor 4.0.5: Backport #4912

Refuse to start with chroot set in a systemd env

Closes #4848

(cherry picked from commit 75336810381e4cdc25d0beab7c19abb910cea3ab)

Recursor 4.0.5: Backport #4877

issue #4579

(cherry picked from commit 28fe507d1acc3b4fe7b5669caac9f4bd4a516093)

Backport #4873 into Recursor 4.0.5

hook up ed25519 signer in the recursor

(cherry picked from commit d1b28475acae46cf39d2a883791953910b89ea67)

update Ed25519 algorithm number and mnemonic
http://www.iana.org/assignments/dns-sec-alg-numbers/dns-sec-alg-numbers.xhtml

(cherry picked from commit 9d3727e0471f132f0294d6944349eb6afb2ba2ab)