rec: Fix incomplete validation of cached entries

When an entry retrieved from the cache or the negative cache has
not been previously validated because the initial query did not
ask for validation, we only validate answers if the current zone
state was Secure. This is fine, but we also need to update the
state of the current query if the current zone is Insecure or Bogus,
even though we don't need to validate the records.

Merge pull request #5897 from aerique:feature/update-auth-4.1.0-rc2-changelog

Update ChangeLog and secpoll for auth-4.1.0-rc2.

Merge pull request #5810 from pieterlexis/b2b-migrate-bind-fixes

BIND backend: Several improvements for b2b-migrate

Merge pull request #5838 from mind04/axfr-presigned

auth: stop doing individual RRSIG queries during outbound AXFR

Merge pull request #5893 from pieterlexis/auth-41-logwarn-algo-5-7

auth: Warn about algo 5 -> 7 upgrade in log

Merge pull request #5498 from rgacogne/botan-2

Add support for Botan 2.x

Merge pull request #5877 from rgacogne/rec-nsip-speed-tracking

rec: Sort NS addresses by speed, remove old ones

fix issue where we would submit nameserver performance stats for an empty DNSName for authoritative zones, which would trip up dump-nsstats. Fixed it in depth.
Also added some error messages in case dump-nsspeeds ever throws an exception again.

auth: stop doing individual RRSIG queries during outbound AXFR

auth: Warn about algo 5 -> 7 upgrade in log

One step toward #3267

Merge pull request #5892 from pieterlexis/make-travis-happy

Make travis happy

make travis happy

(cherry picked from commit 664135769af13364a4de0ed9e3efc6cd281a52b2)

Merge pull request #5890 from aerique/bugfix/bump-soa

Bump SOA record for rec-4.1.0-rc2.

Bump SOA record for rec-4.1.0-rc2.

We (I) forgot to bump the SOA record when adding the info for
rec-4.1.0-rc2.

Fixes #5887.

Merge pull request #5880 from dmccombs/ipbindaddrnoport

Add configuration option to disable IP_BIND_ADDRESS_NO_PORT.

Update ipBindAddrNoPort documentation to include default value.

Add configuration option to disable IP_BIND_ADDRESS_NO_PORT.

Merge pull request #5878 from aerique/feature/fix-release-date

Fix release date.

Fix release date.

rec: Sort NS addresses by speed, remove old ones

We used to not sort the different addresses we had for a given NS
by speed, only taking care of placing the first one in front.
However we also didn't remove existing entries for a given NS,
meaning that if a given IP stopped being advertised it would stay
in our NS speeds map and keep being used to determine the fastest
NS, even if we would only send queries to the new IPs after the
selection. Since we didn't send any query to the old IP anymore,
its latency would only keep decaying meaning the computed latency
of the corresponding NS would only keep decreasing, completely
uncorrelated from its real latency.

This commit removes old entries from the NS speeds map if they are
no longer present when we refresh the addresses of a given NS.
In addition, it orders all NS IPs by decaying latency, meaning new
ones will have a fair chance of being picked up.

Merge pull request #5869 from aerique:feature/update-rec-changelog

Update the ChangeLog and secpoll for Recursor 4.1.0 RC2.

Merge pull request #5799 from rgacogne/rec-shadow-variables

Fix shadowed variables

Merge pull request #5871 from zeha/gsqldocs

Sync gmysql/gpgsql default settings and docs

Merge pull request #5872 from mnordhoff/set-nsec3_-

Document pdnsutil set-nsec3 with no salt ("1 0 0 -")

Merge pull request #5873 from ahupowerdns/rootdns-init-order

With this commit, the root-anchor provisioning machinery no longer uses g_rootdnsname

With this commit, the root-anchor provisioning machinery no longer uses g_rootdnsname which might not yet have been initialized. This broke DNSSEC validation with -flto.

Merge pull request #5860 from rgacogne/dnsdist-tee-action-fix

dnsdist: Fix TeeAction() with EDNS Client Subnet

fix typo in docs

Document pdnsutil set-nsec3 with no salt ("1 0 0 -")

Sync gmysql/gpgsql default settings and docs

Merge branch 'master' into botan-2

Merge pull request #4 from mind04/botan

Drop botan 1.x support

Merge pull request #5868 from rgacogne/rec-denial-fixes

rec: Fix validation of denial proofs

Fix case-sensitive comparison in DNSName::getCommonLabels()

Merge pull request #5858 from rgacogne/sodium-cflags

Use libsodium's CFLAGS, we might need them to find the includes

Merge pull request #5762 from pieterlexis/5439-initscript-socket-dir

Rec: create socket-dir from init-script

rec: Fix validation of denial proofs

Merge pull request #5866 from zeha/help

dnsdist: accept help for help()

Merge pull request #5847 from rgacogne/dnsdist-client-remote-logger

dnsdist: Don't create a Remote Logger in client mode

Merge pull request #5865 from zeha/clientdoc

dnsdist: fix console connection guide

Merge pull request #5863 from zeha/getShowBind

dnsdist: showBind, getBind console improvements

Merge pull request #5864 from zeha/noresponse

dnsdist: Fix log message in no-downstream-server case

dnsdist: accept help for help()

dnsdist: fix ports used in console guide

dnsdist: fix client key option in console guide

dnsdist: avoid crash when printing nullptr retvals

dnsdist: make getBind() retval printable

dnsdist: Fix log message in no-downstream-server case

dnsdist: print WrongTypeException details in local console, too

dnsdist: Add showBinds, getBind to completion/help

Merge pull request #5837 from jpmens/patch-3

fix markup for warning

Merge pull request #5846 from RvdE/patch-1

Update compiling.rst

Merge pull request #5848 from ffledgling/api-server-doc-fix

Add missing config option in HTTP API docs

Merge pull request #5851 from jpmens/patch-4

Attempt to clarify use of TSIG key and ALLOW-DNSUPDATE-FROM

Merge pull request #5852 from jpmens/patch-5

Show use of pdnsutil generate-tsig-key

Merge pull request #5856 from jpmens/patch-6

dnsupdate default for allow-dnsupdate-from

Merge pull request #5857 from jpmens/patch-7

docs: clarify settings for allow-dnsupdate-from

dnsdist: Fix TeeAction() with EDNS Client Subnet

Since 0beaa5c825059986d3ce108a4bd2578a08d6d1d0 we checked the space
available against the current length, instead of the real capacity,
resulting in the query being dropped because it looked like there
was not enough room to add the ECS value.

Merge pull request #5842 from pieterlexis/log-timestamps

4.1 polish: Add log-timestamp option

Use libsodium's CFLAGS, we might need them to find the includes

Update dnsupdate.rst

Update settings.rst

docs: clarify settings for allow-dnsupdate-from

dnsupdate default for allow-dnsupdate-from

replace depricated botan.h include

drop botan 1.x support

Show use of pdnsutil generate-tsig-key

Attempt to clarify use of TSIG key and ALLOW-DNSUPDATE-FROM

Clarify association between use of TSIG key and ALLOW-DNSUPDATE-FROM. Previous description sounded like AND

Add missing config option in API docs

- Add `api=yes` required to enable API
- Change ports in examples from 8082 to 8081 to reflect default port in
  configs for Authoritative DNS

dnsdist: Don't create a Remote Logger in client mode

Update compiling.rst

 fix libdecaf configure option (was probably copied from the libsodium paragraph)

Merge pull request #5835 from rgacogne/rec-disable-validation-for-infra

rec: Disable validation for infra queries, validate entries from the negcache

rec: Place CacheEntry and CacheKey into a unique namespace

Merge pull request #5774 from ahupowerdns/our-latency-metric

Implement experimental metric tracking time spent within PowerDNS per query

also account for network latency when talking to hardcoded servers

remove whitespace

rec: Validate entries retrieved from the negcache if needed

This happens if validation was not requested during the first query
but is requested when we retrieve a negatively cached entry.
This is useful when running with dnssec=process, and also especially
so now that we don't validate infra queries anymore.

rec: Don't validate infrastructure queries

Also require authoritative answer when looking for a cut, since we
use `DS` queries and not `NS` queries anymore.

Add log-timestamp option

This option can be used to disable printing timestamps to stdout, this
is useful when using systemd-journald or another supervisor that
timestamps stdout by itself. As the logs will not have 2 timestamps.

Merge pull request #5834 from rgacogne/rec-dont-cache-nsec3

rec: Don't directly store NSEC3 records in the positive cache

BIND: re-instate also-notify behaviour

@mind04 noticed the behaviour introduced in bc67ec22 was not the same as
before.

Merge pull request #5822 from mind04/ldap-timeout

auth: ldapbackend, use the timeout setting in the PowerLDAP class

add annotation to documentation, fix unrelated RST-warning

Merge pull request #5832 from rgacogne/travis-list-repos

Remove all custom repositories

Fix a shadowed variable wrt EINTR handling in isTCPSocketUsable()

This would have prevented us from looping as long as we keep getting
interrupted.
Reported by GCC with -Wshadow enabled.

rec: Don't shadow variables

Merge pull request #5833 from rgacogne/auth-add-key

auth: Fix Coverity warnings in apiZoneCryptokeysPOST and BindDomainInfo

Merge pull request #5625 from rgacogne/dnsdist-set-status-on-auto

dnsdist: Add an optional `status` parameter to `setAuto()`

Merge pull request #5686 from rgacogne/dnsdist-qps-action

dnsdist: Add missing QPSAction

Merge pull request #5836 from mind04/axfr-dnsname

auth: more DNSName in doAXFR()

Merge pull request #5777 from rgacogne/auth-signing-pipe-std-thread

 auth: Handle a signing pipe worker dying with work still pending

fix markup for warning

auth: more DNSName in doAXFR()

rec: Don't directly store NSEC3 records in the positive cache

auth: Make sure hadFileDirective is initialized in BindDomainInfo

It should be initialized after BindParser::commit() has been called,
but let's make sure it still is if this function is not called.
Reported by Coverity.

auth: Handle addKey() returning false in apiZoneCryptokeysPOST

Reported by Coverity.

auth: Fix Bind2Backend::addDomainKey return value without SQLite3

Since 82cc07611d23c5e815d8673ae070cf0e421351ad changed the return value
from an `int` to a `bool`, it would return `true` instead of `false`
when SQLite3 support was not available.

Remove all custom repositories

Merge pull request #5825 from pieterlexis/default-zsk-algorithm-empty-is-ok

Auth: Don't warn on empty default-{k,z}sk-algorithm

Merge pull request #5826 from pieterlexis/jpmens-issues-edition-2017

Fix some of the issues found by @jpmens