rec: Cache Secure validation state when inserting negcache entries

Fix a bug that prevented Secure negative cache entries to be marked
as such when they were first inserted, marking them as Indeterminate
instead. This would require us to validate them a second time for no
valid reason.

Merge pull request #5971 from rgacogne/rec-getdsrecords-erased-it

rec: Fix the use of a deleted iterator in SyncRes::getDSRecords()

rec: Fix the use of a deleted iterator in SyncRes::getDSRecords()

Merge pull request #5969 from giganteous/rec-correct-documentation-typo

Fix reference to the wrong product

Fix reference to the wrong product

Merge pull request #5965 from aerique:feature/update-rec-4.1.0-rc3-changelog

Update ChangeLog and secpoll for rec-4.1.0-rc3.

Merge pull request #5961 from jake2184/master

Edit configname definition to include the 'config-name' argument

Merge pull request #5955 from Habbie/macos-build

macOS build fixes

Merge pull request #5963 from aerique/bugfix/remove-5938-from-auth-docs

Remove #5938 from auth-4.1.0-rc3 ChangeLog.

Remove #5938 from auth-4.1.0-rc3 ChangeLog.

It was accidentally labeled as "auth" but was only for "rec".

Merge pull request #5962 from aerique:feature/update-auth-4.1.0-rc3-changelog

Update ChangeLog and secpoll for auth-4.1.0-rc3.

Merge pull request #5936 from pieterlexis/api-allow-deactivate-dnssec

API: Allow disabling DNSSEC

Merge pull request #5933 from pieterlexis/issue-5931-tsig-crash

Check return value for all getTSIGKey calls

Merge pull request #5943 from pieterlexis/pdnsutil-man-missing-command

document missing pdnsutil list-tsig-key command

Merge pull request #5949 from rgacogne/auth-5948

auth: Don't complain that glues are occluded by a delegation

Edit configname to include the 'config-name' argument

document libcrypto usage for recent macOS

recent Apple Xcode headers need this

reference: https://github.com/arvidn/libtorrent/issues/2364#issuecomment-336175406

auth: Don't complain that glues are occluded by a delegation

document missing pdnsutil list-tsig-key command

Merge pull request #5935 from pieterlexis/no-metadata-on-non-existent-zone

API: Throw exception in metadata endpoint w/ wrong zone

Merge pull request #5941 from jpmens/patch-8

mention API key required for access

mention API key required for access

Check return of getTSIGKey and B64Decode in the Slave Communicator

Check return of getTSIGKey and B64Decode in the TCPReceiver

Check return value of getTSIGKey and B64Decode

This would lead to crashes if the TSIG key was referenced in
TSIG-ALLOW-FROM but the key was not in the tsigkeys table.

Closes #5931

Merge pull request #5937 from rgacogne/rec-self-resolving-ns

rec: Allow the use of a 'self-resolving' NS if cached A/AAAA exists

Merge pull request #5939 from rgacogne/rec-forward-rd-cname

rec: Only accept types not matching the query if we asked for ANY

Merge pull request #5938 from rgacogne/rec-zero-threads

rec: Don't crash when asked to run with zero threads

rec: Only accept types not matching the query if we asked for ANY

Even from forward-recurse servers.

API: Allow disabling DNSSEC

Closes #5909
Closes #5910

rec: Allow the use of a 'self-resolving' NS if cached A/AAAA exists

We just have to take care not to try to contact that NS to learn
its own IP addresses, because that does not make sense.
Before this, we could skip a perfectly valid NS for which we had
retrieved the A and/or AAAA entries, for example via a glue.
Also get rid of a flawed calculation based on whether IPv6 was
enabled whereas we were only dealing with NS at this point.

Merge pull request #5879 from pieterlexis/issue-3059-check-zone-warn-eclipse

pdnsutil: Warn if records in a zone are eclipsed

Merge pull request #5924 from rgacogne/rec-cname-cache-validation

rec: Add unit tests for DNSSEC validation of cached CNAME answers

Merge pull request #5925 from wojas/recursor-cleanup-webui

rec: cleanup web UI

Merge pull request #5928 from rgacogne/auth-rectify-log-5903

auth: Add back missing output details to rectifyZone

API: Throw exception in metadata endpoint w/ wrong zone

Before, We would happily accept this POST

Merge pull request #5883 from pieterlexis/issue-5853-pdnsutil-clobber-metadata

pdnsutil: Add add-meta function

Merge pull request #5930 from ahupowerdns/secpoll-order-agnostic

in the recursor secpoll code, we ASSumed the TXT record would be the first record

catch all exceptions coming from secpoll, this was a regression of this PR

in the recursor secpoll code, we ASSumed the TXT record would be the first record we received. Sometimes it was the RRSIG, leading to a silent error, and no secpoll check. Fixed the assumption, added an error.

add missing Debian security poll status

rec: Don't crash when asked to run with zero threads

auth: Add back missing output details to rectifyZone

Merge pull request #5895 from rgacogne/rec-lua-validationstate

rec: Add the DNSSEC validation state to the DNSQuestion Lua object

Merge pull request #5926 from zeha/apidocrrset

API docs: reduce RRSets/Records confusion

Merge pull request #5917 from ahupowerdns/die-better

use _exit() when we really really want to exit, for example after a fatal error

Merge pull request #5921 from rgacogne/rec-secpoll-loop

rec: Don't retry security polling too often when it fails

Merge pull request #5911 from job/improve_error_readability

Add quotation chars to make erroneous end of line whitespace easier t…

Merge pull request #5616 from rgacogne/nmt-cleanup-from-weakforced

Better support for deleting entries in NetmaskTree and NetmaskGroup

Merge pull request #5881 from rgacogne/rec-edns-truncated-servfail

rec: Add EDNS to truncated, servfail answers

Merge pull request #5914 from rgacogne/dnsdist-tee-tests

dnsdist: Add regression tests for TeeAction

API docs: fix old field reference

API docs: rename Record -> RREntry to avoid confusion

rec: cleanup web UI

- Switch to Handlebars templating
- Slightly cleaner look
- Slightly cleaner and more mobile friendly HTML

rec: Add unit tests for DNSSEC validation of cached CNAME answers

rec: reformat web UI code

Reformat web UI code before refactoring.

rec: Don't retry security polling too often when it fails

Merge pull request #5912 from rgacogne/rec-too-many-nsec3-iterations

rec: Fix going Insecure on NSEC3 hashes with too many iterations

Merge pull request #5904 from rgacogne/rec-validate-cached-insecure

rec: Fix incomplete validation of cached entries

Merge pull request #5919 from jpmens/patch-9

typo

Update index.rst

Merge pull request #5918 from jpmens/patch-8

typo

typo

and two exits() should really be _exit() in distributor.hh too (fixed the other ones too for good measure)

use _exit() when we really really want to exit, for example after a fatal error. Stops is dying while we die.

dnsdist: Add regression tests for TeeAction

Merge pull request #5884 from pieterlexis/issue-5849-pdnsutil-generate-tsig-key-issues

pdnsutil: Fix messages created by generate-tsig-key

Merge pull request #5885 from rgacogne/rec-nodata-nsec-wildcard

rec: Split NODATA/NXDOMAIN NSEC wildcard denial proof of existence

Merge pull request #5876 from ahupowerdns/dnssec-ttl-log-improv

--trace logging with more details about trust anchors, plus ttl of auth data

Merge pull request #5889 from pieterlexis/rec-41-prevent-downgrade

Prevent possible downgrade attacks in the recursor

Merge pull request #5898 from pieterlexis/dnsdist-multi-instance

Add multi-instance unit file

Merge pull request #5901 from mind04/retry-once

auth: retry once is not an error condition.

rec: Fix going Insecure on NSEC3 hashes with too many iterations

Add quotation chars to make erroneous end of line whitespace easier to spot

Merge pull request #5905 from mind04/302

auth: use 302 redirects in the webserver for ringbuffer reset or resize

Merge pull request #5896 from rgacogne/rec-nsip-speed-purge-one

rec: Purge nsSpeeds entries even if we get less than 2 new entries

auth: use 302 redirects in the webserver for ringbuffer reset or resize

rec: Fix incomplete validation of cached entries

When an entry retrieved from the cache or the negative cache has
not been previously validated because the initial query did not
ask for validation, we only validate answers if the current zone
state was Secure. This is fine, but we also need to update the
state of the current query if the current zone is Insecure or Bogus,
even though we don't need to validate the records.

auth: retry once is not an error condition. this is just PowerDNS telling you 'hey something is wrong with my connection to the db server, let me fix this for you'

Merge pull request #5897 from aerique:feature/update-auth-4.1.0-rc2-changelog

Update ChangeLog and secpoll for auth-4.1.0-rc2.

Use new HAVE_BOTAN define

Add multi-instance unit file

Add tests for DS downgrade protection

Adds an ugly hack to be able to test private functions in the syncres as
well.

recursor: Prevent DNSSEC downgrade attacks

RFC 4509 section 3: "Validator implementations SHOULD ignore DS RR
containing SHA-1 digests if DS RRs with SHA-256 digests are present in the
DS RRset."

As SHA348 is specified as well, the spirit of the this line is "use the
best algorithm".

This also means that if a delegation has DS records for multiple keys
(and algos) and only a subset have stronger digests, we will discard the
DS records for the weaker digests.

rec: Remove unneeded speed variable

rec: Purge nsSpeeds entries even if we get less than 2 new entries

Merge pull request #5810 from pieterlexis/b2b-migrate-bind-fixes

BIND backend: Several improvements for b2b-migrate

Merge pull request #5838 from mind04/axfr-presigned

auth: stop doing individual RRSIG queries during outbound AXFR

rec: Add the DNSSEC validation state to the DNSQuestion Lua object

Merge pull request #5893 from pieterlexis/auth-41-logwarn-algo-5-7

auth: Warn about algo 5 -> 7 upgrade in log

Merge pull request #5498 from rgacogne/botan-2

Add support for Botan 2.x

Merge pull request #5877 from rgacogne/rec-nsip-speed-tracking

rec: Sort NS addresses by speed, remove old ones

fix issue where we would submit nameserver performance stats for an empty DNSName for authoritative zones, which would trip up dump-nsstats. Fixed it in depth.
Also added some error messages in case dump-nsspeeds ever throws an exception again.

auth: stop doing individual RRSIG queries during outbound AXFR

auth: Warn about algo 5 -> 7 upgrade in log

One step toward #3267

Merge pull request #5892 from pieterlexis/make-travis-happy

Make travis happy

make travis happy

(cherry picked from commit 664135769af13364a4de0ed9e3efc6cd281a52b2)

Merge pull request #5890 from aerique/bugfix/bump-soa

Bump SOA record for rec-4.1.0-rc2.

Bump SOA record for rec-4.1.0-rc2.

We (I) forgot to bump the SOA record when adding the info for
rec-4.1.0-rc2.

Fixes #5887.