rec: Store additional records as non-auth, even on AA=1 answers

We used to store additional records in AA=1 answers as auth. In addition
to being wrong, it also broke DNSSEC validation if the record was stored
as Indeterminate because while we take care of not validating additional
records when processing an answer, we have no way of knowing in which
section a record was originally located when we retrieve it from the cache.
When an answer becomes too big to fit in the requester UDP payload,
rfc4035 allows the sender to keep records in the additional section
while omitting the corresponding RRSIGs, without setting the TC bit.

make notify.cc compile again

Merge pull request #5953 from pieterlexis/auth-405-rec-407-changelog

Add Authoritative Server 4.0.5 and Recursor 4.0.7 changelogs + secpoll

clarify that dnsdist latency averages are in microseconds

Merge pull request #5970 from 42wim/burst

dnsdist: Add burst option to MaxQPSIPRule

Update auth 4.0.5 and rec 4.0.7 changelogs with recent backports

Add secpoll for auth 4.0.5 and rec 4.0.7

Add Recursor 4.0.7 changelog

Add Authoritative Server 4.0.5 changelog

Merge pull request #5978 from rgacogne/rec-negcache-referral-to-unsigned

rec: Fix DNSSEC validation of DS denial from the negative cache

Merge pull request #5980 from rgacogne/rec-denial-validation-caching

rec: Cache Secure validation state when inserting negcache entries

Merge pull request #5964 from pieterlexis/api-crypto-key-consistency

API: Make the /cryptokeys endpoint consistently use CryptoKey objects

Merge pull request #5976 from Habbie/soa-unsetdnsname

report remote IP when SOA query comes back with empty question section

Merge pull request #5954 from pieterlexis/cherry-pick-script

Add two scripts: one to backport PRs and one to generate changelogs

Merge pull request #5972 from rgacogne/rec-dump-neg-status

rec: Dump the validation status of negcache entries, fix DNSSEC type

Merge pull request #5968 from pieterlexis/api-rectify-transaction

Fix hang when PATCHing zone during rectify

Merge pull request #5958 from pieterlexis/centos-7-ship-dnsdist-multi-instance

Packages: Ship dnsdist multi-instance files

Fix typo

rec: Cache Secure validation state when inserting negcache entries

Fix a bug that prevented Secure negative cache entries to be marked
as such when they were first inserted, marking them as Indeterminate
instead. This would require us to validate them a second time for no
valid reason.

rec: Fix DNSSEC validation of DS denial from the negative cache

There is two reasons you can get a proper DS denial:
* Secure to insecure cut, and if we are getting a referral with a
DS denial, we know that we have to check that the NS bit is set
as described in section 8.9 of rfc5155
* No zone cut inside a secure zone, and then of course the NS is
not set

When we retrieve the DS denial from the negative cache with a
validation status of Indeterminate, most likely because validation
was not enabled during the query that landed it in the cache, we
don't have enough data to know which case we are looking at, so
let's just skip the NS check.

report remote IP when SOA query comes back with empty question section

this improves the #5974 situation a bit

Merge pull request #5971 from rgacogne/rec-getdsrecords-erased-it

rec: Fix the use of a deleted iterator in SyncRes::getDSRecords()

rec: Fix the use of a deleted iterator in SyncRes::getDSRecords()

rec: Update the negcache's unit tests (validation status, DNSSEC type)

rec: Dump the correct NSEC record type for negative cache entries

rec: Add the validation status when dumping the negative cache

dnsdist: Add burst option to MaxQPSIPRule

Merge pull request #5969 from giganteous/rec-correct-documentation-typo

Fix reference to the wrong product

Fix reference to the wrong product

Merge pull request #5965 from aerique:feature/update-rec-4.1.0-rc3-changelog

Update ChangeLog and secpoll for rec-4.1.0-rc3.

Fix hang when PATCHing zone during rectify

Before, we would spawn a new UeberBackend in the DNSSECKeeper, but there
was already a transaction going on, so the rectify would never finish,
as rectifyZone would not return.

Merge pull request #5961 from jake2184/master

Edit configname definition to include the 'config-name' argument

Support csk in the cryptokey endpoint

Compare algorithm mnemonics case insensitive

Map DNSSEC algo-numbers and names 1:1

API: Make the /cryptokeys endpoint use CryptoKey objects

Add bits and algorithm to the CryptoKey object

Merge pull request #5955 from Habbie/macos-build

macOS build fixes

Merge pull request #5963 from aerique/bugfix/remove-5938-from-auth-docs

Remove #5938 from auth-4.1.0-rc3 ChangeLog.

Remove #5938 from auth-4.1.0-rc3 ChangeLog.

It was accidentally labeled as "auth" but was only for "rec".

Merge pull request #5962 from aerique:feature/update-auth-4.1.0-rc3-changelog

Update ChangeLog and secpoll for auth-4.1.0-rc3.

Merge pull request #5936 from pieterlexis/api-allow-deactivate-dnssec

API: Allow disabling DNSSEC

Merge pull request #5933 from pieterlexis/issue-5931-tsig-crash

Check return value for all getTSIGKey calls

Merge pull request #5943 from pieterlexis/pdnsutil-man-missing-command

document missing pdnsutil list-tsig-key command

Merge pull request #5949 from rgacogne/auth-5948

auth: Don't complain that glues are occluded by a delegation

Edit configname to include the 'config-name' argument

dnsdist: Ship multiple unit files in RPM

And run dnsdist as an unprivileged user.

dnsdist: Ship multiple unit files for debian

document libcrypto usage for recent macOS

recent Apple Xcode headers need this

reference: https://github.com/arvidn/libtorrent/issues/2364#issuecomment-336175406

Add script to generate changelogs

auth: Don't complain that glues are occluded by a delegation

document missing pdnsutil list-tsig-key command

Merge pull request #5935 from pieterlexis/no-metadata-on-non-existent-zone

API: Throw exception in metadata endpoint w/ wrong zone

Merge pull request #5941 from jpmens/patch-8

mention API key required for access

mention API key required for access

Check return of getTSIGKey and B64Decode in the Slave Communicator

Check return of getTSIGKey and B64Decode in the TCPReceiver

Check return value of getTSIGKey and B64Decode

This would lead to crashes if the TSIG key was referenced in
TSIG-ALLOW-FROM but the key was not in the tsigkeys table.

Closes #5931

Merge pull request #5937 from rgacogne/rec-self-resolving-ns

rec: Allow the use of a 'self-resolving' NS if cached A/AAAA exists

Merge pull request #5939 from rgacogne/rec-forward-rd-cname

rec: Only accept types not matching the query if we asked for ANY

Merge pull request #5938 from rgacogne/rec-zero-threads

rec: Don't crash when asked to run with zero threads

rec: Only accept types not matching the query if we asked for ANY

Even from forward-recurse servers.

API: Allow disabling DNSSEC

Closes #5909
Closes #5910

rec: Allow the use of a 'self-resolving' NS if cached A/AAAA exists

We just have to take care not to try to contact that NS to learn
its own IP addresses, because that does not make sense.
Before this, we could skip a perfectly valid NS for which we had
retrieved the A and/or AAAA entries, for example via a glue.
Also get rid of a flawed calculation based on whether IPv6 was
enabled whereas we were only dealing with NS at this point.

Merge pull request #5879 from pieterlexis/issue-3059-check-zone-warn-eclipse

pdnsutil: Warn if records in a zone are eclipsed

Merge pull request #5924 from rgacogne/rec-cname-cache-validation

rec: Add unit tests for DNSSEC validation of cached CNAME answers

Merge pull request #5925 from wojas/recursor-cleanup-webui

rec: cleanup web UI

Merge pull request #5928 from rgacogne/auth-rectify-log-5903

auth: Add back missing output details to rectifyZone

API: Throw exception in metadata endpoint w/ wrong zone

Before, We would happily accept this POST

Merge pull request #5883 from pieterlexis/issue-5853-pdnsutil-clobber-metadata

pdnsutil: Add add-meta function

Merge pull request #5930 from ahupowerdns/secpoll-order-agnostic

in the recursor secpoll code, we ASSumed the TXT record would be the first record

catch all exceptions coming from secpoll, this was a regression of this PR

in the recursor secpoll code, we ASSumed the TXT record would be the first record we received. Sometimes it was the RRSIG, leading to a silent error, and no secpoll check. Fixed the assumption, added an error.

add missing Debian security poll status

rec: Don't crash when asked to run with zero threads

auth: Add back missing output details to rectifyZone

Merge pull request #5895 from rgacogne/rec-lua-validationstate

rec: Add the DNSSEC validation state to the DNSQuestion Lua object

Merge pull request #5926 from zeha/apidocrrset

API docs: reduce RRSets/Records confusion

Merge pull request #5917 from ahupowerdns/die-better

use _exit() when we really really want to exit, for example after a fatal error

Merge pull request #5921 from rgacogne/rec-secpoll-loop

rec: Don't retry security polling too often when it fails

Add script to cherry-pick PR commits for backports

Merge pull request #5911 from job/improve_error_readability

Add quotation chars to make erroneous end of line whitespace easier t…

Merge pull request #5616 from rgacogne/nmt-cleanup-from-weakforced

Better support for deleting entries in NetmaskTree and NetmaskGroup

Merge pull request #5881 from rgacogne/rec-edns-truncated-servfail

rec: Add EDNS to truncated, servfail answers

Merge pull request #5914 from rgacogne/dnsdist-tee-tests

dnsdist: Add regression tests for TeeAction

API docs: fix old field reference

API docs: rename Record -> RREntry to avoid confusion

rec: cleanup web UI

- Switch to Handlebars templating
- Slightly cleaner look
- Slightly cleaner and more mobile friendly HTML

rec: Add unit tests for DNSSEC validation of cached CNAME answers

rec: reformat web UI code

Reformat web UI code before refactoring.

rec: Don't retry security polling too often when it fails

Merge pull request #5912 from rgacogne/rec-too-many-nsec3-iterations

rec: Fix going Insecure on NSEC3 hashes with too many iterations

Merge pull request #5904 from rgacogne/rec-validate-cached-insecure

rec: Fix incomplete validation of cached entries

Merge pull request #5919 from jpmens/patch-9

typo

Update index.rst

Merge pull request #5918 from jpmens/patch-8

typo

typo

and two exits() should really be _exit() in distributor.hh too (fixed the other ones too for good measure)

use _exit() when we really really want to exit, for example after a fatal error. Stops is dying while we die.

dnsdist: Add regression tests for TeeAction