Merge pull request #5935 from pieterlexis/no-metadata-on-non-existent-zone

API: Throw exception in metadata endpoint w/ wrong zone

Merge pull request #5941 from jpmens/patch-8

mention API key required for access

mention API key required for access

Merge pull request #5937 from rgacogne/rec-self-resolving-ns

rec: Allow the use of a 'self-resolving' NS if cached A/AAAA exists

Merge pull request #5939 from rgacogne/rec-forward-rd-cname

rec: Only accept types not matching the query if we asked for ANY

Merge pull request #5938 from rgacogne/rec-zero-threads

rec: Don't crash when asked to run with zero threads

rec: Only accept types not matching the query if we asked for ANY

Even from forward-recurse servers.

rec: Allow the use of a 'self-resolving' NS if cached A/AAAA exists

We just have to take care not to try to contact that NS to learn
its own IP addresses, because that does not make sense.
Before this, we could skip a perfectly valid NS for which we had
retrieved the A and/or AAAA entries, for example via a glue.
Also get rid of a flawed calculation based on whether IPv6 was
enabled whereas we were only dealing with NS at this point.

Merge pull request #5879 from pieterlexis/issue-3059-check-zone-warn-eclipse

pdnsutil: Warn if records in a zone are eclipsed

Merge pull request #5924 from rgacogne/rec-cname-cache-validation

rec: Add unit tests for DNSSEC validation of cached CNAME answers

Merge pull request #5925 from wojas/recursor-cleanup-webui

rec: cleanup web UI

Merge pull request #5928 from rgacogne/auth-rectify-log-5903

auth: Add back missing output details to rectifyZone

API: Throw exception in metadata endpoint w/ wrong zone

Before, We would happily accept this POST

Merge pull request #5883 from pieterlexis/issue-5853-pdnsutil-clobber-metadata

pdnsutil: Add add-meta function

Merge pull request #5930 from ahupowerdns/secpoll-order-agnostic

in the recursor secpoll code, we ASSumed the TXT record would be the first record

catch all exceptions coming from secpoll, this was a regression of this PR

in the recursor secpoll code, we ASSumed the TXT record would be the first record we received. Sometimes it was the RRSIG, leading to a silent error, and no secpoll check. Fixed the assumption, added an error.

add missing Debian security poll status

rec: Don't crash when asked to run with zero threads

auth: Add back missing output details to rectifyZone

Merge pull request #5895 from rgacogne/rec-lua-validationstate

rec: Add the DNSSEC validation state to the DNSQuestion Lua object

Merge pull request #5926 from zeha/apidocrrset

API docs: reduce RRSets/Records confusion

Merge pull request #5917 from ahupowerdns/die-better

use _exit() when we really really want to exit, for example after a fatal error

Merge pull request #5921 from rgacogne/rec-secpoll-loop

rec: Don't retry security polling too often when it fails

Merge pull request #5911 from job/improve_error_readability

Add quotation chars to make erroneous end of line whitespace easier t…

Merge pull request #5616 from rgacogne/nmt-cleanup-from-weakforced

Better support for deleting entries in NetmaskTree and NetmaskGroup

Merge pull request #5881 from rgacogne/rec-edns-truncated-servfail

rec: Add EDNS to truncated, servfail answers

Merge pull request #5914 from rgacogne/dnsdist-tee-tests

dnsdist: Add regression tests for TeeAction

API docs: fix old field reference

API docs: rename Record -> RREntry to avoid confusion

rec: cleanup web UI

- Switch to Handlebars templating
- Slightly cleaner look
- Slightly cleaner and more mobile friendly HTML

rec: Add unit tests for DNSSEC validation of cached CNAME answers

rec: reformat web UI code

Reformat web UI code before refactoring.

rec: Don't retry security polling too often when it fails

Merge pull request #5912 from rgacogne/rec-too-many-nsec3-iterations

rec: Fix going Insecure on NSEC3 hashes with too many iterations

Merge pull request #5904 from rgacogne/rec-validate-cached-insecure

rec: Fix incomplete validation of cached entries

Merge pull request #5919 from jpmens/patch-9

typo

Update index.rst

Merge pull request #5918 from jpmens/patch-8

typo

typo

and two exits() should really be _exit() in distributor.hh too (fixed the other ones too for good measure)

use _exit() when we really really want to exit, for example after a fatal error. Stops is dying while we die.

dnsdist: Add regression tests for TeeAction

Merge pull request #5884 from pieterlexis/issue-5849-pdnsutil-generate-tsig-key-issues

pdnsutil: Fix messages created by generate-tsig-key

Merge pull request #5885 from rgacogne/rec-nodata-nsec-wildcard

rec: Split NODATA/NXDOMAIN NSEC wildcard denial proof of existence

Merge pull request #5876 from ahupowerdns/dnssec-ttl-log-improv

--trace logging with more details about trust anchors, plus ttl of auth data

Merge pull request #5889 from pieterlexis/rec-41-prevent-downgrade

Prevent possible downgrade attacks in the recursor

Merge pull request #5898 from pieterlexis/dnsdist-multi-instance

Add multi-instance unit file

Merge pull request #5901 from mind04/retry-once

auth: retry once is not an error condition.

rec: Fix going Insecure on NSEC3 hashes with too many iterations

Add quotation chars to make erroneous end of line whitespace easier to spot

Merge pull request #5905 from mind04/302

auth: use 302 redirects in the webserver for ringbuffer reset or resize

Merge pull request #5896 from rgacogne/rec-nsip-speed-purge-one

rec: Purge nsSpeeds entries even if we get less than 2 new entries

auth: use 302 redirects in the webserver for ringbuffer reset or resize

rec: Fix incomplete validation of cached entries

When an entry retrieved from the cache or the negative cache has
not been previously validated because the initial query did not
ask for validation, we only validate answers if the current zone
state was Secure. This is fine, but we also need to update the
state of the current query if the current zone is Insecure or Bogus,
even though we don't need to validate the records.

auth: retry once is not an error condition. this is just PowerDNS telling you 'hey something is wrong with my connection to the db server, let me fix this for you'

Merge pull request #5897 from aerique:feature/update-auth-4.1.0-rc2-changelog

Update ChangeLog and secpoll for auth-4.1.0-rc2.

Use new HAVE_BOTAN define

Add multi-instance unit file

Add tests for DS downgrade protection

Adds an ugly hack to be able to test private functions in the syncres as
well.

recursor: Prevent DNSSEC downgrade attacks

RFC 4509 section 3: "Validator implementations SHOULD ignore DS RR
containing SHA-1 digests if DS RRs with SHA-256 digests are present in the
DS RRset."

As SHA348 is specified as well, the spirit of the this line is "use the
best algorithm".

This also means that if a delegation has DS records for multiple keys
(and algos) and only a subset have stronger digests, we will discard the
DS records for the weaker digests.

rec: Remove unneeded speed variable

rec: Purge nsSpeeds entries even if we get less than 2 new entries

Merge pull request #5810 from pieterlexis/b2b-migrate-bind-fixes

BIND backend: Several improvements for b2b-migrate

Merge pull request #5838 from mind04/axfr-presigned

auth: stop doing individual RRSIG queries during outbound AXFR

rec: Add the DNSSEC validation state to the DNSQuestion Lua object

Merge pull request #5893 from pieterlexis/auth-41-logwarn-algo-5-7

auth: Warn about algo 5 -> 7 upgrade in log

Merge pull request #5498 from rgacogne/botan-2

Add support for Botan 2.x

Merge pull request #5877 from rgacogne/rec-nsip-speed-tracking

rec: Sort NS addresses by speed, remove old ones

fix issue where we would submit nameserver performance stats for an empty DNSName for authoritative zones, which would trip up dump-nsstats. Fixed it in depth.
Also added some error messages in case dump-nsspeeds ever throws an exception again.

auth: stop doing individual RRSIG queries during outbound AXFR

auth: Warn about algo 5 -> 7 upgrade in log

One step toward #3267

Merge pull request #5892 from pieterlexis/make-travis-happy

Make travis happy

make travis happy

(cherry picked from commit 664135769af13364a4de0ed9e3efc6cd281a52b2)

Merge pull request #5890 from aerique/bugfix/bump-soa

Bump SOA record for rec-4.1.0-rc2.

Bump SOA record for rec-4.1.0-rc2.

We (I) forgot to bump the SOA record when adding the info for
rec-4.1.0-rc2.

Fixes #5887.

rec: Split NODATA/NXDOMAIN NSEC wildcard denial proof of existence

Otherwise there is a very real risk that a NSEC will cover a more
specific wildcard and we end up with what looks like a NXDOMAIN
proof but is a NODATA one.

Merge pull request #5880 from dmccombs/ipbindaddrnoport

Add configuration option to disable IP_BIND_ADDRESS_NO_PORT.

pdnsutil: fix indenting in generate-tsig-key

pdnsutil: Fix messages for generate-tsig-key

Closes #5849

pdnsutil: Add add-meta function

Closes #5853

rec: Add EDNS to truncated, servfail answers

Update ipBindAddrNoPort documentation to include default value.

Add configuration option to disable IP_BIND_ADDRESS_NO_PORT.

pdnsutil: Support DNAME in occlusion check

Rename eclipsed to occluded.

Merge pull request #5878 from aerique/feature/fix-release-date

Fix release date.

Fix release date.

pdnsutil: Warn if records in a zone are eclipsed

Fixes #3059

rec: Sort NS addresses by speed, remove old ones

We used to not sort the different addresses we had for a given NS
by speed, only taking care of placing the first one in front.
However we also didn't remove existing entries for a given NS,
meaning that if a given IP stopped being advertised it would stay
in our NS speeds map and keep being used to determine the fastest
NS, even if we would only send queries to the new IPs after the
selection. Since we didn't send any query to the old IP anymore,
its latency would only keep decaying meaning the computed latency
of the corresponding NS would only keep decreasing, completely
uncorrelated from its real latency.

This commit removes old entries from the NS speeds map if they are
no longer present when we refresh the addresses of a given NS.
In addition, it orders all NS IPs by decaying latency, meaning new
ones will have a fair chance of being picked up.

Merge pull request #5869 from aerique:feature/update-rec-changelog

Update the ChangeLog and secpoll for Recursor 4.1.0 RC2.

--trace logging with more details about trust anchors, plus ttl of auth data
Print more details of trust anchors. In addition, the --trace output that mentions if data from authoritative servers gets accepted now also prints the TTL and clarifies the 'place' number previously printed.

Merge pull request #5799 from rgacogne/rec-shadow-variables

Fix shadowed variables

Merge pull request #5871 from zeha/gsqldocs

Sync gmysql/gpgsql default settings and docs

Merge pull request #5872 from mnordhoff/set-nsec3_-

Document pdnsutil set-nsec3 with no salt ("1 0 0 -")

Merge pull request #5873 from ahupowerdns/rootdns-init-order

With this commit, the root-anchor provisioning machinery no longer uses g_rootdnsname

With this commit, the root-anchor provisioning machinery no longer uses g_rootdnsname which might not yet have been initialized. This broke DNSSEC validation with -flto.

Merge pull request #5860 from rgacogne/dnsdist-tee-action-fix

dnsdist: Fix TeeAction() with EDNS Client Subnet

fix typo in docs

Document pdnsutil set-nsec3 with no salt ("1 0 0 -")

Sync gmysql/gpgsql default settings and docs