also account for network latency when talking to hardcoded servers

remove whitespace

add annotation to documentation, fix unrelated RST-warning

as expected, the 'delta' latency between time passed and time spent on network sometimes goes negative (because we use timers like that). Protect ourselves against messing up the stats when that happens (it is very rare, but it happened to me)

Implement experimental metric tracking time spent within PowerDNS per query

With this commit, PowerDNS provides metrics on the difference between the time spent waiting for authoritative servers, and the amount of time elapsed between arrival of query
and sending out the response. This metric should be seen as experimental until operational experience proves its relevance.

Merge pull request #5733 from rgacogne/test-vectors

Add DNSSEC test vectors for RSA, ECDSA, ed25519 and GOST

Merge pull request #5766 from rgacogne/auth-purge-query-cache-on-axfr

auth: Correctly purge entries from the caches after a transfer

Merge pull request #5771 from rgacogne/rec-ds-queries-cut

rec: For DS queries, only the cuts down to the parent matter

Merge pull request #5772 from rgacogne/rec-tc-authority

rec: Set TC=1 if we had to omit part of the AUTHORITY section

rec: Set TC=1 if we had to omit part of the AUTHORITY section

The client might need them for validation purpose, for example, so
it needs to know the answer has been truncated.

auth: Purge the caches after a successful IXFR

auth: Purge entries from the query cache on an incoming AXFR

Since the QC/PC split up, we only removed entries for the AXFR'd
domain from the packet cache, not the query cache.

rec: For DS queries, only the cuts down to the parent matter

Merge pull request #5756 from ahupowerdns/logimp2

Improve --quiet=false output for recursor to include DNSSEC and more timing details (the good version of this PR)

Improve --quiet=false output for recursor to include DNSSEC and more timing details
With this PR, pdns_recursor non-quiet logging shows DNSSEC status and adds time spent waiting for network, plus total time spent before answer was sent. This quantifies the internal overhead.

Merge pull request #5752 from rgacogne/rec-5716-follow-up

rec: Check that the owner name is part of the signer in getDenial

Merge pull request #5753 from rgacogne/rec-nxd-from-exact-auth-ds

rec: When looking for a DS, skip NXD if the auth matches the qname

Merge pull request #5755 from ahupowerdns/travis-bulk-improve

Improve dnsbulktest experience in travis for more robustness

we actually resolve 98% by new definition, so can affort upping threshold from 90 to 95%.

Merge pull request #5744 from cmouse/remotebackend

remotebackend: Fix libjson11.la location to top_builddir

Improve dnsbulktest experience in travis for more robustness

This commit changes our dnsbulktest source from Alexa to Cisco Umbrella, but this turned out not to be as important as we thought.
In addition, it turns out we had been installing pdns-tools incorrectly because of wrong apt-settings. We now install pdns-tools from the master repo at repo.powerdns.com
This commit also tunes pdns_recursor to use less simultaneous outbound connections during testing, which appears to make Travis NAT happier, leading to less errors.
Finally, we use new features of dnsbulktest to extract more statistics for how well we are doing. Success is now dependent on errors and timeouts, and less on NXDOMAIN.

Merge pull request #5754 from ahupowerdns/dnsbulk-more-stats

Add more metrics to dnsbulktest -e output

Add more metrics to dnsbulktest -e output

With this commit, dnsbulktest writes out more statistics when invoked with -e. This enables more granular limits for determining build success in travis.

rec: When looking for a DS, skip NXD if the auth matches the qname

Merge pull request #5738 from rgacogne/rec-servfail-on-direct-rrsig-nsec3

rec: Do not allow direct queries for RRSIG or NSEC3

rec: Check that the owner name is part of the signer in getDenial

rec: De-duplicate handling of TA/NTA state from getDSRecords()

Merge pull request #5750 from ahupowerdns/dnsbulktest-no-www

add --www feature to dnsbulktest to make it (not) add www. to everything too

add --www feature to dnsbulktest to make it (not) add www. to everything too

Merge pull request #5716 from rgacogne/rec-cut-ds

rec: Detect zone cuts by asking for DS instead of NS

remotebackend: Fix libjson11.la location to top_builddir

Merge pull request #5699 from ahupowerdns/rec-dyn-cache-entries

implement dynamic cache sizeing for recursor

Merge pull request #5734 from rgacogne/auth-botan-pk-crash

auth: Fix a crash when getting a public GOST key if the private one is not set

Merge pull request #5739 from rgacogne/rec-policy-pass-truncate

rec: Remove pdns.PASS and pdns.TRUNCATE

Merge pull request #5576 from rgacogne/dnsdist-sharded-mmsg

dnsdist: Cache sharding, recvmmsg and CPU pinning support

rec: Remove pdns.PASS and pdns.TRUNCATE

Those values are not documented in a recursor context, and does not
work as expected since `pdns.PASS` resulted in an immediate `ServFail`
and `pdns.TRUNCATE` in a strange status code being sent (showing
up as `RESERVED13` in `dig`).

rec: Do not allow direct queries for RRSIG or NSEC3

Merge pull request #5723 from rgacogne/auth-bindbackend_dof

auth: Use a unique pointer for bind backend's `d_of`

Merge pull request #5732 from aerique/bugfix/5690-add-note-ldap-schema-update

Add note on updating LDAP schema.

Merge pull request #5715 from rgacogne/rec-direct-nsec

rec: Handle direct NSEC queries

Merge pull request #5722 from pieterlexis/issue-5721-publish-inactive-CDS-CDNSKEY

Auth: Publish inactive KSK/CSK as CDNSKEY/CDS

Add note on updating LDAP schema.

Merge pull request #5727 from rgacogne/dnsdist-doc-typo-qnamerule

dnsdist: Fix typo in the documentation QnameRule -> QNameRule

Merge pull request #5730 from aerique/bugfix/4703-handle-afsdb-record-separately

Unit test for AFSDB fix (PR #5667)

Add AFSDB record to unit.test. zone.

Merge pull request #5729 from aerique/bugfix/5719-pdnsutil-exports-ds-records

Remove printing of DS records from export-zone-dnskey.

Remove printing of DS records from export-zone-dnskey.

dnsdist: Fix typo in the documentation QnameRule -> QNameRule

Merge pull request #5725 from PowerDNS/rgacogne-dnsdist-nmg-doc

dnsdist: Fix NetmaskGroup NGM -> NMG typo in the doc

dnsdist: Fix NetmaskGroup NGM -> NMG typo in the doc

Add DNSSEC test vectors for RSA, ECDSA, ed25519 and GOST

Merge pull request #5718 from pieterlexis/print-log-after-fail

Print test suite log on failure when building packages

Merge pull request #5704 from pieterlexis/api-cryptokey-use-defaults

Auth DNSSEC: Make default options singular and use defaults in Cryptokey API-endpoint

auth: Fix a crash when getting a public GOST key if the private one is not set

auth: Use a unique pointer for bind backend's `d_of`

Auth: Publish inactive KSK/CSK as CDNSKEY/CDS

Closes #5721

rec: NS-consistency check is only when we expect an insecure delegation

Merge pull request #5702 from cmouse/update-fixes

bindbackend: Fix transaction to return false on failure

rec: Correctly handle a CNAME answer when looking for a DS

rec: Handle direct NSEC queries

Merge pull request #5710 from Habbie/secpoll-unquote

remove "" around secpoll result. Fixes #5692

rec: Skip looking for cuts once we are Insecure or Bogus, just (N)TA

rec: Detect zone cuts by asking for DS instead of NS

Merge pull request #5711 from ahupowerdns/dnsdist-proba

add ProbaRule to dnsdist: match with given probability

add ProbaRule to dnsdist: match with given probability

This adds a ProbaRule, ProbaRule(1.0) means 'match always', 0.1 '10%'. Useful for TeeAction.

Fix doc and message nits

rec: Separate the actual code checking if a cut exists for refactoring

remove "" around secpoll result. Fixes #5692

Merge pull request #5700 from Habbie/seperate

doc nit: s/seperate/separate/

Merge pull request #5706 from Habbie/man-virtualenv-fail

actually abort when virtualenv is missing. Fixes #5701

actually abort when virtualenv is missing. Fixes #5701

auth API: use default options for cryptokeys

auth: Warn on startup if default key size is req'd

auth: make default-{k,z}sk-algorithms singular

bindbackend: Add missing safeGetBBDomainInfo return value checks

bindbackend: Move throw to correct place in startTransaction

The cleanup code wasn't being executed due to premature throw

bindbackend: Return false if domain_id is negative

It should return false, because it has effectively failed.
Returning true can cause several problems later on as
various functions assume they have valid file handle pointer
and valid domain ID to look up, which they don't.

add dynamic cache size metrics & documentation

bindbackend: Return false if startTransaction fails

doc nit: s/seperate/separate/

so I had to fill out "did you compile and test this code" and I nearly lied. So I tried it and it sucked. Better now.

implement dynamic cache sizeing for recursor

With this commit, the number of (packet)cache entries can be changed at runtime, although the effect may not be immediate in case of shrinking the cache.

Merge pull request #5696 from wojas/auth-api-patch-serial

auth api: return new serial in header after PATCH

pkgs: print test suite log on failure

auth api: also return old serial from PATCH

This adds the old serial as X-PDNS-Old-Serial and renames the header of
the new one to match.

The old serial is useful to verify that no other PATCH happened in the
meantime.

auth api: return new serial in header after PATCH

For zone PATCH requests, this adds a new `X-PDNS-Zone-Serial` response
header with the new zone serial.

Ideally this would be returned in a response JSON object, but this API
currently return 204 No Content and I did not want to break any clients
that might rely on this.

Merge pull request #5691 from pieterlexis/boost.m4-gcc-7.2

boost.m4: detect gcc 7.2

Merge pull request #5597 from pieterlexis/dnsdist-signed-unsigned-arm

dnsdist: Fix several signed/unsigned comparison warnings on ARM

Merge pull request #5659 from Habbie/gettag-docs

gettag doc nits

boost.m4: detect gcc 7.2

Merge pull request #5689 from Habbie/check-parts

verify parts.size(). Fixes #5688

explicitly warn when no hostname can be gathered

verify parts.size(). Fixes #5688

Merge pull request #5584 from eehakkin/ldapbackend/new-record-types

ldapbackend: Add support for new record types

Merge pull request #5678 from rgacogne/auth-requestor-payload

auth: Treat requestor's payload size lower than 512 as equal to 512

Merge pull request #5684 from Habbie/5673

be more specific about trailing dot handling, fixes #5673

Merge pull request #5666 from pieterlexis/doc-nits

Fix some doc nits

Merge pull request #5665 from pieterlexis/auth-enable-pkcs11

Enable PKCS#11 in authoritative packages

Merge pull request #5670 from rgacogne/rec-5648-root-denial

rec: Fix erroneous check for section 4.1 of rfc6840

Fix Zone object rendering