improve logging of errors in carbon & web services thread

Merge pull request #5794 from Habbie/azerty

fix azerty typo

Merge pull request #5791 from Habbie/tinydns-bogus-reporting

tinydns: report broken content that causes errors

Merge pull request #5789 from ahupowerdns/warn-sqlite3-replace

add note on how you can't replace the sqlite3 database file while pow…

Merge pull request #5775 from MatusKysel/master

Remove preprocessor directives for older GCC versions

Merge pull request #5776 from aerique/feature/update-rec-changelog

Update the ChangeLog and secpoll for Recursor 4.1.0 RC1.

Update secpoll for recursor 4.1.0-rc1.

Update the ChangeLog for Recursor 4.1.0 RC1.

Merge pull request #5780 from pieterlexis/libsodium-detect-fix

Fix libsodium autodetect without libsodium

Merge pull request #5792 from rgacogne/web-socket-accept-nullptr

If accept() returns EAGAIN, Socket::accept() returns a null pointer

fix azerty typo

Merge pull request #5796 from rgacogne/travis-mongo-failure

Remove failing mongodb source from travis

Remove failing mongodb source from travis

tinydns: report broken content that causes errors

add note on how you can't replace the sqlite3 database file while powerdns is running. Also strenghten sqlite3 analyze remark.

If accept() returns EAGAIN, Socket::accept() returns a null pointer

Add libsodium change to the upgrade guides

Fix libsodium autodetect without libsodium

Found by @mind04

Merge pull request #5764 from pieterlexis/libsodium-auto-detect

autoconf: set --enable-libsodium to 'auto'

Merge pull request #5773 from rgacogne/rec-check-negative-rrsig-validity

rec: Don't negcache entries for longer than their RRSIG validity

Revert one of changed files

Cleanup or remove preprocessor directives for specific GCC versions #5158

rec: Don't negcache entries for longer than their RRSIG validity

Merge pull request #5733 from rgacogne/test-vectors

Add DNSSEC test vectors for RSA, ECDSA, ed25519 and GOST

Merge pull request #5766 from rgacogne/auth-purge-query-cache-on-axfr

auth: Correctly purge entries from the caches after a transfer

Merge pull request #5771 from rgacogne/rec-ds-queries-cut

rec: For DS queries, only the cuts down to the parent matter

Merge pull request #5772 from rgacogne/rec-tc-authority

rec: Set TC=1 if we had to omit part of the AUTHORITY section

rec: Set TC=1 if we had to omit part of the AUTHORITY section

The client might need them for validation purpose, for example, so
it needs to know the answer has been truncated.

auth: Purge the caches after a successful IXFR

auth: Purge entries from the query cache on an incoming AXFR

Since the QC/PC split up, we only removed entries for the AXFR'd
domain from the packet cache, not the query cache.

rec: For DS queries, only the cuts down to the parent matter

autoconf: set --enable-libsodium to 'auto'

This was 'no' before. As we (want to) use libsodium for dnsdist's
console *and* for ed25519 for the auth and the recursor, we might as wel
use it when we detect it.

This would a good change to have in auth 4.1, rec 4.1 and dndist 1.3,
currently on master.

Merge pull request #5756 from ahupowerdns/logimp2

Improve --quiet=false output for recursor to include DNSSEC and more timing details (the good version of this PR)

Improve --quiet=false output for recursor to include DNSSEC and more timing details
With this PR, pdns_recursor non-quiet logging shows DNSSEC status and adds time spent waiting for network, plus total time spent before answer was sent. This quantifies the internal overhead.

Merge pull request #5752 from rgacogne/rec-5716-follow-up

rec: Check that the owner name is part of the signer in getDenial

Merge pull request #5753 from rgacogne/rec-nxd-from-exact-auth-ds

rec: When looking for a DS, skip NXD if the auth matches the qname

Merge pull request #5755 from ahupowerdns/travis-bulk-improve

Improve dnsbulktest experience in travis for more robustness

we actually resolve 98% by new definition, so can affort upping threshold from 90 to 95%.

Merge pull request #5744 from cmouse/remotebackend

remotebackend: Fix libjson11.la location to top_builddir

Improve dnsbulktest experience in travis for more robustness

This commit changes our dnsbulktest source from Alexa to Cisco Umbrella, but this turned out not to be as important as we thought.
In addition, it turns out we had been installing pdns-tools incorrectly because of wrong apt-settings. We now install pdns-tools from the master repo at repo.powerdns.com
This commit also tunes pdns_recursor to use less simultaneous outbound connections during testing, which appears to make Travis NAT happier, leading to less errors.
Finally, we use new features of dnsbulktest to extract more statistics for how well we are doing. Success is now dependent on errors and timeouts, and less on NXDOMAIN.

Merge pull request #5754 from ahupowerdns/dnsbulk-more-stats

Add more metrics to dnsbulktest -e output

Add more metrics to dnsbulktest -e output

With this commit, dnsbulktest writes out more statistics when invoked with -e. This enables more granular limits for determining build success in travis.

rec: When looking for a DS, skip NXD if the auth matches the qname

Merge pull request #5738 from rgacogne/rec-servfail-on-direct-rrsig-nsec3

rec: Do not allow direct queries for RRSIG or NSEC3

rec: Check that the owner name is part of the signer in getDenial

rec: De-duplicate handling of TA/NTA state from getDSRecords()

Merge pull request #5750 from ahupowerdns/dnsbulktest-no-www

add --www feature to dnsbulktest to make it (not) add www. to everything too

add --www feature to dnsbulktest to make it (not) add www. to everything too

Merge pull request #5716 from rgacogne/rec-cut-ds

rec: Detect zone cuts by asking for DS instead of NS

remotebackend: Fix libjson11.la location to top_builddir

Merge pull request #5699 from ahupowerdns/rec-dyn-cache-entries

implement dynamic cache sizeing for recursor

Merge pull request #5734 from rgacogne/auth-botan-pk-crash

auth: Fix a crash when getting a public GOST key if the private one is not set

Merge pull request #5739 from rgacogne/rec-policy-pass-truncate

rec: Remove pdns.PASS and pdns.TRUNCATE

Merge pull request #5576 from rgacogne/dnsdist-sharded-mmsg

dnsdist: Cache sharding, recvmmsg and CPU pinning support

rec: Remove pdns.PASS and pdns.TRUNCATE

Those values are not documented in a recursor context, and does not
work as expected since `pdns.PASS` resulted in an immediate `ServFail`
and `pdns.TRUNCATE` in a strange status code being sent (showing
up as `RESERVED13` in `dig`).

rec: Do not allow direct queries for RRSIG or NSEC3

Merge pull request #5723 from rgacogne/auth-bindbackend_dof

auth: Use a unique pointer for bind backend's `d_of`

Merge pull request #5732 from aerique/bugfix/5690-add-note-ldap-schema-update

Add note on updating LDAP schema.

Merge pull request #5715 from rgacogne/rec-direct-nsec

rec: Handle direct NSEC queries

Merge pull request #5722 from pieterlexis/issue-5721-publish-inactive-CDS-CDNSKEY

Auth: Publish inactive KSK/CSK as CDNSKEY/CDS

Add note on updating LDAP schema.

Merge pull request #5727 from rgacogne/dnsdist-doc-typo-qnamerule

dnsdist: Fix typo in the documentation QnameRule -> QNameRule

Merge pull request #5730 from aerique/bugfix/4703-handle-afsdb-record-separately

Unit test for AFSDB fix (PR #5667)

Add AFSDB record to unit.test. zone.

Merge pull request #5729 from aerique/bugfix/5719-pdnsutil-exports-ds-records

Remove printing of DS records from export-zone-dnskey.

Remove printing of DS records from export-zone-dnskey.

dnsdist: Fix typo in the documentation QnameRule -> QNameRule

Merge pull request #5725 from PowerDNS/rgacogne-dnsdist-nmg-doc

dnsdist: Fix NetmaskGroup NGM -> NMG typo in the doc

dnsdist: Fix NetmaskGroup NGM -> NMG typo in the doc

Add DNSSEC test vectors for RSA, ECDSA, ed25519 and GOST

Merge pull request #5718 from pieterlexis/print-log-after-fail

Print test suite log on failure when building packages

Merge pull request #5704 from pieterlexis/api-cryptokey-use-defaults

Auth DNSSEC: Make default options singular and use defaults in Cryptokey API-endpoint

auth: Fix a crash when getting a public GOST key if the private one is not set

auth: Use a unique pointer for bind backend's `d_of`

Auth: Publish inactive KSK/CSK as CDNSKEY/CDS

Closes #5721

rec: NS-consistency check is only when we expect an insecure delegation

Merge pull request #5702 from cmouse/update-fixes

bindbackend: Fix transaction to return false on failure

rec: Correctly handle a CNAME answer when looking for a DS

rec: Handle direct NSEC queries

Merge pull request #5710 from Habbie/secpoll-unquote

remove "" around secpoll result. Fixes #5692

rec: Skip looking for cuts once we are Insecure or Bogus, just (N)TA

rec: Detect zone cuts by asking for DS instead of NS

Merge pull request #5711 from ahupowerdns/dnsdist-proba

add ProbaRule to dnsdist: match with given probability

add ProbaRule to dnsdist: match with given probability

This adds a ProbaRule, ProbaRule(1.0) means 'match always', 0.1 '10%'. Useful for TeeAction.

Fix doc and message nits

rec: Separate the actual code checking if a cut exists for refactoring

remove "" around secpoll result. Fixes #5692

Merge pull request #5700 from Habbie/seperate

doc nit: s/seperate/separate/

Merge pull request #5706 from Habbie/man-virtualenv-fail

actually abort when virtualenv is missing. Fixes #5701

actually abort when virtualenv is missing. Fixes #5701

auth API: use default options for cryptokeys

auth: Warn on startup if default key size is req'd

auth: make default-{k,z}sk-algorithms singular

bindbackend: Add missing safeGetBBDomainInfo return value checks

bindbackend: Move throw to correct place in startTransaction

The cleanup code wasn't being executed due to premature throw

bindbackend: Return false if domain_id is negative

It should return false, because it has effectively failed.
Returning true can cause several problems later on as
various functions assume they have valid file handle pointer
and valid domain ID to look up, which they don't.

add dynamic cache size metrics & documentation

bindbackend: Return false if startTransaction fails

doc nit: s/seperate/separate/

so I had to fill out "did you compile and test this code" and I nearly lied. So I tried it and it sucked. Better now.