Merge pull request #5836 from mind04/axfr-dnsname

auth: more DNSName in doAXFR()

Merge pull request #5777 from rgacogne/auth-signing-pipe-std-thread

 auth: Handle a signing pipe worker dying with work still pending

auth: more DNSName in doAXFR()

Merge pull request #5825 from pieterlexis/default-zsk-algorithm-empty-is-ok

Auth: Don't warn on empty default-{k,z}sk-algorithm

Merge pull request #5826 from pieterlexis/jpmens-issues-edition-2017

Fix some of the issues found by @jpmens

Merge pull request #5828 from pieterlexis/document-nits

Fix a bunch of documentation nits

Merge pull request #5779 from pieterlexis/api-rectify-version-2

Rectify zones via the API

API docs: "name" of a zone is read-only

docs: fix underline warning

doc: Document support named.conf statements

Closes #5790

docs: Document PGP keys used to sign tarballs

Closes #5635

docs: Describe RRSIG validity period a bit better

Closes #5714

Deduplicate and shorten API exception message

Add doRectify bool to DNSSECKeeper::rectifyZone()

This is added so the API can wrap an update to a zone's records *and*
DNSSEC info into a single transaction.

Reuse UeberBackend in DNSSECKeeper::rectifyZone()

But use a full UeberBackend when needed.

API: Fully boolify api_rectify

API: add rectify endpoint

API: Implement conditional rectification

This commit takes a lot of ideas and code from #3417 and subsequent
development and implements the following things:

 - Generate DNSSEC keys for a zone when "dnssec" is true in an API
   POST/PATCH for zones
 - Rectify DNSSEC zones after POST/PATCH when API-RECTIFY metadata is 1
 - Allow setting this metadata via the "api-rectify" param in a Zone
   object
 - Shows "nsec3param" and "nsec3narrow" in Zone API responses
 - Adds an "rrsets" request parameter for a zone to skip sending RRSets
   in the response (Closes #5712)

Closes #3417

Many thanks to Nils Wisiol (@nils-wisiol) for the initial
implementation.

Add checkNSEC3PARAM function

Move rectifyZone from pdnsutil to DNSSECKeeper

docs: document gpgsql default settings

Closes #5688

docs: Fix wrong description of webserver-address

Closes #5728

Fix a bunch of doc nits

Closes #5724

Merge pull request #5757 from mstathers/master

Update docs to reflect actual default database name.

Merge pull request #5740 from pieterlexis/lowercase-outgoing-all-the-things

rec: Lowercase all outgoing qnames when lowercase-outgoing is set

doc: Document that the bind-dnssec-db is not the normal gsqlite3 db

Closes #5785

BIND: reject zones without 'file' stanza

Closes #5786

Merge pull request #5824 from mind04/b-root

b.root renumbering, effective 2017-10-24

Merge pull request #5808 from rgacogne/rec-nsec-ent

rec: Check that the NSEC covers an ENT when looking for NODATA

docs: document 2 missing functions in pdnsutil.1

Closes #5784

pdnsutil: Check for domain before setting metadata

Closes #5787

Add test for lowercase-outgoing

Auth: Don't warn on empty default-{k,z}sk-algorithm

Closes #5809

Make lowercase-outgoing actually lowercase all q's

Before, we would only lowercase the original qname before handing it to
SyncRes. Now the asyncresolveWrapper lowercases if it has to behor
handing the qname to asyncresolve.

b.root renumbering, effective 2017-10-24

Merge pull request #5820 from rgacogne/auth-mysql-trunc

auth: Display the needed size when a MySQL result was truncated

Merge pull request #5815 from Habbie/presigned-soa-edit

ignore SOA-EDIT for PRESIGNED zones. Fixes #5814

auth: Display the needed size when a MySQL result was truncated

ignore SOA-EDIT for PRESIGNED zones. Fixes #5814

Merge pull request #5800 from zeha/spelling

rec_control manpage: fix spelling error found by lintian

Merge pull request #5801 from rgacogne/auth-tinydns-indent-mismatch

auth: Fix missing else braces in TinyDNSBackend::get()

Merge pull request #5802 from rgacogne/travis-encrypt-channel

Encrypt the IRC channel name so notifications are not sent for forks

rec: The NSEC next name should be different to prove an ENT

While it's not an issue in the current code because we checked
earlier that the NSEC covered the name, it might prevent an issue
if we reuse nsecProvesENT() later.

rec: Check that the NSEC covers an ENT when looking for NODATA

Otherwise we might consider that a NSEC record covers a name when it
does not.

Merge pull request #5803 from ahupowerdns/zero-exception

Fix throwing exceptions from MThreads, plus add unit tests

Merge pull request #5805 from ahupowerdns/mthread-contain-except

improve logging of errors in carbon & web services thread

It is 2017, also in README.md

Tone down errors a bit, remove ominous ": "

Merge pull request #5804 from Habbie/rec4.1a1-secpoll

add rec-4.1.0-alpha1 to secpoll

use BOOST_CHECK_THROW, link in boost_context.cc

improve logging of errors in carbon & web services thread

add two tests for MTasker, including catching an exception

if there was an mtasker waiter with no associated timeout, we would loop forever in MTasker::schedule()

Fix crash on older boost when receiving an exception from an MThread

for older boost fcontext versions, we would return a boolean that said 'we
caught an exception for you and stored it in ctx', but we would not actually
retrieve the origin ctx, and then blindly attempt to rethrow the exception
(not) stored in the ctx we did have, leading to a crash. We now send back the
actual ctx, and check it for a stored exception.

add rec-4.1.0-alpha1 to secpoll

auth: Fix missing else braces in TinyDNSBackend::get()

It doesn't look like an issue since there is a `continue` at the end
of the alternative, but this is a lot cleaner that way.

rec_control manpage: fix spelling error found by lintian

Merge pull request #5794 from Habbie/azerty

fix azerty typo

Merge pull request #5791 from Habbie/tinydns-bogus-reporting

tinydns: report broken content that causes errors

Merge pull request #5789 from ahupowerdns/warn-sqlite3-replace

add note on how you can't replace the sqlite3 database file while pow…

Merge pull request #5775 from MatusKysel/master

Remove preprocessor directives for older GCC versions

Merge pull request #5776 from aerique/feature/update-rec-changelog

Update the ChangeLog and secpoll for Recursor 4.1.0 RC1.

Encrypt the IRC channel name so notifications are not sent for forks

Update secpoll for recursor 4.1.0-rc1.

Update the ChangeLog for Recursor 4.1.0 RC1.

Merge pull request #5780 from pieterlexis/libsodium-detect-fix

Fix libsodium autodetect without libsodium

Merge pull request #5792 from rgacogne/web-socket-accept-nullptr

If accept() returns EAGAIN, Socket::accept() returns a null pointer

fix azerty typo

Merge pull request #5796 from rgacogne/travis-mongo-failure

Remove failing mongodb source from travis

Remove failing mongodb source from travis

tinydns: report broken content that causes errors

add note on how you can't replace the sqlite3 database file while powerdns is running. Also strenghten sqlite3 analyze remark.

If accept() returns EAGAIN, Socket::accept() returns a null pointer

Add libsodium change to the upgrade guides

Fix libsodium autodetect without libsodium

Found by @mind04

Merge pull request #5764 from pieterlexis/libsodium-auto-detect

autoconf: set --enable-libsodium to 'auto'

Merge pull request #5773 from rgacogne/rec-check-negative-rrsig-validity

rec: Don't negcache entries for longer than their RRSIG validity

Revert one of changed files

Cleanup or remove preprocessor directives for specific GCC versions #5158

rec: Don't negcache entries for longer than their RRSIG validity

auth: Handle signing pipe worker dying with work still pending

Merge pull request #5733 from rgacogne/test-vectors

Add DNSSEC test vectors for RSA, ECDSA, ed25519 and GOST

Merge pull request #5766 from rgacogne/auth-purge-query-cache-on-axfr

auth: Correctly purge entries from the caches after a transfer

Merge pull request #5771 from rgacogne/rec-ds-queries-cut

rec: For DS queries, only the cuts down to the parent matter

Merge pull request #5772 from rgacogne/rec-tc-authority

rec: Set TC=1 if we had to omit part of the AUTHORITY section

auth: Use std::thread instead of pthread in the signing pipe

rec: Set TC=1 if we had to omit part of the AUTHORITY section

The client might need them for validation purpose, for example, so
it needs to know the answer has been truncated.

auth: Purge the caches after a successful IXFR

auth: Purge entries from the query cache on an incoming AXFR

Since the QC/PC split up, we only removed entries for the AXFR'd
domain from the packet cache, not the query cache.

rec: For DS queries, only the cuts down to the parent matter

autoconf: set --enable-libsodium to 'auto'

This was 'no' before. As we (want to) use libsodium for dnsdist's
console *and* for ed25519 for the auth and the recursor, we might as wel
use it when we detect it.

This would a good change to have in auth 4.1, rec 4.1 and dndist 1.3,
currently on master.

Merge pull request #5756 from ahupowerdns/logimp2

Improve --quiet=false output for recursor to include DNSSEC and more timing details (the good version of this PR)

Improve --quiet=false output for recursor to include DNSSEC and more timing details
With this PR, pdns_recursor non-quiet logging shows DNSSEC status and adds time spent waiting for network, plus total time spent before answer was sent. This quantifies the internal overhead.

Merge pull request #5752 from rgacogne/rec-5716-follow-up

rec: Check that the owner name is part of the signer in getDenial

Merge pull request #5753 from rgacogne/rec-nxd-from-exact-auth-ds

rec: When looking for a DS, skip NXD if the auth matches the qname

Merge pull request #5755 from ahupowerdns/travis-bulk-improve

Improve dnsbulktest experience in travis for more robustness

we actually resolve 98% by new definition, so can affort upping threshold from 90 to 95%.

Update docs to reflect actual default database name.

Merge pull request #5744 from cmouse/remotebackend

remotebackend: Fix libjson11.la location to top_builddir

Improve dnsbulktest experience in travis for more robustness

This commit changes our dnsbulktest source from Alexa to Cisco Umbrella, but this turned out not to be as important as we thought.
In addition, it turns out we had been installing pdns-tools incorrectly because of wrong apt-settings. We now install pdns-tools from the master repo at repo.powerdns.com
This commit also tunes pdns_recursor to use less simultaneous outbound connections during testing, which appears to make Travis NAT happier, leading to less errors.
Finally, we use new features of dnsbulktest to extract more statistics for how well we are doing. Success is now dependent on errors and timeouts, and less on NXDOMAIN.