Merge pull request #5835 from rgacogne/rec-disable-validation-for-infra

rec: Disable validation for infra queries, validate entries from the negcache

rec: Place CacheEntry and CacheKey into a unique namespace

Merge pull request #5774 from ahupowerdns/our-latency-metric

Implement experimental metric tracking time spent within PowerDNS per query

also account for network latency when talking to hardcoded servers

remove whitespace

rec: Validate entries retrieved from the negcache if needed

This happens if validation was not requested during the first query
but is requested when we retrieve a negatively cached entry.
This is useful when running with dnssec=process, and also especially
so now that we don't validate infra queries anymore.

rec: Don't validate infrastructure queries

Also require authoritative answer when looking for a cut, since we
use `DS` queries and not `NS` queries anymore.

Merge pull request #5834 from rgacogne/rec-dont-cache-nsec3

rec: Don't directly store NSEC3 records in the positive cache

Merge pull request #5822 from mind04/ldap-timeout

auth: ldapbackend, use the timeout setting in the PowerLDAP class

add annotation to documentation, fix unrelated RST-warning

Merge pull request #5832 from rgacogne/travis-list-repos

Remove all custom repositories

Merge pull request #5833 from rgacogne/auth-add-key

auth: Fix Coverity warnings in apiZoneCryptokeysPOST and BindDomainInfo

Merge pull request #5625 from rgacogne/dnsdist-set-status-on-auto

dnsdist: Add an optional `status` parameter to `setAuto()`

Merge pull request #5686 from rgacogne/dnsdist-qps-action

dnsdist: Add missing QPSAction

Merge pull request #5836 from mind04/axfr-dnsname

auth: more DNSName in doAXFR()

Merge pull request #5777 from rgacogne/auth-signing-pipe-std-thread

 auth: Handle a signing pipe worker dying with work still pending

auth: more DNSName in doAXFR()

rec: Don't directly store NSEC3 records in the positive cache

auth: Make sure hadFileDirective is initialized in BindDomainInfo

It should be initialized after BindParser::commit() has been called,
but let's make sure it still is if this function is not called.
Reported by Coverity.

auth: Handle addKey() returning false in apiZoneCryptokeysPOST

Reported by Coverity.

auth: Fix Bind2Backend::addDomainKey return value without SQLite3

Since 82cc07611d23c5e815d8673ae070cf0e421351ad changed the return value
from an `int` to a `bool`, it would return `true` instead of `false`
when SQLite3 support was not available.

Remove all custom repositories

Merge pull request #5825 from pieterlexis/default-zsk-algorithm-empty-is-ok

Auth: Don't warn on empty default-{k,z}sk-algorithm

Merge pull request #5826 from pieterlexis/jpmens-issues-edition-2017

Fix some of the issues found by @jpmens

Merge pull request #5828 from pieterlexis/document-nits

Fix a bunch of documentation nits

Merge pull request #5779 from pieterlexis/api-rectify-version-2

Rectify zones via the API

API docs: "name" of a zone is read-only

docs: fix underline warning

doc: Document support named.conf statements

Closes #5790

docs: Document PGP keys used to sign tarballs

Closes #5635

docs: Describe RRSIG validity period a bit better

Closes #5714

Deduplicate and shorten API exception message

Add doRectify bool to DNSSECKeeper::rectifyZone()

This is added so the API can wrap an update to a zone's records *and*
DNSSEC info into a single transaction.

Reuse UeberBackend in DNSSECKeeper::rectifyZone()

But use a full UeberBackend when needed.

API: Fully boolify api_rectify

API: add rectify endpoint

API: Implement conditional rectification

This commit takes a lot of ideas and code from #3417 and subsequent
development and implements the following things:

 - Generate DNSSEC keys for a zone when "dnssec" is true in an API
   POST/PATCH for zones
 - Rectify DNSSEC zones after POST/PATCH when API-RECTIFY metadata is 1
 - Allow setting this metadata via the "api-rectify" param in a Zone
   object
 - Shows "nsec3param" and "nsec3narrow" in Zone API responses
 - Adds an "rrsets" request parameter for a zone to skip sending RRSets
   in the response (Closes #5712)

Closes #3417

Many thanks to Nils Wisiol (@nils-wisiol) for the initial
implementation.

Add checkNSEC3PARAM function

Move rectifyZone from pdnsutil to DNSSECKeeper

docs: document gpgsql default settings

Closes #5688

docs: Fix wrong description of webserver-address

Closes #5728

Fix a bunch of doc nits

Closes #5724

Merge pull request #5757 from mstathers/master

Update docs to reflect actual default database name.

Merge pull request #5740 from pieterlexis/lowercase-outgoing-all-the-things

rec: Lowercase all outgoing qnames when lowercase-outgoing is set

doc: Document that the bind-dnssec-db is not the normal gsqlite3 db

Closes #5785

BIND: reject zones without 'file' stanza

Closes #5786

Merge pull request #5824 from mind04/b-root

b.root renumbering, effective 2017-10-24

Merge pull request #5808 from rgacogne/rec-nsec-ent

rec: Check that the NSEC covers an ENT when looking for NODATA

docs: document 2 missing functions in pdnsutil.1

Closes #5784

pdnsutil: Check for domain before setting metadata

Closes #5787

Add test for lowercase-outgoing

Auth: Don't warn on empty default-{k,z}sk-algorithm

Closes #5809

Make lowercase-outgoing actually lowercase all q's

Before, we would only lowercase the original qname before handing it to
SyncRes. Now the asyncresolveWrapper lowercases if it has to behor
handing the qname to asyncresolve.

b.root renumbering, effective 2017-10-24

auth: ldapbackend, use the timeout setting in the PowerLDAP class

Merge pull request #5820 from rgacogne/auth-mysql-trunc

auth: Display the needed size when a MySQL result was truncated

Merge pull request #5815 from Habbie/presigned-soa-edit

ignore SOA-EDIT for PRESIGNED zones. Fixes #5814

auth: Display the needed size when a MySQL result was truncated

ignore SOA-EDIT for PRESIGNED zones. Fixes #5814

Merge pull request #5800 from zeha/spelling

rec_control manpage: fix spelling error found by lintian

Merge pull request #5801 from rgacogne/auth-tinydns-indent-mismatch

auth: Fix missing else braces in TinyDNSBackend::get()

Merge pull request #5802 from rgacogne/travis-encrypt-channel

Encrypt the IRC channel name so notifications are not sent for forks

rec: The NSEC next name should be different to prove an ENT

While it's not an issue in the current code because we checked
earlier that the NSEC covered the name, it might prevent an issue
if we reuse nsecProvesENT() later.

rec: Check that the NSEC covers an ENT when looking for NODATA

Otherwise we might consider that a NSEC record covers a name when it
does not.

Merge pull request #5803 from ahupowerdns/zero-exception

Fix throwing exceptions from MThreads, plus add unit tests

Merge pull request #5805 from ahupowerdns/mthread-contain-except

improve logging of errors in carbon & web services thread

It is 2017, also in README.md

Tone down errors a bit, remove ominous ": "

Merge pull request #5804 from Habbie/rec4.1a1-secpoll

add rec-4.1.0-alpha1 to secpoll

use BOOST_CHECK_THROW, link in boost_context.cc

improve logging of errors in carbon & web services thread

add two tests for MTasker, including catching an exception

if there was an mtasker waiter with no associated timeout, we would loop forever in MTasker::schedule()

Fix crash on older boost when receiving an exception from an MThread

for older boost fcontext versions, we would return a boolean that said 'we
caught an exception for you and stored it in ctx', but we would not actually
retrieve the origin ctx, and then blindly attempt to rethrow the exception
(not) stored in the ctx we did have, leading to a crash. We now send back the
actual ctx, and check it for a stored exception.

add rec-4.1.0-alpha1 to secpoll

auth: Fix missing else braces in TinyDNSBackend::get()

It doesn't look like an issue since there is a `continue` at the end
of the alternative, but this is a lot cleaner that way.

rec_control manpage: fix spelling error found by lintian

as expected, the 'delta' latency between time passed and time spent on network sometimes goes negative (because we use timers like that). Protect ourselves against messing up the stats when that happens (it is very rare, but it happened to me)

Merge pull request #5794 from Habbie/azerty

fix azerty typo

Merge pull request #5791 from Habbie/tinydns-bogus-reporting

tinydns: report broken content that causes errors

Merge pull request #5789 from ahupowerdns/warn-sqlite3-replace

add note on how you can't replace the sqlite3 database file while pow…

Merge pull request #5775 from MatusKysel/master

Remove preprocessor directives for older GCC versions

Merge pull request #5776 from aerique/feature/update-rec-changelog

Update the ChangeLog and secpoll for Recursor 4.1.0 RC1.

Encrypt the IRC channel name so notifications are not sent for forks

Update secpoll for recursor 4.1.0-rc1.

Update the ChangeLog for Recursor 4.1.0 RC1.

Merge pull request #5780 from pieterlexis/libsodium-detect-fix

Fix libsodium autodetect without libsodium

Merge pull request #5792 from rgacogne/web-socket-accept-nullptr

If accept() returns EAGAIN, Socket::accept() returns a null pointer

fix azerty typo

Merge pull request #5796 from rgacogne/travis-mongo-failure

Remove failing mongodb source from travis

Remove failing mongodb source from travis

tinydns: report broken content that causes errors

add note on how you can't replace the sqlite3 database file while powerdns is running. Also strenghten sqlite3 analyze remark.

If accept() returns EAGAIN, Socket::accept() returns a null pointer

Add libsodium change to the upgrade guides

Fix libsodium autodetect without libsodium

Found by @mind04

Merge pull request #5764 from pieterlexis/libsodium-auto-detect

autoconf: set --enable-libsodium to 'auto'

Merge pull request #5773 from rgacogne/rec-check-negative-rrsig-validity

rec: Don't negcache entries for longer than their RRSIG validity

Revert one of changed files

Implement experimental metric tracking time spent within PowerDNS per query

With this commit, PowerDNS provides metrics on the difference between the time spent waiting for authoritative servers, and the amount of time elapsed between arrival of query
and sending out the response. This metric should be seen as experimental until operational experience proves its relevance.