rec: Don't cached merged answers from different sections in a single packet

We incorrectly merged answers for the same qname and qtype coming from
a single packet but from different sections when storing them in the
cache. It resulted in duplicates for the IP addresses of some NS, for
example.

Merge pull request #6037 from rgacogne/dnsdist-tags

dnsdist: Implement tag-based routing, add missing LuaAction and LuaResponseAction

Merge pull request #5929 from rgacogne/dnsdist-check-class

dnsdist: Add a class option to health checks

Merge pull request #6094 from rgacogne/dnsdist-outstanding-responder-exception

dnsdist: Fix the oustanding counter when an exception is raised

dnsdist: Fix a typo in the IDS outstanding counter comment

dnsdist: Fix the oustanding counter when an exception is raised

If an exception is raised in the responder thread after the outstanding
queries counter has been decremented, but before we could mark the
state as processed, the same state would be processed again and the
counter decremented a second time, either because of a duplicate
answer or more likely by the timeout handler.
This commit simply increase back the outstanding counter when such
an exception occurs.

Merge pull request #6065 from peterthomassen/patch-1

docs: API: clarify what happens if rrsets is empty

Merge pull request #6062 from pieterlexis/rec-centos6-piddir

Fix PIDDIR detection on CentOS 6

Merge pull request #6076 from pieterlexis/api-zone-endpoint-404

API: return 404 for non-existing zones

Merge pull request #6073 from zeha/one-unused

Quiet unused variable warning on macOS

Merge pull request #6077 from fobser/missing_include

Include unistd.h for chroot(2) et al.

Merge pull request #6085 from rgacogne/rec-skip-non-in

rec: Don't process records for another class than IN

Merge pull request #6086 from rgacogne/rec-test-time

rec: Use the SyncRes time in our unit tests when checking cache validity

rec: Use the SyncRes time in our unit tests when checking cache validity

This might not fix our apparently random failures, but it will at least
remove on possible cause.

Fix date in advisory 2017-08

Fix date in advisory 2017-08

Merge pull request #6084 from rgacogne/advisory-2017-08

Advisory 2017-08

Add advisory 2017-08

Merge pull request #6083 from aerique:feature/update-rec-4.0.x-changelog.

Update changelog and secpoll for rec-4.0.8.

Merge pull request #6072 from Habbie/dnsdist-inclientstartup

dnsdist: add inClientStartup() function

rec: Don't process records for another class than IN

Include unistd.h for chroot(2) et al.

API: return 404 for non-existing zones

This commit ensures that any request for a path inside a non-existing
zone returns an HTTP 404 code.

Closes #6074

Quiet unused variable warning on macOS

do not return true after startup is done

dnsdist: add inClientStartup() function

Merge pull request #6057 from zeha/combo-ipv6

Handle bracketed IPv6 addresses without ports

docs: API: clarify what happens if rrsets is empty

Merge pull request #6061 from rgacogne/docs-regression-tests-typos

Docs: Fix minor typos in the regression tests README

Fix PIDDIR detection on CentOS 6

Fixes #6051

Drop useless if branch

Merge pull request #6022 from rgacogne/dnsdist-api-pools-cache-hits

dnsdist: Add Pools, cacheHitResponseRules to the API

Docs: Fix minor typos in the regression tests README

Merge pull request #6058 from pieterlexis/docs-from-swagger

Auth: Generate API documentation based on swagger file

Merge pull request #6059 from cyclops1982/docfix

Small changes to docs that can help contributors

Merge pull request #6055 from rgacogne/rec-negcache-32

rec: Work around a RRSIG year-2038 issue in the negcache unit tests

Move debian-jessie notes to a less prominent place

Small notes on needed tools for tests

Auth: Generate API documentation based on swagger file

Handle bracketed IPv6 addresses without ports

dnsdist's newServer source parameter is documented to take values
of those forms (plus some more):
  - v4 address ("192.0.2.1")
  - v6 address ("2001:DB8::1")

For consistency, bracketed addresses should work too, and all of them
should have a test.

Some utils that debian-jessie has in docs

For building docs, virtualenv is needed.

rec: Work around a RRSIG year-2038 issue in the negcache unit tests

On 32-bit OS with a signed 32-bit `time_t`, we have a known issue with
dates later than 2038 in `RecordTextWriter::xfrTime()`. For now we will
just use an earlier date than 2038 in these tests since the date has no
relevance there.

Merge pull request #6012 from rgacogne/dnsdist-tcp-ka

dnsdist: Keep the TCP connection open on cache hit, generated answers

Merge pull request #6043 from rgacogne/dnsdist-fix-servers-order

dnsdist: Sort the servers based on their 'order' after it has been set

Merge pull request #5862 from ffledgling/5854-swagger-api

Add Draft of swagger spec for Authoritative Server HTTP API

Swagger: bump version

Swagger: update description

Merge pull request #6046 from pieterlexis/rec-40-EOL

Recursor: update EOL statements

Rename listCryptokey to getCryptokey

Merge pull request #6047 from RvdE/patch-2

Update recursion.rst

Merge pull request #6033 from pieterlexis/doc-updates

A collection of documentation updates

Merge pull request #5994 from zeha/macosnotes

Update/add macOS compilation notes

Recursor: Fix some manpage issues

Update recursion.rst

Fix newServer statements in the dnsdist config and fix duplicate sesion 4.

Recursor: update EOL statements

dnsdist: fix some manpage issues

docs: Fix the Authoritative Server manpages' intro

Also set the name to PowerDNS Authoritative Server.

docs: Document `newRemoteLogger` in dnsdist

Merge pull request #6017 from aerique:feature/update-rec-4.1.0-changelog.

Update changelog and secpoll for 4.1.0.

Merge pull request #6041 from rgacogne/mplexer-time

Add the missing <sys/time.h> include to mplexer.hh for struct timeval

dnsdist: Sort the servers based on their 'order' after it has been set

We keep the servers ordered inside their pools because it's easier
for the policies that way, so we sort them whenever a new one is
added. However we were doing the sorting _before_ the order of the
new server had been set, resulting in the last added server to be
sorted based on an order of 0, regardless of its actual order.
Reported by Frank Even (thanks!).

Add the missing <sys/time.h> include to mplexer.hh for struct timeval

dnsdist: Fix DNSResponse:dh Lua binding

dnsdist: Add missing LuaAction and LuaResponseAction

dnsdist: Add tag-based routing

Merge pull request #6023 from rgacogne/dnsdist-ebpf-doc

dnsdist: Add missing documentation about ClientState, eBPF dynamic filters

Merge pull request #5956 from job/priv_drop

Priv drop

Merge pull request #6034 from Habbie/ragel-path

centralise ragel check+remove .cc symlink

Merge pull request #6032 from rgacogne/rec-getrr-cleanup

rec: Use getRR<T>() instead of directly using a dynamic cast

remove spurious symlink

centralise ragel check

Merge pull request #6020 from rgacogne/auth-testrunner-log

Travis: Display the content of the logs when the auth unit tests fail

Merge pull request #6025 from pieterlexis/fix-changelog-blog-url

Fix 4.1.0 changelog blog url

Merge pull request #6026 from pieterlexis/update-EOL

[WIP] Update auth EOL statement on Auth

Merge pull request #6027 from rgacogne/rec-regression-tests-rpz-ttl

rec: Normalize the TTLs for default.example.net. in the RPZ tests

Merge pull request #6029 from Habbie/alias-nocompress

forbid label compression in ALIAS wire format

rec: Use getRR<T>() instead of directly using a dynamic cast

forbid label compression in ALIAS wire format

fixes #6028

Merge pull request #6024 from Habbie/builder-version

add preliminary pdns-builder support

add explicit 3.x statement, clarify we offer commercial support beyond EOL.

rec: Normalize the TTLs for default.example.net. in the RPZ tests

Since we ask for several records that are CNAME to default.example.net.
the TTL might have been decreased by the time we get to the last ones.
That's fine, the TTL we are interested in are for other records, so we
can just ignore the TTL for this exact record.

Fix 4.1.0 changelog blog url

add preliminary pdns-builder support

dnsdist: Add missing documentation about ClientState, eBPF dynamic filters

dnsdist: Add Pools, cacheHitResponseRules to the API

Merge pull request #6016 from aerique:feature/update-auth-4.1.0-changelog.

Update changelog and secpoll for 4.1.0.

Travis: Display the content of the logs when the auth unit tests fail

Merge pull request #6006 from rgacogne/nixu-5.3.4

rec: Sanitize values received from the API before writing them to the conf

Merge pull request #6011 from ahupowerdns/quote-server-id

quote server-id to hosts with - or . in their name get reported again

Merge pull request #6015 from Habbie/id.server

it's id.server, not server.id

nit

Merge pull request #6000 from rgacogne/rec-authzone-validation

rec: Skip validation (including cached entries) for auth zones

Merge pull request #6001 from zeha/secpoll-servfail

recursor secpoll: improve message on timeout

Merge pull request #6009 from rgacogne/rec-zone-part-signer

rec: When validating DNSKeys, the zone should be part of the signer

Merge pull request #6008 from rgacogne/ecdsa-error-leak

rec:  Don't leak when the loading a public ECDSA key fails

Merge pull request #6007 from rgacogne/auth-web-readonly-ops

auth: Deny cache flush, zone retrieve and notify if the API is RO

fix tab & {}

dnsdist: Keep the TCP connection open on cache hit, generated answers

We used to close the TCP connection right away on cases where that did
not make sense:
- on a cache hit
- on a self-generated answer
- on a servfail answer caused by the lack of usable downstream servers

We still close the TCP connections on drops, dynamic blocks, lack of
usable downstream servers without `setServFailWhenNoServer()` set,
invalid queries, network errors..

quote server-id. This stops us from breaking serving chaos txt id.server if your server has a dash or a dot or an underscore in its name.