Do full packet comparison in the packet caches in addition to the hash

(cherry picked from commit aab08a02344a66e14572cf63129d157d6e7ba8c9)

Add PoCs for the previous memory leak issue

(cherry picked from commit 05d5d55c2035d1845e7d3b0d62273e8a4177b358)

Allocate DNSRecord objects as smart pointers right away

(cherry picked from commit 1339125af5afe6d6ecfe0a500c5fdc76d790459d)

Merge pull request #7129 from Habbie/dnsdist-el6

dnsdist: fix rhel6 stop-on-upgrade issue

Merge pull request #7130 from Habbie/recursor-el6-no-protobuf

fix el6 recursor build by disabling protobuf support

Merge pull request #7133 from spirillen/patch-2

added the s to http to avoid redirect line 10

added the s to http to avoid redirect line 10

see subject

Merge pull request #7132 from spirillen/patch-1

Line #84 old link to doc

Line #84 old link to doc

as submitted in the issue #7131 the link for current documentation is outdated, this commit will update this issue

Merge pull request #7106 from dwfreed/fix-travis-python

Make travis use a modern python

fix el6 recursor build by disabling protobuf support

document el6 dnsdist restart bug

remove (broken) centos6 dnsdist init script

el6 dnsdist: on upgrade, restart instead of stop

Merge pull request #7127 from pieterlexis/pkg-fixes

Several packaging fixes

Merge pull request #7115 from rgacogne/dnsdist-secpoll

dnsdist: Add security polling

Merge pull request #7078 from rgacogne/dnsdist-creation-order

dnsdist: Add a 'creationOrder' field to rules

dnsdist: Remove useless call to gettimeofday() in the security poll

Merge pull request #7117 from chbruyand/dnsdist-webserver-creds

dnsdist: add ability to update webserver credentials

dnsdist: Correctly handle PACKAGEVERSION, check name in secpoll reply

Update dnsdist-lua.cc

dnsdist: refactor webserver config in a single table

Update test_API.py

dnsdist: add ability to update webserver credentials

dnsdist: Add security polling

Merge pull request #7094 from neilcook/udr

Unique DNS Responses

pkgs: prevent dpkg warnings

This removes several files that _might_ be on-disk from an older
package to prevent dpkg to stumble over them.

Closes #7066

Remove all Jenkins related stuff

Remove all old building files

builder: update

builder: Re-enable secpoll in packages

Closes #7105

Merge pull request #7109 from chbruyand/dnsdist-console-output-limit

dnsdist: add setConsoleOutputMaxMsgSize function

Merge pull request #7108 from rgacogne/dnsdist-tcp-smart

dnsdist: Wrap TCP connection objects in smart pointers

Merge pull request #7110 from chbruyand/dnsdist-docs-allow-from

dnsdist docs: update documentation on updating ACLs via the API

dnsdist docs: update documentation on updating ACLs via the API

dnsdist: add setConsoleOutputMaxMsgSize function to tune console output message maximum size

Merge pull request #7024 from cmouse/geoip-config

geoipbackend: Handle read error for config file

Merge pull request #7033 from pieterlexis/ubuntu-cosmic-pkgs

Add Ubuntu Cosmic Cuttlefish build target

Merge pull request #7043 from Habbie/el7-arm64

fixes for el7 on arm64

Merge pull request #7059 from pieterlexis/rec-read-dns-root-data

Recursor: Allow reading root DNSSEC keys from file

Merge pull request #7074 from rgacogne/auth-py-regression-tests-log

auth: Print the content of pdns.log when the regression tests fail

Merge pull request #7075 from rgacogne/dnsdist-dynblock-nxd

dnsdist: Support the NXDomain action with dynamic blocks

Document NOD and UDR policy tag configuration

Support for protobuf policy tags for NOD and UDR

- Add configurable policy tags if NOD or UDR are detected
- Remove the tags before committing to the packet cache

New methods to add and remove individual policy tags

dnsdist: Wrap TCP connection objects in smart pointers

Merge pull request #7086 from jsoref/rm-pandoc

Removing pandoc remnants

Merge pull request #7104 from chbruyand/arm-32bits-warn

Fix format string issue on 32bits arm

Merge pull request #7103 from rgacogne/rec-smart-dnscombowriter

rec: Wrap our DNSComboWriter objects in smart pointers

Make travis use a modern python

fix string format issue on 32bits arm

Update settings documentation:

- New Unique DNS Response documentation
- Update and improve NOD documentation

Fix code-review issues:

- Indentation (tabs vs spaces, grr)
- Don't make NOD detection dependent on protobuf being enabled

Account for the fact that udr and nod flags are optional in protobuf

Remove the NOD and UDR info from Protobuf *before* adding to packet cache

Make SBF size configurable

Add thread ID to snapshotCurrent()

Add UDR Tracking and refactor NOD support

- New Unique DNS Response tracking (tracks triplet of (qname, qtype, RR))
- Move NOD checks so that the results appear in protobuf
- Add NOD and UDR to protobuf messages
- Clear NOD and UDR flags for protobuf messsages from packet cache

Update ProtobufLogger.py with info from new NOD and UDR flags

Add NOD and UDR to Protobuf Logs

- Add newly observed domain flag to DNS Message protobuf definition
- Add unique dns response flag to RRs in DNS Message Response definition
- Utility methods to manipulate new flags in Protobuf messages

Refactor NOD code

- Move core Persistent Stable Bloom Filter code into a separate class
- Create new class for handling Unique DNS Responses (UDR)
- Make threadID consistent by requiring it's passed to housekeeping method

more nit

Merge pull request #7098 from Habbie/builder-amazon2

add support for building Amazon Linux 2 packages

Merge pull request #7093 from pieterlexis/el6-post-inst-issue

Fix el6 post install issue with auth

add support for building Amazon Linux 2 packages

nit

undo merge damage

build dnsdist on el7/arm64

build rec on el7/arm64; remove comment

build auth on el7/arm64

Merge pull request #7083 from Privex/patch-privex-docs1

Documentation for Reverse DNS functions, using Lua with generic SQL, plus README improvements

Merge pull request #7092 from rgacogne/dnsdist-tribool-fix

dnsdist: Fix return-type detection with boost 1.69's tribool

Merge pull request #7095 from rgacogne/dnsdist-api-tests-acl-order

dnsdist: Nodes in NMG are now ordered, fix the API regression tests

Document incompatibility between loading TAs from disk and runtime managemen

Merge pull request #7069 from rgacogne/openssl-signer-smart

Use unique pointers in the OpenSSL signer

dnsdist: Nodes in NMG are now ordered, fix the API regression tests

rec: Wrap our DNSComboWriter objects in smart pointers

Merge pull request #7085 from pieterlexis/debian-pkg-fixes

Several Debian pkg fixes

Fix el6 post install issue with auth

dnsdist: Fix return-type detection with boost 1.69's tribool

Merge pull request #7089 from pieterlexis/dnsdist-stats-add-help

dnsdist: Add HELP and TYPE for dnsdist_server_ stats

dnsdist: Add HELP and TYPE for dnsdist_server_ stats

Removing pandoc remnants

re-add licence files to dnsdist and rec tarball

Fixes #7082

pkgs: remove ixfrdist.service from pdns-server package

Packages needed for Ubuntu 18.04 + how to build sphinx docs

Other small clean ups, such as adding a link to the list of modules
and correcting the "compiling powerdns" link to point to the 4.1 docs

Added section on using Lua records with generic SQL

Various small corrections for reverse DNS functions

Create sections for reverse DNS functions

Documentation + examples for:
 - createReverse
 - createForward
 - createReverse6
 - createForward6

Plus minor changes for  'closest' to 'pickclosest'

Selector is 'pickclosest' not 'closest'

dnsdist: Add a 'creationOrder' field to rules

Merge pull request #7072 from r-bk/fix_lua_recursor4_exception_handling

pdns-recursor: properly handle exceptions thrown from lua-recursor4

Merge pull request #7068 from phonedph1/edns

rec: dump edns harder

Merge pull request #6986 from rgacogne/dnsdist-warning-dynblocks

dnsdist: Add warning rates to dynBlockRulesGroup rules

dnsdist: Support the NXDomain action with dynamic blocks

rec: automatically reload trust anchors from file

This allows external processec to update TA's without having to restart
the recursor.

pdns-recursor: properly handle exceptions thrown from lua-recursor4

directResolve function is used by lua-recursor4 in various callbacks. As
a result an exception thrown from this function is caught in generic
exception handlers at the end of startDoResolve (pdns_recursor).
Specifically, ImmediateServFailException is caught in the catch-all
exception handler, which obscures the origin of the error.

This commit adds handling of all exceptions inside directResolve and
converts them to error code (-1). This way, an exception in this
function is handled properly in startDoResolve and ServFail is sent
downstream.

To clarify, in case of exception the return DNSRecord vector is cleared
to make sure that old behavior is preserved, when in case of exception
the vector was not referenced in any way.

auth: Print the content of pdns.log when the regression tests fail

Merge pull request #7070 from r-bk/fix_memory_leak_in_catch_all_block

pdns-recursor: avoid a memory leak in catch-all exception handler

dnsdist: Clarify that DynBlock's warning rates can't be used alone