Fix strToUID() and strToGID()

Reported by @cmouse

so, it turns out only the hashing/dnssec parts of powerdns need 'toDNSString()' lowercase. Gave them a helper, made toDNSString() not touch case again.

Revert "toDNSString inexplicably did a toLower() on what it wrote it, potentially causing 0x20 issues. Now, I assume some code needed this. This commit will find that code."

This reverts commit 6d04b73457106e0fbbce7846ea808cd4f4ab7c3b.

Merge pull request #3011 from rgacogne/dnsdist-fix-crypto-doc

Make the string parameter to testCrypto() optional

Merge pull request #3004 from zeha/api-cache-flush

API: make cache flushing a public, documented operation

Merge pull request #2997 from zeha/apirecursortest

API: Reenable Recursor tests

implement fixupCase(true) or fixupCase(false) so you can make your 0x20 violating code work on today's internet. Enjoy.

toDNSString inexplicably did a toLower() on what it wrote it, potentially causing 0x20 issues. Now, I assume some code needed this. This commit will find that code.

for recursor, if client added an EDNS record, add it to the response too

I can't imagine how this worked - DNSName() as name for an OPT record. Should be "."

add makeOpt infrastructure so we can make DNSRecords with OPT pseudo record in there, ready for insertion

speedup, use 'tie' for comparisons in recursor packet cache

API: make cache flushing a public, documented operation

Note that this changes the URL, and only allows for exact flushing now.

Fixes #3003.

Replace dnsnameFromJson() with apiNameToDNSName(stringFromJson())

To reuse the name checking code for strings that didn't come
from json. Also makes it clearer that the checking logic is
an API only thing, and other json consumers may use their own
policy on dots, etc.

split out console code from dnsdist.cc, plus move some generic stuff to misc.cc

further changelog updates

Beginning of 4.0.0 release notes

Merge pull request #2888 from aj-gh/ignored-packet-count

Add counter for ignored packets to recursor statistics.

**BREAKING** dnsdist console communications control break: we now support 32 bit message lengths. Restart daemon for this to work.

spruce up grepq() a little bit with answer count for "No Error" answers

Add counter for ignored packets to recursor statistics (+docs).
Turns out recursor can be kept rather busy dealing with packets that will not show up anywhere.

Merge branch 'adp': better infrastructure for metering traffic, prettier grepq

Make the string parameter to testCrypto() optional.

The documentation does not mention it and I don't think it makes
sense to require one.
Document the fact that makeKey() does return setKey('plaintext')
without libsodium support.
Reported by Charles-Henri Bruyand.

fix up bandwidth exceeded limits, move dnsheader (12 bytes) into ringbuffer, add it to grepq output, make that somewhat pretty, plus fix up TCP reporting to the response rings

Merge pull request #3007 from ndonegan/patch-1

remotebackend Documentation Update

fix up dns ring measurements for BW and NXDOMAIN to not inflate rates erroneously

make grepq look at the the n newest queries, not the n oldest queries

implement grepq() for dnsdist

trim some dependencies for dnsdistdist benefit

make sure we insert query size on query ring too

API: Reenable Recursor tests

And fix a memory/rapidjson issue.

If the data is correct is yet to be seen.

Merge pull request #3005 from rgacogne/dnsdist-luajit

Add support for using LuaJIT in dnsdist

reenable in-tree dnsdist building

Update backend-remote.md

Update backend-remote.md

Update backend-remote.md

Update backend-remote.md

Documentation Update

Making it clearer that ZeroMQ backend uses the same JSON format as the pipe and unix backends.

Add support for using LuaJIT in dnsdist

LuaJIT support can be enabled with --with-luajit during configure.

let topClients() default to top-10

Merge pull request #2927 from rgacogne/dnsdist-ecs

add EDNS Client Subnet to dnsdist queries. And adds loads of tests, cleanups, improvements etc.

Merge pull request #2919 from zeha/api-dnsname-dot

API: dot correctness

Add more tests for dnsdist ECS support.

Add regression tests for rewriting the ECS value with
larger / smaller values.
Add one unit test for rewriting response.

Add EDNS Client Subnet to queries, unit tests and regression tests.

The main idea is to be able to add EDNS Client Subnet information
to queries to that the downstream servers know who the real client
is. This is easy if the query already has EDNS, since we just have
to add an ECS option to the existing pseudo-RR OPT. Note that if the
query has an existing ECS option, we just leave it as it is unless
setECSOverride has been set to true.
If the original query has no ENDS support, we can easily add the
pseudo-RR OPT with an ECS option, but we need to remove EDNS from
the response, otherwise the client might choke on it. This is not too
hard it the pseudo-RR is the last one, but otherwise removing it
could cause issue with name compression (offsets), therefore we
completely rewrite the response in that case.

This implementation tries hard not to parse the query, and not
to allocate too much objects to parse the response. The huge downside
is that we do not reuse as much parsing code as we probably could.

Unit tests have been added, they are not enabled unless
--enable-unit-tests is set.

Regression tests have been added in regression-tests.dnsdist.

Unit and regression tests are enabled in travis.

implement getNameWithAddr() for downstreams for pretty log messages

further rings speedup

some ring statistics speedups

log when adding a dynamic block

Merge pull request #2996 from zeha/jsoninterface

Rename setting json-interface to api

API: Update and add more examples

Fixes #2511.

API: dot correctness

From and to API consumers we'll now always require/send names (and
content) with dots. To the backend, we'll always require/send without
dots. Some API tests now check the data written to the sqlite DB, too.

Incoming names are now checked against a restricted list of chars,
fixing #1437. The double dot case is taken care of by DNSName (and
we'll no longer report an ISE if DNSName parsing fails - we make
sure to parse all names in a try/except).

Cleanup leftovers from pre-DNSName times.

Turn auth api tests back on in travis.

Add PacketCache::purgeExact

API: copy-edit the spec

Remove links to old documentation, fix some wordings.

API docs: fix section headers

when installing new overlapping dynamic block, record old number of blocks and keep that. More pleasing to the eye.

show some more block/drop kinds in webpage

also show dynblock number of blocks in showDynBlocks()

revamp dynamic block syntax, you now insert blocks per x seconds, and we display remaining seconds count, plus number of things blocked

netmask src rule did not show itself correctly in dnsdist output

resolve conflict, add reporting of acl/locals

Merge branch 'master' of github.com:PowerDNS/pdns

fill out acl and local to index.html

report acl and local addresses over web-api

Merge pull request #2999 from zeha/dnsdistrad

Improve dnsdist html a tiny bit more

Improve dnsdist html a tiny bit more

make webserver display acl-drops - vital debugging hint. Plus GPL reminder.

cleanup dnsdist javascript & html, plus make it look a lot prettier

Merge pull request #2998 from ahupowerdns/various

adds topBandwidth, starts process of abstracting out operations on rings

fix up dnsdist javascript to the new /api/v1/ URLs

Rename setting json-interface to api

Plus:
* Mark settings as available since 4.0, as before they were
called experimental-...
* Sync setting descriptions between auth and recursor.

Merge pull request #2993 from rgacogne/dnsdist-tuning

Allow setting maxOustanding and maxTCPClientThreads in configuration

Merge pull request #2994 from zeha/no-gcc3x

Drop compat code for gcc3.x/RHEL5

Drop compat code for gcc3.x/RHEL5

Closes #320

Merge pull request #2992 from Habbie/no-botan-1.8

get rid of botan 1.8

get rid of botan 1.8

Allow setting maxOustanding and maxTCPClientThreads in configuration

This commit adds the setMaxTCPClientThreads() and
setMaxUDPOutstanding() directives.
These controls, respectively, the maximum number of TCP threads
handling client connections and the maximum number of oustanding
UDP queries to a given backend server.
setMaxUDPOutstanding() is only usable at configuration-time, and
not at runtime.

remove outdated comment

fix up separate build

this should make us work on all arches for incbin

rgacogne found that arm has unsigned chars which broke all the things in yahttp @cmouse

hook up getTopBandwidth()

Merge pull request #2989 from Habbie/64bitpi

don't truncate timestamps on raspberry pi

rgacogne found that arm has unsigned chars which broke all the things in yahttp @cmouse

move ring stuff to own file, so it can share between dnsdist-lua and dnsdist-web, plus we get the locking in one place

this should make us work on all arches for incbin

Merge pull request #2990 from ndonegan/patch-1

Update backend-remote.md

Update backend-remote.md

Merge pull request #2972 from pieterlexis/no-more-experimental

Unmark several features as not-experimental

Merge pull request #2984 from rgacogne/dnsdist-frontend-stats

Add per-frontend stats to dnsdist

don't truncate timestamps on raspberry pi

Merge pull request #2983 from pieterlexis/ws-return-to-path

Redirect to the path of the request, not the root

Merge pull request #2962 from cmouse/tools-timeout

Make some tools timeout

Merge pull request #2973 from pieterlexis/move-qtypes-to-private

Move internal QTypes to the private range

Merge pull request #2965 from pieterlexis/negcache-tests-dotted-cname

Add negative caching with dotted cnames test

Merge pull request #2970 from pieterlexis/h-root-update

Update root hints for h.root-servers.net

Merge pull request #2975 from stasic/patch-2

make logging output identical

Merge pull request #2985 from rgacogne/dnsdist-rd-queries

Add stats for RD queries in dnsdist

Merge pull request #2986 from rgacogne/dnsdist-idstate-lock

Remove the IDState lock.

Fix stats handling for TCP queries.

The previous commit tried to fix the fact that TCP queries were
not correctly accounted, but did not properly handle the fact that
several queries can be sent over a single connection.
Responses were not properly handled either.

Remove the IDState lock.

Keeping a copy of the origFD in the response handling thread and
setting ids->age to 0 before setting ids->origFD in the UDP query
thread should prevent dropping query because of a race.