mbedtls: fix MBEDTLS_DEBUG builds

mbedtls: implement and provide *_data_pending()

... as otherwise we might get stuck thinking there's no more data to
handle.

Reported-by: Damien Vielpeau
Fixes #737

mbedtls: follow-up for the previous commit

mbedtls.c: name space pollution fix, Use 'Curl_'

mbedtls.c: changed private prefix to mbed_

mbedtls_ is the prefix used by the mbedTLS library itself so we should
avoid using that for our private functions.

mbedtls.h: fix compiler warnings

Revert "winbuild: trying to set some files eol=crlf for git"

This reverts commit 9c08b4f1e7eced5a4d3782a3e0daa484c9d77d21.

Didn't help. Caused problems.

Fixes #756

curl.1: use example.com more

Make (most) example snippets use the example.com domain instead of the
random ones picked and used before. Some of those were probably
legitimate sites and some not. example.com is designed for this purpose.

HTTP2: Add a space character after the status code

The space character after the status code is mandatory, even if the
reason phrase is empty (see RFC 7230 section 3.1.2)

Closes #755

URLs: change http to https in many places

Closes #754

winbuild: trying to set some files eol=crlf for git

Thinking it might help to apply patches etc with git.

curl.1: change example for -F

It's a bad idea to send your passwords anywhere, especially over HTTP.
Modified example to send a picture instead.

Fixes #752

KNOWN_BUGS: reorganized and cleaned up

Now sorted into categories and organized in the same style we do the
TODO document. It will make each issue linked properly on the
https://curl.haxx.se/docs/knownbugs.html web page.

The sections should make it easier to find issues and issues related to
areas of the reader's specific interest.

KNOWN_BUGS: #95 curl in Windows can't handle Unicode arguments

KNOWN_BUGS: Use https://curl.haxx.se URL for github based issues

CHECKSRC.md: Corrected some typos

RELEASE-NOTES: Corrected last updated

Included a summary of the checksrc.bat updates and combined two krb5
changes as they should have been implemented at the same time.

vauth: Corrected a number of typos in comments

Reported-by: Michael Osipov

KNOWN_BUGS: #94 IMAP custom requests use the LIST handler

Bug: https://github.com/curl/curl/issues/536
Reported-by: eXeC64@users.noreply.github.com

KNOWN_BUGS: remove 68, 70 and 72.

Due to their age (we don't fully know if they actually remain) and lack
of detail - very few people will bother to find out what they're about
or work on them. If people truly still suffer from any of these, I
assume they will be reported again and then we'll deal with them.

72. "Pausing pipeline problems."
  https://curl.haxx.se/mail/lib-2009-07/0214.html

70. Problem re-using easy handle after call to curl_multi_remove_handle
  https://curl.haxx.se/mail/lib-2009-07/0249.html

68. "More questions about ares behavior".
  https://curl.haxx.se/mail/lib-2009-08/0012.html

KNOWN_BUGS: remove 92 and 88, fixed

http2: fix connection reuse when PING comes after last DATA

It turns out the google GFE HTTP/2 servers send a PING frame immediately
after a stream ends and its last DATA has been received by curl. So if
we don't drain that from the socket, it makes the socket readable in
subsequent checks and libcurl then (wrongly) assumes the connection is
dead when trying to reuse the connection.

Reported-by: Joonas Kuorilehto
Discussed in #750

multi: remove trailing space in debug output

RELEASE-NOTES: synced with 86e97b642fb

CHECKSRC.md: mention cmdline options, fix the bullet list

docs/CHECKSRC.md: initial version

checksrc.bat: Added support for the examples

lib/src: fix the checksrc invoke

... now works correctly when invoke from the root makefile

nw: please the stricter checksrc

checksrc.bat: Re-enabled the tests directory by default

Following the recent changes to the source in the tests directory,
re-enabled tests for the default scan.

checksrc.bat: Added tests/server directory support

In addition to commit 83b174b3f0 and following the recent changes.

tests: Fixed header files to comply with our code style

make checksrc: run it in docs/examples too by default

docs/examples: remove spurious white spaces all over

... to please the new, slightly picker, checksrc.pl

tests: fix make checksrc in servers/

tests: 'make checksrc' now checks server/ too

root/make: have checksrc run in include/curl too

tests/server: comply with our code style

code: style updates

checksrc: check for more malplaced spaces

unit: make unit test source code checksrc compliant

checksrc: run checksrc in tests when 'make checksrc' in root

checksrc: remove debug crap

lib557: allow too long lines

checksrc: allow ignore of specific warnings within a file (section)

checksrc: add warning names, explain on help output

checksrc.bat: Disable tests by default until warnings are fixed

checksrc.bat: Added support for the tests directory

vauth: Removed the need for a separate GSS-API based SPN function

curl_sasl: Fixed potential null pointer utilisation

Although this should never happen due to the relationship between the
'mech' and 'resp' variables, and the way they are allocated together,
it does cause problems for code analysis tools:

V595 The 'mech' pointer was utilized before it was verified against
     nullptr. Check lines: 376, 381. curl_sasl.c 376

Bug: https://github.com/curl/curl/issues/745
Reported-by: Alexis La Goutte

spnego: Small code tidy up

* Prefer dereference of string pointer rather than strlen()
* Free challenge pointer in one place
* Additional comments

krb5: Small code tidy up

* Prefer dereference of string pointer rather than strlen()
* Free challenge pointer in one place
* Additional comments

krb5_gssapi: Only process challenge when present

This wouldn't cause a problem because of the way the function is called,
but prior to this change, we were processing the challenge message when
the credentials were NULL rather than when the challenge message was
populated.

This also brings this part of the Kerberos 5 code in line with the
Negotiate code.

krb5: Fixed missing client response when mutual authentication enabled

Although mutual authentication is currently turned off and can only be
enabled by changing libcurl source code, authentication using Kerberos
5 has been broken since commit 79543caf90 in this use case.

krb5_sspi: Only process challenge when present

This wouldn't cause a problem because of the way the function is called,
but prior to this change, we were processing the challenge message when
the credentials were NULL rather than when the challenge message was
populated.

This also brings this part of the Kerberos 5 code in line with the
Negotiate code.

krb5_sspi: Only generate the output token when its not allocated

Prior to this change, we were generating the output token when the
credentials were NULL rather than when the output token was NULL.

This also brings this part of the Kerberos 5 code in line with the
Negotiate code.

krb5: Only generate a SPN when its not known

Prior to this change, we were generating the SPN in the SSPI code when
the credentials were NULL and in the GSS-API code when the context was
empty. It is better to decouple the SPN generation from these checks
and only generate it when the SPN itself is NULL.

This also brings this part of the Kerberos 5 code in line with the
Negotiate code.

tests/libtest: follow our code style guidelines better

... checksrc of all test code is pending.

checksrc.whitelist: remove fopen() uses

formdata: use appropriate fopen() macros

checksrc: improve the fopen() parser somewhat

The quote scanner was too fragile, now look for a comma instead to find
the mode argument.

unit1604: fix snprintf

follow-up to 0326b06

sizeof(pointer) is no good for the buffer size!

Reported-by: Viktor Szakats

unittests: Fixed compilation warnings

warning: implicit declaration of function 'sprintf_was_used'
         [-Wimplicit-function-declaration]

Follow up to the modications made to tests/libtest in commit 55452ebdff
as we prefer not to use sprintf() now.

curl.1: -w filename_effective was introduced in 7.26.0

We never made a 7.25.1 release

7.49.0: next release version

http2: make use of the nghttp2 error callback

It offers extra info from nghttp2 in certain error cases. Like for
example when trying prior-knowledge http2 on a server that doesn't speak
http2 at all. The error message is passed on as a verbose message to
libcurl.

Discussed in #722

The error callback was added in nghttp2 1.9.0

spnego: Renamed the context's SPN variable

To be consistent with the Kerberos 5 context and other authentication
code.

krb5_gssapi: Renamed the status variables

For consistency with the spnego code.

krb5: Moved host from Curl_auth_create_gssapi_user_message() to be argument

For consistency with the spnego and oauth2 code moved the setting of
the host name outside of the Curl_auth_create_gssapi_user_messag()
function.

This will allow us to more easily override it in the future.

test1119: Fixed missing CURL_DID_MEMORY_FUNC_TYPEDEFS symbol

RELEASE-NOTES: Removed "http_negotiate: Corrected host and proxy host name"

As this was introduced in the recent vauth changes and not a prior
release.

RELEASE-NOTES: synced with 0aa8da10bbdafa

http_negotiate: Corrected host and proxy host name being wrong way round

I had accidentally used the proxy server name for the host and the host
server name for the proxy in commit ad5e9bfd5d and 6d6f9ca1d9. Whilst
Windows SSPI was quite happy with this, GSS-API wasn't.

Thanks-to: Michael Osipov

build: Changed the Visual Studio projects warning level from 3 to 4

After squashing most of our compiler warnings, up'ed the default
warning level from 3 to 4 in order to increase the likelyhood of
catching future warnings.

IMAP: check pointer before dereferencing it

may be null in the CURLOPT_CONNECT_ONLY case

Fixes #747

.gitignore: Added new VC14 SQLite based program database files

curl_memory.h: Fixed typo in comment

From commit 7218b52c49.

spnego: Corrected some typos in comments

Corrected typos from commit ad5e9bfd5d and 6d6f9ca1d9.

memdebug: Ensure curl/curl.h is included before curl_memory.h

Follow up to commit 7db9782dd6.

upload: missing rewind call could make libcurl hang

When an upload is done, there are two places where that can be detected
and only one of them would rewind the input stream - which sometimes is
necessary for example when doing NTLM HTTP POSTs and more.

This could then end up libcurl hanging.

Figured-out-by: Isaac Boukris
Reported-by: Anatol Belski
Fixes #741

curl.h: define CURL_DID_MEMORY_FUNC_TYPEDEFS

So that we only do the extra typedefs in curl_memory.h when we really
need to and avoid double typedefs.

follow-up commit to 7218b52c49aeb1

Thanks-to: Steve Holme

curl/mprintf.h: remove support for _MPRINTF_REPLACE

The define is not in our name space and is therefore not protected by
our API promises.

It was only really used by libcurl internals but was mostly erased from
there already in 8aabbf5 (March 2015). This is supposedly the final
death blow to that define from everywhere.

As a side-effect, making sure _MPRINTF_REPLACE is gone and not used, I
made the lib tests in tests/libtest/ use curl_printf.h for its redefine
magic and then subsequently the use of sprintf() got banned in the tests
as well (as it is in libcurl internals) and I then replaced them all
with snprintf().

In the unlikely event that any users is actually using this define and
gets sad by this change, it is very easily copied to the user's own
code.

curl_memory.h: avoid the curl/curl.h include

Discussed in #743

url: Corrected get protocol family for FTP and LDAP

Fixed copy/paste error from commit a5aec58726.

strerror: don't bit shift a signed integer

Bug: https://github.com/curl/curl/issues/744
Reported-by: Alexis La Goutte

http2: more documentation for prior knowledge

http2: support "prior knowledge", no upgrade from HTTP/1.1

Supports HTTP/2 over clear TCP

- Optimize switching to HTTP/2 by removing calls to init and setup
before switching. Switching will eventually call setup and setup calls
init.

- Supports new version to “force” the use of HTTP/2 over clean TCP

- Add common line parameter “--http2-prior-knowledge” to the Curl
  command line tool.

imap: remove duplicated function

The list and search response functions were identical! Merged into one
now. Detected by PVS Studio.

Reported-by: Alexis La Goutte

SOCKS5_gssapi_negotiate: don't assume little-endian ints

The code copied one byte from a 32bit integer, which works fine as long
as the byte order is the same. Not a fine assumption. Reported by PVS
Studio.

Reported-by: Alexis La Goutte

http: remove ((expression)) double parentheses

Curl_add_buffer_send: avoid possible NULL dereference

... as we check for a NULL pointer below, we move the derefence to after
the check. Detected by PVS Studio.

Reported-by: Alexis La Goutte

file: remove duplicate checks of the same variable

... as it doesn't change in between. Deteced by PVS Studio.

Reported-by: Alexis La Goutte

openssl: Fix compilation warnings

When compiling with OpenSSL 1.1.0 (so that the HAVE_X509_GET0_SIGNATURE
&& HAVE_X509_GET0_EXTENSIONS pre-processor block is active), Visual C++
14 complains:

warning C4701: potentially uninitialized local variable 'palg' used
warning C4701: potentially uninitialized local variable 'psig' used

multi: turn Curl_done into file local multi_done

... as it now is used by multi.c only.

multi: multi_reconnect_request is the former Curl_reconnect_request

now a file local function in multi.c

multi: move Curl_do and Curl_do_done to multi.c and make static

... called multi_do and multi_do_done as they're file local now.

wolfssl: Use ECC supported curves extension

https://github.com/wolfSSL/wolfssl/issues/366

build-wolfssl: Allow a broader range of ciphers (Visual Studio)

This is an update to the build-time options used to build wolfSSL in
Visual Studio for greater compatibility, and make it behave similar to
the way OpenSSL 1.0.2 behaves. Starting in wolfSSL v3.6.6 static ciphers
and SSLv3 are disabled by default at build time, but we can use both.

- Enable static cipher suites TLS_ECDH_ and TLS_RSA_.

- Enable SSLv3 hello. Though in libcurl we disable it by default at
runtime, we make it available so the user can manually select it if
necessary.

GSS: make Curl_gss_log_error more verbose

Also display the GSS_C_GSS_CODE (major code) when specified instead of
only GSS_C_MECH_CODE (minor code).

In addition, the old code was printing a colon twice after the prefix
and also miscalculated the length of the buffer in between calls to
gss_display_status (the length of ": " was missing).

Also, gss_buffer is not guaranteed to be NULL terminated and thus need
to restrict reading by its length.

Closes #738

build: use roffit 0.11 feature

... load file specified as argument.