runtests: use -R for random order

Suggested-by: Dan Fandrich

runtests: add -o to run test cases in scrambled order

... instead of numerical order.

Closes #1466

sockfilt.c: shortened too long line

tests/server: make string literals const

assign string literals to const char * instead of char * in order to
avoid a lot of these warnings:
cast from 'const char *' to 'char *' drops const qualifier
[-Wcast-qual]

schannel: return a more specific error code for SEC_E_UNTRUSTED_ROOT

test557: set a known good numeric locale

Windows does not allow setting the locale with environment variables (as
the test attempted to do), so the test failed when run with a user
locale that has a comma as radixchar. Changed the test to call
setlocale() explicitly to ensure that a known working locale is set even
on Windows.

curl: fix warning "comma at end of enumerator list"

test559: verify use of minimum CURLOPT_BUFFERSIZE

curl_setup_once: use SEND_QUAL_ARG2 for swrite

SEND_QUAL_ARG2 had to be set, but was never used. Use it in swrite to
avoid warnings about casting away low-level const.

Closes https://github.com/curl/curl/pull/1464

CURLINFO_REDIRECT_URL.3: add example

CURLINFO_EFFECTIVE_URL.3: add example

lib: fix compiler warnings

Fix the following warnings when building the tests by using the correct
types:
cast from 'const char *' to 'void *' drops const qualifier
[-Wcast-qual]
implicit conversion changes signedness [-Wsign-conversion]

typecheck-gcc: add support for CURLINFO_SOCKET

Closes https://github.com/curl/curl/pull/1452

typecheck-gcc: add missing string options

Closes https://github.com/curl/curl/pull/1452

abstract-unix-socket.d: shorten the help text to fit within 79 cols

RELEASE-NOTES: synced with 862b02f89

Telnet: Write full buffer instead of byte-by-byte

Previous TODO wanting to write in chunks. We should support writing more
at once since some TELNET servers may respond immediately upon first
byte written such as WHOIS servers.

Closes #1389

curl: non-boolean command line args reject --no- prefixes

... and instead properly respond with an error message to the user
instead of silently ignoring.

Fixes #1453
Closes #1458

testpart: remove _MPRINTF_REPLACE

Support for _MPRINTF_REPLACE in mprintf.h was removed in
55452ebdff47f98bf3cc383f1dfc3623fcaefefd, replaced with curl_printf.h.

gtls: fixed a lingering BUFSIZE reference

ssh: fix compiler warning from e40e9d7f0de

url: let CURLOPT_BUFFERSIZE realloc to smaller sizes too

Closes #1449

BUFSIZE: rename to READBUFFER_*, make separate MASTERBUF_SIZE

openssl: use local stack for temp storage

sendf: remove use of BUFSIZE from debug data conversions

The buffer can have other sizes.

buffer: use data->set.buffer_size instead of BUFSIZE

... to properly use the dynamically set buffer size!

krb5: use private buffer for temp string, not receive buffer

upload: UPLOAD_BUFSIZE is now for the upload buffer

unit1606: do not print/access buffer

It was a wrong assumption that it could do that!

http-proxy: use a dedicated CONNECT response buffer

To make it suitably independent of the receive buffer and its flexible
size.

transfer: fix minor buffer_size mistake

failf: use private buffer, don't clobber receive buffer

pingpong: use the set buffer size

http2: use the correct set buffer size

http: don't clobber the receive buffer for timecond

buffer_size: make sure it always has the correct size

Removes the need for CURL_BUFSIZE

file: use private buffer for C-L output

... instead of clobbering the download buffer.

CURLOPT_BUFFERSIZE: 1024 bytes is now the minimum size

The buffer is needed to receive FTP, HTTP CONNECT responses etc so
already at this size things risk breaking and smaller is certainly not
wise.

ftp: use private buffer for temp storage, not receive buffer

http: use private user:password output buffer

Don't clobber the receive buffer.

anyauthput: remove unused code

The definition of TRUE was introduced in
4a728747e6f8845e500910e397dfc99aaf4a7984 and is not used anymore since
e664cd5826d43930fcc5b5dbaedbec94af33184b.
The usage of intptr_t was removed in
32e38b8f42477cf5ce3c3fef2fcc9db82f7fb7be.

tool: Fix missing prototype warnings for CURL_DOES_CONVERSIONS

- Include tool_convert.h where needed.

Bug: https://github.com/curl/curl/issues/1460
Reported-by: Gisle Vanem

curl_setup: Ensure no more than one IDN lib is enabled

Prior to this change it was possible for libcurl to be built with both
Windows' native IDN lib (normaliz) and libidn2 enabled. It appears that
doesn't offer any benefit --and could cause a bug-- since libcurl's IDN
handling is written to use either one but not both.

Bug: https://github.com/curl/curl/issues/1441#issuecomment-297689856
Reported-by: Gisle Vanem

getpart: use correct variable type

This fixes the following clang warning:
getpart.c:201:17: warning: cast from function call of type 'CURLcode'
to non-matching type 'int' [-Wbad-function-cast]

tests: declare TU-local variables static

This fixes missing-variable-declarations warnings when building with
clang.

tool_cb_prg: fix double-promotion warning

clang complains:
tool_cb_prg.c:86:22: error: implicit conversion increases
floating-point precision: 'float' to 'double'
[-Werror,-Wdouble-promotion]

Fix this by using a double instead of a float constant.

examples: fixed too long line and too long string warnings

examples: declare TU-local variables static

This fixes missing-variable-declarations warnings when building with
clang.

http2: declare TU-local variables static

This fixes the following clang warnings:

http2.c:184:27: error: no previous extern declaration for non-static
variable 'Curl_handler_http2' [-Werror,-Wmissing-variable-declarations]
http2.c:204:27: error: no previous extern declaration for non-static
variable 'Curl_handler_http2_ssl'
[-Werror,-Wmissing-variable-declarations]

unit1604: fixed indentation

unit1604: fixed compilation under Windows, broken in the previous commit

tests: fixed OOM handling of unit tests to abort test

It's dangerous to continue to run the test when a memory alloc fails.

curl_rtmp: fix missing-variable-declarations warnings

clang complains:

curl_rtmp.c:61:27: error: no previous extern declaration for non-static variable 'Curl_handler_rtmp' [-Werror,-Wmissing-variable-declarations]
curl_rtmp.c:81:27: error: no previous extern declaration for non-static variable 'Curl_handler_rtmpt' [-Werror,-Wmissing-variable-declarations]
curl_rtmp.c:101:27: error: no previous extern declaration for non-static variable 'Curl_handler_rtmpe' [-Werror,-Wmissing-variable-declarations]
curl_rtmp.c:121:27: error: no previous extern declaration for non-static variable 'Curl_handler_rtmpte' [-Werror,-Wmissing-variable-declarations]
curl_rtmp.c:141:27: error: no previous extern declaration for non-static variable 'Curl_handler_rtmps' [-Werror,-Wmissing-variable-declarations]
curl_rtmp.c:161:27: error: no previous extern declaration for non-static variable 'Curl_handler_rtmpts' [-Werror,-Wmissing-variable-declarations]

Fix this by including the header file.

url: fixed a memory leak on OOM while setting CURLOPT_BUFFERSIZE

tests: added --remote-time tests for remaining protocols that support it

runtests.pl: support multiline <postcheck> commands

tool_operate: use utimes instead of obsolescent utime when available

test1443: test --remote-time

http-proxy: removed unused argument in CURL_DISABLE_PROXY case

Missed in commit 55c3c02e

cookie_interface.c: changed the other domain to example.com too

cookie_interface.c: fix cookie domain so the example works

Makefile: fix make dist

Commit 80a87e8a broke 'make dist' as it can't handle installing from
absolute target names. Rearranged the dependencies so the absolute name
is used for building but the relative name is use for distributing.

lib: remove unused code

This fixes the following clang warnings:
macro is not used [-Wunused-macros]
will never be executed [-Wunreachable-code]

Closes https://github.com/curl/curl/pull/1448

http-proxy: remove unused argument from Curl_proxyCONNECT()

url: declare get_protocol_family() static

get_protocol_family() is not defined static even though there is a
static local forward declaration. Let's simply make the definition match
it's declaration.

Bug: https://curl.haxx.se/mail/lib-2017-04/0127.html

examples: ftpuploadfrommem.c

Uploads data to an FTP site, directly from memory.

Closes #1451

nss: load libnssckbi.so if no other trust is specified

The module contains a more comprehensive set of trust information than
supported by nss-pem, because libnssckbi.so also includes information
about distrusted certificates.

Reviewed-by: Kai Engert
Closes #1414

nss: factorize out nss_{un,}load_module to separate fncs

No change of behavior is intended by this commit.

nss: do not leak PKCS #11 slot while loading a key

It could prevent nss-pem from being unloaded later on.

Bug: https://bugzilla.redhat.com/1444860

typecheck-gcc: fix _curl_is_slist_info

Info values starting with CURLINFO_SOCKET expect a curl_socket_t, not a
curl_slist argument.

This fixes the following GCC warning when building the examples with
--enable-optimize:

../../include/curl/typecheck-gcc.h:126:42: warning: call to
‘_curl_easy_getinfo_err_curl_slist’ declared with attribute warning:
curl_easy_getinfo expects a pointer to 'struct curl_slist *' for this
info [enabled by default]
sendrecv.c:90:11: note: in expansion of macro ‘curl_easy_getinfo’
res = curl_easy_getinfo(curl, CURLINFO_ACTIVESOCKET, &sockfd);

Closes https://github.com/curl/curl/pull/1447

curl: set a 100K buffer size by default

Test command 'time curl http://localhost/80GB -so /dev/null' on a Debian
Linux.

Before (middle performing run out 9):

 real    0m28.078s
 user    0m11.240s
 sys     0m12.876s

After (middle performing run out 9)

 real    0m26.356s (93.9%)
 user    0m5.324s  (47.4%)
 sys     0m8.368s  (65.0%)

Also, doing SFTP over a 200 millsecond latency link is now about 6 times
faster.

Closes #1446

transfer: remove 'uploadbuf' pointer and cleanup readwrite_upload()

The data->req.uploadbuf struct member served no good purpose, instead we
use ->state.uploadbuffer directly. It makes it clearer in the code which
buffer that's being used.

Removed the 'SingleRequest *' argument from the readwrite_upload() proto
as it can be derived from the Curl_easy struct. Also made the code in
the readwrite_upload() function use the 'k->' shortcut to all references
to struct fields in 'data->req', which previously was made with a mix of
both.

configure: stop prepending to LDFLAGS, CPPFLAGS

- Change prepends to appends because user's LDFLAGS and CPPFLAGS should
  always come first so they're searched before ours.

Bug: https://github.com/curl/curl/issues/1420
Reported-by: Helmut K. C. Tessarek

if2ip: fix -Wcast-align warning

Follow-up to 119037325de02579f5c58256ca2ed2a0aa592c86, which fixed the
warning in the HAVE_GETIFADDRS block, but not in the
HAVE_IOCTL_SIOCGIFADDR block.

Makefile: avoid use of GNU-specific form of $<

$< is only allowed in implicit rules in some non-GNU makes (e.g. BSD,
AIX) so avoid use elsewhere by referencing the dependent curl.1 file
directly instead. This is somewhat tricky because the file is supplied
in the packaged tar ball (but not in git) but must still be able to be
rebuilt when its dependencies change. The right thing must happen in
both tar ball and git source trees, as well as in both in-tree and
out-of-tree builds.

nss: adapt to the new Curl_llist API

This commit fixes compilation failure caused by
cbae73e1dd95946597ea74ccb580c30f78e3fa73.

curl-compilers.m4: accept -Og and -Ofast GCC flags

-Og, introduced in GCC 4.8, optimizes for debugging experience.
-Ofast, introduced in GCC 4.7, builds on -O3 and enables further
optimizations breaking strict standards compliance.
When specified in CFLAGS, these were always overridden by -O0 or -O2.
Fix this by adding them to flags_opt_all.

Ref: https://gcc.gnu.org/onlinedocs/gcc-4.8.0/gcc/Optimize-Options.html
Ref: https://github.com/curl/curl/pull/1404#issuecomment-296401570
Closes https://github.com/curl/curl/pull/1440

RELEASE-NOTES: synced with c68fed875

configure: fix the -ldl check for openssl, add -lpthread check

The check for if -ldl is needed to build with (a statically built)
openssl was broken. This repairs the check, and adds a check for
-lpthread as well since OpenSSL 1.1.0+ does in fact require -lpthread so
only adding -ldl for a static openssl build is no longer enough.

Reported-by: Jay Satiro
Ref: #1426
Closes #1427

llist: fix a comment after cbae73e1dd9

Pointed-it-by: Kevin Ji
URL: https://github.com/curl/curl/commit/cbae73e1dd95946597ea74ccb580c30f78e3fa73#commitcomment-21872622

schannel: Don't treat encrypted partial record as pending data

- Track when the cached encrypted data contains only a partial record
  that can't be decrypted without more data (SEC_E_INCOMPLETE_MESSAGE).

- Change Curl_schannel_data_pending to return false in such a case.

Other SSL libraries have pending data functions that behave similarly.

Ref: https://github.com/curl/curl/pull/1387

Closes https://github.com/curl/curl/pull/1392

multi: clarify condition in curl_multi_wait

`if(nfds || extra_nfds) {` is followed by `malloc(nfds * ...)`.

If `extra_fs` could be non-zero when `nfds` was zero, then we have
`malloc(0)` which is allowed to return `NULL`. But, malloc returning
NULL can be confusing. In this code, the next line would treat the NULL
as an allocation failure.

It turns out, if `nfds` is zero then `extra_nfds` must also be zero.
The final value of `nfds` includes `extra_nfds`.  So the test for
`extra_nfds` is redundant.  It can only confuse the reader.

Closes #1439

lib: fix maybe-uninitialized warnings

With -Og, GCC complains:

easy.c:628:7: error: ‘mcode’ may be used uninitialized in this function [-Werror=maybe-uninitialized]

../lib/strcase.h:35:29: error: ‘tok_buf’ may be used uninitialized in this function [-Werror=maybe-uninitialized]
vauth/digest.c:208:9: note: ‘tok_buf’ was declared here

../lib/strcase.h:35:29: error: ‘tok_buf’ may be used uninitialized in this function [-Werror=maybe-uninitialized]
vauth/digest.c:566:15: note: ‘tok_buf’ was declared here

Fix this by initializing the variables.

gnutls: removed some code when --disable-verbose is configured

This reduces the binary size and fixes a compile warning.

llist: no longer uses malloc

The 'list element' struct now has to be within the data that is being
added to the list. Removes 16.6% (tiny) mallocs from a simple HTTP
transfer. (96 => 80)

Also removed return codes since the llist functions can't fail now.

Test 1300 updated accordingly.

Closes #1435

typecheck-gcc: handle function pointers properly

All the callbacks passed to curl_easy_setopt are defined as function
pointers. The possibility to pass both functions and function pointers
was handled for the callbacks that typecheck-gcc.h defined as
compatible, but not for the public callback types themselves.

This makes all compatible callback types defined in typecheck-gcc.h
function pointers too and checks all functions uniformly with
_curl_callback_compatible, which handles both functions and function
pointers.

A symptom of the problem was a warning in tool_operate.c with
--disable-libcurl-option and without --enable-debug as that file
passes the callback functions to curl_easy_setopt directly.

Fixes https://github.com/curl/curl/issues/1403
Closes https://github.com/curl/curl/pull/1404

mbedtls: enable NTLM (& SMB) even if MD4 support is unavailable

In that case, use libcurl's internal MD4 routine. This fixes tests 1013
and 1014 which were failing due to configure assuming NTLM and SMB were
always available whenever mbed TLS was in use (which is now true).

tests: remove the html and PDF versions from the tarball

openssl: fix memory leak in servercert

... when failing to get the server certificate.

Revert "src/Makefile.am: avoid explicit $<"

This reverts commit 5b4cbcf11d5100ff793a8e9edbaa6fe1fc7495f5.

Since it broke out-of-tree builds from tarballs. See discussion in #1432

bump: start working on next release

src/Makefile.am: avoid explicit $<

... since apparently "BSD make" doesn't support it.

Reported-by: Thomas Klausner
Fixes #1432

THANKS: add contributors from 7.54.0 release notes

RELEASE-NOTES: curl 7.54.0

nss: fix MinGW compiler warnings

This fixes 3 warnings issued by MinGW:
1. PR_ImportTCPSocket actually has a paramter of type PROsfd instead of
PRInt32, which is 64 bits on Windows. Fixed this by including the
corresponding header file instead of redeclaring the function, which is
supported even though it is in the private include folder. [1]
2. In 64-bit mode, size_t is 64 bits while CK_ULONG is 32 bits, so an explicit
narrowing cast is needed.
3. Curl_timeleft returns time_t instead of long since commit
21aa32d30dbf319f2d336e0cb68d3a3235869fbb.

[1] https://developer.mozilla.org/en-US/docs/Mozilla/Projects/NSPR/Reference/PR_ImportTCPSocket

Closes https://github.com/curl/curl/pull/1393

TLS: Fix switching off SSL session id when client cert is used

Move the sessionid flag to ssl_primary_config so that ssl and proxy_ssl
will each have their own sessionid flag.

Regression since HTTPS-Proxy support was added in cb4e2be. Prior to that
this issue had been fixed in 247d890, CVE-2016-5419.

Bug: https://github.com/curl/curl/issues/1341
Reported-by: lijian996@users.noreply.github.com
The new incarnation of this bug is called CVE-2017-7468 and is documented
here: https://curl.haxx.se/docs/adv_20170419.html

openssl: don't try to print nonexistant peer private keys

X.509 certificates carry public keys, not private keys. Fields
corresponding to the private half of the key will always be NULL.

Closes #1425

openssl: fix thread-safety bugs in error-handling

ERR_error_string with NULL parameter is not thread-safe. The library
writes the string into some static buffer. Two threads doing this at
once may clobber each other and run into problems. Switch to
ERR_error_string_n which avoids this problem and is explicitly
bounds-checked.

Also clean up some remnants of OpenSSL 0.9.5 around here. A number of
comments (fixed buffer size, explaining that ERR_error_string_n was
added in a particular version) date to when ossl_strerror tried to
support pre-ERR_error_string_n OpenSSLs.

Closes #1424

openssl: make SSL_ERROR_to_str more future-proof

Rather than making assumptions about the values, use a switch-case.

Closes #1424

code: fix typos and style in comments

A few random typos, and minor whitespace cleanups, found in comments
while reading code.

Closes #1423