curl: add --fail-early

Exit with an error on the first transfer error instead of continuing to
do the rest of the URLs.

Discussion: https://curl.haxx.se/mail/archive-2016-11/0038.html

Curl_rand: fixed and moved to rand.c

Now Curl_rand() is made to fail if it cannot get the necessary random
level.

Changed the proto of Curl_rand() slightly to provide a number of ints at
once.

Moved out from vtls, since it isn't a TLS function and vtls provides
Curl_ssl_random() for this to use.

Discussion: https://curl.haxx.se/mail/lib-2016-11/0119.html

cmdline-opts: first test version of a new man page generator kit

See MANPAGE.md for the description of how this works. Each command line
option is now described in a separate .d file.

time_t fix: follow-up to de4de4e3c7c

Blah, I accidentally wrote size_t instead of time_t for two variables.

Reported-by: Dave Reisner

timeval: prefer time_t to hold seconds instead of long

... as long is still 32bit on modern 64bit windows machines, while
time_t is generally 64bit.

tests: fixed variable might be clobbered warning

This stops the compiler from potentially making invalid assumptions
about the immutability of sdp and sap across the longjmp boundary.

RELEASE-NOTES: synced with 346340808c

URL-parser: for file://[host]/ URLs, the [host] must be localhost

Previously, the [host] part was just ignored which made libcurl accept
strange URLs misleading users. like "file://etc/passwd" which might've
looked like it refers to "/etc/passwd" but is just "/passwd" since the
"etc" is an ignored host name.

Reported-by: Mike Crowe
Assisted-by: Kamil Dudka

test558: adapt to 0649433da

openssl: make sure to fail in the unlikely event that PRNG seeding fails

openssl: avoid unnecessary seeding if already done

1.1.0+ does more of this by itself so we can avoid extra processing this
way.

openssl: RAND_status always exists in OpenSSL >= 0.9.7

and remove RAND_screen from configure since nothing is using that
function

Curl_pgrsUpdate: use dedicated function for time passed

realloc: use Curl_saferealloc to avoid common mistakes

Discussed: https://curl.haxx.se/mail/lib-2016-11/0087.html

curl: Add --retry-connrefused

to consider ECONNREFUSED as a transient error.

Closes #1064

openssl: raise the max_version to 1.3 if asked for

Now I've managed to negotiate TLS 1.3 with https://enabled.tls13.com/ when
using boringssl.

vtls: Fail on unrecognized param for CURLOPT_SSLVERSION

- Fix GnuTLS code for CURL_SSLVERSION_TLSv1_2 that broke when the
TLS 1.3 support was added in 6ad3add.

- Homogenize across code for all backends the error message when TLS 1.3
is not available to "<backend>: TLS 1.3 is not yet supported".

- Return an error when a user-specified ssl version is unrecognized.

---

Prior to this change our code for some of the backends used the
'default' label in the switch statement (ie ver unrecognized) for
ssl.version and treated it the same as CURL_SSLVERSION_DEFAULT.

Bug: https://curl.haxx.se/mail/lib-2016-11/0048.html
Reported-by: Kamil Dudka

SPNEGO: Fix memory leak when authentication fails

If SPNEGO fails, cleanup the negotiate handle right away.

Fixes #1115

Signed-off-by: Isaac Boukris <iboukris@gmail.com>
Reported-by: ashman-p

CODE_STYLE.md: link to INTERNALS.md correctly

bump: next version will be 7.52.0

RELEASE-NOTES: synced with dfcdaaba371e9a3

examples/fileupload.c: fclose the file as well

printf: fix ".*f" handling

It would always use precision 1 instead of reading it from the argument
list as intended.

Reported-by: Ray Satiro
Bug: #1113

curl_formadd.3: *_FILECONTENT and *_FILE need the file to be kept

Reported-by: Frank Gevaerts

nss: silence warning 'SSL_NEXT_PROTO_EARLY_VALUE not handled in switch'

... with nss-3.26.0 and newer

Reported-by: Daniel Stenberg

openssl: initial TLS 1.3 adaptions

BoringSSL supports TLSv1.3 already, but these changes don't seem to be anough
to get it working.

ssh: check md5 fingerprints case insensitively (regression)

Revert the change from ce8d09483eea but use the new function

Reported-by: Kamil Dudka
Bug: https://github.com/curl/curl/commit/ce8d09483eea2fcb1b50e323e1a8ed1f3613b2e3#commitcomment-19666146

curl: introduce the --tlsv1.3 option to force TLS 1.3

Fully implemented with the NSS backend only for now.

Reviewed-by: Ray Satiro

vtls: support TLS 1.3 via CURL_SSLVERSION_TLSv1_3

Fully implemented with the NSS backend only for now.

Reviewed-by: Ray Satiro

nss: map CURL_SSLVERSION_DEFAULT to NSS default

... but make sure we use at least TLSv1.0 according to libcurl API

Reported-by: Cure53
Reviewed-by: Ray Satiro

s/cURL/curl

We're mostly saying just "curl" in lower case these days so here's a big
cleanup to adapt to this reality. A few instances are left as the
project could still formally be considered called cURL.

http2: Don't send header fields prohibited by HTTP/2 spec

Previously, we just ignored "Connection" header field.  But HTTP/2
specification actually prohibits few more header fields.  This commit
ignores all of them so that we don't send these bad header fields.

Bug: https://curl.haxx.se/mail/archive-2016-10/0033.html
Reported-by: Ricki Hirner
Closes https://github.com/curl/curl/pull/1092

curl.1: explain the SMTP data expected for -T

Fixes #1107

Reported-by: Adam Piggott

cmake: disable poll for macOS

Mirrors the autotools behavior introduced with curl-7_50_3-83-ga34c7ce.

Fixes #1089

easy: Initialize info variables on easy init and duphandle

- Call Curl_initinfo on init and duphandle.

Prior to this change the statistical and informational variables were
simply zeroed by calloc on easy init and duphandle. While zero is the
correct default value for almost all info variables, there is one where
it isn't (filetime initializes to -1).

Bug: https://github.com/curl/curl/issues/1103
Reported-by: Neal Poole

curl -w: added more decimal digits to timing counters

Now showing microsecond resolution.

Closes #1106

dist: add CMakeLists.txt to the tarball

mbedtls: fix build with mbedtls versions < 2.4.0

Regression added in 62a8095e714

Reported-by: Tony Kelman
Discussed in #1087

configure: verify that compiler groks -Werror=partial-availability

Reported-by: bemoody
Fixes #1104

docs: shorten and simplify the top comment in multi-uv.c

and change URL to use https

docs: handle CURL_POLL_INOUT in multi-uv example

docs: multi-uv: don't use CURLMsg after cleanup

docs: remove unused variables in multi-uv example

bump: start working on 7.51.1

winbuild: remove strcase.obj from curl build

Reported-by: Bruce Stephens
Fixes #1098

msvc: removed a straggling reference to strequal.c

Follow-up to 502acba2

THANKS: synced with 7.51.0

RELEASE-NOTES: 7.51.0

ftp_done: don't clobber the passed in error code

Coverity CID 1374359 pointed out the unused result value.

ftp: remove dead code in ftp_done

Coverity CID 1374358

generate.bat: Include include/curl in libcurl VS projects

.. because including those headers helps Visual Studio's Intellisense.

generate.bat: Remove strcase.[ch] from curl tool VS projects

..because they're no longer needed in the tool build. strcase is still
built by the libcurl project and exports curl_str(n)equal which is used
by the curl tool.

Bug: https://github.com/curl/curl/commit/9363f1a#all_commit_comments

metalink: simplify the hex parsing function

... and now it avoids using the libcurl toupper() function

file: fix compiler warning

follow-up to 46133aa5

strcase: fixed Metalink builds by redefining checkprefix()

...to use the public function curl_strnequal(). This isn't ideal because
it adds extra overhead to any internal calls to checkprefix.

follow-up to 95bd2b3e

curl.1: typo

curl.1: expand on how multiple uses of -o looks

Suggested-by: Dan Jacobson
Issue: https://github.com/curl/curl/issues/1097

tests/util: get a private strncasecompare clone

... since the curlx_* code no longer provides one and we don't link
libcurl to these test servers.

strcase: make the tool use curl_str[n]equal instead

As they are after all part of the public API. Saves space and reduces
complexity. Remove the strcase defines from the curlx_ family.

Suggested-by: Dan Fandrich
Idea: https://curl.haxx.se/mail/lib-2016-10/0136.html

gskit, nss: do not include strequal.h

follow-up to 811a693b80

strcasecompare: include curl.h in strcase.c

This should fix the "warning: 'curl_strequal' redeclared without
dllimport attribute: previous dllimport ignored" message and subsequent
link error on Windows because of the missing CURL_EXTERN on the
prototype.

strcase: fix the remaining rawstr users

msvc builds: s/rawstr/strcase

Follow-up to 811a693b

strcasecompare: replaced remaining rawstr.h with strcase.h

This is a followup to commit 811a693b

digest_sspi: fix include

Fix compile break from 811a693b80

libauthretry: use the external function curl_strequal

The internal version strcasecompare isn't available outside libcurl

RELEASE-NOTES: synced with d14538d2501ef0da

configure: raise the default minimum version for macos to 10.8

follow-up to 4f8d0b6f02aa7043. Since the darwinssl code breaks
otherwise. If you build without darwinssl 10.5 works fine.

unit1301: keep testing curl_strequal

as that is still part of the API, fix from 8fe4bd084412f30

ldap: fix include

Fix bug from 811a693b80

url: remove unconditional idn2.h include

Mistake brought by 9c91ec778104a

curl_strequal: part of public API/ABI, needs to be kept

These two public functions have been mentioned as deprecated since a
very long time but since they are still part of the API and ABI we need
to keep them around.

strcase: s/strequal/strcasecompare

some more follow-ups to 811a693b80

ldap: fix strcase use

follow-up to 811a693b80

test165: adapted to the libidn2 use and IDNA2008 fix

cookie: replace use of fgets() with custom version

... that will ignore lines that are too long to fit in the buffer.

CVE-2016-8615

Bug: https://curl.haxx.se/docs/adv_20161102A.html
Reported-by: Cure53

strcasecompare: all case insensitive string compares ignore locale now

We had some confusions on when each function was used. We should not act
differently on different locales anyway.

strcasecompare: is the new name for strequal()

... to make it less likely that we forget that the function actually
does case insentive compares. Also replaced several invokes of the
function with a plain strcmp when case sensitivity is not an issue (like
comparing with "-").

ftp: check for previous patch must be case sensitive!

... otherwise example.com/PATH and example.com/path would be assumed to
be the same and they usually aren't!

SSH: check md5 fingerprint case sensitively

connectionexists: use case sensitive user/password comparisons

CVE-2016-8616

Bug: https://curl.haxx.se/docs/adv_20161102B.html
Reported-by: Cure53

base64: check for integer overflow on large input

CVE-2016-8617

Bug: https://curl.haxx.se/docs/adv_20161102C.html
Reported-by: Cure53

krb5: avoid realloc(0)

If the requested size is zero, bail out with error instead of doing a
realloc() that would cause a double-free: realloc(0) acts as a free()
and then there's a second free in the cleanup path.

CVE-2016-8619

Bug: https://curl.haxx.se/docs/adv_20161102E.html
Reported-by: Cure53

aprintf: detect wrap-around when growing allocation

On 32bit systems we could otherwise wrap around after 2GB and allocate 0
bytes and crash.

CVE-2016-8618

Bug: https://curl.haxx.se/docs/adv_20161102D.html
Reported-by: Cure53

range: reject char globs with missing end like '[L-]'

... which previously would lead to out of boundary reads.

Reported-by: Luật Nguyễn

glob_next_url: make sure to stay within the given output buffer

range: prevent negative end number in a glob range

CVE-2016-8620

Bug: https://curl.haxx.se/docs/adv_20161102F.html
Reported-by: Luật Nguyễn

parsedate: handle cut off numbers better

... and don't read outside of the given buffer!

CVE-2016-8621

bug: https://curl.haxx.se/docs/adv_20161102G.html
Reported-by: Luật Nguyễn

escape: avoid using curl_easy_unescape() internally

Since the internal Curl_urldecode() function has a better API.

unescape: avoid integer overflow

CVE-2016-8622

Bug: https://curl.haxx.se/docs/adv_20161102H.html
Reported-by: Cure53

cookies: getlist() now holds deep copies of all cookies

Previously it only held references to them, which was reckless as the
thread lock was released so the cookies could get modified by other
handles that share the same cookie jar over the share interface.

CVE-2016-8623

Bug: https://curl.haxx.se/docs/adv_20161102I.html
Reported-by: Cure53

TODO: remove IDNA2008

idn: switch to libidn2 use and IDNA2008 support

CVE-2016-8625

Bug: https://curl.haxx.se/docs/adv_20161102K.html
Reported-by: Christian Heimes

test1246: verify URL parsing with host name ending with '#'

urlparse: accept '#' as end of host name

'http://example.com#@127.0.0.1/x.txt' equals a request to example.com
for the '/' document with the rest of the URL being a fragment.

CVE-2016-8624

Bug: https://curl.haxx.se/docs/adv_20161102J.html
Reported-by: Fernando Muñoz

INTERNALS: better markdown (follow-up)

- Wrap more words with underscores in backticks.

Follow-up to 13f4913.

INTERNALS: better markdown

words with underscore need to be within `these`

Bug: https://github.com/curl/curl-www/issues/19
Reported-by : Jay Satiro

mk-ca-bundle.vbs: Fix UTF-8 output

- Change initial message box to mention delay when downloading/parsing.

Since there is no progress meter it was somewhat unexpected that after
choosing a filename nothing appears to happen, when actually the cert
data is in the process of being downloaded and parsed.

- Warn if OpenSSL is not present.

- Use a UTF-8 stream to make the ca-bundle data.

- Save the UTF-8 ca-bundle stream as binary so that no BOM is added.

---

This is a follow-up to d2c6d15 which switched mk-ca-bundle.vbs output to
ANSI due to corrupt UTF-8 output, now fixed.

This change completes making the default certificate bundle output of
mk-ca-bundle.vbs as close as possible to that of mk-ca-bundle.pl, which
should make it easier to review any difference between their output.

Ref: https://github.com/curl/curl/pull/1012

BINDINGS: converted to markdown

To make it render better on the web site, at the price of it becoming
slightly less readable as text.

CURLMOPT_MAX_PIPELINE_LENGTH.3: Clarify it's not for HTTP/2

- Clarify that this option is only for HTTP/1.1 pipelining.

Bug: https://github.com/curl/curl/issues/1059
Reported-by: Jeroen Ooms
Assisted-by: Daniel Stenberg