RELEASE-NOTES: synced with ee8016b3d

curl: speed up handling of many URLs

By properly keeping track of the last entry in the list of URLs/uploads
to handle, curl now avoids many meaningless traverses of the list which
speeds up many-URL handling *MASSIVELY* (several magnitudes on 100K
URLs).

Added test 1291, to verify that it doesn't take ages - but we don't have
any detection of "too slow" command in the test suite.

Reported-by: arainchik on github
Fixes #1959
Closes #2052

curl: pass through [] in URLs instead of calling globbing error

Assisted-by: Per Lundberg
Fixes #2044
Closes #2046
Closes #2048

CURLOPT_INFILESIZE: accept -1

Regression since f121575

Reported-by: Petr Voytsik
Fixes #2047

url: fix CURLOPT_DNS_CACHE_TIMEOUT arg value check to allow -1

Prior to this change since f121575 (7.56.1+) CURLOPT_DNS_CACHE_TIMEOUT
erroneously rejected -1 with CURLE_BAD_FUNCTION_ARGUMENT.

http2: Fixed OOM handling in upgrade request

This caused the torture tests on test 1800 to fail.

tests: Fixed torture tests on tests 556 and 650

Test cleanup after OOM wasn't being consistently performed.

CURLOPT_MAXREDIRS: allow -1 as a value

... which is valid according to documentation. Regression since
f121575c0b5f.

Verified now in test 501.

Reported-by: cbartl on github
Fixes #2038
Closes #2039

include: remove conncache.h inclusion from where its not needed

url: fix CURLOPT_POSTFIELDSIZE arg value check to allow -1

.. also add same arg value check to CURLOPT_POSTFIELDSIZE_LARGE.

Prior to this change since f121575 (7.56.1+) CURLOPT_POSTFIELDSIZE
erroneously rejected -1 value with CURLE_BAD_FUNCTION_ARGUMENT.

Bug: https://curl.haxx.se/mail/lib-2017-11/0000.html
Reported-by: Andrew Lambert

cookie: avoid NULL dereference

... when expiring old cookies.

Reported-by: Pavel Gushchin
Fixes #2032
Closes #2035

memdebug: use send/recv signature for curl_dosend/curl_dorecv

This avoids build errors and warnings caused by implicit casts.

Closes https://github.com/curl/curl/pull/2031

mkhelp.pl: support reproducible build

Do not generate line with the current date, such as:

* Generation time: Tue Oct-24 18:01:41 2017

This will improve reproducibility. The generated string is only
part of a comment, so there should be no adverse consequences.

Signed-off-by: Juro Bystricky <juro.bystricky@intel.com>
closes #2026

runtests.pl: Fixed typo in message

curlx: the timeval functions are no longer provided as curlx_*

Pointed-out-by: Dmitri Tikhonov
Bug: #2034

select: update comments

s/curlx_tvnow/Curl_now

INTERNALS: remove curlx_tv* functions no longer provided

timeval: use mach time on MacOS

If clock_gettime() is not supported, use mach_absolute_time() on MacOS.

closes #2033

cli tool: improve ";type=" handling in -F option arguments

cli tool: in -F option arg, comma is a delimiter for files only

Also upgrade test 1133 to cover this case and clarify man page about
form data quoting.

Bug: https://github.com/curl/curl/issues/2022
Reported-By: omau on github

timeleft: made two more users of Curl_timeleft use timediff_t

cmake: Export libcurl and curl targets to use by other cmake projects

The config files define curl and libcurl targets as imported targets
CURL::curl and CURL::libcurl. For backward compatibility with CMake-
provided find-module the CURL_INCLUDE_DIRS and CURL_LIBRARIES are
also set.

Closes #1879

RELEASE-NOTES: synced with f20cbac97

auth: Added test cases for RFC7616

Updated docs to include support for RFC7616

Signed-off-by: Florin <petriuc.florin@gmail.com>
Closes #1934

auth: add support for RFC7616 - HTTP Digest access authentication

Signed-off-by: Florin <petriuc.florin@gmail.com>

TODO: support multiple Content-Encodings

Closes #2002

ROADMAP: cleanup

Removed done stuff. Removed entries no longer considered for the near
term.

ROADMAP.md: spelling fixes

Closes #2028

Curl_timeleft: change return type to timediff_t

returning 'time_t' is problematic when that type is unsigned and we
return values less than zero to signal "already expired", used in
several places in the code.

Closes #2021

appveyor: add a win32 build

setopt: fix CURLOPT_SSH_AUTH_TYPES option read

Regression since f121575c0b5f

Reported-by: Rob Cotrone

resolvers: only include anything if needed

This avoids warnings about unused stuff.

Closes https://github.com/curl/curl/pull/2023

HELP-US: rename the subtitle too since the label is changed

"PR-welcome" was the former name.

curl_setup.h: oops, shorten the too long line

curl_setup: Improve detection of CURL_WINDOWS_APP

If WINAPI_FAMILY is defined, it should be safe to try to include
winapifamily.h to check what the define evaluates to.

This should fix detection of CURL_WINDOWS_APP if building with
_WIN32_WINNT set to 0x0600.

Closes #2025

transfer: Fix chunked-encoding upload bug

- When uploading via chunked-encoding don't compare file size to bytes
  sent to determine whether the upload has finished.

Chunked-encoding adds its own overhead which why the bytes sent is not
equal to the file size. Prior to this change if a file was uploaded in
chunked-encoding and its size was known it was possible that the upload
could end prematurely without sending the final few chunks. That would
result in a server hang waiting for the remaining data, likely followed
by a disconnect.

The scope of this bug is limited to some arbitrary file sizes which have
not been determined. One size that triggers the bug is 475020.

Bug: https://github.com/curl/curl/issues/2001
Reported-by: moohoorama@users.noreply.github.com
Closes https://github.com/curl/curl/pull/2010

timeval: make timediff_t also work on 32bit windows

... by using curl_off_t for the typedef if time_t is larger than 4
bytes.

Reported-by: Gisle Vanem
Bug: https://github.com/curl/curl/commit/b9d25f9a6b3ca791385b80a6a3c3fa5ae113e1e0#co
mmitcomment-25205058
Closes #2019

curl_fnmatch: return error on illegal wildcard pattern

... instead of doing an infinite loop!

Added test 1162 to verify.

Reported-by: Max Dymond
Fixes #2015
Closes #2017

wildcards: don't use with non-supported protocols

Fixes timeouts in the fuzzing tests for non-FTP protocols.

Closes #2016

multi: allow table handle sizes to be overridden

Allow users to specify their own hash define for
CURL_CONNECTION_HASH_SIZE so that both values can be overridden.

Closes #1982

time: rename Curl_tvnow to Curl_now

... since the 'tv' stood for timeval and this function does not return a
timeval struct anymore.

Also, cleaned up the Curl_timediff*() functions to avoid typecasts and
clean up the descriptive comments.

Closes #2011

ftplistparser: follow-up cleanup to remove PL_ERROR()

ftplistparser: free off temporary memory always

When using the FTP list parser, ensure that the memory that's
allocated is always freed.

Detected by OSS-fuzz: https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=3682
Closes #2013

timediff: return timediff_t from the time diff functions

... to cater for systems with unsigned time_t variables.

- Renamed the functions to curlx_timediff and Curl_timediff_us.

- Added overflow protection for both of them in either direction for
  both 32 bit and 64 bit time_ts

- Reprefixed the curlx_time functions to use Curl_*

Reported-by: Peter Piekarski
Fixes #2004
Closes #2005

libtest: Add required test libraries for lib1552 and lib1553

They use $(TESTUTIL) and thus should use $(TESTUTIL_LIBS) too.

This fixes build failures on Fedora 13.

Closes #2006

libcurl-tutorial.3: fix typo

closes #2008

curl_mime_filedata.3: fix typos

RELEASE-NOTES: clean slate towards 7.57.0

travis: exit if any steps fail

We don't expect any steps to fail in travis. Exit the script if they do.

Closes #1966

RELEASE-NOTES: 7.56.1

THANKS: update at 7.56.1 release time

mk-ca-bundle: Remove URL for aurora

Aurora is no longer used by Mozilla
https://hacks.mozilla.org/2017/04/simplifying-firefox-release-channels/

mk-ca-bundle: Fix URL for NSS

The 'tip' is the most recent branch committed to, this should be
'default' like the URLs for the browser are.

Closes #1998

imap: if a FETCH response has no size, don't call write callback

CVE-2017-1000257

Reported-by: Brian Carpenter and 0xd34db347
Also detected by OSS-Fuzz: https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=3586

ftp: reject illegal IP/port in PASV 227 response

... by using range checks. Among other things, this avoids an undefined
behavior for a left shift that could happen on negative or very large
values.

Closes #1997

Detected by OSS-fuzz: https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=3694

test653: check reuse of easy handle after mime data change

See issue #1999

mime: do not reuse previously computed multipart size

The contents might have changed: size must be recomputed.

Reported-by: moteus on github
Fixes #1999

test308: disable if MultiSSL feature enabled

Even if OpenSSL is enabled, it might not be the default backend when
multi-ssl is enabled, causing the test to fail.

runtests: support MultiSSL client feature

vtls: change struct Curl_ssl `close' field name to `close_one'.

On OS/400, `close' is an ASCII system macro that corrupts the code if
not used in a context not targetting the close() system API.

os400: add missing symbols in config file.

Also adjust makefile to renamed files and warn about installation dirs mix-up.

test652: curl_mime_data + base64 encoder with large contents

mime: limit bas64-encoded lines length to 76 characters

RELEASE-NOTES: synced with f121575c0

setopt: range check most long options

... filter early instead of risking "funny values" having to be dealt
with elsewhere.

setopt: avoid integer overflows when setting millsecond values

... that are multiplied by 1000 when stored.

For 32 bit long systems, the max value accepted (2147483 seconds) is >
596 hours which is unlikely to ever be set by a legitimate application -
and previously it didn't work either, it just caused undefined behavior.

Also updated the man pages for these timeout options to mention the
return code.

Closes #1938

makefile.m32: allow to override gcc, ar and ranlib

Allow to ovverride certain build tools, making it possible to
use LLVM/Clang to build curl. The default behavior is unchanged.
To build with clang (as offered by MSYS2), these settings can
be used:

CURL_CC=clang
CURL_AR=llvm-ar
CURL_RANLIB=llvm-ranlib

Closes https://github.com/curl/curl/pull/1993

ldap: silence clang warning

Use memset() to initialize a structure to avoid LLVM/Clang warning:
ldap.c:193:39: warning: missing field 'UserLength' initializer [-Wmissing-field-initializers]

Closes https://github.com/curl/curl/pull/1992

runtests: use valgrind for torture as well

NOTE: it makes them terribly slow. I recommend only using valgrind for
specific torture tests or using lots of patience.

memdebug: trace send, recv and socket

... to allow them to be included in torture tests too.

closes #1980

configure: remove the C++ compiler check

... we used it only for the fuzzer, which we now have in a separate git
repo.

Closes #1990

mime: do not call failf() if easy handle is NULL.

test651: curl_formadd with huge COPYCONTENTS

mime: fix the content reader to handle >16K data properly

Reported-by: Jeroen Ooms
Closes #1988

mime: keep "text/plain" content type if user-specified.

Include test cases in 554, 587, 650.

Fixes https://github.com/curl/curl/issues/1986

cli tool: use file2memory() to buffer stdin in -F option.

Closes PR https://github.com/curl/curl/pull/1985

cli tool: reimplement stdin buffering in -F option.

If stdin is not a regular file, its content is memory-buffered to enable
a possible data "rewind".
In all cases, stdin data size is determined before real use to avoid
having an unknown part's size.

--libcurl generated code is left as an unbuffered stdin fread/fseek callback
part with unknown data size.

Buffering is not supported in deprecated curl_formadd() API.

winbuild/BUILD.WINDOWS.txt: mention WITH_NGHTTP2

HELP-US: the label "PR-welcome" is now renamed to "help wanted"

following the new github "standard"

RELEASE-NOTES: synced with 5505df7d2

url: Update current connection SSL verify params in setopt

Now VERIFYHOST, VERIFYPEER and VERIFYSTATUS options change during active
connection updates the current connection's (i.e.'connectdata'
structure) appropriate ssl_config (and ssl_proxy_config) structures
variables, making these options effective for ongoing connection.

This functionality was available before and was broken by the
following change:
"proxy: Support HTTPS proxy and SOCKS+HTTP(s)"
CommitId: cb4e2be7c6d42ca0780f8e0a747cecf9ba45f151.

Bug: https://github.com/curl/curl/issues/1941

Closes https://github.com/curl/curl/pull/1951

openssl: don't use old BORINGSSL_YYYYMM macros

Those were temporary things we'd add and remove for our own convenience
long ago. The last few stayed around for too long as an oversight but
have since been removed. These days we have a running
BORINGSSL_API_VERSION counter which is bumped when we find it
convenient, but 2015-11-19 was quite some time ago, so just check
OPENSSL_IS_BORINGSSL.

Closes #1979

test950; verify SMTP with custom request

ftpserver: support case insensitive commands

smtp_done: free data before returning (on send failure)

... as otherwise it could leak that memory.

Detected by OSS-fuzz:
https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=3600

Assisted-by: Max Dymond
Closes #1977

FTP: URL decode path for dir listing in nocwd mode

Reported-by: Zenju on github
Test 244 added to verify
Fixes #1974
Closes #1976

test298: verify --ftp-method nowcwd with URL encoded path

Ref: #1974

CURLOPT_XFERINFODATA.3: fix duplicate see also

CURLOPT_NOPROGRESS.3: also refer to xferinfofunction

FAQ: s/CURLOPT_PROGRESSFUNCTION/CURLOPT_XFERINFOFUNCTION

openssl: enable PKCS12 support for !BoringSSL

Enable PKCS12 for all non-boringssl builds without relying on configure
or cmake checks.

Bug: https://curl.haxx.se/mail/lib-2017-10/0007.html
Reported-by: Christian Schmitz
Closes #1948

curl: don't pass semicolons when parsing Content-Disposition

Test 1422 updated to verify.

Closes #1964

mime: properly unbind mime structure in curl_mime_free().

This allows freeing a mime structure bound to the easy handle before
curl_easy_cleanup().

Fixes #1970.

RTSP: avoid integer overflow on funny RTSP response

... like a very large non-existing RTSP version number.

Added test 577 to verify.

Detected by OSS-fuzz.
Closes #1969

ftpserver: properly reset $ftptargetdir.

test643: verify curl_mime_subparts() rejects cyclic additions.

mime: refuse to add subparts to one of their own descendants.

Reported-by: Alexey Melnichuk
Fixes #1962

mime: avoid resetting a part's encoder when part's contents change.

mime: improve unbinding top multipart from easy handle.

Also avoid dangling pointers in referencing parts.

RELEASE-NOTES: synced with a4c1c75da30af1