RELEASE-NOTES: synced

curl_ntlm_wb: check aprintf() return codes

... when they return NULL we're out of memory and MUST return failure.

closes #3111

docs/BUG-BOUNTY: proposed additional docs

Bug bounty explainer. See https://bountygraph.com/programs/curl

Closes #3067

hostip: fix check on Curl_shuffle_addr return value

Closes #3110

FILE: fix CURLOPT_NOBODY and CURLOPT_HEADER output

Now FILE transfers send headers to the header callback like HTTP and
other protocols. Also made curl_easy_getinfo(...CURLINFO_PROTOCOL...)
work for FILE in the callbacks.

Makes "curl -i file://.." and "curl -I file://.." work like before
again. Applied the bold header logic to them too.

Regression from c1c2762 (7.61.0)

Reported-by: Shaun Jackman
Fixes #3083
Closes #3101

gskit: make sure to terminate version string

In case a very small buffer was passed to the version function, it could
result in the buffer not being NULL-terminated since strncpy() doesn't
guarantee a terminator on an overflowed buffer. Rather than adding code
to terminate (and handle zero-sized buffers), move to using snprintf()
instead like all the other vtls backends.

Closes #3105
Reviewed-by: Daniel Stenberg <daniel@haxx.se>
Reviewed-by: Viktor Szakats <commit@vszakats.net>

TODO: add LD_PRELOAD support on macOS

Add DYLD_INSERT_LIBRARIES support to the TODO list. Reported in #2394.

runtests: skip ld_preload tests on macOS

The LD_PRELOAD functionality doesn't exist on macOS, so skip any tests
requiring it.

Fixes #2394
Closes #3106
Reported-by: Github user @jakirkham
Reviewed-by: Daniel Stenberg <daniel@haxx.se>

AppVeyor: use Debug builds to run tests

This enables more tests.

Closes https://github.com/curl/curl/pull/3104

AppVeyor: add HTTP_ONLY build

Closes https://github.com/curl/curl/pull/3104

AppVeyor: add WinSSL builds

Use the oldest and latest Windows SDKs for them.
Also, remove all but one OpenSSL build.

Closes https://github.com/curl/curl/pull/3104

AppVeyor: add remaining Visual Studio versions

This adds Visual Studio 9 and 10 builds.
There's no 64-bit VC9 compiler on AppVeyor, so use it as the Win32
build. Also, VC9 cannot be used for running the test suite.

Closes https://github.com/curl/curl/pull/3104

AppVeyor: break long line

Closes https://github.com/curl/curl/pull/3104

AppVeyor: remove unused BDIR variable

Closes https://github.com/curl/curl/pull/3104

test2100: test DoH using IPv4-only

To make it only send one DoH request and avoid the race condition that
could lead to the requests getting sent in reversed order and thus
making it hard to compare in the test case.

Fixes #3107
Closes #3108

tests/FILEFORMAT: mention how to use <fileN> and <stripfileN> too

[ci skip]

RELEASE-NOTES: synced

timeval: fix use of weak symbol clock_gettime() on Apple platforms

Closes #3048

doh: keep the IPv4 address in (original) network byte order

Ideally this will fix the reversed order shown in SPARC tests:

  resp 8: Expected 127.0.0.1 got 1.0.0.127

Closes #3091

INTERNALS.md: wrap lines longer than 79

INTERNALS: escape reference to parameter

The parameter reference <string> was causing rendering issues in the
generated HTML page, as <string> isn't a valid HTML tag. Fix by back-
tick escaping it.

Closes #3099
Reviewed-by: Jay Satiro <raysatiro@yahoo.com>
Reviewed-by: Daniel Stenberg <daniel@haxx.se>

checksrc: handle zero scoped ignore commands

If a !checksrc! disable command specified to ignore zero errors, it was
still added to the ignore block even though nothing was ignored. While
there were no blocks ignored that shouldn't be ignored, the processing
ended with with a warning:

<filename>:<line>:<col>: warning: Unused ignore: LONGLINE (UNUSEDIGNORE)
 /* !checksrc! disable LONGLINE 0 */
                    ^
Fix by instead treating a zero ignore as a a badcommand and throw a
warning for that one.

Closes #3096
Reviewed-by: Daniel Stenberg <daniel@haxx.se>

checksrc: enable strict mode and warnings

Enable strict and warnings mode for checksrc to ensure we aren't missing
anything due to bugs in the checking code. This uncovered a few things
which are all fixed in this commit:

* several variables were used uninitialized
* several variables were not defined in the correct scope
* the whitelist filehandle was read even if the file didn't exist
* the enable_warn() call when a disable counter had expired was passing
  incorrect variables, but since the checkwarn() call is unlikely to hit
  (the counter is only decremented to zero on actual ignores) it didn't
  manifest a problem.

Closes #3090
Reviewed-by: Daniel Stenberg <daniel@haxx.se>
Reviewed-by: Marcel Raad <Marcel.Raad@teamviewer.com>

CMake: suppress MSVC warning C4127 for libtest

It's issued by older Windows SDKs (prior to version 8.0).

Merge branch 'dmitrykos-fix_missing_CMake_defines'

cmake: test and set missed defines during configuration

Added configuration checks for HAVE_BUILTIN_AVAILABLE and HAVE_CLOCK_GETTIME_MONOTONIC.

Closes #3097

AppVeyor: disable test 500

It almost always results in
"starttransfer vs total: 0.000001 0.000000".
I cannot reproduce this locally, so disable it for now.

Closes https://github.com/curl/curl/pull/3100

AppVeyor: set custom install prefix

CMake's default has spaces and in 32-bit mode parentheses, which result
in syntax errors in curl-config.

Closes https://github.com/curl/curl/pull/3100

AppVeyor: Remove non-SSL non-test builds

They don't add much value.

Closes https://github.com/curl/curl/pull/3100

AppVeyor: run test suite

Use the preinstalled MSYS2 bash for that.
Disable test 1139 as the CMake build doesn't generate curl.1.

Ref: https://github.com/curl/curl/issues/3070#issuecomment-425922224
Closes https://github.com/curl/curl/pull/3100

AppVeyor: use in-tree build

Required to run the tests.

Closes https://github.com/curl/curl/pull/3100

doh: make sure TTL isn't re-inited by second (discarded?) response

Closes #3092

test320: strip out more HTML when comparing

To make the test case work with different gnutls-serv versions better.

Reported-by: Kamil Dudka
Fixes #3093
Closes #3094

runtests: use Windows paths for Windows curl

curl generated by CMake's Visual Studio generator has "Windows" in the
version number.

tests/negtelnetserver.py: fix Python2-ism in neg TELNET server

Fix problems caused by differences in treatment of bytes objects between
python2 and python3.

Fixes #2929
Closes #3080

memory: ensure to check allocation results

The result of a memory allocation should always be checked, as we may
run under memory pressure where even a small allocation can fail. This
adds checking and error handling to a few cases where the allocation
wasn't checked for success. In the ftp case, the freeing of the path
variable is moved ahead of the allocation since there is little point
in keeping it around across the strdup, and the separation makes for
more readable code. In nwlib, the lock is aslo freed in the error path.

Also bumps the copyright years on affected files.

Closes #3084
Reviewed-by: Jay Satiro <raysatiro@yahoo.com>
Reviewed-by: Daniel Stenberg <daniel@haxx.se>

comment: Fix multiple typos in function parameters

Ensure that the parameters in the comment match the actual names in the
prototype.

Closes #3079
Reviewed-by: Daniel Stenberg <daniel@haxx.se>

CURLOPT_SSLVERSION.3: fix typos and consistent spelling

Use TLS vX.Y throughout the document, instead of TLS X.Y, as that was
already done in all but a few cases. Also fix a few typos.

Closes #3076
Reviewed-by: Marcel Raad <Marcel.Raad@teamviewer.com>
Reviewed-by: Daniel Stenberg <daniel@haxx.se>

SECURITY-PROCESS: make links into hyperlinks

Use proper Markdown hyperlink format for the Bountygraph links in order
for the generated website page to be more user friendly. Also link to
the sponsors to give them a little extra credit.

Closes #3082
Reviewed-by: Daniel Stenberg <daniel@haxx.se>

CURLOPT_HEADER.3: fix typo

nss: fix nssckbi module loading on Windows

- Use .DLL extension instead of .so to load modules on Windows.

Bug: https://curl.haxx.se/mail/lib-2018-09/0077.html
Reported-by: Maxime Legros
Ref: https://github.com/curl/curl/pull/3016/#issuecomment-423069442

Closes https://github.com/curl/curl/pull/3086

data-binary.d: clarify default content-type is x-www-form-urlencoded

- Advise user that --data-binary sends a default content type of
  x-www-form-urlencoded, and to have the data treated as arbitrary
  binary data by the server set the content-type header to octet-stream.

Ref: https://github.com/curl/curl/pull/2852#issuecomment-426465094

Closes https://github.com/curl/curl/pull/3085

test1299: use single quotes around asterisk

Ref: https://github.com/curl/curl/issues/1751#issuecomment-321522580

docs/CIPHERS: mention the colon separation for OpenSSL

Bug: #3077

runtests: ignore disabled even when ranges are given

runtests.pl support running a range of tests, like "44 to 127". Starting
now, the code makes sure that even such given ranges will ignore tests
that are marked as disabled.

Disabled tests can still be run by explictly specifying that test
number.

Closes #3075

urlapi: starting with a drive letter on win32 is not an abs url

... and libcurl doesn't support any single-letter URL schemes (if there
even exist any) so it should be fairly risk-free.

Reported-by: Marcel Raad
Fixes #3070
Closes #3071

doh: fix curl_easy_setopt argument type

CURLOPT_POSTFIELDSIZE is long. Fixes a compiler warning on 64-bit
MinGW.

RELEASE-NOTES: synced

CMake: Improve config installation

Use 'GNUInstallDirs' standard module to set destinations of installed
files.

Use uppercase "CURL" names instead of lowercase "curl" to match standard
'FindCURL.cmake' CMake module:
* https://cmake.org/cmake/help/latest/module/FindCURL.html

Meaning:
* Install 'CURLConfig.cmake' instead of 'curl-config.cmake'
* User should call 'find_package(CURL)' instead of 'find_package(curl)'

Use 'configure_package_config_file' function to generate
'CURLConfig.cmake' file. This will make 'curl-config.cmake.in' template
file smaller and handle components better.  E.g.  current configuration
report no error if user specified unknown components (note: new
configuration expects no components, report error if user will try to
specify any).

Closes https://github.com/curl/curl/pull/2849

test1650: make it depend on http/2

Follow-up to 570008c99da0ccbb as it gets link errors.

Reported-by: Michael Kaufmann
Closes #3068

MANUAL: minor grammar fix

Noticed a typo reading through the docs.

Closes #3069

doh: only build if h2 enabled

The DoH spec says "HTTP/2 [RFC7540] is the minimum RECOMMENDED version
of HTTP for use with DoH".

Reported-by: Marcel Raad
Closes #3066

test2100: require http2 to run

Reported-by: Marcel Raad
Fixes #3064
Closes #3065

multi: fix memory leak in content encoding related error path

... a missing multi_done() call.

Credit to OSS-Fuzz
Bug: https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=10728
Closes #3063

travis: bump the Secure Transport build to use xcode 10

Due to an issue with travis
(https://github.com/travis-ci/travis-ci/issues/9956) we've been using
Xcode 9.2 for darwinssl builds for a while. Now xcode 10 is offered as
an alternative and as it builds curl+darwinssl fine that seems like a
better choice.

Closes #3062

curl: enabled Windows VT Support and UTF-8 output

Enabled Console VT support (if running OS supports VT) in tool_main.c.

Fixes #3008
Closes #3011

multi: fix location URL memleak in error path

Follow-up to #3044 - fix a leak OSS-Fuzz detected
Closes #3057

cmake: fixed path used in generation of docs/tests during curl build through add_subdicectory(...)

cmake: Backport to work with CMake 3.0 again

Changes in commit 7867aaa9a0 (cmake: link curl to the OpenSSL targets
instead of lib absolute paths, 2018-07-17) and commit f826b4ce98 (cmake:
bumped minimum version to 3.4, 2018-07-19) required CMake 3.4 to fix
issue #2746.  This broke support for users on older versions of CMake
even if they just want to build curl and do not care whether transitive
dependencies work.

Backport the logic to work with CMake 3.0 again by implementing the
fix only when the version of CMake is at least 3.4.

curl_threads: fix classic MinGW compile break

Classic MinGW still has _beginthreadex's return type as unsigned long
instead of uintptr_t [0]. uintptr_t is not even defined because of [1].

[0] https://sourceforge.net/p/mingw/mingw-org-wsl/ci/wsl-5.1-release/tree/mingwrt/include/process.h#l167
[1] https://sourceforge.net/p/mingw/mingw-org-wsl/ci/wsl-5.1-release/tree/mingwrt/include/process.h#l90

Bug: https://github.com/curl/curl/issues/2924#issuecomment-424334807
Closes https://github.com/curl/curl/pull/3051

configure: s/AC_RUN_IFELSE/CURL_RUN_IFELSE

fix a few leftovers

Fixes #3006
Closes #3049

example/htmltidy: fix include paths of tidy libraries

Closes #3050

RELEASE-NOTES: synced

Curl_http2_done: fix memleak in error path

Free 'header_recvbuf' unconditionally even if 'h2' isn't (yet) set, for
early failures.

Detected by OSS-Fuzz

Bug: https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=10669
Closes #3046

http: fix memleak in rewind error path

If the rewind would fail, a strdup() would not get freed.

Detected by OSS-Fuzz

Bug: https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=10665
Closes #3044

test320: fix regression in [ci skip]

The value in question is coming directly from `gnutls-serv`, so it cannot
be modified freely.

Reported-by: Marcel Raad
Ref: https://github.com/curl/curl/commit/6ae6b2a533e8630afbb21f570305bd4ceece6348#commitcomment-30621004

Curl_retry_request: fix memory leak

Detected by OSS-Fuzz

Bug: https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=10648
Closes #3042

openssl: load built-in engines too

Regression since 38203f1

Reported-by: Jean Fabrice
Fixes #3023
Closes #3040

OpenSSL: enable TLS 1.3 post-handshake auth

OpenSSL 1.1.1 requires clients to opt-in for post-handshake
authentication.

Fixes: https://github.com/curl/curl/issues/3026
Signed-off-by: Christian Heimes <christian@python.org>
Closes https://github.com/curl/curl/pull/3027

Curl_dedotdotify(): always nul terminate returned string.

This fixes potential out-of-buffer access on "file:./" URL

$ valgrind curl "file:./"
==24516== Memcheck, a memory error detector
==24516== Copyright (C) 2002-2015, and GNU GPL'd, by Julian Seward et al.
==24516== Using Valgrind-3.11.0 and LibVEX; rerun with -h for copyright info
==24516== Command: /home/even/install-curl-git/bin/curl file:./
==24516==
==24516== Conditional jump or move depends on uninitialised value(s)
==24516==    at 0x4C31F9C: strcmp (in /usr/lib/valgrind/vgpreload_memcheck-amd64-linux.so)
==24516==    by 0x4EBB315: seturl (urlapi.c:801)
==24516==    by 0x4EBB568: parseurl (urlapi.c:861)
==24516==    by 0x4EBC509: curl_url_set (urlapi.c:1199)
==24516==    by 0x4E644C6: parseurlandfillconn (url.c:2044)
==24516==    by 0x4E67AEF: create_conn (url.c:3613)
==24516==    by 0x4E68A4F: Curl_connect (url.c:4119)
==24516==    by 0x4E7F0A4: multi_runsingle (multi.c:1440)
==24516==    by 0x4E808E5: curl_multi_perform (multi.c:2173)
==24516==    by 0x4E7558C: easy_transfer (easy.c:686)
==24516==    by 0x4E75801: easy_perform (easy.c:779)
==24516==    by 0x4E75868: curl_easy_perform (easy.c:798)

Was originally spotted by
https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=10637
Credit to OSS-Fuzz

Closes #3039

update URLs in tests

- and one in docs/MANUAL as well

Closes https://github.com/curl/curl/pull/3038

whitespace fixes

- replace tabs with spaces where possible
- remove line ending spaces
- remove double/triple newlines at EOF
- fix a non-UTF-8 character
- cleanup a few indentations/line continuations
  in manual examples

Closes https://github.com/curl/curl/pull/3037

http: add missing return code check

Detected by Coverity. CID 1439610.

Follow-up from 46e164069d1a523

Closes #3034

ftp: don't access pointer before NULL check

Detected by Coverity. CID 1439611.

Follow-up from 46e164069d1a523

unit1650: fix out of boundary access

Fixes #2987
Closes #3035

docs/examples: URL updates

- also update two URLs outside of docs/examples
- fix spelling of filename persistant.c
- fix three long lines that started failing checksrc.pl

Closes https://github.com/curl/curl/pull/3036

examples/Makefile.m32: sync with core [ci skip]

also:
- fix two warnings in synctime.c (one of them Windows-specific)
- upgrade URLs in synctime.c and remove a broken one

Closes https://github.com/curl/curl/pull/3033

examples/parseurl.c: show off the URL API a bit

Closes #3030

SECURITY-PROCESS: mention the bountygraph program [ci skip]

Closes #3032

url: use the URL API internally as well

... to make it a truly unified URL parser.

Closes #3017

URL and mailmap updates, remove an obsolete directory [ci skip]

Closes https://github.com/curl/curl/pull/3031

RELEASE-NOTES: synced

configure: force-use -lpthreads on HPUX

When trying to detect pthreads use on HPUX the checks will succeed
without the correct -l option but then end up failing at run-time.

Reported-by: Eason-Yu on github
Fixes #2697
Closes #3025

Curl_saferealloc: Fixed typo in docblock

Closes #3029

urlapi: fix support for address scope in IPv6 numerical addresses

Closes #3024

GnutTLS: TLS 1.3 support

Closes #2971

TODO: c-ares and CURLOPT_OPENSOCKETFUNCTION

Removed DoH.

Closes #2734

vtls: fix ssl version "or later" behavior change for many backends

- Treat CURL_SSLVERSION_MAX_NONE the same as
  CURL_SSLVERSION_MAX_DEFAULT. Prior to this change NONE would mean use
  the minimum version also as the maximum.

This is a follow-up to 6015cef which changed the behavior of setting
the SSL version so that the requested version would only be the minimum
and not the maximum. It appears it was (mostly) implemented in OpenSSL
but not other backends. In other words CURL_SSLVERSION_TLSv1_0 used to
mean use just TLS v1.0 and now it means use TLS v1.0 *or later*.

- Fix CURL_SSLVERSION_MAX_DEFAULT for OpenSSL.

Prior to this change CURL_SSLVERSION_MAX_DEFAULT with OpenSSL was
erroneously treated as always TLS 1.3, and would cause an error if
OpenSSL was built without TLS 1.3 support.

Co-authored-by: Daniel Gustafsson
Fixes https://github.com/curl/curl/issues/2969
Closes https://github.com/curl/curl/pull/3012

certs: generate tests certs with sha256 digest algorithm

As OpenSSL 1.1.1 starts to complain and fail on sha1 CAs:

"SSL certificate problem: CA signature digest algorithm too weak"

Closes #3014

urlapi: document the error codes, remove two unused ones

Assisted-by: Daniel Gustafsson
Closes #3019

urlapi: add CURLU_GUESS_SCHEME and fix hostname acceptance

In order for this API to fully work for libcurl itself, it now offers a
CURLU_GUESS_SCHEME flag that makes it "guess" scheme based on the host
name prefix just like libcurl always did. If there's no known prefix, it
will guess "http://".

Separately, it relaxes the check of the host name so that IDN host names
can be passed in as well.

Both these changes are necessary for libcurl itself to use this API.

Assisted-by: Daniel Gustafsson
Closes #3018

nss: try to connect even if libnssckbi.so fails to load

One can still use CA certificates stored in NSS database.

Reported-by: Maxime Legros
Bug: https://curl.haxx.se/mail/lib-2018-09/0077.html

Closes #3016

urlapi: don't set value which is never read

In the CURLUPART_URL case, there is no codepath which invokes url
decoding so remove the assignment of the urldecode variable. This
fixes the deadstore bug-report from clang static analysis.

Closes #3015
Reviewed-by: Daniel Stenberg <daniel@haxx.se>

todo: Update reference to already done item

TODO item 1.1 was implemented in commit 946ce5b61f, update reference
to it with instead referencing the implemented option.

Closes #3013
Reviewed-by: Daniel Stenberg <daniel@haxx.se>

RELEASE-NOTES: synced

cmake: don't require OpenSSL if USE_OPENSSL=OFF

User must have OpenSSL installed even if not used by libcurl at all
since 7.61.1 release.  Broken at
7867aaa9a01decf93711428462335be8cef70212

Reviewed-by: Sergei Nikulov
Closes #3001

curl_multi_wait: call getsock before figuring out timeout

.... since getsock may update the expiry timer.

Fixes #2996
Closes #3000

examples/http2-pushinmemory: receive HTTP/2 pushed files in memory

Closes #3004

darwinssl: Fix realloc memleak

The reallocation was using the input pointer for the return value, which
leads to a memory leak on reallication failure. Fix by instead use the
safe internal API call Curl_saferealloc().

Closes #3005
Reviewed-by: Daniel Stenberg <daniel@haxx.se>
Reviewed-by: Nick Zitzmann <nickzman@gmail.com>

examples: Fix memory leaks from realloc errors

Make sure to not overwrite the reallocated pointer in realloc() calls
to avoid a memleak on memory errors.