curl: fixed UTF-8 in current console code page (Windows)

Fixes #3211
Fixes #3175
Closes #3212

TODO: 2.6 multi upkeep

Closes #3199

unittest: make 1652 stable across collations

The previous coding used a format string whose output depended on the
current locale of the environment running the test. Since the gist of
the test is to have a format string, with the actual formatting being
less important, switch to a more stable formatstring with decimals.

Reported-by: Marcel Raad
Closes #3234
Reviewed-by: Daniel Stenberg <daniel@haxx.se>
Reviewed-by: Marcel Raad <Marcel.Raad@teamviewer.com>

Revert "url: a short host name + port is not a scheme"

This reverts commit 226cfa8264cd979eff3fd52c0f3585ef095e7cf2.

This commit caused test failures on appveyor/windows. Work on fixing them is
in #3235.

symbols-in-versions: add missing CURLU_ symbols

...and fix symbol-scan.pl to also scan urlapi.h

Reported-by: Alexey Melnichuk
Fixes #3226
Closes #3230

infof: clearly indicate truncation

The internal buffer in infof() is limited to 2048 bytes of payload plus
an additional byte for NULL termination. Servers with very long error
messages can however cause truncation of the string, which currently
isn't very clear, and leads to badly formatted output.

This appends a "...\n" (or just "..." in case the format didn't with a
newline char) marker to the end of the string to clearly show
that it has been truncated.

Also include a unittest covering infof() to try and catch any bugs
introduced in this quite important function.

Closes #3216
Reviewed-by: Daniel Stenberg <daniel@haxx.se>
Reviewed-by: Marcel Raad <Marcel.Raad@teamviewer.com>

tool_getparam: fix some comments

url: a short host name + port is not a scheme

The function identifying a leading "scheme" part of the URL considered a few
letters ending with a colon to be a scheme, making something like "short:80"
to become an unknown scheme instead of a short host name and a port number.

Extended test 1560 to verify.

Reported-by: Hagai Auro
Fixes #3220
Closes #3223

URL: fix IPv6 numeral address parser

Regression from 46e164069d1a52. Extended test 1560 to verify.

Reported-by: tpaukrt on github
Fixes #3218
Closes #3219

travis: remove curl before a normal build

on Linux. To make sure the test suite runs with its newly build tool and
doesn't require an external one present.

Bug: #3198
Closes #3200

mprintf: avoid unsigned integer overflow warning

The overflow has no real world impact.
Just avoid it for "best practice".

Code change suggested by "The Infinnovation Team" and Daniel Stenberg.
Closes #3184

Curl_follow: accept non-supported schemes for "fake" redirects

When not actually following the redirect and the target URL is only
stored for later retrieval, curl always accepted "non-supported"
schemes. This was a regression from 46e164069d1a5230.

Reported-by: Brad King
Fixes #3210
Closes #3215

openvms: fix example name

Commit efc696a2e09225bfeab4 renamed persistant.c to persistent.c to
fix the typo in the name, but missed to update the OpenVMS package
files which still looked for the old name.

Closes #3217
Reviewed-by: Daniel Stenberg <daniel@haxx.se>
Reviewed-by: Viktor Szakats <commit@vszakats.net>

configure: show CFLAGS, LDFLAGS etc in summary

To make it easier to understand other people's and remote builds etc.

Closes #3207

version: bump for next cycle

axtls: removed

As has been outlined in the DEPRECATE.md document, the axTLS code has
been disabled for 6 months and is hereby removed.

Use a better supported TLS library!

Assisted-by: Daniel Gustafsson
Closes #3194

schannel: make CURLOPT_CERTINFO support using Issuer chain

Closes #3197

travis: build with sanitize=address,undefined,signed-integer-overflow

... using clang

Closes #3190

schannel: use Curl_ prefix for global private symbols

Curl_verify_certificate() must use the Curl_ prefix since it is globally
available in the lib and otherwise steps outside of our namespace!

Closes #3201

tests: drop http_pipe.py script no longer used

It is unused since commit f7208df7d9d5cd5e15e2d89237e828f32b63f135.

Closes #3204

runtests: use the local curl for verifying

... revert the mistaken change brought in commit 8440616f53.

Reported-by: Alessandro Ghedini
Bug: https://curl.haxx.se/mail/lib-2018-10/0118.html

Closes #3198

RELEASE-NOTES: 7.62.0

THANKS: 7.62.0 status

vtls: add MesaLink to curl_sslbackend enum

MesaLink support was added in commit 57348eb97d1b8fc3742e02c but the
backend was never added to the curl_sslbackend enum in curl/curl.h.
This adds the new backend to the enum and updates the relevant docs.

Closes #3195
Reviewed-by: Daniel Stenberg <daniel@haxx.se>

cmake: Remove unused CURL_CONFIG_HAS_BEEN_RUN_BEFORE variable

Closes #3191

test2080: verify the fix for CVE-2018-16842

voutf: fix bad arethmetic when outputting warnings to stderr

CVE-2018-16842
Reported-by: Brian Carpenter
Bug: https://curl.haxx.se/docs/CVE-2018-16842.html

cmake: uniform ZLIB to use USE_ variable and clean curl-config.cmake.in

Closes #3123

cmake: add find_dependency call for ZLIB to CMake config file

cmake: add support for transitive ZLIB target

unit1650: fix "null pointer passed as argument 1 to memcmp"

Detected by UndefinedBehaviorSanitizer

Closes #3187

travis: add a "make tidy" build that runs clang-tidy

Closes #3182

unit1300: fix stack-use-after-scope AddressSanitizer warning

Closes #3186

Curl_auth_create_plain_message: fix too-large-input-check

CVE-2018-16839
Reported-by: Harry Sintonen
Bug: https://curl.haxx.se/docs/CVE-2018-16839.html

Curl_close: clear data->multi_easy on free to avoid use-after-free

Regression from b46cfbc068 (7.59.0)
CVE-2018-16840
Reported-by: Brian Carpenter (Geeknik Labs)
Bug: https://curl.haxx.se/docs/CVE-2018-16840.html

system.h: use proper setting with Sun C++ as well

system.h selects the proper Sun settings when __SUNPRO_C is defined. The
Sun compiler does not define it when compiling C++ files.  I'm adding a
check also on __SUNPRO_CC to allow curl to work properly also when used
in a C++ project on Sun Solaris.

Closes #3181

rand: add comment to skip a clang-tidy false positive

test1651: unit test Curl_extract_certinfo()

The version used for Gskit, NSS, GnuTLS, WolfSSL and schannel.

x509asn1: always check return code from getASN1Element()

Makefile: add 'tidy' target that runs clang-tidy

Available in the root, src and lib dirs.

Closes #3163

RELEASE-PROCEDURE: adjust the release dates

See: https://curl.haxx.se/mail/lib-2018-10/0107.html

x509asn1: suppress left shift on signed value

Use an unsigned variable: as the signed operation behavior is undefined,
this change silents clang-tidy about it.

Ref: https://github.com/curl/curl/pull/3163
Reported-By: Daniel Stenberg

multi: Fix error handling in the SENDPROTOCONNECT state

If Curl_protocol_connect() returns an error code,
handle the error instead of switching to the next state.

Closes #3170

RELEASE-NOTES: synced

openssl: output the correct cipher list on TLS 1.3 error

When failing to set the 1.3 cipher suite, the wrong string pointer would
be used in the error message. Most often saying "(nil)".

Reported-by: Ricky-Tigg on github
Fixes #3178
Closes #3180

docs/CIPHERS: fix the TLS 1.3 cipher names

... picked straight from the OpenSSL man page:
https://www.openssl.org/docs/manmaster/man3/SSL_CTX_set_ciphersuites.html

Reported-by: Ricky-Tigg on github
Bug: #3178

travis: install gnutls-bin package

This is required for gnutls-serv, which enables a few more tests.

Closes https://github.com/curl/curl/pull/2958

ssh: free the session on init failures

Ensure to clear the session object in case the libssh2 initialization
fails.

It could be argued that the libssh2 error function should be called to
get a proper error message in this case. But since the only error path
in libssh2_knownhost_init() is memory a allocation failure it's safest
to avoid since the libssh2 error handling allocates memory.

Closes #3179
Reviewed-by: Daniel Stenberg <daniel@haxx.se>

docs/RELEASE-PROCEDURE: remove old entries, modify the Dec 2018 date

... I'm moving it up one week due to travels. The rest stays.

openssl: make 'done' a proper boolean

Closes #3176

gtls: Values stored to but never read

Detected by clang-tidy

Closes #3176

curl.1: --ipv6 mutexes ipv4 (fixed typo)

Fixes #3171
Closes #3172

tool_main: make TerminalSettings static

Reported-by: Gisle Vanem
Bug: https://github.com/curl/curl/commit/becfe1233ff2b6b0c3e1b6a10048b55b68c2539f#commitcomment-31008819
Closes #3161

curl-config.in: remove dependency on bc

Reported-by: Dima Pasechnik
Fixes #3143
Closes #3174

rtmp: fix for compiling with lwIP

Compiling on _WIN32 and with USE_LWIPSOCK, causes this error:
  curl_rtmp.c(223,3):  error: use of undeclared identifier 'setsockopt'
    setsockopt(r->m_sb.sb_socket, SOL_SOCKET, SO_RCVTIMEO,
    ^
  curl_rtmp.c(41,32):  note: expanded from macro 'setsockopt'
  #define setsockopt(a,b,c,d,e) (setsockopt)(a,b,c,(const char *)d,(int)e)
                                 ^
Closes #3155

configure: remove CURL_CONFIGURE_CURL_SOCKLEN_T

Follow-up to #3166 which did the cmake part of this. This type/define is
not used.

Closes #3168

cmake: remove unused variables

Remove variables:
* HAVE_SOCKLEN_T
* CURL_SIZEOF_CURL_SOCKLEN_T
* CURL_TYPEOF_CURL_SOCKLEN_T

Closes #3166

urldata: Fix comment in header

The "connecting" function is used by multiple protocols, not only FTP

netrc: free temporary strings if memory allocation fails

- Change the inout parameters after all needed memory has been
  allocated. Do not change them if something goes wrong.
- Free the allocated temporary strings if strdup() fails.

Closes #3122

config: Remove unused SIZEOF_VOIDP

Closes #3162

RELEASE-NOTES: synced

Fix for compiling with lwIP (3)

lwIP on Windows does not have a WSAIoctl() function.
But it do have a SO_SNDBUF option to lwip_setsockopt(). But it currently does nothing.

Curl_follow: return better errors on URL problems

... by making the converter function global and accessible.

Closes #3153

Curl_follow: remove remaining free(newurl)

Follow-up to 05564e750e8f0c. This function no longer frees the passed-in
URL.

Reported-by: Michael Kaufmann
Bug: https://github.com/curl/curl/commit/05564e750e8f0c79016c680f301ce251e6e86155#commitcomm
ent-30985666

headers: end all headers with guard comment

Most headerfiles end with a /* <headerguard> */ comment, but it was
missing from some. The comment isn't the most important part of our
code documentation but consistency has an intrinsic value in itself.
This adds header guard comments to the files that were lacking it.

Closes #3158
Reviewed-by: Jay Satiro <raysatiro@yahoo.com>
Reviewed-by: Daniel Stenberg <daniel@haxx.se>

CIPHERS.md: Mention the options used to set TLS 1.3 ciphers

Closes https://github.com/curl/curl/pull/3159

docs/BUG-BOUNTY: the sponsors actually decide the amount

Retract the previous approach as the sponsors will be the ones to set the
final amounts.

Closes #3152
[ci skip]

multi: avoid double-free

Curl_follow() no longer frees the string. Make sure it happens in the
caller function, like we normally handle allocations.

This bug was introduced with the use of the URL API internally, it has
never been in a release version

Reported-by: Dario Weißer
Closes #3149

multi: make the closure handle "inherit" CURLOPT_NOSIGNAL

Otherwise, closing that handle can still cause surprises!

Reported-by: Martin Ankerl
Fixes #3138
Closes #3147

VS projects: add USE_IPV6

The Visual Studio builds didn't use IPv6. Add it to all projects since
Visual Studio 2008, which is verified to build via AppVeyor.

Closes https://github.com/curl/curl/pull/3137

config_win32: enable LDAPS

As done in the autotools and CMake builds by default.

Closes https://github.com/curl/curl/pull/3137

travis: add build for "configure --disable-verbose"

Closes #3144

tool_cb_hdr: handle failure of rename()

Detected by Coverity.

Closes #3140
Reviewed-by: Jay Satiro

RELEASE-NOTES: synced

docs/SECURITY-PROCESS: the hackerone IBB program drops curl

... now there's only BountyGraph.

x509asn1: Fix SAN IP address verification

For IP addresses in the subject alternative name field, the length
of the IP address (and hence the number of bytes to perform a
memcmp on) is incorrectly calculated to be zero. The code previously
subtracted q from name.end. where in a successful case q = name.end
and therefore addrlen equalled 0. The change modifies the code to
subtract name.beg from name.end to calculate the length correctly.

The issue only affects libcurl with GSKit SSL, not other SSL backends.
The issue is not a security issue as IP verification would always fail.

Fixes #3102
Closes #3141

INSTALL: mention mesalink in TLS section

Commit 57348eb97d1b8fc3742e02c6587d2d02ff592da5 added support for the
MesaLink vtls backend, but missed updating the TLS section containing
supported backends in the docs.

Closes #3134
Reviewed-by: Daniel Stenberg <daniel@haxx.se>

nonblock: fix unused parameter warning

If USE_BLOCKING_SOCKETS is defined, curlx_nonblock's arguments are not
used.

Curl_follow: Always free the passed new URL

Closes #3124

replace rawgit links [ci skip]

Ref: https://rawgit.com/ "RawGit has reached the end of its useful life"
Ref: https://news.ycombinator.com/item?id=18202481
Closes https://github.com/curl/curl/pull/3131

docs/BUG-BOUNTY.md: for vulns published since Aug 1st 2018

[ci skip]

travis: make distcheck scan for BOM markers

and remove BOM from projects/wolfssl_override.props

Closes #3126

CMake: remove BOM

Accidentally aded in commit 1bb86057ff07083deeb0b00f8ad35879ec4d03ea.

Reported-by: Viktor Szakats
Ref: https://github.com/curl/curl/pull/3120#issuecomment-428673136

transfer: fix typo in comment

docs: add "see also" links for SSL options

- link TLS 1.2 and TLS 1.3 options
- link proxy and non-proxy options

Closes #3121

AppVeyor: remove BDIR variable that sneaked in again

Removed in ae762e1abebe3a5fe75658583c85059a0957ef6e, accidentally added
again in 9f3be5672dc4dda30ab43e0152e13d714a84d762.

CMake: disable -Wpedantic-ms-format

As done in the autotools build. This is required for MinGW, which
supports only %I64 for printing 64-bit values, but warns about it.

Closes https://github.com/curl/curl/pull/3120

ldap: show precise LDAP call in error message on Windows

Also add a unique but common text ('bind via') to make it
easy to grep this specific failure regardless of platform.

Ref: https://github.com/curl/curl/pull/878/files#diff-7a636f08047c4edb53a240f540b4ecf6R468
Closes https://github.com/curl/curl/pull/3118
Reviewed-by: Daniel Stenberg <daniel@haxx.se>
Reviewed-by: Marcel Raad <Marcel.Raad@teamviewer.com>

docs/DEPRECATE: minor reformat to render nicer on web

CURLOPT_SSL_VERIFYSTATUS: Fix typo

Changes s/OSCP/OCSP/ and bumps the copyright year due to the change.

curl_setup: define NOGDI on Windows

This avoids an ERROR macro clash between <wingdi.h> and <arpa/tftp.h>
on MinGW.

Closes https://github.com/curl/curl/pull/3113

Windows: fixes for MinGW targeting Windows Vista

Classic MinGW has neither InitializeCriticalSectionEx nor
GetTickCount64, independent of the target Windows version.

Closes https://github.com/curl/curl/pull/3113

TODO: fixed 'API for URL parsing/splitting'

KNOWN_BUGS: Fix various typos

Closes #3112
Reviewed-by: Daniel Stenberg <daniel@haxx.se>

spelling fixes [ci skip]

as detected by codespell 1.14.0

Closes https://github.com/curl/curl/pull/3114
Reviewed-by: Marcel Raad <Marcel.Raad@teamviewer.com>

RELEASE-NOTES: synced

curl_ntlm_wb: check aprintf() return codes

... when they return NULL we're out of memory and MUST return failure.

closes #3111

docs/BUG-BOUNTY: proposed additional docs

Bug bounty explainer. See https://bountygraph.com/programs/curl

Closes #3067

hostip: fix check on Curl_shuffle_addr return value

Closes #3110

FILE: fix CURLOPT_NOBODY and CURLOPT_HEADER output

Now FILE transfers send headers to the header callback like HTTP and
other protocols. Also made curl_easy_getinfo(...CURLINFO_PROTOCOL...)
work for FILE in the callbacks.

Makes "curl -i file://.." and "curl -I file://.." work like before
again. Applied the bold header logic to them too.

Regression from c1c2762 (7.61.0)

Reported-by: Shaun Jackman
Fixes #3083
Closes #3101