urlapi: question mark within fragment is still fragment

The parser would check for a query part before fragment, which caused it
to do wrong when the fragment contains a question mark.

Extended test 1560 to verify.

Reported-by: Alex Konev
Fixes #4412
Closes #4413

HTTP3.md: move -p for mkdir, remove -j for make

- mkdir on OSX/Darwin requires `-p` argument before dir

- portabbly figuring out number of cores is an exercise for somewhere
  else

Closes #4407

os400: getpeername() and getsockname() return ebcdic AF_UNIX sockaddr,

As libcurl now uses these 2 system functions, wrappers are needed on os400
to convert returned AF_UNIX sockaddrs to ascii.

This is a follow-up to commit 7fb54ef.
See also #4037.
Closes #4214

strcase: fix raw lowercasing the letter X

Casing mistake in Curl_raw_tolower 'X' wasn't lowercased as 'x' prior to
this change.

Follow-up to 0023fce which added the function several days ago.

Ref: https://github.com/curl/curl/pull/4401#discussion_r327396546

Closes https://github.com/curl/curl/pull/4408

http2: Expression 'stream->stream_id != - 1' is always true

PVS-Studio warning
Fixes #4402

http2: A value is being subtracted from the unsigned variable

PVS-Studio warning
Fixes #4402

libssh: part of conditional expression is always true: !result

PVS-Studio warning
Fixed #4402

libssh: part of conditional expression is always true

PVS-Studio warning
Fixes #4402

libssh: The expression is excessive or contains a misprint

PVS-Studio warning
Fixes #4402

quiche: The expression must be surrounded by parentheses

PVS-Studio warning
Fixes #4402

vauth: The parameter 'status' must be surrounded by parentheses

PVS-Studio warning
Fixes #4402

doh: allow only http and https in debug mode

Otherwise curl may be told to use for instance pop3 to
communicate with the doh server, which most likely
is not what you want.

Found through fuzzing.

Closes #4406

doh: return early if there is no time left

Closes #4406

http: lowercase headernames for HTTP/2 and HTTP/3

Closes #4401
Fixes #4400

vtls: fix narrowing conversion warnings

Curl_timeleft returns `timediff_t`, which is 64 bits wide also on
32-bit systems since commit b1616dad8f0.

Closes https://github.com/curl/curl/pull/4398

winbuild: Add manifest to curl.exe for proper OS version detection

This is a small fix to commit ebd213270a017a6830928ee2e1f4a9cabc799898
in pull request #1221. That commit added the CURL_EMBED_MANIFEST flag to
CURL_RC_FLAGS. However, later in the file CURL_RC_FLAGS is
overwritten. The fix is to append values to CURL_RC_FLAGS instead of
overwriting

Closes #4399

RELEASE-NOTES: synced

openssl: fix compiler warning with LibreSSL

It was already fixed for BoringSSL in commit a0f8fccb1e0.
LibreSSL has had the second argument to SSL_CTX_set_min_proto_version
as uint16_t ever since the function was added in [0].

[0] https://github.com/libressl-portable/openbsd/commit/56f107201baefb5533486d665a58d8f57fd3aeda

Closes https://github.com/curl/curl/pull/4397

curl: exit the create_transfers loop on errors

When looping around the ranges and given URLs to create transfers, all
errors should exit the loop and return. Previously it would keep
looping.

Reported-by: SumatraPeter on github
Bug: #4393
Closes #4396

socks: Fix destination host shown on SOCKS5 error

Prior to this change when a server returned a socks5 connect error then
curl would parse the destination address:port from that data and show it
to the user as the destination:

curld -v --socks5 10.0.3.1:1080 http://google.com:99
* SOCKS5 communication to google.com:99
* SOCKS5 connect to IPv4 172.217.12.206 (locally resolved)
* Can't complete SOCKS5 connection to 253.127.0.0:26673. (1)
curl: (7) Can't complete SOCKS5 connection to 253.127.0.0:26673. (1)

That's incorrect because the address:port included in the connect error
is actually a bind address:port (typically unused) and not the
destination address:port. This fix changes curl to show the destination
information that curl sent to the server instead:

curld -v --socks5 10.0.3.1:1080 http://google.com:99
* SOCKS5 communication to google.com:99
* SOCKS5 connect to IPv4 172.217.7.14:99 (locally resolved)
* Can't complete SOCKS5 connection to 172.217.7.14:99. (1)
curl: (7) Can't complete SOCKS5 connection to 172.217.7.14:99. (1)

curld -v --socks5-hostname 10.0.3.1:1080 http://google.com:99
* SOCKS5 communication to google.com:99
* SOCKS5 connect to google.com:99 (remotely resolved)
* Can't complete SOCKS5 connection to google.com:99. (1)
curl: (7) Can't complete SOCKS5 connection to google.com:99. (1)

Ref: https://tools.ietf.org/html/rfc1928#section-6

Closes https://github.com/curl/curl/pull/4394

travis: enable ngtcp2 h3-23 builds

altsvc: both backends run h3-23 now

Closes #4395

http: fix warning on conversion from int to bit

Follow-up from 03ebe66d70

urldata: use 'bool' for the bit type on MSVC compilers

Closes #4387
Fixes #4379

appveyor: upgrade VS2017 to VS2019

Closes #4383

FTP: FTPFILE_NOCWD: avoid redundant CWDs

Closes #4382

cookie: pass in the correct cookie amount to qsort()

As the loop discards cookies without domain set. This bug would lead to
qsort() trying to sort uninitialized pointers. We have however not found
it a security problem.

Reported-by: Paul Dreik
Closes #4386

urlapi: avoid index underflow for short ipv6 hostnames

If the input hostname is "[", hlen will underflow to max of size_t when
it is subtracted with 2.

hostname[hlen] will then cause a warning by ubsanitizer:

runtime error: addition of unsigned offset to 0x<snip> overflowed to
0x<snip>

I think that in practice, the generated code will work, and the output
of hostname[hlen] will be the first character "[".

This can be demonstrated by the following program (tested in both clang
and gcc, with -O3)

int main() {
  char* hostname=strdup("[");
  size_t hlen = strlen(hostname);

  hlen-=2;
  hostname++;
  printf("character is %d\n",+hostname[hlen]);
  free(hostname-1);
}

I found this through fuzzing, and even if it seems harmless, the proper
thing is to return early with an error.

Closes #4389

ngtcp2: compile with latest ngtcp2 + nghttp3 draft-23

Closes #4392

THANKS-filter: deal with my typos 'Jat' => 'Jay'

travis: use go master

... as the boringssl builds needs a very recent version

Co-authored-by: Jat Satiro
Closes #4361

tool_operate: removed unused variable 'done'

Fixes warning detected by PVS-Studio
Fixes #4374

tool_operate: Expression 'config->resume_from' is always true

Fixes warning detected by PVS-Studio
Fixes #4374

tool_getparam: remove duplicate switch case

Fixes warning detected by PVS-Studio
Fixes #4374

libssh2: part of conditional expression is always true: !result

Fixes warning detected by PVS-Studio
Fixes #4374

urlapi: Expression 'storep' is always true

Fixes warning detected by PVS-Studio
Fixes #4374

urlapi: 'scheme' is always true

Fixes warning detected by PVS-Studio
Fixes #4374

urlapi: part of conditional expression is always true: (relurl[0] == '/')

Fixes warning detected by PVS-Studio
Fixes #4374

setopt: store CURLOPT_RTSP_SERVER_CSEQ correctly

Fixes bug detected by PVS-Studio
Fixes #4374

mime: make Curl_mime_duppart() assert if called without valid dst

Fixes warning detected by PVS-Studio
Fixes #4374

http_proxy: part of conditional expression is always true: !error

Fixes warning detected by PVS-Studio
Fixes #4374

imap: merged two case-branches performing the same action

Fixes warning detected by PVS-Studio
Fixes #4374

multi: value '2L' is assigned to a boolean

Fixes warning detected by PVS-Studio
Fixes #4374

easy: part of conditional expression is always true: !result

Fixes warning detected by PVS-Studio
Fixes #4374

netrc: part of conditional expression is always true: !done

Fixes warning detected by PVS-Studio
Fixes #4374

version: Expression 'left > 1' is always true

Fixes warning detected by PVS-Studio
Fixes #4374

url: remove dead code

Fixes warning detected by PVS-Studio
Fixes #4374

url: part of expression is always true: (bundle->multiuse == 0)

Fixes warning detected by PVS-Studio
Fixes #4374

ftp: the conditional expression is always true

... both !result and (ftp->transfer != FTPTRANSFER_BODY)!

Fixes warning detected by PVS-Studio
Fixes #4374

ftp: Expression 'ftpc->wait_data_conn' is always false

Fixes warning detected by PVS-Studio
Fixes #4374

ftp: Expression 'ftpc->wait_data_conn' is always true

Fixes warning detected by PVS-Studio
Fixes #4374

ftp: part of conditional expression is always true: !result

Fixes warning detected by PVS-Studio
Fixes #4374

http: fix Expression 'http->postdata' is always false

Fixes warning detected by PVS-Studio
Fixes #4374
Reported-by: Valerii Zapodovnikov

doh: avoid truncating DNS QTYPE to lower octet

Closes #4381

urlapi: CURLU_NO_AUTHORITY allows empty authority/host part

CURLU_NO_AUTHORITY is intended for use with unknown schemes (i.e. not
"file:///") to override cURL's default demand that an authority exists.

Closes #4349

version: next release will be 7.67.0

RELEASE-NOTES: synced

url: only reuse TLS connections with matching pinning

If the requests have different CURLOPT_PINNEDPUBLICKEY strings set, the
connection should not be reused.

Bug: https://curl.haxx.se/mail/lib-2019-09/0061.html
Reported-by: Sebastian Haglund
Closes #4347

README: add OSS-Fuzz badge [skip ci]

Closes #4380

http: merge two "case" statements

FTP: remove trailing slash from path for LIST/MLSD

Closes #4348

mime: when disabled, avoid C99 macro

Closes #4368

url: cleanup dangling DOH request headers too

Follow-up to 9bc44ff64d9081

Credit to OSS-Fuzz
Bug: https://crbug.com/oss-fuzz/17269

Closes #4372

http2: relax verification of :authority in push promise requests

If the :authority pseudo header field doesn't contain an explicit port,
we assume it is valid for the default port, instead of rejecting the
request for all ports.

Ref: https://curl.haxx.se/mail/lib-2019-09/0041.html

Closes #4365

doh: clean up dangling DOH handles and memory on easy close

If you set the same URL for target as for DoH (and it isn't a DoH
server), like "https://example.com" in both, the easy handles used for
the DoH requests could be left "dangling" and end up not getting freed.

Reported-by: Paul Dreik
Closes #4366

unit1655: make it C90 compliant

Unclear why this was not detected in the CI.

Follow-up to b7666027296a

smb: check for full size message before reading message details

To avoid reading of uninitialized data.

Assisted-by: Max Dymond
Bug: https://crbug.com/oss-fuzz/16907
Closes #4363

quiche: persist connection details

... like we do for other protocols at connect time. This makes "curl -I"
and other things work.

Reported-by: George Liu
Fixes #4358
Closes #4360

openssl: fix warning with boringssl and SSL_CTX_set_min_proto_version

Follow-up to ffe34b7b59
Closes #4359

doh: fix undefined behaviour and open up for gcc and clang optimization

The undefined behaviour is annoying when running fuzzing with
sanitizers. The codegen is the same, but the meaning is now not up for
dispute. See https://cppinsights.io/s/516a2ff4

By incrementing the pointer first, both gcc and clang recognize this as
a bswap and optimizes it to a single instruction.  See
https://godbolt.org/z/994Zpx

Closes #4350

doh: fix (harmless) buffer overrun

Added unit test case 1655 to verify.
Close #4352

the code correctly finds the flaws in the old code,
if one temporarily restores doh.c to the old version.

docs: remove trailing ':' from section names in CURLOPT_TRAILER* man

docs: fix typo in CURLOPT_HTTP_VERSION man

CI: inintial github action job

First shot at a CI build on github actions

appveyor: add a winbuild

Assisted-by: Marcel Raad
Assisted-by: Jay Satiro
Closes #4324

FTP: allow "rubbish" prepended to the SIZE response

This is a protocol violation but apparently there are legacy proprietary
servers doing this.

Added test 336 and 337 to verify.

Reported-by: Philippe Marguinaud
Closes #4339

FTP: skip CWD to entry dir when target is absolute

Closes #4332

curl: fix memory leaked by parse_metalink()

This commit fixes a regression introduced by curl-7_65_3-5-gb88940850.
Detected by tests 2005, 2008, 2009, 2010, 2011, and 2012 with valgrind
and libmetalink enabled.

Closes #4326

parsedate: still provide the name arrays when disabled

If FILE or FTP are enabled, since they also use them!

Reported-by: Roland Hieber
Fixes #4325
Closes #4343

curl:file2string: load large files much faster

... by using a more efficient realloc scheme.

Bug: https://curl.haxx.se/mail/lib-2019-09/0045.html
Closes #4336

openssl: close_notify on the FTP data connection doesn't mean closure

For FTPS transfers, curl gets close_notify on the data connection
without that being a signal to close the control connection!

Regression since 3f5da4e59a556fc (7.65.0)

Reported-by: Zenju on github
Reviewed-by: Jay Satiro
Fixes #4329
Closes #4340

docs/HTTP3: fix `--with-ssl` ngtcp2 configure flag

Closes #4338

RELEASE-NOTES: synced

curlver: bump to 7.66.1

setopt: make it easier to add new enum values

... by using the *_LAST define names better.

Closes #4321

asyn-thread: s/AF_LOCAL/AF_UNIX for Solaris

Reported-by: Dagobert Michelsen
Fixes #4328
Closes #4333

winbuild/MakefileBuild.vc: Add vssh

Without that modification, the Windows build using the makefiles doesn't
work.

Signed-off-by: Bernhard Walle <bernhard.walle@posteo.eu>
Fixes #4322
Closes #4323

winbuild/MakefileBuild.vc: Fix line endings

The file had mixed line endings.

Signed-off-by: Bernhard Walle <bernhard.walle@posteo.eu>

ldap: Stop using wide char version of ldapp_err2string

Despite ldapp_err2string being documented by MS as returning a
PCHAR (char *), when UNICODE it is mapped to ldap_err2stringW and
returns PWCHAR (wchar_t *).

We have lots of code that expects ldap_err2string to return char *,
most of it failf used like this:

failf(data, "LDAP local: Some error: %s", ldap_err2string(rc));

Closes https://github.com/curl/curl/pull/4272

RELEASE-NOTES: curl 7.66.0

THANKS: from the 7.66.0 release

curl: make sure the parallel transfers do them all

The logic could erroneously break the loop too early before all
transfers had been transferred.

Reported-by: Tom van der Woerdt
Fixes #4316
Closes #4317

urlapi: one colon is enough for the strspn() input (typo)

urlapi: verify the IPv6 numerical address

It needs to parse correctly. Otherwise it could be tricked into letting
through a-f using host names that libcurl would then resolve. Like
'[ab.be]'.

Reported-by: Thomas Vegas
Closes #4315

openssl: use SSL_CTX_set_<min|max>_proto_version() when available

OpenSSL 1.1.0 adds SSL_CTX_set_<min|max>_proto_version() that we now use
when available.  Existing code is preserved for older versions of
OpenSSL.

Closes #4304

openssl: indent, re-organize and add comments

sspi: fix memory leaks

Closes #4299

travis: disable ngtcp2 builds (again)

Curl_fillreadbuffer: avoid double-free trailer buf on error

Reviewed-by: Jay Satiro
Reported-by: Thomas Vegas
Closes #4307

tool_setopt: handle a libcurl build without netrc support

Reported-by: codesniffer13 on github
Fixes #4302
Closes #4305