curl: ensure HTTP 429 triggers --retry

This completes #3794.

Also make sure the new tests from #4195 are enabled

Closes #4465

winbuild: add ENABLE_UNICODE option

Fixes https://github.com/curl/curl/issues/4308
Closes https://github.com/curl/curl/pull/4309

ngtcp2: adapt to API change

Closes #4457

cookies: change argument type for Curl_flush_cookies

The second argument is really a 'bool' so use that and pass in TRUE/FALSE
to make it clear.

Closes #4455

http2: move state-init from creation to pre-transfer

To make sure that the HTTP/2 state is initialized correctly for
duplicated handles. It would otherwise easily generate "spurious"
PRIORITY frames to get sent over HTTP/2 connections when duplicated easy
handles were used.

Reported-by: Daniel Silverstone
Fixes #4303
Closes #4442

urlapi: fix use-after-free bug

Follow-up from 2c20109a9b5d04

Added test 663 to verify.

Reported by OSS-Fuzz
Bug: https://crbug.com/oss-fuzz/17954

Closes #4453

cookie: avoid harmless use after free

This fix removes a use after free which can be triggered by
the internal cookie fuzzer, but otherwise is probably
impossible to trigger from an ordinary application.

The following program reproduces it:

        curl_global_init(CURL_GLOBAL_DEFAULT);
        CURL*  handle=curl_easy_init();
        CookieInfo* info=Curl_cookie_init(handle,NULL,NULL,false);
        curl_easy_setopt(handle, CURLOPT_COOKIEJAR, "/dev/null");
        Curl_flush_cookies(handle, true);
        Curl_cookie_cleanup(info);
        curl_easy_cleanup(handle);
        curl_global_cleanup();

This was found through fuzzing.

Closes #4454

docs: add note on failed handles not being counted by curl_multi_perform

Closes #4446

CURLMOPT_MAX_CONCURRENT_STREAMS.3: fix SEE ALSO typo

ESNI: initial build/setup

Closes #4011

RELEASE-NOTES: synced

redirect: when following redirects to an absolute URL, URL encode it

... to make it handle for example (RFC violating) embeded spaces.

Reported-by: momala454 on github
Fixes #4445
Closes #4447

urlapi: fix URL encoding when setting a full URL

tool_operate: rename functions to make more sense

curl: create easy handles on-demand and not ahead of time

This should again enable crazy-large download ranges of the style
[1-10000000] that otherwise easily ran out of memory starting in 7.66.0
when this new handle allocating scheme was introduced.

Reported-by: Peter Sumatra
Fixes #4393
Closes #4438

CURLMOPT_MAX_CONCURRENT_STREAMS: new setopt

Closes #4410

chunked-encoding: stop hiding the CURLE_BAD_CONTENT_ENCODING error

Unknown content-encoding would get returned as CURLE_WRITE_ERROR if the
response is chunked-encoded.

Reported-by: Ilya Kosarev
Fixes #4310
Closes #4449

checksrc: fix uninitialized variable warning

The loop doesn't need to be executed without a file argument.

Closes https://github.com/curl/curl/pull/4444

urlapi: fix unused variable warning

`dest` is only used with `ENABLE_IPV6`.

Closes https://github.com/curl/curl/pull/4444

lib: silence conversion warnings

Closes https://github.com/curl/curl/pull/4444

AppVeyor: add 32-bit MinGW-w64 build

With WinSSL and testing enabled so that it would have detected most of
the warnings fixed in [0] and [1].

[0] https://github.com/curl/curl/pull/4398
[1] https://github.com/curl/curl/pull/4415

Closes https://github.com/curl/curl/pull/4433

AppVeyor: remove MSYS2_ARG_CONV_EXCL for winbuild

It's only used for MSYS2 with MinGW.

Closes

git: add tests/server/disabled to .gitignore

Closes #4441

altsvc: accept quoted ma and persist values

As mandated by the spec. Test 1654 is extended to verify.

Closes #4443

mailmap: a Lucas fix

quiche: update HTTP/3 config creation to new API

BINDINGS: PureBasic, Net::Curl for perl and Nim

BINDINGS: Kapito is an Erlang library, basically a binding

BINDINGS: added clj-curl

Reported-by: Lucas Severo

docs: disambiguate CURLUPART_HOST is for host name (ie no port)

Closes #4424

cookies: using a share with cookies shouldn't enable the cookie engine

The 'share object' only sets the storage area for cookies. The "cookie
engine" still needs to be enabled or activated using the normal cookie
options.

This caused the curl command line tool to accidentally use cookies
without having been told to, since curl switched to using shared cookies
in 7.66.0.

Test 1166 verifies

Updated test 506

Fixes #4429
Closes #4434

setopt: handle ALTSVC set to NULL

RELEASE-NOTES: synced

INSTALL: add vcpkg installation instructions

Closes #4435

FTP: add test for FTPFILE_NOCWD: Avoid redundant CWDs

Add libtest 661

Closes #4417

FTP: url-decode path before evaluation

Closes #4428

tests: fix narrowing conversion warnings

`timediff_t` is 64 bits wide also on 32-bit systems since
commit b1616dad8f0.

Closes https://github.com/curl/curl/pull/4415

vtls: Fix comment typo about macosx-version-min compiler flag

Closes https://github.com/curl/curl/pull/4425

README: minor grammar fix

Closes #4431

HTTP3: fix prefix parameter for ngtcp2 build

Closes #4430

quiche: don't close connection at end of stream!

quiche: set 'drain' when returning without having drained the queues

Revert "FTP: url-decode path before evaluation"

This reverts commit 2f036a72d543e96128bd75cb0fedd88815fd42e2.

HTTP3: merged and simplified the two 'running' sections

HTTP3: show an --alt-svc using example too

FTP: url-decode path before evaluation

Closes #4423

openssl: use strerror on SSL_ERROR_SYSCALL

Instead of showing the somewhat nonsensical errno number, use strerror()
to provide a more relatable error message.

Closes #4411

HTTP3: update quic.aiortc.org + add link to server list

Reported-by: Jeremy Lainé

url: don't set appconnect time for non-ssl/non-ssh connections

Prior to this change non-ssl/non-ssh connections that were reused set
TIMER_APPCONNECT [1]. Arguably that was incorrect since no SSL/SSH
handshake took place.

[1]: TIMER_APPCONNECT is publicly known as CURLINFO_APPCONNECT_TIME in
libcurl and %{time_appconnect} in the curl tool. It is documented as
"the time until the SSL/SSH handshake is completed".

Reported-by: Marcel Hernandez
Ref: https://github.com/curl/curl/issues/3760

Closes https://github.com/curl/curl/pull/3773

ngtcp2: remove fprintf() calls

- convert some of them to H3BUF() calls to infof()
- remove some of them completely
- made DEBUG_HTTP3 defined only if CURLDEBUG is set for now

Closes #4421

url: fix the NULL hostname compiler warning case

Closes #4403

travis: move the go install to linux-only

... to repair the build again
Closes #4403

altsvc: correct the #ifdef for the ngtcp2 backend

altsvc: save h3 as h3-23

Follow-up to d176a2c7e5

urlapi: question mark within fragment is still fragment

The parser would check for a query part before fragment, which caused it
to do wrong when the fragment contains a question mark.

Extended test 1560 to verify.

Reported-by: Alex Konev
Fixes #4412
Closes #4413

HTTP3.md: move -p for mkdir, remove -j for make

- mkdir on OSX/Darwin requires `-p` argument before dir

- portabbly figuring out number of cores is an exercise for somewhere
  else

Closes #4407

os400: getpeername() and getsockname() return ebcdic AF_UNIX sockaddr,

As libcurl now uses these 2 system functions, wrappers are needed on os400
to convert returned AF_UNIX sockaddrs to ascii.

This is a follow-up to commit 7fb54ef.
See also #4037.
Closes #4214

strcase: fix raw lowercasing the letter X

Casing mistake in Curl_raw_tolower 'X' wasn't lowercased as 'x' prior to
this change.

Follow-up to 0023fce which added the function several days ago.

Ref: https://github.com/curl/curl/pull/4401#discussion_r327396546

Closes https://github.com/curl/curl/pull/4408

http2: Expression 'stream->stream_id != - 1' is always true

PVS-Studio warning
Fixes #4402

http2: A value is being subtracted from the unsigned variable

PVS-Studio warning
Fixes #4402

libssh: part of conditional expression is always true: !result

PVS-Studio warning
Fixed #4402

libssh: part of conditional expression is always true

PVS-Studio warning
Fixes #4402

libssh: The expression is excessive or contains a misprint

PVS-Studio warning
Fixes #4402

quiche: The expression must be surrounded by parentheses

PVS-Studio warning
Fixes #4402

vauth: The parameter 'status' must be surrounded by parentheses

PVS-Studio warning
Fixes #4402

doh: allow only http and https in debug mode

Otherwise curl may be told to use for instance pop3 to
communicate with the doh server, which most likely
is not what you want.

Found through fuzzing.

Closes #4406

doh: return early if there is no time left

Closes #4406

http: lowercase headernames for HTTP/2 and HTTP/3

Closes #4401
Fixes #4400

vtls: fix narrowing conversion warnings

Curl_timeleft returns `timediff_t`, which is 64 bits wide also on
32-bit systems since commit b1616dad8f0.

Closes https://github.com/curl/curl/pull/4398

winbuild: Add manifest to curl.exe for proper OS version detection

This is a small fix to commit ebd213270a017a6830928ee2e1f4a9cabc799898
in pull request #1221. That commit added the CURL_EMBED_MANIFEST flag to
CURL_RC_FLAGS. However, later in the file CURL_RC_FLAGS is
overwritten. The fix is to append values to CURL_RC_FLAGS instead of
overwriting

Closes #4399

RELEASE-NOTES: synced

openssl: fix compiler warning with LibreSSL

It was already fixed for BoringSSL in commit a0f8fccb1e0.
LibreSSL has had the second argument to SSL_CTX_set_min_proto_version
as uint16_t ever since the function was added in [0].

[0] https://github.com/libressl-portable/openbsd/commit/56f107201baefb5533486d665a58d8f57fd3aeda

Closes https://github.com/curl/curl/pull/4397

curl: exit the create_transfers loop on errors

When looping around the ranges and given URLs to create transfers, all
errors should exit the loop and return. Previously it would keep
looping.

Reported-by: SumatraPeter on github
Bug: #4393
Closes #4396

socks: Fix destination host shown on SOCKS5 error

Prior to this change when a server returned a socks5 connect error then
curl would parse the destination address:port from that data and show it
to the user as the destination:

curld -v --socks5 10.0.3.1:1080 http://google.com:99
* SOCKS5 communication to google.com:99
* SOCKS5 connect to IPv4 172.217.12.206 (locally resolved)
* Can't complete SOCKS5 connection to 253.127.0.0:26673. (1)
curl: (7) Can't complete SOCKS5 connection to 253.127.0.0:26673. (1)

That's incorrect because the address:port included in the connect error
is actually a bind address:port (typically unused) and not the
destination address:port. This fix changes curl to show the destination
information that curl sent to the server instead:

curld -v --socks5 10.0.3.1:1080 http://google.com:99
* SOCKS5 communication to google.com:99
* SOCKS5 connect to IPv4 172.217.7.14:99 (locally resolved)
* Can't complete SOCKS5 connection to 172.217.7.14:99. (1)
curl: (7) Can't complete SOCKS5 connection to 172.217.7.14:99. (1)

curld -v --socks5-hostname 10.0.3.1:1080 http://google.com:99
* SOCKS5 communication to google.com:99
* SOCKS5 connect to google.com:99 (remotely resolved)
* Can't complete SOCKS5 connection to google.com:99. (1)
curl: (7) Can't complete SOCKS5 connection to google.com:99. (1)

Ref: https://tools.ietf.org/html/rfc1928#section-6

Closes https://github.com/curl/curl/pull/4394

travis: enable ngtcp2 h3-23 builds

altsvc: both backends run h3-23 now

Closes #4395

http: fix warning on conversion from int to bit

Follow-up from 03ebe66d70

urldata: use 'bool' for the bit type on MSVC compilers

Closes #4387
Fixes #4379

appveyor: upgrade VS2017 to VS2019

Closes #4383

FTP: FTPFILE_NOCWD: avoid redundant CWDs

Closes #4382

cookie: pass in the correct cookie amount to qsort()

As the loop discards cookies without domain set. This bug would lead to
qsort() trying to sort uninitialized pointers. We have however not found
it a security problem.

Reported-by: Paul Dreik
Closes #4386

urlapi: avoid index underflow for short ipv6 hostnames

If the input hostname is "[", hlen will underflow to max of size_t when
it is subtracted with 2.

hostname[hlen] will then cause a warning by ubsanitizer:

runtime error: addition of unsigned offset to 0x<snip> overflowed to
0x<snip>

I think that in practice, the generated code will work, and the output
of hostname[hlen] will be the first character "[".

This can be demonstrated by the following program (tested in both clang
and gcc, with -O3)

int main() {
  char* hostname=strdup("[");
  size_t hlen = strlen(hostname);

  hlen-=2;
  hostname++;
  printf("character is %d\n",+hostname[hlen]);
  free(hostname-1);
}

I found this through fuzzing, and even if it seems harmless, the proper
thing is to return early with an error.

Closes #4389

ngtcp2: compile with latest ngtcp2 + nghttp3 draft-23

Closes #4392

THANKS-filter: deal with my typos 'Jat' => 'Jay'

travis: use go master

... as the boringssl builds needs a very recent version

Co-authored-by: Jat Satiro
Closes #4361

tool_operate: removed unused variable 'done'

Fixes warning detected by PVS-Studio
Fixes #4374

tool_operate: Expression 'config->resume_from' is always true

Fixes warning detected by PVS-Studio
Fixes #4374

tool_getparam: remove duplicate switch case

Fixes warning detected by PVS-Studio
Fixes #4374

libssh2: part of conditional expression is always true: !result

Fixes warning detected by PVS-Studio
Fixes #4374

urlapi: Expression 'storep' is always true

Fixes warning detected by PVS-Studio
Fixes #4374

urlapi: 'scheme' is always true

Fixes warning detected by PVS-Studio
Fixes #4374

urlapi: part of conditional expression is always true: (relurl[0] == '/')

Fixes warning detected by PVS-Studio
Fixes #4374

setopt: store CURLOPT_RTSP_SERVER_CSEQ correctly

Fixes bug detected by PVS-Studio
Fixes #4374

mime: make Curl_mime_duppart() assert if called without valid dst

Fixes warning detected by PVS-Studio
Fixes #4374

http_proxy: part of conditional expression is always true: !error

Fixes warning detected by PVS-Studio
Fixes #4374

imap: merged two case-branches performing the same action

Fixes warning detected by PVS-Studio
Fixes #4374

multi: value '2L' is assigned to a boolean

Fixes warning detected by PVS-Studio
Fixes #4374

easy: part of conditional expression is always true: !result

Fixes warning detected by PVS-Studio
Fixes #4374

netrc: part of conditional expression is always true: !done

Fixes warning detected by PVS-Studio
Fixes #4374

version: Expression 'left > 1' is always true

Fixes warning detected by PVS-Studio
Fixes #4374