travis: Add an ARM64 build

TESTING

CURLOPT_TIMEOUT.3: Clarify transfer timeout time includes queue time

Prior to this change some users did not understand that the "request"
starts when the handle is added to the multi handle, or probably they
did not understand that some of those transfers may be queued and that
time is included in timeout.

Reported-by: Jeroen Ooms
Fixes https://github.com/curl/curl/issues/4486
Closes https://github.com/curl/curl/pull/4489

tool_operate: Fix retry sleep time shown to user when Retry-After

- If server header Retry-After is being used for retry sleep time then
  show that value to the user instead of the normal retry sleep time.

This is a follow-up to 640b973 (7.66.0) which changed curl tool so that
the value from Retry-After header overrides other retry timing options.

Closes https://github.com/curl/curl/pull/4498

url: normalize CURLINFO_EFFECTIVE_URL

The URL extracted with CURLINFO_EFFECTIVE_URL was returned as given as
input in most cases, which made it not get a scheme prefixed like before
if the URL was given without one, and it didn't remove dotdot sequences
etc.

Added test case 1907 to verify that this now works as intended and as
before 7.62.0.

Regression introduced in 7.62.0

Reported-by: Christophe Dervieux
Fixes #4491
Closes #4493

tests: line ending fixes for Windows

Mark some files as text.

Closes https://github.com/curl/curl/pull/4490

tests: use proxy feature

This makes the tests succeed when using --disable-proxy.

Closes https://github.com/curl/curl/pull/4488

smbserver: fix Python 3 compatibility

Python 2's `ConfigParser` module is spelled `configparser` in Python 3.

Closes https://github.com/curl/curl/pull/4484

security: silence conversion warning

With MinGW-w64, `curl_socket_t` is is a 32 or 64 bit unsigned integer,
while `read` expects a 32 bit signed integer.
Use `sread` instead of `read` to use the correct parameter type.

Closes https://github.com/curl/curl/pull/4483

connect: silence sign-compare warning

With MinGW-w64 using WinSock, `curl_socklen_t` is signed, while the
result of `sizeof` is unsigned.

Closes https://github.com/curl/curl/pull/4483

TODO: Handle growing SFTP files

Closes #4344

KNOWN_BUGS: remove "CURLFORM_CONTENTLEN in an array"

The curl_formadd() function is deprecated and shouldn't be used so the
real fix for applications is to switch to the curl_mime_* API.

KNOWN_BUGS: "LDAP on Windows does authentication wrong"

Closes #3116

appveyor: add a winbuild that uses VS2017

Closes #4482

socketpair: fix include and define for older TCP header systems

fixed build for systems that need netinet/in.h for IPPROTO_TCP and are
missing INADDR_LOOPBACK

Closes #4480

socketpair: fix double-close in error case

Follow-up to bc2dbef0afc08

gskit: use the generic Curl_socketpair

asyn-thread: make use of Curl_socketpair() where available

socketpair: an implemention for Windows and more

Curl_socketpair() is designed to be used and work everywhere if there's
no native version or the native version isn't good enough.

Closes #4466

RELEASE-NOTES: synced

connect: return CURLE_OPERATION_TIMEDOUT for errno == ETIMEDOUT

Previosly all connect() failures would return CURLE_COULDNT_CONNECT, no
matter what errno said.

This makes for example --retry work on these transfer failures.

Reported-by: Nathaniel J. Smith
Fixes #4461
Clsoes #4462

cirrus: switch off blackhole status on the freebsd CI machines

tests: use port 2 instead of 60000 for a safer non-listening port

... when the tests want "connection refused".

KNOWN_BUGS: IDN tests failing on Windows

Closes #3747

cirrus: Increase the git clone depth.

If more commits are submitted to master between the time of triggering
the first Cirrus build and the time the final build gets started, the
desired commit is no longer at HEAD and the build will error out.
[skip ci]

docs: make sure the --no-progress-meter docs file is in dist too

docs: document it as --no-progress-meter instead of the reverse

Follow-up to 93373a960c3bb4

Reported-by: infinnovation-dev on github
Fixes #4474
Closes #4475

cirrus: Switch the FreeBSD 11.x build to 11.3 and add a 13.0 build.

Also, select the images using image_family to get the latest snapshots
automatically.
[skip ci]

curl: --no-progress-meter

New option that allows a user to ONLY switch off curl's progress meter
and leave everything else in "talkative" mode.

Reported-by: Piotr Komborski
Fixes #4422
Closes #4470

TODO: Consult %APPDATA% also for .netrc

Closes #4016

CURLOPT_TIMEOUT.3: remove the mention of "minutes"

... just say that limiting operations risk aborting otherwise fine
working transfers. If that means seconds, minutes or hours, we leave to
the user.

Reported-by: Martin Gartner
Closes #4469

docs: added multi-event.c example

Similar to multi-uv.c but using libevent 2. This is a simpler libevent
integration example then hiperfifo.c.

Closes #4471

ldap: fix OOM error on missing query string

- Allow missing queries, don't return NO_MEMORY error in such a case.

It is acceptable for there to be no specified query string, for example:

curl ldap://ldap.forumsys.com

A regression bug in 1b443a7 caused this issue.

This is a partial fix for #4261.

Bug: https://github.com/curl/curl/issues/4261#issuecomment-525543077
Reported-by: Jojojov@users.noreply.github.com
Analyzed-by: Samuel Surtees
Closes https://github.com/curl/curl/pull/4467

build: Remove unused HAVE_LIBSSL and HAVE_LIBCRYPTO defines

Closes https://github.com/curl/curl/pull/4460

RELEASE-NOTES: synced

curl: ensure HTTP 429 triggers --retry

This completes #3794.

Also make sure the new tests from #4195 are enabled

Closes #4465

winbuild: add ENABLE_UNICODE option

Fixes https://github.com/curl/curl/issues/4308
Closes https://github.com/curl/curl/pull/4309

ngtcp2: adapt to API change

Closes #4457

cookies: change argument type for Curl_flush_cookies

The second argument is really a 'bool' so use that and pass in TRUE/FALSE
to make it clear.

Closes #4455

http2: move state-init from creation to pre-transfer

To make sure that the HTTP/2 state is initialized correctly for
duplicated handles. It would otherwise easily generate "spurious"
PRIORITY frames to get sent over HTTP/2 connections when duplicated easy
handles were used.

Reported-by: Daniel Silverstone
Fixes #4303
Closes #4442

urlapi: fix use-after-free bug

Follow-up from 2c20109a9b5d04

Added test 663 to verify.

Reported by OSS-Fuzz
Bug: https://crbug.com/oss-fuzz/17954

Closes #4453

cookie: avoid harmless use after free

This fix removes a use after free which can be triggered by
the internal cookie fuzzer, but otherwise is probably
impossible to trigger from an ordinary application.

The following program reproduces it:

        curl_global_init(CURL_GLOBAL_DEFAULT);
        CURL*  handle=curl_easy_init();
        CookieInfo* info=Curl_cookie_init(handle,NULL,NULL,false);
        curl_easy_setopt(handle, CURLOPT_COOKIEJAR, "/dev/null");
        Curl_flush_cookies(handle, true);
        Curl_cookie_cleanup(info);
        curl_easy_cleanup(handle);
        curl_global_cleanup();

This was found through fuzzing.

Closes #4454

docs: add note on failed handles not being counted by curl_multi_perform

Closes #4446

CURLMOPT_MAX_CONCURRENT_STREAMS.3: fix SEE ALSO typo

ESNI: initial build/setup

Closes #4011

RELEASE-NOTES: synced

redirect: when following redirects to an absolute URL, URL encode it

... to make it handle for example (RFC violating) embeded spaces.

Reported-by: momala454 on github
Fixes #4445
Closes #4447

urlapi: fix URL encoding when setting a full URL

tool_operate: rename functions to make more sense

curl: create easy handles on-demand and not ahead of time

This should again enable crazy-large download ranges of the style
[1-10000000] that otherwise easily ran out of memory starting in 7.66.0
when this new handle allocating scheme was introduced.

Reported-by: Peter Sumatra
Fixes #4393
Closes #4438

CURLMOPT_MAX_CONCURRENT_STREAMS: new setopt

Closes #4410

chunked-encoding: stop hiding the CURLE_BAD_CONTENT_ENCODING error

Unknown content-encoding would get returned as CURLE_WRITE_ERROR if the
response is chunked-encoded.

Reported-by: Ilya Kosarev
Fixes #4310
Closes #4449

checksrc: fix uninitialized variable warning

The loop doesn't need to be executed without a file argument.

Closes https://github.com/curl/curl/pull/4444

urlapi: fix unused variable warning

`dest` is only used with `ENABLE_IPV6`.

Closes https://github.com/curl/curl/pull/4444

lib: silence conversion warnings

Closes https://github.com/curl/curl/pull/4444

AppVeyor: add 32-bit MinGW-w64 build

With WinSSL and testing enabled so that it would have detected most of
the warnings fixed in [0] and [1].

[0] https://github.com/curl/curl/pull/4398
[1] https://github.com/curl/curl/pull/4415

Closes https://github.com/curl/curl/pull/4433

AppVeyor: remove MSYS2_ARG_CONV_EXCL for winbuild

It's only used for MSYS2 with MinGW.

Closes

git: add tests/server/disabled to .gitignore

Closes #4441

altsvc: accept quoted ma and persist values

As mandated by the spec. Test 1654 is extended to verify.

Closes #4443

mailmap: a Lucas fix

quiche: update HTTP/3 config creation to new API

BINDINGS: PureBasic, Net::Curl for perl and Nim

BINDINGS: Kapito is an Erlang library, basically a binding

BINDINGS: added clj-curl

Reported-by: Lucas Severo

docs: disambiguate CURLUPART_HOST is for host name (ie no port)

Closes #4424

cookies: using a share with cookies shouldn't enable the cookie engine

The 'share object' only sets the storage area for cookies. The "cookie
engine" still needs to be enabled or activated using the normal cookie
options.

This caused the curl command line tool to accidentally use cookies
without having been told to, since curl switched to using shared cookies
in 7.66.0.

Test 1166 verifies

Updated test 506

Fixes #4429
Closes #4434

setopt: handle ALTSVC set to NULL

RELEASE-NOTES: synced

INSTALL: add vcpkg installation instructions

Closes #4435

FTP: add test for FTPFILE_NOCWD: Avoid redundant CWDs

Add libtest 661

Closes #4417

FTP: url-decode path before evaluation

Closes #4428

tests: fix narrowing conversion warnings

`timediff_t` is 64 bits wide also on 32-bit systems since
commit b1616dad8f0.

Closes https://github.com/curl/curl/pull/4415

vtls: Fix comment typo about macosx-version-min compiler flag

Closes https://github.com/curl/curl/pull/4425

README: minor grammar fix

Closes #4431

HTTP3: fix prefix parameter for ngtcp2 build

Closes #4430

quiche: don't close connection at end of stream!

quiche: set 'drain' when returning without having drained the queues

Revert "FTP: url-decode path before evaluation"

This reverts commit 2f036a72d543e96128bd75cb0fedd88815fd42e2.

HTTP3: merged and simplified the two 'running' sections

HTTP3: show an --alt-svc using example too

FTP: url-decode path before evaluation

Closes #4423

openssl: use strerror on SSL_ERROR_SYSCALL

Instead of showing the somewhat nonsensical errno number, use strerror()
to provide a more relatable error message.

Closes #4411

HTTP3: update quic.aiortc.org + add link to server list

Reported-by: Jeremy Lainé

url: don't set appconnect time for non-ssl/non-ssh connections

Prior to this change non-ssl/non-ssh connections that were reused set
TIMER_APPCONNECT [1]. Arguably that was incorrect since no SSL/SSH
handshake took place.

[1]: TIMER_APPCONNECT is publicly known as CURLINFO_APPCONNECT_TIME in
libcurl and %{time_appconnect} in the curl tool. It is documented as
"the time until the SSL/SSH handshake is completed".

Reported-by: Marcel Hernandez
Ref: https://github.com/curl/curl/issues/3760

Closes https://github.com/curl/curl/pull/3773

ngtcp2: remove fprintf() calls

- convert some of them to H3BUF() calls to infof()
- remove some of them completely
- made DEBUG_HTTP3 defined only if CURLDEBUG is set for now

Closes #4421

url: fix the NULL hostname compiler warning case

Closes #4403

travis: move the go install to linux-only

... to repair the build again
Closes #4403

altsvc: correct the #ifdef for the ngtcp2 backend

altsvc: save h3 as h3-23

Follow-up to d176a2c7e5

urlapi: question mark within fragment is still fragment

The parser would check for a query part before fragment, which caused it
to do wrong when the fragment contains a question mark.

Extended test 1560 to verify.

Reported-by: Alex Konev
Fixes #4412
Closes #4413

HTTP3.md: move -p for mkdir, remove -j for make

- mkdir on OSX/Darwin requires `-p` argument before dir

- portabbly figuring out number of cores is an exercise for somewhere
  else

Closes #4407

os400: getpeername() and getsockname() return ebcdic AF_UNIX sockaddr,

As libcurl now uses these 2 system functions, wrappers are needed on os400
to convert returned AF_UNIX sockaddrs to ascii.

This is a follow-up to commit 7fb54ef.
See also #4037.
Closes #4214

strcase: fix raw lowercasing the letter X

Casing mistake in Curl_raw_tolower 'X' wasn't lowercased as 'x' prior to
this change.

Follow-up to 0023fce which added the function several days ago.

Ref: https://github.com/curl/curl/pull/4401#discussion_r327396546

Closes https://github.com/curl/curl/pull/4408

http2: Expression 'stream->stream_id != - 1' is always true

PVS-Studio warning
Fixes #4402

http2: A value is being subtracted from the unsigned variable

PVS-Studio warning
Fixes #4402

libssh: part of conditional expression is always true: !result

PVS-Studio warning
Fixed #4402

libssh: part of conditional expression is always true

PVS-Studio warning
Fixes #4402

libssh: The expression is excessive or contains a misprint

PVS-Studio warning
Fixes #4402

quiche: The expression must be surrounded by parentheses

PVS-Studio warning
Fixes #4402

vauth: The parameter 'status' must be surrounded by parentheses

PVS-Studio warning
Fixes #4402

doh: allow only http and https in debug mode

Otherwise curl may be told to use for instance pop3 to
communicate with the doh server, which most likely
is not what you want.

Found through fuzzing.

Closes #4406