THANKS: 6 new contributors from 7.47.0 release notes

NTLM: Fix ConnectionExists to compare Proxy credentials

Proxy NTLM authentication should compare credentials when
re-using a connection similar to host authentication, as it
authenticate the connection.

Example:
curl -v -x http://proxy:port http://host/ -U good_user:good_pwd
  --proxy-ntlm --next -x http://proxy:port http://host/
    [-U fake_user:fake_pwd --proxy-ntlm]

CVE-2016-0755

Bug: http://curl.haxx.se/docs/adv_20160127A.html

curl: avoid local drive traversal when saving file (Windows)

curl does not sanitize colons in a remote file name that is used as the
local file name. This may lead to a vulnerability on systems where the
colon is a special path character. Currently Windows/DOS is the only OS
where this vulnerability applies.

CVE-2016-0754

Bug: http://curl.haxx.se/docs/adv_20160127B.html

RELEASE-NOTES: 7.47.0

FAQ: language fix in 4.19

FAQ: Update to point to GitHub

Current FAQ didn't make it clear where the main repo is.

Closes #612

maketgz: generate date stamp with LC_TIME=C

bug: http://curl.haxx.se/mail/lib-2016-01/0123.html

curl_multi_socket_action.3: line wrap

RELEASE-NOTES: synced with d58ba66eeceb

TODO: "Create remote directories" for SMB

mbedtls: Fix pinned key return value on fail

- Switch from verifying a pinned public key in a callback during the
certificate verification to inline after the certificate verification.

The callback method had three problems:

1. If a pinned public key didn't match, CURLE_SSL_PINNEDPUBKEYNOTMATCH
was not returned.

2. If peer certificate verification was disabled the pinned key
verification did not take place as it should.

3. (related to #2) If there was no certificate of depth 0 the callback
would not have checked the pinned public key.

Though all those problems could have been fixed it would have made the
code more complex. Instead we now verify inline after the certificate
verification in mbedtls_connect_step2.

Ref: http://curl.haxx.se/mail/lib-2016-01/0047.html
Ref: https://github.com/bagder/curl/pull/601

tests: Add a test for pinnedpubkey fail even when insecure

Because disabling the peer verification (--insecure) must not disable
the public key pinning check (--pinnedpubkey).

CURLINFO_RESPONSE_CODE.3: add example

ssh: make CURLOPT_SSH_PUBLIC_KEYFILE treat "" as NULL

The CURLOPT_SSH_PUBLIC_KEYFILE option has been documented to handle
empty strings specially since curl-7_25_0-31-g05a443a but the behavior
was unintentionally removed in curl-7_38_0-47-gfa7d04f.

This commit restores the original behavior and clarifies it in the
documentation that NULL and "" have both the same meaning when passed
to CURLOPT_SSH_PUBLIC_KEYFILE.

Bug: http://curl.haxx.se/mail/lib-2016-01/0072.html

RELEASE-NOTES: synced with 35083ca60ed035a

openssl: improved error detection/reporting

... by extracting the LIB + REASON from the OpenSSL error code. OpenSSL
1.1.0+ returned a new func number of another cerfificate fail so this
required a fix and this is the better way to catch this error anyway.

openssl: for 1.1.0+ they now provide a SSLeay() macro of their own

CURLOPT_RESOLVE.3: minor language polish

configure: assume IPv6 works when cross-compiled

The configure test uses AC_TRY_RUN to figure out if an ipv6 socket
works, and testing like that doesn't work for cross-compiles. These days
IPv6 support is widespread so a blind guess is probably more likely to
be 'yes' than 'no' now.

Further: anyone who cross-compiles can use configure's --disable-ipv6 to
explicitly disable IPv6 and that also works for cross-compiles.

Made happen after discussions in issue #594

TODO: "Try to URL encode given URL"

Closes #514

ConnectionExists: only do pipelining/multiplexing when asked

When an HTTP/2 upgrade request fails (no protocol switch), it would
previously detect that as still possible to pipeline on (which is
acorrect) and do that when PIPEWAIT was enabled even if pipelining was
not explictily enabled.

It should only pipelined if explicitly asked to.

Closes #584

lib: Prefix URLs with lower-case protocol names/schemes

Before this patch, if a URL does not start with the protocol
name/scheme, effective URLs would be prefixed with upper-case protocol
names/schemes. This behavior might not be expected by library users or
end users.

For example, if `CURLOPT_DEFAULT_PROTOCOL` is set to "https". And the
URL is "hostname/path". The effective URL would be
"HTTPS://hostname/path" instead of "https://hostname/path".

After this patch, effective URLs would be prefixed with a lower-case
protocol name/scheme.

Closes #597

Signed-off-by: Mohammad AlSaleh <CE.Mohammad.AlSaleh@gmail.com>

scripts: don't generate and install zsh completion when cross-compiling

scripts: fix zsh completion generation

The script should use the just-built curl, not the system one. This fixes
zsh completion generation when no system curl is installed.

zsh.pl: fail if no curl is found

Instead of generation a broken completion file.

IDN host names: Remove the port number before converting to ACE

Closes #596

runtests: Add mbedTLS to the SSL backends

.. and enable SSLpinning tests for mbedTLS, BoringSSL and LibreSSL.

mbedtls: implement CURLOPT_PINNEDPUBLICKEY

url: Fix compile error with --enable-werror

http2: Ensure that http2_handle_stream_close is called

Previously, when HTTP/2 is enabled and used, and stream has content
length known, Curl_read was not called when there was no bytes left to
read. Because of this, we could not make sure that
http2_handle_stream_close was called for every stream. Since we use
http2_handle_stream_close to emit trailer fields, they were
effectively ignored. This commit changes the code so that Curl_read is
called even if no bytes left to read, to ensure that
http2_handle_stream_close is called for every stream.

Discussed in https://github.com/bagder/curl/pull/564

http2: handle the received SETTINGS frame

This regression landed in 5778e6f5 and made libcurl not act on received
settings and instead stayed with its internal defaults.

Bug: http://curl.haxx.se/mail/lib-2016-01/0031.html
Reported-by: Bankde

Revert "multiplex: allow only once HTTP/2 is actually used"

This reverts commit 46cb70e9fa81c9a56de484cdd7c5d9d0d9fbec36.

Bug: http://curl.haxx.se/mail/lib-2016-01/0031.html

http2: Fix PUSH_PROMISE headers being treated as trailers

Discussed in https://github.com/bagder/curl/pull/564

connection reuse: IDN host names fixed

Use the ACE form of IDN hostnames as key in the connection cache.  Add
new tests.

Closes #592

tests: mark IPv6 FTP and FTPS tests with the FTP keyword

mbedtls: Fix ALPN support

- Fix ALPN reply detection.

- Wrap nghttp2 code in ifdef USE_NGHTTP2.

Prior to this change ALPN and HTTP/2 did not work properly in mbedTLS.

http2: Fix client write for trailers on stream close

Check that the trailer buffer exists before attempting a client write
for trailers on stream close.

Refer to comments in https://github.com/bagder/curl/pull/564

COPYING: update general copyright year range

ConnectionExists: add missing newline in infof() call

Mistake from commit a464f33843ee1

multiplex: allow only once HTTP/2 is actually used

To make sure curl doesn't allow multiplexing before a connection is
upgraded to HTTP/2 (like when Upgrade: h2c fails), we must make sure the
connection uses HTTP/2 as well and not only check what's wanted.

Closes #584

Patch-by: c0ff

curl_global_init.3: Add Windows-specific info for init via DLL

- Add to both curl_global_init.3 and libcurl.3 the caveat for Windows
that initializing libcurl via a DLL's DllMain or static initializer
could cause a deadlock.

Bug: https://github.com/bagder/curl/issues/586
Reported-by: marc-groundctl@users.noreply.github.com

FAQ: clarify who to mail about ECCN clarifications

progressfunc.c: spellfix description

docs/examples/multi-app.c: fix bad desc formatting

examples: added descriptions

example/simple.c: add description

getredirect.c: a new example

RELEASE-NOTES: add 5e0e81a9c4e35f04ca

RELEASE-NOTES: synced with 2aec4359db1088b10d

test 1515: add data check

test 1515: add MSYS support by passing a relative path

MSYS would otherwise turn a /-style path into a C:\-style path.

test 539: use datacheck mode text for ASCII-mode LISTings

While still using datacheck mode binary for the inline reply data.

runtests.pl: check up to 5 data parts with different text modes

Move the text-mode conversion for reply/replycheck from the verify
section into the load section and add support for 4 more check parts.

CURLOPT_RANGE: for HTTP servers, range support is optional

tests 1048 and 1050: use datacheck mode text for ASCII-mode LISTings

tests 706 and 707: use datacheck mode text for ASCII-mode LISTings

tests 400,403,406: use datacheck mode text for ASCII-mode LISTings

sockfilt.c: fix calculation of sleep timeout on Windows

Not converting to double caused small timeouts to be skipped.

tests first.c: fix calculation of sleep timeout on Windows

Not converting to double caused small timeouts to be skipped.

test 573: add more debug output

ftplistparser.c: fix handling of file LISTings using Windows EOL

Previously file.txt[CR][LF] would have been returned as file.tx
(without the last t) if filetype is symlink. Now the t is
included and the internal item_length includes the zero byte.

Spotted using test 576 on Windows.

test 16: fix on Linux (and Windows) by using plain ASCII characters

Follow up on b064ff0c351bb287557228575ef4c1d079b866fb, thanks Daniel.

tftpd server: add Windows support by writing files in binary mode

tests 252-255: use datacheck mode text for ASCII-mode LISTings

test 16: fix on Windows by converting data file from ANSI to UTF-8

Makefile.inc: s/curl_SOURCES/CURL_FILES

This allows the root Makefile.am to include the Makefile.inc without
causing automake to warn on it (variables named *_SOURCES are
magic). curl_SOURCES is then instead assigned properly in
src/Makefile.am only.

Closes #577

ConnectionExists: with *PIPEWAIT, wait for connections

Try harder to prevent libcurl from opening up an additional socket when
CURLOPT_PIPEWAIT is set. Accomplished by letting ongoing TCP and TLS
handshakes complete first before the decision is made.

Closes #575

Add .dir-locals and set c-basic-offset to 2.

This makes it easier for emacs users to automatically get the right
2-space indentation when they edit curl source files.

c++-mode is in there as well because Emacs can't easily know if
something is a C or C++ header.

Closes #574

configure: detect IPv6 support on Windows

This patch was "nicked" from the MINGW-packages project by Daniel.

https://github.com/Alexpux/MINGW-packages/commit/9253d0bf58a1486e91f7efb5316e7fdb48fa4007
Signed-off-by: Johannes Schindelin <johannes.schindelin@gmx.de>

configure: allow static builds on mingw

This patch is adopted from the MINGW-packages project. It makes it
possible to build curl both shared and static again.

URL: https://github.com/Alexpux/MINGW-packages/tree/master/mingw-w64-curl

test 1326: fix file check since curl is outputting binary data

test 1326: fix getting stuck on Windows due to incomplete request

The request needs to be read and send in binary mode in order to use
CRLF instead of LF. Adding --upload-file - causes curl to read stdin
in binary mode.

RELEASE-NOTES: command line option recount

scripts/Makefile: build zsh script even in an out-of-tree build

sockfilt.c: added some debug output to select_ws

sockfilt.c: keep lines shorter than 80 chars

sockfilt.c: do not wait on unreliable file or pipe handle

The previous implementation caused issues on modern MSYS2 runtimes.

cyassl: deal with lack of *get_peer_certificate

The function is only present in wolfssl/cyassl if it was built with
--enable-opensslextra. With these checks added, pinning support is disabled
unless the TLS lib has that function available.

Also fix the mistake in configure that checks for the wrong lib name.

Closes #566

wolfssl: handle builds without SSLv3 support

http2: Support trailer fields

This commit adds trailer support in HTTP/2.  In HTTP/1.1, chunked
encoding must be used to send trialer fields.  HTTP/2 deprecated any
trandfer-encoding, including chunked.  But trailer fields are now
always available.

Since trailer fields are relatively rare these days (gRPC uses them
extensively though), allocating buffer for trailer fields is done when
we detect that HEADERS frame containing trailer fields is started.  We
use Curl_add_buffer_* functions to buffer all trailers, just like we
do for regular header fields.  And then deliver them when stream is
closed.  We have to be careful here so that all data are delivered to
upper layer before sending trailers to the application.

We can deliver trailer field one by one using NGHTTP2_ERR_PAUSE
mechanism, but current method is far more simple.

Another possibility is use chunked encoding internally for HTTP/2
traffic.  I have not tested it, but it could add another overhead.

Closes #564

RELEASE-NOTES: synced with 6c2c019654e658a

x509asn1: Fix host altname verification

- In Curl_verifyhost check all altnames in the certificate.

Prior to this change only the first altname was checked. Only the GSKit
SSL backend was affected by this bug.

Bug: http://curl.haxx.se/mail/lib-2015-12/0062.html
Reported-by: John Kohl

curl --expect100-timeout: added

This is the new command line option to set the value for the existing
libcurl option CURLOPT_EXPECT_100_TIMEOUT_MS

cyassl: fix compiler warning on type conversion

curlver: the pending release will become 7.47.0

setstropt: const-correctness

Closes #565

ROADMAP: implemented HTTP2 for HTTPS-only

HTTP2.md: spell fix and remove TODO now implemented

libressl: the latest openssl x509 funcs are not in libressl

curl: use 2TLS by default

Make this the default for the curl tool (if built with HTTP/2 powers
enabled) unless a specific HTTP version is requested on the command
line.

This should allow more users to get HTTP/2 powers without having to
change anything.

http: add libcurl option to allow HTTP/2 for HTTPS only

... and stick to 1.1 for HTTP. This is in line with what browsers do and
should have very little risk.

openssl: adapt to openssl >= 1.1.0 X509 opaque structs

Closes #491

openssl: avoid BIO_reset() warnings since it returns a value

openssl: adapt to 1.1.0+ name changes

scripts/makefile: add standard header

scripts/Makefile: fix GNUism and survive no perl

Closes #555

Reported-by: Thomas Klausner

fix b6d5cb40d7038fe

http2: Fix hanging paused stream

When NGHTTP2_ERR_PAUSE is returned from data_source_read_callback, we
might not process DATA frame fully.  Calling nghttp2_session_mem_recv()
again will continue to process DATA frame, but if there is no incoming
frames, then we have to call it again with 0-length data.  Without this,
on_stream_close callback will not be called, and stream could be hanged.

Bug: http://curl.haxx.se/mail/lib-2015-11/0103.html
Reported-by: Francisco Moraes

build: fix compilation error with CURL_DISABLE_VERBOSE_STRINGS

With curl disable verbose strings in http.c the compilation fails due to
the data variable being undefined later on in the function.

Closes #558

config-win32: Fix warning HAVE_WINSOCK2_H undefined