http2: Ensure that http2_handle_stream_close is called

Previously, when HTTP/2 is enabled and used, and stream has content
length known, Curl_read was not called when there was no bytes left to
read. Because of this, we could not make sure that
http2_handle_stream_close was called for every stream. Since we use
http2_handle_stream_close to emit trailer fields, they were
effectively ignored. This commit changes the code so that Curl_read is
called even if no bytes left to read, to ensure that
http2_handle_stream_close is called for every stream.

Discussed in https://github.com/bagder/curl/pull/564

http2: handle the received SETTINGS frame

This regression landed in 5778e6f5 and made libcurl not act on received
settings and instead stayed with its internal defaults.

Bug: http://curl.haxx.se/mail/lib-2016-01/0031.html
Reported-by: Bankde

Revert "multiplex: allow only once HTTP/2 is actually used"

This reverts commit 46cb70e9fa81c9a56de484cdd7c5d9d0d9fbec36.

Bug: http://curl.haxx.se/mail/lib-2016-01/0031.html

http2: Fix PUSH_PROMISE headers being treated as trailers

Discussed in https://github.com/bagder/curl/pull/564

connection reuse: IDN host names fixed

Use the ACE form of IDN hostnames as key in the connection cache.  Add
new tests.

Closes #592

tests: mark IPv6 FTP and FTPS tests with the FTP keyword

mbedtls: Fix ALPN support

- Fix ALPN reply detection.

- Wrap nghttp2 code in ifdef USE_NGHTTP2.

Prior to this change ALPN and HTTP/2 did not work properly in mbedTLS.

http2: Fix client write for trailers on stream close

Check that the trailer buffer exists before attempting a client write
for trailers on stream close.

Refer to comments in https://github.com/bagder/curl/pull/564

COPYING: update general copyright year range

ConnectionExists: add missing newline in infof() call

Mistake from commit a464f33843ee1

multiplex: allow only once HTTP/2 is actually used

To make sure curl doesn't allow multiplexing before a connection is
upgraded to HTTP/2 (like when Upgrade: h2c fails), we must make sure the
connection uses HTTP/2 as well and not only check what's wanted.

Closes #584

Patch-by: c0ff

curl_global_init.3: Add Windows-specific info for init via DLL

- Add to both curl_global_init.3 and libcurl.3 the caveat for Windows
that initializing libcurl via a DLL's DllMain or static initializer
could cause a deadlock.

Bug: https://github.com/bagder/curl/issues/586
Reported-by: marc-groundctl@users.noreply.github.com

FAQ: clarify who to mail about ECCN clarifications

progressfunc.c: spellfix description

docs/examples/multi-app.c: fix bad desc formatting

examples: added descriptions

example/simple.c: add description

getredirect.c: a new example

RELEASE-NOTES: add 5e0e81a9c4e35f04ca

RELEASE-NOTES: synced with 2aec4359db1088b10d

test 1515: add data check

test 1515: add MSYS support by passing a relative path

MSYS would otherwise turn a /-style path into a C:\-style path.

test 539: use datacheck mode text for ASCII-mode LISTings

While still using datacheck mode binary for the inline reply data.

runtests.pl: check up to 5 data parts with different text modes

Move the text-mode conversion for reply/replycheck from the verify
section into the load section and add support for 4 more check parts.

CURLOPT_RANGE: for HTTP servers, range support is optional

tests 1048 and 1050: use datacheck mode text for ASCII-mode LISTings

tests 706 and 707: use datacheck mode text for ASCII-mode LISTings

tests 400,403,406: use datacheck mode text for ASCII-mode LISTings

sockfilt.c: fix calculation of sleep timeout on Windows

Not converting to double caused small timeouts to be skipped.

tests first.c: fix calculation of sleep timeout on Windows

Not converting to double caused small timeouts to be skipped.

test 573: add more debug output

ftplistparser.c: fix handling of file LISTings using Windows EOL

Previously file.txt[CR][LF] would have been returned as file.tx
(without the last t) if filetype is symlink. Now the t is
included and the internal item_length includes the zero byte.

Spotted using test 576 on Windows.

test 16: fix on Linux (and Windows) by using plain ASCII characters

Follow up on b064ff0c351bb287557228575ef4c1d079b866fb, thanks Daniel.

tftpd server: add Windows support by writing files in binary mode

tests 252-255: use datacheck mode text for ASCII-mode LISTings

test 16: fix on Windows by converting data file from ANSI to UTF-8

Makefile.inc: s/curl_SOURCES/CURL_FILES

This allows the root Makefile.am to include the Makefile.inc without
causing automake to warn on it (variables named *_SOURCES are
magic). curl_SOURCES is then instead assigned properly in
src/Makefile.am only.

Closes #577

ConnectionExists: with *PIPEWAIT, wait for connections

Try harder to prevent libcurl from opening up an additional socket when
CURLOPT_PIPEWAIT is set. Accomplished by letting ongoing TCP and TLS
handshakes complete first before the decision is made.

Closes #575

Add .dir-locals and set c-basic-offset to 2.

This makes it easier for emacs users to automatically get the right
2-space indentation when they edit curl source files.

c++-mode is in there as well because Emacs can't easily know if
something is a C or C++ header.

Closes #574

configure: detect IPv6 support on Windows

This patch was "nicked" from the MINGW-packages project by Daniel.

https://github.com/Alexpux/MINGW-packages/commit/9253d0bf58a1486e91f7efb5316e7fdb48fa4007
Signed-off-by: Johannes Schindelin <johannes.schindelin@gmx.de>

configure: allow static builds on mingw

This patch is adopted from the MINGW-packages project. It makes it
possible to build curl both shared and static again.

URL: https://github.com/Alexpux/MINGW-packages/tree/master/mingw-w64-curl

test 1326: fix file check since curl is outputting binary data

test 1326: fix getting stuck on Windows due to incomplete request

The request needs to be read and send in binary mode in order to use
CRLF instead of LF. Adding --upload-file - causes curl to read stdin
in binary mode.

RELEASE-NOTES: command line option recount

scripts/Makefile: build zsh script even in an out-of-tree build

sockfilt.c: added some debug output to select_ws

sockfilt.c: keep lines shorter than 80 chars

sockfilt.c: do not wait on unreliable file or pipe handle

The previous implementation caused issues on modern MSYS2 runtimes.

cyassl: deal with lack of *get_peer_certificate

The function is only present in wolfssl/cyassl if it was built with
--enable-opensslextra. With these checks added, pinning support is disabled
unless the TLS lib has that function available.

Also fix the mistake in configure that checks for the wrong lib name.

Closes #566

wolfssl: handle builds without SSLv3 support

http2: Support trailer fields

This commit adds trailer support in HTTP/2.  In HTTP/1.1, chunked
encoding must be used to send trialer fields.  HTTP/2 deprecated any
trandfer-encoding, including chunked.  But trailer fields are now
always available.

Since trailer fields are relatively rare these days (gRPC uses them
extensively though), allocating buffer for trailer fields is done when
we detect that HEADERS frame containing trailer fields is started.  We
use Curl_add_buffer_* functions to buffer all trailers, just like we
do for regular header fields.  And then deliver them when stream is
closed.  We have to be careful here so that all data are delivered to
upper layer before sending trailers to the application.

We can deliver trailer field one by one using NGHTTP2_ERR_PAUSE
mechanism, but current method is far more simple.

Another possibility is use chunked encoding internally for HTTP/2
traffic.  I have not tested it, but it could add another overhead.

Closes #564

RELEASE-NOTES: synced with 6c2c019654e658a

x509asn1: Fix host altname verification

- In Curl_verifyhost check all altnames in the certificate.

Prior to this change only the first altname was checked. Only the GSKit
SSL backend was affected by this bug.

Bug: http://curl.haxx.se/mail/lib-2015-12/0062.html
Reported-by: John Kohl

curl --expect100-timeout: added

This is the new command line option to set the value for the existing
libcurl option CURLOPT_EXPECT_100_TIMEOUT_MS

cyassl: fix compiler warning on type conversion

curlver: the pending release will become 7.47.0

setstropt: const-correctness

Closes #565

ROADMAP: implemented HTTP2 for HTTPS-only

HTTP2.md: spell fix and remove TODO now implemented

libressl: the latest openssl x509 funcs are not in libressl

curl: use 2TLS by default

Make this the default for the curl tool (if built with HTTP/2 powers
enabled) unless a specific HTTP version is requested on the command
line.

This should allow more users to get HTTP/2 powers without having to
change anything.

http: add libcurl option to allow HTTP/2 for HTTPS only

... and stick to 1.1 for HTTP. This is in line with what browsers do and
should have very little risk.

openssl: adapt to openssl >= 1.1.0 X509 opaque structs

Closes #491

openssl: avoid BIO_reset() warnings since it returns a value

openssl: adapt to 1.1.0+ name changes

scripts/makefile: add standard header

scripts/Makefile: fix GNUism and survive no perl

Closes #555

Reported-by: Thomas Klausner

fix b6d5cb40d7038fe

http2: Fix hanging paused stream

When NGHTTP2_ERR_PAUSE is returned from data_source_read_callback, we
might not process DATA frame fully.  Calling nghttp2_session_mem_recv()
again will continue to process DATA frame, but if there is no incoming
frames, then we have to call it again with 0-length data.  Without this,
on_stream_close callback will not be called, and stream could be hanged.

Bug: http://curl.haxx.se/mail/lib-2015-11/0103.html
Reported-by: Francisco Moraes

build: fix compilation error with CURL_DISABLE_VERBOSE_STRINGS

With curl disable verbose strings in http.c the compilation fails due to
the data variable being undefined later on in the function.

Closes #558

config-win32: Fix warning HAVE_WINSOCK2_H undefined

openssl: BoringSSL doesn't have CONF_modules_free

lwip: Fix compatibility issues with later versions

The name of the header guard in lwIP's <lwip/opt.h> has changed from
'__LWIP_OPT_H__' to 'LWIP_HDR_OPT_H' (bug #35874 in May 2015).

Other fixes:

- In curl_setup.h, the problem with an old PSDK doesn't apply if lwIP is
used.

- In memdebug.h, the 'socket' should be undefined first due to lwIP's
lwip_socket() macro.

- In curl_addrinfo.c lwIP's getaddrinfo() + freeaddrinfo() macros need
special handling because they were undef'ed in memdebug.h.

- In select.c we can't use preprocessor conditionals inside select if
MSVC and select is a macro, as it is with lwIP.

http://curl.haxx.se/mail/lib-2015-12/0023.html
http://curl.haxx.se/mail/lib-2015-12/0024.html

os400: define CURL_VERSION_PSL in ILE/RPG binding

version: Add flag CURL_VERSION_PSL for libpsl

formdata: Check if length is too large for memory

- If the size of the length type (curl_off_t) is greater than the size
of the size_t type then check before allocating memory to make sure the
value of length will fit in a size_t without overflow. If it doesn't
then return CURLE_BAD_FUNCTION_ARGUMENT.

Bug: https://github.com/bagder/curl/issues/425#issuecomment-154518679
Reported-by: Steve Holme

tests: Corrected copy and pasted comments from commit e643c5c908

curl: remove keepalive #ifdef checks done on libcurl's behalf

They didn't match the ifdef logic used within libcurl anyway so they
could indeed warn for the wrong case - plus the tool cannot know how the
lib actually performs at that level.

test947: Corrected typo in test name

tests: Disable the OAUTHBEARER tests when using a non-default port number

Tests 842, 843, 844, 845, 887, 888, 889, 890, 946, 947, 948 and 949 fail
if a custom port number is specified via the -b option of runtests.pl.

Suggested by: Kamil Dudka
Bug: http://curl.haxx.se/mail/lib-2015-12/0003.html

bump: towards next release

for all we know now, it might be called 7.46.1

RELEASE-NOTES: updated contributor count for 7.46.0

THANKS: new contributors from the 7.46.0 release

THANKS-filter: single Tim Rühsen spelling

docs/examples: gitignore some more built examples

RELEASE-NOTES; this bug was never released

RELEASE-NOTES: synced with e55f15454efacb0

Curl_read_plain: clean up ifdefs that break statements

Closes #546

http2: convert some verbose output into debug-only output

http2 push: add missing inits of new stream

- set the correct stream_id for pushed streams
- init maxdownload and size properly

http2 push: set weight for new stream

give the new stream the old one's stream_weight internally to avoid
sending a PRIORITY frame unless asked for it

curl_setup.h: undef freeaddrinfo in c-ares block to fix build

Fixes warnings 78c25c854a added.

nonblock: fix setting non-blocking mode for Amiga

IoctlSocket() apparently wants a pointer to a long, passed as a char *
in its third parameter. This bug was introduced already back in commit
c5fdeef41d from October 1 2001!

Bug: http://curl.haxx.se/mail/lib-2015-11/0088.html
Reported-by: Norbert Kett

zsh install: fix DESTDIR support

Reported-by: Mohammad AlSaleh

lib: Only define curl_dofreeaddrinfo if struct addrinfo is available

tool_paramhlp: Fixed display of URL index in password prompt for --next

Commit f3bae6ed73 added the URL index to the password prompt when using
--next. Unfortunately, because the size_t specifier (%zu) is not
supported by all sprintf() implementations we use the curl_off_t format
specifier instead. The display of an incorrect value arises on platforms
where size_t and curl_off_t are of a different size.

timecond: do not add if-modified-since without timecondition

The RTSP code path didn't skip adding the if-modified-since for certain
RTSP code paths, even if CURLOPT_TIMECONDITION was set to
CURL_TIMECOND_NONE.

Also, an unknown non-zero CURLOPT_TIMECONDITION value no longer equals
CURL_TIMECOND_IFMODSINCE.

Bug: http://stackoverflow.com/questions/33903982/curl-timecond-none-doesnt-work-how-to-remove-if-modified-since-header

RELEASE-NOTES: synced with 99d17a5e2ba77e58

examples/README: cut out the incomplete list

... and add a generic explanation for them instead. Each example file
should contain its own description these days.

test1513: make sure the callback is only called once