os400: sync ILE/RPG definitions with latest public header files.

Proxy-Connection: stop sending this header by default

RFC 7230 says we should stop. Firefox already stopped.

Bug: https://github.com/curl/curl/issues/633
Reported-By: Brad Fitzpatrick
Closes #633

bump: work toward the next release

THANKS: 2 contributors from the 7.47.1 release

RELEASE-PROCEDURE: remove the github upload part

... as we're HTTPS on the main site now, there's no point in that
extra step

RELEASE-NOTES: curl 7.47.1 time!

tool_operhlp: Check for backslashes in get_url_file_name

Extract the filename from the last slash or backslash. Prior to this
change backslashes could be part of the filename.

This change needed for the curl tool built for Cygwin. Refer to the
CYGWIN addendum in advisory 20160127B.

Bug: https://curl.haxx.se/docs/adv_20160127B.html

RELEASE-NOTES: synced with d6a8869ea34

openssl: Fix signed/unsigned mismatch warning in X509V3_ext

sk_X509_EXTENSION_num may return an unsigned integer, however the value
will fit in an int.

Bug: https://github.com/curl/curl/commit/dd1b44c#commitcomment-15913896
Reported-by: Gisle Vanem

TODO: 17.11 -w output to stderr

idn_win32: Better error checking

.. also fix a conversion bug in the unused function
curl_win32_ascii_to_idn().

And remove wprintfs on error (Jay).

Bug: https://github.com/curl/curl/pull/637

examples/asiohiper: Avoid function name collision on Windows

closesocket => close_socket
Winsock already has the former.

Bug: https://curl.haxx.se/mail/lib-2016-02/0016.html

examples/htmltitle: Use _stricmp on Windows

Bug: https://curl.haxx.se/mail/lib-2016-02/0017.html

COPYING: clarify that Daniel is not the sole author

... done on request and as it is a fair point.

unit1604: Fix unit setup return code

tool_doswin: Use type SANITIZEcode in sanitize_file_name

tool_doswin: Improve sanitization processing

- Add unit test 1604 to test the sanitize_file_name function.

- Use -DCURL_STATICLIB when building libcurltool for unit testing.

- Better detection of reserved DOS device names.

- New flags to modify sanitize behavior:

SANITIZE_ALLOW_COLONS: Allow colons
SANITIZE_ALLOW_PATH: Allow path separators and colons
SANITIZE_ALLOW_RESERVED: Allow reserved device names
SANITIZE_ALLOW_TRUNCATE: Allow truncating a long filename

- Restore sanitization of banned characters from user-specified outfile.

Prior to this commit sanitization of a user-specified outfile was
temporarily disabled in 2b6dadc because there was no way to allow path
separators and colons through while replacing other banned characters.
Now in such a case we call the sanitize function with
SANITIZE_ALLOW_PATH which allows path separators and colons to pass
through.

Closes https://github.com/curl/curl/issues/624
Reported-by: Octavio Schroeder

URLs: change more http to https

sasl_sspi: Fix memory leak in domain populate

Free an existing domain before replacing it.

Bug: https://github.com/curl/curl/issues/635
Reported-by: silveja1@users.noreply.github.com

URLs: follow GitHub project rename (also Travis CI)

Closes #632

CHANGES.o: fix references to curl.haxx.nu

I removed the scheme prefix from the URLs references this host name, as
we don't own/run that anymore but the name is kept for historic reasons.

HISTORY: add some info about when we used which host names

URLs: change more http to https

URLs: Change more haxx.se URLs from http: to https:

RELEASE-NOTES: synced with 4af40b364

URLs: change all http:// URLs to https://

configure: update the copyright year range in output

dotdot: allow an empty input string too

It isn't used by the code in current conditions but for safety it seems
sensible to at least not crash on such input.

Extended unit test 1395 to verify this too as well as a plain "/" input.

HTTPS: update a bunch of URLs from HTTP to HTTPS

AppVeyor: updated to handle OpenSSL/WinSSL builds

Closes #621

tool_operate: Don't sanitize --output path (Windows)

Due to path separators being incorrectly sanitized in --output
pathnames, eg -o c:\foo => c__foo

This is a partial revert of 3017d8a until I write a proper fix. The
remote-name will continue to be sanitized, but if the user specified an
--output with string replacement (#1, #2, etc) that data is unsanitized
until I finish a fix.

Bug: https://github.com/bagder/curl/issues/624
Reported-by: Octavio Schroeder

curl.1: Explain remote-name behavior if file already exists

.. also warn about letting the server pick the filename.

urldata: Error on missing SSL backend-specific connect info

bump: towards the next (7.47.1 ?)

cmake: fixed when OpenSSL enabled on Windows and schannel detected

Closes #617

urldata: moved common variable out of ifdef

Closes https://github.com/bagder/curl/pull/618

tool_doswin: silence unused function warning

tool_doswin.c:185:14: warning: 'msdosify' defined but not used
[-Wunused-function]

Closes https://github.com/bagder/curl/pull/616

getredirect.c: fix variable name

Reported-by: Bernard Spil

examples/Makefile.inc: specify programs without .c!

THANKS: 6 new contributors from 7.47.0 release notes

NTLM: Fix ConnectionExists to compare Proxy credentials

Proxy NTLM authentication should compare credentials when
re-using a connection similar to host authentication, as it
authenticate the connection.

Example:
curl -v -x http://proxy:port http://host/ -U good_user:good_pwd
  --proxy-ntlm --next -x http://proxy:port http://host/
    [-U fake_user:fake_pwd --proxy-ntlm]

CVE-2016-0755

Bug: http://curl.haxx.se/docs/adv_20160127A.html

curl: avoid local drive traversal when saving file (Windows)

curl does not sanitize colons in a remote file name that is used as the
local file name. This may lead to a vulnerability on systems where the
colon is a special path character. Currently Windows/DOS is the only OS
where this vulnerability applies.

CVE-2016-0754

Bug: http://curl.haxx.se/docs/adv_20160127B.html

RELEASE-NOTES: 7.47.0

FAQ: language fix in 4.19

FAQ: Update to point to GitHub

Current FAQ didn't make it clear where the main repo is.

Closes #612

maketgz: generate date stamp with LC_TIME=C

bug: http://curl.haxx.se/mail/lib-2016-01/0123.html

curl_multi_socket_action.3: line wrap

RELEASE-NOTES: synced with d58ba66eeceb

TODO: "Create remote directories" for SMB

mbedtls: Fix pinned key return value on fail

- Switch from verifying a pinned public key in a callback during the
certificate verification to inline after the certificate verification.

The callback method had three problems:

1. If a pinned public key didn't match, CURLE_SSL_PINNEDPUBKEYNOTMATCH
was not returned.

2. If peer certificate verification was disabled the pinned key
verification did not take place as it should.

3. (related to #2) If there was no certificate of depth 0 the callback
would not have checked the pinned public key.

Though all those problems could have been fixed it would have made the
code more complex. Instead we now verify inline after the certificate
verification in mbedtls_connect_step2.

Ref: http://curl.haxx.se/mail/lib-2016-01/0047.html
Ref: https://github.com/bagder/curl/pull/601

tests: Add a test for pinnedpubkey fail even when insecure

Because disabling the peer verification (--insecure) must not disable
the public key pinning check (--pinnedpubkey).

CURLINFO_RESPONSE_CODE.3: add example

ssh: make CURLOPT_SSH_PUBLIC_KEYFILE treat "" as NULL

The CURLOPT_SSH_PUBLIC_KEYFILE option has been documented to handle
empty strings specially since curl-7_25_0-31-g05a443a but the behavior
was unintentionally removed in curl-7_38_0-47-gfa7d04f.

This commit restores the original behavior and clarifies it in the
documentation that NULL and "" have both the same meaning when passed
to CURLOPT_SSH_PUBLIC_KEYFILE.

Bug: http://curl.haxx.se/mail/lib-2016-01/0072.html

RELEASE-NOTES: synced with 35083ca60ed035a

openssl: improved error detection/reporting

... by extracting the LIB + REASON from the OpenSSL error code. OpenSSL
1.1.0+ returned a new func number of another cerfificate fail so this
required a fix and this is the better way to catch this error anyway.

openssl: for 1.1.0+ they now provide a SSLeay() macro of their own

CURLOPT_RESOLVE.3: minor language polish

configure: assume IPv6 works when cross-compiled

The configure test uses AC_TRY_RUN to figure out if an ipv6 socket
works, and testing like that doesn't work for cross-compiles. These days
IPv6 support is widespread so a blind guess is probably more likely to
be 'yes' than 'no' now.

Further: anyone who cross-compiles can use configure's --disable-ipv6 to
explicitly disable IPv6 and that also works for cross-compiles.

Made happen after discussions in issue #594

TODO: "Try to URL encode given URL"

Closes #514

ConnectionExists: only do pipelining/multiplexing when asked

When an HTTP/2 upgrade request fails (no protocol switch), it would
previously detect that as still possible to pipeline on (which is
acorrect) and do that when PIPEWAIT was enabled even if pipelining was
not explictily enabled.

It should only pipelined if explicitly asked to.

Closes #584

lib: Prefix URLs with lower-case protocol names/schemes

Before this patch, if a URL does not start with the protocol
name/scheme, effective URLs would be prefixed with upper-case protocol
names/schemes. This behavior might not be expected by library users or
end users.

For example, if `CURLOPT_DEFAULT_PROTOCOL` is set to "https". And the
URL is "hostname/path". The effective URL would be
"HTTPS://hostname/path" instead of "https://hostname/path".

After this patch, effective URLs would be prefixed with a lower-case
protocol name/scheme.

Closes #597

Signed-off-by: Mohammad AlSaleh <CE.Mohammad.AlSaleh@gmail.com>

scripts: don't generate and install zsh completion when cross-compiling

scripts: fix zsh completion generation

The script should use the just-built curl, not the system one. This fixes
zsh completion generation when no system curl is installed.

zsh.pl: fail if no curl is found

Instead of generation a broken completion file.

IDN host names: Remove the port number before converting to ACE

Closes #596

runtests: Add mbedTLS to the SSL backends

.. and enable SSLpinning tests for mbedTLS, BoringSSL and LibreSSL.

mbedtls: implement CURLOPT_PINNEDPUBLICKEY

url: Fix compile error with --enable-werror

http2: Ensure that http2_handle_stream_close is called

Previously, when HTTP/2 is enabled and used, and stream has content
length known, Curl_read was not called when there was no bytes left to
read. Because of this, we could not make sure that
http2_handle_stream_close was called for every stream. Since we use
http2_handle_stream_close to emit trailer fields, they were
effectively ignored. This commit changes the code so that Curl_read is
called even if no bytes left to read, to ensure that
http2_handle_stream_close is called for every stream.

Discussed in https://github.com/bagder/curl/pull/564

http2: handle the received SETTINGS frame

This regression landed in 5778e6f5 and made libcurl not act on received
settings and instead stayed with its internal defaults.

Bug: http://curl.haxx.se/mail/lib-2016-01/0031.html
Reported-by: Bankde

Revert "multiplex: allow only once HTTP/2 is actually used"

This reverts commit 46cb70e9fa81c9a56de484cdd7c5d9d0d9fbec36.

Bug: http://curl.haxx.se/mail/lib-2016-01/0031.html

http2: Fix PUSH_PROMISE headers being treated as trailers

Discussed in https://github.com/bagder/curl/pull/564

connection reuse: IDN host names fixed

Use the ACE form of IDN hostnames as key in the connection cache.  Add
new tests.

Closes #592

tests: mark IPv6 FTP and FTPS tests with the FTP keyword

mbedtls: Fix ALPN support

- Fix ALPN reply detection.

- Wrap nghttp2 code in ifdef USE_NGHTTP2.

Prior to this change ALPN and HTTP/2 did not work properly in mbedTLS.

http2: Fix client write for trailers on stream close

Check that the trailer buffer exists before attempting a client write
for trailers on stream close.

Refer to comments in https://github.com/bagder/curl/pull/564

COPYING: update general copyright year range

ConnectionExists: add missing newline in infof() call

Mistake from commit a464f33843ee1

multiplex: allow only once HTTP/2 is actually used

To make sure curl doesn't allow multiplexing before a connection is
upgraded to HTTP/2 (like when Upgrade: h2c fails), we must make sure the
connection uses HTTP/2 as well and not only check what's wanted.

Closes #584

Patch-by: c0ff

curl_global_init.3: Add Windows-specific info for init via DLL

- Add to both curl_global_init.3 and libcurl.3 the caveat for Windows
that initializing libcurl via a DLL's DllMain or static initializer
could cause a deadlock.

Bug: https://github.com/bagder/curl/issues/586
Reported-by: marc-groundctl@users.noreply.github.com

FAQ: clarify who to mail about ECCN clarifications

progressfunc.c: spellfix description

docs/examples/multi-app.c: fix bad desc formatting

examples: added descriptions

example/simple.c: add description

getredirect.c: a new example

RELEASE-NOTES: add 5e0e81a9c4e35f04ca

RELEASE-NOTES: synced with 2aec4359db1088b10d

test 1515: add data check

test 1515: add MSYS support by passing a relative path

MSYS would otherwise turn a /-style path into a C:\-style path.

test 539: use datacheck mode text for ASCII-mode LISTings

While still using datacheck mode binary for the inline reply data.

runtests.pl: check up to 5 data parts with different text modes

Move the text-mode conversion for reply/replycheck from the verify
section into the load section and add support for 4 more check parts.

CURLOPT_RANGE: for HTTP servers, range support is optional

tests 1048 and 1050: use datacheck mode text for ASCII-mode LISTings

tests 706 and 707: use datacheck mode text for ASCII-mode LISTings

tests 400,403,406: use datacheck mode text for ASCII-mode LISTings

sockfilt.c: fix calculation of sleep timeout on Windows

Not converting to double caused small timeouts to be skipped.

tests first.c: fix calculation of sleep timeout on Windows

Not converting to double caused small timeouts to be skipped.

test 573: add more debug output

ftplistparser.c: fix handling of file LISTings using Windows EOL

Previously file.txt[CR][LF] would have been returned as file.tx
(without the last t) if filetype is symlink. Now the t is
included and the internal item_length includes the zero byte.

Spotted using test 576 on Windows.