test545: make it not use a trailing zero

CURLOPT_COPYPOSTFIELDS with a given CURLOPT_POSTFIELDSIZE does not
require a trailing zero of the data and by making sure this test doesn't
use one we know it works (combined with valgrind).

ntlm: Fixed empty type-2 decoded message info text

Updated the info text when the base-64 decode of the type-2 message
returns a null buffer to be more specific.

ntlm: Fixed empty/bad base-64 decoded buffer return codes

ntlm: Avoid unnecessary buffer allocation for SSPI based type-2 token

httpcustomheader.c: make use of more CURLOPT_HTTPHEADER features

... and only do a single request for clarity.

sasl_sspi: Fixed some typos

sasl_sspi: Fixed Kerberos response buffer not being allocated when using SSO

mk-ca-bundle: added SHA-384 signature algorithm

Certificates based on SHA-1 are being phased out[1].
So we should expect a rise in certificates based on SHA-2.
Adding SHA-384 as a valid signature algorithm.

[1] https://blog.mozilla.org/security/2014/09/23/phasing-out-certificates-with-sha-1-based-signature-algorithms/

Signed-off-by: Bruno Thomsen <bth@kamstrup.dk>

OS400: fix bugs in curl_*escape_ccsid() and reduce variables scope

Implement pinned public key in GSKit backend

CURLOPT_TLSAUTH_*.3: fix reference typos

cleanups: reduce variable scope

cppcheck pointed these out.

singleipconnect: remove dead assignment never used

cppcheck pointed this out.

pinning: minor code style policing

Factorize pinned public key code into generic file handling and backend specific

vtls: remove QsoSSL

gskit: supply dummy randomization function

vtls/*: deprecate have_curlssl_md5sum and set-up default md5sum implementation

tests: move TESTCASES to Makefile.inc, add show for cmake

This change allows runtests.pl to be run from the CMake builddir:

    export srcdir=/tmp/curl/tests;
    perl -I$srcdir $srcdir/runtests.pl -l

In order to make this possible, all test cases have been moved from
Makefile.am to Makefile.inc.

Signed-off-by: Peter Wu <peter@lekensteyn.nl>

cmake: enable IPv6 by default if available

ENABLE_IPV6 depends on HAVE_GETADDRINFO or you will get a
Curl_getaddrinfo_ex error. Enable IPv6 by default, disabling it if
struct sockaddr_in6 is not found in netinet/in.h.

Note that HAVE_GETADDRINFO_THREADSAFE is still not set as it needs more
platform checks even though POSIX requires a thread-safe getaddrinfo.

Verified on Arch Linux x86_64 with glibc 2.20-2 and Linux 3.16-rc7.

Signed-off-by: Peter Wu <peter@lekensteyn.nl>

cmake: build tool_hugehelp (ENABLE_MANUAL)

Rather than always outputting an empty manual page for the '-M' option,
generate a full manual page as done by autotools. For simplicity in
CMake, always generate the gzipped page as it will not be used anyway
when zlib is not available.

Signed-off-by: Peter Wu <peter@lekensteyn.nl>

tests/http_pipe.py: Python 3 support

The 2to3 tool converted socketserver (which I manually fixed up with an
import fallback) and the print(e) line. The xrange option was converted
to range, but it seems better to use the '*' operator here for
simplicity.

Signed-off-by: Peter Wu <peter@lekensteyn.nl>

SECURITY: slightly nicer markdown format

RELEASE-PROCEDURE: better markdown, more content

RELEASE-NOTES: synced with 6637b237e6eb

... and bumped the planned release version.

vtls: have vtls.h include the backend header files

It turned out some features were not enabled in the build since for
example url.c #ifdefs on features that are defined on a per-backend
basis but vtls.h didn't include the backend headers.

CURLOPT_CERTINFO was one such feature that was accidentally disabled.

test2036: verify -O with no slash at all in the URL

Similar to test 76 but that test's URL has a slash just no file name
part.

get_url_file_name: make no slash equal empty string

get_url_file_name: never return a NULL string *and* OK

Change 987a4a73 assumes that as it simplifies life in the calling
function.

Reported-by: Fabian Keil

Cmake: Build with GSSAPI (MIT or Heimdal)

It tries hard to recognise SDK's on different platforms. On windows MIT
Kerberos installs SDK with other things and puts path into registry.
Heimdal have separate zip archive. On linux pkg-config is tried, then
krb5-config script and finally old-style libs and headers detection.

Command line args:
* CMAKE_USE_GSSAPI - enables GSSAPI detection
* GSS_ROOT_DIR - if set, should point to the root of GSSAPI installation
                 (the one with include and lib directories)

Cmake: Got rid of setup_curl_dependencies

There is no need for such function. Include_directories propagate by
themselves and having a function with one simple link statement makes
little sense.

Cmake: Avoid cycle directory dependencies.

Because we prepended libraries to list, CMake had troubles resolving
link directory order as it detected some cycles. Appending to list ensures
that dependencies will preceed dependees.

Cmake: Fix library list provided to cURL tests.

The list must be set after those nice CMake tests as we mess with
CMAKE_REQUIRED_LIBRARIES there.

Cmake: Check for OpenSSL before OpenLDAP.

OpenLDAP might have been build with OpenSSL. Checking for OpenLDAP first
may result in undefined symbols. Of course, the found OpenSSL libraries
must also be linked whenever OpenLDAP is.

curl_multi_fdset.3: improved the formatting slightly

curl_multi_fdset: explain the fd_set arguments

nss: do not fail if a CRL is already cached

This fixes a copy-paste mistake from commit 2968f957.

OS400: upgrade interface for pinned public key (no implementation yet)

FormAdd: precaution against memdup() of NULL pointer

Coverity CID 252518. This function is in general far too complicated for
its own good and really should be broken down into several smaller
funcitons instead - but I'm adding this protection here now since it
seems there's a risk the code flow can end up here and dereference a
NULL pointer.

operate: avoid NULL dereference

Coverity CID 1241948. dumpeasysrc() would get called with
config->current set to NULL which could be dereferenced by a warnf()
call.

do_sec_send: remove dead code

Coverity CID 1241951. The condition 'len >= 0' would always be true at
that point and thus not necessary to check for.

krb5_encode: remove unused argument

Coverity CID 1241957. Removed the unused argument. As this struct and
pointer now are used only for krb5, there's no need to keep unused
function arguments around.

operate_do: skip superfluous check for NULL pointer

Coverity CID 1243583. get_url_file_name() cannot fail and return a NULL
file name pointer so skip the check for that - it tricks coverity into
believing it can happen and it then warns later on when we use 'outfile'
without checking for NULL.

curl_easy_getinfo.3: spell-fix

Reported-By: Luan Cestari

GnuTLS: Implement public key pinning

SSL: implement public key pinning

Option --pinnedpubkey takes a path to a public key in DER format and
only connect if it matches (currently only implemented with OpenSSL).

Provides CURLOPT_PINNEDPUBLICKEY for curl_easy_setopt().

Extract a public RSA key from a website like so:
openssl s_client -connect google.com:443 2>&1 < /dev/null | \
sed -n '/-----BEGIN/,/-----END/p' | openssl x509 -noout -pubkey \
| openssl rsa -pubin -outform DER > google.com.der

multi_runsingle: fix possible memory leak

Coverity CID 1202837. 'newurl' can in fact be allocated even when
Curl_retry_request() returns failure so free it if need be.

ares::Curl_resolver_cancel: skip checking for NULL conn

Coverity CID 1243581. 'conn' will never be NULL here, and if it would be
the subsequent statement would dereference it!

parseconfig: skip a NULL check

Coverity CID 1154198. This NULL check implies that the pointer _can_ be
NULL at this point, which it can't. Thus it is dead code. It tricks
static analyzers to warn about dereferencing the pointer since the code
seems to imply it can be NULL.

multi-uv.c: call curl_multi_info_read() better

Improves it for low-latency cases (like the communication with
localhost)

tool_go_sleep: use (void) to spell out we ignore the return value

Coverity CID 1222080.

ssh_statemach_act: split out assignment from check

just a minor code style thing to make the code clearer

curl_schannel.c: Fixed possible memory or handle leak

First try to fix possible memory leaks, in this case:
Only connssl->ctxt xor onnssl->cred being initialized.

getparameter: remove dead code

Coverity CID 1061126. 'parse' will always be non-NULL here.

getparameter: comment a switch FALLTHROUGH

Coverity CID 1061118. Point out that it is on purpose.

choose_mech: fix return code

Coverity CID 1241950. The pointer is never NULL but it might point to
NULL.

Curl_sec_read_msg: spell out that we ignore return code

Coverity CID 1241947. Since if sscanf() fails, the previously set value
remains set.

nonblock: call with (void) to show we ignore the return code

Coverity pointed out several of these.

parse_proxy: remove dead code.

Coverity CID 982331.

Curl_debug: document switch fallthroughs

curl_multi_remove_handle: remove dead code

Coverify CID 1157776. Removed a superfluous if() that always evaluated
true (and an else clause that never ran), and then re-indented the
function accordingly.

Curl_pipeline_server_blacklisted: handle a NULL server name

Coverity CID 1215284. The server name is extracted with
Curl_copy_header_value() and passed in to this function, and
copy_header_value can actually can fail and return NULL.

ssh: comment "fallthrough" in switch statement

ssh: improve key file search

For private keys, use the first match from: user-specified key file
(if provided), ~/.ssh/id_rsa, ~/.ssh/id_dsa, ./id_rsa, ./id_dsa

Note that the previous code only looked for id_dsa files. id_rsa is
now generally preferred, as it supports larger key sizes.

For public keys, use the user-specified key file, if provided.
Otherwise, try to extract the public key from the private key file.
This means that passing --pubkey is typically no longer required,
and makes the key-handling behavior more like OpenSSH.

CURLOPT_HTTPHEADER.3: libcurl doesn't copy the whole list

detect_proxy: fix possible single-byte memory leak

Coverity CID 1202836. If the proxy environment variable returned an empty
string, it would be leaked. While an empty string is not really a proxy, other
logic in this function already allows a blank string to be returned so allow
that here to avoid the leak.

multi_runsingle: fix memory leak

Coverity CID 1202837. There's a potential risk that 'newurl' gets
overwritten when it was already pointing to allocated memory.

pop3_perform_authentication: fix memory leak

Coverity CID 1215287. There's a potential risk for a memory leak in
here, and moving the free call to be unconditional seems like a cheap
price to remove the risk.

imap_perform_authentication: fix memory leak

Coverity CID 1215296. There's a potential risk for a memory leak in
here, and moving the free call to be unconditional seems like a cheap
price to remove the risk.

wait_or_timeout: return failure when Curl_poll() fails

Coverity detected this. CID 1241954. When Curl_poll() returns a negative value
'mcode' was uninitialized. Pretty harmless since this is debug code only and
would at worst cause an error to _not_ be returned...

curl.1: mention quoting in the URL section

and separate the example URLs with newlines

smtp: Fixed intermittent "SSL3_WRITE_PENDING: bad write retry" error

This patch fixes the "SSL3_WRITE_PENDING: bad write retry" error that
sometimes occurs when sending an email over SMTPS with OpenSSL. OpenSSL
appears to require the same pointer on a write that follows a retry
(CURLE_AGAIN) as discussed here:

http://stackoverflow.com/questions/2997218/why-am-i-getting-error1409f07fssl-routinesssl3-write-pending-bad-write-retr

RELEASE-NOTES: synced with 53cbea22310f15

file: reject paths using embedded %00

Mostly because we use C strings and they end at a binary zero so we know
we can't open a file name using an embedded binary zero.

Reported-by: research@g0blin.co.uk

test506: Fixed a couple of memory leaks in test

CURLOPT_COOKIELIST: Added "RELOAD" command

CURLOPT_POSTREDIR.3: Added availability for CURL_REDIR_POST_303

threaded-resolver: revert Curl_expire_latest() switch

The switch to using Curl_expire_latest() in commit cacdc27f52b was a
mistake and was against the advice even mentioned in that commit. The
comparison in asyn-thread.c:Curl_resolver_is_resolved() makes
Curl_expire() the suitable function to use.

Bug: http://curl.haxx.se/bug/view.cgi?id=1426
Reported-By: graysky

libcurl docs: improvements all over

build: Added WinIDN build configuration options

Added initial support for WinIDN build configurations to the VC10+
project files.

tutorial: signals aren't used for the threaded resolver

FAQ: update the pronunciation section

As we weren't using the correct phonetic description and doing it correctly
involves funny letters that I'm sure will cause problems for people in a text
document so I instead rephrased it and link to a WAV file with a person
actually saying 'curl'.

Reported-By: Dimitar Boevski

CURLOPT_COOKIE*: added more cross-references

BINDINGS: add node-libcurl

Reported-By: Jonathan Cardoso Machado
URL: http://curl.haxx.se/mail/lib-2014-09/0102.html

README.http2: updated to reflect current status

formdata: removed unnecessary USE_SSLEAY use

curlssl: make tls backend symbols use curlssl in the name

url: let the backend decide CURLOPT_SSL_CTX_ support

... to further remove specific TLS backend knowledge from url.c

vtls: have the backend tell if it supports CERTINFO

configure: allow --with-ca-path with PolarSSL too

Missed this in af45542c.

Signed-off-by: Catalin Patulea <cat@vv.carleton.ca>

CURLOPT_CAPATH: return failure if set without backend support

http2: Fix busy loop when EOF is encountered

Previously we did not handle EOF from underlying transport socket and
wrongly just returned error code CURL_AGAIN from http2_recv, which
caused busy loop since socket has been closed.  This patch adds the
code to handle EOF situation and tells the upper layer that we got
EOF.

build: Added batch wrapper to checksrc.pl

RELEASE-NOTES: Synced with bd3df5ec6d

sasl_sspi: Fixed Unicode build

Bug: http://curl.haxx.se/bug/view.cgi?id=1422
Verified-by: Steve Holme

libcurl-tutorial.3: fix GnuTLS link to thread-safety guidelines

The former link was turned into a 404 at some point.

Reported-By: Askar Safin

contributors.sh: split list of names at comma

... to support a list of names provided in a commit message.

ntlm: Fixed HTTP proxy authentication when using Windows SSPI

Removed ISC_REQ_* flags from calls to InitializeSecurityContext to fix
bug in NTLM handshake for HTTP proxy authentication.

NTLM handshake for HTTP proxy authentication failed with error
SEC_E_INVALID_TOKEN from InitializeSecurityContext for certain proxy
servers on generating the NTLM Type-3 message.

The flag ISC_REQ_CONFIDENTIALITY seems to cause the problem according
to the observations and suggestions made in a bug report for the
QT project (https://bugreports.qt-project.org/browse/QTBUG-17322).

Removing all the flags solved the problem.

Bug: http://curl.haxx.se/mail/lib-2014-08/0273.html
Reported-by: Ulrich Telle
Assisted-by: Steve Holme, Daniel Stenberg

newlines: fix mixed newlines to LF-only

I use the curl repo mainly on Windows with the typical Windows git
checkout which converts the LF line endings in the curl repo to CRLF
automatically on checkout. The automatic conversion is not done on files
in the repo with mixed line endings. I recently noticed some weird
output with projects/build-openssl.bat that I traced back to mixed line
endings, so I scanned the repo and there are files (excluding the
test data) that have mixed line endings.

I used this command below to do the scan. Unfortunately it's not as easy
as git grep, at least not on Windows. This gets the names of all the
files in the repo's HEAD, gets each of those files raw from HEAD, checks
for mixed line endings of both LF and CRLF, and prints the name if
mixed. I excluded path tests/data/test* because those can have mixed
line endings if I understand correctly.

for f in `git ls-tree --name-only --full-tree -r HEAD`;
do if [ -n "${f##tests/data/test*}" ];
    then git show "HEAD:$f" | \
        perl -0777 -ne 'exit 1 if /([^\r]\n.*\r\n)|(\r\n.*[^\r]\n)/';
    if [ $? -ne 0 ];
        then echo "$f";
    fi;
fi;
done

mk-ca-bundle.pl: converted tabs to spaces, deleted trailing spaces