GnuTLS: Implement public key pinning

SSL: implement public key pinning

Option --pinnedpubkey takes a path to a public key in DER format and
only connect if it matches (currently only implemented with OpenSSL).

Provides CURLOPT_PINNEDPUBLICKEY for curl_easy_setopt().

Extract a public RSA key from a website like so:
openssl s_client -connect google.com:443 2>&1 < /dev/null | \
sed -n '/-----BEGIN/,/-----END/p' | openssl x509 -noout -pubkey \
| openssl rsa -pubin -outform DER > google.com.der

multi_runsingle: fix possible memory leak

Coverity CID 1202837. 'newurl' can in fact be allocated even when
Curl_retry_request() returns failure so free it if need be.

ares::Curl_resolver_cancel: skip checking for NULL conn

Coverity CID 1243581. 'conn' will never be NULL here, and if it would be
the subsequent statement would dereference it!

parseconfig: skip a NULL check

Coverity CID 1154198. This NULL check implies that the pointer _can_ be
NULL at this point, which it can't. Thus it is dead code. It tricks
static analyzers to warn about dereferencing the pointer since the code
seems to imply it can be NULL.

multi-uv.c: call curl_multi_info_read() better

Improves it for low-latency cases (like the communication with
localhost)

tool_go_sleep: use (void) to spell out we ignore the return value

Coverity CID 1222080.

ssh_statemach_act: split out assignment from check

just a minor code style thing to make the code clearer

curl_schannel.c: Fixed possible memory or handle leak

First try to fix possible memory leaks, in this case:
Only connssl->ctxt xor onnssl->cred being initialized.

getparameter: remove dead code

Coverity CID 1061126. 'parse' will always be non-NULL here.

getparameter: comment a switch FALLTHROUGH

Coverity CID 1061118. Point out that it is on purpose.

choose_mech: fix return code

Coverity CID 1241950. The pointer is never NULL but it might point to
NULL.

Curl_sec_read_msg: spell out that we ignore return code

Coverity CID 1241947. Since if sscanf() fails, the previously set value
remains set.

nonblock: call with (void) to show we ignore the return code

Coverity pointed out several of these.

parse_proxy: remove dead code.

Coverity CID 982331.

Curl_debug: document switch fallthroughs

curl_multi_remove_handle: remove dead code

Coverify CID 1157776. Removed a superfluous if() that always evaluated
true (and an else clause that never ran), and then re-indented the
function accordingly.

Curl_pipeline_server_blacklisted: handle a NULL server name

Coverity CID 1215284. The server name is extracted with
Curl_copy_header_value() and passed in to this function, and
copy_header_value can actually can fail and return NULL.

ssh: comment "fallthrough" in switch statement

ssh: improve key file search

For private keys, use the first match from: user-specified key file
(if provided), ~/.ssh/id_rsa, ~/.ssh/id_dsa, ./id_rsa, ./id_dsa

Note that the previous code only looked for id_dsa files. id_rsa is
now generally preferred, as it supports larger key sizes.

For public keys, use the user-specified key file, if provided.
Otherwise, try to extract the public key from the private key file.
This means that passing --pubkey is typically no longer required,
and makes the key-handling behavior more like OpenSSH.

CURLOPT_HTTPHEADER.3: libcurl doesn't copy the whole list

detect_proxy: fix possible single-byte memory leak

Coverity CID 1202836. If the proxy environment variable returned an empty
string, it would be leaked. While an empty string is not really a proxy, other
logic in this function already allows a blank string to be returned so allow
that here to avoid the leak.

multi_runsingle: fix memory leak

Coverity CID 1202837. There's a potential risk that 'newurl' gets
overwritten when it was already pointing to allocated memory.

pop3_perform_authentication: fix memory leak

Coverity CID 1215287. There's a potential risk for a memory leak in
here, and moving the free call to be unconditional seems like a cheap
price to remove the risk.

imap_perform_authentication: fix memory leak

Coverity CID 1215296. There's a potential risk for a memory leak in
here, and moving the free call to be unconditional seems like a cheap
price to remove the risk.

wait_or_timeout: return failure when Curl_poll() fails

Coverity detected this. CID 1241954. When Curl_poll() returns a negative value
'mcode' was uninitialized. Pretty harmless since this is debug code only and
would at worst cause an error to _not_ be returned...

curl.1: mention quoting in the URL section

and separate the example URLs with newlines

smtp: Fixed intermittent "SSL3_WRITE_PENDING: bad write retry" error

This patch fixes the "SSL3_WRITE_PENDING: bad write retry" error that
sometimes occurs when sending an email over SMTPS with OpenSSL. OpenSSL
appears to require the same pointer on a write that follows a retry
(CURLE_AGAIN) as discussed here:

http://stackoverflow.com/questions/2997218/why-am-i-getting-error1409f07fssl-routinesssl3-write-pending-bad-write-retr

RELEASE-NOTES: synced with 53cbea22310f15

file: reject paths using embedded %00

Mostly because we use C strings and they end at a binary zero so we know
we can't open a file name using an embedded binary zero.

Reported-by: research@g0blin.co.uk

test506: Fixed a couple of memory leaks in test

CURLOPT_COOKIELIST: Added "RELOAD" command

CURLOPT_POSTREDIR.3: Added availability for CURL_REDIR_POST_303

threaded-resolver: revert Curl_expire_latest() switch

The switch to using Curl_expire_latest() in commit cacdc27f52b was a
mistake and was against the advice even mentioned in that commit. The
comparison in asyn-thread.c:Curl_resolver_is_resolved() makes
Curl_expire() the suitable function to use.

Bug: http://curl.haxx.se/bug/view.cgi?id=1426
Reported-By: graysky

libcurl docs: improvements all over

build: Added WinIDN build configuration options

Added initial support for WinIDN build configurations to the VC10+
project files.

tutorial: signals aren't used for the threaded resolver

FAQ: update the pronunciation section

As we weren't using the correct phonetic description and doing it correctly
involves funny letters that I'm sure will cause problems for people in a text
document so I instead rephrased it and link to a WAV file with a person
actually saying 'curl'.

Reported-By: Dimitar Boevski

CURLOPT_COOKIE*: added more cross-references

BINDINGS: add node-libcurl

Reported-By: Jonathan Cardoso Machado
URL: http://curl.haxx.se/mail/lib-2014-09/0102.html

README.http2: updated to reflect current status

formdata: removed unnecessary USE_SSLEAY use

curlssl: make tls backend symbols use curlssl in the name

url: let the backend decide CURLOPT_SSL_CTX_ support

... to further remove specific TLS backend knowledge from url.c

vtls: have the backend tell if it supports CERTINFO

configure: allow --with-ca-path with PolarSSL too

Missed this in af45542c.

Signed-off-by: Catalin Patulea <cat@vv.carleton.ca>

CURLOPT_CAPATH: return failure if set without backend support

http2: Fix busy loop when EOF is encountered

Previously we did not handle EOF from underlying transport socket and
wrongly just returned error code CURL_AGAIN from http2_recv, which
caused busy loop since socket has been closed.  This patch adds the
code to handle EOF situation and tells the upper layer that we got
EOF.

build: Added batch wrapper to checksrc.pl

RELEASE-NOTES: Synced with bd3df5ec6d

sasl_sspi: Fixed Unicode build

Bug: http://curl.haxx.se/bug/view.cgi?id=1422
Verified-by: Steve Holme

libcurl-tutorial.3: fix GnuTLS link to thread-safety guidelines

The former link was turned into a 404 at some point.

Reported-By: Askar Safin

contributors.sh: split list of names at comma

... to support a list of names provided in a commit message.

ntlm: Fixed HTTP proxy authentication when using Windows SSPI

Removed ISC_REQ_* flags from calls to InitializeSecurityContext to fix
bug in NTLM handshake for HTTP proxy authentication.

NTLM handshake for HTTP proxy authentication failed with error
SEC_E_INVALID_TOKEN from InitializeSecurityContext for certain proxy
servers on generating the NTLM Type-3 message.

The flag ISC_REQ_CONFIDENTIALITY seems to cause the problem according
to the observations and suggestions made in a bug report for the
QT project (https://bugreports.qt-project.org/browse/QTBUG-17322).

Removing all the flags solved the problem.

Bug: http://curl.haxx.se/mail/lib-2014-08/0273.html
Reported-by: Ulrich Telle
Assisted-by: Steve Holme, Daniel Stenberg

newlines: fix mixed newlines to LF-only

I use the curl repo mainly on Windows with the typical Windows git
checkout which converts the LF line endings in the curl repo to CRLF
automatically on checkout. The automatic conversion is not done on files
in the repo with mixed line endings. I recently noticed some weird
output with projects/build-openssl.bat that I traced back to mixed line
endings, so I scanned the repo and there are files (excluding the
test data) that have mixed line endings.

I used this command below to do the scan. Unfortunately it's not as easy
as git grep, at least not on Windows. This gets the names of all the
files in the repo's HEAD, gets each of those files raw from HEAD, checks
for mixed line endings of both LF and CRLF, and prints the name if
mixed. I excluded path tests/data/test* because those can have mixed
line endings if I understand correctly.

for f in `git ls-tree --name-only --full-tree -r HEAD`;
do if [ -n "${f##tests/data/test*}" ];
    then git show "HEAD:$f" | \
        perl -0777 -ne 'exit 1 if /([^\r]\n.*\r\n)|(\r\n.*[^\r]\n)/';
    if [ $? -ne 0 ];
        then echo "$f";
    fi;
fi;
done

mk-ca-bundle.pl: converted tabs to spaces, deleted trailing spaces

ROADMAP: markdown eats underscores

It interprets them as italic indictors unless we backtick the word.

ROADMAP: tiny formatting edit for nicer web output

ROADMAP.md: Updated GSSAPI authentication following 7.38.0 additions

INTERNALS: Added email and updated Kerberos details

FEATURES: Updated Kerberos details

Added support for Kerberos 5 to the email protocols following the recent
additions in 7.38.0.

Removed Kerberos 4 as this has been gone for a while now.

openssl: build fix for versions < 0.9.8e

Bug: http://curl.haxx.se/mail/lib-2014-09/0064.html

mk-ca-bundle.pl: first, try downloading HTTPS with curl

As a sort of step forward, this script will now first try to get the
data from the HTTPS URL using curl, and only if that fails it will
switch back to the HTTP transfer using perl's native LWP functionality.
To reduce the risk of this script being tricked.

Using HTTPS to get a cert bundle introduces a chicken-and-egg problem so
we can't really ever completely disable HTTP, but chances are that most
users already have a ca cert bundle that trusts the mozilla.org site
that this script downloads from.

A future version of this script will probably switch to require a
dedicated "insecure" command line option to allow downloading over HTTP
(or unverified HTTPS).

LICENSE-MIXING: removed krb4 info

krb4 has been dropped since a while now

bump: on the 7.38.1-DEV train now!

SSLCERTS: minor updates

Edited format to look better on the web, added a "it is about trust"
section.

dist: two cmake files are no more

CMake/FindOpenSSL.cmake and FindZLIB.cmake are gone since 14aa8f0c117b

RELEASE-NOTES: final update for 7.38.0

cookies: reject incoming cookies set for TLDs

Test 61 was modified to verify this.

CVE-2014-3620

Reported-by: Tim Ruehsen
URL: http://curl.haxx.se/docs/adv_20140910B.html

cookies: only use full host matches for hosts used as IP address

By not detecting and rejecting domain names for partial literal IP
addresses properly when parsing received HTTP cookies, libcurl can be
fooled to both send cookies to wrong sites and to allow arbitrary sites
to set cookies for others.

CVE-2014-3613

Bug: http://curl.haxx.se/docs/adv_20140910A.html

HISTORY: fix the 1998 title position

HISTORY: extended and now markdown

SSLCERTS: converted to markdown

Only minor edits to make it generate nice HTML output using markdown, as
this document serves both in source release tarballs as on the web site.

URL: http://curl.haxx.se/docs/sslcerts.html

ftp-wildcard.c: spell fix

Reported-By: Frank Gevaerts

RELEASE-NOTES: synced with 921a0c22a6f

THANKS: synced with RELEASE-NOTES for 921a0c22a6f

polarassl: avoid memset() when clearing the first byte is enough

polarssl: support CURLOPT_CAPATH / --capath

Signed-off-by: Catalin Patulea <cat@vv.carleton.ca>

SECURITY: eh, make more sense!

SECURITY: how to join the curl-security list

RELEASE-NOTES: fix the required nghttp2 version typo

Ensure progress.size_dl/progress.size_ul are always >= 0

Historically the default "unknown" value for progress.size_dl and
progress.size_ul has been zero, since these values are initialized
implicitly by the calloc that allocates the curl handle that these
variables are a part of.  Users of curl that install progress
callbacks may expect these values to always be >= 0.

Currently it is possible for progress.size_dl and progress.size_ul
to by set to a value of -1, if Curl_pgrsSetDownloadSize() or
Curl_pgrsSetUploadSize() are passed a "size" of -1 (which a few
places currently do, and a following patch will add more).  So
lets update Curl_pgrsSetDownloadSize() and Curl_pgrsSetUploadSize()
so they make sure that these variables always contain a value that
is >= 0.

Updates test579 and test599.

Signed-off-by: Brandon Casey <drafnel@gmail.com>

tests: Added test1420 to the makefile

test1420: Removed unnecessary CURLOPT setting

tests: Added more "Clear Text" authentication keywords

tests: Updated "based on" text due to email test renumbering

tests: For consistency added --libcurl to test name

tests: Added --libcurl for IMAP test case

multi.c: Avoid invalid memory read after free() from commit 3c8c873252

As the current element in the list is free()d by Curl_llist_remove(),
when the associated connection is pending, reworked the loop to avoid
accessing the next element through e->next afterward.

multi.c: Fixed compilation warning from commit 3c8c873252

warning: implicit conversion from enumeration type 'CURLMcode' to
different enumeration type 'CURLcode'

url.c: Use CURLAUTH_NONE constant rather than 0

Small follow up to commit 898808fa8c to use auth constants rather than
hard code value when clearing picked authentication mechanism.

RELEASE-NOTES: Synced with fd1ce3856a

darwinssl: Use CopyCertSubject() to check CA cert.

SecCertificateCopyPublicKey() is not available on iPhone. Use
CopyCertSubject() instead to see if the certificate returned by
SecCertificateCreateWithData() is valid.

Reported-by: Toby Peterson

RELEASE-NOTES: Clarify email Kerberos support is currently via Windows SSPI

MAIL-ETIQUETTE: "1.8 I posted, now what?"

CURLOPT_CA*: better refering between *CAINFO and *CAPATH

... and a minor wording edit

THANKS: added Dennis Clarke

Dennis Clarke from Blastwave.org for ensuring that nightly builds run
smooth on Solaris!

curl_multi_cleanup: remove superfluous NULL assigns

... as the struct is free()d in the end anyway. It was first pointed out
to me that one of the ->msglist assignments were supposed to have been
->pending but was a copy and paste mistake when I realized none of the
clearing of pointers had to be there.

multi: convert CURLM_STATE_CONNECT_PEND handling to a list

... instead of scanning through all handles, stash only the actual
handles that are in that state in the new ->pending list and scan that
list only. It should be mostly empty or very short. And only used for
pipelining.

This avoids a rather hefty slow-down especially notable if you add many
handles to the same multi handle. Regression introduced in commit
0f147887 (version 7.30.0).

Bug: http://curl.haxx.se/mail/lib-2014-07/0206.html
Reported-by: David Meyer

RELEASE-NOTES: synced with e608324f9f9