test2036: verify -O with no slash at all in the URL

Similar to test 76 but that test's URL has a slash just no file name
part.

get_url_file_name: make no slash equal empty string

get_url_file_name: never return a NULL string *and* OK

Change 987a4a73 assumes that as it simplifies life in the calling
function.

Reported-by: Fabian Keil

Cmake: Build with GSSAPI (MIT or Heimdal)

It tries hard to recognise SDK's on different platforms. On windows MIT
Kerberos installs SDK with other things and puts path into registry.
Heimdal have separate zip archive. On linux pkg-config is tried, then
krb5-config script and finally old-style libs and headers detection.

Command line args:
* CMAKE_USE_GSSAPI - enables GSSAPI detection
* GSS_ROOT_DIR - if set, should point to the root of GSSAPI installation
                 (the one with include and lib directories)

Cmake: Got rid of setup_curl_dependencies

There is no need for such function. Include_directories propagate by
themselves and having a function with one simple link statement makes
little sense.

Cmake: Avoid cycle directory dependencies.

Because we prepended libraries to list, CMake had troubles resolving
link directory order as it detected some cycles. Appending to list ensures
that dependencies will preceed dependees.

Cmake: Fix library list provided to cURL tests.

The list must be set after those nice CMake tests as we mess with
CMAKE_REQUIRED_LIBRARIES there.

Cmake: Check for OpenSSL before OpenLDAP.

OpenLDAP might have been build with OpenSSL. Checking for OpenLDAP first
may result in undefined symbols. Of course, the found OpenSSL libraries
must also be linked whenever OpenLDAP is.

curl_multi_fdset.3: improved the formatting slightly

curl_multi_fdset: explain the fd_set arguments

nss: do not fail if a CRL is already cached

This fixes a copy-paste mistake from commit 2968f957.

OS400: upgrade interface for pinned public key (no implementation yet)

FormAdd: precaution against memdup() of NULL pointer

Coverity CID 252518. This function is in general far too complicated for
its own good and really should be broken down into several smaller
funcitons instead - but I'm adding this protection here now since it
seems there's a risk the code flow can end up here and dereference a
NULL pointer.

operate: avoid NULL dereference

Coverity CID 1241948. dumpeasysrc() would get called with
config->current set to NULL which could be dereferenced by a warnf()
call.

do_sec_send: remove dead code

Coverity CID 1241951. The condition 'len >= 0' would always be true at
that point and thus not necessary to check for.

krb5_encode: remove unused argument

Coverity CID 1241957. Removed the unused argument. As this struct and
pointer now are used only for krb5, there's no need to keep unused
function arguments around.

operate_do: skip superfluous check for NULL pointer

Coverity CID 1243583. get_url_file_name() cannot fail and return a NULL
file name pointer so skip the check for that - it tricks coverity into
believing it can happen and it then warns later on when we use 'outfile'
without checking for NULL.

curl_easy_getinfo.3: spell-fix

Reported-By: Luan Cestari

GnuTLS: Implement public key pinning

SSL: implement public key pinning

Option --pinnedpubkey takes a path to a public key in DER format and
only connect if it matches (currently only implemented with OpenSSL).

Provides CURLOPT_PINNEDPUBLICKEY for curl_easy_setopt().

Extract a public RSA key from a website like so:
openssl s_client -connect google.com:443 2>&1 < /dev/null | \
sed -n '/-----BEGIN/,/-----END/p' | openssl x509 -noout -pubkey \
| openssl rsa -pubin -outform DER > google.com.der

multi_runsingle: fix possible memory leak

Coverity CID 1202837. 'newurl' can in fact be allocated even when
Curl_retry_request() returns failure so free it if need be.

ares::Curl_resolver_cancel: skip checking for NULL conn

Coverity CID 1243581. 'conn' will never be NULL here, and if it would be
the subsequent statement would dereference it!

parseconfig: skip a NULL check

Coverity CID 1154198. This NULL check implies that the pointer _can_ be
NULL at this point, which it can't. Thus it is dead code. It tricks
static analyzers to warn about dereferencing the pointer since the code
seems to imply it can be NULL.

multi-uv.c: call curl_multi_info_read() better

Improves it for low-latency cases (like the communication with
localhost)

tool_go_sleep: use (void) to spell out we ignore the return value

Coverity CID 1222080.

ssh_statemach_act: split out assignment from check

just a minor code style thing to make the code clearer

curl_schannel.c: Fixed possible memory or handle leak

First try to fix possible memory leaks, in this case:
Only connssl->ctxt xor onnssl->cred being initialized.

getparameter: remove dead code

Coverity CID 1061126. 'parse' will always be non-NULL here.

getparameter: comment a switch FALLTHROUGH

Coverity CID 1061118. Point out that it is on purpose.

choose_mech: fix return code

Coverity CID 1241950. The pointer is never NULL but it might point to
NULL.

Curl_sec_read_msg: spell out that we ignore return code

Coverity CID 1241947. Since if sscanf() fails, the previously set value
remains set.

nonblock: call with (void) to show we ignore the return code

Coverity pointed out several of these.

parse_proxy: remove dead code.

Coverity CID 982331.

Curl_debug: document switch fallthroughs

curl_multi_remove_handle: remove dead code

Coverify CID 1157776. Removed a superfluous if() that always evaluated
true (and an else clause that never ran), and then re-indented the
function accordingly.

Curl_pipeline_server_blacklisted: handle a NULL server name

Coverity CID 1215284. The server name is extracted with
Curl_copy_header_value() and passed in to this function, and
copy_header_value can actually can fail and return NULL.

ssh: comment "fallthrough" in switch statement

ssh: improve key file search

For private keys, use the first match from: user-specified key file
(if provided), ~/.ssh/id_rsa, ~/.ssh/id_dsa, ./id_rsa, ./id_dsa

Note that the previous code only looked for id_dsa files. id_rsa is
now generally preferred, as it supports larger key sizes.

For public keys, use the user-specified key file, if provided.
Otherwise, try to extract the public key from the private key file.
This means that passing --pubkey is typically no longer required,
and makes the key-handling behavior more like OpenSSH.

CURLOPT_HTTPHEADER.3: libcurl doesn't copy the whole list

detect_proxy: fix possible single-byte memory leak

Coverity CID 1202836. If the proxy environment variable returned an empty
string, it would be leaked. While an empty string is not really a proxy, other
logic in this function already allows a blank string to be returned so allow
that here to avoid the leak.

multi_runsingle: fix memory leak

Coverity CID 1202837. There's a potential risk that 'newurl' gets
overwritten when it was already pointing to allocated memory.

pop3_perform_authentication: fix memory leak

Coverity CID 1215287. There's a potential risk for a memory leak in
here, and moving the free call to be unconditional seems like a cheap
price to remove the risk.

imap_perform_authentication: fix memory leak

Coverity CID 1215296. There's a potential risk for a memory leak in
here, and moving the free call to be unconditional seems like a cheap
price to remove the risk.

wait_or_timeout: return failure when Curl_poll() fails

Coverity detected this. CID 1241954. When Curl_poll() returns a negative value
'mcode' was uninitialized. Pretty harmless since this is debug code only and
would at worst cause an error to _not_ be returned...

curl.1: mention quoting in the URL section

and separate the example URLs with newlines

smtp: Fixed intermittent "SSL3_WRITE_PENDING: bad write retry" error

This patch fixes the "SSL3_WRITE_PENDING: bad write retry" error that
sometimes occurs when sending an email over SMTPS with OpenSSL. OpenSSL
appears to require the same pointer on a write that follows a retry
(CURLE_AGAIN) as discussed here:

http://stackoverflow.com/questions/2997218/why-am-i-getting-error1409f07fssl-routinesssl3-write-pending-bad-write-retr

RELEASE-NOTES: synced with 53cbea22310f15

file: reject paths using embedded %00

Mostly because we use C strings and they end at a binary zero so we know
we can't open a file name using an embedded binary zero.

Reported-by: research@g0blin.co.uk

test506: Fixed a couple of memory leaks in test

CURLOPT_COOKIELIST: Added "RELOAD" command

CURLOPT_POSTREDIR.3: Added availability for CURL_REDIR_POST_303

threaded-resolver: revert Curl_expire_latest() switch

The switch to using Curl_expire_latest() in commit cacdc27f52b was a
mistake and was against the advice even mentioned in that commit. The
comparison in asyn-thread.c:Curl_resolver_is_resolved() makes
Curl_expire() the suitable function to use.

Bug: http://curl.haxx.se/bug/view.cgi?id=1426
Reported-By: graysky

libcurl docs: improvements all over

build: Added WinIDN build configuration options

Added initial support for WinIDN build configurations to the VC10+
project files.

tutorial: signals aren't used for the threaded resolver

FAQ: update the pronunciation section

As we weren't using the correct phonetic description and doing it correctly
involves funny letters that I'm sure will cause problems for people in a text
document so I instead rephrased it and link to a WAV file with a person
actually saying 'curl'.

Reported-By: Dimitar Boevski

CURLOPT_COOKIE*: added more cross-references

BINDINGS: add node-libcurl

Reported-By: Jonathan Cardoso Machado
URL: http://curl.haxx.se/mail/lib-2014-09/0102.html

README.http2: updated to reflect current status

formdata: removed unnecessary USE_SSLEAY use

curlssl: make tls backend symbols use curlssl in the name

url: let the backend decide CURLOPT_SSL_CTX_ support

... to further remove specific TLS backend knowledge from url.c

vtls: have the backend tell if it supports CERTINFO

configure: allow --with-ca-path with PolarSSL too

Missed this in af45542c.

Signed-off-by: Catalin Patulea <cat@vv.carleton.ca>

CURLOPT_CAPATH: return failure if set without backend support

http2: Fix busy loop when EOF is encountered

Previously we did not handle EOF from underlying transport socket and
wrongly just returned error code CURL_AGAIN from http2_recv, which
caused busy loop since socket has been closed.  This patch adds the
code to handle EOF situation and tells the upper layer that we got
EOF.

build: Added batch wrapper to checksrc.pl

RELEASE-NOTES: Synced with bd3df5ec6d

sasl_sspi: Fixed Unicode build

Bug: http://curl.haxx.se/bug/view.cgi?id=1422
Verified-by: Steve Holme

libcurl-tutorial.3: fix GnuTLS link to thread-safety guidelines

The former link was turned into a 404 at some point.

Reported-By: Askar Safin

contributors.sh: split list of names at comma

... to support a list of names provided in a commit message.

ntlm: Fixed HTTP proxy authentication when using Windows SSPI

Removed ISC_REQ_* flags from calls to InitializeSecurityContext to fix
bug in NTLM handshake for HTTP proxy authentication.

NTLM handshake for HTTP proxy authentication failed with error
SEC_E_INVALID_TOKEN from InitializeSecurityContext for certain proxy
servers on generating the NTLM Type-3 message.

The flag ISC_REQ_CONFIDENTIALITY seems to cause the problem according
to the observations and suggestions made in a bug report for the
QT project (https://bugreports.qt-project.org/browse/QTBUG-17322).

Removing all the flags solved the problem.

Bug: http://curl.haxx.se/mail/lib-2014-08/0273.html
Reported-by: Ulrich Telle
Assisted-by: Steve Holme, Daniel Stenberg

newlines: fix mixed newlines to LF-only

I use the curl repo mainly on Windows with the typical Windows git
checkout which converts the LF line endings in the curl repo to CRLF
automatically on checkout. The automatic conversion is not done on files
in the repo with mixed line endings. I recently noticed some weird
output with projects/build-openssl.bat that I traced back to mixed line
endings, so I scanned the repo and there are files (excluding the
test data) that have mixed line endings.

I used this command below to do the scan. Unfortunately it's not as easy
as git grep, at least not on Windows. This gets the names of all the
files in the repo's HEAD, gets each of those files raw from HEAD, checks
for mixed line endings of both LF and CRLF, and prints the name if
mixed. I excluded path tests/data/test* because those can have mixed
line endings if I understand correctly.

for f in `git ls-tree --name-only --full-tree -r HEAD`;
do if [ -n "${f##tests/data/test*}" ];
    then git show "HEAD:$f" | \
        perl -0777 -ne 'exit 1 if /([^\r]\n.*\r\n)|(\r\n.*[^\r]\n)/';
    if [ $? -ne 0 ];
        then echo "$f";
    fi;
fi;
done

mk-ca-bundle.pl: converted tabs to spaces, deleted trailing spaces

ROADMAP: markdown eats underscores

It interprets them as italic indictors unless we backtick the word.

ROADMAP: tiny formatting edit for nicer web output

ROADMAP.md: Updated GSSAPI authentication following 7.38.0 additions

INTERNALS: Added email and updated Kerberos details

FEATURES: Updated Kerberos details

Added support for Kerberos 5 to the email protocols following the recent
additions in 7.38.0.

Removed Kerberos 4 as this has been gone for a while now.

openssl: build fix for versions < 0.9.8e

Bug: http://curl.haxx.se/mail/lib-2014-09/0064.html

mk-ca-bundle.pl: first, try downloading HTTPS with curl

As a sort of step forward, this script will now first try to get the
data from the HTTPS URL using curl, and only if that fails it will
switch back to the HTTP transfer using perl's native LWP functionality.
To reduce the risk of this script being tricked.

Using HTTPS to get a cert bundle introduces a chicken-and-egg problem so
we can't really ever completely disable HTTP, but chances are that most
users already have a ca cert bundle that trusts the mozilla.org site
that this script downloads from.

A future version of this script will probably switch to require a
dedicated "insecure" command line option to allow downloading over HTTP
(or unverified HTTPS).

LICENSE-MIXING: removed krb4 info

krb4 has been dropped since a while now

bump: on the 7.38.1-DEV train now!

SSLCERTS: minor updates

Edited format to look better on the web, added a "it is about trust"
section.

dist: two cmake files are no more

CMake/FindOpenSSL.cmake and FindZLIB.cmake are gone since 14aa8f0c117b

RELEASE-NOTES: final update for 7.38.0

cookies: reject incoming cookies set for TLDs

Test 61 was modified to verify this.

CVE-2014-3620

Reported-by: Tim Ruehsen
URL: http://curl.haxx.se/docs/adv_20140910B.html

cookies: only use full host matches for hosts used as IP address

By not detecting and rejecting domain names for partial literal IP
addresses properly when parsing received HTTP cookies, libcurl can be
fooled to both send cookies to wrong sites and to allow arbitrary sites
to set cookies for others.

CVE-2014-3613

Bug: http://curl.haxx.se/docs/adv_20140910A.html

HISTORY: fix the 1998 title position

HISTORY: extended and now markdown

SSLCERTS: converted to markdown

Only minor edits to make it generate nice HTML output using markdown, as
this document serves both in source release tarballs as on the web site.

URL: http://curl.haxx.se/docs/sslcerts.html

ftp-wildcard.c: spell fix

Reported-By: Frank Gevaerts

RELEASE-NOTES: synced with 921a0c22a6f

THANKS: synced with RELEASE-NOTES for 921a0c22a6f

polarassl: avoid memset() when clearing the first byte is enough

polarssl: support CURLOPT_CAPATH / --capath

Signed-off-by: Catalin Patulea <cat@vv.carleton.ca>

SECURITY: eh, make more sense!

SECURITY: how to join the curl-security list

RELEASE-NOTES: fix the required nghttp2 version typo

Ensure progress.size_dl/progress.size_ul are always >= 0

Historically the default "unknown" value for progress.size_dl and
progress.size_ul has been zero, since these values are initialized
implicitly by the calloc that allocates the curl handle that these
variables are a part of.  Users of curl that install progress
callbacks may expect these values to always be >= 0.

Currently it is possible for progress.size_dl and progress.size_ul
to by set to a value of -1, if Curl_pgrsSetDownloadSize() or
Curl_pgrsSetUploadSize() are passed a "size" of -1 (which a few
places currently do, and a following patch will add more).  So
lets update Curl_pgrsSetDownloadSize() and Curl_pgrsSetUploadSize()
so they make sure that these variables always contain a value that
is >= 0.

Updates test579 and test599.

Signed-off-by: Brandon Casey <drafnel@gmail.com>