SECURITY: how to join the curl-security list

RELEASE-NOTES: fix the required nghttp2 version typo

Ensure progress.size_dl/progress.size_ul are always >= 0

Historically the default "unknown" value for progress.size_dl and
progress.size_ul has been zero, since these values are initialized
implicitly by the calloc that allocates the curl handle that these
variables are a part of.  Users of curl that install progress
callbacks may expect these values to always be >= 0.

Currently it is possible for progress.size_dl and progress.size_ul
to by set to a value of -1, if Curl_pgrsSetDownloadSize() or
Curl_pgrsSetUploadSize() are passed a "size" of -1 (which a few
places currently do, and a following patch will add more).  So
lets update Curl_pgrsSetDownloadSize() and Curl_pgrsSetUploadSize()
so they make sure that these variables always contain a value that
is >= 0.

Updates test579 and test599.

Signed-off-by: Brandon Casey <drafnel@gmail.com>

tests: Added test1420 to the makefile

test1420: Removed unnecessary CURLOPT setting

tests: Added more "Clear Text" authentication keywords

tests: Updated "based on" text due to email test renumbering

tests: For consistency added --libcurl to test name

tests: Added --libcurl for IMAP test case

multi.c: Avoid invalid memory read after free() from commit 3c8c873252

As the current element in the list is free()d by Curl_llist_remove(),
when the associated connection is pending, reworked the loop to avoid
accessing the next element through e->next afterward.

multi.c: Fixed compilation warning from commit 3c8c873252

warning: implicit conversion from enumeration type 'CURLMcode' to
different enumeration type 'CURLcode'

url.c: Use CURLAUTH_NONE constant rather than 0

Small follow up to commit 898808fa8c to use auth constants rather than
hard code value when clearing picked authentication mechanism.

RELEASE-NOTES: Synced with fd1ce3856a

darwinssl: Use CopyCertSubject() to check CA cert.

SecCertificateCopyPublicKey() is not available on iPhone. Use
CopyCertSubject() instead to see if the certificate returned by
SecCertificateCreateWithData() is valid.

Reported-by: Toby Peterson

RELEASE-NOTES: Clarify email Kerberos support is currently via Windows SSPI

MAIL-ETIQUETTE: "1.8 I posted, now what?"

CURLOPT_CA*: better refering between *CAINFO and *CAPATH

... and a minor wording edit

THANKS: added Dennis Clarke

Dennis Clarke from Blastwave.org for ensuring that nightly builds run
smooth on Solaris!

curl_multi_cleanup: remove superfluous NULL assigns

... as the struct is free()d in the end anyway. It was first pointed out
to me that one of the ->msglist assignments were supposed to have been
->pending but was a copy and paste mistake when I realized none of the
clearing of pointers had to be there.

multi: convert CURLM_STATE_CONNECT_PEND handling to a list

... instead of scanning through all handles, stash only the actual
handles that are in that state in the new ->pending list and scan that
list only. It should be mostly empty or very short. And only used for
pipelining.

This avoids a rather hefty slow-down especially notable if you add many
handles to the same multi handle. Regression introduced in commit
0f147887 (version 7.30.0).

Bug: http://curl.haxx.se/mail/lib-2014-07/0206.html
Reported-by: David Meyer

RELEASE-NOTES: synced with e608324f9f9

polarssl: implement CURLOPT_SSLVERSION

Forwards the setting as minimum ssl version (if set) to polarssl.  If
the server does not support the requested version the SSL Handshake will
fail.

Bug: http://curl.haxx.se/bug/view.cgi?id=1419

Merge pull request #115 from ldx/darwinsslfixpr

darwinssl: now accepts cacert bundles in PEM format in addition to single certs

Check CA certificate in curl_darwinssl.c.

SecCertificateCreateWithData() returns a non-NULL SecCertificateRef even
if the buffer holds an invalid or corrupt certificate. Call
SecCertificateCopyPublicKey() to make sure cacert is a valid
certificate.

low-speed-limit: avoid timeout flood

Introducing Curl_expire_latest(). To be used when we the code flow only
wants to get called at a later time that is "no later than X" so that
something can be checked (and another timeout be added).

The low-speed logic for example could easily be made to set very many
expire timeouts if it would be called faster or sooner than what it had
set its own timer and this goes for a few other timers too that aren't
explictiy checked for timer expiration in the code.

If there's no condition the code that says if(time-passed >= TIME), then
Curl_expire_latest() is preferred to Curl_expire().

If there exists such a condition, it is on the other hand important that
Curl_expire() is used and not the other.

Bug: http://curl.haxx.se/mail/lib-2014-06/0235.html
Reported-by: Florian Weimer

resolve: cache lookup for async resolvers

While waiting for a host resolve, check if the host cache may have
gotten the name already (by someone else), for when the same name is
resolved by several simultanoues requests.

The resolver thread occasionally gets stuck in getaddrinfo() when the
DNS or anything else is crappy or slow, so when a host is found in the
DNS cache, leave the thread alone and let itself cleanup the mess.

Fix CA certificate bundle handling in darwinssl.

If the --cacert option is used with a CA certificate bundle that
contains multiple CA certificates, iterate through it, adding each
certificate as a trusted root CA.

getinfo-times: Typo fixed

libcurl.3: Typo fixed

curl_formadd.3: setting CURLFORM_CONTENTSLENGTH 0 zero means strlen

curl.1: add an example for -H

FAQ: mention -w in the 4.20 answer as well

FAQ: 4.20 curl doesn't return error for HTTP non-200 responses

CURLOPT_NOBODY.3: clarify this option is for downloads

When enabling CURLOPT_NOBODY, libcurl effectively switches off upload
mode and will do a download (without a body). This is now better
explained in this man page.

Bug: http://curl.haxx.se/mail/lib-2014-08/0236.html
Reported-by: John Coffey

INTERNALS: nghttp2 must be 0.6.0 or later

Compile with latest nghttp2

THANKS: removed a few more duplicates

RELEASE-NOTES: synced with 007242257683a

... and bumped the contributor amount after recount

THANKS: added 52 missing contributors

I re-ran contributors.sh on all changes since 7.10 and I found these
contributors who are mentioned in the commits but never were added to
THANKS before!

I also removed a couple of duplicates (mostly due to different
spellings).

contributors: grep and sort case insensitively

configure.ac: Add support for recent GSS-API implementations for HP-UX

By default, configure script assumes that libcurl will use the
HP-supplied GSS-API implementation which does not have krb5-config.
If a dev needs a more recent version which has that config script,
the change will allow to pass an appropriate GSSAPI_ROOT.

CONNECT: close proxy connections that fail to CONNECT

This is usually due to failed auth. There's no point in us keeping such
a connection alive since it shouldn't be re-used anyway.

Bug: http://curl.haxx.se/bug/view.cgi?id=1381
Reported-by: Marcel Raad

RELEASE-NOTES: added two missing HTTP/2 bug fixes

And renamed all http2 references to HTTP/2 in this file

RELEASE-NOTES: synced with f646e9075f47

Cmake: Possibility to use OpenLDAP, OpenSSL, LibSSH2 on windows

At this point I can build libcurl on windows. It provides at least the same
list of protocols as for linux build and works with our software.

Cmake: Removed repeated content from ending blocks

They are unnecesary in modern CMake and removing them improves readability.

Cmake: Removed some useless empty SET statements.

Undefined variables resolve to empty strings and we do not ever test if
the variable is defined thus those SETs are superfluous.

Cmake: Removed useless comments from CMakeLists.txt

They look like some relics after changes.

Cmake: Don't check for all headers each time

One header at a time is the right way. Apart from that the output on
windows goes from:
...
-- Looking for include files I:/src/libssh2-1.4.3/include/libssh2.h, ws2tcpip.h
-- Looking for include files I:/src/libssh2-1.4.3/include/libssh2.h, ws2tcpip.h
- found
-- Looking for 3 include files I:/src/libssh2-1.4.3/include/libssh2.h, ..., wins
ock2.h
-- Looking for 3 include files I:/src/libssh2-1.4.3/include/libssh2.h, ..., wins
ock2.h - found
-- Looking for 4 include files I:/src/libssh2-1.4.3/include/libssh2.h, ..., stdi
o.h
-- Looking for 4 include files I:/src/libssh2-1.4.3/include/libssh2.h, ..., stdi
o.h - found
-- Looking for 5 include files I:/src/libssh2-1.4.3/include/libssh2.h, ..., wind
ows.h
-- Looking for 5 include files I:/src/libssh2-1.4.3/include/libssh2.h, ..., wind
ows.h - found
-- Looking for 6 include files I:/src/libssh2-1.4.3/include/libssh2.h, ..., wins
ock.h
-- Looking for 6 include files I:/src/libssh2-1.4.3/include/libssh2.h, ..., wins
ock.h - found
-- Looking for 7 include files I:/src/libssh2-1.4.3/include/libssh2.h, ..., sys/
filio.h
-- Looking for 7 include files I:/src/libssh2-1.4.3/include/libssh2.h, ..., sys/
filio.h - not found
-- Looking for 7 include files I:/src/libssh2-1.4.3/include/libssh2.h, ..., sys/
ioctl.h
-- Looking for 7 include files I:/src/libssh2-1.4.3/include/libssh2.h, ..., sys/
ioctl.h - not found
-- Looking for 7 include files I:/src/libssh2-1.4.3/include/libssh2.h, ..., sys/
resource.h
...

To much nicer:
...
-- Looking for ws2tcpip.h
-- Looking for ws2tcpip.h - found
-- Looking for winsock2.h
-- Looking for winsock2.h - found
-- Looking for stdio.h
-- Looking for stdio.h - found
-- Looking for windows.h
-- Looking for windows.h - found
-- Looking for winsock.h
-- Looking for winsock.h - found
-- Looking for sys/filio.h
-- Looking for sys/filio.h - not found
-- Looking for sys/ioctl.h
-- Looking for sys/ioctl.h - not found
-- Looking for sys/resource.h

Cmake: Append OpenSSL include directory to search path

At this point I can build libcurl with OpenSSL, OpenLDAP and LibSSH2.
Supported protocols are at least:
HTTP, HTTPS, FTP, SFTP, TFTP, LDAP, LDAPS, POP3, SMTP
(those are the ones we have regression tests for
in our product's testsuite)

Cmake: Search for liblber, LDAP SSL headers, swith for using OpenLDAP code.

Cmake: LibSSH2 detection and use.

Cmake: Moved macros out of the main CMakeLists.txt

Cmake: Added missing protocol-disable switches

They already have their defines in config.h. This makes it possible to
disable the protocols from command line during configure step.

Cmake: Made boolean defines be defined to "1" instead of "ON"

It's by convention, for compatibility and because the comments say so.
Just mabe someone have written a test like "#if HAVE_XX==1"

Cmake: Require at least CMake 2.8.

CMake 2.6 is already a bit old. Many bugs have been fixed since
its release. We use 2.8 in our company and we have no intention
of polluting our environment with old software, so 2.6 would
not be tested. This shouldn't be a problem since all one need
to build CMake from source is C and C++ compiler.

disconnect: don't touch easy-related state on disconnects

This was done to make sure NTLM state that is bound to a connection
doesn't survive and gets used for the subsequent request - but
disconnects can also be done to for example make room in the connection
cache and thus that connection is not strictly related to the easy
handle's current operation.

The http authentication state is still kept in the easy handle since all
http auth _except_ NTLM is connection independent and thus survive over
multiple connections.

Bug: http://curl.haxx.se/mail/lib-2014-08/0148.html
Reported-by: Paras S

curl.1: clarify --limit-rate's effect on both directions

Bug: http://curl.haxx.se/bug/view.cgi?id=1414
Reported-by: teo8976

curl.1: mention the --post30x options within the --location desc

sasl: Fixed a memory leak on OOM

NTLM: ignore CURLOPT_FORBID_REUSE during NTLM HTTP auth

Problem: if CURLOPT_FORBID_REUSE is set, requests using NTLM failed
since NTLM requires multiple requests that re-use the same connection
for the authentication to work

Solution: Ignore the forbid reuse flag in case the NTLM authentication
handshake is in progress, according to the NTLM state flag.

Fixed known bug #77.

openssl.c: Fixed longer than 79 columns

openssl.c: Fixed compilation warning

warning: declaration of 'minor' shadows a global declaration

win32: Fixed WinSock 2 #if

A conditionally compiled block in connect.c references WinSock 2
symbols, but used `#ifdef HAVE_WINSOCK_H` instead of `#ifdef
HAVE_WINSOCK2_H`.

Bug: http://curl.haxx.se/mail/lib-2014-08/0155.html

Curl_disconnect: don't free the URL

The URL is not a property of the connection so it should not be freed in
the connection disconnect but in the Curl_close() that frees the easy
handle.

Bug: http://curl.haxx.se/mail/lib-2014-08/0148.html
Reported-by: Paras S

help output: minor whitespace edits

Should've been amended in the previous commit but wasn't due to a
mistake.

help output: use ≥2 spaces between option and description

... and some other cleanups

FAQ: some actually sometimes get paid...

sasl_sspi: Fixed a memory leak with the GSSAPI base-64 decoded challenge

sasl_sspi: Renamed GSSAPI mutual authentication parameter

...From "mutual" to "mutual_auth" which better describes what it is.

sasl_sspi: Corrected some of the GSSAPI security message error codes

Corrected a number of the error codes that can be returned from the
Curl_sasl_create_gssapi_security_message() function when things go
wrong.

It makes more sense to return CURLE_BAD_CONTENT_ENCODING when the
inbound security challenge can't be decoded correctly or doesn't
contain the KERB_WRAP_NO_ENCRYPT flag and CURLE_OUT_OF_MEMORY when
EncryptMessage() fails. Unfortunately the previous error code of
CURLE_RECV_ERROR was a copy and paste mistakes on my part and should
have been correct in commit 4b491c675f :(

docs: Escaped single backslash

TODO: Updated following GSSAPI (Kerberos V5) additions

Updated "FTP 4.6 GSSAPI via Windows SSPI" and "SASL 14.1 Other
authentication mechanisms" following recent additions.

Added SASL 14.2 GSSAPI via GSS-API libraries.

CURLOPT_USERNAME.3: Added Kerberos V5 and NTLM domain information

This repeats what has already been documented in both the curl manpage
and CURLOPT_USERPWD documentation but is provided here for completeness
as someone may not especially read the latter when using libcurl.

CURLOPT_USERPWD.3: Updated following Kerberos V5 SSPI changes

Added information about Kerberos V5 requiring the domain part in the
user name.

Mentioned that the user name can be specified in UPN format, and not
just in Down-Level Logon Name format, following the information
added in commit 7679cb3fa8 reworking the exisitng information in the
process.

docs: Added Kerberos V5 and NTLM domain information to --user

docs: Added Kerberos V5 to the --user SSPI current credentials usage

sasl_sspi: Tell the server we don't support a GSSAPI receive buffer

smtp: Added support for GSSAPI (Kerberos V5) authentication via Windows SSPI

pop3: Added support for GSSAPI (Kerberos V5) authentication via Windows SSPI

imap: Added support for GSSAPI (Kerberos V5) authentication via Windows SSPI

email: Added mutual authentication flag

RELEASE-NOTES: synced with 0187c9e11d079

http: fix the Content-Range: parser

... to handle "*/[total]". Also, removed the strange hack that made
CURLOPT_FAILONERROR on a 416 response after a *RESUME_FROM return
CURLE_OK.

Reported-by: Dimitrios Siganos
Bug: http://curl.haxx.se/mail/lib-2014-06/0221.html

email: Introduced the GSSAPI states

curl_sasl_sspi.c: Fixed more compilation warnings from commit 4b491c675f

warning: unused variable 'resp'

warning: no previous prototype for 'Curl_sasl_gssapi_cleanup'

SHA-1: 61c93383b7f6cf79d12ff99e9dced1d1cc2a7064

* curl_sasl_sspi.c: Fixed compilation warning from commit 4b491c675f

warning: declaration of 'result' shadows a previous local

curl_sasl.h: Fixed compilation error from commit 4b491c675f

warning: 'struct kerberos5data' declared inside parameter list

Due to missing forward declaration.

urldata.h: Fixed compilation warnings from commit 3ec253532e

warning: extra tokens at end of #endif directive

sasl_sspi: Added GSSAPI message functions

urldata: Introduced a GSSAPI (Kerberos V5) data structure

Added a kerberos5data structure which is similar in nature to the
ntlmdata and negotiatedata structures.

sspi: Moved KERB_WRAP_NO_ENCRYPT from socks_sspi module

In preparation for the upcoming SSPI implementation of GSSAPI
authentication, moved the definition of KERB_WRAP_NO_ENCRYPT from
socks_sspi.c to curl_sspi.h allowing it to be shared amongst other
SSPI based code.

mk-ca-bundle.pl: add missing $

mk-ca-bundle.pl: switched to using hg.mozilla.org

... as mxr.mozilla.org is due to be retired.

The new host doesn't support If-Modified-Since nor ETags, meaning that
the script will now defer to download and do a post-transfer checksum
check to see if a new output is to be generated. The new output format
will hold the SHA1 checksum of the source file for that purpose.

We call this version 1.22

Reported-by: Ed Morley
Bug: http://curl.haxx.se/bug/view.cgi?id=1409

openssl: fix version report for the 0.9.8 branch

Fixed libcurl to correctly output the newer versions of OpenSSL 0.9.8,
starting from openssl-0.9.8za.

create_conn: prune dead connections

Bringing back the old functionality that was mistakenly removed when the
connection cache was remade. When creating a new connection, all the
existing ones are checked and those that are known to be dead get
disconnected for real and removed from the connection cache. It helps
the cache from holding on to very many stale connections and aids in
keeping down the number of system sockets in wait states.

Help-by: Jonatan Vela <jonatan.vela@ergon.ch>
Bug: http://curl.haxx.se/mail/lib-2014-06/0189.html

docs/SSLCERTS: update the section about NSS database

Bug: http://curl.haxx.se/mail/lib-2014-07/0335.html
Reported-by: David Shaw

Curl_poll + Curl_wait_ms: fix timeout return value

Curl_poll and Curl_wait_ms require the fix applied to Curl_socket_check
in commits b61e8b8 and c771968:

When poll or select are interrupted and coincides with the timeout
elapsing, the functions return -1 indicating an error instead of 0 for
the timeout.

config-tpf.h: Fixed up line lengths > 79 characters

config-symbian.h: Fixed up line lengths > 79 characters