http_ntlm: Use the SASL functions instead

In preparation for moving the NTLM message code into the SASL module
use the SASL functions in the HTTP code instead.

libssh2: detect features based on version, not configure checks

... so that non-configure builds get the correct functions too based on
the libssh2 version used.

SSH: use the port number as well for known_known checks

... if the libssh2 version is new enough.

Bug: http://curl.haxx.se/bug/view.cgi?id=1448

INSTALL: Updated pre-processor references to the old VC6 project files

Reworked the two sections that discuss modifying the Visual Studio pre-
processor settings, and vc6libcurl.dsw/vc6libcurl.dsp, to remove the
project files references as they have been superseded by a more thorough
set of project files for VC6 through VC12, but to also give the correct
reference to this setting in later versions of Visual Studio.

INSTALL: Added email protocols to the "Disabling in Win32 builds" section

configure: Fixed NTLM missing from features when CURL_DISABLE_HTTP defined

build: Fixed no NTLM support for email when CURL_DISABLE_HTTP is defined

USE_NTLM would only be defined if: HTTP support was enabled, NTLM and
cryptography weren't disabled, and either a supporting cryptography
library or Windows SSPI was being compiled against.

This means it was not possible to build libcurl without HTTP support
and use NTLM for other protocols such as IMAP, POP3 and SMTP. Rather
than introduce a new SASL pre-processor definition, removed the HTTP
prerequisite just like USE_SPNEGO and USE_KRB5.

Note: Winbind support still needs to be dependent on CURL_DISABLE_HTTP
as it is only available to HTTP at present.

This bug dates back to August 2011 when I started to add support for
NTLM to SMTP.

ntlm: Removed an unnecessary free of native Target Info

Due to commit 40ee1ba0dc the free in Curl_ntlm_decode_type2_target() is
longer required.

ntlm: Moved the native Target Info clean-up from HTTP specific function

ntlm: Moved SSPI clean-up code into SASL module

Makefile.dist: Added support for WinIDN

Makefile.vc6: Added support for WinIDN

Makefile.dist: Added some missing SSPI configurations

Makefile.dist: Separated the groups of SSL configurations from each other

Makefile.dist: Grouped the x64 configurations next to their x86 counterparts

curl.h: Tidy up of CURL_VERSION_* flags

As the list has gotten a little messy and hard to read, especially with
the introduction of deprecated items, aligned the values and comments
into clean columns and reworked some of the comments in the process.

curl_tool: Added krb5 to the supported features

configure: Added krb5 to the supported features

version info: Added Kerberos V5 to the supported features

mk-ca-bundle.vbs: switch to new certdata.txt url.

RELEASE-NOTES: Synced with dcad09e125

http_digest: Fixed some memory leaks introduced in commit 6f8d8131b1

Fixed a couple of memory leaks as a result of moving code that used to
populate allocuserpwd and relied on it's clean up.

docs: Updated following the addition of SSPI based HTTP digest auth

sasl_sspi: Tidy up of the existing digest code

Following the addition of SSPI support for HTTP digest, synchronised
elements of the email digest code with that of the new HTTP code.

http_digest: Post SSPI support tidy up

Post tidy up to ensure commonality of code style and variable names.

test552: Don't run HTTP digest tests for SSPI based builds

Technical difficulties prevented this from going into the
previous commit.

tests: Don't run HTTP digest tests for SSPI based builds

Added !SSPI to the features list of the HTTP digest tests, as SSPI
based builds now use the Windows SSPI messaging API rather than the
internal functions, and we can't control the random numbers that get
used as part of the digest.

curl.1: show zone index use in a URL

http_digest: Fixed auth retry loop when SSPI based authentication fails

http_digest: Reworked the SSPI based input token storage

Reworked the input token (challenge message) storage as what is passed
to the buf and desc in the response generation are typically blobs of
data rather than strings, so this is more in keeping with other areas
of the SSPI code, such as the NTLM message functions.

sasl_sspi: Fixed compilation warning from commit 2d2a62e3d9

Added void reference to unused 'data' parameter back to fix compilation
warning.

sspi: Align definition values to even columns as we use 2 char spacing

sspi: Fixed missing definition of ISC_REQ_USE_HTTP_STYLE

Some versions of Microsoft's sspi.h don't define this.

sasl: Removed non-SSPI Digest functions and defines from SSPI based builds

Introduced in commit 7e6d51a73c these functions and definitions are only
required by the internal challenge-response functions now.

sasl_sspi: Added HTTP digest response generation code

http_digest: Added SSPI based challenge decoding code

http_digest: Added SSPI based clean-up code

http_digest: Added SSPI based authentication functions

This temporarily breaks HTTP digest authentication in SSPI based builds,
causing CURLE_NOT_BUILT_IN to be returned. A follow up commit will
resume normal operation.

http_digest: Added required SSPI based variables to digest structure

contributors.sh: --releasenotes reads in names from RELEASE-NOTES

This is very handy when updating the RELEASE-NOTES as then we sometimes
have names added manually in the existing list and we use this script to
update the set.

RELEASE-NOTES: synced with 68542e72a9

curl_easy_setopt.3: add CURLOPT_PINNEDPUBLICKEY

Reported-by: Christian Hägele
Bug: http://curl.haxx.se/mail/lib-2014-11/0078.html

build: Fixed Visual Studio project file generation of strdup.[c|h]

As the curl command-line tool now includes it's own version of strdup(),
for platforms that don't have it, fixed up the git respository Visual
Studio project file generator to not include the version from lib in the
tool project files, rather than having both lib\strdup.[c|h] and
src\tool_strdup.[c|h] present.

tool_strdup.c: include the tool strdup.h

... not the lib/ one that the tool no longer uses!

THANKS-filter: added another Michał Górny version we've used

contributors.sh: split lists using " and "

... and require the space after the filtering to make the filter able to
remove names.

http_digest: Fixed memory leaks from commit 6f8d8131b1

sasl: Fixed compilation warning from commit 25264131e2

Added forward declaration of digestdata to overcome the following
compilation warning:

warning: 'struct digestdata' declared inside parameter list

Additionally made the ntlmdata forward declaration dependent on
USE_NTLM similar to how digestdata and kerberosdata are.

sasl: Fixed HTTP digest challenges with spaces between auth parameters

Broken as part of the rework, in commit 7e6d51a73c, to assist with the
addition of HTTP digest via Windows SSPI.

http_digest: Fixed compilation errors from commit 6f8d8131b1

error: invalid operands to binary
warning: pointer targets in assignment differ in signedness

http_digest: Moved response generation into SASL module

http_digest: Moved challenge decoding into SASL module

http_digest: Moved clean-up function into SASL module

http_digest: Moved algorithm definitions to SASL module

ssh: Fixed build on platforms where R_OK is not defined

Bug: http://curl.haxx.se/mail/lib-2014-11/0035.html
Reported-by: Jan Ehrhardt

strdup: Removed irrelevant comment

...as Curl_memdup() duplicates an area of fix size memory, that may be
binary, and not a null terminated string.

url.c: Fixed compilation warning

conversion from 'curl_off_t' to 'size_t', possible loss of data

http_digest: Use CURLcode instead of CURLdigest

To provide consistent behaviour between the various HTTP authentication
functions use CURLcode based error codes for Curl_input_digest()
especially as the calling code doesn't use the specific error code just
that it failed.

contributors.sh: filter common alternative name spellings

docs/THANKS-filter is a new filter file for converting contributor names
we get or have recorded in alternative formats to the one we already use
in THANKS. To help us show individual contributors using a single
presentation of their names.

THANKS: added missing contributor from 2012

Remove duplicate names.

The removed names also appear as:
Andrés García, François Charlier, Gökhan Şengün, Michał Górny, Sébastien
Willemijns, Christopher Conroy, John E. Malmberg, Luca Altea, Peter Su,
S. Moonesamy, Samuel Listopad, Yasuharu Yamada, Karl Moerder

sspi: Define authentication package name constants

These were previously hard coded, and whilst defined in security.h,
they may or may not be present in old header files given that these
defines were never used in the original code.

Not only that, but there appears to be some ambiguity between the ANSI
and UNICODE NTLM definition name in security.h.

Adjust OS400-specific support to last release

THANKS: added two missing names and removed a duplicate

./contributors.sh found these extra ones that somehow had fallen
through the cracks and never gotten added here.

Reported-by: Frank Gevaerts

bump: towards next release

THANKS: added names from 7.39.0 release notes

RELEASE-NOTES: 7.39.0 release (commit b3875606925)

curl_easy_duphandle: CURLOPT_COPYPOSTFIELDS read out of bounds

When duplicating a handle, the data to post was duplicated using
strdup() when it could be binary and contain zeroes and it was not even
zero terminated! This caused read out of bounds crashes/segfaults.

Since the lib/strdup.c file no longer is easily shared with the curl
tool with this change, it now uses its own version instead.

Bug: http://curl.haxx.se/docs/adv_20141105.html
CVE: CVE-2014-3707
Reported-By: Symeon Paraschoudis

lib544.c: use duphandle for test 545

To verify that curl_easy_duphandle() works fine on a handle that has
gotten data stored with *_COPYPOSTFIELDS.

tests: add new feature 'SSLpinning'

... and make test 2034 and 2035 require it, and have it set when built
with OpenSSL or GnuTLS.

buildconf: update copyright year

INSTALL: Consistent spacing in section headings, paragraphs and examples

buildconf: stop checking for libtool

As we only use libtoolize, only check for that!

INSTALL: Corrected MIT Kerberos and Heimdal package names

README: Corrected inconsistent use of --help

INSTALL: Use GSS-API rather than GSSAPI

As implementations are refereed to GSS-API libraries as per the RFC and
GSSAPI typically refers to the SASL authentication mechanism.

...and minor rewording on the same paragraph.

README: Added note about using Visual Studio projects out of git repository

cmake: fix ZLIB_INCLUDE_DIRS use

CMake 2.8's FindZLIB.cmake documents ZLIB_INCLUDE_DIRS, see
http://www.cmake.org/cmake/help/v2.8.0/cmake.html#module:FindZLIB

Bug: https://github.com/bagder/curl/pull/123

SSL: PolarSSL default min SSL version TLS 1.0

- Prior to this change no SSL minimum version was set by default at
runtime for PolarSSL. Therefore in most cases PolarSSL would probably
have defaulted to a minimum version of SSLv3 which is no longer secure.

opts-Makefile: put more man pages into dist and make hmtl+pdf

curl_multi_setopt.3: refer to stand-alone pages

... instead of duplicating info.

opts: more multi options as stand-alone man pages

Makefile.am: two cmake files are gone

8cb010144 removed the CurlCheckCSourceCompiles.cmake and
CurlCheckCSourceRuns.cmake files

opts: made stand-alone man-pages for several multi options

Curl_single_getsock: fix hold/pause sock handling

The previous condition that checked if the socket was marked as readable
when also adding a writable one, was incorrect and didn't take the pause
bits properly into account.

cmake: fix struct sockaddr_storage check

CHECK_TYPE_SIZE_PREINCLUDE is an internal, undocumented variable which
was removed in cmake 2.8.1. According to the MSDN docs[1], inclusion
of winsock2.h is sufficient. WIN32_LEAN_AND_MEAN does not really seem
to affect the tests, so remove it too[2].

For the non-windows case, remove inet headers as POSIX only requires
sys/socket.h.

 [1]: http://msdn.microsoft.com/en-us/library/windows/desktop/ms740504%28v=vs.85%29.aspx
 [2]: http://stackoverflow.com/questions/11040133/what-does-defining-win32-lean-and-mean-exclude-exactly

Signed-off-by: Peter Wu <peter@lekensteyn.nl>

cmake: clean OtherTests, fixing -Werror

There were several -Wunused warnings and one duplicate macro definition.
The EXTRA_DEFINES variable of the CurlCheckCSources macro was being
abused ("__unused1\n#undef inline\n#define __unused2", seriously?) to
insert extra C code. Avoid this broken abstraction and use cmake's
check_c_source_compiles directly (works fine with CMake 2.8, maybe
even cmake 2.6).

After cleaning up all related variables (EXTRA_DEFINES,
HEADER_INCLUDES, auxiliary headers_hack), also remove a duplicate
add_headers_include macro and remove duplicate header additions before
the struct timeval check.

Oh, and now the code is converted to use CheckCSourceRuns and
CheckCSourceCompiles, the two curl-specific helpers can be removed.
Unfortunately, the cmake output is now slightly more verbose. Before:

    Performing Test int send(int, const void *, size_t, int) (curl_cv_func_send_test)
    Performing Test int send(int, const void *, size_t, int) (curl_cv_func_send_test) - Failed

Since check_c_source_compiles prints the varname, now you see:

    Performing Test curl_cv_func_send_test
    Performing Test curl_cv_func_send_test - Failed
    Tested: int send(int, const void *, size_t, int)

Compared cmake output with each other using vimdiff, no functional
differences were found. Tested with GCC 4.9.1 and Clang 3.5.0.

Signed-off-by: Peter Wu <peter@lekensteyn.nl>

cmake: fix gethostby{addr,name}_r in CurlTests

This patch cleans up the automatically-generated (?) code and fixes one
case that will always fail due to syntax error.

HAVE_GETHOSTBYADDR_R_5_REENTRANT always failed because of a trailing
character ("int length;q"). Several parameter type and unused variable
warnings popped up. This causes a detection failure with -Werror.

Observe that the REENTRANT cases are exactly the same as their
non-REENTRANT cases except for a `_REENTRANT` macro definition.
Merge all these pieces and build one big main function with different
cases, but reusing variables where logical.

For the cases where the parameters where NULL, I looked at
lib/hostip4.c to get an idea of the parameters types.

void-cast variables such as 'rc' to avoid -Wuninitialized errors.

Signed-off-by: Peter Wu <peter@lekensteyn.nl>

cmake: drop _BSD_SOURCE macro usage

autotools does not use features.h nor _BSD_SOURCE. As this macro
triggers warnings since glibc 2.20, remove it. It should not have
functional differences.

Signed-off-by: Peter Wu <peter@lekensteyn.nl>

RELEASE-NOTES: Synced with d71ea7c01e

Additionally, updated "GSSAPI" to "GSS-API" for a Cmake related change
as GSSAPI can be confused with the authentication mechanism rather than
a GSS-API implementation library such as MIT or Heimdal.

build: Added WinIDN build configuration options

Added support for WinIDN build configurations to the VC6 project files.

build: Added WinIDN build configuration options

Added support for WinIDN build configurations to the VC7 and VC7.1
project files.

build: Fixed the pre-processor separator in Visual Studio project files

A left over from the VC6 project files, so mainly cosmetic in Visual
Studio .NET as it can handle both comma and semi-colon characters for
separating multiple pre-processor definitions.

However, the IDE uses semi-colons if the value is edited, and as such,
this may cause problems in future for anyone updating the files or
merging patches.

Used the Visual Studio IDE to correct the separator character.

build: Added optional specific version generation of VC project files

..when working from the git repository. This is particularly useful
for single development environments where the project files for all
supported versions of Visual Studio may not be required.

build-openssl.bat: Fix x64 release build

Prior to this change if x64 release was specified a failed attempt was
made to build x86 release instead.

CURLOPT_XOAUTH2_BEARER.3: Corrected the OAuth version number

CURLOPT_SASL_IR.3: Added supported mechanism information

...and removed duplication of what protocols are supported from the
description text.

opts: Use common wording for MAIL related names

opts: Use common wording for TLS user/password option names

...and revised the proxy wording a little as well.

CURLOPT_MAXCONNECTS.3: Reworked the description to be less confusing

...and corrected a related typo in curl_easy_setopt.3.