tests: add five more Metalink test cases

tests: update Metalink message format

Metalink: updated message format

DarwinSSL: allow using NTLM authentication

Allow NTLM authentication when building using SecureTransport (Darwin) for SSL.

This uses CommonCrypto, a cryptography library that ships with all versions of
iOS and Mac OS X. It's like OpenSSL's libcrypto, except that it's missing a few
less-common cyphers and doesn't have a big number data structure.

curl_darwinssl.h: add newline at end of file

ossl_seed: remove leftover RAND_screen check

Before commit 2dded8fedba (dec 2010) there was logic that used
RAND_screen() at times and now I remove the leftover #ifdef check for
it.

The seeding code that uses Curl_FormBoundary() in ossl_seed() is dubious
to keep since it hardly increases randomness but I fear I'll break
something if I remove it now...

DarwinSSL: several adjustments

- Renamed st_ function prefix to darwinssl_
- Renamed Curl_st_ function prefix to Curl_darwinssl_
- Moved the duplicated ssl_connect_done out of the #ifdef in lib/urldata.h
- Fixed a teensy little bug that made non-blocking connection attempts block
- Made it so that it builds cleanly against the iOS 5.1 SDK

curl-compilers.m4: -Wstrict-aliasing=3 for warning enabled gcc and clang builds

sockaddr.h: Fixed dereferencing pointer breakin strict-aliasing

Fixed warning: dereferencing pointer does break strict-aliasing rules
by using a union inside the struct Curl_sockaddr_storage declaration.

SSL cleanup: use crypto functions through the sslgen layer

curl_ntlm_msgs.c would previously use an #ifdef maze and direct
SSL-library calls instead of using the SSL layer we have for this
purpose.

darwinssl: add support for native Mac OS X/iOS SSL

RELEASE-NOTES: link to more metalink info

RELEASE-NOTES: synced with d025af9bb576

curl_schannel.c: Remove redundant NULL assignments following Curl_safefree()

curl_schannel.c: Replace free() with Curl_safefree()

curl.1: Updated Metalink description in man page

Documented that --include will be ignored if both --metalink
and --include are specified.
Also documented that a Metalink file in the local file system
cannot be used if FILE protocol is disabled.

DOCS: Added clarification to CURLOPT_CUSTOMREQUEST for the POP3 protocol

Bug: http://curl.haxx.se/mail/lib-2012-06/0302.html
Reported by: Nagai H

smtp: Corrected result code for MAIL, RCPT and DATA commands

Bug: http://curl.haxx.se/mail/lib-2012-06/0094.html
Reported by: Dan

test: Added test HTTP receive cookies over IPv6

tests: add another Metalink test case

tests: Enable test2010 and fixed hash value

Metalink: ignore --include if --metalink is used.

Including headers in response body will break Metalink XML parser.
If it is included in the file described in Metalink XML, hash check
will fail. Therefore, --include should be ignored if --metalink is
used.

tests: add six Metalink test cases

test 2005: add verification of hash checking outcome

getpart.pm: remove misleading comment

curl: Prefixed all Metalink related messages with "Metalink: "

tests: Added Metalink test case # 2005

curl: Restore noprogress and isatty config values.

The noprogress and isatty in Configurable are global, in a sense
that they persist in one curl invocation. Currently once one
download writes its response data to tty, they are set to FALSE
and they are not restored on successive downloads.  This change
first backups the current noprogress and isatty, and restores
them when download does not write its data to tty.

curl: Made --metalink option toggle Metalink functionality

In this change, --metalink option no longer takes argument.  If
it is specified, given URIs are processed as Metalink XML file.
If given URIs are remote (e.g., http URI), curl downloads it
first. Regardless URI is local file (e.g., file URI scheme) or
remote, Metalink XML file is not written to local file system and
the received data is fed into Metalink XML parser directly.  This
means with --metalink option, filename related options like -O
and -o are ignored.

Usage examples:

$ curl --metalink http://example.org/foo.metalink

This will download foo.metalink and parse it and then download
the URI described there.

$ curl --metalink file://foo.metalink

This will parse local file foo.metalink and then download the URI
described there.

curl: Refactored metalink_checksum

When creating metalink_checksum from metalink_checksum_t, first
check hex digest is valid for the given hash function.  We do
this check in the order of digest_aliases so that first good
match will be chosen (strongest hash function available).  As a
result, the metalinkfile now only contains at most one
metalink_checksum because other entries are just redundant.

tool_doswin.c: fix djgpp function _use_lfn() used without a prototype

http://curl.haxx.se/mail/archive-2012-06/0028.html

build: fix RESOURCE bug in lib/Makefile.vc*

Removed two, not intended to exist, RESOURCE declarations.

Bug: http://curl.haxx.se/bug/view.cgi?id=3535977

And sorted configuration hunks to reflect same internal order
as the one shown in the usage message.

schannel: Implement new buffer size strategy

Increase decrypted and encrypted cache buffers using limitted
doubling strategy. More information on the mailinglist:
http://curl.haxx.se/mail/lib-2012-06/0255.html

It updates the two remaining reallocations that have already been there
and fixes the other one to use the same "do we need to increase the
buffer"-condition as the other two.  CURL_SCHANNEL_BUFFER_STEP_SIZE was
renamed to CURL_SCHANNEL_BUFFER_FREE_SIZE since that is actually what it
is now.  Since we don't know how much more data we are going to read
during the handshake, CURL_SCHANNEL_BUFFER_FREE_SIZE is used as the
minimum free space required in the buffer for the next operation.
CURL_SCHANNEL_BUFFER_STEP_SIZE was used for that before, too, but since
we don't have a step size now, the define was renamed.

schannel SSL: fix compiler warning

schannel SSL: fix for renegotiate problem

In schannel_connect_step2() doread should be initialized based
on connssl->connecting_state.

runtests.pl: make it support metalink feature

getpart.pm: make test definition section/part parser more robust

Test definition section parts which needed to include xml-lingo as contents
of that part required that the xml-blurb was written as a single line. Now the
xml-data inside the part can be written multiline making it more readable.

Tested with <client><file> part which is written to disk before <command> runs.

schannel_connect_step2: checksrc whitespace fix

schannel SSL: changes in schannel_connect_step2

Process extra data buffer before returning from schannel_connect_step2.
Without this change I've seen WinCE hang when schannel_connect_step2
returns and calls Curl_socket_ready.

If the encrypted handshake does not fit in the intial buffer (seen with
large certificate chain), increasing the encrypted data buffer is necessary.

Fixed warning in curl_schannel.c line 1215.

config-win32ce.h: WinCE config adjustment

process.h is not present on WinCE

schannel SSL: Made send method handle unexpected cases better

Implemented timeout loop in schannel_send while sending data.  This
is as close as I think we can get to write buffering; I put a big
comment in to explain my thinking.

With some committer adjustments

curl_schannel.c: Avoid unnecessary realloc calls to reduce buffer size

schannel SSL: Use standard Curl read/write methods

Replaced calls to swrite with Curl_write_plain and calls to sread
with Curl_read_plain.

With some committer adjustments

schannel SSL: make wording of some trace messages better reflect reality

curl_schannel.h: Use BUFSIZE as the initial buffer size if available

Make the Schannel implementation use libcurl's default buffer size
for the initial received encrypted and decrypted data cache buffers.
The implementation still needs to handle more data since more data
might have already been received or decrypted during the handshake
or a read operation which needs to be cached for the next read.

Fixed NetWare makefile broken from last commit.

schannel SSL: Implemented SSL shutdown

curl_schannel.c - implemented graceful SSL shutdown.  If we fail to
shutdown the connection gracefully, I've seen schannel try to use a
session ID for future connects and the server aborts the connection
during the handshake.

schannel SSL: certificate validation on WinCE

curl_schannel.c - auto certificate validation doesn't seem to work
right on CE.  I added a method to perform the certificate validation
which uses CertGetCertificateChain and manually handles the result.

schannel SSL: Added helper methods to simplify code

Added helper methods InitSecBuffer() and InitSecBufferDesc() to make it
easier to set up SecBuffer & SecBufferDesc structs.

Some more NetWare makefile tweaks for metalink.

tool_cb_see.c: WinCE build adjustment

setup.h: WinCE build adjustment

ftplistparser.c: do not compile if FTP protocol is not enabled

Win32: downplay MS bazillion type synonyms game

Avoid usage of some MS type synonyms to allow compilation with
compiler headers that don't define these, using simpler synonyms.

Curl_rtsp_parseheader: avoid useless malloc/free

Coverity actually pointed out flawed logic in the previous call to
Curl_strntoupper() where the code used sizeof() of a pointer to pass in
a size argument. That code still worked since it only needed to
uppercase 4 letters. Still, the entire malloc/uppercase/free sequence
was pointless since the code has already matched the string once in the
condition that starts the block of code.

curl_share_setopt: use va_end()

As spotted by Coverity, va_end() was not used previously. To make it
used I took away a bunch of return statements and made them into
assignments instead.

SSPI related code: Unicode support for WinCE - kill compiler warnings

SSPI related code: Unicode support for WinCE - commit 46480bb9 follow-up

build: add curl_multibyte files to build systems

SSPI related code: Unicode support for WinCE

SSPI related code now compiles with ANSI and WCHAR versions of security
methods (WinCE requires WCHAR versions of methods).

Pulled UTF8 to WCHAR conversion methods out of idn_win32.c into their own file.

curl_sasl.c - include curl_memory.h to use correct memory functions.

getenv.c and telnet.c - WinCE compatibility fix

With some committer adjustments

Fixed typo.

winbuild/MakefileBuild.vc: convert line endings to DOS style

As per request on mailing list: http://curl.haxx.se/mail/lib-2012-06/0222.html

winbuild: Allow SSPI build with or without Schannel

The changes introduced in commit 2bfa57bc32 are not enough
to make it actually possible to use the USE_WINSSL option.
Makefile.vc was not updated and the configuration name which is
used in the build path did not match between both build files.

This patch fixes those issues and introduces the following changes:

- Replaced the -schannel name with -winssl in order to be consistent
with the other options
- Added ENABLE_WINSSL option to winbuild/Makefile.vc (default yes)
- Changed winbuild/MakefileBuild.vc to set USE_WINSSL to true if
USE_SSL is false and USE_WINSSL was not specified as a parameter
- Separated WINSSL handling from SSPI handling to be consistent with
the other options and their corresponding code path

curl.1: 7.27.0 seems next release

schannel: fix printf-style format strings

Fix bad failf() and info() usage

Calls to failf() are not supposed to provide trailing newline.
Calls to infof() must provide trailing newline.

Fixed 30 or so strings.

schannel: fix unused parameter warnings

schannel: fix comparisons between signed and unsigned

schannel: fix discarding qualifier from pointer type

schannel: fix shadowing of global declarations

schannel: fix Curl_schannel_init() and Curl_schannel_cleanup() declarations

urldata.h: fix cyassl/openssl/ssl.h build clash with wincrypt.h

Building with CyaSSL failed compilation. Reason being that OCSP_REQUEST and
OCSP_RESPONSE are enum values in CyaSSL and defines in <wincrypt.h> included
via <winldap.h> in ldap.c.

http://curl.haxx.se/mail/lib-2012-06/0196.html

MakefileBuild.vc: Allow building without SSL

In order to use Windows native SSL support define 'USE_WINSSL'

configure: new option --with-winssl

This option may be used to build curl/libcurl using SSL/TLS support provided
by MS windows system libraries. Option is mutually exclusive with any other
SSL library. Default value is --without-winssl.

--with-winssl option implies --with-sspi option.

Option meaningful only for Windows builds.

Changed Schannel string to SSL-Windows-native.

This is more descriptive for the user who might
not even know what schannnel is at all.

schannel: remove version number and identify its use with 'schannel' literal

Version number is removed in order to make this info consistent with
how we do it with other MS and Linux system libraries for which we don't
provide this info.

Identifier changed from 'WinSSPI' to 'schannel' given that this is the
actual provider of the SSL/TLS support. libcurl can still be built with
SSPI and without SCHANNEL support.

singlesocket: remove dead code

No need to check if 'entry' is non-NULL in a spot where it is already checked
and guaranteed to be non-NULL.

(Spotted by a Coverity scan)

netrc: remove dead code

Remove two states from the enum and the corresponding code for them as
these states were never reached or used.

(Spotted by a Coverity scan)

Revert "connect.c/ftp.c: Fixed dereferencing pointer breakin strict-aliasing"

This reverts commit 9c94236e6cc078a0dc5a78b6e2fefc1403e5375e.

It didn't server its purpose, so lets go back to long-time working code.

socks_sspi.c: further cleanup

socks_sspi.c: Clean up and removal of obsolete minor status

Removed obsolete minor status variable and parameter of status function
which was never used or set at all. Also Curl_sspi_strerror does support
only one status and there is no need for a second sub status.

Removed trailing whitespaces.

strerror.c: make Curl_sspi_strerror() always return code for errors

curl_sspi.h: provide sspi status definitions missing in old headers

sspi: make Curl_sspi_strerror() libcurl's sspi status code string function

sspi: make Curl_sspi_strerror() libcurl's sspi status code string function

Revert: 634f7cfee40d4658 partially

Make sure CURL_VERSION_SSPI is present and works as in previous releases
for ABI and API compatibility reasons.

checksrc: shorten a few lines to comply

cleanup: remove trailing whitespace

winbuild: Removed WITH_SSL=schannel and tie schannel to SSPI

Removed specific WITH_SSL=schannel paramter that did not fit the general
schema and complicated the parameters. For now Schannel will be enabled
if SSPI is enabled and OpenSSL is disabled.

Makefile.vc6: Added version.lib if built with SSPI

winbuild: Updated winbuild scripts to add schannel

mingw32: Fixed warning of USE_SSL being redefined

sspi: Fixed incompatible parameter pointer type in Curl_sspi_version

sspi: Updated RELEASE-NOTES, FEATURES and THANKS

setup.h: Automatically define USE_SSL if USE_SCHANNEL is defined

version: Replaced SSPI feature information with version string details

Added Windows SSPI version information to the curl version string when
SCHANNEL SSL is not enabled, as the version of the library should also
be included when SSPI is used to generate security contexts.

Removed SSPI from the feature list as the features are GSS-Negotiate,
NTLM and SSL depending on the usage of the SSPI library.

sspi.c: Post Curl_sspi_version() rework code tidy up

Removed duplicate blank lines.
Removed spaces between the not and test in various if statements.
Removed explicit test of NULL in an if statement.
Placed function returns on same line as function declarations.
Replaced the use of curl_maprintf() with aprintf() as it is the
preprocessor job to do this substitution if ENABLE_CURLX_PRINTF
is set.

sspi: Reworked Curl_sspi_version() to return version components

Reworked the version function to return four version components rather
than a string that has to be freed by the caller.

configure.ac: Added -lversion if built with SSPI