PROXYHEADER: send these headers in "normal" proxy requests too

Updated the docs to clarify and the code accordingly, with test 1528 to
verify:

When CURLHEADER_SEPARATE is set and libcurl is asked to send a request
to a proxy but it isn't CONNECT, then _both_ header lists
(CURLOPT_HTTPHEADER and CURLOPT_PROXYHEADER) will be used since the
single request is then made for both the proxy and the server.

test1428: verify --proxy-header

curl.1: documented --proxy-header

curl: add --proxy-header

symbols-in-versions: Added CURLHEADER_*

... and sorted the list

CURLOPT_HEADEROPT: added

Modified the logic so that CURLOPT_HEADEROPT now controls if PROXYHEADER
is actually used or not.

CURLOPT_PROXYHEADER: set headers for proxy-only

Includes docs and new test cases: 1525, 1526 and 1527

Co-written-by: Vijay Panghal

HTTP: don't send Content-Length: 0 _and_ Expect: 100-continue

Without request body there's no point in asking for 100-continue.

Bug: http://curl.haxx.se/bug/view.cgi?id=1349
Reported-by: JimS

ftp: in passive data connect wait for happy eyeballs sockets

When doing passive FTP, the multi state function needs to extract and
use the happy eyeballs sockets to wait for to check for completion!

Bug: http://curl.haxx.se/mail/lib-2014-02/0135.html (ruined)
Reported-by: Alan

http2+openssl: fix compiler warnings in ALPN using code

tests: unified use of some keywords

tests: added some missing closing tags

runtests: insist on a <keywords> section

Since all present tests now have <keywords> listed, this script will now
refuse to run a given test case if no such section is provided.
Hopefully this will help us make sure new test cases get keywords added
at start.

tests: add keywords to the last 7 tests lacking them

smtp: Fixed login denied with a RFC-821 based server

In addition to commit fe260b75e7 fixed the same issue for RFC-821 based
SMTP servers and allow the credientials to be given to curl even though
they are not used with the server.

tests: Added SMTP with credientials test when not supported by server

urldata: spellfix comment

Reported-by: Melissa

RELEASE-NOTES: Synced with dd07e79023

tests: Added SMTP with credentials test for RFC-821 based server

Added SMTP (RFC-821 only) based test case as a reference for the fix
provided by commit fe260b75e7.

ipv6: strip off zone identifiers in redirects too

Follow up to 9317eced984 makes test 1056 work again.

docs: Removed mention of -g hack when using IPv6 literals

This limitation was removed in commit 0bc4938e

http2: let openssl mention the exact protocol negotiated

Remove a superfluous "negotiated http2" info line

http2: remove _DRAFT09 from the NPN_HTTP2 enum

We're progressing throught drafts so there's no point in having a fixed
one in a symbol that'll survive.

URL parser: IPv6 zone identifiers are now supported

curl: stop interpreting IPv6 literals as glob patterns.

This makes it possible to fetch from an IPv6 literal without specifying
the -g option.  Globbing remains available elsehwere in the URL.

For example:
  curl http://[::1]/file[1-3].txt

This creates no ambiguity, because there is no overlap between the
syntax of valid globs and valid IPv6 literals.  Globs contain hyphens
and at most 1 colon, while IPv6 literals have no hyphens, and at least 2
colons.

The peek_ipv6() parser simply whitelists a set of characters and counts
colons, because the real validation happens later on.  The character set
includes A-Z, in case someone decides to implement support for scopes
like [fe80::1%25eth0] in the future.

Signed-off-by: Paul Marks <pmarks@google.com>

test938: Updated to use file input for upload

As the second URL won't be passed input from stdin.

test836: Fixed incorrect username in expected output

DISABLED: 836, 882 and 938 hang

runtests: check protocol before data

When the protocol part fails, the data usually does too but the protocol
part is often more fundamental and often provide the clues you need to
fix the test case.

ftpserver.pl: Extended the full text reply regular expression

Extended the regex to include other valid characters such as those used
in the reply text of Test 836.

keywords: sort case insensitive

tests: remove trailing CRs from keywords

keywords: sort keywords alphabetically

keywords: don't use STDERR for good info

tests: Added email unit tests to verify login credential connection re-use

tests: Corrected "APOP" authentication keyword

tests: Replaced email authentication keywords with SASL based keywords

As the email protocols implement SASL authentication rather than IMAP,
POP3 and SMTP specific authentication, updated the authentication
keywords to reflect this.

tests: Added "Clear Text" authentication keyword

tests: Added "SASL" authentication keyword

imap-append.c: Fixed compilation errors on some platforms

In the initializer for len, there is no prototype for "strlen".
In this statement, there is no prototype for "memcpy".

ftpserver.pl: Removed some unused variables

ftpserver.pl: Reworked some variable names to be more meaningful

ftpserver.pl: Corrected some indentation in senddata()

lib1513: fix callback proto to silence warning

ftpserver.pl: Added fallback to <data> support when using multiple URLs

Added support for falling back to <data> when <data1>, <data2>, etc...
don't exist in the <reply> section of a unit test.

ftpserver.pl: Updated email based get reply data code to use new method

ftpserver.pl: Fixed syntax error from commit 3a29ee41

ftpserver.pl: Updated argument code in STATUS_imap() to be more meaningful

ftpserver.pl: Introduced common method for getting a test's reply data

smtp: Fixed login denied when server doesn't support AUTH capability

Specifying user credentials when the SMTP server doesn't support
authentication would cause curl to display "No known authentication
mechanisms supported!" and return CURLE_LOGIN_DENIED.

Reported-by: Tom Sparrow
Bug: http://curl.haxx.se/mail/lib-2014-03/0173.html

winbuild: added warnless.c to fix build

hostcheck: added a system include to define struct in_addr

test1397: Fixed compilation with some SSL backends

The test is only valid when one of four SSL backends is in use,
and must otherwise return success.

test815/816: Use authentication for both URLs

The improved connection reuse logic would otherwise create a new
connection for each one, which isn't supported by the test
server, nor expected by the test.

mkhelp: generate code for --disable-manual as well

This allows configure --disable-manual to run and build without having
to regenerate the src/tool_hugehelp.c file which otherwise is necessary
since we ship tarballs with that file present.

Reported-by: Remi Gacogne
Bug: http://curl.haxx.se/bug/view.cgi?id=1350

bump: start the 7.37.0 race

RELEASE-NOTES: 7.36.0

test1397: unit test for certificate name wildcard handling

Curl_cert_hostcheck: strip trailing dots in host name and wildcard

Reported-by: Richard Moore

Curl_cert_hostcheck: reject IP address wildcard matches

There are server certificates used with IP address in the CN field, but
we MUST not allow wild cart certs for hostnames given as IP addresses
only. Therefore we must make Curl_cert_hostcheck() fail such attempts.

Bug: http://curl.haxx.se/docs/adv_20140326B.html
Reported-by: Richard Moore

url: Fixed connection re-use when using different log-in credentials

In addition to FTP, other connection based protocols such as IMAP, POP3,
SMTP, SCP, SFTP and LDAP require a new connection when different log-in
credentials are specified. Fixed the detection logic to include these
other protocols.

Bug: http://curl.haxx.se/docs/adv_20140326A.html

THANKS: 14 new friends from the 7.36.0 announcement

RELEASE-NOTES: synced with 3ebfaf6a0399b6a

tool_operate: Fixed uninitialised variable under some error situations

For example when a URL is not specified or the headers file fails to
open.

tool_parsecfg: Reworked error handling from commit fc59a9e1

tool_getparam: Removed "dead assignment" code introduced in commit 1a9b58fc

polarssl: avoid extra newlines in debug messages

The debug messages printed inside PolarSSL always seems to end with a
newline. So 'infof()' should not add one. Besides the trace 'line'
should be 'const'.

rtsp: parse "Session:" header properly

The parser skipped the initial letter, which presumably often is
whitespace but doesn't have to be.

Reported-by: Mike Hasselberg
Bug: http://curl.haxx.se/mail/lib-2014-03/0134.html

runtests.pl: verify specified test cases

To better allow arguments like "1 to 9999" without flooding the terminal
with error messages, the given test cases range is now checked and only
test numbers with existing files are actually run.

RELEASE-NOTES: fixed typo

trynextip: don't store 'ai' on failed connects...

It leads to the "next family" tries starting from the wrong point and thus
fails!

Bug: http://curl.haxx.se/bug/view.cgi?id=1337
Reported-by: ricker

RELEASE-NOTES: synced with 47f8e99e78c

polarssl: fix possible handshake timeout issue in multi.

Because of the socket is unblocking, PolarSSL does need call to getsock to
get the action to perform in multi environment.

In some cases, it might happen we have not received yet all data to perform
the handshake. ssh_handshake returns POLARSSL_ERR_NET_WANT_READ, the state
is updated but because of the getsock has not the proper #define macro to,
the library never prevents to select socket for input thus the socket will
never be awaken when last data is available. Thus it leads to timeout.

polarssl: break compatibility with version older than 1.3.

Remove all #ifdef/else/endif macros that ensure compatibility with polarssl
version previous than 1.3.

polarssl: drop use of 1.2 compatibility header.

API has changed since version 1.3. A compatibility header has been created
to ensure forward compatibility for code using old API:
 * x509 certificate structure has been renamed to from x509_cert to
   x509_crt
 * new dedicated setter for RSA certificates ssl_set_own_cert_rsa,
   ssl_set_own_cert is for generic keys
 * ssl_default_ciphersuites has been replaced by function
   ssl_list_ciphersuites()

This patch drops the use of the compatibly header.

polarssl: added missing end-of-comment from previous commit

polarssl: now require 1.3.0+

Also fixed a function name change in the version requirement bump

polarssl: fix compilation

Rename x509_cert to x509_crt and add "compat-1.2.h"
include.
This would still need some more thorough conversion
in order to drop "compat-1.2.h" include.

nss: allow to enable/disable new AES GCM cipher-suites

... if built against a new enough version of NSS

nss: allow to enable/disable new HMAC-SHA256 cipher-suites

... if built against a new enough version of NSS

nss: do not enable AES cipher-suites by default

... but allow them to be enabled/disabled explicitly.  The default
policy should be maintained at the NSS level.

tests: made the SASL modes separate keywords

tests: added missing HTTP NTLM auth keywords

Also, removed an unneeded strippart

tests: disable valgrind on the remaining scp/sftp tests

valgrind.supp: added another test 165 suppression

This one seems to come and go as the optimizer decides how best
to inline some functions.

ssh: prevent a logic error that could result in an infinite loop

docs: fixed a bunch of typos

test640/1: add tests for --head with sftp and scp

This option is currently rather useless with these protocols
when no quote command is given, but it is valid.

ssh: removed a redundant close state transition

ssh: abort immediately on a header callback error

chunked-encoding: provide a readable error string for chunked errors

TODO: remove http2, we now have it

http2: free resources on disconnect

... and use Curl_safefree() instead of free()

openssl: info massage with SSL version used

Patch-by: byte_bucket

RELEASE-NOTES: Synced with 8ddda0e999

README.http2: clarify the build prerequisites

SSL-PROBLEMS: add "missing intermediate certificates" piece

SSL-PROBLEMS: describes common curl+SSL problems

docs: remove documentation on setting up krb4 support

The information about building with Kerberos4 support was half a year out
of date. We dropped support for that.

ssh: fix compiler warning converting ssize_t to int