Don't list NTLM in curl-config when HTTP is disabled

Also, fixed Curl_proxyCONNECT() stub with HTTP disabled.

Fixed compatibility macro CURLE_URL_MALFORMAT_USER

return code cleanup: build, init and run-time errors

Stop the abuse of CURLE_FAILED_INIT as return code for things not being
init related by introducing two new return codes:

CURLE_NOT_BUILT_IN and CURLE_UNKNOWN_OPTION

CURLE_NOT_BUILT_IN replaces return code 4 that has been obsoleted for
several years. It is used for returning error when something is
attempted to be used but the feature/option was not enabled or
explictitly disabled at build-time. Getting this error mostly means that
libcurl needs to be rebuilt.

CURLE_FAILED_INIT is now saved and used strictly for init
failures. Getting this problem means something went seriously wrong,
like a resource shortage or similar.

CURLE_UNKNOWN_OPTION is the option formerly known as
CURLE_UNKNOWN_TELNET_OPTION (and the old name is still present,
separately defined to be removed in a very distant future). This error
code is meant to be used to return when an option is given to libcurl
that isn't known. This problem would mostly indicate a problem in the
program that uses libcurl.

FTP+proxy: macrofied functions when proxy disabled

In my attempts to reduce #ifdefs in code, the SOCKS functions are now
macros when libcurl is built without proxy support and therefore the FTP
code could avoid some #ifs.

RELEASE-NOTES: synced with db59b6202d8

[pop3 starttls] PASS command was not sent after upgrade to TLS.

[pop3 starttls] the command to send is STLS, not STARTTLS.

Added http_proxy.c to the Symbian build files

http-proxy: move proxy code to http_proxy.c

The new http_proxy.* files now host HTTP proxy specific code (500+ lines
moved out from http.c), and as a consequence there is a macro introduced
for the Curl_proxyCONNECT() function so that code can use it without
actually supporting proxy (or HTTP) in builds.

disable cookies: remove ifdefs, move code

1 - make sure to #define macros for cookie functions in the cookie
header when cookies are disabled to avoid having to use #ifdefs in code
using those functions.

2 - move cookie-specific code to cookie.c and use the functio
conditionally as mentioned in (1).

net result: 6 #if lines removed, and 9 lines of code less

nss: fix a crash within SSL_AuthCertificate()

The bug was introduced in 806dbb0 (a wrong value was passed in as the
first argument to the default callback in our wrapper).

multi: shorten lines

We keep them less than 80 columns

multi: conn goes bad when data change

Within multi_socket when conn is used as a shorthand, data could be
changed and multi_runsingle could modify the connectdata struct to deal
with. This bug has not been included in a public release.

Using 'conn' like that turned out to be ugly. This change is a partial
revert of commit f1c6cd42f474df59.

Reported by: Miroslav Spousta
Bug: http://curl.haxx.se/bug/view.cgi?id=3265485

Increased script version.

Make use of proxy vars if set.

Posted to the list by Quanah Gibson-Mount [quanah zimbra.com].

Use var again instead of hard-coded filename.

typo fix

curl_easy_setopt.3: mention TFTP read callback flaw

The read callback must return the exact requested amount of data when it
is used for doing TFTP uploads. This is due to how it deals with data
internally. This could/should be fixed but for now we document the
existing behavior.

Reported by: Colin Blair
Bug: http://curl.haxx.se/mail/lib-2011-03/0319.html

configure: fix libtool warning

TSL-SRP: enabled with OpenSSL

If a new enough OpenSSL version is used, configure detects the TLS-SRP
support and enables it.

RELEASE-NOTES: synced with 11c2db2aa2a

fix: re-use of bound connections

When asked to bind the local end of a connection when doing a request,
the code will now disqualify other existing connections from re-use even
if they are connected to the correct remote host.

This will also affect which connections that can be used for pipelining,
so that only connections that aren't bound or bound to the same
device/port you're asking for will be considered.

symbols-in-versions: make test 1119 happy

rtsp: move protocol code to dedicated file

The RTSP-specific function for checking for "dead" connection is better
located in rtsp.c. The code using this is now written without #ifdefs as
the function call is instead turned into a macro (in rtsp.h) when RTSP
is disabled.

MAIL-ETIQUETTE: intro and spam

Added a little generic info section about the lists and a section about
how to deal with trolls and spam on the lists.

TODO-RELEASE: 1 fixed, 1 notabug

Fixed:

271 - fix the IPv6-working probing to only exist at one place in the code and
      only get done once

A problem not repeatable and no proper recipe given and therefore simply
removed for now until we hear something else:

282 - 100 Continue responses should return the "final" HTTP response code:
      "Getting the HTTP response code following a 100 Continue"

ipv6: only probe once

Move ipv6-functional-probe into a single function that is used from all
places that need to know.

Make the probe function store the result in a static variable so that
subsequent invokes just returns the previous result and won't have to
probe again.

headers: more copyright headers added

MAIL-ETIQUETTE: how to behave

This is a new documentation for the source tree. This information has
been present since a long time at
http://curl.haxx.se/mail/etiquette.html but now it is put into a plain
text version too for wider distribution. The web version will be
automatically generated from this source document.

progress: don't print the last update on a separate line.

Curl_posttransfer is called too soon to add the final new line.
Moved the new line logic to pgrsDone as there is no more call to
update the progress status after this call.

Reported by: Dmitri Shubin <sbn_at_tbricks.com>
http://curl.haxx.se/mail/lib-2010-12/0162.html

TODO-RELEASE: fixed 2, got 3 new!

libcurl.m4: Add missing quotes in AC_LINK_IFELSE

This avoids warnings generated by autoconf 2.68.

Signed-off-by: Dave Reisner <d@falconindy.com>

retry-request: rewind if data was sent

When libcurl sends a HTTP request on a re-used connection and detects it
being closed (ie no data at all was read from it), it is important to
rewind if any data in the request was sent using the read callback or
was read from file, as otherwise the retried request will be broken.

Reported by: Chris Smowton
Bug: http://curl.haxx.se/bug/view.cgi?id=3195205

configure: avoid $VERSION

To reduce the risk of variable name conflicts, use CURLVERSION instead
of VERSION.

symbols-in-versions: many corrections

Scanned with a tool that checked for mistakes and this is the subsequent
cleanup.

unit1305: Fixed the test to match our coding style.

url: 0 is PROTOPT_NONE.

Tiny tweak after Daniel's refactoring of the protocol handlers.

pop3: add state name in debug array

We have an array with the state names only built and used when built
debug enabled and this need to list all the states from the .h

Added two more POP3 tests

pop3: use Curl_safefree() to allow torture tests to succeed

symbol-scan.pl: detect duplicates

Test 1119 now also makes sure that symbols-in-versions doesn't contain
any duplicates

CONTRIBUTE: minor edits

Slightly modified to become a nicer web page when converted for the site

RELEASE-NOTES: synced with 0c05ee3a33d4d7

pop3: remove unused variable

Added support for LISTing a single POP3 message

Added tests for a number of POP3 LIST operations, including one
that shows a curl problem when listing no messages, so is
disabled.

pop3: fixed memory leak in an error retrieval case

symbols-in-versions: remove duplicates

symbols-in-versions: 2 corrections

CURLE_CHUNK_FAILED and CURLE_FTP_BAD_FILE_LIST were introduced in
7.21.0, not 7.20.1

connection setup: if HTTP is disabled asking for HTTP proxy is bad

FAQ: better english

Reported by: Andre Guibert de Bruet

scan-build warning

Value stored to 'len' is never read

ldap_recv: check return code from ldap_get_dn_ber

compiler warnings fixed

Use (void)[variable] to inhibit unused argument/variables warnings.

SMTP-multi: non-blocking connect

Use Curl_ssl_connect_nonblocking() when upgrading the connection to
TLS/SSL while using the multi interface.

SMTP in multi mode: use Curl_ssl_connect_nonblocking() when connecting.

lib582: use curl_socket_t for portability

buildfix: spell define correctly

nss: do not ignore value of CURLOPT_SSL_VERIFYPEER

When NSS-powered libcurl connected to a SSL server with
CURLOPT_SSL_VERIFYPEER equal to zero, NSS remembered that the peer
certificate was accepted by libcurl and did not ask the second time when
connecting to the same server with CURLOPT_SSL_VERIFYPEER equal to one.

This patch turns off the SSL session cache for the particular SSL socket
if peer verification is disabled.  In order to avoid any performance
impact, the peer verification is completely skipped in that case, which
makes it even faster than before.

Bug: https://bugzilla.redhat.com/678580

Removed unused var.

configure: stop using the deprecated AM_INIT_AUTOMAKE syntax

protocol handler cleanup: SSL awareness

As a follow-up to commit 8831000bc0: don't assume that the SSL powered
protocol alternatives are available.

ldap: use the new protocol handler setup

Use the new flags field and stop using the old protocol defines.

TODO-RELEASE: add and remove issues

Removed a fixed issue, added five new existing ones and clarified one of
the previous ones.

protocols: use CURLPROTO_ internally

The PROT_* set of internal defines for the protocols is no longer
used. We now use the same bits internally as we have defined in the
public header using the CURLPROTO_ prefix. This is for simplicity and
because the PROT_* prefix was already used duplicated internally for a
set of KRB4 values.

The PROTOPT_* defines were moved up to just below the struct definition
within which they are used.

protocol handler: added flags field

The protocol handler struct got a 'flags' field for special information
and characteristics of the given protocol.

This now enables us to move away central protocol information such as
CLOSEACTION and DUALCHANNEL from single defines in a central place, out
to each protocol's definition. It also made us stop abusing the protocol
field for other info than the protocol, and we could start cleaning up
other protocol-specific things by adding flags bits to set in the
handler struct.

The "protocol" field connectdata struct was removed as well and the code
now refers directly to the conn->handler->protocol field instead. To
make things work properly, the code now always store a conn->given
pointer that points out the original handler struct so that the code can
learn details from the original protocol even if conn->handler is
modified along the way - for example when switching to go over a HTTP
proxy.

- Take new char * options into account in OS400 curl_easy_setopt_ccsid().
- Keep RPG binding, STRING_* table end check and OS400 README up to date.

FAQ: indent tables

Lines that are indented with at least 5 spaces get special treatment by
the script that converts it to HTML on the site.

sslgen: define Curl_ssl_connect_nonblocking for non-SSL

The non-blocking connect improvement for IMAP showed that we didn't
properly define the Curl_ssl_connect_nonblocking function for non-SSL
builds.

Reported by: Tor Arntsen

configure: removed wrongly claimed default paths

Several --with-XXX options claimed the wrong default path in their help
outputs.

Reported by: Vincent Torri

mk-ca-bundle.pl: Only download if modified

Only download and convert the certdata to the ca-bundle.crt if Mozilla
changed the data

The Perl LWP module (which in a bit of a circular reference is used by
mk-ca-bundle.pl) is now indirectly using this script. I made this small
tweak to make it easier to automatically maintain the generated
ca-bundle.crt file in version control.

SSH: add protocol lock direction

Some protocols have to call the underlying functions without regard to
what exact state the socket signals. For example even if the socket says
"readable", the send function might need to be called while uploading,
or vice versa. This is the case for libssh2 based protocols: SCP and
SFTP and we now introduce a define to set those protocols and we make
the multi interface code aware of this concept.

This is another fix to make test 582 run properly.

state: add missing state to debug table

As a new state recently was added to the IMAP state machine it has to be
in the array of names as well as otherwise libcurl crashes when a debug
version runs...

test 582: enabled again

Commit ca37692bf43b5ef should now hopefully make it run

ssh_statemach_act: set cselect for sftp upload

For uploads we want to use the _sending_ function even when the socket
turns out readable as the underlying libssh2 sftp send function will
deal with both accordingly. This is what the cselect_bits magic is for.

Fixes test 582.

RELEASE-NOTES: synced with e649a7baae2

Revert "test582: enabled"

This reverts commit b8478187406cf625c9d0f10b45a082221130cc92.

Merge branch 'imap' of https://github.com/bnoordhuis/curl into bnoordhuis-imap

TODO-RELEASE: fixed four isues

These issues are now addressed:

276 - Karl M's vc makefile patch
277 - The "Stall when uploading to sftp using multi interface"  bug
279 - curl_multi_remove_handle() crashes
280 - Marcus Sundberg's gss patch

VC: add missing file

http_negotiate_sspi.c was added to the source tree recently

GSS: handle reuse fix

Make GSS authentication work when a curl handle is reused for multiple
authenticated requests, by always setting negdata->state in
output_auth_headers().

Signed-off-by: Marcus Sundberg <marcus.sundberg@aptilo.com>

test583: verify early SSH multi remove handle

This test case is meant to verify that the logic in commit
60172a0446bbe3f8b actually works. This test failed for me before that
change and it works after it.

SFTP: gracefully handle shutdown early

When using the multi interface and a handle using SFTP was removed very
early on, we would get a segfault due to the code assumed data was there
that hadn't yet been setup.

Bug: http://curl.haxx.se/mail/lib-2011-03/0066.html
Reported by: Saqib Ali

CURL_CHECK_FUNC_RECVFROM: android/bionic fix

recvfrom in bionic (the android libc) deviates from POSIX and uses a
const in the 5th argument ("const struct sockaddr *") so the check now
tests for that as well.

test582: enabled

PROT_CLOSEACTION: added SFTP and SCP

Both SFTP and SCP are protocols that need to shut down stuff properly
when the connection is about to get torned down. The primary effect of
not doing this shows up as memory leaks (when using SCP or SFTP with the
multi interface).

This is one of the problems detected by test 582.

readwrite_upload: stop upload at file size

As we know how much to send, we can and should stop once we've sent that
much data as it avoids having to rely on other mechanisms to detect the
end.

This is one of the problems detected by test 582.

Reported by: Henry Ludemann <misc@hl.id.au>

sftp upload: expire to advance state machine

When using the multi_socket API to do SFTP upload, it is important that
we set a quick expire when leaving the SSH_SFTP_UPLOAD_INIT state as
there's nothing happening on the socket so there's no read or write to
wait for, but the next libssh2 API function needs to be called to get
the ball rolling.

This is one of the problems detected by test 582.

Reported by: Henry Ludemann <misc@hl.id.au>

test582: improved info messages

source header: added to more files

sources: update source headers

All C and H files now (should) feature the proper project curl source
code header, which includes basic info, a copyright statement and some
basic disclaimers.

TODO-RELEASE: add 10 pending issues

TODO-RELEASE: fix the IPv6-working probing

tests: phase out haxx.se

Instead of using haxx.se as a fixed magic host name in lots of tests,
this is a first step to move toward the generic example.com host
instead.

test523: avoid using haxx.se

... since search engines find what they think is a URL in this, they
hammer www.haxx.se on this port!

configure: update the copyright year in the output

Force setopt constants written by --libcurl to be long

cyassl: fix compiler warnings

SSL: (part 2) Added CyaSSL to SSL abstraction layer

This is the modified existing files commit.

SSL: Added CyaSSL to SSL abstraction layer

CyaSSL (available from git@github.com:cyassl/cyassl.git) has been
added to the SSL abstraction layer.

To test:
1) git CyaSSL sources
2) autoreconf -i
3) ./configure --disable-static
4) make
5) sudo make install
6) autoreconf -i
7) git curl sources (and this patch)
8) ./configure --disable-shared --with-cyassl --without-ssl --enable-debug
9) make
10) normal testing

Please send questions or comments to todd@yassl.com .

curl.1: clarify -E

Stress that it is for client certificates and then mention that it also
works for all other SSL-based protocols apart from HTTPS and
FTPS. Namely POP3S, IMAPS and SMTPS for now.