MAIL-ETIQUETTE: intro and spam

Added a little generic info section about the lists and a section about
how to deal with trolls and spam on the lists.

TODO-RELEASE: 1 fixed, 1 notabug

Fixed:

271 - fix the IPv6-working probing to only exist at one place in the code and
      only get done once

A problem not repeatable and no proper recipe given and therefore simply
removed for now until we hear something else:

282 - 100 Continue responses should return the "final" HTTP response code:
      "Getting the HTTP response code following a 100 Continue"

ipv6: only probe once

Move ipv6-functional-probe into a single function that is used from all
places that need to know.

Make the probe function store the result in a static variable so that
subsequent invokes just returns the previous result and won't have to
probe again.

headers: more copyright headers added

MAIL-ETIQUETTE: how to behave

This is a new documentation for the source tree. This information has
been present since a long time at
http://curl.haxx.se/mail/etiquette.html but now it is put into a plain
text version too for wider distribution. The web version will be
automatically generated from this source document.

progress: don't print the last update on a separate line.

Curl_posttransfer is called too soon to add the final new line.
Moved the new line logic to pgrsDone as there is no more call to
update the progress status after this call.

Reported by: Dmitri Shubin <sbn_at_tbricks.com>
http://curl.haxx.se/mail/lib-2010-12/0162.html

TODO-RELEASE: fixed 2, got 3 new!

libcurl.m4: Add missing quotes in AC_LINK_IFELSE

This avoids warnings generated by autoconf 2.68.

Signed-off-by: Dave Reisner <d@falconindy.com>

retry-request: rewind if data was sent

When libcurl sends a HTTP request on a re-used connection and detects it
being closed (ie no data at all was read from it), it is important to
rewind if any data in the request was sent using the read callback or
was read from file, as otherwise the retried request will be broken.

Reported by: Chris Smowton
Bug: http://curl.haxx.se/bug/view.cgi?id=3195205

configure: avoid $VERSION

To reduce the risk of variable name conflicts, use CURLVERSION instead
of VERSION.

symbols-in-versions: many corrections

Scanned with a tool that checked for mistakes and this is the subsequent
cleanup.

unit1305: Fixed the test to match our coding style.

url: 0 is PROTOPT_NONE.

Tiny tweak after Daniel's refactoring of the protocol handlers.

pop3: add state name in debug array

We have an array with the state names only built and used when built
debug enabled and this need to list all the states from the .h

Added two more POP3 tests

pop3: use Curl_safefree() to allow torture tests to succeed

symbol-scan.pl: detect duplicates

Test 1119 now also makes sure that symbols-in-versions doesn't contain
any duplicates

CONTRIBUTE: minor edits

Slightly modified to become a nicer web page when converted for the site

RELEASE-NOTES: synced with 0c05ee3a33d4d7

pop3: remove unused variable

Added support for LISTing a single POP3 message

Added tests for a number of POP3 LIST operations, including one
that shows a curl problem when listing no messages, so is
disabled.

pop3: fixed memory leak in an error retrieval case

symbols-in-versions: remove duplicates

symbols-in-versions: 2 corrections

CURLE_CHUNK_FAILED and CURLE_FTP_BAD_FILE_LIST were introduced in
7.21.0, not 7.20.1

connection setup: if HTTP is disabled asking for HTTP proxy is bad

FAQ: better english

Reported by: Andre Guibert de Bruet

scan-build warning

Value stored to 'len' is never read

ldap_recv: check return code from ldap_get_dn_ber

compiler warnings fixed

Use (void)[variable] to inhibit unused argument/variables warnings.

SMTP-multi: non-blocking connect

Use Curl_ssl_connect_nonblocking() when upgrading the connection to
TLS/SSL while using the multi interface.

SMTP in multi mode: use Curl_ssl_connect_nonblocking() when connecting.

lib582: use curl_socket_t for portability

buildfix: spell define correctly

nss: do not ignore value of CURLOPT_SSL_VERIFYPEER

When NSS-powered libcurl connected to a SSL server with
CURLOPT_SSL_VERIFYPEER equal to zero, NSS remembered that the peer
certificate was accepted by libcurl and did not ask the second time when
connecting to the same server with CURLOPT_SSL_VERIFYPEER equal to one.

This patch turns off the SSL session cache for the particular SSL socket
if peer verification is disabled.  In order to avoid any performance
impact, the peer verification is completely skipped in that case, which
makes it even faster than before.

Bug: https://bugzilla.redhat.com/678580

Removed unused var.

configure: stop using the deprecated AM_INIT_AUTOMAKE syntax

protocol handler cleanup: SSL awareness

As a follow-up to commit 8831000bc0: don't assume that the SSL powered
protocol alternatives are available.

ldap: use the new protocol handler setup

Use the new flags field and stop using the old protocol defines.

TODO-RELEASE: add and remove issues

Removed a fixed issue, added five new existing ones and clarified one of
the previous ones.

protocols: use CURLPROTO_ internally

The PROT_* set of internal defines for the protocols is no longer
used. We now use the same bits internally as we have defined in the
public header using the CURLPROTO_ prefix. This is for simplicity and
because the PROT_* prefix was already used duplicated internally for a
set of KRB4 values.

The PROTOPT_* defines were moved up to just below the struct definition
within which they are used.

protocol handler: added flags field

The protocol handler struct got a 'flags' field for special information
and characteristics of the given protocol.

This now enables us to move away central protocol information such as
CLOSEACTION and DUALCHANNEL from single defines in a central place, out
to each protocol's definition. It also made us stop abusing the protocol
field for other info than the protocol, and we could start cleaning up
other protocol-specific things by adding flags bits to set in the
handler struct.

The "protocol" field connectdata struct was removed as well and the code
now refers directly to the conn->handler->protocol field instead. To
make things work properly, the code now always store a conn->given
pointer that points out the original handler struct so that the code can
learn details from the original protocol even if conn->handler is
modified along the way - for example when switching to go over a HTTP
proxy.

- Take new char * options into account in OS400 curl_easy_setopt_ccsid().
- Keep RPG binding, STRING_* table end check and OS400 README up to date.

FAQ: indent tables

Lines that are indented with at least 5 spaces get special treatment by
the script that converts it to HTML on the site.

sslgen: define Curl_ssl_connect_nonblocking for non-SSL

The non-blocking connect improvement for IMAP showed that we didn't
properly define the Curl_ssl_connect_nonblocking function for non-SSL
builds.

Reported by: Tor Arntsen

configure: removed wrongly claimed default paths

Several --with-XXX options claimed the wrong default path in their help
outputs.

Reported by: Vincent Torri

mk-ca-bundle.pl: Only download if modified

Only download and convert the certdata to the ca-bundle.crt if Mozilla
changed the data

The Perl LWP module (which in a bit of a circular reference is used by
mk-ca-bundle.pl) is now indirectly using this script. I made this small
tweak to make it easier to automatically maintain the generated
ca-bundle.crt file in version control.

SSH: add protocol lock direction

Some protocols have to call the underlying functions without regard to
what exact state the socket signals. For example even if the socket says
"readable", the send function might need to be called while uploading,
or vice versa. This is the case for libssh2 based protocols: SCP and
SFTP and we now introduce a define to set those protocols and we make
the multi interface code aware of this concept.

This is another fix to make test 582 run properly.

state: add missing state to debug table

As a new state recently was added to the IMAP state machine it has to be
in the array of names as well as otherwise libcurl crashes when a debug
version runs...

test 582: enabled again

Commit ca37692bf43b5ef should now hopefully make it run

ssh_statemach_act: set cselect for sftp upload

For uploads we want to use the _sending_ function even when the socket
turns out readable as the underlying libssh2 sftp send function will
deal with both accordingly. This is what the cselect_bits magic is for.

Fixes test 582.

RELEASE-NOTES: synced with e649a7baae2

Revert "test582: enabled"

This reverts commit b8478187406cf625c9d0f10b45a082221130cc92.

Merge branch 'imap' of https://github.com/bnoordhuis/curl into bnoordhuis-imap

TODO-RELEASE: fixed four isues

These issues are now addressed:

276 - Karl M's vc makefile patch
277 - The "Stall when uploading to sftp using multi interface"  bug
279 - curl_multi_remove_handle() crashes
280 - Marcus Sundberg's gss patch

VC: add missing file

http_negotiate_sspi.c was added to the source tree recently

GSS: handle reuse fix

Make GSS authentication work when a curl handle is reused for multiple
authenticated requests, by always setting negdata->state in
output_auth_headers().

Signed-off-by: Marcus Sundberg <marcus.sundberg@aptilo.com>

test583: verify early SSH multi remove handle

This test case is meant to verify that the logic in commit
60172a0446bbe3f8b actually works. This test failed for me before that
change and it works after it.

SFTP: gracefully handle shutdown early

When using the multi interface and a handle using SFTP was removed very
early on, we would get a segfault due to the code assumed data was there
that hadn't yet been setup.

Bug: http://curl.haxx.se/mail/lib-2011-03/0066.html
Reported by: Saqib Ali

CURL_CHECK_FUNC_RECVFROM: android/bionic fix

recvfrom in bionic (the android libc) deviates from POSIX and uses a
const in the 5th argument ("const struct sockaddr *") so the check now
tests for that as well.

test582: enabled

PROT_CLOSEACTION: added SFTP and SCP

Both SFTP and SCP are protocols that need to shut down stuff properly
when the connection is about to get torned down. The primary effect of
not doing this shows up as memory leaks (when using SCP or SFTP with the
multi interface).

This is one of the problems detected by test 582.

readwrite_upload: stop upload at file size

As we know how much to send, we can and should stop once we've sent that
much data as it avoids having to rely on other mechanisms to detect the
end.

This is one of the problems detected by test 582.

Reported by: Henry Ludemann <misc@hl.id.au>

sftp upload: expire to advance state machine

When using the multi_socket API to do SFTP upload, it is important that
we set a quick expire when leaving the SSH_SFTP_UPLOAD_INIT state as
there's nothing happening on the socket so there's no read or write to
wait for, but the next libssh2 API function needs to be called to get
the ball rolling.

This is one of the problems detected by test 582.

Reported by: Henry Ludemann <misc@hl.id.au>

test582: improved info messages

source header: added to more files

sources: update source headers

All C and H files now (should) feature the proper project curl source
code header, which includes basic info, a copyright statement and some
basic disclaimers.

TODO-RELEASE: add 10 pending issues

TODO-RELEASE: fix the IPv6-working probing

tests: phase out haxx.se

Instead of using haxx.se as a fixed magic host name in lots of tests,
this is a first step to move toward the generic example.com host
instead.

test523: avoid using haxx.se

... since search engines find what they think is a URL in this, they
hammer www.haxx.se on this port!

configure: update the copyright year in the output

Force setopt constants written by --libcurl to be long

cyassl: fix compiler warnings

SSL: (part 2) Added CyaSSL to SSL abstraction layer

This is the modified existing files commit.

SSL: Added CyaSSL to SSL abstraction layer

CyaSSL (available from git@github.com:cyassl/cyassl.git) has been
added to the SSL abstraction layer.

To test:
1) git CyaSSL sources
2) autoreconf -i
3) ./configure --disable-static
4) make
5) sudo make install
6) autoreconf -i
7) git curl sources (and this patch)
8) ./configure --disable-shared --with-cyassl --without-ssl --enable-debug
9) make
10) normal testing

Please send questions or comments to todd@yassl.com .

curl.1: clarify -E

Stress that it is for client certificates and then mention that it also
works for all other SSL-based protocols apart from HTTPS and
FTPS. Namely POP3S, IMAPS and SMTPS for now.

FAQ: Protocol xxx not supported or disabled in libcurl

lib582: used for test 582

Accidentally not included in commit 0e74e1d8d83

Fixed libcurl to honour the --disable-ldaps configure option

sftp-multi: test 582 added

Add test 582 for uploading a file using sftp and the multi interface.

(Patch and test slightly tweaked by Daniel Stenberg)

Initially marked as disabled until it is fixed in the source.

FAQ: How to SFTP from my user's home directory?

cpp: correct #endif placement

The end-of-file #endif in rawstr.h was not correcly positioned after all
prototypes.

Reported by: Boris
Bug: http://curl.haxx.se/bug/view.cgi?id=3195205

Moved test 577 into the unit test framework as test 1307

Added unit test 1306 so tests 558 & 559 are now fully replaced

The unit test argument is allowed to be used

Converted tests 558 & 559 to use the unit test framework as 1305

Test 558 was just a subset of 559 which is something that can be
easily added later.

Fixed test 1300 to pass the torture test

Added abort_* unit test macros

These are for when a test failure makes it impossible to continue
running further tests.

transfer: avoid insane conversion of time_t

ssh_connect: treat libssh2 return code better

libssh2_knownhost_readfile() returns a negative value on error or
otherwise number of parsed known hosts - this was previously not
documented correctly in the libssh2 man page for the function.

Bug: http://curl.haxx.se/mail/lib-2011-02/0327.html
Reported by: murat

http: removed wrong unused comment.

|premature| is used in Curl_http_done.

http: removed code duplication for stubbed https_getsock function.

RELEASE-NOTES: synced with 2345c1dd661c

runtests.pl/stopserver: space separate pids

The stopserver function would append pids to kill and could append them
without separating them with space properly. The result would be a very
large number that by (some implementations of) kill would be interpreted
as a negative number and that process group would be wiped...

Bug: http://curl.haxx.se/bug/view.cgi?id=3188836
Reported by: Greg Pratt

nss: do not ignore failure of SSL handshake

Flaw introduced in fc77790 and present in curl-7.21.4.
Bug: https://bugzilla.redhat.com/669702#c16

CURLOPT_SSH_KEYFUNCTION: requires *SSH_KNOWNHOSTS

Extend the docs to clarify that CURLOPT_SSH_KEYFUNCTION is only called
if the known hosts option is also correctly set!

curl_easy_setopt.3: Removed wrong reference to CURLOPT_USERPASSWORD.

CURLOPT_HTTPAUTH was mentioning CURLOPT_USERPASSWORD instead of
CURLOPT_PASSWORD.

Reported by: Mike Henshaw

netrc: Removed _NETRC_DEBUG code.

This is not needed anymore as we have unit testing running on it.

tests: Cleaned up netrc testing.

Removed the "netrc_debug" keyword replaced with --netrc-file additions.
Removed the debug code from Curl_parsenetrc as it is superseeded by
--netrc-file.

curl: Added --netrc-file.

This enables people to specify a path to the netrc file to use.
The new option override --netrc if both are present. However it
does follow --netrc-optional if specified.