multi_socket: re-use of same socket without notifying app

When a hostname resolves to multiple IP addresses and the first one
tried doesn't work, the socket for the second attempt may get dropped on
the floor, causing the request to eventually time out. The issue is that
when using kqueue (as on mac and bsd platforms) instead of select, the
kernel removes the first fd from kqueue when it is closed (in trynextip,
connect.c:503). Trynextip() then goes on to open a new socket, which
gets assigned the same number as the one it just closed. Later in
multi.c, socket_cb is not called because the fd is already in
multi->sockhash, so the new socket is never added to kqueue.

The correct fix is to ensure that socket_cb is called to remove the fd
when trynextip() closes the socket, and again to re-add it after
singleipsocket(). I'm not sure how to cleanly do that, but the attached
patch works around the problem in an admittedly kludgy way by delaying
the close to ensure that the newly-opened socket gets a different fd.

Daniel's added comment: I didn't spot a way to easily do a nicer fix so
I've proceeded with Ben's patch.

Bug: http://curl.haxx.se/bug/view.cgi?id=3017819
Patch by: Ben Darnell

ftp-wildcard: avoid tight loop when used without any pattern

It was broken for URLs like "ftp://example.com/".

maketgz: produce CHANGES automatically with the 1000 most recent commits

It passes the git log output through 'log2changes.pl' to produce
the lot.

ignore: CHANGES.dist gets generated by maketgz

CHANGES: move all contents from CHANGES to CHANGES.0

CHANGES is no longer used for manually edited content. It is to
be generated automatically by maketgz when we make release
tarballs.

log2changes: correct command line, fix tag usage, change Version output

--decorate=full is needed with my git 1.7.1 to get the necessary
output so that the previous edit would work to extract the
Version stuff.

... but I had to edit how the refs/tags was extracted since it
had a little flaw that made it miss the 7.20.1 output.

Finally, I changed so that Version is outputted even more similar
to how CHANGES does it.

Make the output of log2changes.pl even more closely match CHANGES

Add the ASCII art header, and list version commits by decoding
the ref tag names, when available (using the git log --decorate
option).

log2changes: first version of the git log to CHANGES conversion script

$ git log --pretty=fuller --no-color --date=short | ./log2changes.pl

Of course, limiting the log output with a range like with
"[tag]..HEAD" appended can be very useful too.

sendrecv: treat all negative values from send/recv as errors

For example the libssh2 based functions return other negative
values than -1 to signal errors and it is important that we catch
them properly. Right before this, various failures from libssh2
were treated as negative download amounts which caused havoc.

multi: prevent NULL pointer dereference

My additional call to Curl_pgrsUpdate() would sometimes get
called even though there's no connection (left) so a NULL pointer
would get passed, causing a segfault.

smtp: fixed a few uses of size_t that seemed to believe it was signed

Reported-by: Steven M. Schweda

Fixed an OOM memory leak in the FTP wildcard code

test575: do not fail with threaded DNS resolver

multi: unmark handle as used when no longer head of pipeline

multi: call the progress function only once and allow abort

1) no need to call the progress function twice when in the
CURLM_STATE_TOOFAST state.

2) Make sure that the progress callback's return code is
acknowledged when used

multi: call the progress callback in all states

As long as no error is reported, the progress function can get
called. This may be a little TOO often so we should keep an eye
on this and possibly make this conditional somehow.

configure: spell --disable-threaded-resolver correctly

Previously we only accepted the option when named
--disable-threaded-resover, which wasn't quite intended.

Reported by: Helwing Lutz

release: start on 7.21.1, bump contributor count

version: start working on the 7.21.1-dev version

THANKS: added contributors from the 7.21.0 release

release: 7.21.0

remove unused 'tmpdata' and 'backup' ftp_parselist_data struct members

replace isprint() with ISPRINT()

ensure that Curl_wildcard_dtor() leaves WildcardData struct zero initialized

ILE/RPG binding updated to current curl.h definitions.

code simplification

add Curl_ prefix to conform with cURL naming standards

Merge branch 'master' of git@github.com:bagder/curl

fix compiler warning using curl_socket_t to store socket descriptor

inet_pton: warnings: use size_t to store pointer deltas

avoid redundant work when reusing same connection

fix function result checking

transfer: warning: implicit conversion

There is an implicit conversion from "unsigned long" to "long";
rounding, sign extension, or loss of accuracy may result.

Fixed by an added typecast.

TFTP: fix compiler warning

Curl_fillreadbuffer()'s second argument takes an int, so
typecasting to another is a bad idea.

TFTP: fix warning for sendto() usage on non-POSIX systems

Older unixes want an 'int' instead of 'size_t' as the 3rd
argumment so before this change it would cause warnings such as:

There is an implicit conversion from "unsigned long" to "int";
rounding, sign extension, or loss of accuracy may result.

Include Makefile.inc to get the list of source files for Amiga

Signed-off-by: Diego Casorran <dcasorran@gmail.com>

Curl_updateconninfo() error handling fix

OpenSSL: fix spurious SSL connection aborts

Was seeing spurious SSL connection aborts using libcurl and
OpenSSL. I tracked it down to uncleared error state on the
OpenSSL error stack - patch attached deals with that.

Rough idea of problem:

Code that uses libcurl calls some library that uses OpenSSL but
don't clear the OpenSSL error stack after an error.

ssluse.c calls SSL_read which eventually gets an EWOULDBLOCK from
the OS. Returns -1 to indicate an error

ssluse.c calls SSL_get_error. First thing, SSL_get_error calls
ERR_get_error to check the OpenSSL error stack, finds an old
error and returns SSL_ERROR_SSL instead of SSL_ERROR_WANT_READ or
SSL_ERROR_WANT_WRITE.

ssluse.c returns an error and aborts the connection

Solution:

Clear the openssl error stack before calling SSL_* operation if
we're going to call SSL_get_error afterwards.

Notes:

This is much more likely to happen with multi because it's easier
to intersperse other calls to the OpenSSL library in the same
thread.

replace socklen_t with curl_socklen_t

getinfo: added *_PRIMARY_PORT, *_LOCAL_IP and *_LOCAL_PORT

RELEASE-NOTES: add contributors not mentioned

Enable OpenLDAP support for cygwin builds.

Enable OpenLDAP support for cygwin builds. This support was disabled back
in 2008 due to incompatibilities between OpenSSL and OpenLDAP headers.
cygwin's OpenSSL 0.9.8l and OpenLDAP 2.3.43 versions on cygwin 1.5.25
allow building an OpenLDAP enabled libcurl supporting back to Windows 95.

Remove non-functional CURL_LDAP_HYBRID code and references.

ftplistparser.c: oops, fix typo in the last commit

ftplistparser.c: avoid some invalid dereferences

lib: eliminate some dead code

SSH: corrected the inability to respect the timeout

Jason McDonald posted bug report #3006786 when he found that the
SFTP code didn't timeout properly in several places in the code
even if a timeout was set properly.

Based on his suggested patch, I wrote a different implementation
that I think addressed the issue better and also uses the connect
timeout for the initial part of the SSH/SFTP done during the
"protocol connect" phase.

(http://curl.haxx.se/bug/view.cgi?id=3006786)

mention last changes

add missing new files to non-configure target build files

include libcurl standard internal headers

TODO: add multi interface improvement remove ldap select

make setup.h first included file

fix spnego memory leak

openldap header inclusions fix

multi_socket: handles timer inaccuracy better for timeouts

Igor Novoseltsev reported a problem with the multi socket API and
using timeouts and timers. It boiled down to a problem with
libcurl's use of GetTickCount() interally to figure out the
current time, while Igor's own application code used another
function call.

It made his app call the socket API timeout function a bit
_before_ libcurl would consider the timeout to trigger, and that
could easily lead to timeouts or stalls in the app. It seems
GetTickCount() in general often has no better resolution than
16ms and switching to the alternative function
QueryPerformanceCounter has its share of problems:
http://www.virtualdub.org/blog/pivot/entry.php?id=106

We address this problem by simply having libcurl treat timers
that already has occured or will occur within 40ms subject for
treatment. I'm confident that there are other implementations and
operating systems with similarly in accurate timer functions so
it makes sense to have applied generically and I don't believe we
sacrifice much by adding a 40ms inaccuracy on these timeouts.

fix ldaps option issue

fix ldap related compilation issues

fix compiler warning: enumerated type mixed with another type

fix compiler warning: enumerated type mixed with another type

smtp_authenticate: avoid compiler warnings

fix compiler warning: enumerated type mixed with another type

fix compiler warning: enumerated type mixed with another type

fix compiler warning: enumerated type mixed with another type

fix compiler warning: external declaration in primary source file

fix compiler warning: variable was set but never used

fix compiler warning: enumerated type mixed with another type

fix compiler warning: external declaration in primary source file

update year in copyright notice

strtoofft: rename CURL_LLONG_MIN -> CURL_OFF_T_MIN

... and CURL_LLONG_MAX -> CURL_OFF_T_MAX

CURL_LLONG_MAX: avoid constant overflow

... when (CURL_SIZEOF_CURL_OFF_T == 4)

LDAPS: list availability depending on SSL's presence

LDAP: make it build without SSL if no such support is available

of course it also goes for the case where SSL is explicitly
disabled

TODO: removed fixed items

These two items are now actually implemented:

11.1 Content-Disposition
11.5 ftp wildcard download

lib: eliminate 'statement not reached' warnings

test1115: verify that unexpected 1xx responses work fine

lib577: avoid redefinition of ERROR

test313: a new test for CRL support

tests/certs: re-generated because of lost pass-phrase

tests/certs/scripts: generate also CRL

... and make it possible to do so without any user interaction

openldap: fix compiler warnings

indent: some whitespace edits

wildcard.c: add missing include of "setup.h"

lib573: do not compare double for exact match

wildcard.c: add missing include of "curl_memory.h"

setup_once: use enum type for 'bool' on non-C99 platforms

An enum will catch non-bool assignments to bool on platforms with
a strict compiler, e.g MIPSPro.

Signed-off-by: Kamil Dudka <kdudka@redhat.com>

url.c: avoid implied cast to bool

curl_fnmatch: remove use of register keyword

Using the 'register' keyword rarely improves anything with modern
compilers and architectures.

RTMP: Fix compiler warnings

OOM fixes in http_negociate.c and lib/splay.c

Fix 2 OOM errors: a missing NULL-check in lib/http_negociate.c
and a potential NULL dereferencing in lib/splay.c

LDAP: properly implemented as a curl_handler

makes the LDAP code much cleaner, nicer and in general being a
better libcurl citizen. If a new enough OpenLDAP version is
detect, the new and shiny lib/openldap.c code is then used
instead of the old cruft

Code by Howard, minor cleanups by Daniel.

curl_fnmatch: Use int not bool when function returns int

bool in curl internals is unsigned char and should not be used
to receive return value from functions returning int - this fails
when using IBM VisualAge and Tru64 compilers.

TFTP: send legal timeout value

Eric Mertens posted bug #3003705: when we made TFTP use the
correct timeout option when sent to the server (fixed May 18th
2010) it became obvious that libcurl used invalid timeout values
(300 by default while the RFC allows nothing above 255). While of
course it is obvious that as TFTP has worked thus far without
being able to set timeout at all, just removing the setting
wouldn't make any difference in behavior. I decided to still keep
it (but fix the problem) as it now actually allows for easier
(future) customization of the timeout.

(http://curl.haxx.se/bug/view.cgi?id=3003705)

TFTP: don't ack if wrong block num is received

If an unexpected block number was received, break out of the
switch loop.

TFTP: block id wrap bug fix

In a normal expression, doing [unsigned short] + 1 will not wrap
at 16 bits so the comparisons and outputs were done wrong. I
added a macro do make sure it gets done right.

Douglas Kilpatrick filed bug report #3004787 about it:
http://curl.haxx.se/bug/view.cgi?id=3004787

Fix build warnings.

Signed-off-by: Ben Greear <greearb@candelatech.com>

setopt: Fix setting of set.is_fwrite_set

Signed-off-by: Ben Greear <greearb@candelatech.com>

build: allow curl to build with Microsoft VC10

By undefing a bunch of E* defines that VC10 has started to define
but that we redefine internally to their WSA* alternatives when
building for Windows.

Test 573: Use correct type for CURLINFO_CONNECT_TIME

curl_easy_getinfo() called with a pointer to long instead of double
would sigbus on RISC processors (e.g. MIPS) due to wrong alignment
of pointer address.

lib: Fix AIX build failure

Fixed some memory leaks in the POP3 torture tests

Fixed a memory leak in the SMTP torture tests