URL-parsing: consider ? a divider

The URL parser got a little stricter as it now considers a ? to be a
host name divider so that the slightly sloppier URLs work too. The
problem that made me do this change was the reported problem with an URL
like: www.example.com?email=name@example.com This form of URL is not
really a legal URL (due to the missing slash after the host name) but is
widely accepted by all major browsers and libcurl also already accepted
it, it was just the '@' letter that triggered the problem now.

The side-effect of this change is that now libcurl no longer accepts the
?  letter as part of user-name or password when given in the URL, which
it used to accept (and is tested in test 191). That letter is however
mentioned in RFC3986 to be required to be percent encoded since it is
used as a divider.

Bug: http://curl.haxx.se/bug/view.cgi?id=3090268

curl_easy_setopt.3: spellfix

curl_easy_setopt.3: CURLOPT_USE_SSL is not just for FTP

It is for FTP, SMTP, POP3, IMAP at least.

krb4.h: removed unused prototypes

krb4: make a few functions static

TODO-RELEASE: cleanup for 7.21.3 works

"SFTP resume with 4GB file does not work" is now removed as I'm sure
this is really a libssh2 bug and not a libcurl bug.

7.21.2 is released already

RELEASE-NOTES: sync with 09a2d93a0f17ca

http_chunks: remove debug output

Accidentally left in there during my previous debugging of this

Curl_setopt: disallow CURLOPT_USE_SSL without SSL support

In order to avoid for example the pingpong protocols to issue STARTTLS
(or equivalent) even though there's no SSL support built-in.

Reported by: Sune Ahlgren
Bug: http://curl.haxx.se/mail/archive-2010-10/0045.html

options: check for features for some options

Some options, such as the automatic decompression and some SSL related
ones now will bail out if the underlying libcurl doesn't have support
for the particular feature needed.

Fixed the IPv6 host address in test1203

Reported by: Christian Weisgerber
Bug: http://curl.haxx.se/bug/view.cgi?id=3087479

curl_easy_setopt.3: clarify CURLOPT_CRLF

The option takes a parameter that should be 1 or 0 to enable or disable
the feature.

URL: http://curl.haxx.se/bug/view.cgi?id=3086428

Some more small Watcom makefile fixes.

Added --noconfigure switch to testcurl.pl.

Modified Watcom makefiles to work on Linux too.

Added MingW32 rtmp target; changed Watcom targets.

Modified Watcom targets to avoid backslashs so that they can
work on Linux too.

gitignore: ignore Makefile.vc10.dist made by maketgz

curlver.h: start over at 7.21.3

RELEASE-NOTES: start over towards 7.21.3

THANKS: added contributors from 7.21.2

RELEASE-NOTES: synced with ecd624b8e774a85

CMake: Build fix.

Do not match the trailing '\n' in the regular expression as this would
make us dump a ) parenthesis on a new line.

This fixes the following error:

would get transformed into:

)

Bug: http://curl.haxx.se/mail/lib-2010-10/0065.html
Reported by: Dimitre Dimitrov

header_callback: strip off file path separated with backslashes

If the filename contains a backslash, only use filename portion. The
idea is that even systems that don't handle backslashes as path
separators probably want that path removed for convenience.

This flaw is considered a security problem, see the curl security
vulnerability http://curl.haxx.se/docs/adv_20101013.html

Get the curl source files for Amiga from Makefile.inc

This is similar to how it's done in the lib directory.
The Amiga build appears to have been broken for a year because
of a missing homedir.c

Added section on server-supplied names to security considerations

Fixed Watcom makefile.

Added build bits for librtmp / libssh2 to Watcom makefiles.

Added build bits for librtmp to NetWare makefiles.

SFTP: more ignoring negative file sizes

As the change in 5f0ae7a0626cbe709 added a precaution against negative
file sizes that for some reason managed to get returned, this change now
introduces the same check at the second place in the code where the file
size from the libssh2 stat call is used.

This check might not be suitable for a 32 bit curl_off_t, but libssh2.h
assumes long long to work and to be 64 bit so I believe such a small
curl_off_t will be very unlikely to occur in the wild.

SMTP: debug output for no known auth mechanisms supported

... and some minor source code whitespace edits

test: urlglob error messages have no extra newline anymore

Added build bits for librtmp to MingW32 makefiles.

RELEASE-NOTES: synced with 61f4cdb73ae4

globbing: fix crash on unballanced open brace

Having an open brace without a closing brace caused a segfault.

Having a closing brace too many caused a silent error to occur, which
caused curl to bail out and return an error code but no error message
was shown. It does now!

All error message outputs no longer wrongly get _two_ newlines written
after the error message.

Reported by: Vlad Ureche
Bug: http://curl.haxx.se/bug/view.cgi?id=3083942

libcurl.m4: AC_PATH_PROG fixes

The invocation of autoconf's AC_PATH_PROG( ) is not quite right for
finding curl-config. This fix corrects the negative case (where
curl-config is not found).

FAQ: added "How do I submit my patch?"

examples: use example.com in example URLs

TODO-RELEASE: libidn problem not repeatable

"261 - configure and libidn" is removed from the list since Julien
Chaffraix tried to repeat it but failed and the reporter did not return
to provide further details.

Reported by: Lyndon Hill
Bug: http://curl.haxx.se/mail/lib-2010-07/0029.html

libcurl.m4: mention argument is PREFIX

The macro provides a --with-libcurl option that expects a PREFIX to be
specified and not actually a "directory" in which libcurl will be found.
This now spells that out more clearly.

Reported by: Dan Locks
Bug: http://curl.haxx.se/bug/view.cgi?id=3079891

Some NetWare makefile tweaks.

Renamed SDK_* to NDK_*; made NDK_* defines overwriteable from
environment; removed now obsolete YACC macro;
moved some curl_config.h defines to IPv6 section since they
are only needed when IPv6 is enabled - this makes libcurl compile
with older NDKs too which were not IPv6-aware.

TODO-RELEASE: 416 error fixed

"3076808 Requests fail silently following a 416 error" done

krb5-gssapi: Removed a memory leak in krb5_auth.

We forgot to release the buffer passed to gss_init_sec_context.

The previous logic was difficult to read as we were reusing the same
variable (gssbuf) for both input buffer and output buffer. Splitted the
logic in 2 variables to better underline who needs to be released.
Also made the code break at 80 lines.

krb5-gssapi: Made the function always return a value.

kr5_auth missed a final 'return' statement. This is not an error in
gcc but can lead to potential bugs.

krb5-gssapi: Delete the GSS-API context.

This fixes a memory leak related to the GSS-API code.

Added a krb5_init and krb5_end functions. Also removed a work-around
the lack of proper initialization of the GSS-API context.

HTTP: remove special case for 416

It was pointed out that the special case libcurl did for 416 was
incorrect and wrong. 416 is not really different to other errors so the
response body must be handled like for other errors/http responses.

Reported by: Chris Smowton
Bug: http://curl.haxx.se/bug/view.cgi?id=3076808

sws: Added writedelay HTTP server command

This delays between write operations, hopefully making it easier
to spot problems where libcurl doesn't flush the socket properly
before waiting for the next response.

TODO-RELEASE: no bug in ftp_nextconnect

The issue named "266 - Bug in ftp_nextconnect?" was deemed to not be a
bug and instead resulted in clarified docs.

curl_easy_setopt.3: CURLOPT_DIRLISTONLY implies dir list

Make it explicit that setting CURLOPT_DIRLISTONLY to 1 will make libcurl
to list the directory.

RELEASE-NOTES: synced up to 588402585bae

TODO-RELEASE: move new features to next release

README.ares: we know require c-ares 1.6.0

SFTP: avoid downloading negative sizes!

It is still not clarified exactly why this happens, but libssh2
sometimes report a negative file size for the remote SFTP file and that
deeply confuses libcurl (or crashes it) so this precaution is added to
avoid badness.

Reported by: Ernest Beinrohr
Bug: http://curl.haxx.se/bug/view.cgi?id=3076430

TODO-RELEASE: drop curl_easy_setoptv

I haven't read any really convincing arguments for adding it

multi & hiper examples: updates and cleanups

all multi and hiper examples:

* don't loop curl_multi_perform calls, that was <7.20.0 style, currently
  the exported multi functions will not return CURLM_CALL_MULTI_PERFORM

all hiper examples:
* renamed check_run_count to check_multi_info
* don't  compare current running handle count with previous value, this
  was the wrong way to check for finished requests, simply call
  curl_multi_info_read
* it's also safe to call curl_multi_remove_handle inside the
  curl_multi_info_read loop.

ghiper.c:
* replaced curl_multi_socket (that function is marked as obsolete) calls
  with curl_multi_socket_action calls (as in hiperfifo.c and
  evhiperfifo.c)

ghiper.c and evhiperfifo.c:
* be smart as hiperfifo.c, don't do uncessary curl_multi_* calls in
  new_conn and main

TODO-RELEASE: one fixed, one postponed, one added

As we're already in feature freeze, I pushed the feature onwards.

Renamed test1204 to test1117 to move it into the normal range

Add gopher protocol definition to ILE/RPG binding.
OS400 compile script in test dir updated for chkhostname.

krb5-gssapi: Remove several memory leaks.

Remove a leak seen on Kerberos/MIT (gss_OID is copied internally and
we were leaking it). Now we just pass NULL as advised in RFC2744.

|tmp| was never set back to buf->data.

Cleaned up Curl_sec_end to take into account failure in Curl_sec_login
(where conn->mech would be NULL but not conn->app_data or
conn->in_buffer->data).

security.c: Remove Curl_sec_fflush_fd.

The current implementation would make us send wrong data on a closed
socket. We don't buffer our data so the method can be safely removed.

security.c: We should always register the socket handler.

Following a change in the way socket handler are registered, the custom
recv and send method were conditionaly registered.
We need to register them everytime to handle the ftp security
extensions.

Re-added the clear text handling in sec_recv.

security.c: Fix Curl_sec_login after rewrite.

Curl_sec_login was returning the opposite result that the code in ftp.c
was expecting. Simplified the return code (using a CURLcode) so to see
more clearly what is going on.

security.c: Readd the '\n' to the infof() calls.

They are not automatically added and make the output of the verbose
mode a lot more readable.

security.c: Fix typo (PSBZ -> PBSZ)

security.c: Fix ftp_send_command.

My use of va_args was completely wrong. Fixed the usage so that
we send the right commands!

curl_easy_escape: don't escape "unreserved" characters

According to RFC3986 section 2.3 the letters -, ., _ and ~ should not be
percent-encoded.

Reported by: Miguel Diaz
Bug: http://curl.haxx.se/mail/lib-2010-09/0227.html

multi: don't expire timeouts at disonnect or done

The functions Curl_disconnect() and Curl_done() are both used within the
scope of a single request so they cannot be allowed to use
Curl_expire(... 0) to kill all timeouts as there are some timeouts that
are set before a request that are supposed to remain until the request
is done.

The timeouts are now instead cleared at curl_easy_cleanup() and when the
multi state machine changes a handle to the complete state.

Changed the TPF make file to get source files from Makefile.inc

Patch was fixed and validated by David McCreedy.

Added test case 1204 to test HTTP range failure

This is an attempt to reproduce bug #3076808

multi_runsingle: set timeout error messages

With the latest changes to fix the timeout handling with multi interface
we lost the timeout error messages. This patch brings them back.

TODO-RELEASE: updated list of issues to work on

parsedate: allow time specified without seconds

The date format in RFC822 allows that the seconds part of HH:MM:SS is
left out, but this function didn't allow it. This change also includes a
modified test case that makes sure that this now works.

Reported by: Matt Ford
Bug: http://curl.haxx.se/bug/view.cgi?id=3076529

TFTP: re-indented the source code

Just made sure that the good old curl indentation style is used all over
this file.

TFTP: Work around tftpd-hpa upload bug

tftpd-hpa has a bug where it will send an incorrect ack when the block
counter wraps and tftp options have been sent. Work around that by
accepting an ack for 65535 when we're expecting one for 0.

Revert "security.c: buffer_read various fixes."

This reverts commit fbb38de415b7bb7d743e53a7b4b887ffb12b3e5b.

security.c: removed superfluous parentheses

And also removed the FIXME where memory was zeroed just before freed,
and some other minor whitespace changes.

security.c: Update the #include statements after the rewrite.

security.c: sec_write tweaks

- |fd| is now a curl_socket_t and |len| a size_t to avoid conversions.
- Added 2 FIXMEs about the 2 unsigned -> signed conversions.
- Included 2 minor changes to Curl_sec_end.

security.c: _sec_send tweaks

- Renamed the method to sec_send now that we
  renamed sec_send to do_sec_send.
- Some more variable renaming.

security.c: sec_read tweaks

- Renamed the function to sec_recv.
- Renamed the parameters and variable to match the rest of the code.

security.c: Curl_sec_fflush_fd tweaks

- Use an early return as it makes the code more readable.
- Added a FIXME about a conversion.

security.c: sec_send tweaks

- Renamed it to do_sec_send as it is the function doing the actual
  transfer.
- Do not return any values as no one was checking it and it never
  reported a failure (added a FIXME about checking for errors).
- Renamed the variables to make their use more specific.
- Removed some casts (int -> curl_socket_t, ...)
- Avoid doing the htnl <-> nthl twice by caching the 2 results.

security.c: Curl_sec_read_msg tweaks

- Renamed the variables name to better match their intend.
- Unified the |decoded_len| checks.
- Added some FIXMEs to flag some improvement that did not go in this
  change.

security.c: Curl_sec_set_protection_level tweaking

- Removed sec_prot_internal as it is now inlined in the function (this removed
  a redundant check).
- Changed the prototype to return an error code.
- Updated the method to use the new ftp_send_command function.
- Added a level_to_char helper method to avoid relying on the compiler's
  bound checks. This default to the maximum security we have in case of a
  wrong input.

security.c: factored the logic from Curl_sec_login into a dedicated method that better reflect its intent.

Introduced a helper method ftp_send_command that synchronously send
an FTP query.

security.c: Remove out_buffer as it was never written into.

security.c: buffer_read various fixes.

Tighten the type of the |data| parameter to avoid a cast. Also made
it const as we should not modify it.

Added a DEBUGASSERT on the size to be written while changing it.

security.c: Made block_write return a CURLcode.

While doing so, renamed it to socket_write to better match its
function.

security.c: Made block_read and sec_get_data return CURLcode.

To do so, made block_read call Curl_read_plain instead of read.

While changing them renamed block_read to socket_read and sec_get_data
to read_data to better match their function.

Also fixed a potential memory leak in block_read.

Security.c: Fix headers guard to match the rest of the code.

configure: Fix the LDAPS disable message

... for example when LDAP is not compiled.

Fixed the logic to match the rest of the options' message that is we
update the default message only if the option is not disabled after the
different checks.

Reported by: Guenter Knauf

RELEASE-NOTES: sync with 8665d4e5 and c-ares >= 1.6.0 note

parse_remote_port: ignore colons without port number

Obviously, browsers ignore a colon without a following port number. Both
Firefox and Chrome just removes the colon for such URLs. This change
does not remove the colon for URLs sent over a HTTP proxy, so we should
consider doing that change as well.

Reported by: github user 'kreshano'

RELEASE-NOTES: in sync with 19f45eaa799

duphandle: use ares_dup()

curl_easy_duphandle() was not properly duping the ares channel. The
ares_dup() function was introduced in c-ares 1.6.0 so by starting to use
this function we also raise the bar and require c-ares >= 1.6.0
(released Dec 9, 2008) for such builds.

Reported by: Ning Dong
Bug: http://curl.haxx.se/mail/lib-2010-08/0318.html

MacOSX-Framework: updates for Snowleopard

1) PPC64 appears to be an 10.5 only supported architecture, so I
forced 10.5 for 64bit if there is a need for PPC64, else 64bit only
does x86_64

2) proper "make clean" after every ./configure. fixes a bug where
subsequent runs the 32bit do not get compiled

3) Added a version numbering curl-$VERSION} rather than the "stock standard" A

RELEASE-NOTES: synced with 5fcc4332d62fe

Removed the duplicate entry of Kamil in the credits.

configure: don't enable RTMP if the lib detect fails

librtmp is often statically linked and using sub dependencies like
OpenSSL, so we need to make sure we can actually link with it properly
before enabling it. Otherwise we easily end up trying to link with a
RTMP lib that fails.

TODO: added 8.4 non-gcrypt under GnuTLS

We must not assume gcrypt just because of GnuTLS

configure: check for gcrypt if using GnuTLS

1 - libcurl assumes that there are gcrypt functions available when
GnuTLS is.

2 - GnuTLS can be built to use libnettle instead as crypto library,
which breaks assumption (1)

This change makes configure make sure that if GnuTLS is requested and
detected, it also makes sure that gcrypt is present or it errors
out. This is mostly a way to make the user more aware of this flaw, the
correct fix would be to detect which crypto layer that is in use and
adapt our code to use that instead of blindly assuming gcrypt.

Reported by: Michal Gorny
Bug: http://curl.haxx.se/bug/view.cgi?id=3071038

RELEASE-NOTES: sync from d2a7fd2fe65b to HEAD