curl_setup: Add macros for FOPEN_READTEXT, FOPEN_WRITETEXT

- Change fopen calls to use FOPEN_READTEXT instead of "r" or "rt"
- Change fopen calls to use FOPEN_WRITETEXT instead of "w" or "wt"

This change is to explicitly specify when we need to read/write text.
Unfortunately 't' is not part of POSIX fopen so we can't specify it
directly. Instead we now have FOPEN_READTEXT, FOPEN_WRITETEXT.

Prior to this change we had an issue on Windows if an application that
uses libcurl overrides the default file mode to binary. The default file
mode in Windows is normally text mode (translation mode) and that's what
libcurl expects.

Bug: https://github.com/bagder/curl/pull/258#issuecomment-107093055
Reported-by: Orgad Shaneh

http2-upload.c: use PIPEWAIT for playing HTTP/2 better

http2-download: check for CURLPIPE_MULTIPLEX properly

Bug: http://curl.haxx.se/mail/lib-2015-06/0001.html
Reported-by: Rafayel Mkrtchyan

HTTP-NTLM: fail auth on connection close instead of looping

Bug: https://github.com/bagder/curl/issues/256

5.6 Refuse "downgrade" redirects

README.pingpong: removed

ROADMAP: remove HTTP/2 multiplexing - its here now

HTTP2.md: formatted properly

HTTP2: moved docs into docs/ and make it markdown

README.http2: refreshed and added multiplexing info

dist: add the http2 examples

http2 examples: clean up some comments

examples: added two programs doing multiplexed HTTP/2

scripts: moved contributors.sh and contrithanks.sh into subdir

RELEASE-NOTES: synced with c005790ff1c0a

openssl: typo in comment

openssl: Use TLS_client_method for OpenSSL 1.1.0+

SSLv23_client_method is deprecated starting in OpenSSL 1.1.0. The
equivalent is TLS_client_method.

https://github.com/openssl/openssl/commit/13c9bb3#diff-708d3ae0f2c2973b272b811315381557

FAQ: How do I port libcurl to my OS?

CURLOPT_COOKIELIST.3: Explain Set-Cookie without a domain

Document that if Set-Cookie is used without a domain then the cookie is
sent for any domain and will not be modified.

Bug: http://curl.haxx.se/mail/lib-2015-05/0137.html
Reported-by: Alexander Dyagilev

http2: Copy data passed in Curl_http2_switched into HTTP/2 connection buffer

Previously, after seeing upgrade to HTTP/2, we feed data followed by
upgrade response headers directly to nghttp2_session_mem_recv() in
Curl_http2_switched().  But it turns out that passed buffer, mem, is
part of stream->mem, and callbacks called by
nghttp2_session_mem_recv() will write stream specific data into
stream->mem, overwriting input data.  This will corrupt input, and
most likely frame length error is detected by nghttp2 library.  The
fix is first copy the passed data to HTTP/2 connection buffer,
httpc->inbuf, and call nghttp2_session_mem_recv().

CURLOPT_COOKIE.3: Explain that the cookies won't be modified

The CURLOPT_COOKIE doc says it "sets the cookie header explicitly in the
outgoing request(s)." However there seems to be some user confusion
about cookie modification. Document that the cookies set by this option
are not modified by the cookie engine.

Bug: http://curl.haxx.se/mail/lib-2015-05/0115.html
Reported-by: Alexander Dyagilev

CURLOPT_COOKIELIST.3: Add example

testcurl.pl: use rel2abs to make the source directory absolute

This function makes a platform-specific absolute path which uses
backslashes on Windows. This form works when passing it on the
command-line, as well as if the source is on another drive.

conncache: fixed memory leak on OOM (torture tests)

perl: remove subdir, not touched in 9 years

log2changes.pl: moved to scripts/

scripts: add zsh.pl for generating zsh completion

test1510: another flaky test

security: fix "Unchecked return value" from sscanf()

By (void) prefixing it and adding a comment. Did some minor related
cleanups.

Coverity CID 1299423.

security: simplify choose_mech

Coverity CID 1299424 identified dead code because of checks that could
never equal true (if the mechanism's name was NULL).

Simplified the function by removing a level of pointers and removing the
loop and array that weren't used.

RTSP: catch attempted unsupported requests better

Replace use of assert with code that properly catches bad input at
run-time even in non-debug builds.

This flaw was sort of detected by Coverity CID 1299425 which claimed the
"case RTSPREQ_NONE" was dead code.

share_init: fix OOM crash

A failed calloc() would lead to NULL pointer use.

Coverity CID 1299427.

parse_proxy: switch off tunneling if non-HTTP proxy

non-HTTP proxy implies not using CURLOPT_HTTPPROXYTUNNEL

Bug: http://curl.haxx.se/mail/lib-2015-05/0056.html
Reported-by: Sean Boudreau

curl: fix potential NULL dereference

Coverity CID 1299428: Dereference after null check (FORWARD_NULL)

http2: on_frame_recv: return early on stream 0

Coverity CID 1299426 warned about possible NULL dereference otherwise,
but that would only ever happen if we get invalid HTTP/2 data with
frames for stream 0. Avoid this risk by returning early when stream 0 is
used.

http: removed self assignment

Follow-up fix from b0143a2a33f0

Detected by coverity. CID 1299429

http2: Make HTTP Upgrade work

This commit just add implicitly opened stream 1 to streams hash.

strerror: Change SEC_E_ILLEGAL_MESSAGE description

Prior to this change the description for SEC_E_ILLEGAL_MESSAGE was OS
and language specific, and invariably translated to something not very
helpful like: "The message received was unexpected or badly formatted."

Bug: https://github.com/bagder/curl/issues/267
Reported-by: Michael Osipov

telnet: Fix read-callback change for Windows builds

Refer to b0143a2 for more information on the read-callback change.

CURLOPT_HTTPPROXYTUNNEL.3: only works with a HTTP proxy!

testcurl.pl: allow source to be in an arbitrary directory

This way, the build directory can be located on an entirely different
filesystem from the source code (e.g. a tmpfs).

read_callback: move to SessionHandle from connectdata

With many easy handles using the same connection for multiplexing, it is
important we store and keep the transfer-oriented stuff in the
SessionHandle so that callbacks and callback data work fine even when
many easy handles share the same physical connection.

http2: show stream IDs in decimal

It makes them easier to match output from the nghttpd test server.

http2: Faster http2 upload

Previously, when we send all given buffer in data_source_callback, we
return NGHTTP2_ERR_DEFERRED, and nghttp2 library removes this stream
temporarily for writing.  This itself is good.  If this is the sole
stream in the session, nghttp2_session_want_write() returns zero,
which means that libcurl does not check writeability of the underlying
socket.  This leads to very slow upload, because it seems curl only
upload 16k something per 1 second.  To fix this, if we still have data
to send, call nghttp2_session_resume_data after nghttp2_session_send.
This makes nghttp2_session_want_write() returns nonzero (if connection
window still opens), and as a result, socket writeability is checked,
and upload speed becomes normal.

gtls: don't fail on non-fatal alerts during handshake

Stop curl from failing when non-fatal alert is received during
handshake.  This e.g. fixes lots of problems when working with https
sites through proxies.

curl_easy_unescape.3: update RFC reference

Reported-by: bsammon
Bug: https://github.com/bagder/curl/issues/282

CURLOPT_POSTFIELDS.3: Mention curl_easy_escape

.. also correct some variable naming in curl_easy_escape.3

Bug: https://github.com/bagder/curl/issues/281
Reported-by: bsammon@users.noreply.github.com

openssl: Use SSL_CTX_set_msg_callback and SSL_CTX_set_msg_callback_arg

BoringSSL removed support for direct callers of SSL_CTX_callback_ctrl
and SSL_CTX_ctrl, so move to a way that should work on BoringSSL and
OpenSSL.

re #275

curl.1: fix missing space in section --data

transfer: remove erroneous and misleading comment

http: silence compile-time warnings without USE_NGHTTP2

Error: CLANG_WARNING:
lib/http.c:173:16: warning: Value stored to 'http' during its initialization is never read

Error: COMPILER_WARNING:
lib/http.c: scope_hint: In function ‘http_disconnect’
lib/http.c:173:16: warning: unused variable ‘http’ [-Wunused-variable]

transfer: Replace __func__ instances with function name

.. also make __func__ replacement in multi.

Prior to this change debug builds would fail to build if the compiler
was building pre-c99 and didn't support __func__.

build: bump version in default nghttp2 paths

INTERNALS: we require nghttp2 1.0.0+ now

http: Add some include guards for the new HTTP/2 stuff

http2: store upload state per stream

Use a curl_off_t for upload left

http2: fix build when NOT h2-enabled

http2: switch to use Curl_hash_destroy()

as after 4883f7019d3, the *_clean() function only flushes the hash.

curlver: restore LIBCURL_VERSION_NUM defined as a full number

As it breaks configure, curl-config and test 1023 if not.

hostip: fix unintended destruction of hash table

.. and added unit1602 for hash.c

curlver: introducing new version number (checking) macros

runtests.pl: use 'h2c' now, no -14 anymore

http2: Ignore if we have stream ID not in hash in on_stream_close

We could get stream ID not in the hash in on_stream_close.  For
example, if we decided to reject stream (e.g., PUSH_PROMISE), then we
don't create stream and store it in hash with its stream ID.

Require nghttp2 v1.0.0

This commit requires nghttp2 v1.0.0 to compile, and migrate to v1.0.0,
and utilize recent version of nghttp2 to simplify the code,

First we use nghttp2_option_set_no_recv_client_magic function to
detect nghttp2 v1.0.0.  That function only exists since v1.0.0.

Since nghttp2 v0.7.5, nghttp2 ensures header field ordering, and
validates received header field.  If it found error, RST_STREAM with
PROTOCOL_ERROR is issued.  Since we require v1.0.0, we can utilize
this feature to simplify libcurl code.  This commit does this.

Migration from 0.7 series are done based on nghttp2 migration
document.  For libcurl, we removed the code sending first 24 bytes
client magic.  It is now done by nghttp2 library.
on_invalid_frame_recv callback signature changed, and is updated
accordingly.

http2: infof length in on_frame_send()

pipeline: switch some code over to functions

... to "compartmentalize" a bit and make it easier to change behavior
when multiplexing is used instead of good old pipelining.

symbols-in-versions: add CURLOPT_PIPEWAIT

CURLOPT_PIPEWAIT: added

By setting this option to 1 libcurl will wait for a connection to reveal
if it is possible to pipeline/multiplex on before it continues.

Curl_http_readwrite_headers: minor code simplification

IsPipeliningPossible: fixed for http2

http2: bump the h2 buffer size to 32K for speed

http2: remove the stream from the hash in stream_close callback

... and suddenly things work much better!

http2: if there is paused data, do not clear the drain field

http2: rename s/data/pausedata

http2: "stream %x" in all outputs to make it easier to search for

http2: Curl_expire() all handles with incoming traffic

... so that they'll get handled next in the multi loop.

http2: don't signal settings change for same values

http2: set default concurrency, fix ConnectionExists for multiplex

bundles: store no/default/pipeline/multiplex

to allow code to act differently on the situation.

Also added some more info message for the connection re-use function to
make it clearer when connections are not re-used.

http2: lazy init header_recvbuf

It makes us use less memory when not doing HTTP/2 and subsequently also
makes us not have to cleanup HTTP/2 related data when not using HTTP/2!

http2: separate multiplex/pipelining + cleanup memory leaks

CURLMOPT_PIPELINE: bit 1 is for multiplexing

http2: Fix bug that data to be drained are overwritten by pending "paused" data

http2: Don't call nghttp2_session_mem_recv while it is paused by a stream

http2: Read data left in connection buffer after pause

Previously when we do pause because of out of buffer, we just throw
away unread data in connection buffer.  This just broke protocol
framing, and I saw occasional FRAME_SIZE_ERROR.  This commit fix this
issue by remembering how much data read, and in the next iteration, we
process remaining data.

http2: Fix streams get stuck

This commit fixes the bug that streams get stuck if stream gets some
DATA, and stream->closed becomes true at the same time.  Previously,
in this condition, after we processed DATA, we are going to try to
read data from underlying transport, but there is no data, and gets
EAGAIN.  There was no code path to evaludate stream->closed.

http2: store incoming h2 SETTINGS

pipeline: move function to pipeline.c and make static

... as it was only used from there.

IsPipeliningPossible: http2 can always "pipeline" (multiplex)

http2: remove debug logging from on_frame_recv

http2: remove the closed check in http2_recv

With the "drained" functionality we can get here slightly asynchronously
so the stream have have been closed but there is pending data left to
read.

http2: bump the h2 buffer to 8K

http2: Curl_read should not use the single buffer

... as it does for pipelining when we're multiplexing, as we need the
different buffers to store incoming data correctly for all streams.

http2: more debug outputs

http2: leave WAITPERFORM when conn is multiplexed

No need to wait for our "spot" like for pipelining

http2: force "drainage" of streams

... which is necessary since the socket won't be readable but there is
data waiting in the buffer.

http2: move the mem+len pair to the stream struct

http2: more stream-oriented data, stream ID 0 is for connections

http2: move lots of state data to the 'stream' struct

... from the connection struct. The stream one being the 'struct HTTP'
which is kept in the SessionHandle struct (easy handle).

lookup streams for incoming frames in the stream hash, hashing is based
on the stream id and we get the SessionHandle for the incoming stream
that way.

HTTP: partial start at fixing up hash-lookups on http2 frame receival