smb: add support for CURLOPT_FILETIME

Bug: https://curl.haxx.se/mail/lib-2017-07/0005.html

Closes #1643

travis: install nghttp2 on linux builds

Closes #1642

smb: fix build for djgpp/MSDOS

bug: https://curl.haxx.se/mail/lib-2017-07/0005.html

configure: try ldap/lber in reversed order first

When scanning for which LDAP libraries to use, try the -lldap -llber
combination before the reversed order since it has a greater chance of
working when linking with libcurl statically.

Fixes #1619
Closes #1634
Reported-by: David E. Narváez

configure: remove checks for 5 functions never used

fork, getprotobyname, inet_addr, perror, uname

closes #1638

dist: add SMB python deps into the tarball

test1451: add SMB support to the testbed

Add test 1451 which does some very basic SMB testing using the impacket
SMB server.

Closes #1630

test: add impacket for SMB testing

Import impacket 0.9.15 for use in SMB testing. This was generated by
doing "pip2.7 install -t . impacket"

Unnecessary files for current testing were deleted.

travis.yml: use --enable-werror on debug builds

... to better detect and fault on compiler warnings/errors

Closes #1637

tool_sleep: typecast to avoid macos compiler warning

tool_sleep.c:54:24: error: implicit conversion loses integer precision:
'long' to '__darwin_suseconds_t' (aka 'int')
[-Werror,-Wshorten-64-to-32]

timeval.c: Use long long constant type for timeval assignment

On a 64 bit host, sparse says:

timeval.c:148:15: warning: constant 0x7fffffffffffffff is so big it is long
timeval.c:149:12: warning: constant 0x7fffffffffffffff is so big it is long

so let's use long long constant types in order to prevent undesired overflow
failures.

Bug: https://curl.haxx.se/mail/lib-2017-07/0003.html

Closes #1636

Signed-off-by: Martin Kepplinger <martink@posteo.de>

url: make the original string get used on subsequent transfers

... since CURLOPT_URL should follow the same rules as other options:
they remain set until changed or cleared.

Added test 1551 to verify.

Fixes #1631
Closes #1632
Reported-by: Pavel Rochnyak

gtls: fix build when sizeof(long) < sizeof(void *)

- Change gnutls pointer/int macros to pointer/curl_socket_t.
  Prior to this change they used long type as well.

The size of the `long` data type can be shorter than that of pointer
types. This is the case most notably on Windows.

If C99 were acceptable, we could simply use `intptr_t` here. But we
want to retain C89 compatibility.

Simply use the trick of performing pointer arithmetic with the NULL
pointer: to convert an integer `i` to a pointer, simply take the
address of the `i`th element of a hypothetical character array
starting at address NULL. To convert back, simply cast the pointer
difference.

Thanks to Jay Satiro for the initial modification to use curl_socket_t
instead of int/long.

Closes #1617

Signed-off-by: Johannes Schindelin <johannes.schindelin@gmx.de>

unit1399: fix integer overflow

Bug: #1616
Closes #1633

cmake: Added compatibility options for older Windows versions

CURL_STATIC_CRT and ENABLE_INET_PTON

Closes #1621

unit1399: add logging to time comparison

... to enable tracking down why autobuilds fail on this

Bug: #1616

make: build the docs subdir only from within src

... and don't build at all in include

Prompted-by-work-by: Simon Warta
Ref: #1590
Closes #1591

test1450: fix up DICT server in torture mode

As per https://github.com/curl/curl/pull/1615, the DICT server is a
little spammy in torture mode due to the sockets being torn down
unexpectedly. Fix this by adding some error handling to the handling
function.

Closes #1629

test1450: add simple testing for DICT

Add a new server which provides a DICT interface. This is intended to
begin coverage testing for lib/dict.c

Closes #1615

test1521: fix out-of-tree builds, broken with 467da3af

The test.h file is no longer in the same directory as the source file,
so that directory needs to be added to the include path.

Fixes #1627
Closes #1628

http2: handle PING frames

Add a connection check function to HTTP2 based off RTSP. This causes
PINGs to be handled the next time the connection is reused.

Closes #1521

handler: refactor connection checking

Add a new type of callback to Curl_handler which performs checks on
the connection. Alter RTSP so that it uses this callback to do its
own check on connection health.

openssl: improve fallback seed of PRNG with a time based hash

Fixes #1620

progress: prevent resetting t_starttransfer

Prevent `Curl_pgrsTime` from modifying `t_starttransfer` when invoked
with `TIMER_STARTTRANSFER` more than once during a single request.

When a redirect occurs, this is considered a new request and
`t_starttransfer` can be updated to reflect the `t_starttransfer` time
of the redirect request.

Closes #1616

Bug: https://github.com/curl/curl/pull/1602#issuecomment-310267370

curl_strequal.3: fix typo in SYNOPSIS

Reported-by: Jesse Chisholm
Fixes #1623

RELEASE-NOTES: synced with ce2c3ebda

curl --socks5-{basic,gssapi}: control socks5 auth

Closes https://github.com/curl/curl/pull/1454

CURLOPT_SOCKS5_AUTH: allowed methods for SOCKS5 proxy auth

If libcurl was built with GSS-API support, it unconditionally advertised
GSS-API authentication while connecting to a SOCKS5 proxy.  This caused
problems in environments with improperly configured Kerberos: a stock
libcurl failed to connect, despite libcurl built without GSS-API
connected fine using username and password.

This commit introduces the CURLOPT_SOCKS5_AUTH option to control the
allowed methods for SOCKS5 authentication at run time.

Note that a new option was preferred over reusing CURLOPT_PROXYAUTH
for compatibility reasons because the set of authentication methods
allowed by default was different for HTTP and SOCKS5 proxies.

Bug: https://curl.haxx.se/mail/lib-2017-01/0005.html
Closes https://github.com/curl/curl/pull/1454

socks: deduplicate the code for auth request

socks: use proxy_user instead of proxy_name

... to make it obvious what the data is used for

libtest/make: generate lib1521.c

... instead of having the generated code checked in. This saves space in
the tarball but primarily automatically adapts to newly added options.

Closes #1614

tool_getparam: fix memory leak on test 1147 OOM (torture tests)

Bug: https://github.com/curl/curl/pull/1486#issuecomment-310926872
Reported-by: Dan Fandrich

test1537: fixed memory leak on OOM

test1521: fix compiler warnings

The integer literal 3123123123 doesn't fit into a 32-bit signed
integer, so GCC with 32-bit long warns in C90 mode:
this decimal constant is unsigned only in ISO C90 [enabled by default]
Fix this by using ULONG_MAX, which should fit in any curl_off_t and has
the correct suffix to not issue any warnings.
Also adds the missing CURLOPT_REQUEST_TARGET from commit
9b167fd090f596eac828817d48c247eeae53407f.

Closes https://github.com/curl/curl/pull/1611

curl/system.h: add check for XTENSA for 32bit gcc

Reported-by: Neil Kolban
Fixes: 1598

winbuild: fix boringssl build

Compile with `WIN32_LEAN_AND_MEAN` which prevents `windows.h` from
including too much clutter including `wincrypt.h` which in turn contains
some preprocessor macros that clash with boringssl symbols.

Detect boringssl by checking the existance of `is_boringssl.h` and set
the corresponding `HAVE_BORINGSSL` for compilation which is used in
`ldap.c` to undefine the evil macros.

Closes #1610

progress: progress.timespent needs to be us

follow-up to 64ed44a815e4e to fix test 500 failures

curl-compilers.m4: fix unknown-warning-option on Apple clang

Since 5598b0bd63f690c151074494ce47ef872f004ab4, clang -v is used to
detect the clang version. The version number was expected to come after
the word "version". For Apple clang, this doesn't work as it has its
own versioning scheme.
The version number is now first searched after the string
"based on LLVM". This works for Apple clang before version 7, and also
for e.g. Ubuntu's clang up to version 3.7. If it's not found and the
version string contains "Apple LLVM version", clang version 3.7 is
assumed, which is the version that comes with Xcode 7. Otherwise, the
version number is still expected after the word "version", which works
for very old Apple clang versions.

Ref: https://trac.macports.org/wiki/XcodeVersionInfo
Fixes https://github.com/curl/curl/issues/1606
Closes https://github.com/curl/curl/pull/1607

progress: fix "time spent", broke in adef394ac

CURLINFO_REDIRECT_URL.3: mention the CURLOPT_MAXREDIRS case

... supported since 7.54.1

maketgz: switch to -6e for xz

To reduce the memory requirement for decompress, and still do almost as
good compression as with -9e.

Pointed-out-by: Dan Fandrich

libtest/Makefile: remove unused lib1541 variables

CONTRIBUTE.md: mention the out-of-tree build test too

maketgz: switch to xz instead of lzma

The compressed output size seems to be a tad bit smaller, but generally
xz seems more preferred these days and is used directly by for example
gentoo instead of bz2.

"Users of LZMA Utils should move to XZ Utils" =>
https://tukaani.org/lzma/

Closes #1604

--request-target: instead of --strip-path-slash

... and CURLOPT_REQUEST_TARGET instead of CURLOPT_STRIP_PATH_SLASH.

This option instead provides the full "alternative" target to use in the
request, instead of extracting the path from the URL.

Test 1298 and 1299 updated accordingly.

Idea-by: Evert Pot
Suggestion: https://daniel.haxx.se/blog/2017/06/19/options-with-curl/comment-page-1/#comment-18373

Closes #1593

lib1521: fix missing-variable-declarations clang warnings

Declare TU-local variables static.

travis: enable typecheck-gcc warnings

- switch debug and release configurations so that we get an optimized
  build with GCC 4.3+ as required by typecheck-gcc
- enable warnings-as-errors for release builds
  (which have warnings disabled)

Closes https://github.com/curl/curl/pull/1595

typecheck-gcc: add support for CURLINFO_OFF_T

typecheck-gcc expected curl_socket_t instead of curl_off_t arguments
for CURLINFO_OFF_T. Detected by test1521, unfortunately only when run
locally.

Closes https://github.com/curl/curl/pull/1592

ci: whitelist branches to avoid testing feature branches twice

lib: fix the djgpp build

Bug: https://github.com/curl/curl/commit/73a2fcea0b4adea6ba342cd7ed1149782c214ae3#commitcomment-22655993

if2ip: fix compiler warning in ISO C90 mode

remote_scope_id is only used when both HAVE_SOCKADDR_IN6_SIN6_SCOPE_ID
and ENABLE_IPV6 are defined instead of only one of them.

travis: do the distcheck test build out-of-tree as well

http: add --strip-path-slash and CURLOPT_STRIP_PATH_SLASH

... to enable sending "OPTIONS *" which wasn't possible previously.

This option currently only works for HTTP.

Added test cases 1298 + 1299 to verify

Fixes #1280
Closes #1462

test1521: test getinfo's OFF_T types too

Closes #1588

lib1521: add curl_easy_getinfo calls to the test set

Also added return value checks to make sure no unexpected return codes
are used.

automake: use $(MKHELP) variable instead if constant mkhelp.pl

this improves symmetry with the rule above

mkhelp.pl: fix script name in usage text

RELEASE-NOTES: synced with 3b80d3ca4

getinfo: return sizes as curl_off_t

This change introduces new alternatives for the existing six
curl_easy_getinfo() options that return sizes or speeds as doubles. The
new versions are named like the old ones but with an appended '_T':

CURLINFO_CONTENT_LENGTH_DOWNLOAD_T
CURLINFO_CONTENT_LENGTH_UPLOAD_T
CURLINFO_SIZE_DOWNLOAD_T
CURLINFO_SIZE_UPLOAD_T
CURLINFO_SPEED_DOWNLOAD_T
CURLINFO_SPEED_UPLOAD_T

Closes #1511

PIPELINING_SERVER_BL: cleanup the internal list use

The list was freed incorrectly since the llist refactor of
cbae73e1dd959. Added test 1550 to verify that it works and avoid future
regressions.

Reported-by: Pascal Terjan
Fixes #1584
Closes #1585

http2: fix OOM crash

torture mode with test 1021 found it

CURLOPT_PREQUOTE.3: spellfix man page reference

http_proxy: fix build with http and proxy

After deff7de0eb0e22d2d142b96b9cc84cd8db5d2a48, the build without
CURL_DISABLE_PROXY and CURL_DISABLE_HTTP was failing because of missing
includes.

http_proxy: fix compiler warning

With CURL_DISABLE_PROXY or CURL_DISABLE_HTTP, GCC complained about a
missing prototype for Curl_connect_free.

TODO: update the TOC too

TODO: implement support for CURLOPT_PREQUOTE with SFTP

... also updated the CURLOPT_PREQUOTE.3 man page to mention the correct
protocol support.

Closes #1514

tool_wrte_cb: remove check for config == NULL

... as it really cannot have reached this far with config being NULL,
thus this is unnecesary and misleading.

Bug: https://news.ycombinator.com/item?id=14577585 and
https://daniel.haxx.se/blog/2017/06/17/curl-doesnt-spew-binary-anymore/comment-page-1/#comment-18356

Forwarded-to-us-by: Jakub Wilk

curl: prevent binary output spewed to terminal

... unless "--output -" is used. Binary detection is done by simply
checking for a binary zero in early data.

Added test 1425 1426 to verify.

Closes #1512

Makefile.m32: enable -W for MinGW32 build

The configure-based build also has this in addition to -Wall.

Closes https://github.com/curl/curl/pull/1578

curl-compilers.m4: enable comma clang warning

It usually warns when using commas instead of semicolons or other
operators by accident.

Closes https://github.com/curl/curl/pull/1578

curl-compilers.m4: enable missing-variable-declarations clang warning

It usually warns when forgetting to declare TU-local variables static.

Closes https://github.com/curl/curl/pull/1578

curl-compilers.m4: enable double-promotion warning

Enable -Wdouble-promotion for both GCC and clang. It warns on implicit
promotion from float to double.

Closes https://github.com/curl/curl/pull/1578

curl-compilers.m4: enable vla warning for clang

Previously, that warning was only implicitly active in C90 mode.
Enable it unconditionally as already done for GCC.

Closes https://github.com/curl/curl/pull/1578

http-proxy: fix chunked-encoded CONNECT responses

Regression since 5113ad0424.

... and remove 'flaky' from test 1061 again

Closes #1579

http-proxy: deal with EAGAIN

... the previous code would reset the header length wrongly (since
5113ad0424). This makes test 1060 reliable again.

Also: make sws send even smaller chunks of data to increase the
likeliness of this happening.

libtest/libntlmconnect: fix compiler warnings from f94fcdb

HTTPS-Proxy: don't offer h2 for https proxy connections

Bug: https://github.com/curl/curl/issues/1254

Closes #1546

tests: stabilize test 2032 and 2033

Both these tests run the same underlying test code: libntlmconnect.c -
this test code made some assumptions about socket ordering when it used
curl_easy_fdset() and when we changed timing or got accidental changes
in libcurl the tests would fail.

The tests verify that the different transfers keep using the same
connections, which I now instead made sure by adding the number of bytes
each transfer gets and then verifies that they always get the same
amount as when these tests worked.

Closes #1576

test1148: verify the -# progressbar

Closes #1569

test1061: mark as flaky

Fails intermittently on travis builds since a few days. Likely due to
5113ad0424.

url: refactor the check for Windows drive letter in path

- Move the logic to detect a Windows drive letter prefix
  (eg c: in c:foo) into a function-like macro.

Closes https://github.com/curl/curl/pull/1571

mk-ca-bundle.pl: Check curl's exit code after certdata download

- No longer allow partial downloads of certdata.

Prior to this change partial downloads were (erroneously?) allowed since
only the server code was checked to be 200.

Bug: https://github.com/curl/curl/pull/1577
Reported-by: Matteo B.

dist: add the fuzz dir to the tarball

configure: disable nghttp2 too if HTTP has been disabled

http-proxy: fix build with --disable-proxy or --disable-http

Reported-by: Dan Fandrich

fuzz/README: document how to build

Fixes #1476

fuzz: corpora file structure, initial commit

fuzz: bring oss-fuzz initial code converted to C89

http-proxy: only attempt FTP over HTTP proxy

... all other non-HTTP protocol schemes are now defaulting to "tunnel
trough" mode if a HTTP proxy is specified. In reality there are no HTTP
proxies out there that allow those other schemes.

Assisted-by: Ray Satiro, Michael Kaufmann
Closes #1505

TODO: the generated include file is gone

... since commit 73a2fcea0b

curl_setup.h: error out on CURL_WANTS_CA_BUNDLE_ENV use

... to make it really apparent if there's any user using this on purpose.

Suggested-by: Jay Satiro
Closes #1542

lib/curl_setup.h: remove CURL_WANTS_CA_BUNDLE_ENV

When this define was set, libcurl would check the environment variable
named CURL_CA_BUNDLE at run-time and use that CA cert bundle. This
feature was only defined by the watcom and m32 makefiles and caused
inconsistent behaviours among libcurls built on different platforms.

The curl tool does already feature its own similar logic and the library
does not really need it, and it isn't documented libcurl behavior. So
this change removes it.

Ref: #1538

test1147: verify -H on a file

curl: allow --header and --proxy-header read from file

So many headers can be provided as @filename.

Suggested-by: Timothe Litt
Closes #1486

RELEASE-NOTES: synced with 2ad80eec5

curl/curlver.h: start working on 7.55.0

http-proxy: do the HTTP CONNECT process entirely non-blocking

Mentioned as a problem since 2007 (8f87c15bdac63) and of course it
existed even before that.

Closes #1547

progress: let "current speed" be UL + DL speeds combined

Bug #1556
Reported-by: Paul Harris
Closes #1559

system.h: fix MinGW build

CURLSYS_PULL_WS2TCPIP_H got renamed to CURL_PULL_WS2TCPIP_H in commit
73a2fcea0b4adea6ba342cd7ed1149782c214ae3.

timers: store internal time stamps as time_t instead of doubles

This gives us accurate precision and it allows us to avoid storing "no
time" for systems with too low timer resolution as we then bump the time
up to 1 microsecond. Should fix test 573 on windows.

Remove the now unused curlx_tvdiff_secs() function.

Maintains the external getinfo() API with using doubles.

Fixes #1531