http2: read pending frames (including GOAWAY) in connection-check

If a connection has received a GOAWAY frame while not being used, the
function now reads frames off the connection before trying to reuse it
to avoid reusing connections the server has told us not to use.

Reported-by: Alex Baines
Fixes #1967
Closes #2402

CI: add lgtm.yml for tweaking lgtm.com analysis

Closes #2414

CURLINFO_SSL_VERIFYRESULT.3: fix the example, add some text

Reported-by: Michal Trybus
Fixes #2400

TODO: expand ~/ in config files

Closes #2317

cookie.d: mention that "-" as filename means stdin

Reported-by: Dongliang Mu
Fixes #2410

CURLINFO_COOKIELIST.3: made the example not leak memory

Reported-by: Muz Dima

vauth/cleartext: fix integer overflow check

Make the integer overflow check not rely on the undefined behavior that
a size_t wraps around on overflow.

Detected by lgtm.com
Closes #2408

lib/curl_path.h: add #ifdef header guard

Detected by lgtm.com

vauth/ntlm.h: fix the #ifdef header guard

Detected by lgtm.com

examples/hiperfifo: checksrc compliance

parsedate: support UT timezone

RFC822 section 5.2 mentions Universal Time, 'UT', to be synonymous with
GMT.

Closes #2401

RELEASE-NOTES: synced

cmake: add support for brotli

Currently CMake cannot detect Brotli support. This adds detection of the
libraries and associated header files. It also adds this to the
generated config.

Closes #2392

darwinssl: fix iOS build

ILE/RPG binding: Add CURLOPT_HAPROXYPROTOCOL/Fix CURLOPT_DNS_SHUFFLE_ADDRESSES

resolve: add CURLOPT_DNS_SHUFFLE_ADDRESSES

This patch adds CURLOPT_DNS_SHUFFLE_ADDRESSES to explicitly request
shuffling of IP addresses returned for a hostname when there is more
than one. This is useful when the application knows that a round robin
approach is appropriate and is willing to accept the consequences of
potentially discarding some preference order returned by the system's
implementation.

Closes #1694

add_handle/easy_perform: clear errorbuffer on start if set

To offer applications a more defined behavior, we clear the buffer as
early as possible.

Assisted-by: Jay Satiro
Fixes #2190
Closes #2377

CURLOPT_HAPROXYPROTOCOL: support the HAProxy PROXY protocol

Add --haproxy-protocol for the command line tool

Closes #2162

curl_version_info.3: fix ssl_version description

Reported-by: Vincas Razma
Fixes #2364

multi: improved pending transfers handling => improved performance

When a transfer is requested to get done and it is put in the pending
queue when limited by number of connections, total or per-host, libcurl
would previously very aggressively retry *ALL* pending transfers to get
them transferring. That was very time consuming.

By reducing the aggressiveness in how pending are being retried, we
waste MUCH less time on putting transfers back into pending again.

Some test cases got a factor 30(!) speed improvement with this change.

Reported-by: Cyril B
Fixes #2369
Closes #2383

pause: when changing pause state, update socket state

Especially unpausing a transfer might have to move the socket back to the
"currently used sockets" hash to get monitored. Otherwise it would never get
any more data and get stuck. Easily triggered with pausing using the
multi_socket API.

Reported-by: Philip Prindeville
Bug: https://curl.haxx.se/mail/lib-2018-03/0048.html
Fixes #2393
Closes #2391

examples/hiperfifo.c: improved

 * use member struct event’s instead of pointers to alloc’d struct
   events

 * simplify the cases for the mcode_or_die() function via macros;

 * make multi_timer_cb() actually do what the block comment says it
   should;

 * accept a “stop” command on the FIFO to shut down the service;

 * use cleaner notation for unused variables than the (void) hack;

 * allow following redirections (304’s);

rate-limit: use three second window to better handle high speeds

Due to very frequent updates of the rate limit "window", it could
attempt to rate limit within the same milliseconds and that then made
the calculations wrong, leading to it not behaving correctly on very
fast transfers.

This new logic updates the rate limit "window" to be no shorter than the
last three seconds and only updating the timestamps for this when
switching between the states TOOFAST/PERFORM.

Reported-by: 刘佩东
Fixes #2386
Closes #2388

cleanup: misc typos in strings and comments

Found via `codespell`

Closes #2389

RELEASE-NOTES: toward 7.60.0

http2: fixes typo

Closes #2387

user-agent.d:: mention --proxy-header as well

Bug: https://github.com/curl/curl/issues/2381

transfer: make HTTP without headers count correct body size

This is what "HTTP/0.9" basically looks like.

Reported on IRC

Closes #2382

test1208: marked flaky

It fails somewhere between every 3rd to 10th travis-CI run

SECURITY-PROCESS: mention how we write/add advisories

FTP: fix typo in recursive callback detection for seeking

Fixes #2380

release: 7.59.0

tests/.../spnego.py: fix identifier typo

Detected by Coverity Analysis:

Error: IDENTIFIER_TYPO:
curl-7.58.0/tests/python_dependencies/impacket/spnego.py:229: identifier_typo: Using "SuportedMech" appears to be a typo:
* Identifier "SuportedMech" is only known to be referenced here, or in copies of this code.
* Identifier "SupportedMech" is referenced elsewhere at least 4 times.
curl-7.58.0/tests/python_dependencies/impacket/smbserver.py:2651: identifier_use: Example 1: Using identifier "SupportedMech".
curl-7.58.0/tests/python_dependencies/impacket/smbserver.py:2308: identifier_use: Example 2: Using identifier "SupportedMech".
curl-7.58.0/tests/python_dependencies/impacket/spnego.py:252: identifier_use: Example 3: Using identifier "SupportedMech" (2 total uses in this function).
curl-7.58.0/tests/python_dependencies/impacket/spnego.py:229: remediation: Should identifier "SuportedMech" be replaced by "SupportedMech"?

Closes #2379

CURLOPT_COOKIEFILE.3: "-" as file name means stdin

Reported-by: Aron Bergman
Bug: https://curl.haxx.se/mail/lib-2018-03/0049.html

[ci skip]

Revert "hostip: fix compiler warning: 'variable set but not used'"

This reverts commit a577059f92fc65bd6b81717f0737f897a5b34248.

The assignment really needs to be there or we risk working with an
uninitialized pointer.

limit-rate: fix compiler warning

follow-up to 72a0f62

checksrc.pl: add -i and -m options

To sync it with changes made for the libssh2 project.
Also cleanup some whitespace.

curl-openssl.m4: fix spelling [ci skip]

FAQ: fix a broken URL [ci skip]

http2: mark the connection for close on GOAWAY

... don't consider it an error!

Assisted-by: Jay Satiro
Reported-by: Łukasz Domeradzki
Fixes #2365
Closes #2375

credits: Viktor prefers without accent

openldap: white space changes, fixed up the copyright years

openldap: check ldap_get_attribute_ber() results for NULL before using

CVE-2018-1000121
Reported-by: Dario Weisser
Bug: https://curl.haxx.se/docs/adv_2018-97a2.html

FTP: reject path components with control codes

Refuse to operate when given path components featuring byte values lower
than 32.

Previously, inserting a %00 sequence early in the directory part when
using the 'singlecwd' ftp method could make curl write a zero byte
outside of the allocated buffer.

Test case 340 verifies.

CVE-2018-1000120
Reported-by: Duy Phan Thanh
Bug: https://curl.haxx.se/docs/adv_2018-9cd6.html

readwrite: make sure excess reads don't go beyond buffer end

CVE-2018-1000122
Bug: https://curl.haxx.se/docs/adv_2018-b047.html

Detected by OSS-fuzz

BUGS: updated link to security process

limit-rate: kick in even before "limit" data has been received

... and make sure to avoid integer overflows with really large values.

Reported-by: 刘佩东
Fixes #2371
Closes #2373

docs/SECURITY.md -> docs/SECURITY-PROCESS.md

SECURITY.md: call it the security process

Curl_range: fix FTP-only and FILE-only builds

follow-up to e04417d

hostip: fix compiler warning: 'variable set but not used'

HTTP: allow "header;" to replace an internal header with a blank one

Reported-by: Michael Kaufmann
Fixes #2357
Closes #2362

http2: verbose output new MAX_CONCURRENT_STREAMS values

... as it is interesting for many users.

SECURITY: distros' max embargo time is 14 days now

curl tool: accept --compressed also if Brotli is enabled and zlib is not.

THANKS + mailmap: remove duplicates, fixup full names

WolfSSL: adding TLSv1.3

Closes #2349

RELEASE-NOTES/THANKS: synced with cc1d4c505

winbuild: prefer documented zlib library names

Check for existence of import and static libraries with documented names
and use them if they do. Fallback to previous names.

According to
https://github.com/madler/zlib/blob/master/win32/README-WIN32.txt on
Windows, the names of the import library is "zdll.lib" and static
library is "zlib.lib".

closes #2354

krb5: use nondeprecated functions

gss_seal/gss_unseal have been deprecated in favor of
gss_wrap/gss_unwrap with GSS-API v2 from January 1997 [1]. The first
version of "The Kerberos Version 5 GSS-API Mechanism" [2] from June
1996 already says "GSS_Wrap() (formerly GSS_Seal())" and
"GSS_Unwrap() (formerly GSS_Unseal())".

Use the nondeprecated functions to avoid deprecation warnings.

[1] https://tools.ietf.org/html/rfc2078
[2] https://tools.ietf.org/html/rfc1964

Closes https://github.com/curl/curl/pull/2356

curl.1: mention how to add numerical IP addresses in NO_PROXY

CURLOPT_NOPROXY.3: mention how to list numerical IPv6 addresses

NO_PROXY: fix for IPv6 numericals in the URL

Added test 1265 that verifies.

Reported-by: steelman on github
Fixes #2353
Closes #2355

build: get CFLAGS (including -werror) used for examples and tests

... so that the CI and more detects compiler warnings/errors properly!

Closes #2337

curl_ctype: fix macro redefinition warnings

On MinGW and Cygwin, GCC and clang have been complaining about macro
redefinitions since 4272a0b0fc49a1ac0ceab5c4a365c9f6ab8bf8e2. Fix this
by undefining the macros before redefining them as suggested in
https://github.com/curl/curl/pull/2269.

Suggested-by: Daniel Stenberg

unit1307: proper cleanup on OOM to fix torture tests

unit1309: fix warning on Windows x64

When targeting x64, MinGW-w64 complains about conversions between
32-bit long and 64-bit pointers. Fix this by reusing the
GNUTLS_POINTER_TO_SOCKET_CAST / GNUTLS_SOCKET_TO_POINTER_CAST logic
from gtls.c, moving it to warnless.h as CURLX_POINTER_TO_INTEGER_CAST /
CURLX_INTEGER_TO_POINTER_CAST.

Closes https://github.com/curl/curl/pull/2341

travis: update compiler versions

Update clang to version 3.9 and GCC to version 6.

Closes https://github.com/curl/curl/pull/2345

docs/MANUAL: formfind.pl is not accessible on the site anymore

Fixes #2342

curl-openssl.m4: Fix version check for OpenSSL 1.1.1

- Add OpenSSL 1.1.1 to the header/library version lists.

- Detect OpenSSL 1.1.1 library using its function ERR_clear_last_mark,
  which was added in that version.

Prior to this change an erroneous header/library mismatch was caused by
lack of OpenSSL 1.1.1 detection. I tested using openssl-1.1.1-pre1.

lib655: silence compiler warning

Closes https://github.com/curl/curl/pull/2335

spelling fixes

Detected using the `codespell` tool.

Also contains one URL protocol upgrade.

Closes https://github.com/curl/curl/pull/2334

projects/README: remove reference to dead IDN link/package

Reported-by: Stefan Kanthak and Rod Widdowson
Fixes #2325

winbuild: Use macros for the names of some build utilities

- Add macros to the top of the makefile for rc and mt utilities so that
  it is easier to change their locations.

Bug: https://curl.haxx.se/mail/lib-2018-02/0075.html
Reported-by: Stefan Kanthak
Closes https://github.com/curl/curl/issues/2329

TODO: remove "sha-256 digest", added in 2b5b37cb9109e7c2

curl_share_setopt.3: connection cache is shared within multi handles

winbuild: Use CALL to run batch scripts

Co-authored-by: Stefan Kanthak
Closes https://github.com/curl/curl/issues/2330
Closes https://github.com/curl/curl/pull/2331

os400: add curl_resolver_start_callback type to ILE/RPG binding

form.d: rephrased somewhat, added two example command lines

url: Add option CURLOPT_RESOLVER_START_FUNCTION

- Add new option CURLOPT_RESOLVER_START_FUNCTION to set a callback that
  will be called every time before a new resolve request is started
  (ie before a host is resolved) with a pointer to backend-specific
  resolver data. Currently this is only useful for ares.

- Add new option CURLOPT_RESOLVER_START_DATA to set a user pointer to
  pass to the resolver start callback.

Closes https://github.com/curl/curl/pull/2311

lib: CURLOPT_HAPPY_EYEBALLS_TIMEOUT => CURLOPT_HAPPY_EYEBALLS_TIMEOUT_MS

- In keeping with the naming of our other connect timeout options rename
  CURLOPT_HAPPY_EYEBALLS_TIMEOUT to CURLOPT_HAPPY_EYEBALLS_TIMEOUT_MS.

This change adds the _MS suffix since the option expects milliseconds.
This is more intuitive for our users since other connect timeout options
that expect milliseconds use _MS such as CURLOPT_TIMEOUT_MS,
CURLOPT_CONNECTTIMEOUT_MS, CURLOPT_ACCEPTTIMEOUT_MS.

The tool option already uses an -ms suffix, --happy-eyeballs-timeout-ms.

Follow-up to 2427d94 which added the lib and tool option yesterday.

Ref: https://github.com/curl/curl/pull/2260

sasl: prefer PLAIN mechanism over LOGIN

SASL PLAIN is a standard, LOGIN only a draft. The LOGIN draft says
PLAIN should be used instead if available.

RELEASE-NOTES: synced with 2427d94c6

url: Add option CURLOPT_HAPPY_EYEBALLS_TIMEOUT

- Add new option CURLOPT_HAPPY_EYEBALLS_TIMEOUT to set libcurl's happy
  eyeball timeout value.

- Add new optval macro CURL_HET_DEFAULT to represent the default happy
  eyeballs timeout value (currently 200 ms).

- Add new tool option --happy-eyeballs-timeout-ms to expose
  CURLOPT_HAPPY_EYEBALLS_TIMEOUT. The -ms suffix is used because the
  other -timeout options in the tool expect seconds not milliseconds.

Closes https://github.com/curl/curl/pull/2260

hostip: fix 'potentially uninitialized variable' warning

Follow-up to 50d1b33.

Caught by AppVeyor.

TODO: warning if curl version is not in sync with libcurl version

CURLOPT_RESOLVE: Add support for multiple IP addresses per entry

This enables users to preresolve but still take advantage of happy
eyeballs and trying multiple addresses if some are not connecting.

Ref: https://github.com/curl/curl/pull/2260

examples/sftpuploadresume: resume upload via CURLOPT_APPEND

URL: https://curl.haxx.se/mail/lib-2018-02/0072.html

curl --version: show PSL if the run-time lib has it enabled

... not of the #define was set at build-time!

TODO: "Support in-memory certs/ca certs/keys"

removed SSLKEYLOGFILE support (fixed)

removed "consider SSL patches" (outdated)

Closes #2310

CURLOPT_HEADER.3: clarify problems with different data sizes

test1556: verify >16KB headers to the header callback

header callback: don't chop headers into smaller pieces

Reported-by: Guido Berhoerster
Fixes #2314
Closes #2316

test1154: verify that long HTTP headers get rejected

http: fix the max header length detection logic

Previously, it would only check for max length if the existing alloc
buffer was to small to fit it, which often would make the header still
get used.

Reported-by: Guido Berhoerster
Bug: https://curl.haxx.se/mail/lib-2018-02/0056.html

Closes #2315

CURLOPT_HEADERFUNCTION.3: fix typo from d939226813

Reported-by: Erik Johansson
Bug: https://github.com/curl/curl/commit/d9392268131c1b8d18dec3fa30e0bded833a5db7#commitcomment-27607495

CURLOPT_HEADERFUNCTION.3: mention folded headers

TODO: 1.1 Option to refuse usernames in URLs

Also expanded the CURL_REFUSE_CLEARTEXT section with more ideas.

TODO: 1.7 Support HTTP/2 for HTTP(S) proxies

ssh: add two missing state names

The list of state names (used in debug builds) was out of sync in
relation to the list of states (used in all builds).

I now added an assert to make sure the sizes of the two lists match, to
aid in detecting this mistake better in the future.

Regression since c92d2e14cf, shipped in 7.58.0.

Reported-by: Somnath Kundu
Fixes #2312
Closes #2313