Merge with Rocco

Rework timeout handling to support keepalive in the line editor.
Also allow keepalives of less than $timeout without returning before
$timeout, so people who don't want to be notified of new mail don't
have to be.

Manual: use $variable syntax, only quote non-variable links

Manual: Various fixes+improvements in chapters 1+2

Manual: Layout functions as <function-name>, s/ESC/Esc/ for consistency

makedoc: Add support for monospace fonts with \fC...\fP

Manual: trim trailing whitespace

Manual: Fix processing warnings by manually assigning missing id attributes

Manual: Add a section on mutt core concepts as introduction

Make curses timeout the minimum of $timeout and $imap_keepalive.
Do keepalive in km_dokey instead of directly in menu. Closes #2747.

Dead code

Remove redundant code

Use sorted headers in imap_exec_msgset. Fixes [e68f79fef249].
Closes #3000 again.

Only consider empty files non-existent for buffy's purpose.

According to SUS, the st_size member of struct stat is undefined
for directories. In case a system reports 0, the newly_created
flag will be set for a directory and the magic will be cleared.

If the folder type is cleared, mutt won't check the folder for
new mail and thus will ignore MH and Maildir type folders on
such a fs completely (e.g. the HAMMER fs on DragonFly BSD).

The msgset changes seem buggy. Reverting pending further testing.

Split long IMAP commands for the benefit of lazy servers (closes #3000).
Also touches lots of old, hairy code. Likely to wake sleeping dogs.

Properly set the SASL external auth name when using SSL client certs.
Also zero out the account structure before filling it with available
data. Client certificates + SASL EXTERNAL were only working by luck.

Remove leftover IMAP IDLE handling from before [53d9210aa4ee].

Introduce $imap_pipeline_depth.
This lets users control the number of commands that mutt will queue up
before sending them to the server. Setting this to 0 disables
pipelining, which should close #2892.

Rework IMAP command queueing to allow pipelining to be disabled.
IDLE handling has been better abstracted, and there are fewer entry
points to the IMAP command issuing machinery. Any commands that
are simply queued may be executed whenever the pipeline fills,
instead of requiring explicit handling in the caller.

Tested on my Cyrus server, but I wouldn't be surprise if this causes
new problems.

Manual: Fix DTD validation error and message header display section

Manual: Fix typo

Manual: Fix style and typos.
Noted by Vincent Lefevre, see #3109.

Whitespace cleanup

Fix infinite loop with "mutt -", introduced in [31c9e9727d42].
Treats - as a non-option argument. It would be reasonable to treat it
as an error instead.

Handle -- correctly with or without -a, closes #3097

Prefix optstring with "+" to force POSIX behavior on GNU getopt, and thereby
prevent reordering argv.  This allows us to correctly handle mixed addresses,
attachments, options and the double-dash to signal end-of-options.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Manual: fix/improve markup/content, see #3109

Clarify documentation for $config_charset.
Closes #2021.

Improve color/mono command synopsis.
Closes #2630.

Better document the effect of $thorough_search being unset.
Closes #3104.

Port certificate host checking from msmtp to mutt.
It supports IDN, wildcards and extracting the hostname from
subject alternative field as well as common name which should
be the same gnutls supports. Closes #3087.

Silence an incorrect uninitialized variable warning.

Better documentation for how quote_regexp determines quote level.
Closes #1463.

Make text/enriched handler multibyte aware. Closes #3033.

Updated French translation.

Ignore zero width characters U+200B/U+FEFF which may garble the display. Closes #3061, #3048.

Validate charset names for all charset options.
Validation is either done against mutt's table of IANA assigned names or local iconv
implementation (based on the assumption that iconv_open(charset,charset) fails if charset
is unknown to the implementation). Closes #1668.

Fix type-punning warning in sasl_getprop usage

Fix a couple of compiler warnings introduced in [00ce81d778bf].
Make the style of mutt_parse_references more pleasing to me.

Fix three bugs handling flags in mutt_copy_header

1. mutt_copy_header incorrectly tests CH_UPDATE to determine whether to write
   the In-Reply-To and References headers.  CH_UPDATE refers only to Status: and
   X-Status:

2. mutt_copy_header ignores CH_NOSTATUS which is supposed to indicate that the
   mailbox type doesn't use those headers.

3. mutt_copy_header tests h->env->irt_changed and h->env->refs_changed when it
   should be testing CH_UPDATE_IRT and CH_UPDATE_REFS, respectively.  Early in
   the function this happens:

    if (h->env)
      flags |= (h->env->irt_changed ? CH_UPDATE_IRT : 0)
        | (h->env->refs_changed ? CH_UPDATE_REFS : 0);

   This means that for most callers, the result is the same, but
   mutt_copy_header should be testing the flags because the caller might have
   set them explicitly without setting irt_changed/refs_changed.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Unify parser for message-ids

Rewrite mutt_extract_message_id and change mutt_parse_references to us it.  The
parser in mutt_extract_message_id is looser than the old one in
mutt_parse_references; it just looks for <[^\s>]+> and doesn't worry about
@-signs.  Additionally it doesn't use strtok, so the input string can be const.

Closes #3090, #1935, #1116 (both the stated bug and the conversation following).

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Prefer "backtick" over "backtic" on comments and docs as it's more common, closes #3101.

doc: semi-colon needs quoting too

If semi-colon is bound or macro'd, it needs to be quoted like space, otherwise
mutt thinks it's separating commands.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Merge with brendan

Document that my_ variables aren't expanded in backticks, too

Fix typos in manual.xml.head and init.h. Closes #3096.

noop cleanup: move mutt_copy_header flags to copy.h

Noticed while reading that these flags are better defined in copy.h than mutt.h.
Builds without warnings.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Fix m4 serial numbers to avoid aclocal 1.10 warnings

Remove variables no longer used since [7729b1ad530c]

Disable GCC long long warnings with -pedantic. Closes #2823.
Thanks to Aron Griffis for the suggestion.

Use itemized lists for listing possible sort config settings.

makedoc: Add ".ie" and ".il" to support itemized lists.

Some settings docs use verbatim screen environments to print
lists while support for real lists will make it look nicer:
for docbook use <itemizedlist/>, \(hy for roff and '-' for text.

Document that account-hook is intended for connection-related settings only

Manual: Use tables for message flags as it's more compact

Manual: minor formatting tweaks

Encode lines written to $alias_file in $config_charset if set. Closes #3095

Unify mutt_write_references

copy.c and sendlib.c have independent and different implementations of writing
references to a file.  Choose the one in sendlib since it's conservative with
mallocs and supports trimming the list.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Clean up error handling in mutt_copy_header

mutt_copy_header unnecessarily tests the result of each fputc/fputs (well, most
of them anyway, it's not consistent).  This obfuscates the code and hides bugs.
Remove these extraneous checks since ferror/feof are checked at the bottom of
the function, and get rid of all the early returns.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Cleanup unused vars changeset ba0d96408425 didn't remove

Mention that @ can be used in usernames in URLs

Allow UTF-8 charset to be misspelled as "utf8"

Verify hostname in (Open)SSL certificate validation

This is based on the patch by gkloepfer attached to #3087 but passes the
proper connection as argument (avoiding adding hostname to struct
sslsockdata) and validates the hostname even in case OpenSSL cannot find
the local issuer certificate.  GnuTLS already supports hostname
checking. Closes #3087.

Prevent some pointers of 'struct body' being saved to hcache

This addresses the hcache safety issue but maybe doesn't fix it
completely, see #2942. This also prevents mutt from crashing when
using a hcache that was synced when syncing the mailbox (updating
changed and fully-parsed messages).

Remove completely wrong comment regarding in-reply-to and references

...plus fix one other comment and some whitespace.

Document redirection to trigger batch send mode in mutt(1) and mutt -h. Closes #2070.

Fix syntax error for strtok_r compatitility prototype

Use stat() instead of dirent->d_type to test for directory. Closes #3089.

Calculate menu->max after a possible resort in index
(maybe changing number of messages). Closes #3088.

Fix casts for progress update to prevent -ftrapv aborts to trigger. Closes #3018.

Only make LC_MESSAGES conditional on NLS in GPGME locale support.

Use realpath() in mutt_pretty_mailbox() for paths that may need it.
This requires to add the buffer size as parameter since the result may
be longer than the original but still fit in the buffer. Closes #2948.

Use casts to avoid triggering integer overflow detection in hash function

Clamp timeval math to unsigned int to match progress timestamps.
This is fine since only relative differences matter. Closes #3018.

Set GPGME locale on first attempt to create context.
Closes #2913.

Stub in a gpgme version of extract-keys. It doesn't currently work
right because apparently while gpg on the command line can parse a
whole message, we'll have to do it for gpgme. I really wonder about
the 'ME' part of GPGME sometimes.

Support displaying application/pgp-keys with GPGME.
This was pretty convoluted because GPGME provides no way to examine a
key block without importing it. This code creates a temporary GPG home
in which to import the key in order to display it.

Handle DONTHANDLEPGPKEYS in handler instead of crypto modules.
This lets gpgme and classic pgp share a bit of logic, and unbreaks key
extraction at least for classic PGP.

Bail out of copy if decryption is requested but the desired engine is missing.
This closes #2684, but handling of mixed crypto in a single message
needs more investigation.

When deleting attachments, always print newline separating header from body.
Closes #3085.

Improve gpgme SMIME uid display: align each line by the length of the first.

Show more information about problematic SMIME signatures under gpgme.
Also warn if the key is not known to be good. For some reason expired
keys in my environment are not flagged as expired in sig->status or
sig->summary.

Extract CN from client certificate in gnutls.
Nothing currently uses it, but I suspect we should be using it as the
external auth name in mutt_sasl_client_new.

Basic support for $ssl_client_cert when compiled with gnutls.
The key must not be encrypted. Closes #2911.

Updated Czech translation.

Mark new error message for translation.

Force a resize event after calling an external editor. Closes #2207

fflush before fsync and close. Closes #2962 again.

fsync maildir/mh messages on commit. Closes #2962.

Check S/MIME signing ID exists before attempting to use it.
Closes #3069. Also make (s)ign automatically ask for a key if no
default is defined.

Make $move default to no instead of ask-no. Closes #2945.

Document difference between index and pager search. Closes #2886.

Make mutt_copy_message distinguish between fatal and non-fatal errors.
Non-fatal errors should prevent moving messages, since they indicate
data loss. But mutt should still attempt to display them, since being
able to see some attachments is better than nothing.
Also stop printing out non-PGP material in application/pgp
attachments. Closes #2545, #2912.

Make multipart decoding a little more forgiving.
First, ignore bad content-transfer-encoding in multipart sections.
Second, if an attachment fails to decode, print a warning and continue
instead of giving up on the entire message.

Test that envelope from or from is set before attempting SMTP delivery.
Closes #3079.

Document that From_ lines use asctime-style dates, not RFC2822 dates.
Closes #3077.

Do not attempt to close invalid descriptors. Closes #3075

Wrap Fqdn in NONULL() to prevent crash with -d5 if Fqdn is NULL

Allow for printing variable values longer than 256 characters

Allow for mail addresses longer than 256 characters (closes #3066).

Define prototypes for compatibility functions in protos.h to silence compiler warnings