Whitespace cleanup

Fix infinite loop with "mutt -", introduced in [31c9e9727d42].
Treats - as a non-option argument. It would be reasonable to treat it
as an error instead.

Handle -- correctly with or without -a, closes #3097

Prefix optstring with "+" to force POSIX behavior on GNU getopt, and thereby
prevent reordering argv.  This allows us to correctly handle mixed addresses,
attachments, options and the double-dash to signal end-of-options.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Manual: fix/improve markup/content, see #3109

Clarify documentation for $config_charset.
Closes #2021.

Improve color/mono command synopsis.
Closes #2630.

Better document the effect of $thorough_search being unset.
Closes #3104.

Port certificate host checking from msmtp to mutt.
It supports IDN, wildcards and extracting the hostname from
subject alternative field as well as common name which should
be the same gnutls supports. Closes #3087.

Silence an incorrect uninitialized variable warning.

Better documentation for how quote_regexp determines quote level.
Closes #1463.

Make text/enriched handler multibyte aware. Closes #3033.

Updated French translation.

Ignore zero width characters U+200B/U+FEFF which may garble the display. Closes #3061, #3048.

Validate charset names for all charset options.
Validation is either done against mutt's table of IANA assigned names or local iconv
implementation (based on the assumption that iconv_open(charset,charset) fails if charset
is unknown to the implementation). Closes #1668.

Fix type-punning warning in sasl_getprop usage

Fix a couple of compiler warnings introduced in [00ce81d778bf].
Make the style of mutt_parse_references more pleasing to me.

Fix three bugs handling flags in mutt_copy_header

1. mutt_copy_header incorrectly tests CH_UPDATE to determine whether to write
   the In-Reply-To and References headers.  CH_UPDATE refers only to Status: and
   X-Status:

2. mutt_copy_header ignores CH_NOSTATUS which is supposed to indicate that the
   mailbox type doesn't use those headers.

3. mutt_copy_header tests h->env->irt_changed and h->env->refs_changed when it
   should be testing CH_UPDATE_IRT and CH_UPDATE_REFS, respectively.  Early in
   the function this happens:

    if (h->env)
      flags |= (h->env->irt_changed ? CH_UPDATE_IRT : 0)
        | (h->env->refs_changed ? CH_UPDATE_REFS : 0);

   This means that for most callers, the result is the same, but
   mutt_copy_header should be testing the flags because the caller might have
   set them explicitly without setting irt_changed/refs_changed.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Unify parser for message-ids

Rewrite mutt_extract_message_id and change mutt_parse_references to us it.  The
parser in mutt_extract_message_id is looser than the old one in
mutt_parse_references; it just looks for <[^\s>]+> and doesn't worry about
@-signs.  Additionally it doesn't use strtok, so the input string can be const.

Closes #3090, #1935, #1116 (both the stated bug and the conversation following).

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Prefer "backtick" over "backtic" on comments and docs as it's more common, closes #3101.

doc: semi-colon needs quoting too

If semi-colon is bound or macro'd, it needs to be quoted like space, otherwise
mutt thinks it's separating commands.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Merge with brendan

Document that my_ variables aren't expanded in backticks, too

Fix typos in manual.xml.head and init.h. Closes #3096.

noop cleanup: move mutt_copy_header flags to copy.h

Noticed while reading that these flags are better defined in copy.h than mutt.h.
Builds without warnings.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Fix m4 serial numbers to avoid aclocal 1.10 warnings

Remove variables no longer used since [7729b1ad530c]

Disable GCC long long warnings with -pedantic. Closes #2823.
Thanks to Aron Griffis for the suggestion.

Use itemized lists for listing possible sort config settings.

makedoc: Add ".ie" and ".il" to support itemized lists.

Some settings docs use verbatim screen environments to print
lists while support for real lists will make it look nicer:
for docbook use <itemizedlist/>, \(hy for roff and '-' for text.

Document that account-hook is intended for connection-related settings only

Manual: Use tables for message flags as it's more compact

Manual: minor formatting tweaks

Encode lines written to $alias_file in $config_charset if set. Closes #3095

Unify mutt_write_references

copy.c and sendlib.c have independent and different implementations of writing
references to a file.  Choose the one in sendlib since it's conservative with
mallocs and supports trimming the list.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Clean up error handling in mutt_copy_header

mutt_copy_header unnecessarily tests the result of each fputc/fputs (well, most
of them anyway, it's not consistent).  This obfuscates the code and hides bugs.
Remove these extraneous checks since ferror/feof are checked at the bottom of
the function, and get rid of all the early returns.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Cleanup unused vars changeset ba0d96408425 didn't remove

Mention that @ can be used in usernames in URLs

Allow UTF-8 charset to be misspelled as "utf8"

Verify hostname in (Open)SSL certificate validation

This is based on the patch by gkloepfer attached to #3087 but passes the
proper connection as argument (avoiding adding hostname to struct
sslsockdata) and validates the hostname even in case OpenSSL cannot find
the local issuer certificate.  GnuTLS already supports hostname
checking. Closes #3087.

Prevent some pointers of 'struct body' being saved to hcache

This addresses the hcache safety issue but maybe doesn't fix it
completely, see #2942. This also prevents mutt from crashing when
using a hcache that was synced when syncing the mailbox (updating
changed and fully-parsed messages).

Remove completely wrong comment regarding in-reply-to and references

...plus fix one other comment and some whitespace.

Document redirection to trigger batch send mode in mutt(1) and mutt -h. Closes #2070.

Fix syntax error for strtok_r compatitility prototype

Use stat() instead of dirent->d_type to test for directory. Closes #3089.

Calculate menu->max after a possible resort in index
(maybe changing number of messages). Closes #3088.

Fix casts for progress update to prevent -ftrapv aborts to trigger. Closes #3018.

Only make LC_MESSAGES conditional on NLS in GPGME locale support.

Use realpath() in mutt_pretty_mailbox() for paths that may need it.
This requires to add the buffer size as parameter since the result may
be longer than the original but still fit in the buffer. Closes #2948.

Use casts to avoid triggering integer overflow detection in hash function

Clamp timeval math to unsigned int to match progress timestamps.
This is fine since only relative differences matter. Closes #3018.

Set GPGME locale on first attempt to create context.
Closes #2913.

Stub in a gpgme version of extract-keys. It doesn't currently work
right because apparently while gpg on the command line can parse a
whole message, we'll have to do it for gpgme. I really wonder about
the 'ME' part of GPGME sometimes.

Support displaying application/pgp-keys with GPGME.
This was pretty convoluted because GPGME provides no way to examine a
key block without importing it. This code creates a temporary GPG home
in which to import the key in order to display it.

Handle DONTHANDLEPGPKEYS in handler instead of crypto modules.
This lets gpgme and classic pgp share a bit of logic, and unbreaks key
extraction at least for classic PGP.

Bail out of copy if decryption is requested but the desired engine is missing.
This closes #2684, but handling of mixed crypto in a single message
needs more investigation.

When deleting attachments, always print newline separating header from body.
Closes #3085.

Improve gpgme SMIME uid display: align each line by the length of the first.

Show more information about problematic SMIME signatures under gpgme.
Also warn if the key is not known to be good. For some reason expired
keys in my environment are not flagged as expired in sig->status or
sig->summary.

Extract CN from client certificate in gnutls.
Nothing currently uses it, but I suspect we should be using it as the
external auth name in mutt_sasl_client_new.

Basic support for $ssl_client_cert when compiled with gnutls.
The key must not be encrypted. Closes #2911.

Updated Czech translation.

Mark new error message for translation.

Force a resize event after calling an external editor. Closes #2207

fflush before fsync and close. Closes #2962 again.

fsync maildir/mh messages on commit. Closes #2962.

Check S/MIME signing ID exists before attempting to use it.
Closes #3069. Also make (s)ign automatically ask for a key if no
default is defined.

Make $move default to no instead of ask-no. Closes #2945.

Document difference between index and pager search. Closes #2886.

Make mutt_copy_message distinguish between fatal and non-fatal errors.
Non-fatal errors should prevent moving messages, since they indicate
data loss. But mutt should still attempt to display them, since being
able to see some attachments is better than nothing.
Also stop printing out non-PGP material in application/pgp
attachments. Closes #2545, #2912.

Make multipart decoding a little more forgiving.
First, ignore bad content-transfer-encoding in multipart sections.
Second, if an attachment fails to decode, print a warning and continue
instead of giving up on the entire message.

Test that envelope from or from is set before attempting SMTP delivery.
Closes #3079.

Document that From_ lines use asctime-style dates, not RFC2822 dates.
Closes #3077.

Do not attempt to close invalid descriptors. Closes #3075

Wrap Fqdn in NONULL() to prevent crash with -d5 if Fqdn is NULL

Allow for printing variable values longer than 256 characters

Allow for mail addresses longer than 256 characters (closes #3066).

Define prototypes for compatibility functions in protos.h to silence compiler warnings

Respect $wrap_search in generic menu search (e.g. for browser)

Only install mutt_dotlock(1) if binary is installed, too (closes #1601).

Make default muttrc header weeding tidier. Closes #286.

Call mutt_need_hard_redraw() in pgp_decrypt_part().

This change ensures that the screen is redrawn when using gpg-agent.
Without this, mutt's navigation keybindings are lost after pinentry
curses prompts for a passphrase to descrypt a message.

Make sure that the redrawing/reinitializing is done always, not only
when the environment variable DISPLAY is not set.

Cosmetic fix to configure --help. Closes #3060.

Updated French translation

UPDATING: fix 1.5.18 line as noted by Kyle Wheeler

Escape LSUB mailbox names given to mutt_parse_rc_line.
Handle literals in STATUS responses for Notes compatibility.

Use C99 macros "PRId64"/"PRId32" to format file sizes/offsets if available.
This fixes warning about mismatching int argument sizes on amd64.

Document that $check_mbox_size should be set before mailboxes commands

Mention requirement to encode X-Label: headers in UPDATING

Guard idata->mailbox read in imap_mailbox_state. Closes #3057.

Updated Basque translation.

Updated Dutch translation

Fix new mail detection for >2 GB mboxes with $check_mbox_size set

Use ftello() instead of ftell() in more places that need it (fixes
progress updates for >2 GB mbox files)

Improve documentation for handling multiple folders and new mail detection

Fix more compiler warnings on amd64 by use of %p instead of %x

Updated Catalan translation

Merge with Rocco

Unbreak build with included gettext by explicitly removing libs for mutt_md5

Updated Czech translation