Remove unused functions.

Make some variables static.

Fix logic in [13a831a945be].

Clean up with/without-idn handling

Minor simplification in mutt_socket_readln_d

Build no-op versions of new IDN functions if IDN is unavailable.
Closes #3122, #3123.

Clean up autoconf header cache engine selection.

Any explicit --with-$engine will force that engine to be used or make
configure fail if the engine is unavailable.

Simplify host resolution code slightly.

Mention tokyocabinet in UPDATING and docs

Support tokyocabinet (successor to qdbm). Closes #3112

Fix compiler warning in dprint() (closes #3120)

Manual: Fix typo

Provide legacy implementations for iswalpha() and iswupper()

In mbyte.h and without using wc functions, only the prototypes were
defined but implementations were missing resulting in build
errors. These new functions are derived from the iswalnum() and
towupper() routines which don't provide full unicode coverage.

Fix an infinite loop for imap searches

Reported by Emanuele Giaquinta on #mutt.

Fix compiler warnings

sorting efficiency

UPDATING: $move now defaults to "no"

Fix IMAP keepalive if $imap_keepalive >= $timeout

Add note about locale-safe hcaches to UPDATING as it's a user-visible change

Fix pager to respect $wrap_search

Backout [e5610347fb3f] for further discussion

Manual: Fix trailing \ for $preconnect

makedoc: Fix fall-through in [c11ce7feaa3e]

Manual: Harmonize generated function mappings with the rest of the manual.
This includes named keys such as "<Return>", attempts to use CamelCase
and leaves the key column for unbound functions empty so they're
visually easier to spot.

Manual: Many content+markup improvements for option documentation

makedoc: Also replace | and ^ by entities in XML output

makedoc: Escape <>& in <screen/> environments

Manual: Use <quote/> quoting for DocBook rather than ``''.
All quotes characters are now rendered to Unicode quote chars
in the HTML output (as <xref/> does, too) but still " for
manual.txt.

Manual: Limit toc section depth to 1
This only lists sect1 items and prevents variables from being
shown making it unusable.

Manual: use itemizedlist for acknowledgements
DocBook XSL renders simplelist to a html table which is inappropriate.

Make gnutls read function more robust against interruptions.
Signals should be masked off anyway, but see #3074.

Merge with Rocco

Rework timeout handling to support keepalive in the line editor.
Also allow keepalives of less than $timeout without returning before
$timeout, so people who don't want to be notified of new mail don't
have to be.

Manual: use $variable syntax, only quote non-variable links

Manual: Various fixes+improvements in chapters 1+2

Manual: Layout functions as <function-name>, s/ESC/Esc/ for consistency

makedoc: Add support for monospace fonts with \fC...\fP

Manual: trim trailing whitespace

Manual: Fix processing warnings by manually assigning missing id attributes

Manual: Add a section on mutt core concepts as introduction

Make curses timeout the minimum of $timeout and $imap_keepalive.
Do keepalive in km_dokey instead of directly in menu. Closes #2747.

Dead code

Remove redundant code

Use sorted headers in imap_exec_msgset. Fixes [e68f79fef249].
Closes #3000 again.

Only consider empty files non-existent for buffy's purpose.

According to SUS, the st_size member of struct stat is undefined
for directories. In case a system reports 0, the newly_created
flag will be set for a directory and the magic will be cleared.

If the folder type is cleared, mutt won't check the folder for
new mail and thus will ignore MH and Maildir type folders on
such a fs completely (e.g. the HAMMER fs on DragonFly BSD).

The msgset changes seem buggy. Reverting pending further testing.

Split long IMAP commands for the benefit of lazy servers (closes #3000).
Also touches lots of old, hairy code. Likely to wake sleeping dogs.

Properly set the SASL external auth name when using SSL client certs.
Also zero out the account structure before filling it with available
data. Client certificates + SASL EXTERNAL were only working by luck.

Remove leftover IMAP IDLE handling from before [53d9210aa4ee].

Introduce $imap_pipeline_depth.
This lets users control the number of commands that mutt will queue up
before sending them to the server. Setting this to 0 disables
pipelining, which should close #2892.

Rework IMAP command queueing to allow pipelining to be disabled.
IDLE handling has been better abstracted, and there are fewer entry
points to the IMAP command issuing machinery. Any commands that
are simply queued may be executed whenever the pipeline fills,
instead of requiring explicit handling in the caller.

Tested on my Cyrus server, but I wouldn't be surprise if this causes
new problems.

Manual: Fix DTD validation error and message header display section

Manual: Fix typo

Manual: Fix style and typos.
Noted by Vincent Lefevre, see #3109.

Whitespace cleanup

Fix infinite loop with "mutt -", introduced in [31c9e9727d42].
Treats - as a non-option argument. It would be reasonable to treat it
as an error instead.

Handle -- correctly with or without -a, closes #3097

Prefix optstring with "+" to force POSIX behavior on GNU getopt, and thereby
prevent reordering argv.  This allows us to correctly handle mixed addresses,
attachments, options and the double-dash to signal end-of-options.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Manual: fix/improve markup/content, see #3109

Clarify documentation for $config_charset.
Closes #2021.

Improve color/mono command synopsis.
Closes #2630.

Better document the effect of $thorough_search being unset.
Closes #3104.

Port certificate host checking from msmtp to mutt.
It supports IDN, wildcards and extracting the hostname from
subject alternative field as well as common name which should
be the same gnutls supports. Closes #3087.

Silence an incorrect uninitialized variable warning.

Better documentation for how quote_regexp determines quote level.
Closes #1463.

Make text/enriched handler multibyte aware. Closes #3033.

Updated French translation.

Ignore zero width characters U+200B/U+FEFF which may garble the display. Closes #3061, #3048.

Validate charset names for all charset options.
Validation is either done against mutt's table of IANA assigned names or local iconv
implementation (based on the assumption that iconv_open(charset,charset) fails if charset
is unknown to the implementation). Closes #1668.

Fix type-punning warning in sasl_getprop usage

Fix a couple of compiler warnings introduced in [00ce81d778bf].
Make the style of mutt_parse_references more pleasing to me.

Fix three bugs handling flags in mutt_copy_header

1. mutt_copy_header incorrectly tests CH_UPDATE to determine whether to write
   the In-Reply-To and References headers.  CH_UPDATE refers only to Status: and
   X-Status:

2. mutt_copy_header ignores CH_NOSTATUS which is supposed to indicate that the
   mailbox type doesn't use those headers.

3. mutt_copy_header tests h->env->irt_changed and h->env->refs_changed when it
   should be testing CH_UPDATE_IRT and CH_UPDATE_REFS, respectively.  Early in
   the function this happens:

    if (h->env)
      flags |= (h->env->irt_changed ? CH_UPDATE_IRT : 0)
        | (h->env->refs_changed ? CH_UPDATE_REFS : 0);

   This means that for most callers, the result is the same, but
   mutt_copy_header should be testing the flags because the caller might have
   set them explicitly without setting irt_changed/refs_changed.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Unify parser for message-ids

Rewrite mutt_extract_message_id and change mutt_parse_references to us it.  The
parser in mutt_extract_message_id is looser than the old one in
mutt_parse_references; it just looks for <[^\s>]+> and doesn't worry about
@-signs.  Additionally it doesn't use strtok, so the input string can be const.

Closes #3090, #1935, #1116 (both the stated bug and the conversation following).

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Prefer "backtick" over "backtic" on comments and docs as it's more common, closes #3101.

doc: semi-colon needs quoting too

If semi-colon is bound or macro'd, it needs to be quoted like space, otherwise
mutt thinks it's separating commands.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Merge with brendan

Document that my_ variables aren't expanded in backticks, too

Fix typos in manual.xml.head and init.h. Closes #3096.

noop cleanup: move mutt_copy_header flags to copy.h

Noticed while reading that these flags are better defined in copy.h than mutt.h.
Builds without warnings.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Fix m4 serial numbers to avoid aclocal 1.10 warnings

Remove variables no longer used since [7729b1ad530c]

Disable GCC long long warnings with -pedantic. Closes #2823.
Thanks to Aron Griffis for the suggestion.

Use itemized lists for listing possible sort config settings.

makedoc: Add ".ie" and ".il" to support itemized lists.

Some settings docs use verbatim screen environments to print
lists while support for real lists will make it look nicer:
for docbook use <itemizedlist/>, \(hy for roff and '-' for text.

Document that account-hook is intended for connection-related settings only

Manual: Use tables for message flags as it's more compact

Manual: minor formatting tweaks

Encode lines written to $alias_file in $config_charset if set. Closes #3095

Unify mutt_write_references

copy.c and sendlib.c have independent and different implementations of writing
references to a file.  Choose the one in sendlib since it's conservative with
mallocs and supports trimming the list.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Clean up error handling in mutt_copy_header

mutt_copy_header unnecessarily tests the result of each fputc/fputs (well, most
of them anyway, it's not consistent).  This obfuscates the code and hides bugs.
Remove these extraneous checks since ferror/feof are checked at the bottom of
the function, and get rid of all the early returns.

Signed-off-by: Aron Griffis <agriffis@n01se.net>

Cleanup unused vars changeset ba0d96408425 didn't remove

Mention that @ can be used in usernames in URLs

Allow UTF-8 charset to be misspelled as "utf8"

Verify hostname in (Open)SSL certificate validation

This is based on the patch by gkloepfer attached to #3087 but passes the
proper connection as argument (avoiding adding hostname to struct
sslsockdata) and validates the hostname even in case OpenSSL cannot find
the local issuer certificate.  GnuTLS already supports hostname
checking. Closes #3087.

Prevent some pointers of 'struct body' being saved to hcache

This addresses the hcache safety issue but maybe doesn't fix it
completely, see #2942. This also prevents mutt from crashing when
using a hcache that was synced when syncing the mailbox (updating
changed and fully-parsed messages).

Remove completely wrong comment regarding in-reply-to and references

...plus fix one other comment and some whitespace.

Document redirection to trigger batch send mode in mutt(1) and mutt -h. Closes #2070.

Fix syntax error for strtok_r compatitility prototype

Use stat() instead of dirent->d_type to test for directory. Closes #3089.

Calculate menu->max after a possible resort in index
(maybe changing number of messages). Closes #3088.

Fix casts for progress update to prevent -ftrapv aborts to trigger. Closes #3018.