bug: check for aborted dir read

doxy: fix links

trivial fixes

Fix build

Fix check on empty strings

merge: redistribute Context and Mailbox

 * fix mxapi comments
 * move Context.mx_ops
 * move Context.ctx->data
 * move Context.{hdrs,hdrmax}
 * move Context.{size,changed,readonly,quiet,closing}
 * free_data
 * notmuch: move mailbox data
 * notmuch: let mxapi do cleanup
 * notmuch: use mailbox, not context
 * mbox: use Mailbox, not Context
 * maildir: use Mailbox, not Context
 * nntp: use Mailbox, not Context
 * pop: use Mailbox, not Context
 * compress: use Mailbox, not Context
 * imap: use Mailbox, not Context
 * add mbox private Mailbox data
 * move Context.rights
 * eliminate Context from backends
 * Mailbox doesn't begin with 'b'
 * move Context.compress
 * tidy compress
 * move Context.{id,subj,label}_hash
 * move Context.{v2r,vcount}
 * move Context.mtime
 * tidy context usage
 * imap: rename mailbox out of the way

imap: rename mailbox out of the way

tidy context usage

move Context.mtime

move Context.{v2r,vcount}

move Context.{id,subj,label}_hash

tidy compress

move Context.compress

Mailbox doesn't begin with 'b'

eliminate Context from backends

move Context.rights

add mbox private Mailbox data

imap: use Mailbox, not Context

compress: use Mailbox, not Context

pop: use Mailbox, not Context

nntp: use Mailbox, not Context

maildir: use Mailbox, not Context

mbox: use Mailbox, not Context

notmuch: use mailbox, not context

notmuch: let mxapi do cleanup

notmuch: move mailbox data

free_data

move Context.{size,changed,readonly,quiet,closing}

move Context.{hdrs,hdrmax}

move Context.ctx->data

move Context.mx_ops

fix mxapi comments

clang-format

fix nntp probing

document imap ACLs

[ci skip]

merge: minor tidying

 * drop unnec casts
 * reduce scope
 * tidy logic
 * boolify
 * tweak #include guards
 * add missing mxapi functions

add missing mxapi functions

tweak #include guards

Closes #1328

boolify

tidy logic

reduce scope

drop unnec casts

Do not let libintl.h override setlocale

merge: update translations

 * Update zh_CN translation
 * trans: add missing ngettext
 * Update lt_LT translation
 * Fix translation error
 * add Finnish translation
 * Added dutch translations
 * More dutch translation fixes
 * sync translations

sync translations

More dutch translation fixes

Added dutch translations

add Finnish translation

Fix translation error

Update lt_LT translation

Unfuzz a message that became plural.

trans: add missing ngettext

Update zh_CN translation

merge: Use Mailbox members from Context

 * Context ptr to Mailbox
 * move realpath
 * move path
 * move msgcount
 * move unread
 * move flagged
 * move magic

move magic

move flagged

move unread

move msgcount

move path

move realpath

Context ptr to Mailbox

merge: upstream CONDSTORE and QRESYNC

 * Add basic CONDSTORE support when fetching initial messages.
 * Add utility functions for QRESYNC support.
 * Add QRESYNC support.
 * Add more doc for the $imap_condstore and $imap_qresync options.
 * Only sync CONDSTORE and QRESYNC on the initial download.
 * Allow ctrl-c to interrupt initial IMAP header download.
 * Fix nested macro warning.
 * tidy upstream changes

tidy upstream changes

Fix nested macro warning.

Pull the #if/#else outside of the snprintf in imap.c.  On some
platforms, snprintf is a macro itself, which leads to a warning about
undefined behavior.

Thanks to Charles Diza for pointing out the problem.

Allow ctrl-c to interrupt initial IMAP header download.

Once the mailbox is open, it is significantly more complicated to
abort and keep Mutt from crashing.  But during the initial
open/download Mutt is prepared to close the mailbox cleanly on
failure.

Only sync CONDSTORE and QRESYNC on the initial download.

In the midst of the imap_read_headers() refactor, I forgot to put this
guard on the /MODSEQ and /UIDSEQSET storage.

Because we don't deal with flag sync issues while the mailbox is open,
or when it closes, we only want to write those values to the header
cache during the initial download.

It makes no sense to perform all the header cache work if new messages
come into an open empty mailbox, so add a parameter to flag the
initial download, rather than check for msn_begin==1.

Add more doc for the $imap_condstore and $imap_qresync options.

Add QRESYNC support.

Refactor imap_read_headers() to break into functions for the different
queries.

Move uid_hash population to the same place msn_index is populated.

Change the VANISHED handler to not decrement MSNs for EARLIER.
FastMail, at least, does assume there are no gaps, and really it makes
no sense for there to be.  Further testing will be needed.

Add utility functions for QRESYNC support.

* Add function to generate uid_seqset for header cache.
  This will be used by QREFRESH to reconstruct the msn_index state.

* Add seqset data structure and iterator functions.

* Add cmd_parse_vanished, for QRESYNC support.

* Add and enable QRESYNC capability.

* Create helper functions to store and retrieve the uid_seqset.

Add basic CONDSTORE support when fetching initial messages.

Store MODSEQ in the header cache, and use that to perform a "FETCH
CHANGEDSINCE" for header updates when initially downloading messages.

Further improvements could be made to add support when syncing.
Handling MODSEQ for FLAG updates while the mailbox is open would be
complicated by the fact that Mutt supports locally modified headers,
so we couldn't accept the new (or subsequent) MODSEQ.

However, this initial step may at least provide some benefit when
opening the mailbox, which is generally the most time and data
intensive.

merge: upstream OAUTHBEARER

 * Initial support for OAUTHBEARER for IMAP.
 * Support for using OAUTHBEARER for smtp.
 * Remove uninitialized warning for mutt_get_stat_timespec().
 * Improve OAUTHBEARER support.
 * tidy upstream changes
 * reorganise smtp auth_plain

reorganise smtp auth_plain

tidy upstream changes

initialise timespecs

merge: upstream inotify

 * add feature file monitoring with Linux inotify
 * Change direct mutt_getch() callers to handle new mail event.
 * Add new timeout functions to work with inotify monitors.
 * Quick fix for ncurses buffering issue with inotify polling.
 * Move mutt_getch() timeout value into curs_lib.c
 * Convert context and buffy to use nanosecond timestamps.
 * Work around open mailbox monitor code check issue.
 * Fix MonitorContextDescriptor update on removal.
 * Reset all MonitorContext state on context removal.
 * tidy upstream changes

tidy upstream changes

Reset all MonitorContext state on context removal.

Reset both the descriptor and changed flag when the current context is
removed.  Don't make this dependent on the context being valid or
being found by monitor_resolve(), in case the context was closed due
to some type of error condition.

Fix MonitorContextDescriptor update on removal.

Reset the context descriptor before checking for the monitor being
shared by another mailbox.  Technically, it would be set properly
during the next add, but it shouldn't be left incorrect.

Work around open mailbox monitor code check issue.

The monitor code is too fast, and can result in all the changes for a
single directory stat update being missed.

Work around this issue by not recording stat time updates when the
check_mailbox() is triggered by the monitor.  This will cause the next
subsequent check to take another look.

Convert context and buffy to use nanosecond timestamps.

The inotify interface has an unfortunate side effect of making Mutt
react too quickly to new mail.  Sometimes, the mail is only
half-delivered when the mailbox is checked.  Because Mutt is using the
stat mtime - seconds resolution - this means it won't realize there
are more messages delivered during the same second.

Nanosecond resolution fields were standardized in POSIX.1-2008, so
check for and use those if they are available.

Move mutt_getch() timeout value into curs_lib.c

Change monitor.c to reference the curs_lib value, instead of
vice-versa.

We need to store the value for both monitor.c's poll and for
mutt_monitor_ch() to perform an initial non-blocking check of ncurses'
getch() buffer.

Quick fix for ncurses buffering issue with inotify polling.

Ncurses does its own buffering for some character sequences, notable
Esc-prefixed input.  Add a non-blocking check for getch() before
performing the mutt_monitor_poll() call.

This is a quick fix, which I'll clean up more later.

Add new timeout functions to work with inotify monitors.

The ncurses timeout() function doesn't affect the new poll inside
mutt_monitor_poll().  This meant that $imap_keepalive and $timeout
were not being respected when the monitor was used.

Create mutt_getch_timeout(), which delegates to timeout() and sets a
timeout value mutt_monitor_poll() uses too.

Change direct mutt_getch() callers to handle new mail event.

The inotify handler now returns -2 (timeout) on a new mail event.
Change the direct callers to ignore, so prompts aren't strangely
aborted.

Also, fix mutt_change_flag() to call mutt_refresh() before the
prompt.  Apparently ncurses getch() was doing this for us, but now
that we are polling STDIN instead, the prompt wasn't displaying.

add feature file monitoring with Linux inotify

merge: upstream fixes

 * Convert certificate prompts to show sha-256 instead of md5.
 * Fix typo
 * Clean up documentation link targets.
 * Change compress examples to type "example" rather than "sect4".

Change compress examples to type "example" rather than "sect4".

Clean up documentation link targets.

Move link targets for iconv-hook and sidebar_whitelist to the
beginning of a section, rather than a link embedded inside a command.

Fix typo

Convert certificate prompts to show sha-256 instead of md5.

Due to the length of the sha-256 fingerprint, split the output into
two lines.

Note that this change now requires OpenSSL 0.9.8+ [2005-07-05], and
GnuTLS 1.7.4+ [2007-02-05].

tidy upstream changes

merge: upstream fixes

 * crypt-gpgme: prevent crash on bad S/MIME signature
 * Void passphrase on s/mime decryption error
 * smime_handle_entity() cleanup
 * Mention $pgp_decode_command for $pgp_check_gpg_decrypt_status_fd
 * Minor documentation fix
 * Display matching new messages in a thread-limited index
 * Bug fix: reset ctx->vsize in update_index_unthreaded on reopened mailbox
 * Improved limit-to-all detection by skipping leading spaces of the pattern
 * Add ctx->vsize = 0 in a couple of places
 * Handle reopen/new_mail when closing mailbox in <imap-logout-all>
 * Skip sort in mbox_sync_mailbox() when new/reopen occurs
 * Add mx_ops.msg_padding_size to return the padding for a mx type
 * Add message padding to ctx->vsize computation
 * Fix AUXSORT usage in compare_spam
 * Fix -z and -Z options to work with IMAP
 * Create mutt_buffer_increase_size() function
 * Always check UID vs MSN when handling FETCH
 * Refactor out mutt_is_quote_line()
 * Don't match $abort_noattach_regexp on quoted lines
 * Remove legacy trim_incomplete_mbyte() in the pager
 * Remove compare_stat() call in safe_rename()
 * Display an error message if syncing fails
 * Change $query_format to use mutt_format_s
 * Fix alias documentation examples
 * Add additional error handling to safe_rename()
 * Remove extra lstats() in safe_rename() upon link success
 * Add compose-to-sender functionality.

Add compose-to-sender functionality.

This patch is loosely based on the NeoMutt feature, but adds in
support for the attach menu, reuses functionality in send.c, and has
proper mode checks.

Thanks to Enno for the opening the ticket requesting the port.

clang-format

Remove extra lstats() in safe_rename() upon link success

I originally kept the lstat()'s in order to make as few changes as
possible to the function.  However, Derek Martin argues correctly that
if we are trusting the link() 0-retval, the lstats are unnecessary and
in fact can cause a performance impact over NFS.

Add additional error handling to safe_rename()

It is apparently possible for link() to return an error but the link
to still be created.  Add a double check for that case.  If the files
match, unlink the src and return success.

Fix alias documentation examples

Thanks to Cody Brownstein for pointing out the problem.

Change $query_format to use mutt_format_s

Use the character-cell width functions so that multibyte output is
properly formatted.

Display an error message if syncing fails

Ticket 36 reported an issue where a maildir was removed while the
mailbox was opened.  Later, attempting to sync displayed the message
"Writing xxx...", which remained on the screen.  The reporter actually
thought mutt was frozen, but it was simply that on a sync error Mutt
wasn't clearing or updating the message window.

There is some error message handling for mbox.c check_mailbox, but I
don't think that is the right place to further propogate messages.
Instead, add an error to the same place the initial "Writing..."
message is created.

Remove compare_stat() call in safe_rename()

Some filesystems, such as sshfs, implement hard links strangely.  The
hard link is created, but is represented by a different inode number
by the sshfs layer.  The current maildir code goes into an infinite
loop in this case.  Remove the compare_stat() and trust that a link()
return code of 0 means the link really did get created.  Still, keep
the stats just as a minor check.

Remove legacy trim_incomplete_mbyte() in the pager

Commit 4b1deb57 added the trim_incomplete_mbyte() call, but at
that time, the function was using fgets() into a fixed-sized
buffer.  The function was passing in "blen - 1" to the size
parameter of fgets, so the check for blen-2 was to see if the
buffer was completely filled by the fgets.

Commit d39d9c0c converted to use a dynamic buffer, but the
trim_incomplete_mbyte() was left in.  It now serves no purpose
because the entire line will be read in.  Presumably the buggy
regexp lib should have been fixed by now too.