tidy upstream changes

Improve OAUTHBEARER support.

Move token refresh commands to their own config variables. Consolidate
code for refreshing tokens and generating the SASL OAUTHBEARER
argument in account.c. Add support for OAUTHBEARER to pop.

Fix pop_auth_oauth() mutt_from_base64() call from 1.10.1 release.

Remove uninitialized warning for mutt_get_stat_timespec().

The switch covers all the types, but in some cases the compiler still
complains.  Explicitly set tv_sec = 0 to silence the warning.

Support for using OAUTHBEARER for smtp.

This also means a bunch of smtp auth stuff is now compiled in by
default (with --enable-smtp) without having sasl

Initial support for OAUTHBEARER for IMAP.

Gmail supports RFC 7628 for using OAUTH with IMAP, and they really don't
like you using password based auth.  You can still enable "less secure
apps" and then generate an application specific password, but I figured it
was time to support it.

Being mutt, I punted on some of the "hard" work to an external script, ie
getting/refreshing the OAUTH tokens.  This avoids the issue of how do you
have a client-id and client-secret for an open source project, and the fact
that OAUTH discovery is still nascent, so you'd likely need separate things
for each of the providers.

At least for Gmail, you can use the oauth2.py script from Google's
gmail-oauth2-tools:
https://github.com/google/gmail-oauth2-tools/blob/master/python/oauth2.py

You'd need to get your own oauth client credentials for Gmail here:
https://console.developers.google.com/apis/credentials

Then, you'd use oauth2.py with --generate_oauth2_token to get a refresh
token, and configure mutt with:

set imap_authenticators="oauthbearer"
set imap_user="<email_address>"
set imap_pass=`/path/to/oauth2.py --quiet --user=<email_address>
--client_id=<client_id> --client_secret=<client_secret>
--refresh_token=<refresh_token>`

For this patch, I didn't add any new configuration, but I'm open to
suggestions on that.

The patch also only support SASL-IR to reduce round-trips to the server,
but it's certainly possible to change that if we think there are
OAUTHBEARER IMAP servers that don't support SASL-IR.  It also requires the
connection to be encrypted as the access token is re-usable for an hour or
so.  Again, Gmail only allows encrypted IMAP connections, not sure if any
OAUTHBEARER services allow non-encrypted.

Turns out that auth failure leaves you in SASL mode, so I have a hack to
issue a noop command on error.  Not sure if that's just OAUTHBEARER
oddness, or whether I should be using lower level mutt imap functions.

initialise timespecs

merge: upstream inotify

 * add feature file monitoring with Linux inotify
 * Change direct mutt_getch() callers to handle new mail event.
 * Add new timeout functions to work with inotify monitors.
 * Quick fix for ncurses buffering issue with inotify polling.
 * Move mutt_getch() timeout value into curs_lib.c
 * Convert context and buffy to use nanosecond timestamps.
 * Work around open mailbox monitor code check issue.
 * Fix MonitorContextDescriptor update on removal.
 * Reset all MonitorContext state on context removal.
 * tidy upstream changes

tidy upstream changes

Reset all MonitorContext state on context removal.

Reset both the descriptor and changed flag when the current context is
removed.  Don't make this dependent on the context being valid or
being found by monitor_resolve(), in case the context was closed due
to some type of error condition.

Fix MonitorContextDescriptor update on removal.

Reset the context descriptor before checking for the monitor being
shared by another mailbox.  Technically, it would be set properly
during the next add, but it shouldn't be left incorrect.

Work around open mailbox monitor code check issue.

The monitor code is too fast, and can result in all the changes for a
single directory stat update being missed.

Work around this issue by not recording stat time updates when the
check_mailbox() is triggered by the monitor.  This will cause the next
subsequent check to take another look.

Convert context and buffy to use nanosecond timestamps.

The inotify interface has an unfortunate side effect of making Mutt
react too quickly to new mail.  Sometimes, the mail is only
half-delivered when the mailbox is checked.  Because Mutt is using the
stat mtime - seconds resolution - this means it won't realize there
are more messages delivered during the same second.

Nanosecond resolution fields were standardized in POSIX.1-2008, so
check for and use those if they are available.

Move mutt_getch() timeout value into curs_lib.c

Change monitor.c to reference the curs_lib value, instead of
vice-versa.

We need to store the value for both monitor.c's poll and for
mutt_monitor_ch() to perform an initial non-blocking check of ncurses'
getch() buffer.

Quick fix for ncurses buffering issue with inotify polling.

Ncurses does its own buffering for some character sequences, notable
Esc-prefixed input.  Add a non-blocking check for getch() before
performing the mutt_monitor_poll() call.

This is a quick fix, which I'll clean up more later.

Add new timeout functions to work with inotify monitors.

The ncurses timeout() function doesn't affect the new poll inside
mutt_monitor_poll().  This meant that $imap_keepalive and $timeout
were not being respected when the monitor was used.

Create mutt_getch_timeout(), which delegates to timeout() and sets a
timeout value mutt_monitor_poll() uses too.

Change direct mutt_getch() callers to handle new mail event.

The inotify handler now returns -2 (timeout) on a new mail event.
Change the direct callers to ignore, so prompts aren't strangely
aborted.

Also, fix mutt_change_flag() to call mutt_refresh() before the
prompt.  Apparently ncurses getch() was doing this for us, but now
that we are polling STDIN instead, the prompt wasn't displaying.

add feature file monitoring with Linux inotify

merge: upstream fixes

 * Convert certificate prompts to show sha-256 instead of md5.
 * Fix typo
 * Clean up documentation link targets.
 * Change compress examples to type "example" rather than "sect4".

Change compress examples to type "example" rather than "sect4".

Clean up documentation link targets.

Move link targets for iconv-hook and sidebar_whitelist to the
beginning of a section, rather than a link embedded inside a command.

Fix typo

Convert certificate prompts to show sha-256 instead of md5.

Due to the length of the sha-256 fingerprint, split the output into
two lines.

Note that this change now requires OpenSSL 0.9.8+ [2005-07-05], and
GnuTLS 1.7.4+ [2007-02-05].

tidy upstream changes

merge: upstream fixes

 * crypt-gpgme: prevent crash on bad S/MIME signature
 * Void passphrase on s/mime decryption error
 * smime_handle_entity() cleanup
 * Mention $pgp_decode_command for $pgp_check_gpg_decrypt_status_fd
 * Minor documentation fix
 * Display matching new messages in a thread-limited index
 * Bug fix: reset ctx->vsize in update_index_unthreaded on reopened mailbox
 * Improved limit-to-all detection by skipping leading spaces of the pattern
 * Add ctx->vsize = 0 in a couple of places
 * Handle reopen/new_mail when closing mailbox in <imap-logout-all>
 * Skip sort in mbox_sync_mailbox() when new/reopen occurs
 * Add mx_ops.msg_padding_size to return the padding for a mx type
 * Add message padding to ctx->vsize computation
 * Fix AUXSORT usage in compare_spam
 * Fix -z and -Z options to work with IMAP
 * Create mutt_buffer_increase_size() function
 * Always check UID vs MSN when handling FETCH
 * Refactor out mutt_is_quote_line()
 * Don't match $abort_noattach_regexp on quoted lines
 * Remove legacy trim_incomplete_mbyte() in the pager
 * Remove compare_stat() call in safe_rename()
 * Display an error message if syncing fails
 * Change $query_format to use mutt_format_s
 * Fix alias documentation examples
 * Add additional error handling to safe_rename()
 * Remove extra lstats() in safe_rename() upon link success
 * Add compose-to-sender functionality.

Add compose-to-sender functionality.

This patch is loosely based on the NeoMutt feature, but adds in
support for the attach menu, reuses functionality in send.c, and has
proper mode checks.

Thanks to Enno for the opening the ticket requesting the port.

clang-format

Remove extra lstats() in safe_rename() upon link success

I originally kept the lstat()'s in order to make as few changes as
possible to the function.  However, Derek Martin argues correctly that
if we are trusting the link() 0-retval, the lstats are unnecessary and
in fact can cause a performance impact over NFS.

Add additional error handling to safe_rename()

It is apparently possible for link() to return an error but the link
to still be created.  Add a double check for that case.  If the files
match, unlink the src and return success.

Fix alias documentation examples

Thanks to Cody Brownstein for pointing out the problem.

Change $query_format to use mutt_format_s

Use the character-cell width functions so that multibyte output is
properly formatted.

Display an error message if syncing fails

Ticket 36 reported an issue where a maildir was removed while the
mailbox was opened.  Later, attempting to sync displayed the message
"Writing xxx...", which remained on the screen.  The reporter actually
thought mutt was frozen, but it was simply that on a sync error Mutt
wasn't clearing or updating the message window.

There is some error message handling for mbox.c check_mailbox, but I
don't think that is the right place to further propogate messages.
Instead, add an error to the same place the initial "Writing..."
message is created.

Remove compare_stat() call in safe_rename()

Some filesystems, such as sshfs, implement hard links strangely.  The
hard link is created, but is represented by a different inode number
by the sshfs layer.  The current maildir code goes into an infinite
loop in this case.  Remove the compare_stat() and trust that a link()
return code of 0 means the link really did get created.  Still, keep
the stats just as a minor check.

Remove legacy trim_incomplete_mbyte() in the pager

Commit 4b1deb57 added the trim_incomplete_mbyte() call, but at
that time, the function was using fgets() into a fixed-sized
buffer.  The function was passing in "blen - 1" to the size
parameter of fgets, so the check for blen-2 was to see if the
buffer was completely filled by the fgets.

Commit d39d9c0c converted to use a dynamic buffer, but the
trim_incomplete_mbyte() was left in.  It now serves no purpose
because the entire line will be read in.  Presumably the buggy
regexp lib should have been fixed by now too.

Don't match $abort_noattach_regexp on quoted lines

Refactor out mutt_is_quote_line()

This makes resolve_types() a tiny bit clearer, and will be usable by
$abort_noattach.

Always check UID vs MSN when handling FETCH

Ensure the UID vs MSN check is always done before flags are processed,
not just if the UID happened to appear before the FLAGS.

Improve the debug messages to make it clearer why a fetch response is
being skipped.

Create mutt_buffer_increase_size() function

This will allow preallocating buffers that we know are going to be
big for qresync support.

This will also be useful for buffer pools later on.

Fix -z and -Z options to work with IMAP

-Z did not work if $imap_passive was set (the default).  I think using
the option implies the desire to open a new connection and check
buffy at startup, so temporarily turn it off during the buffy.

-z was not hooked up for IMAP.  Change it to call imap_status().  This
also requires $imap_passive be unset, so temporarily turn the option
off too.

Fix AUXSORT usage in compare_spam

AUXSORT already checks if the first parameter is zero.

Additionally, the macro expands into more than one statement, so
putting inside an unbracketed if is misleading and generates a
warning on the latest gcc.

Fortunately, both statements checked if the first parameter was zero,
so no actual bug resulted.

Add message padding to ctx->vsize computation

Use the mx_msg_padding_size() from the previous commit to be more
precise about the correct vsize.

This avoids strange situations where all the message are displayed in
a limit, but the vsize is not equal to the size.

Add mx_ops.msg_padding_size to return the padding for a mx type

Mbox pads with a 1 byte, while mmdf pads with 10.  Because compress
depends on the child type, we create a mx_ops, which allows compress.c
to delegate to the child ops.

Skip sort in mbox_sync_mailbox() when new/reopen occurs

Callers of mx_sync_mailbox() and mx_close_mailbox() already check for
those cases and call update_index().  So remove the need_sort flag
setting when mbox_check_mailbox() returns new/reopen inside
mbox_sync_mailbox().

Handle reopen/new_mail when closing mailbox in <imap-logout-all>

Other callers, such as OP_QUIT, OP_MAIN_CHANGE_FOLDER, and
OP_MAIN_SYNC_FOLDER handle the case where a sync or close_mailbox
fails due to new mail or a reopen.

OP_MAIN_LOGOUT_ALL appears to have been accidentally missed.  Add a
call to update_index() to properly sort and update vcounts.

Add ctx->vsize = 0 in a couple of places

It is not clear whether this is needed, but in both cases, the old value
(if not 0) is obsolete. If there is a bug somewhere else about vsize, it
will be easier to notice it.

Improved limit-to-all detection by skipping leading spaces of the pattern

There are many equivalent limit-to-all patterns, but in practice, one
may want to limit to " ~A" in order to prevent the pattern from being
recorded in the history. Thus it is important to detect at least this
pattern and similar ones.

Bug fix: reset ctx->vsize in update_index_unthreaded on reopened mailbox

This fixes a bug observed when doing the following:
1. Start Mutt on some mailbox.
2. Limit the view.
3. Set sort by date (thus unthreaded).
4. Set $status_format to display the size of the messages shown (%L).
5. Copy a message matching the limit pattern to this mailbox.
6. With another Mutt instance, remove this message from this mailbox.
7. Move the cursor to update the view.
Result: one was getting a value equal to twice the initial size.

Display matching new messages in a thread-limited index

Previously, the index performed pattern matching first, and then
resorted new mail.  The problem was that thread-limiting patterns,
e.g. ~(pattern), require threading data to properly match against the
new messages.

We already save new messages for the purposes of uncollapsing threads.
To keep the code cleaner, split off update_index() into
update_index_threaded()/unthreaded().  Then for threaded mode, save
the new messages first.  We can then sort (before pattern matching),
and use the save_new array to pattern match the new messages
afterwards.

The $uncollapse_new loop was unnecessarily performing a n^2 search.
Simplify to just iteratate over the save_new instead.

Minor documentation fix

Mention $pgp_decode_command for $pgp_check_gpg_decrypt_status_fd

It scans $pgp_decode_command for inline and application/pgp mime
types.

smime_handle_entity() cleanup

Remove redundant NULL assignments after safe_fclose() calls.

Remove some trailing spaces.

smimeout can't be NULL, so remove the check around the output
translation block.

Void passphrase on s/mime decryption error

Model this after pgp's pgp_decrypt_part(), which checks if fpout is
empty.

crypt-gpgme: prevent crash on bad S/MIME signature

Inform the user about the fingerprint being unavailable instead
of crashing if the S/MIME signature is bad.

add lots of consts

merge: minor fixes

 * warn when logging at the highest level
 * boolify locals of mutt_select_file()
 * buf,buflen for menu_make_entry()
 * fix comment for nntp_expand_path()
 * doxygen: mailbox backends
 * doc: add maildir note for new mail feature
 * doxy: fix imap config descriptions

doxy: fix imap config descriptions

doc: add maildir note for new mail feature

doxygen: mailbox backends

fix comment for nntp_expand_path()

buf,buflen for menu_make_entry()

boolify locals of mutt_select_file()

warn when logging at the highest level

release build fixes

merge: simplify mx_mbox_open, mx_mbox_close

 * don't use mx_open's Context parameter
 * drop mx_open's Context parameter
 * free on mx_mbox_close

free on mx_mbox_close

drop mx_open's Context parameter

don't use mx_open's Context parameter

very minor fixes

- put listener prototype in the right header
- update list of message files
- fix comments

fix config error reporting

clean up on exit

Attempt to fix the code path to create a new mbox

Fix IMAP probe

merge: add path functions to mailbox API

 * add name and magic to MxOps
 * add MxOps:path_probe()
 * improve mutt_path_canon
 * stubs for mx_path_{canon,pretty}
 * add mutt_str_inline_replace()
 * delegate mx_path_canon()
 * factor Folder out of imap_pretty_mailbox
 * add mutt_path_abbr_folder
 * fill out mx_path_pretty()
 * improve mutt_path_parent
 * add MxOps:path_parent()
 * tidy mx
 * use mx_path_probe()
 * probe notmuch
 * probe nntp
 * probe pop
 * probe imap
 * probe maildir

probe maildir

probe imap

probe pop

probe nntp

probe notmuch

use mx_path_probe()

tidy mx

add MxOps:path_parent()

improve mutt_path_parent

fill out mx_path_pretty()

add mutt_path_abbr_folder

factor Folder out of imap_pretty_mailbox

delegate mx_path_canon()

add mutt_str_inline_replace()

stubs for mx_path_{canon,pretty}

Chase a coverity wraning by using the correct STAILQ macro

________________________________________________________________________________________________________
*** CID 187781:  Control flow issues  (DEADCODE)
/mutt/regex.c: 142 in mutt_regexlist_add()
136         mutt_buffer_printf(err, "Bad regex: %s\n", str);
137         return -1;
138       }
139
140       /* check to make sure the item is not already on this rl */
141       struct RegexListNode *np = NULL;
>>>     CID 187781:  Control flow issues  (DEADCODE)
>>>     Execution cannot reach the expression "np" inside this statement: "np = (np ? np : rl->stqh_fi...".
142       STAILQ_FOREACH_FROM(np, rl, entries)
143       {
144         if (mutt_str_strcasecmp(rx->pattern, np->regex->pattern) ==
0)
145           break; /* already on the rl */
146       }
147

improve mutt_path_canon

- Handle relative paths
- Lots of logging

add MxOps:path_probe()

add name and magic to MxOps

factor out struct MyVar

drop unused functions

fix Group's use of RegexList

merge: simple code refactoring

 * kill unnecessary != NULL
 * kill unnecessary == NULL
 * drop header-sized ifdefs
 * unify buf,buflen
 * unify buf,buflen, with reordering
 * kill assign-assign

kill assign-assign

unify buf,buflen, with reordering

unify buf,buflen

drop header-sized ifdefs

kill unnecessary == NULL