Support for using OAUTHBEARER for smtp.

This also means a bunch of smtp auth stuff is now compiled in by
default (with --enable-smtp) without having sasl

Initial support for OAUTHBEARER for IMAP.

Gmail supports RFC 7628 for using OAUTH with IMAP, and they really don't
like you using password based auth.  You can still enable "less secure
apps" and then generate an application specific password, but I figured it
was time to support it.

Being mutt, I punted on some of the "hard" work to an external script, ie
getting/refreshing the OAUTH tokens.  This avoids the issue of how do you
have a client-id and client-secret for an open source project, and the fact
that OAUTH discovery is still nascent, so you'd likely need separate things
for each of the providers.

At least for Gmail, you can use the oauth2.py script from Google's
gmail-oauth2-tools:
https://github.com/google/gmail-oauth2-tools/blob/master/python/oauth2.py

You'd need to get your own oauth client credentials for Gmail here:
https://console.developers.google.com/apis/credentials

Then, you'd use oauth2.py with --generate_oauth2_token to get a refresh
token, and configure mutt with:

set imap_authenticators="oauthbearer"
set imap_user="<email_address>"
set imap_pass=`/path/to/oauth2.py --quiet --user=<email_address>
--client_id=<client_id> --client_secret=<client_secret>
--refresh_token=<refresh_token>`

For this patch, I didn't add any new configuration, but I'm open to
suggestions on that.

The patch also only support SASL-IR to reduce round-trips to the server,
but it's certainly possible to change that if we think there are
OAUTHBEARER IMAP servers that don't support SASL-IR.  It also requires the
connection to be encrypted as the access token is re-usable for an hour or
so.  Again, Gmail only allows encrypted IMAP connections, not sure if any
OAUTHBEARER services allow non-encrypted.

Turns out that auth failure leaves you in SASL mode, so I have a hack to
issue a noop command on error.  Not sure if that's just OAUTHBEARER
oddness, or whether I should be using lower level mutt imap functions.

Move mutt_getch() timeout value into curs_lib.c

Change monitor.c to reference the curs_lib value, instead of
vice-versa.

We need to store the value for both monitor.c's poll and for
mutt_monitor_ch() to perform an initial non-blocking check of ncurses'
getch() buffer.

Spelling mistake in debug message.

Missing void in mutt_set_current_menu_redraw_full prototype

Give a prototype for mutt_monitor_poll

Quick fix for ncurses buffering issue with inotify polling.

Ncurses does its own buffering for some character sequences, notable
Esc-prefixed input.  Add a non-blocking check for getch() before
performing the mutt_monitor_poll() call.

This is a quick fix, which I'll clean up more later.

Merge branch 'stable'

Add GnuPG status fd checks for inline pgp.

The difficulty is that "BEGIN PGP MESSAGE" could be a signed and
armored part, so we can't fail hard if it isn't encrypted.

Change pgp_check_decryption_okay() to return more status codes, with
>=0 indicating an actual decryption; -2 and -1 indicating plaintext
found; and -3 indicating an actual DECRYPTION_FAILED status code seen.

Fail hard on -3, but change the message for -2 and -1 to indicate the
message was not encrypted.

Merge branch 'stable'

Add $pgp_check_gpg_decrypt_status_fd.

If set (the default) mutt performs more thorough checking of the
$pgp_decrypt_command status output for GnuPG result codes.

Ticket #39 revealed that GnuPG (currently) does not protect against
messages that have been manipulated to contain an empty encryption
packet followed by a plaintext packet.

A huge thanks to Marcus Brinkmann for researching this issue, taking
the time to report it to us (and the GnuPG team), and taking even more
time to clarify exactly what needed to be checked for.   

Add new timeout functions to work with inotify monitors.

The ncurses timeout() function doesn't affect the new poll inside
mutt_monitor_poll().  This meant that $imap_keepalive and $timeout
were not being respected when the monitor was used.

Create mutt_getch_timeout(), which delegates to timeout() and sets a
timeout value mutt_monitor_poll() uses too.

Merge branch 'stable'

Revert showing real size for small files in mutt_pretty_size().

I thought the change made in 0fa64ba9 was small enough not to matter,
but at least one long-time user took the time to track down the change
and request it be reverted.

Merge branch 'stable'

Switch build scripts to use `` instead of $()

This is for older systems running Bourne shell as /bin/sh.

Change direct mutt_getch() callers to handle new mail event.

The inotify handler now returns -2 (timeout) on a new mail event.
Change the direct callers to ignore, so prompts aren't strangely
aborted.

Also, fix mutt_change_flag() to call mutt_refresh() before the
prompt.  Apparently ncurses getch() was doing this for us, but now
that we are polling STDIN instead, the prompt wasn't displaying.

add feature file monitoring with Linux inotify

Correct spelling mistakes.

Merge branch 'stable'

fix inappropriate use of FREE() in ssl init error path

OpenSSL structures need to be freed with dedicated functions.

Remove mutt_buffer_new() NULL retval checks.

It will fail, rather than return NULL.

Further clean up imap_new_data() since it also had NULL checks for
safe_calloc() that shouldn't happen.

Fix mutt_strncmp size comparison for 'uncolor header'.

Thanks to Fabian Groffen for pointing out the discrepancy.

mutt_extract_token() null-terminates the token,, so actually there is
no need to use "strncmp" for the comparison in this case.

However, since the token is being checked against Fields there is no
potential harm of a prefix match, so we should fix the number to be
consistent with the other token comparisons.

automatic post-release commit for mutt-1.10.0

Updated Catalan translation.

Updated Japanese translation.

fr.po: updated Project-Id-Version and removed old translations.

Updated German translation.

Signed-off-by: Olaf Hering <olaf@aepfle.de>

Note that $pgp/smime_self_encrypt now default to set.

Add note about libidn2 v2.0.0 or greater to UPDATING file.

Updated Russian translation.

Updated Ukrainian translation.

Add declaration checks for libidn2.

The libidn compatibilty layer was only added in version
2.0.0 (2017-03-29).  idn2.h defines macros, so use AC_CHECK_DECL
instead of AC_CHECK_FUNC.

$with_idn2 doesn't have an "auto" state, so remove a few unneeded
copy/paste checks from idn.

Updated Czech translation.

Update the UPDATING file for 1.10.0.

Updated Danish translation.

Updated Simplified Chinese translation.

Updated French translation.

Add echo command.

Prints messages using mutt_message().  Sets OPTFORCEREFRESH to allow
updates in the middle of a macro.

Calls mutt_sleep(0) to pause for $sleep_time seconds after displaying
the message.

Missing comma.

Update copyright notices.

Update pattern documentation.

Note that ~b, ~B, ~h, ~M, and ~X read the message in, and that this
can be much slower.

Change =b, =B, =h table rows to document just the IMAP behavior.  The
"=" simple string behavior is already covered below, and makes it less
obvious whether "***)" should be added to those entries in the table.

Break up the simple string and imap server-side matching explanation
into two paragraphs.

Add ~M to the list of patterns you can't use message scoring with.

Add equivalent, if briefer, explanations to the muttrc.man page.

Add ~M pattern to match mime Content-Types.

Add more explanation of known vs subscribed lists to manual.

Mention in both the "Mailing Lists" and "Handling Mailing Lists"
sections the difference between known and subscribed mailing lists.

Note that the Mail-Followup-To header is generated if any of the
recipients are known mailing lists.  If any of those are subscribed
mailing lists, the sender's address will not be in the header.  If all
of them are known (but not subscribed), the sender's address will be
added to the header.

Updated French translation.

Add Error History function and config var.

<error-history>, by default unbound, shows a list of the recent error
messages displayed by Mutt via mutt_message() or mutt_error().

$error_history sets the size of the history ring.

For now, I've decided to include mutt_message() messages too.  If this
is too chatty, we can restrict it to mutt_error() easily in the
future.

Updated French translation.

Add $sort_browser options for count and unread.

Add $browser_abbreviate_mailboxes.

This allows '=' and '~' mailboxes shortcuts to be turned off in the
browser mailbox list.

The default $sort_browser value of "alpha" uses strcoll(3), which
ignores some punctuation.  When using multiple accounts with
dynamically changing values of $folder, this can lead to an
unintuitive sorting order.  (See issue #22 for an example.)

This problem came about because of commit 8328ce68, which enabled
mutt_pretty_mailbox() calls for IMAP and POP mailboxes too.  The
commit had a valid point about consistency and too-wide mailbox
listings, so I don't really want to revert it.

This option provides an alternative to completely enable/disable the
shortcuts for those who run into an issue.

Fix mkreldate.sh in master to use [-r] test too.

Merge branch 'stable'

Switch to using [ -r ] in version.sh for Bourne shell compatibility.

Thanks to Paul Keusemann for pointing out the issue.

Add a comment in auth_gss about RFCs and null-termination.

Add libidn2 support

Merge branch 'stable'

automatic post-release commit for mutt-1.9.5

Merge branch 'stable'

Improve gss debug printing of status_string.

Commit f52ee2f7 ensured the debug strings were properly '\0'
terminated.  However, it did not prevent the strncpy from reading past
the end of the status_string.value data; it simply capped it
afterwards.  Improve the code so it only reads up to
status_string.length without overwriting the buffer.

Merge branch 'stable'

Remove trailing null count from gss_buffer_desc.length field.

RFC 2744 section 3.2.2 clearly states that trailing NULL characters
are not to be included in the length field, and are not to be assumed
to be present in the value field.

Thanks to Greg Hudson, who recently debugged this same issue with
fetchmail, and kindly took the time to look at Mutt's code too.

Merge branch 'stable'

Rename _regex.h to _mutt_regex.h to avoid name collision on Macs.

On Macs, <regex.h> includes <_regex.h>.  Because Mutt defines '-I .'
during compilation, our bundled version of _regex.h was being used
instead of the system one.

I have no idea how it managed to work before, but starting in Xcode
9.3, the differences in struct size and fields started to produce a
crash and other strange behavior.

The real issue is our use of '-I .' during compilation, which allows
our local headers to override system ones.  An easier fix for now is
to rename the header.

Many thanks to Charles Diza, Christian Ebert, and Fabian Groffen for
their help trying things out and helping to debug the problem.

Also, a huge thanks to Steve Karmeinsky for allowing me to ssh in to
his Mac so I could track down the underlying issue.

Merge branch 'stable'

configure: check for tinfo matching ncurses

When we selected ncursesw, look for tinfow as well.  Since ncurses-6.1
the binary compatibility between tinfo and tinfow disappeared, resulting
in crashes and other odd behaviour.

This change checks for tinfo or tinfow based on which ncurses we found
to continue with.

https://bugs.gentoo.org/651552

[Thanks to Fabian Groffen for the patch.  I made a minor modification
to fall back to tinfo because pre-6.1 systems may not have a tinfow
but still need tinfo to compile.]

Updated Polish translation.

pager specifc "show incoming mailboxes list" macro

Exiting the pager before change-folder avoids 'Not available in this
menu' error when selecting a different entry in some circumstances.

Increase account.user/login size to 128.

Like the pass field in commit 52949004, the existing size was
insufficient for the reporter of issue #18.  For now, just bump up the
size, but I'll move up looking into making these dynamically sized.

Remove dead code in pgp.c

pgp_extract_keys_from_messages() has been subsumed by
crypt_extract_keys_from_messages().  The function had incorrect
multi-bit flag comparisons, but since it's dead code, remove it
instead.

Fix comparison of flags with multiple bits set.

PGPENCRYPT, PGPKEY, SMIMEENCRYPT, and SMIMEOPAQUE are all combination
flags, with multiple bits set.  In a few places these flags were
bitwise-and'ed incorrectly: expecting a non-zero result to indicate
all the bits in the flag were set.  Change those to explicitly compare
the result against the original flag.

Updated French translation.

Change prompt string for $crypt_verify_sig

Thanks to Michael Tatge for pointing out that the prompt is used for
both PGP and S/MIME.

Merge branch 'stable'

Fix s/mime non-detached signature handling.

This fix is based on stbuehler's patch from
https://dev.gnupg.org/T2919.

Recent versions of gpgme seem to terminate the connection for a
protocol error.  stbuehler's analysis is that this is actually a
gpgme bug, but recreating the context works around the problem.

Change mutt_error call in mutt_gpgme_set_sender() to dprint.

The message is not an error message, and flies by so quickly it has
little informative content.  Change it to use dprint instead.

Thanks to Darac Marjal for reporting the issue.

Updated French translation.

Improve the error message when a signature is missing.

Thanks to Vincent Lefèvre for reporting the issue and for the wording
suggestion!

Updated French translation.

Add $abort_noattach and $abort_noattach_regexp options.

$abort_noattach_regexp is matched against the body of a message.  If
so, the $abort_noattach quadoption is used to prompt whether to abort
sending.

Thanks to Antonio Radici for bringing the original version of the
patch to our attention, which he pulled from
https://github.com/tlvince/pkgbuild/blob/master/mutt-kiss/mutt-attach.patch

This version was rewritten to use a regexp, to fix a few issues, and
to better fit in with Mutt styles and conventions.

Merge branch 'stable'

automatic post-release commit for mutt-1.9.4

Merge branch 'stable'

Add subjectrx section to the muttrc man page.

Fix subjectrx example in the manual.

Avoid a potential integer overflow if a Content-Length value is huge.

Merge branch 'stable'

Fix is_from() year parsing to abort on year overflow.

Unlike mutt_parse_date(), is_from() was not checking for overflow, and
could end up passing a negative year to mutt_mktime().

It should perhaps be changed to use mutt_atoi(), which does better
range checking, but that requires mutt_atoi() being changed to allow
trailing characters and its callers return value checks being
updated.  I'll put that on the todo list.

Cap parsed years at 9999 when converting to time_t.

Large year values, even those less than INT_MAX, apparently can cause
gmtime() and localtime() to return NULL.  Mutt needs larger changes
checking and handling those errors, but this will prevent the
immediately triggerable issue.

Improve index color cache flushing behavior.

Flush when redefining the colors for an existing color line, in
addition to when defining a new color line.

Flush only when uncoloring the index.

Avoid a potential integer overflow if a Content-Length value is huge.

Change mkreldate.sh to use the UTC date with git, so that it is increasing.

Fix document version and date for git build.

Change mkreldate.sh to output just the date, so it can be used in the
manual too.

Use git to generate the release date if available.

For now, fall back to the ChangeLog.  Perhaps the release date should
be generated from a file, similar to VERSION, for those cases instead.

Add a blank line between the compile options and the contact info for mutt -v

Updated French translation.

Put gitlab issues url on a separate line.

This removes the need to use brackets, and makes it easier for
translations to fit within 80 columns.

Thanks to Derek Martin for the suggested wording, and to Vincent
Lefèvre for proofreading and noticing a small error.

Fix history menu title.

Remove an accidental leading space.  Thanks to Vincent Lefèvre for
noticing the problem and providing a patch!

Updated French translation.

Add history-search function, bound to ctrl-r.

Create a very basic "search history" functionality in the line editor.
It uses the current input, and searches backward through history.  If
there is one match, it immediately uses that otherwise it pops up a
simple menu of matches.

Merge branch 'stable'

Add stub flea and muttbug scripts back.

It was rightfully pointed out that the removal was too abrupt.  These
programs have been around for a long time, and many internet searches
still say to use them for reporting bugs.

Add stub versions which inform to use the gitlab url instead.