Index: try description when changing mailboxes

Mailbox: find mailbox by description

Introduce `mutt_find_mailbox_desc()`, which takes a pointer to a
description, and tries to find a mailbox that corresponds to it.

With the introduction of `named-mailboxes` and removal of
`virtual-mailboxes` special cases, users may prefer to operate with
descriptions instead of (potentially) ugly paths. We can no longer
assume that a buffer is a path and require a method to find by
description.

This is not included as an `mxapi` function since `desc` is common to
all mailboxes so the backends do not need implement their own function.

Index: try description when changing mailboxes

Since mailbox descriptions are more prevalent with `named-mailboxes` and
`virtual-mailbox` special cases being removed, some users will try to
change folders with a description instead of a path.

This commit modifies `main_change_folder()` to look for a mailbox with a
given description if path probing fails.

demote 'last message' errors to messages

These error messages were annoying:
- You are on the last message
- You are on the first message
- Top of message is shown
- Bottom of message is shown

solarized dark color scheme: Remove outdated comment about ncurses

slang is no longer a requirement for proper colors, one likely related fix is

commit a7102c721893d6a6fc33a8e9590f99c450e9fe9e
Author: Fabrice Bellet <fabrice@bellet.info>
Date:   Fri Aug 4 21:16:53 2017 +0200

    color: call use_default_colors() in a single location

    we call use_default_colors() when parsing colors in rc files only, and
    unconditionally when defining the color of the tree element, because the
    foreground color of the tree element may be combined dynamically with
    the default background color of another element, not explicitely defined
    in an rc file. This patch fixes a bug visible with some versions of the
    ncurses library: use_default_colors() was used too late, and generated
    color leakage effects. (#689)

-> colors look fine on Fedora 28 with ncurses backend. The comment about slang
was in there since the first submission to git in early 2017.

Fix use of uninitialized memory in mutt_parse_unmailboxes()

The buffer 'tmp' is not initialized when clearing all mailboxes,
therefore don't try to use it in mutt_str_strcasecmp().

The issue was uncovered when switching between different accounts,
"unvirtual-mailboxes *" sometimes cleared regular mailboxes, too.

Important bits from the config:

-----------------------------------
unmailboxes *
mailboxes "+INBOX"

unvirtual-mailboxes *
virtual-mailboxes "virtual INBOX" "notmuch://?query=folder:INBOX%20not%20tag:spam%20not%20tag:archive"
-----------------------------------

-> normal "INBOX" sometimes gets cleared.

valgrind backtrace of the issue without the patch:
==223072== Use of uninitialised value of size 8
==223072==    at 0x593E823: tolower (in /usr/lib64/libc-2.27.so)
==223072==    by 0x4C32BC5: strcasecmp (vg_replace_strmem.c:693)
==223072==    by 0x43FFEB: mutt_parse_unmailboxes (mailbox.c:500)
==223072==    by 0x43B134: mutt_parse_rc_line.part.18 (init.c:3145)
==223072==    by 0x43B42B: mutt_parse_rc_line (init.c:3120)
==223072==    by 0x43B42B: source_rc (init.c:823)
==223072==    by 0x43B93A: parse_source (init.c:1845)
==223072==    by 0x43B134: mutt_parse_rc_line.part.18 (init.c:3145)
==223072==    by 0x43B42B: mutt_parse_rc_line (init.c:3120)
==223072==    by 0x43B42B: source_rc (init.c:823)
==223072==    by 0x43C1B2: mutt_init (init.c:3045)
==223072==    by 0x406EB0: main (main.c:688)

The same problem is also present in the official neomutt 2018-07-16,
I've forward-ported and tested the fix for git HEAD.

The code was slightly refactored to be more readable.

rename menu.h back to mutt_menu.h

The short name causes a clash with ncurses on MacPort.

imap: command: Adds unique sequence IDs

This patch adds support for unique sequence IDs to be logged. Each
new imap account is assigned an ID letter (seqid) which increments
to the next letter (and wraps at 'z') each time a new imap account
is created.

Signed-off-by: Mark Stenglein <mark@stengle.in>

Add $auto_subscribe variable.

When set, it automatically subscribes to mailing lists found in
List-Post headers.

This commit is based on Michael Elkins's patch from the thread
<https://marc.info/?l=mutt-users&m=127076105423565&w=2>.

I've added an opt-in variable $auto_subscribe and a hash table cache
to speed up reading headers when the variable is set.

Co-authored-by: Austin Ray <austin@austinray.io>

manual: Fix small typo

pager: prevent negative index

light tidy

Fix mistaken hdrs -> email

Search & replace was a bit too enthusiastic, causing some config files
to become invalid, and giving an invalid example.

refactor hash

light tidying

imap: remove ImapCache

The ImapCache is useless since it's used only when we fail bcache.
And this is not really expected.

mbox: allow non-file mailboxes

We disallow directories, but allow files or other devices.
This means we can run `neomutt -f /dev/null` again.

mxapi: fix creation of new mailboxes

mbox: fix dodgy stat buffer

fix email macros

mailbox: rename hdrmax to email_max

mailbox: rename hdrs to emails

mxapi: remove Context from mbox_close()

imap: Don't use Context in imap_mbox_close

imap: Move Context to ImapMboxData

nntp: fix hcache unterminated string

build: add -lgpg-error to gpgme build

Fixes #1493

Fix double evaluation of mutt_escape_path() inside a macro

doc: fix echo example

contrib: add mairix_filter.pl

Sample implementation of external search filter (mairix)

Pass current folder to external search tool

Or "/", if needed

Move escape_path to the library

Also, make its source argument const

imap: use imap_mailbox_status() in imap_mbox_check_stats()

This change calls imap_mailbox_status() instead of imap_status()
in imap_mbox_check_stats() as we known the Mailbox.

This also add more sanity check in imap_mailbox_status().

Fix possible smime crash if the read mime header p is NULL.

Fix memory leak in smime.c.

smime_application_smime_handler() was not freeing the BODY returned by
smime_handle_entity().

docs: strip out fake curly quotes in comments

minor code tidying

boolify variables
make function static
fix translation typo

merge: refactor GroupContext to GroupList

 * Convert GroupContext to use STAILQ
 * Rename Group-related structures
 * Move group.[ch] to mutt/
 * Sort functions prototypes
 * Get rid of global variable
 * Explicitly allocate/free Groups memory
 * Simplify the API when we cannot fail
 * Tidy API: s/group_context/grouplist/

Tidy API: s/group_context/grouplist/

Simplify the API when we cannot fail

Explicitly allocate/free Groups memory

Get rid of global variable

Sort functions prototypes

Move group.[ch] to mutt/

Rename Group-related structures

Convert GroupContext to use STAILQ

merge: imap refactoring

 * imap_expunge_mailbox use m instead of adata->mailbox
 * move some functions Mailbox
 * imap_fix/cache_path don't need ImapAccountData
 * use Mailbox in imap_sync_message_for_copy()
 * Change more functions with Mailbox

imap: Change more functions with Mailbox

make_msg_set()
imap_exec_msgset()
sync_helper()

imap: use Mailbox in imap_sync_message_for_copy()

imap: imap_fix/cache_path don't need ImapAccountData

imap: move some functions Mailbox

To increase readability some functions take Mailbox instead of
ImapAccountData.

* imap_read_headers()
* imap_set_flags()
* imap_cache_del()
* imap_cache_clean()
* imap_cache_put()
* msg_cache_commit()

imap: imap_expunge_mailbox use m instead of adata->mailbox

imap: ensure '\0' and INBOX are the same Mailbox

INBOX and '\0  was considered as different mailbox. But when '\0' was
opened, the path/realpath was updated to "INBOX".

This change fixes m->path, m->realpath at the beginning to ensure INBOX
and '\0' are the same Mailbox.

Related #1486

mx: share code between ac_find implementations

All mx_ops->ac_add() do almost the same thing.

Just move the common code to mx_ac_find()

mx: Ensure mailbox is always added to Account->mailboxes

Currently if the user open a mailbox not in AllMailboxes.
We create a HIDDEN Mailbox and find an account with mx_ac_find().

In this case mx_ac_add is not called and the new Mailbox is not
added to the account.

Also some notmuch, pop and imap specific setup is not done.

This change fixes this

Close #1486

Add new pattern type ~I for external searches

Call external commands, like mairix, to perform searches of the index.

add consts

Prevent $charset from having multiple values

merge: upstream fixes

 * Prevent trying to match a failing color body regex repeatedly
 * Fix QRESYNC crash after a large number of VANISHED messages
 * Improve pgp error message for translation
 * Add SENDER to default list of IMAP headers
 * Document Sender header as a default in $imap_headers
 * Deprecate TLS 1.0 and 1.1 by default
 * Enhance docs re security of SSL/TLS version vars
 * Fix compilation without deprecated OpenSSL 1.1 APIs
 * Add mutt_buffer_addstr_n()
 * Adjust version number comment in gpgme
 * Fix classic gpg date parsing in list-keys
 * Add note about the second --with-fingerprint to gpg.rc

Add note about the second --with-fingerprint to gpg.rc

Fix classic gpg date parsing in list-keys

GnuPG changed the format of their --with-colons output in 2.0.10.
Dates are now seconds since epoch.  Update the parse_pub_line() code
to detect the new format.

The GnuPG changes also separated pub and the first uid.  Since mutt
allows an empty uid field, the output is a bit less friendly now, with
an initial key without an uid.  I think that's acceptable, but
eventually we'll want to change the parsing behavior.

Adjust version number comment in gpgme

Add mutt_buffer_addstr_n()

Fix compilation without deprecated OpenSSL 1.1 APIs

Enhance docs re security of SSL/TLS version vars

Deprecate TLS 1.0 and 1.1 by default

Fixes #101.

Minor digit of version number has been bumped per [Semantic Versioning
2.0.0](https://semver.org/spec/v2.0.0.html) §7:

> Minor version Y (x.Y.z | x > 0) MUST be incremented if ... any public
> API functionality is marked as deprecated.

Document Sender header as a default in $imap_headers

Add SENDER to default list of IMAP headers

This header is matched by the ~e and ~L patterns.  Those patterns
should work without the user having to know to add Sender to the list
of $imap_headers.  This was probably just an oversight.

Improve pgp error message for translation

The past tense phrase makes it unclear whether the error is about a
failed action or the state of the message.

Thanks to Vincent Lefèvre for the improved wording suggestion.

Fix QRESYNC crash after a large number of VANISHED messages

When handling QRESYNC vanished, imap_expunge_mailbox() was called to
empty out the messages.  Various counters, including vcount are
updated by the mx_update_tables() after the expunge.

These counters need to be reset, because mx_update_context() will do
so once again at the end of reading new headers.  This can cause an
out of bounds access in v2r.

Prevent trying to match a failing color body regex repeatedly

Emails with really long lines (e.g. spam), can suffer performance if a
complicated regex is matched to no effect over and over.  If the regex
failed at the beginning, it won't match at the end of another's regex
match range, so turn it off.

clang-format

merge: document all the globals

 * globals: upper case
 * drop duplicate externs
 * doxy: rename config pages
 * doxy: fix header
 * doxy: document menus
 * doxy: doc globals
 * doxy: add pages

doxy: add pages

doxy: doc globals

doxy: document menus

doxy: fix header

doxy: rename config pages

drop duplicate externs

globals: upper case

globals: upper case

globals: upper case

imap: imap_expunge_mailbox should take Mailbox as argument

imap: always use mdata/adata getter

imap: remove useless imap_check

imap_check_mailbox and imap_check are the same with different signature.

This change just use the one signature everywhere.

imap: always set mdata

imap_prepare_mbox is called everywhere now.

So this change just set mdata when the mailbox is added.

mbox_check_stats: fix MailboxCount

The new mbox_check_stats work well, but MailboxCount was not correctly
updated.

This change fixes that.

reset notmuch Mailbox->size on opening

previous behaviour: size was not reset. This resulted in mailbox size to
accumulate on each mailbox reopening, hence displaying incorrect mailbox
size information in the status bar.

new behaviour: size is reset to zero.

steps to replicate previous behaviour: open neomutt with vfolder. Press
space to refresh vfolder (open from sidebar) several times. Mailbox size
in the status bar accumulates.

Try to fix the mbox_check_stats() merge

merge: mxapi: add mbox_check_stats()

 * mxapi: add mbox_check_stats()
 * imap: use mbox_check_stats()
 * mbox: use mbox_check_stats()
 * notmuch: use mbox_check_stats()
 * maildir: use mbox_check_stats()
 * maildir: tidy maildir_check_dir()

maildir: tidy maildir_check_dir()

maildir: use mbox_check_stats()

notmuch: use mbox_check_stats()

mbox: use mbox_check_stats()

imap: use mbox_check_stats()

mxapi: add mbox_check_stats()

merge: upstream GPGME improvements

 * Require GPGME version 1.2.0 and drop useless HAVE macros.
 * Always use the gpgme_new wrapper in crypt-gpgme.
 * Try to avoid creation of temp. directory for key import.
 * Improve the console output for extract-keys and speed up import.

Improve the console output for extract-keys and speed up import.

The listing of imported keys to the console must have stopped working
on 2014-12-31 due to a fix for bug #3698, commit
bbc5acb6de0ca56d7e8366402d68a1a919ca9b23 which was needed due to a
not fully working stub code introduced in 2008 with commit
a4b3a60dd63bc7af7927025b2d1344530ca89aa9.

The latter commit also introduced a bug in the import code which
listed all keys in the keyring to a temporary file and copied that one
to stdout.  The former commit avoided the output to stdout.

The fix here is to use pgp_gpgme_extract_keys only for extracting
information about the key and don't re-use the same code for importing
keys.  We now import the keys directly in pgp_gpgme_invoke_import and
we print the fingerprint and status flags for all imported keys.  That
information available from GPGME for ages (0.3.1 from 2003).
The user id is unfortunately not printed; that would require a lookup
of the newly imported key.  Can be done with another patch.

Try to avoid creation of temp. directory for key import.

Since gpgme 1.9.0 it is possible to list keys directly from a file
without importing it into gpg' own keyring.  This patch implements
this in a backward compatible way.

Unfortunately we need to check for a suitable gpgme version at build
time and also for a suitable gpg version at runtime.  This is
implemented by a version check which requires to call or include code
taken from libgpg-error (aka gpgrt).  However this library is anyway a
dependency of gpgme and thus does not pose any extra burden.

The functions parse_version_number, parse_version_string, and
cmp_version_strings are taken from libgpg-error's repo at 2018-11-20.
Libgpg-error is distributed under the LGPL-2.1-or-later.

Always use the gpgme_new wrapper in crypt-gpgme.

The wrapper is much more convenient and there is no need to sometimes
use gpgme_new directly.  The perceived advantage on not bailing out in
an out-of-core condition is not realistic because other small amounts
of memory are allocated all over mutt anyway and thus function will
terminate the process as well.

This patch also changes the minimum version of gpgme to 1.4.0.  This
is so that we can always pass NULL to functions like gpgme_release.
Further 1.4.0 has new functions which we may soon like to use.

Require GPGME version 1.2.0 and drop useless HAVE macros.

GPGME 1.2.0 was released nearly 10 years ago and thus we can really
demand this version.  For various reasons it would be advisable to
require a decent version but that is a different thing and needs to be
done in a separate patch.

HAVE_GPGME_OP_EXPORT_KEYS and HAVE_GPGME_PKA_TRUST are not anymore
needed because they are supported by that GPGME version.

Rename crypto_chars to crypt_chars (plus implementation stuff) for consistency