add ICommand for new :ex-style commands

These are needed for the new summary tables feature
(and inspired by the Command lookup table in init.c)

added: ICommand wrapper / lookup table allowing easy addition of new
informational commands that will not be parsed in .muttrc files and
override any existing rc-line commands when executed in mutt.

added: hook in mutt_enter_command in command.c to integrate new
ICommands facility

Issue #162

mbox: quieten probing

merge: Tidy the command parsing functions

 * Created enum to group command_t return codes
 * Change errors to warnings where applicable

Change errors to warnings where applicable

Created enum to group command_t return codes

Old return codes have been replaced by the enum ones
in init.c, but other files have functions that must be
changed too.

clang-format

fix: mutt/charset.c: only include libintl.h if ENABLE_NLS is defined

notmuch: make sure nm_db_longrun_done() release DB

Since commit 1cdfc0da08e09b1756a7b4d422996e907c4390d0 the function
nm_db_release() does not release DB if long-run state is enabled.
This change make code more readable and shorter.

Unfortunately, nm_db_release() is called from nm_db_longrun_done(), so
after the change the function nm_db_longrun_done() is no-op and long
transaction never finish. It means:

 - changes are not committed the database
 - after mutt restart old state (tags) is read from DB
 - mismatch between notmuch tags and maildir filenames

This commit disables long-run state in nm_db_longrun_done() before
nm_db_release() is called.

Index: try description when changing mailboxes

Mailbox: find mailbox by description

Introduce `mutt_find_mailbox_desc()`, which takes a pointer to a
description, and tries to find a mailbox that corresponds to it.

With the introduction of `named-mailboxes` and removal of
`virtual-mailboxes` special cases, users may prefer to operate with
descriptions instead of (potentially) ugly paths. We can no longer
assume that a buffer is a path and require a method to find by
description.

This is not included as an `mxapi` function since `desc` is common to
all mailboxes so the backends do not need implement their own function.

Index: try description when changing mailboxes

Since mailbox descriptions are more prevalent with `named-mailboxes` and
`virtual-mailbox` special cases being removed, some users will try to
change folders with a description instead of a path.

This commit modifies `main_change_folder()` to look for a mailbox with a
given description if path probing fails.

demote 'last message' errors to messages

These error messages were annoying:
- You are on the last message
- You are on the first message
- Top of message is shown
- Bottom of message is shown

solarized dark color scheme: Remove outdated comment about ncurses

slang is no longer a requirement for proper colors, one likely related fix is

commit a7102c721893d6a6fc33a8e9590f99c450e9fe9e
Author: Fabrice Bellet <fabrice@bellet.info>
Date:   Fri Aug 4 21:16:53 2017 +0200

    color: call use_default_colors() in a single location

    we call use_default_colors() when parsing colors in rc files only, and
    unconditionally when defining the color of the tree element, because the
    foreground color of the tree element may be combined dynamically with
    the default background color of another element, not explicitely defined
    in an rc file. This patch fixes a bug visible with some versions of the
    ncurses library: use_default_colors() was used too late, and generated
    color leakage effects. (#689)

-> colors look fine on Fedora 28 with ncurses backend. The comment about slang
was in there since the first submission to git in early 2017.

Fix use of uninitialized memory in mutt_parse_unmailboxes()

The buffer 'tmp' is not initialized when clearing all mailboxes,
therefore don't try to use it in mutt_str_strcasecmp().

The issue was uncovered when switching between different accounts,
"unvirtual-mailboxes *" sometimes cleared regular mailboxes, too.

Important bits from the config:

-----------------------------------
unmailboxes *
mailboxes "+INBOX"

unvirtual-mailboxes *
virtual-mailboxes "virtual INBOX" "notmuch://?query=folder:INBOX%20not%20tag:spam%20not%20tag:archive"
-----------------------------------

-> normal "INBOX" sometimes gets cleared.

valgrind backtrace of the issue without the patch:
==223072== Use of uninitialised value of size 8
==223072==    at 0x593E823: tolower (in /usr/lib64/libc-2.27.so)
==223072==    by 0x4C32BC5: strcasecmp (vg_replace_strmem.c:693)
==223072==    by 0x43FFEB: mutt_parse_unmailboxes (mailbox.c:500)
==223072==    by 0x43B134: mutt_parse_rc_line.part.18 (init.c:3145)
==223072==    by 0x43B42B: mutt_parse_rc_line (init.c:3120)
==223072==    by 0x43B42B: source_rc (init.c:823)
==223072==    by 0x43B93A: parse_source (init.c:1845)
==223072==    by 0x43B134: mutt_parse_rc_line.part.18 (init.c:3145)
==223072==    by 0x43B42B: mutt_parse_rc_line (init.c:3120)
==223072==    by 0x43B42B: source_rc (init.c:823)
==223072==    by 0x43C1B2: mutt_init (init.c:3045)
==223072==    by 0x406EB0: main (main.c:688)

The same problem is also present in the official neomutt 2018-07-16,
I've forward-ported and tested the fix for git HEAD.

The code was slightly refactored to be more readable.

rename menu.h back to mutt_menu.h

The short name causes a clash with ncurses on MacPort.

imap: command: Adds unique sequence IDs

This patch adds support for unique sequence IDs to be logged. Each
new imap account is assigned an ID letter (seqid) which increments
to the next letter (and wraps at 'z') each time a new imap account
is created.

Signed-off-by: Mark Stenglein <mark@stengle.in>

Add $auto_subscribe variable.

When set, it automatically subscribes to mailing lists found in
List-Post headers.

This commit is based on Michael Elkins's patch from the thread
<https://marc.info/?l=mutt-users&m=127076105423565&w=2>.

I've added an opt-in variable $auto_subscribe and a hash table cache
to speed up reading headers when the variable is set.

Co-authored-by: Austin Ray <austin@austinray.io>

manual: Fix small typo

pager: prevent negative index

light tidy

Fix mistaken hdrs -> email

Search & replace was a bit too enthusiastic, causing some config files
to become invalid, and giving an invalid example.

refactor hash

light tidying

imap: remove ImapCache

The ImapCache is useless since it's used only when we fail bcache.
And this is not really expected.

mbox: allow non-file mailboxes

We disallow directories, but allow files or other devices.
This means we can run `neomutt -f /dev/null` again.

mxapi: fix creation of new mailboxes

mbox: fix dodgy stat buffer

fix email macros

mailbox: rename hdrmax to email_max

mailbox: rename hdrs to emails

mxapi: remove Context from mbox_close()

imap: Don't use Context in imap_mbox_close

imap: Move Context to ImapMboxData

nntp: fix hcache unterminated string

build: add -lgpg-error to gpgme build

Fixes #1493

Fix double evaluation of mutt_escape_path() inside a macro

doc: fix echo example

contrib: add mairix_filter.pl

Sample implementation of external search filter (mairix)

Pass current folder to external search tool

Or "/", if needed

Move escape_path to the library

Also, make its source argument const

imap: use imap_mailbox_status() in imap_mbox_check_stats()

This change calls imap_mailbox_status() instead of imap_status()
in imap_mbox_check_stats() as we known the Mailbox.

This also add more sanity check in imap_mailbox_status().

Fix possible smime crash if the read mime header p is NULL.

Fix memory leak in smime.c.

smime_application_smime_handler() was not freeing the BODY returned by
smime_handle_entity().

docs: strip out fake curly quotes in comments

minor code tidying

boolify variables
make function static
fix translation typo

merge: refactor GroupContext to GroupList

 * Convert GroupContext to use STAILQ
 * Rename Group-related structures
 * Move group.[ch] to mutt/
 * Sort functions prototypes
 * Get rid of global variable
 * Explicitly allocate/free Groups memory
 * Simplify the API when we cannot fail
 * Tidy API: s/group_context/grouplist/

Tidy API: s/group_context/grouplist/

Simplify the API when we cannot fail

Explicitly allocate/free Groups memory

Get rid of global variable

Sort functions prototypes

Move group.[ch] to mutt/

Rename Group-related structures

Convert GroupContext to use STAILQ

merge: imap refactoring

 * imap_expunge_mailbox use m instead of adata->mailbox
 * move some functions Mailbox
 * imap_fix/cache_path don't need ImapAccountData
 * use Mailbox in imap_sync_message_for_copy()
 * Change more functions with Mailbox

imap: Change more functions with Mailbox

make_msg_set()
imap_exec_msgset()
sync_helper()

imap: use Mailbox in imap_sync_message_for_copy()

imap: imap_fix/cache_path don't need ImapAccountData

imap: move some functions Mailbox

To increase readability some functions take Mailbox instead of
ImapAccountData.

* imap_read_headers()
* imap_set_flags()
* imap_cache_del()
* imap_cache_clean()
* imap_cache_put()
* msg_cache_commit()

imap: imap_expunge_mailbox use m instead of adata->mailbox

imap: ensure '\0' and INBOX are the same Mailbox

INBOX and '\0  was considered as different mailbox. But when '\0' was
opened, the path/realpath was updated to "INBOX".

This change fixes m->path, m->realpath at the beginning to ensure INBOX
and '\0' are the same Mailbox.

Related #1486

mx: share code between ac_find implementations

All mx_ops->ac_add() do almost the same thing.

Just move the common code to mx_ac_find()

mx: Ensure mailbox is always added to Account->mailboxes

Currently if the user open a mailbox not in AllMailboxes.
We create a HIDDEN Mailbox and find an account with mx_ac_find().

In this case mx_ac_add is not called and the new Mailbox is not
added to the account.

Also some notmuch, pop and imap specific setup is not done.

This change fixes this

Close #1486

Add new pattern type ~I for external searches

Call external commands, like mairix, to perform searches of the index.

add consts

Prevent $charset from having multiple values

merge: upstream fixes

 * Prevent trying to match a failing color body regex repeatedly
 * Fix QRESYNC crash after a large number of VANISHED messages
 * Improve pgp error message for translation
 * Add SENDER to default list of IMAP headers
 * Document Sender header as a default in $imap_headers
 * Deprecate TLS 1.0 and 1.1 by default
 * Enhance docs re security of SSL/TLS version vars
 * Fix compilation without deprecated OpenSSL 1.1 APIs
 * Add mutt_buffer_addstr_n()
 * Adjust version number comment in gpgme
 * Fix classic gpg date parsing in list-keys
 * Add note about the second --with-fingerprint to gpg.rc

Add note about the second --with-fingerprint to gpg.rc

Fix classic gpg date parsing in list-keys

GnuPG changed the format of their --with-colons output in 2.0.10.
Dates are now seconds since epoch.  Update the parse_pub_line() code
to detect the new format.

The GnuPG changes also separated pub and the first uid.  Since mutt
allows an empty uid field, the output is a bit less friendly now, with
an initial key without an uid.  I think that's acceptable, but
eventually we'll want to change the parsing behavior.

Adjust version number comment in gpgme

Add mutt_buffer_addstr_n()

Fix compilation without deprecated OpenSSL 1.1 APIs

Enhance docs re security of SSL/TLS version vars

Deprecate TLS 1.0 and 1.1 by default

Fixes #101.

Minor digit of version number has been bumped per [Semantic Versioning
2.0.0](https://semver.org/spec/v2.0.0.html) §7:

> Minor version Y (x.Y.z | x > 0) MUST be incremented if ... any public
> API functionality is marked as deprecated.

Document Sender header as a default in $imap_headers

Add SENDER to default list of IMAP headers

This header is matched by the ~e and ~L patterns.  Those patterns
should work without the user having to know to add Sender to the list
of $imap_headers.  This was probably just an oversight.

Improve pgp error message for translation

The past tense phrase makes it unclear whether the error is about a
failed action or the state of the message.

Thanks to Vincent Lefèvre for the improved wording suggestion.

Fix QRESYNC crash after a large number of VANISHED messages

When handling QRESYNC vanished, imap_expunge_mailbox() was called to
empty out the messages.  Various counters, including vcount are
updated by the mx_update_tables() after the expunge.

These counters need to be reset, because mx_update_context() will do
so once again at the end of reading new headers.  This can cause an
out of bounds access in v2r.

Prevent trying to match a failing color body regex repeatedly

Emails with really long lines (e.g. spam), can suffer performance if a
complicated regex is matched to no effect over and over.  If the regex
failed at the beginning, it won't match at the end of another's regex
match range, so turn it off.

clang-format

merge: document all the globals

 * globals: upper case
 * drop duplicate externs
 * doxy: rename config pages
 * doxy: fix header
 * doxy: document menus
 * doxy: doc globals
 * doxy: add pages

doxy: add pages

doxy: doc globals

doxy: document menus

doxy: fix header

doxy: rename config pages

drop duplicate externs

globals: upper case

globals: upper case

globals: upper case

imap: imap_expunge_mailbox should take Mailbox as argument

imap: always use mdata/adata getter

imap: remove useless imap_check

imap_check_mailbox and imap_check are the same with different signature.

This change just use the one signature everywhere.

imap: always set mdata

imap_prepare_mbox is called everywhere now.

So this change just set mdata when the mailbox is added.

mbox_check_stats: fix MailboxCount

The new mbox_check_stats work well, but MailboxCount was not correctly
updated.

This change fixes that.

reset notmuch Mailbox->size on opening

previous behaviour: size was not reset. This resulted in mailbox size to
accumulate on each mailbox reopening, hence displaying incorrect mailbox
size information in the status bar.

new behaviour: size is reset to zero.

steps to replicate previous behaviour: open neomutt with vfolder. Press
space to refresh vfolder (open from sidebar) several times. Mailbox size
in the status bar accumulates.

Try to fix the mbox_check_stats() merge

merge: mxapi: add mbox_check_stats()

 * mxapi: add mbox_check_stats()
 * imap: use mbox_check_stats()
 * mbox: use mbox_check_stats()
 * notmuch: use mbox_check_stats()
 * maildir: use mbox_check_stats()
 * maildir: tidy maildir_check_dir()

maildir: tidy maildir_check_dir()

maildir: use mbox_check_stats()

notmuch: use mbox_check_stats()

mbox: use mbox_check_stats()