Handle improperly encoded pgp/mime octetstream part

Some clients (or even mail servers) improperly encode the octetstream
part.

Thanks to Riccardo Schirone for the original merge request patch.
This commit also handles the attachment menu, and makes the decoding
conditional so it's not done if it isn't necessary.

Co-authored-by: Richard Russon <rich@flatcap.org>

Display mail sent message after Fcc finishes

For the case of IMAP, the uploading message would otherwise stay on
the screen.  In any case, it's best to show that message as the last
thing before returning to the index.

Thanks to chdiza for reporting the issue!

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix flags if mutt_get_postponed() has no messages

Flags needs to be reset so memory cleanup is done at the end.

Co-authored-by: Richard Russon <rich@flatcap.org>

More postpone cleanup

Provide an error message if $postponed is not set.

Make sure the clear content is freed for encrypted messages.

If the write_fcc() fails, make sure to restore the clear content.

Co-authored-by: Richard Russon <rich@flatcap.org>

When postponing, encode descriptions before encrypting

This matches the behavior of the normal send process.  I don't think
there is actually an issue here since nothing is sent, but it makes
sense to be consistent.

Co-authored-by: Richard Russon <rich@flatcap.org>

Refactor postpone_message()

Co-authored-by: Richard Russon <rich@flatcap.org>

Prompt when mutt_write_fcc() fails

Allow the user to retry, specify an alternate mailbox, or skip.

Co-authored-by: Richard Russon <rich@flatcap.org>

Move fcc after send

Co-authored-by: Richard Russon <rich@flatcap.org>

Refactor save_fcc() function

Co-authored-by: Richard Russon <rich@flatcap.org>

Add rfc2047_encode_envelope helper

Co-authored-by: Richard Russon <rich@flatcap.org>

Add protected header received email support

Add $crypt_protected_headers_read config variable to enable reading
and updating the index/header cache.

Print protected Subject header in the pager as parts are rendered.

Once opened, update the index, subject hash, and header cache.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add mx operation save_to_header_cache

This will be used when reading protected headers, to store the
encrypted subject in the header cache so it can be searched with.

Co-authored-by: Richard Russon <rich@flatcap.org>

Parse and store mime headers in the BODY

Don't store the field in the header cache though.

Co-authored-by: Richard Russon <rich@flatcap.org>

Factor out rfc2047_decode_envelope()

Co-authored-by: Richard Russon <rich@flatcap.org>

clang-format

acutest: sync to upstream

merge: factor Context out of mailbox functions

 * imap: drop Context from imap_copy_messages()
 * tidy mbox_close
 * mailbox: add notify callback
 * mx_fastclose_mailbox: use mailbox notifications
 * mx_fastclose_mailbox: factor out Context
 * imap_expunge_mailbox: use mailbox notifications
 * imap: drop mdata->ctx
 * mbox_open: factor out Context
 * mbox_check: use mailbox notifications
 * mbox_check: factor out Context
 * mbox_sync: use mailbox notifications
 * mbox_sync: factor out Context
 * split out context functions
 * mx_mbox_close drop index_hint
 * imap tidy

imap tidy

mx_mbox_close drop index_hint

split out context functions

mbox_sync: factor out Context

mbox_sync: use mailbox notifications

mbox_check: factor out Context

mbox_check: use mailbox notifications

mbox_open: factor out Context

imap: drop mdata->ctx

imap_expunge_mailbox: use mailbox notifications

mx_fastclose_mailbox: factor out Context

mx_fastclose_mailbox: use mailbox notifications

mailbox: add notify callback

tidy mbox_close

imap: drop Context from imap_copy_messages()

folder-hook: try matching on description

Use the description, in addition to the path, when determining to
execute a `folder-hook`. Since `named-mailboxes` and `virtual-mailboxes`
use descriptions to hide ugliness of raw paths, the description may
differ from the path and/or contain information not included in the
path.

The inclusion of description checking makes `folder-hook`s improves its
ergonomics. `notmuch` users were particularly affect by poor
`folder-hook` ergonomics since `virtual-mailboxes` paths often had large
overlap, making it hard to craft a good regex. A workaround was to add a
unique dummy key.

merge: add summary pages

 * add ICommand for new :ex-style commands
 * Implement :set [all] commands
 * Implement :version command

Implement :version command

Implement :set [all] commands

add ICommand for new :ex-style commands

These are needed for the new summary tables feature
(and inspired by the Command lookup table in init.c)

added: ICommand wrapper / lookup table allowing easy addition of new
informational commands that will not be parsed in .muttrc files and
override any existing rc-line commands when executed in mutt.

added: hook in mutt_enter_command in command.c to integrate new
ICommands facility

Issue #162

mbox: quieten probing

merge: Tidy the command parsing functions

 * Created enum to group command_t return codes
 * Change errors to warnings where applicable

Change errors to warnings where applicable

Created enum to group command_t return codes

Old return codes have been replaced by the enum ones
in init.c, but other files have functions that must be
changed too.

clang-format

fix: mutt/charset.c: only include libintl.h if ENABLE_NLS is defined

notmuch: make sure nm_db_longrun_done() release DB

Since commit 1cdfc0da08e09b1756a7b4d422996e907c4390d0 the function
nm_db_release() does not release DB if long-run state is enabled.
This change make code more readable and shorter.

Unfortunately, nm_db_release() is called from nm_db_longrun_done(), so
after the change the function nm_db_longrun_done() is no-op and long
transaction never finish. It means:

 - changes are not committed the database
 - after mutt restart old state (tags) is read from DB
 - mismatch between notmuch tags and maildir filenames

This commit disables long-run state in nm_db_longrun_done() before
nm_db_release() is called.

Index: try description when changing mailboxes

Mailbox: find mailbox by description

Introduce `mutt_find_mailbox_desc()`, which takes a pointer to a
description, and tries to find a mailbox that corresponds to it.

With the introduction of `named-mailboxes` and removal of
`virtual-mailboxes` special cases, users may prefer to operate with
descriptions instead of (potentially) ugly paths. We can no longer
assume that a buffer is a path and require a method to find by
description.

This is not included as an `mxapi` function since `desc` is common to
all mailboxes so the backends do not need implement their own function.

Index: try description when changing mailboxes

Since mailbox descriptions are more prevalent with `named-mailboxes` and
`virtual-mailbox` special cases being removed, some users will try to
change folders with a description instead of a path.

This commit modifies `main_change_folder()` to look for a mailbox with a
given description if path probing fails.

demote 'last message' errors to messages

These error messages were annoying:
- You are on the last message
- You are on the first message
- Top of message is shown
- Bottom of message is shown

solarized dark color scheme: Remove outdated comment about ncurses

slang is no longer a requirement for proper colors, one likely related fix is

commit a7102c721893d6a6fc33a8e9590f99c450e9fe9e
Author: Fabrice Bellet <fabrice@bellet.info>
Date:   Fri Aug 4 21:16:53 2017 +0200

    color: call use_default_colors() in a single location

    we call use_default_colors() when parsing colors in rc files only, and
    unconditionally when defining the color of the tree element, because the
    foreground color of the tree element may be combined dynamically with
    the default background color of another element, not explicitely defined
    in an rc file. This patch fixes a bug visible with some versions of the
    ncurses library: use_default_colors() was used too late, and generated
    color leakage effects. (#689)

-> colors look fine on Fedora 28 with ncurses backend. The comment about slang
was in there since the first submission to git in early 2017.

Fix use of uninitialized memory in mutt_parse_unmailboxes()

The buffer 'tmp' is not initialized when clearing all mailboxes,
therefore don't try to use it in mutt_str_strcasecmp().

The issue was uncovered when switching between different accounts,
"unvirtual-mailboxes *" sometimes cleared regular mailboxes, too.

Important bits from the config:

-----------------------------------
unmailboxes *
mailboxes "+INBOX"

unvirtual-mailboxes *
virtual-mailboxes "virtual INBOX" "notmuch://?query=folder:INBOX%20not%20tag:spam%20not%20tag:archive"
-----------------------------------

-> normal "INBOX" sometimes gets cleared.

valgrind backtrace of the issue without the patch:
==223072== Use of uninitialised value of size 8
==223072==    at 0x593E823: tolower (in /usr/lib64/libc-2.27.so)
==223072==    by 0x4C32BC5: strcasecmp (vg_replace_strmem.c:693)
==223072==    by 0x43FFEB: mutt_parse_unmailboxes (mailbox.c:500)
==223072==    by 0x43B134: mutt_parse_rc_line.part.18 (init.c:3145)
==223072==    by 0x43B42B: mutt_parse_rc_line (init.c:3120)
==223072==    by 0x43B42B: source_rc (init.c:823)
==223072==    by 0x43B93A: parse_source (init.c:1845)
==223072==    by 0x43B134: mutt_parse_rc_line.part.18 (init.c:3145)
==223072==    by 0x43B42B: mutt_parse_rc_line (init.c:3120)
==223072==    by 0x43B42B: source_rc (init.c:823)
==223072==    by 0x43C1B2: mutt_init (init.c:3045)
==223072==    by 0x406EB0: main (main.c:688)

The same problem is also present in the official neomutt 2018-07-16,
I've forward-ported and tested the fix for git HEAD.

The code was slightly refactored to be more readable.

rename menu.h back to mutt_menu.h

The short name causes a clash with ncurses on MacPort.

imap: command: Adds unique sequence IDs

This patch adds support for unique sequence IDs to be logged. Each
new imap account is assigned an ID letter (seqid) which increments
to the next letter (and wraps at 'z') each time a new imap account
is created.

Signed-off-by: Mark Stenglein <mark@stengle.in>

Add $auto_subscribe variable.

When set, it automatically subscribes to mailing lists found in
List-Post headers.

This commit is based on Michael Elkins's patch from the thread
<https://marc.info/?l=mutt-users&m=127076105423565&w=2>.

I've added an opt-in variable $auto_subscribe and a hash table cache
to speed up reading headers when the variable is set.

Co-authored-by: Austin Ray <austin@austinray.io>

manual: Fix small typo

pager: prevent negative index

light tidy

Fix mistaken hdrs -> email

Search & replace was a bit too enthusiastic, causing some config files
to become invalid, and giving an invalid example.

refactor hash

light tidying

imap: remove ImapCache

The ImapCache is useless since it's used only when we fail bcache.
And this is not really expected.

mbox: allow non-file mailboxes

We disallow directories, but allow files or other devices.
This means we can run `neomutt -f /dev/null` again.

mxapi: fix creation of new mailboxes

mbox: fix dodgy stat buffer

fix email macros

mailbox: rename hdrmax to email_max

mailbox: rename hdrs to emails

mxapi: remove Context from mbox_close()

imap: Don't use Context in imap_mbox_close

imap: Move Context to ImapMboxData

nntp: fix hcache unterminated string

build: add -lgpg-error to gpgme build

Fixes #1493

Fix double evaluation of mutt_escape_path() inside a macro

doc: fix echo example

contrib: add mairix_filter.pl

Sample implementation of external search filter (mairix)

Pass current folder to external search tool

Or "/", if needed

Move escape_path to the library

Also, make its source argument const

imap: use imap_mailbox_status() in imap_mbox_check_stats()

This change calls imap_mailbox_status() instead of imap_status()
in imap_mbox_check_stats() as we known the Mailbox.

This also add more sanity check in imap_mailbox_status().

Fix possible smime crash if the read mime header p is NULL.

Fix memory leak in smime.c.

smime_application_smime_handler() was not freeing the BODY returned by
smime_handle_entity().

docs: strip out fake curly quotes in comments

minor code tidying

boolify variables
make function static
fix translation typo

merge: refactor GroupContext to GroupList

 * Convert GroupContext to use STAILQ
 * Rename Group-related structures
 * Move group.[ch] to mutt/
 * Sort functions prototypes
 * Get rid of global variable
 * Explicitly allocate/free Groups memory
 * Simplify the API when we cannot fail
 * Tidy API: s/group_context/grouplist/

Tidy API: s/group_context/grouplist/

Simplify the API when we cannot fail

Explicitly allocate/free Groups memory

Get rid of global variable

Sort functions prototypes

Move group.[ch] to mutt/

Rename Group-related structures

Convert GroupContext to use STAILQ

merge: imap refactoring

 * imap_expunge_mailbox use m instead of adata->mailbox
 * move some functions Mailbox
 * imap_fix/cache_path don't need ImapAccountData
 * use Mailbox in imap_sync_message_for_copy()
 * Change more functions with Mailbox

imap: Change more functions with Mailbox

make_msg_set()
imap_exec_msgset()
sync_helper()

imap: use Mailbox in imap_sync_message_for_copy()

imap: imap_fix/cache_path don't need ImapAccountData

imap: move some functions Mailbox

To increase readability some functions take Mailbox instead of
ImapAccountData.

* imap_read_headers()
* imap_set_flags()
* imap_cache_del()
* imap_cache_clean()
* imap_cache_put()
* msg_cache_commit()

imap: imap_expunge_mailbox use m instead of adata->mailbox

imap: ensure '\0' and INBOX are the same Mailbox

INBOX and '\0  was considered as different mailbox. But when '\0' was
opened, the path/realpath was updated to "INBOX".

This change fixes m->path, m->realpath at the beginning to ensure INBOX
and '\0' are the same Mailbox.

Related #1486

mx: share code between ac_find implementations

All mx_ops->ac_add() do almost the same thing.

Just move the common code to mx_ac_find()

mx: Ensure mailbox is always added to Account->mailboxes

Currently if the user open a mailbox not in AllMailboxes.
We create a HIDDEN Mailbox and find an account with mx_ac_find().

In this case mx_ac_add is not called and the new Mailbox is not
added to the account.

Also some notmuch, pop and imap specific setup is not done.

This change fixes this

Close #1486

Add new pattern type ~I for external searches

Call external commands, like mairix, to perform searches of the index.

add consts

Prevent $charset from having multiple values