mutt_make_string: separate Context from Mailbox

doxy: fix headers

notmuch: remove Context in nm_read_entire_thread()

Removed the coupling between `nm_read_entire_thread()` and `struct
Context` by replacing it with `struct Mailbox`.

`Context` had two uses: `Mailbox` reference source and `ctx_update()`.

The introduction of mailbox notification code allows mailbox events to
trigger `ctx_update()`, which removes the hard dependency on `Context`.

Passing a `Mailbox` reference removes the remaining soft dependency on
`Context`.

Relax non-empty requirement on compose_format, pager_format, and status_format (#1531)

Fixes #1530

Revert "Don't override ndata with temporary context"

This reverts commit c128c131185fb076476991f477565ba115352faa.

Don't override ndata with temporary context

postponed/sendlib code can reopen an already opened mailbox.

This overrides m->ndata with a temporary context but never revert it back to
the previous one.

At first glance, when postponed/sendlib code open the mailbox they don't care
to have their context updated with the notification system. It should be
the Context used for the UI that should be updated instead.

So until we don't open a mailbox twice anymore, just set ndata when it
looks accurate to workaround the issue.

fix: check for mailbox for folder-hook

Fixes #1527

fix: saving email to fcc

Sort by UID so sequence ranges in UID STORE make sense

This fixes the use case where a bunch of messages are tagged, removed,
then the mailbox is sync'd in a thread view. In this case, the sequence
number given by email->index is not monotonic, which results in weird
sequence sets being passed to UID STORE.

fix crash in ci_send_message()

Fixes #1525

fix crash in mutt_parse_unmailboxes()

Fixes #1523

close command prompt when deleting the colon

Fixes #1505

merge: upstream changes

 * Factor out rfc2047_decode_envelope()
 * Parse and store mime headers in the BODY
 * Add mx operation save_to_header_cache
 * Add protected header received email support
 * Add rfc2047_encode_envelope helper
 * Refactor save_fcc() function
 * Move fcc after send
 * Prompt when mutt_write_fcc() fails
 * Refactor postpone_message()
 * When postponing, encode descriptions before encrypting
 * More postpone cleanup
 * Fix flags if mutt_get_postponed() has no messages
 * Display mail sent message after Fcc finishes
 * Handle improperly encoded pgp/mime octetstream part
 * Add config and data structure for protected header write support
 * Add a new mode for mutt_write_rfc822_header()
 * Finish protected header write support
 * Read in protected headers when resuming a postponed message
 * Free pgpkeylist if the send fails
 * Rfc2047 encode and fold X-Label when writing updates
 * Restore the xlabel_changed reset
 * Make a copy of x_label before encoding it for updates
 * spelling consistency
 * Updated French translation
 * Added support for the "light" color prefix (in addition to "bright")
 * Light colors: do not do the + 8 on negative values, such as COLOR_DEFAULT
 * Create envelope->changed to mark all field changes
 * Change x-label editing flag to be in the envelope
 * Add $crypt_protected_headers_save
 * Color protected subject as a header in the pager
 * Respect ignore for the protected subject display
 * fix config order
 * Remove unused MUTT_FORMAT_MAKEPRINT flag
 * Sleep $sleep_time after displaying "mail sent" message
 * Update copyright for the next stable release

Update copyright for the next stable release

Co-authored-by: Richard Russon <rich@flatcap.org>

Sleep $sleep_time after displaying "mail sent" message

In case returning the index displays some kind of error right away, to
give time to see the success message.

Co-authored-by: Richard Russon <rich@flatcap.org>

Remove unused MUTT_FORMAT_MAKEPRINT flag

The code in mutt_FormatString() that was using it was commented out 19
years ago.

Co-authored-by: Richard Russon <rich@flatcap.org>

fix config order

Co-authored-by: Richard Russon <rich@flatcap.org>

Respect ignore for the protected subject display

Co-authored-by: Richard Russon <rich@flatcap.org>

Color protected subject as a header in the pager

Co-authored-by: Richard Russon <rich@flatcap.org>

Add $crypt_protected_headers_save

Setting this option will save the protected header back into the
clear-text message headers.  This improves
usability (searching/limiting/replying) when reopening a mailbox
without header cache.  However, it is a security trade-off, so
defaults off and strongly warns about what it is doing in the documentation.

Co-authored-by: Richard Russon <rich@flatcap.org>

Change x-label editing flag to be in the envelope

Handle like In-Reply-To and References editing.  Change the flag
setting to be inside mutt_copy_header().

The resetting of the changed flag occurs explicitly in the imap and
maildir/mh sync_mailbox code.  It occurs for mbox in the
mx_update_tables() call in mx_sync_mailbox().

Co-authored-by: Richard Russon <rich@flatcap.org>

Create envelope->changed to mark all field changes

In subsequent commits, we're going to add the x-label and subject
headers changed flags into the envelope.  To avoid the list of checks
exploding everywhere, just use a single field to check and reset those
values.

Several places in the code are checking for a null header->env.  I
wasn't aware this was possible, so I've added todo notes to track down
when this occurs.

Co-authored-by: Richard Russon <rich@flatcap.org>

Light colors: do not do the + 8 on negative values, such as COLOR_DEFAULT

Co-authored-by: Richard Russon <rich@flatcap.org>

Added support for the "light" color prefix (in addition to "bright")

At the same time, restrict the advance by 8 to colors in the range 0-7
and no longer use the blink attribute to emulate light background colors
in some terminals (e.g. linux console and rxvt), as this is really blink
in other terminals (e.g. xterm); light background colors can still be
obtained by choosing a proper $TERM value (tested with linux console,
using TERM=linux-16color, and rxvt).

Co-authored-by: Richard Russon <rich@flatcap.org>

Updated French translation

Co-authored-by: Richard Russon <rich@flatcap.org>

spelling consistency

Co-authored-by: Richard Russon <rich@flatcap.org>

Make a copy of x_label before encoding it for updates

This isn't actually a bug.  Context->label_hash strdups the keys, so
we are safe from dangling references.  However, the subj_hash uses
direct references, so to keep things consistent and safe, make a copy
and encode that.

Co-authored-by: Richard Russon <rich@flatcap.org>

Restore the xlabel_changed reset

The cherry pick accidentally obliterated the reset.  That flag is now
located in hdr->env->changed in the branch and is reset properly
elsewhere.  Keep it in place in the stable branch.

Co-authored-by: Richard Russon <rich@flatcap.org>

Rfc2047 encode and fold X-Label when writing updates

Also, add a missing "skip" in mutt_copy_hdr() for the non-simple case.

These fixes were backported from the kevin/mutt_protected_header branch.

Co-authored-by: Richard Russon <rich@flatcap.org>

Free pgpkeylist if the send fails

Co-authored-by: Richard Russon <rich@flatcap.org>

Read in protected headers when resuming a postponed message

Co-authored-by: Richard Russon <rich@flatcap.org>

Finish protected header write support

Write out the protected headers when writing the mime header part.

Hide protected subjects with $crypt_protected_headers_subject, for
outgoing, postponed, and fcc'ed messages.

Don't hide in postponed and fcc'ed if $crypt_protected_headers_read
isn't set.

Add a few missing cases where mime_headers needed to be cleaned up on
error.

Remove the protected headers for $fcc_clear.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add a new mode for mutt_write_rfc822_header()

Convert the mode parameter to an enum, to make the code a bit more readable.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add config and data structure for protected header write support

Add config vars $crypt_protected_headers_write (unset by default),
and $crypt_protected_headers_subject.

Store the protected headers during mime_protect().

Co-authored-by: Richard Russon <rich@flatcap.org>

Handle improperly encoded pgp/mime octetstream part

Some clients (or even mail servers) improperly encode the octetstream
part.

Thanks to Riccardo Schirone for the original merge request patch.
This commit also handles the attachment menu, and makes the decoding
conditional so it's not done if it isn't necessary.

Co-authored-by: Richard Russon <rich@flatcap.org>

Display mail sent message after Fcc finishes

For the case of IMAP, the uploading message would otherwise stay on
the screen.  In any case, it's best to show that message as the last
thing before returning to the index.

Thanks to chdiza for reporting the issue!

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix flags if mutt_get_postponed() has no messages

Flags needs to be reset so memory cleanup is done at the end.

Co-authored-by: Richard Russon <rich@flatcap.org>

More postpone cleanup

Provide an error message if $postponed is not set.

Make sure the clear content is freed for encrypted messages.

If the write_fcc() fails, make sure to restore the clear content.

Co-authored-by: Richard Russon <rich@flatcap.org>

When postponing, encode descriptions before encrypting

This matches the behavior of the normal send process.  I don't think
there is actually an issue here since nothing is sent, but it makes
sense to be consistent.

Co-authored-by: Richard Russon <rich@flatcap.org>

Refactor postpone_message()

Co-authored-by: Richard Russon <rich@flatcap.org>

Prompt when mutt_write_fcc() fails

Allow the user to retry, specify an alternate mailbox, or skip.

Co-authored-by: Richard Russon <rich@flatcap.org>

Move fcc after send

Co-authored-by: Richard Russon <rich@flatcap.org>

Refactor save_fcc() function

Co-authored-by: Richard Russon <rich@flatcap.org>

Add rfc2047_encode_envelope helper

Co-authored-by: Richard Russon <rich@flatcap.org>

Add protected header received email support

Add $crypt_protected_headers_read config variable to enable reading
and updating the index/header cache.

Print protected Subject header in the pager as parts are rendered.

Once opened, update the index, subject hash, and header cache.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add mx operation save_to_header_cache

This will be used when reading protected headers, to store the
encrypted subject in the header cache so it can be searched with.

Co-authored-by: Richard Russon <rich@flatcap.org>

Parse and store mime headers in the BODY

Don't store the field in the header cache though.

Co-authored-by: Richard Russon <rich@flatcap.org>

Factor out rfc2047_decode_envelope()

Co-authored-by: Richard Russon <rich@flatcap.org>

clang-format

acutest: sync to upstream

merge: factor Context out of mailbox functions

 * imap: drop Context from imap_copy_messages()
 * tidy mbox_close
 * mailbox: add notify callback
 * mx_fastclose_mailbox: use mailbox notifications
 * mx_fastclose_mailbox: factor out Context
 * imap_expunge_mailbox: use mailbox notifications
 * imap: drop mdata->ctx
 * mbox_open: factor out Context
 * mbox_check: use mailbox notifications
 * mbox_check: factor out Context
 * mbox_sync: use mailbox notifications
 * mbox_sync: factor out Context
 * split out context functions
 * mx_mbox_close drop index_hint
 * imap tidy

imap tidy

mx_mbox_close drop index_hint

split out context functions

mbox_sync: factor out Context

mbox_sync: use mailbox notifications

mbox_check: factor out Context

mbox_check: use mailbox notifications

mbox_open: factor out Context

imap: drop mdata->ctx

imap_expunge_mailbox: use mailbox notifications

mx_fastclose_mailbox: factor out Context

mx_fastclose_mailbox: use mailbox notifications

mailbox: add notify callback

tidy mbox_close

imap: drop Context from imap_copy_messages()

folder-hook: try matching on description

Use the description, in addition to the path, when determining to
execute a `folder-hook`. Since `named-mailboxes` and `virtual-mailboxes`
use descriptions to hide ugliness of raw paths, the description may
differ from the path and/or contain information not included in the
path.

The inclusion of description checking makes `folder-hook`s improves its
ergonomics. `notmuch` users were particularly affect by poor
`folder-hook` ergonomics since `virtual-mailboxes` paths often had large
overlap, making it hard to craft a good regex. A workaround was to add a
unique dummy key.

merge: add summary pages

 * add ICommand for new :ex-style commands
 * Implement :set [all] commands
 * Implement :version command

Implement :version command

Implement :set [all] commands

add ICommand for new :ex-style commands

These are needed for the new summary tables feature
(and inspired by the Command lookup table in init.c)

added: ICommand wrapper / lookup table allowing easy addition of new
informational commands that will not be parsed in .muttrc files and
override any existing rc-line commands when executed in mutt.

added: hook in mutt_enter_command in command.c to integrate new
ICommands facility

Issue #162

mbox: quieten probing

merge: Tidy the command parsing functions

 * Created enum to group command_t return codes
 * Change errors to warnings where applicable

Change errors to warnings where applicable

Created enum to group command_t return codes

Old return codes have been replaced by the enum ones
in init.c, but other files have functions that must be
changed too.

clang-format

fix: mutt/charset.c: only include libintl.h if ENABLE_NLS is defined

notmuch: make sure nm_db_longrun_done() release DB

Since commit 1cdfc0da08e09b1756a7b4d422996e907c4390d0 the function
nm_db_release() does not release DB if long-run state is enabled.
This change make code more readable and shorter.

Unfortunately, nm_db_release() is called from nm_db_longrun_done(), so
after the change the function nm_db_longrun_done() is no-op and long
transaction never finish. It means:

 - changes are not committed the database
 - after mutt restart old state (tags) is read from DB
 - mismatch between notmuch tags and maildir filenames

This commit disables long-run state in nm_db_longrun_done() before
nm_db_release() is called.

Index: try description when changing mailboxes

Mailbox: find mailbox by description

Introduce `mutt_find_mailbox_desc()`, which takes a pointer to a
description, and tries to find a mailbox that corresponds to it.

With the introduction of `named-mailboxes` and removal of
`virtual-mailboxes` special cases, users may prefer to operate with
descriptions instead of (potentially) ugly paths. We can no longer
assume that a buffer is a path and require a method to find by
description.

This is not included as an `mxapi` function since `desc` is common to
all mailboxes so the backends do not need implement their own function.

Index: try description when changing mailboxes

Since mailbox descriptions are more prevalent with `named-mailboxes` and
`virtual-mailbox` special cases being removed, some users will try to
change folders with a description instead of a path.

This commit modifies `main_change_folder()` to look for a mailbox with a
given description if path probing fails.

demote 'last message' errors to messages

These error messages were annoying:
- You are on the last message
- You are on the first message
- Top of message is shown
- Bottom of message is shown

solarized dark color scheme: Remove outdated comment about ncurses

slang is no longer a requirement for proper colors, one likely related fix is

commit a7102c721893d6a6fc33a8e9590f99c450e9fe9e
Author: Fabrice Bellet <fabrice@bellet.info>
Date:   Fri Aug 4 21:16:53 2017 +0200

    color: call use_default_colors() in a single location

    we call use_default_colors() when parsing colors in rc files only, and
    unconditionally when defining the color of the tree element, because the
    foreground color of the tree element may be combined dynamically with
    the default background color of another element, not explicitely defined
    in an rc file. This patch fixes a bug visible with some versions of the
    ncurses library: use_default_colors() was used too late, and generated
    color leakage effects. (#689)

-> colors look fine on Fedora 28 with ncurses backend. The comment about slang
was in there since the first submission to git in early 2017.

Fix use of uninitialized memory in mutt_parse_unmailboxes()

The buffer 'tmp' is not initialized when clearing all mailboxes,
therefore don't try to use it in mutt_str_strcasecmp().

The issue was uncovered when switching between different accounts,
"unvirtual-mailboxes *" sometimes cleared regular mailboxes, too.

Important bits from the config:

-----------------------------------
unmailboxes *
mailboxes "+INBOX"

unvirtual-mailboxes *
virtual-mailboxes "virtual INBOX" "notmuch://?query=folder:INBOX%20not%20tag:spam%20not%20tag:archive"
-----------------------------------

-> normal "INBOX" sometimes gets cleared.

valgrind backtrace of the issue without the patch:
==223072== Use of uninitialised value of size 8
==223072==    at 0x593E823: tolower (in /usr/lib64/libc-2.27.so)
==223072==    by 0x4C32BC5: strcasecmp (vg_replace_strmem.c:693)
==223072==    by 0x43FFEB: mutt_parse_unmailboxes (mailbox.c:500)
==223072==    by 0x43B134: mutt_parse_rc_line.part.18 (init.c:3145)
==223072==    by 0x43B42B: mutt_parse_rc_line (init.c:3120)
==223072==    by 0x43B42B: source_rc (init.c:823)
==223072==    by 0x43B93A: parse_source (init.c:1845)
==223072==    by 0x43B134: mutt_parse_rc_line.part.18 (init.c:3145)
==223072==    by 0x43B42B: mutt_parse_rc_line (init.c:3120)
==223072==    by 0x43B42B: source_rc (init.c:823)
==223072==    by 0x43C1B2: mutt_init (init.c:3045)
==223072==    by 0x406EB0: main (main.c:688)

The same problem is also present in the official neomutt 2018-07-16,
I've forward-ported and tested the fix for git HEAD.

The code was slightly refactored to be more readable.

rename menu.h back to mutt_menu.h

The short name causes a clash with ncurses on MacPort.

imap: command: Adds unique sequence IDs

This patch adds support for unique sequence IDs to be logged. Each
new imap account is assigned an ID letter (seqid) which increments
to the next letter (and wraps at 'z') each time a new imap account
is created.

Signed-off-by: Mark Stenglein <mark@stengle.in>

Add $auto_subscribe variable.

When set, it automatically subscribes to mailing lists found in
List-Post headers.

This commit is based on Michael Elkins's patch from the thread
<https://marc.info/?l=mutt-users&m=127076105423565&w=2>.

I've added an opt-in variable $auto_subscribe and a hash table cache
to speed up reading headers when the variable is set.

Co-authored-by: Austin Ray <austin@austinray.io>

manual: Fix small typo

pager: prevent negative index

light tidy

Fix mistaken hdrs -> email

Search & replace was a bit too enthusiastic, causing some config files
to become invalid, and giving an invalid example.

refactor hash

light tidying

imap: remove ImapCache

The ImapCache is useless since it's used only when we fail bcache.
And this is not really expected.

mbox: allow non-file mailboxes

We disallow directories, but allow files or other devices.
This means we can run `neomutt -f /dev/null` again.

mxapi: fix creation of new mailboxes

mbox: fix dodgy stat buffer

fix email macros

mailbox: rename hdrmax to email_max

mailbox: rename hdrs to emails

mxapi: remove Context from mbox_close()

imap: Don't use Context in imap_mbox_close