Expand a couple of the comments about charset

Make it clearer what BODY->charset is used for, and why we are
checking for !noconv during mailcap charset parameter expansion.

Co-authored-by: Richard Russon <rich@flatcap.org>

Check noconv for mailcap %{charset} send mode expansion

Improve the previous commit by checking to make sure a->noconv also
isn't set.  If noconv is set, we ignore any value a->charset might
have picked up during previous encoding checks.

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix mailcap %{charset} expansion in send mode

Use the current charset of the file for the parameter, since the file
hasn't been converted yet.

Co-authored-by: Richard Russon <rich@flatcap.org>

Use gpgme recipient strings for encryption when available

For gpgme >= 1.11.0, use gpgme_op_encrypt_ext() and
gpgme_op_encrypt_sign_ext() to specify recipients as a string.

This allows '!' to specify forcing a subkey, as is the case in classic
gpg and from the command line.

Remove the '!' "force valid" usage for the newer version.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add $include_encrypted config to prevent reply-decryption attack

@jensvoid, in cooperation with Ruhr-Uni Bochum and FH Münster,
Germany, reported a possible "Oracle decryption" attack on various
mail clients.  An attacker could include previously encrypted contents
they obtained access to, and include it in a message.  Replying
without trimming would include the decrypted contents.

This attack relies on several "ifs", and is more dangerous for clients
that compose HTML mail.  However, it is still an issue that an
unwary/busy Mutt user could fall for.

Add a new config $include_encrytped, defaulting off, to reduce the
possibility of the user being unaware of previously encrypted parts in
the reply.  Only the main initial encrypted part will be included in
the reply.

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix truncation of long filenames in attachments

Currently mutt truncates long filenames in attachments and doesn't
take into account UTF-8 character size. If filename is truncated in
the middle of multi-byte UTF-8 character (last character is bad),
then some mail clients assume whole attachment name bad and don't
display its name (use 'Noname' instead).

Filenames can be up to 255 *characters* long depending on used
filesystem. ReiserFS, NFTS, FAT, APFS and some other supports up to
255 characters.
In the worst case 255 characters in UTF-8 will take 255*4 = 1020
bytes. Every non-ascii byte in the filename will be encoded using 3
bytes (for example, %8D).
So 'Content-Disposition' will take in the worst case up to: 1020*3 =
3060 bytes. Therefore even LONG_STRING (1024) isn't enough.

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix raw socket read/write to follow expected behavior

The mutt_sasl.c code expects conn_write() to write the entire buffer.
This is inconsistent with mutt_socket.c, but since other conn_write()
implementations guarantee this, change raw_socket_write() to do so too
for now.

Also, update reading and writing to loop on EINTR, as gnutls does.
They won't return EAGAIN or EWOULDBLOCK because we don't mark sockets
as non-blocking.

Co-authored-by: Richard Russon <rich@flatcap.org>

merge: Tidy a lot of messages/translations

 * add missing constants
 * quote 'nametemplate'
 * add space after question prompt
 * remove []s from a question
 * remove colons from questions
 * use a question mark in the crypto questions
 * use a question mark in the bounce question
 * merge similar translation strings 1
 * merge similar translation strings 2
 * merge similar translation strings 2
 * quote Content-Language
 * quote alternatives
 * quote multilingual
 * quote multipart/alternative
 * quote multipart/multilingual
 * quote Content-Language
 * reword relative path error message
 * replace cannot with can't
 * ensure (o)ptions' style
 * mutt_debug
 * sync translations

sync translations

mutt_debug

Tidy lots of debugging messages

ensure (o)ptions' style

Make sure all multi-choice options have their letters parenthesised.

replace cannot with can't

"can't" is used more often than "cannot", so use it everywhere.

reword relative path error message

quote Content-Language

'Content-Language' is a reserved keyword -- not to be translated

quote multipart/multilingual

'multipart/multilingual' is a reserved keyword -- not to be translated

quote multipart/alternative

'multipart/alternative' is a reserved keyword -- not to be translated

quote multilingual

'multilingual' is a reserved keyword -- not to be translated

quote alternatives

'alternatives' is a reserved keyword -- not to be translated

quote Content-Language

'Content-Language' is a reserved keyword -- not to be translated

merge similar translation strings 2

- brackets
- parentheses

merge similar translation strings 2

- Compressing %s...
- Compressing %s

merge similar translation strings 1

- Can't create %s %s
- Can't create %s: %s

use a question mark in the bounce question

use a question mark in the crypto questions

remove colons from questions

Remove the :'s to align the style with other questions.

remove []s from a question

Remove the []s to align the style with other questions.

add space after question prompt

Change the code to print a space after a question.
This simplifies the translation strings.

quote 'nametemplate'

'nametemplate' is a reserved keyword -- not to be translated

add missing constants

- mutt_debug()
- mutt_yesorno()

Get rid of one-shot macro

Disable mailbox notify on close

This fixes a crash when two mailboxes have been opened within a session,
and an 'unmailboxes *' command is issued. In this case, both the current
mailbox and the previously opened mailbox have a non-NULL `notify`
member. The notify method assumes the mailbox is currently active within
the context. The context gets thus doubly freed.

merge: trivial fixes

 * clang-format
 * add parentheses around logic-with-spaces
 * boolify: mutt_simple_format()
 * rename locals to avoid clash
 * add: enum FormatJustify
 * doxy: tidying

doxy: tidying

add: enum FormatJustify

rename locals to avoid clash

We're using the `C_` prefix for config variables.

boolify: mutt_simple_format()

add parentheses around logic-with-spaces

clang-format

unify variable naming

Make sure email size is consistently computed in status bar and index

Display B for bytes when pretty-printing a size

Fix dependencies of libemail

Fixes #1618

Fix bogus mailbox size accounting

tags: Use STAILQ instead of strsep

This change introduces a new string function mutt_str_split(src, sep) to
return a STAILQ of the split string.

This new funtion is used first in tags code.

fix further crash in ci_send_message()

Signed-off-by: Christian Storm <storm@mailbox.org>

merge: update translations

 * Update Spanish translation
 * po/zh_CN: complete translation
 * swedish: fix option typo
 * Update Finnish translation
 * spanish: pgp-menu multioptions fixed
 * update German translation
 * trans: fix smime questions
 * sync translations

sync translations

trans: fix smime questions

update German translation

spanish: pgp-menu multioptions fixed

Update Finnish translation

swedish: fix option typo

po/zh_CN: complete translation

Update Spanish translation

tidy maildir_move_to_mailbox

tidy memory functions

- reduce scope of variables
- test scalars against 0

memory: return NULL, not 0

mutt_mem_free() should return NULL, instead of 0, to match code style[0]

[0] https://neomutt.org/dev/coding-style#distinguish-between-0-and-null

merge: Style Menu Options

 * add mutt_window_mvaddnstr()
 * Style Menu Options
 * smime: unify multi-option questions

smime: unify multi-option questions

Change the questions to match the rest of NeoMutt.

From:
  "1: apple, 2: banana"
to
  "(1) apple, (2) banana"

Style Menu Options

Closes: #1181
Co-authored-by: Mehdi Abaakouk <sileht@sileht.net>
Co-authored-by: Pietro Cerutti <gahr@gahr.ch>

add mutt_window_mvaddnstr()

clang-format

sidebar(update_entries_visibility): Use bool instead of short for booleans

sidebar: New option to display only non-empty mailboxes

Adds a new option $sidebar_only_non_empty_mailboxes which forces neomutt
to display only the mailboxes that have atleast one mail in them. This
option will also work in tandem with the existing $side_new_mail_only

sidebar: Refactor visibility detection

sidebar: Use an explicit fast path for checking visibility

increase space for key name

We need enough space for '<backspace>'.

implement unbind and unmacro commands

lua: fix command-line processing

The 'lua' command uses the entire line of text.
Clear the Buffer so that NeoMutt doesn't try to interpret it.

Fixes #1610

doxy: fix function comments

doxy: css fixes

fix out-of-tree test/pattern build

test: add pattern compilation tests

Closes #1522

pattern: change Pattern to use SLIST_* macros

Resolves #1224

slang/color: parse direct-color values in 24bit hex format

And render them using SLtt_set_color.

The way to use direct-color values in the config file is:

color status "#ff0000" "#630000"

Note that the '#' needs to be quoted in order to avoid discarding it
as a comment.

At the moment there's no way to use direct color values with ncurses,
so this feature is only supported when using slang.

Tested on iTerm 3.1.5 with s-lang 2.3.1a.

color: switch color types to uint32_t

So they can be used to store truecolor values which are 24bits.

notmuch: close thread queries' hcache on SigInt (#1606)

Ensure read_threads_query() behaves the same as read_mesgs_query() when
receiving SigInt.

docs: update credits

maildir: remove unnecessary function

()s on ternary

comment summary bindings

compress: rename command strings

Distinguish them from other structs' members.

logging: improve range logic

Make NotMuch hcache-aware

Closes: #1600

Fix table in man page

Previously:

    /usr/bin/tbl:<standard input>:824: unrecognised format `\'
    /usr/bin/tbl:<standard input>:824: giving up on this table

It seems the period after table headers must be on its own line.

merge: trivial fixes

 * trivial ()s and NUL
 * pop: add typedef for pop_fetch_data()
 * doxy: add links
 * more NULs
 * fix typos
 * add checks to imap_account_match()
 * add check to imap_adata_find()
 * maildir: rename context functions
 * add flags to maildir_mbox_check()

add flags to maildir_mbox_check()

maildir: rename context functions

These functions now work with Mailboxes:
- maildir_add_to_context()
- maildir_move_to_context()

add check to imap_adata_find()

add checks to imap_account_match()

fix typos

more NULs

doxy: add links

pop: add typedef for pop_fetch_data()

trivial ()s and NUL

Do not prepend "attach_save_dir" to an absolute path

This happens when saving multiple attachment. Assume `attach_save_dir = ./`.
When saving multiple attachments to `/tmp/att`, the proposed path
becomes `.//tmp/att`.

hcache: fix hash generator

`struct Header` was renamed to `struct Email`

Fixes: #1595

added: localtime_r/gmtime_r wrappers

Fixes: #1571

Fix incorrect IMAP message purging bug.

Thanks to Ivan Middleton @imiddle for the awesome bug report and
suggested fix.

The bug is most easily generated using Gmail with the $trash variable
set.

Deleted messages are first copied to the $trash folder.  If this is
set to "[Gmail]/Trash", then Gmail inteprets the copy as a "delete"
and sends EXPUNGE messages back for the messages.

cmd_parse_expunge() and cmd_parse_vanished() set the hdr->index to
INT_MAX, which subsequently an imap_expunge_mailbox() will use to
remove the messages from the local mailbox.

If we close the mailbox instead of sync it, Mutt will end up executing
the 'Deleted' flag setting before processing the expunge (because
"imap_check_mailbox() -> imap_cmd_finish()' doesn't set check_status
when we are closing).  The expunged messages will then be included in
the set of 'Deleted' flags.

Unfortunately, because the messages are sorted by *index* before
msgset generation, an incorrect range of UIDs will be sent, which
could easily include messages that should not be deleted.

This fix is a minimal fix for a stable bug fix  excluding
messages with the index set to INT_MAX from all msg sets.  Other
things that should be investigated in master are:

- sorting by UID instead of index before msgset generation
- unsetting the 'active' flag in cmd_parse_expunge() and
  cmd_parse_vanished() instead of waiting until imap_expunge_mailbox()
  to do so.

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix opening IMAP messages when the body cache is disabled

Fixes #1574