entire-thread: determine current position before resorting.

Previously oldcur was determined after nm_read_entire_thread(),
leading to entire-thread unintentionally jumping to the first message
in the thread.

Before 918885f32db41 that used to work, because mutt_sort_headers()
wasn't called from within nm_read_entire_thread().

Fix by moving determination of pre nm_read_entire_thread() count a few
lines up. Also reuse existing oldcount variable, rather than
'oc' (which could also be oldcur).

Fixes: #1714

fix: reverse_name / alternates

Fixes: #1581

merge: minor tidying

 * clang-format
 * readme: split out contributors
 * rename fd parameters
 * increase buffer sizes to avoid truncation
 * test: add missing #include guards
 * unify char buffer inititialisation
 * boolify: locals, params, args
 * rename mailbox functions
 * light tidying
 * don't check for empty config strings
 * rename struct Event and Mailbox.notify
 * move el_free() to email
 * tidy maildir_mbox_check()
 * config: rename listener to observer
 * tidy ternary operators
 * tidy char pointers
 * initialise pointers
 * tidy pointer definitions

tidy pointer definitions

Separate multiple variable definitions which differ in type, e.g.

  char buf[16], *p = NULL, **pp = NULL;

becomes

  char buf[16];
  char *p = NULL;
  char **pp = NULL;

initialise pointers

tidy char pointers

Make char-pointer dereferencing more consistent.
Any functions that used both `*ptr` and `ptr[0]` notation have been tidied.

tidy ternary operators

- insert ()s
- expand checks against 0 or '\0'

config: rename listener to observer

This fits in with the GoF's subject/observer pattern.

tidy maildir_mbox_check()

Factor out a common pointer.

move el_free() to email

This function will be used elsewhere, soon.

rename struct Event and Mailbox.notify

Rename things out of the way of future work.
These names will be used by a general notifications system.

don't check for empty config strings

The config system stores empty strings as NULL.
Config variables must not be set directly, but using the config system
(this gives us validation and notifications).

light tidying

Lots of minor fixes, many inspired by cppcheck.

- reduce scope of variables
- return early
- NULL pointers after free
- fix typos
- correct retval type

rename mailbox functions

Fix mailbox function naming for consistency

boolify: locals, params, args

unify char buffer inititialisation

For consistency, use the format:

  `char buf[16] = { 0 };`

test: add missing #include guards

increase buffer sizes to avoid truncation

This is just to hide a compiler warning.

rename fd parameters

Rename parameters to match other functions.

readme: split out contributors

clang-format

merge: split up Buffer and the Pool

 * split out pool
 * don't use pool in libraries
 * test: tidy config tests

test: tidy config tests

The config tests don't use the buffer pool any more.

don't use pool in libraries

split out pool

fix leaks in mutt_pattern_comp()

test: fix leaks

merge: upstream fixes

 * Fix sample neomuttrc to use better quoting practices.
 * Add a "backticks in double quotes" example to the manual.
 * Avoid undefined behaviour on huge integer in a RFC2231 header
 * sync pgp_gpgme_invoke_import()

sync pgp_gpgme_invoke_import()

Avoid undefined behaviour on huge integer in a RFC2231 header

The atoi() function was called on the index, which can potentially
be huge in an invalid message and can yield undefined behavior. The
mutt_atoi() function is now used for error detection.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add a "backticks in double quotes" example to the manual.

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix sample neomuttrc to use better quoting practices.

Use single quotes in the password encryption example.

For password decryption, put the backquotes inside double quotes to
avoid special characters being re-interpreted.

Co-authored-by: Richard Russon <rich@flatcap.org>

Do not cache a compiled regex to avoid leaks

glibc's implementation of the regex engine is a DFA which creates nodes
on the fly under the regex_t object. This will cause leakes if we keep
the compiled regular expression around, as it was the case before.

See also https://sourceware.org/bugzilla/show_bug.cgi?id=12567

fix: counting of content-lines header

merge: fix most leaks in test code

 * check library parameters more carefully
 * test: fix leaks in config tests
 * test: fix leaks in library tests
 * clang-format test code

clang-format test code

test: fix leaks in library tests

test: fix leaks in config tests

check library parameters more carefully

Some test cases were causing library code to be run with invalid
parameters.  Reject these cases.

Fix next-unread-mailbox

e4133e5cd2 have introduced a small regression.

next-unread-mailbox does not automatically open the mailbox.

This change fixes it.

merge: update translations

 * Update lt_LT translation
 * update German translation
 * fix command string
 * fix 'too few/many' translations
 * tidy OAUTHBEARER error message
 * Update Ukrainian translation
 * Update Russian translation
 * Update Danish translation
 * sync translations

sync translations

Update Danish translation

Co-authored-by: Richard Russon <rich@flatcap.org>

Update Russian translation

Co-authored-by: Richard Russon <rich@flatcap.org>

Update Ukrainian translation

Co-authored-by: Richard Russon <rich@flatcap.org>

tidy OAUTHBEARER error message

fix 'too few/many' translations

fix command string

update German translation

Update lt_LT translation

Fixes 6 fuzzy strings.

feat: use mailbox description for spoolfile

'spoolfile' is limited to mailboxes paths so if one wants to use a
'named-mailboxes' or 'virtual-mailboxes' as the spoolfile, its path must
be duplicated in the 'spoolfile' assignment. 'virtual-mailboxes' has a
helper variable, 'virtual_spoolfile', for selecting the first
'virtual-mailboxes' entry as the spoolfile.

This commit allows one to use a mailbox description for the 'spoolfile,
which removes the need to duplicate a 'named-mailboxes' or
'virtual-mailboxes' path and makes 'virtual_spoolfile' defunct. The
configuration syntax is now more consistent.

It is important to note that mailbox descriptions are preferred to
paths.

To reflect the change, documentation was updated:
 - Add note to 'spoolfile' about using a string to specify a
   'named-mailboxes' or 'virtual-mailboxes' description.
 - Add a note to the 'virtual_spoolfile' documentation saying that it is no
   longer necessary since 'spoolfile' supports descriptions now.

merge: upstream fixes

 * Add a test for NULL parameter attribute too
 * Add a quick-starter config section to the manual.
 * Add sample starter muttrc to contrib.
 * Change sample muttrc path to match other manual references.
 * Add note about %r for the pgp_list_*_command vars.

Add note about %r for the pgp_list_*_command vars.

In this case %r is the list of search strings.

Change sample muttrc path to match other manual references.

The other parts of the manual refer to /usr/local/share/doc in their
examples.  For consistency, change the starter muttrc and manual entry
to do the same.

In the future, we may wish to have a config variable instead, so users
don't have to worry about system vs locally installed paths when
sourcing the gpg.rc, for instance.

Add sample starter muttrc to contrib.

Add a mini-section with a link to the manual instead, under
"Configuration".

Add a quick-starter config section to the manual.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add a test for NULL parameter attribute too

Just to be sure we don't have any issues with the new continuation
code.  The mutt_set_parameter() code doesn't actively prevent a null
attribute.

Co-authored-by: Richard Russon <rich@flatcap.org>

merge: fixes for bugs raised by automated testing

 * check value of 'Content-Length' more carefully
 * Replace atoi() to mutt_str_atoi()
 * fix leaks during header parsing

fix leaks during header parsing

Credit to OSS-Fuzz

Replace atoi() to mutt_str_atoi()

mutt_str_atoi() has error checking.

check value of 'Content-Length' more carefully

Replace `atol()` with `mutt_str_atol()` which has error checking.
Cap the maximum size to 1GiB.  If we exceed this your email to TOO BIG!

fix: config_dump()

Move a variable test so that config_dump() works again.

Fixes: #1705

fix: folder missing from status bar

Fix a typo introduced with the Buffer changes.
It lead to '%f' showing '(no mailbox)' all the time.

merge: update translations

 * Polish translation update
 * Update lt_LT translations
 * sync translations

sync translations

Update lt_LT translations

New fuzzy and untranslated strings.

See also https://github.com/neomutt/neomutt/issues/1680 because

  all: no binds in this menu
  all: no macros in this menu

probably should not be translated to

  all: šiame meniu nėra binds
  all: šiame meniu nėra macros

Polish translation update

Allow to disable IMAP's ENABLE extension to work-around broken servers

Issue #1689

merge: Upstream refactoring

 * Change struct Mailbox->realpath to be const char *
 * Convert struct Buffer->path to a struct Buffer
 * Convert other users of struct Mailbox->pathbuf to use Buffers
 * Add mutt_buffer_enter_fname()
 * Convert change folder operations to use struct Buffer
 * Increase prompt size to remove warning
 * Convert migrated lib.c functions to use struct Buffer
 * Add menu dialog helper to add rows
 * Convert certficate prompts to use menu dialog helper and struct Buffer
 * Convert pager help string to use struct Buffer
 * Convert compress to use mutt_buffer_quote_filename()
 * Convert remailer to use struct Buffer for Mixmaster invocation
 * Revert "Fix truncation of long filenames in attachments."
 * Handle the same secret key appearing in multiple public keyrings
 * Change mutt_parse_mailboxes() to use the path struct Buffer argument
 * Convert mutt_parse_adrlist() to use struct Buffer for simple parsing
 * Add note about $mailcap_path generation to the documentation
 * Add $imap_fetch_chunk_size to allow FETCHing new headers in chunks
 * Enable the use of toggle-write from the pager
 * Add note about IMAP browser and trailing delimiters
 * Add $forward_attachments quadoption for inline-forward mode
 * Note the other parts of generated message-ids in the manual
 * Fix mailbox search to not recompile for a repeated search
 * Corrected minor errors in text related to $forward_attachments
 * Update French translation
 * Write rfc2231 parameter continuations for long parameters
 * Add a manual section on OpenPGP and S/MIME configuration.
 * build: fix tests
 * tidy code

tidy code

- doxy: Tidy duplicate comments
- clang-format

build: fix tests

Add a manual section on OpenPGP and S/MIME configuration.

Talk about the required config variables, GPGME and classic mode,
agents, pinentry programs, and smime_keys.

Co-authored-by: Richard Russon <rich@flatcap.org>

Write rfc2231 parameter continuations for long parameters

Previously, Mutt would truncate long attachment filenames, to avoid
writing an illegal length header line.  This commit is a followup to
4dcb3ba1, where I reverted an incorrect fix for the problem.

rfc2231_encode_string() now returns a list of continuations, with
encoding and continuation number suffixes already appended to the
attribute.  The function tries to keep the line length less than 78
characters, but the code is a bit imprecise as a trade off for
simplicity and readability.

Modify mutt_write_mime_header() to loop through the continuations.

Co-authored-by: Richard Russon <rich@flatcap.org>

Update French translation

Co-authored-by: Richard Russon <rich@flatcap.org>

Corrected minor errors in text related to $forward_attachments

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix mailbox search to not recompile for a repeated search

The LastSearchExpn was being compared, but was never set to the
expanded search value.  This was causing the search to be recompiled
even if it were for the same previous expanded search string.

Co-authored-by: Richard Russon <rich@flatcap.org>

Note the other parts of generated message-ids in the manual

Co-authored-by: Richard Russon <rich@flatcap.org>

Add $forward_attachments quadoption for inline-forward mode

When set or answered yes, non text-decodable parts will be attached to
the new message.  The default value is "ask-yes", because I believe
this is something people will want to use, and should be made aware of
the new possible behavior.

The option presents a nice middle ground between previous
inline-forwarding behavior (where all the non-text parts were
dropped), and $mime_forward where the entire email was included as an
attachment.

This was previously difficult to achieve, but after the
recv-attachment refactoring: (a19e5266^..faabd621)
it became possible to use the ATTACH_CONTEXT and the recvattach.c
helper mutt_generate_recvattach_list() to properly deal with nesting
and multiple file-handles.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add note about IMAP browser and trailing delimiters

This is the same behavior as the regular browser, but I think still
deserves a quick mention.

Thanks to Charles for pointing out this section of the manual and
suggesting the addition.

Co-authored-by: Richard Russon <rich@flatcap.org>

Enable the use of toggle-write from the pager

Signed-off-by: Jeremy Sowden <jeremy@azazel.net>
Co-authored-by: Richard Russon <rich@flatcap.org>

Add $imap_fetch_chunk_size to allow FETCHing new headers in chunks

For extremely large mailboxes, some implementations will time out just
while fetching the new headers, because the client doesn't send any
commands for 30 minutes while downloading the large number of headers.

Rewrite imap_fetch_msn_seqset() to return chunks of size
$imap_fetch_chunk_size.

The change requires trusting the server will follow the RFC and not
send an EXPUNGE during or between the FETCH chunks; otherwise we'll
miss MSNs between the chunks because the shift.

We could in theory continue to set "msn_begin = idata->max_msn + 1",
but that makes the assumption there are no holes in the header cache
that we are filling in during a chunk.  Personally I am dubious about
"header cache holes", but the IMAP code has explicitly mentioned and
handled them since prior to my involvement.

Since the RFC forbids the interleaving EXPUNGE I believe it's safe
enough to set "msn_begin = fetch_msn_end + 1" until proven otherwise.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add note about $mailcap_path generation to the documentation

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert mutt_parse_adrlist() to use struct Buffer for simple parsing

Co-authored-by: Richard Russon <rich@flatcap.org>

Change mutt_parse_mailboxes() to use the path struct Buffer argument

Instead of copying to a buf[] variable, since the various utility
methods are now available to struct Buffer too.

Co-authored-by: Richard Russon <rich@flatcap.org>

Handle the same secret key appearing in multiple public keyrings

Allow for S/MIME keys and the possibility of missing subkeys

Co-authored-by: Richard Russon <rich@flatcap.org>

Revert "Fix truncation of long filenames in attachments."

This reverts commit f476d0aecd6f88db5291427fced21a8e834ca181.

The commit allowed the generation of illegal length header lines.  A
correct fix needs to implement parameter continuations.

I will work on that, but in case I don't get it in before 1.12,
preserve the hard truncation.

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert remailer to use struct Buffer for Mixmaster invocation

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert compress to use mutt_buffer_quote_filename()

Because the compress expandos operate differently than the rest of
mutt, requiring manual outer quoting, add a parameter to the function
to toggle outer quoting off.

Remove the now unused escape_path() function.

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert pager help string to use struct Buffer

Remove the awkward string truncation warnings, and remove helpstr and
tmphelp char arrays from the stack.

Because the pager is fairly long lived, allocate the helpstr instead
of using the pool.

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert certficate prompts to use menu dialog helper and struct Buffer

Co-authored-by: Richard Russon <rich@flatcap.org>

Add menu dialog helper to add rows

Remove the manual max calculation and dialog row allocation.

Add a NONULL check because the helper uses safe_strdup() to add a row.

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert migrated lib.c functions to use struct Buffer

Fix mutt_getcwd() to return NULL on failure.

Change mutt_rmtree(), mutt_mkwrapdir(), safe_open(), and
safe_symlink() to use struct Buffer so they don't have filename length
limitations.

Co-authored-by: Richard Russon <rich@flatcap.org>

Increase prompt size to remove warning

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert change folder operations to use struct Buffer

Store the folder name inside a struct Buffer and use the various struct Buffer
enhanced functions.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add mutt_buffer_enter_fname()

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert other users of struct Mailbox->pathbuf to use Buffers

A few functions in browser.c, buffy.c, and monitor.c were using
struct Mailbox->pathbuf but were potentially truncating via fixed size buffers.
Convert those to use Buffers too.

buffy_get() was creating epath and expanding it, apparently to match
against expanded struct Mailbox list entries, was wasn't using the epath.  I
believe this is a bug, and have switched the comparison to epath.

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert struct Buffer->path to a struct Buffer

Rename to struct Buffer->pathbuf to make it clear the field is a struct Buffer, and
to make sure to catch and review all usages.

There are still uses of pathbuf that are truncating and need to be
fixed, for example in browser.c and buffy.c.

Fix up sidebar usage in one place, that was pointing inside the
struct Mailbox->path with a char *.  At the same time, change their "short
folder" computation to also use a struct Buffer.

Co-authored-by: Richard Russon <rich@flatcap.org>

Change struct Mailbox->realpath to be const char *

struct Mailbox->path is a fixed array (which will be converted to a struct Buffer in
the next commit).  This is needed to call mutt_expand_path().

However, struct Mailbox->realpath has no such need, and so it is a bit
wasteful (not to mention not big enough) to store as such.

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix utf7/utf8 conversion of mailbox names in LIST response

Because of a wrong argument passed into `imap_unmunge_mbox_name`, mailbox names
encoded in utf7 are not properly converted into utf8. This causes two problems:

1. mailbox names are mangled in the UI (M&AOY-lstr&APY-m instead of Mælström)

2. mailbox names are re-encoded to utf7 before being sent to the server,
resulting in "Mailbox does not exists" errors in commands such as DELETE

Avoid identity conversion