test: fix leaks in library tests

test: fix leaks in config tests

check library parameters more carefully

Some test cases were causing library code to be run with invalid
parameters.  Reject these cases.

Fix next-unread-mailbox

e4133e5cd2 have introduced a small regression.

next-unread-mailbox does not automatically open the mailbox.

This change fixes it.

merge: update translations

 * Update lt_LT translation
 * update German translation
 * fix command string
 * fix 'too few/many' translations
 * tidy OAUTHBEARER error message
 * Update Ukrainian translation
 * Update Russian translation
 * Update Danish translation
 * sync translations

sync translations

Update Danish translation

Co-authored-by: Richard Russon <rich@flatcap.org>

Update Russian translation

Co-authored-by: Richard Russon <rich@flatcap.org>

Update Ukrainian translation

Co-authored-by: Richard Russon <rich@flatcap.org>

tidy OAUTHBEARER error message

fix 'too few/many' translations

fix command string

update German translation

Update lt_LT translation

Fixes 6 fuzzy strings.

feat: use mailbox description for spoolfile

'spoolfile' is limited to mailboxes paths so if one wants to use a
'named-mailboxes' or 'virtual-mailboxes' as the spoolfile, its path must
be duplicated in the 'spoolfile' assignment. 'virtual-mailboxes' has a
helper variable, 'virtual_spoolfile', for selecting the first
'virtual-mailboxes' entry as the spoolfile.

This commit allows one to use a mailbox description for the 'spoolfile,
which removes the need to duplicate a 'named-mailboxes' or
'virtual-mailboxes' path and makes 'virtual_spoolfile' defunct. The
configuration syntax is now more consistent.

It is important to note that mailbox descriptions are preferred to
paths.

To reflect the change, documentation was updated:
 - Add note to 'spoolfile' about using a string to specify a
   'named-mailboxes' or 'virtual-mailboxes' description.
 - Add a note to the 'virtual_spoolfile' documentation saying that it is no
   longer necessary since 'spoolfile' supports descriptions now.

merge: upstream fixes

 * Add a test for NULL parameter attribute too
 * Add a quick-starter config section to the manual.
 * Add sample starter muttrc to contrib.
 * Change sample muttrc path to match other manual references.
 * Add note about %r for the pgp_list_*_command vars.

Add note about %r for the pgp_list_*_command vars.

In this case %r is the list of search strings.

Change sample muttrc path to match other manual references.

The other parts of the manual refer to /usr/local/share/doc in their
examples.  For consistency, change the starter muttrc and manual entry
to do the same.

In the future, we may wish to have a config variable instead, so users
don't have to worry about system vs locally installed paths when
sourcing the gpg.rc, for instance.

Add sample starter muttrc to contrib.

Add a mini-section with a link to the manual instead, under
"Configuration".

Add a quick-starter config section to the manual.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add a test for NULL parameter attribute too

Just to be sure we don't have any issues with the new continuation
code.  The mutt_set_parameter() code doesn't actively prevent a null
attribute.

Co-authored-by: Richard Russon <rich@flatcap.org>

merge: fixes for bugs raised by automated testing

 * check value of 'Content-Length' more carefully
 * Replace atoi() to mutt_str_atoi()
 * fix leaks during header parsing

fix leaks during header parsing

Credit to OSS-Fuzz

Replace atoi() to mutt_str_atoi()

mutt_str_atoi() has error checking.

check value of 'Content-Length' more carefully

Replace `atol()` with `mutt_str_atol()` which has error checking.
Cap the maximum size to 1GiB.  If we exceed this your email to TOO BIG!

fix: config_dump()

Move a variable test so that config_dump() works again.

Fixes: #1705

fix: folder missing from status bar

Fix a typo introduced with the Buffer changes.
It lead to '%f' showing '(no mailbox)' all the time.

merge: update translations

 * Polish translation update
 * Update lt_LT translations
 * sync translations

sync translations

Update lt_LT translations

New fuzzy and untranslated strings.

See also https://github.com/neomutt/neomutt/issues/1680 because

  all: no binds in this menu
  all: no macros in this menu

probably should not be translated to

  all: šiame meniu nėra binds
  all: šiame meniu nėra macros

Polish translation update

Allow to disable IMAP's ENABLE extension to work-around broken servers

Issue #1689

merge: Upstream refactoring

 * Change struct Mailbox->realpath to be const char *
 * Convert struct Buffer->path to a struct Buffer
 * Convert other users of struct Mailbox->pathbuf to use Buffers
 * Add mutt_buffer_enter_fname()
 * Convert change folder operations to use struct Buffer
 * Increase prompt size to remove warning
 * Convert migrated lib.c functions to use struct Buffer
 * Add menu dialog helper to add rows
 * Convert certficate prompts to use menu dialog helper and struct Buffer
 * Convert pager help string to use struct Buffer
 * Convert compress to use mutt_buffer_quote_filename()
 * Convert remailer to use struct Buffer for Mixmaster invocation
 * Revert "Fix truncation of long filenames in attachments."
 * Handle the same secret key appearing in multiple public keyrings
 * Change mutt_parse_mailboxes() to use the path struct Buffer argument
 * Convert mutt_parse_adrlist() to use struct Buffer for simple parsing
 * Add note about $mailcap_path generation to the documentation
 * Add $imap_fetch_chunk_size to allow FETCHing new headers in chunks
 * Enable the use of toggle-write from the pager
 * Add note about IMAP browser and trailing delimiters
 * Add $forward_attachments quadoption for inline-forward mode
 * Note the other parts of generated message-ids in the manual
 * Fix mailbox search to not recompile for a repeated search
 * Corrected minor errors in text related to $forward_attachments
 * Update French translation
 * Write rfc2231 parameter continuations for long parameters
 * Add a manual section on OpenPGP and S/MIME configuration.
 * build: fix tests
 * tidy code

tidy code

- doxy: Tidy duplicate comments
- clang-format

build: fix tests

Add a manual section on OpenPGP and S/MIME configuration.

Talk about the required config variables, GPGME and classic mode,
agents, pinentry programs, and smime_keys.

Co-authored-by: Richard Russon <rich@flatcap.org>

Write rfc2231 parameter continuations for long parameters

Previously, Mutt would truncate long attachment filenames, to avoid
writing an illegal length header line.  This commit is a followup to
4dcb3ba1, where I reverted an incorrect fix for the problem.

rfc2231_encode_string() now returns a list of continuations, with
encoding and continuation number suffixes already appended to the
attribute.  The function tries to keep the line length less than 78
characters, but the code is a bit imprecise as a trade off for
simplicity and readability.

Modify mutt_write_mime_header() to loop through the continuations.

Co-authored-by: Richard Russon <rich@flatcap.org>

Update French translation

Co-authored-by: Richard Russon <rich@flatcap.org>

Corrected minor errors in text related to $forward_attachments

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix mailbox search to not recompile for a repeated search

The LastSearchExpn was being compared, but was never set to the
expanded search value.  This was causing the search to be recompiled
even if it were for the same previous expanded search string.

Co-authored-by: Richard Russon <rich@flatcap.org>

Note the other parts of generated message-ids in the manual

Co-authored-by: Richard Russon <rich@flatcap.org>

Add $forward_attachments quadoption for inline-forward mode

When set or answered yes, non text-decodable parts will be attached to
the new message.  The default value is "ask-yes", because I believe
this is something people will want to use, and should be made aware of
the new possible behavior.

The option presents a nice middle ground between previous
inline-forwarding behavior (where all the non-text parts were
dropped), and $mime_forward where the entire email was included as an
attachment.

This was previously difficult to achieve, but after the
recv-attachment refactoring: (a19e5266^..faabd621)
it became possible to use the ATTACH_CONTEXT and the recvattach.c
helper mutt_generate_recvattach_list() to properly deal with nesting
and multiple file-handles.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add note about IMAP browser and trailing delimiters

This is the same behavior as the regular browser, but I think still
deserves a quick mention.

Thanks to Charles for pointing out this section of the manual and
suggesting the addition.

Co-authored-by: Richard Russon <rich@flatcap.org>

Enable the use of toggle-write from the pager

Signed-off-by: Jeremy Sowden <jeremy@azazel.net>
Co-authored-by: Richard Russon <rich@flatcap.org>

Add $imap_fetch_chunk_size to allow FETCHing new headers in chunks

For extremely large mailboxes, some implementations will time out just
while fetching the new headers, because the client doesn't send any
commands for 30 minutes while downloading the large number of headers.

Rewrite imap_fetch_msn_seqset() to return chunks of size
$imap_fetch_chunk_size.

The change requires trusting the server will follow the RFC and not
send an EXPUNGE during or between the FETCH chunks; otherwise we'll
miss MSNs between the chunks because the shift.

We could in theory continue to set "msn_begin = idata->max_msn + 1",
but that makes the assumption there are no holes in the header cache
that we are filling in during a chunk.  Personally I am dubious about
"header cache holes", but the IMAP code has explicitly mentioned and
handled them since prior to my involvement.

Since the RFC forbids the interleaving EXPUNGE I believe it's safe
enough to set "msn_begin = fetch_msn_end + 1" until proven otherwise.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add note about $mailcap_path generation to the documentation

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert mutt_parse_adrlist() to use struct Buffer for simple parsing

Co-authored-by: Richard Russon <rich@flatcap.org>

Change mutt_parse_mailboxes() to use the path struct Buffer argument

Instead of copying to a buf[] variable, since the various utility
methods are now available to struct Buffer too.

Co-authored-by: Richard Russon <rich@flatcap.org>

Handle the same secret key appearing in multiple public keyrings

Allow for S/MIME keys and the possibility of missing subkeys

Co-authored-by: Richard Russon <rich@flatcap.org>

Revert "Fix truncation of long filenames in attachments."

This reverts commit f476d0aecd6f88db5291427fced21a8e834ca181.

The commit allowed the generation of illegal length header lines.  A
correct fix needs to implement parameter continuations.

I will work on that, but in case I don't get it in before 1.12,
preserve the hard truncation.

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert remailer to use struct Buffer for Mixmaster invocation

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert compress to use mutt_buffer_quote_filename()

Because the compress expandos operate differently than the rest of
mutt, requiring manual outer quoting, add a parameter to the function
to toggle outer quoting off.

Remove the now unused escape_path() function.

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert pager help string to use struct Buffer

Remove the awkward string truncation warnings, and remove helpstr and
tmphelp char arrays from the stack.

Because the pager is fairly long lived, allocate the helpstr instead
of using the pool.

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert certficate prompts to use menu dialog helper and struct Buffer

Co-authored-by: Richard Russon <rich@flatcap.org>

Add menu dialog helper to add rows

Remove the manual max calculation and dialog row allocation.

Add a NONULL check because the helper uses safe_strdup() to add a row.

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert migrated lib.c functions to use struct Buffer

Fix mutt_getcwd() to return NULL on failure.

Change mutt_rmtree(), mutt_mkwrapdir(), safe_open(), and
safe_symlink() to use struct Buffer so they don't have filename length
limitations.

Co-authored-by: Richard Russon <rich@flatcap.org>

Increase prompt size to remove warning

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert change folder operations to use struct Buffer

Store the folder name inside a struct Buffer and use the various struct Buffer
enhanced functions.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add mutt_buffer_enter_fname()

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert other users of struct Mailbox->pathbuf to use Buffers

A few functions in browser.c, buffy.c, and monitor.c were using
struct Mailbox->pathbuf but were potentially truncating via fixed size buffers.
Convert those to use Buffers too.

buffy_get() was creating epath and expanding it, apparently to match
against expanded struct Mailbox list entries, was wasn't using the epath.  I
believe this is a bug, and have switched the comparison to epath.

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert struct Buffer->path to a struct Buffer

Rename to struct Buffer->pathbuf to make it clear the field is a struct Buffer, and
to make sure to catch and review all usages.

There are still uses of pathbuf that are truncating and need to be
fixed, for example in browser.c and buffy.c.

Fix up sidebar usage in one place, that was pointing inside the
struct Mailbox->path with a char *.  At the same time, change their "short
folder" computation to also use a struct Buffer.

Co-authored-by: Richard Russon <rich@flatcap.org>

Change struct Mailbox->realpath to be const char *

struct Mailbox->path is a fixed array (which will be converted to a struct Buffer in
the next commit).  This is needed to call mutt_expand_path().

However, struct Mailbox->realpath has no such need, and so it is a bit
wasteful (not to mention not big enough) to store as such.

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix utf7/utf8 conversion of mailbox names in LIST response

Because of a wrong argument passed into `imap_unmunge_mbox_name`, mailbox names
encoded in utf7 are not properly converted into utf8. This causes two problems:

1. mailbox names are mangled in the UI (M&AOY-lstr&APY-m instead of Mælström)

2. mailbox names are re-encoded to utf7 before being sent to the server,
resulting in "Mailbox does not exists" errors in commands such as DELETE

Avoid identity conversion

Avoid useless reallocations in IMAP utf8/utf7 conversion

merge: unit test updates

 * test: quieten successful tests
 * test: merge tests
 * build: disable testing by default

build: disable testing by default

Change `configure` to not build the unit tests by default.

```
--testing   Enable Unit Testing
--coverage  Enable Coverage Testing (enables Unit Testing)
```

Co-authored-by: Pietro Cerutti <gahr@gahr.ch>

test: merge tests

test: quieten successful tests

Fix crash when trying to collapse a limit not matching any messages

This is a follow-up of #1685

Do not link in a new Account after a failed login

Fixes #1690

merge: move existing tests

 * test: move base64 tests
 * test: move file tests
 * test: move rfc2047 tests
 * test: move md5 tests
 * test: move url tests
 * test: move address tests
 * test: move buffer tests

test: move buffer tests

test: move address tests

test: move url tests

test: move md5 tests

test: move rfc2047 tests

test: move file tests

test: move base64 tests

merge: upstream Buffer changes

 * Change autoview_handler() to use struct Buffer
 * Convert mutt_check_simple() to accept a struct Buffer parameter
 * Add mutt_buffer_quote_filename()
 * Convert mutt_expand_file_fmt() to accept struct Buffer dest parameter
 * Convert mutt_get_tmp_attachment to use struct Buffer
 * Convert mutt_compose_attachment to use struct Buffer
 * Convert mutt_edit_attachment to use struct Buffer
 * Convert mutt_view_attachment to use struct Buffer
 * Convert mutt_print_attachment to use struct Buffer
 * Convert mutt_expand_fmt() and rfc1524_expand_filename() to struct Buffer
 * Rename to mutt_rfc1524_expand_filename()
 * Convert remaining mutt_adv_mktemp() calls to use buffer version
 * Rename mutt_buffer_adv_mktemp()
 * test: update for buffer changes

test: update for buffer changes

Rename mutt_buffer_adv_mktemp()

Remove buffer prefix since all callers now use this version.

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert remaining mutt_adv_mktemp() calls to use buffer version

Co-authored-by: Richard Russon <rich@flatcap.org>

Rename to mutt_rfc1524_expand_filename()

Now that all callers pass a struct Buffer, the buffer prefix is not needed to
distinguish the parameter.

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert mutt_expand_fmt() and rfc1524_expand_filename() to struct Buffer

These two functions were tied together and so are converted at the
same time.

Note that rfc1524_expand_filename() had an off-by-one error for the
left hand size of the name template.  It was only copying i-1 instead
of the i characters before %s.

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert mutt_print_attachment to use struct Buffer

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert mutt_view_attachment to use struct Buffer

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert mutt_edit_attachment to use struct Buffer

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert mutt_compose_attachment to use struct Buffer

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert mutt_get_tmp_attachment to use struct Buffer

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert mutt_expand_file_fmt() to accept struct Buffer dest parameter

mutt_expand_fmt() will be converted in the next commit, at the same
time as rfc1524_expand_filename().

Co-authored-by: Richard Russon <rich@flatcap.org>

Add mutt_buffer_quote_filename()

Convert almost all the callers to use the new function.  alias.c usage
is a bit involved, so leave that for now.

Remove unneeded index while converting from mutt_quote_filename().

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert mutt_check_simple() to accept a struct Buffer parameter

Co-authored-by: Richard Russon <rich@flatcap.org>

Change autoview_handler() to use struct Buffer

This will allow the full conversion of rfc1524_expand_filename(), and
thereafter mutt_adv_mktemp() too.

Co-authored-by: Richard Russon <rich@flatcap.org>

merge: fix bind/macro translations

 * icommands.c: Unify error messages about temp file creation
 * icommands.c: Add hints about '%s' for the translators
 * icommands.c: I18N: Fix piecemeal constructed translation string
 * po: Update PO files due to icommands.c change

po: Update PO files due to icommands.c change

icommands.c: I18N: Fix piecemeal constructed translation string

Do not translate individual parts of a message and then combine them in
a printf-style way. This might work for English but miserably fails for
other languages. Instead use two or more complete sentences and pass
each of the sentences to the translator.

Fixes issue #1680

icommands.c: Add hints about '%s' for the translators

Add comments which describe what the '%s' parameter in the translation
string is.

icommands.c: Unify error messages about temp file creation

Unify all the messages stating that the temporary file could not be
created to include the filename of the temporary file.

Respect collapse_all after limit (#1685)

Issue #1667