Add a test for NULL parameter attribute too.

Just to be sure we don't have any issues with the new continuation
code.  The mutt_set_parameter() code doesn't actively prevent a null
attribute.

Add a manual section on OpenPGP and S/MIME configuration.

Talk about the required config variables, GPGME and classic mode,
agents, pinentry programs, and smime_keys.

Write rfc2231 parameter continuations for long parameters.

Previously, Mutt would truncate long attachment filenames, to avoid
writing an illegal length header line.  This commit is a followup to
4dcb3ba1, where I reverted an incorrect fix for the problem.

rfc2231_encode_string() now returns a list of continuations, with
encoding and continuation number suffixes already appended to the
attribute.  The function tries to keep the line length less than 78
characters, but the code is a bit imprecise as a trade off for
simplicity and readability.

Modify mutt_write_mime_header() to loop through the continuations.

Missing word in UPDATING file.

Minor UPDATING file fix.

UPDATING file cleanups.

Second quick pass.

Update UPDATING file.

This is a first pass to get something out quickly to testers.

Updated French translation.

Corrected minor errors in text related to $forward_attachments.

Fix mailbox search to not recompile for a repeated search.

The LastSearchExpn was being compared, but was never set to the
expanded search value.  This was causing the search to be recompiled
even if it were for the same previous expanded search string.

Note the other parts of generated message-ids in the manual.

Add $forward_attachments quadoption for inline-forward mode.

When set or answered yes, non text-decodable parts will be attached to
the new message.  The default value is "ask-yes", because I believe
this is something people will want to use, and should be made aware of
the new possible behavior.

The option presents a nice middle ground between previous
inline-forwarding behavior (where all the non-text parts were
dropped), and $mime_forward where the entire email was included as an
attachment.

This was previously difficult to achieve, but after the
recv-attachment refactoring: (a19e5266^..faabd621)
it became possible to use the ATTACH_CONTEXT and the recvattach.c
helper mutt_generate_recvattach_list() to properly deal with nesting
and multiple file-handles.

Add note about IMAP browser and trailing delimiters.

This is the same behavior as the regular browser, but I think still
deserves a quick mention.

Thanks to Charles for pointing out this section of the manual and
suggesting the addition.

Add RECURSIVEMATCH LIST-EXTENDED selection option to query.

LSUB is required to include mailboxes with subscribed children, but
the just added "LIST (SUBSCRIBED)" by default does not do that.

To match previous behavior, add RECURSIVEMATCH to make sure the
children are included.  Fix the parser to trim off the CHILDINFO
suffix in the response.

Parse \NonExistent LIST attribute the same as \NoSelect.

Enable the use of toggle-write from the pager.

Signed-off-by: Jeremy Sowden <jeremy@azazel.net>

Improve hierarchy information accuracy in IMAP browser

Currently the IMAP browser relies on LIST and LSUB (for listing subscribed
folders) which may not provide the required hierarchy information.

RFC3348 section 3 goes as far as stating that a client mustn't rely on LSUB
for hierarchy information.

This patch implements the LIST command extensions specified in RFC5258
requiring that a server must respond with hierarchy information for
listed folders (whether or not filtering on subscribed folders).

Add $imap_fetch_chunk_size to allow FETCHing new headers in chunks.

For extremely large mailboxes, some implementations will time out just
while fetching the new headers, because the client doesn't send any
commands for 30 minutes while downloading the large number of headers.

Rewrite imap_fetch_msn_seqset() to return chunks of size
$imap_fetch_chunk_size.

The change requires trusting the server will follow the RFC and not
send an EXPUNGE during or between the FETCH chunks; otherwise we'll
miss MSNs between the chunks because the shift.

We could in theory continue to set "msn_begin = idata->max_msn + 1",
but that makes the assumption there are no holes in the header cache
that we are filling in during a chunk.  Personally I am dubious about
"header cache holes", but the IMAP code has explicitly mentioned and
handled them since prior to my involvement.

Since the RFC forbids the interleaving EXPUNGE I believe it's safe
enough to set "msn_begin = fetch_msn_end + 1" until proven otherwise.

Add note about $mailcap_path generation to the documentation.

Convert mutt_parse_adrlist() to use BUFFER for simple parsing.

Change mutt_parse_mailboxes() to use the path BUFFER argument.

Instead of copying to a buf[] variable, since the various utility
methods are now available to BUFFER too.

Handle the same secret key appearing in multiple public keyrings

Allow for S/MIME keys and the possibility of missing subkeys

Fix unistring library configure test.

The "action-if-found" argument of AC_SEARCH_LIBS is run even if the
result is "none required" (i.e. the test function is already in LIBS,
in this case -lidn2).

This was causing "-lunistring" to be appended on a system without the
library installed, generating a build error.  Fix the test to not
append the library for the "none required" case.

Thanks to Fabrice Fontaine for reporting this issue and helping me
test the fix.

Revert "Fix truncation of long filenames in attachments."

This reverts commit f476d0aecd6f88db5291427fced21a8e834ca181.

The commit allowed the generation of illegal length header lines.  A
correct fix needs to implement parameter continuations.

I will work on that, but in case I don't get it in before 1.12,
preserve the hard truncation.

Convert remailer to use BUFFER for Mixmaster invocation.

Convert compress to use mutt_buffer_quote_filename().

Because the compress expandos operate differently than the rest of
mutt, requiring manual outer quoting, add a parameter to the function
to toggle outer quoting off.

Remove the now unused escape_path() function.

Update po headers.

Add missing Language header.

Make the Project-Id-Version header consistent.

Increase mutt_pgpring path size to silence warning.

This is an independent binary, and doesn't have access to the BUFFER
functions.  The binary is used by very few (if any) people at this
point, so just make the minimum fix to silence the warning.

Convert pager help string to use BUFFER.

Remove the awkward string truncation warnings, and remove helpstr and
tmphelp char arrays from the stack.

Because the pager is fairly long lived, allocate the helpstr instead
of using the pool.

Convert certficate prompts to use menu dialog helper and BUFFER.

Add menu dialog helper to add rows.

Remove the manual max calculation and dialog row allocation.

Add a NONULL check because the helper uses safe_strdup() to add a row.

Convert migrated lib.c functions to use BUFFER.

Fix mutt_getcwd() to return NULL on failure.

Change mutt_rmtree(), mutt_mkwrapdir(), safe_open(), and
safe_symlink() to use BUFFER so they don't have filename length
limitations.

Relocate lib.c functions to muttlib.c to enable BUFFER use.

Relocate safe_symlink(), safe_open(), mutt_rmtree() and their
dependent functions.

This rearrangement is a bit awkward.  Another approach for the future
might be to convert lib.c into a muttlib.c aware file, and just copy
the functions pgppubring.c uses inside itself.

Increase prompt size to remove warning.

Convert change folder operations to use BUFFER.

Store the folder name inside a BUFFER and use the various BUFFER
enhanced functions.

Add mutt_buffer_enter_fname().

Convert other users of BUFFY->pathbuf to use BUFFERS.

A few functions in browser.c, buffy.c, and monitor.c were using
BUFFY->pathbuf but were potentially truncating via fixed size buffers.
Convert those to use BUFFERS too.

buffy_get() was creating epath and expanding it, apparently to match
against expanded BUFFY list entries, was wasn't using the epath.  I
believe this is a bug, and have switched the comparison to epath.

Convert BUFFER->path to a BUFFER.

Rename to BUFFER->pathbuf to make it clear the field is a BUFFER, and
to make sure to catch and review all usages.

There are still uses of pathbuf that are truncating and need to be
fixed, for example in browser.c and buffy.c.

Fix up sidebar usage in one place, that was pointing inside the
BUFFY->path with a char *.  At the same time, change their "short
folder" computation to also use a BUFFER.

Change BUFFY->realpath to be const char *.

BUFFY->path is a fixed array (which will be converted to a BUFFER in
the next commit).  This is needed to call mutt_expand_path().

However, BUFFY->realpath has no such need, and so it is a bit
wasteful (not to mention not big enough) to store as such.

Add a note about $prompt_after to the $pager documentation.

Rename mutt_buffer_rfc1524_expand_command()

Remove buffer prefix now that all callers are converted.

Convert rfc1524_expand_command() implementation to use BUFFER.

Add mutt_buffer_sanitize_filename() helper.

Add a few end-of-buffer checks while iterating over command.

Convert the parameter name, paramater value, and types to use BUFFER
instead of fixed size strings.

Convert last rfc1524_expand_command caller to use a BUFFER.

Rename mutt_buffer_adv_mktemp().

Remove buffer prefix since all callers now use this version.

Convert remaining mutt_adv_mktemp() calls to use buffer version.

configure.ac: fix static build with idn2 and unistring

Commit 78db40f25c6479b14da5a73adf7207bfbec5ccc5 did not fix static build
failure

AC_SEARCH_LIBS prepends the library to LIBS as a result -lunistring is
added before -lidn2. To fix static build, we must set -lunistring after
-lidn2

Fixes:
 - http://autobuild.buildroot.org/results/c9544b4f1a0252e260a2ed19218fa950f4dc2d2d

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

Generate version string during make not configure

Switch to generating the version string during make process rather than
at configure time.  This makes it easier to keep the detailed version
string accurate when doing development which doesn't require that the
configure script be rerun.

Rename to mutt_rfc1524_expand_filename().

Now that all callers pass a BUFFER, the buffer prefix is not needed to
distinguish the parameter.

Convert mutt_expand_fmt() and rfc1524_expand_filename() to BUFFER.

These two functions were tied together and so are converted at the
same time.

Note that rfc1524_expand_filename() had an off-by-one error for the
left hand size of the name template.  It was only copying i-1 instead
of the i characters before %s.

Convert mutt_expand_file_fmt() to accept BUFFER dest parameter.

mutt_expand_fmt() will be converted in the next commit, at the same
time as rfc1524_expand_filename().

Add mutt_buffer_quote_filename().

Convert almost all the callers to use the new function.  alias.c usage
is a bit involved, so leave that for now.

Remove unneeded index while converting from mutt_quote_filename().

Convert mutt_check_simple() to accept a BUFFER parameter.

Change autoview_handler() to use BUFFER.

This will allow the full conversion of rfc1524_expand_filename(), and
thereafter mutt_adv_mktemp() too.

Fix undeclared function warning for mutt_buffy().

Not sure why gcc didn't give me the warning, but add buffy.h to
pager.c.

status.c already includes mx.h (which includes buffy.h), but add it
explicitly in any case.

Change main() folder to be BUFFER.

This affects the -f, -y, and -Z options directly.

Create mutt_buffer_buffy() buffer function.

Relocate some of the buffy function declarations to buffy.h while
adding the new declaration.

Fix mutt_buffer_select_file() macro to call correct function.

Change mutt_folder_hook() parameter to const char *.

Add a note about spam and the header cache in the manual.

Restore active flag in imap_fetch_message() on error.

Remove h->active hack in imap_sync_message_for_copy().

Commit 285baf9a improved FLAGS parsing such that "spurious" FLAGS
updates won't cause a mailbox reopen.

Remove the h->active=0 hack because it isn't needed now and makes
reasoning about deletes, purges, and message set generation more
difficult.

Merge branch 'stable'

Change IMAP to try oauthbearer first.

$imap_authenticators says if it is unset, the authenticators from
most-secure to secure will be tried.  It makes sense for oauthbearer
to come first, like with POP.

To make this change backwards compatible, it depends on the previous
commit, which changed imap_auth_oauth() to return IMAP_AUTH_UNAVAIL if
oauth is not configured or explictily requested.

Fail oauth quietly if it was not configured.

Don't report an error unless they explicitly put "oauthbearer" in the
authenticator list or configured the oauth_refresh_command.

Fix typo in documentation.

Add documentation on thread tree characters and config vars.

browser.c: Convert f parameter to BUFFER.

browser.c: Convert other browser local variables to BUFFER.

browser.c: Convert buf to BUFFER.

browser.c: Convert prefix to BUFFER.

browser.c: Convert LastDir and LastDirBackup to BUFFER.

Add a cleanup method call to main to free the BUFFERS.

Add mutt_buffer_concat_path() buffer helper function.

Add mutt_getcwd().

Add mutt_buffer_strcpy_n().

Fixes to mutt_buffer_expand_path().

Create _mutt_buffer_expand_path() with the rx argument.

Use mutt_b2s() instead of derefencing buffer->data in
mutt_buffer_expand_path().  The p->data uses were safe, but the
src->data was potentially not.

Merge branch 'stable'

automatic post-release commit for mutt-1.11.4

Merge branch 'stable'

Fix incorrect IMAP message purging bug.

Thanks to Ivan Middleton @imiddle for the awesome bug report and
suggested fix.

The bug is most easily generated using Gmail with the $trash variable
set.

Deleted messages are first copied to the $trash folder.  If this is
set to "[Gmail]/Trash", then Gmail inteprets the copy as a "delete"
and sends EXPUNGE messages back for the messages.

cmd_parse_expunge() and cmd_parse_vanished() set the hdr->index to
INT_MAX, which subsequently an imap_expunge_mailbox() will use to
remove the messages from the local mailbox.

If we close the mailbox instead of sync it, Mutt will end up executing
the 'Deleted' flag setting before processing the expunge (because
"imap_check_mailbox() -> imap_cmd_finish()' doesn't set check_status
when we are closing).  The expunged messages will then be included in
the set of 'Deleted' flags.

Unfortunately, because the messages are sorted by *index* before
msgset generation, an incorrect range of UIDs will be sent, which
could easily include messages that should not be deleted.

This fix is a minimal fix for a stable bug fix  excluding
messages with the index set to INT_MAX from all msg sets.  Other
things that should be investigated in master are:

- sorting by UID instead of index before msgset generation
- unsetting the 'active' flag in cmd_parse_expunge() and
  cmd_parse_vanished() instead of waiting until imap_expunge_mailbox()
  to do so.

Add mutt_buffer_expand_path().

TODO: '@' expansion using mutt_default_save() is still using a fixed size
string parameter.

Convert imap_expand_path() and mutt_rx_sanitize_string() to use
BUFFERS instead.

Add url_ciss_tobuffer().

Fix imap_pretty_mailbox() call to url_ciss_tostring().

Pass the correct buffer size through, so the strfcpy added in the next
commit doesn't write past the end of the buffer.

Move mutt_rx_sanitize_string() to muttlib.c

So it can be converted to use BUFFER.

Improve imap uid seqset hcache buffer usage.

mutt_buffer_increase_size() terminates the buffer, so there is no need
to explicitly check for an empty buffer after the
imap_msn_index_to_uid_seqset() call.

Minor buffer handling code cleanup.

Use mutt_buffer_len() and mutt_buffer_clear() to make the code a bit
clearer.  There are still places in the code that manipulate the
buffers directly (pattern.c, for example), but that doesn't mean we
shouldn't abstract the buffer where we can.

Add comments in a couple places where unusual buffer manipulation is
occurring.

Add "Message Composition Flow" section to manual.

This provides a brief overview of the steps during message
composition, and shows when the various hooks are executed.

Expand a couple of the comments about charset.

Make it clearer what BODY->charset is used for, and why we are
checking for !noconv during mailcap charset parameter expansion.

Check noconv for mailcap %{charset} send mode expansion.

Improve the previous commit by checking to make sure a->noconv also
isn't set.  If noconv is set, we ignore any value a->charset might
have picked up during previous encoding checks.

Fix mailcap %{charset} expansion in send mode.

Use the current charset of the file for the parameter, since the file
hasn't been converted yet.

Use gpgme recipient strings for encryption when available.

For gpgme >= 1.11.0, use gpgme_op_encrypt_ext() and
gpgme_op_encrypt_sign_ext() to specify recipients as a string.

This allows '!' to specify forcing a subkey, as is the case in classic
gpg and from the command line.

Remove the '!' "force valid" usage for the newer version.

Add $include_encrypted config to prevent reply-decryption attack.

@jensvoid, in cooperation with Ruhr-Uni Bochum and FH Münster,
Germany, reported a possible "Oracle decryption" attack on various
mail clients.  An attacker could include previously encrypted contents
they obtained access to, and include it in a message.  Replying
without trimming would include the decrypted contents.

This attack relies on several "ifs", and is more dangerous for clients
that compose HTML mail.  However, it is still an issue that an
unwary/busy Mutt user could fall for.

Add a new config $include_encrytped, defaulting off, to reduce the
possibility of the user being unaware of previously encrypted parts in
the reply.  Only the main initial encrypted part will be included in
the reply.

Add additional search names for docbook texi conversion program.

On Arch, it is called docbook2text

Fix truncation of long filenames in attachments.

Currently mutt truncates long filenames in attachments and doesn't
take into account UTF-8 character size. If filename is truncated in
the middle of multi-byte UTF-8 character (last character is bad),
then some mail clients assume whole attachment name bad and don't
display its name (use 'Noname' instead).

Filenames can be up to 255 *characters* long depending on used
filesystem. ReiserFS, NFTS, FAT, APFS and some other supports up to
255 characters.
In the worst case 255 characters in UTF-8 will take 255*4 = 1020
bytes. Every non-ascii byte in the filename will be encoded using 3
bytes (for example, %8D).
So 'Content-Disposition' will take in the worst case up to: 1020*3 =
3060 bytes. Therefore even LONG_STRING (1024) isn't enough.

Check the base64 decoding retval in auth_gss.

Abort if the value is not decodable.

Change auth_gss to to use buffers and the buffer pool.

Ticket #100 revealed that even a bufsize of 8192 isn't guaranteed to
be big enough.  Convert those large buffers to use the buffer pool
instead.

Add mutt_buffer helpers for base64 conversion.

Add mutt_buffer_from_base64() mutt_buffer_to_base64() to help with
transitioning to buffers.

Add mutt_buffer_len() helper.

Updated French translation.

Create <group-chat-reply> function.

This function differs from <group-reply> only in that it preserves To
recipients in the original email as To recipients in the reply.

The merits of this function aren't without controversy; therefore it
is left unbound by default.  Those who care about such things are free
to bind it.

Combine reply operation handlers in the pager and curs_main, since the
code was the same with the exception of the flags used.

Updated French translation.

corrected typo from dad0eb255fddbef5f14772b85b32acf6f2ca7996

Add an error message for <descend-directory>.

Don't allow the operation on a non-directory.  Print a message
indicating it's not a directory.

Separate out op variable in the browser.

The i variable is used in several places and scopes as a temporary
index variable, but is also used to record the current operation.
Separate them out to make the code less confusing.