Merge branch 'stable'

Mention sources for ~p and ~P patterns.

The manual only mentioned alternates.  Add $from and local
account/hostname to the list.

The man page implied the only source was alternates.  Change to the
same wording as the manual.

Thanks to @rear1019 for pointing out the misleading man page.

Merge branch 'stable'

Improve imap_append_message() error message handling.

If the rc is IMAP_CMD_BAD, then either idata->buf is stale or an error
message has already been printed (in cmd_handle_untagged()).

Use imap_next_word() to skip over the next two words instead of
directly skipping over SEQLEN, in case the buffer is in a different
format.  We don't want to jump over the end of string.

Skip the mutt_error() if there is nothing to print.

Merge branch 'stable'

Enable the idata->check_status using bit operations.

Commit e3f66d7e fixed dropped new mail notications, removing the
unsetting of idata->reopen IMAP_NEWMAIL_PENDING in imap_cmd_finish()
when an EXPUNGE was processed.

However, imap_cmd_finish() can be called twice by
imap_check_mailbox().  First as part of the imap_exec(), and manually
again just below.

Now that the IMAP_NEWMAIL_PENDING still exists, a second call could
overwrite idata->check_status if both reopen flags were set.

This unfortunately affects update_index(), which behaves differently
for MUTT_REOPENED.

I need to change the return value of mx_check_mailbox() in master to
preserve all the bits, so the index can both notify of new mail and
update_index() properly.

For stable, the best fix is to use bit operators to enable the
check_status flags in imap_cmd_finish() (and cmd_parse_fetch for
flags), and keep the imap_check_mailbox() priority of setting its
return value (it prioritizes IMAP_EXCHANGE_PENDING).

Merge branch 'stable'

Improve robustness of imap_append_message().

First, check the imap_cmd_step() return value instead of looking at
idata->buf for "OK".  If the connection bombed and imap_cmd_step()
returned IMAP_CMD_BAD, the value of idata->buf is stale.

If the server returned "+ OK" for the command continuation request
response, the call to imap_code(idata->buf) would even end up
returning true, despite that the append failed!  (See #110, although
at the time of commit I can only hypothesize this is what is
happening.)

Second, check the status of the writes.  flush_buffer() was not
passing the rc from mutt_socket_write_n(), which was further making
the above disaster scenerio possible.

Check for GNU Make to allow version.h FORCE target.

If we're using GNU Make, the FORCE target allows automatically
updating the version number after each commit.

See commit 22c6df82

Merge branch 'stable'

Fix dropped new mail notifications when an EXPUNGE_PENDING is set.

Prior to the fetch_headers rework and introduction of
idata->max_msn (starting around e0376c75), cmd_handle_untagged() was
looking directly at ctx->msgcount, which isn't fixed up until
imap_expunge_mailbox().  At that time, more care had to be taken
inbetween handling the EXPUNGE message and the actual expunge of the
mailbox because of the discrepency between server state and mailbox
context state.

idata->max_msn is now decremented during the processing of EXPUNGE and
VANISHED notices from the server, so reflect "current" state.  So,
when we receive an EXISTS notice, we no longer need the checks for
expunge state and can always set the NEWMAIL_PENDING flag.

Additionally, fix imap_cmd_finish() to retain the IMAP_NEWMAIL_PENDING
flag after handling an expunge.  The expunge does not grab new
messages so dropping the flag would cause mutt to forget the new mail
status until another EXISTS command.

Since this is a stable branch fix, I'm leaving the either/or
processing of expunge versus new mail in imap_cmd_finish().  However,
I don't see why this has to be done in two calls.  I may rework that
in master to process an expunge and then the new mail one after the
other.

Change --disable-doc to only skip manual generation.

Instead of skipping the entire doc directory building, just skip the
manual.html, manual.txt, and mutt.info generation.

Generate and install the other files in the doc directory, which don't
have the same involved dependencies as the DocBook generated files.

Merge branch 'stable'

Remove FORCE prerequisite on version.h.

This is causing package build issues on OpenBSD because of a
difference in make behavior.

In GNU make, it always invoke the 'version.h' target, but then checks
to see if version.h changed before retriggering targets with that
prerequisite.  On OpenBSD, invoking the version.h target always
retriggers targets with that prerequisite.

This means that updating the version information now requires a 'make
clean' or manual removal of version.h.

Merge branch 'stable'

Minor documentation correction.

Remove EXTRACT_MACROS check from EXTRACT_NUMBER in regex.

Commit 367b1135 converted EXTRACT_NUMBER to always call a function, to
enable the use of parameter types and local variables.  In doing this
it removed the separate DEBUG implementation.

The EXTRACT_MACROS check was accidentally left in, but no longer makes
sense outside of the DEBUG.

Rename --with-regex to --with-bundled-regex.

This makes the configuration option purpose clearer.  Previously,
some distros enabled the option thinking it turned on a "regex" option
that should be enabled.

Closes #89.

Remove undefined left-shift on negative value from regex.c.

Replace with a bitwise-or of the byte 1, byte 22, and a mask to extend
the sign bit.

Change the dest parameter type to unsigned int just to make sure the
compiler doesn't do anything tricky or get offended somehow.

See #89.

Change mutt_addr_is_user() to no for a NULL address.

See ticket #140.

The behavior is generating a false 'F' flag for a spam message with an
unparsable From address.

After reviewing the callers, I can't see a reason returning 'yes' in
this case.

Commit 690c2945 fixed a potential segv issue, but the other callers
seem robust against this change in behavior.

Turn on $ssl_force_tls by default.

Ticket #135 suggests that these days, it's better to force encryption
over all connections.  RFC8314 is recommending MUA's move in that
direction (actually even directing towards implicit TLS over
STARTTLS).

I'm enabling this at the beginning of the 1.13 development cycle to
give others time to chime in with any objections.  Personally, I've
had this option set myself for years.  The only place it could become
an issue is for a localhost IMAP server with no cert.  In that case,
it's easy enough to have an account hook unset if needed, and I think
a better idea that the user be forced to turn it off.

make OP_HALF_{UP,DOWN} behave symmetric.

  - the calculation of number of lines to scroll up/down should not
  depend on whether the number of rows in the pager/index/terminal is
  odd or even.
  - this patch will make the behaviour symmetric such that in both cases
  (even/odd number of rows) scrolling up and down by half a page (or the
  other way round) will get you back to the exact same line as before.

Disable state messages for attachments when forwarding.

First, option(OPTVIEWATTACH) is only set for (s->flags & DISPLAY), so that
check can be ignored.

With that removed, all this is doing is printing
  [-- This is an attachment ...]
with no context in the middle of non-display rendering for the case
$honor_disposition is set with a handler.

This makes no sense and I believe is a logic error.  Perhaps this
never took effect, but with $forward_attachments it now affects
forwarding in that case.

Have $forward_attachments look at attachment disposition.

If $honor_disposition is set, an "attachment" disposition decodable
attachment won't be included in the body, so we want it to be added as
an attachment to the forwarded email.

automatic post-release commit for mutt-1.12.0

Set UPDATING file release date for 1.12.0.

Make mutt.texi and mutt.info generation continue on failure.

Add warning messages, noting the appropriate packages to install.

Note: mutt.texi won't normally be built unless configure finds one of
the possible expected conversion program names.  Unfortunately, the
canonical name, "docbook2texi", is used by both the docbook2x and
docbook-utils projects.

So on Arch, the canonical name is what we need, while on Debian and
Red Hat/Fedora it isn't.  We search for the alternative names first,
but it's still possible to invoke the wrong program if the needed
package is not installed.

Updated Japanese translation.

Adjust docbook2texi program search.

Look for db2x_docbook2texi first, because Fedora/Red Hat has their own
version of "docbook2texi": db2x_docbook2texi.  I'm not sure what to do
if they have don't have that installed but have docbook2texi
installed, since this is a terrible name collision.

Thanks to Moritz Barsnick for pointing out the different binary (and
package) names on Fedora.

Update gpgme and gpg-error automake checks.

Pull updated autoconf files from the GPGME 1.13.0 release and use
those new macros.

Add a call to AM_PATH_GPG_ERROR() and include $(GPG_ERROR_LIBS) in the
libraries.

Thanks to Eike Rathke for finding the build problem, and for his
patch fixing the issue.  I opted for just grabbing the newest autoconf
files from gpgme instead, but his fixed worked great too.

Updated Catalan translation.

Avoid undefined behavior on huge integer in a RFC 2231 header.

The atoi() function was called on the index, which can potentially
be huge in an invalid message and can yield undefined behavior. The
mutt_atoi() function is now used for error detection.

Add a "backticks in double quotes" example to the manual.

Fix sample muttrc to use better quoting practices.

Use single quotes in the password encryption example.

For password decryption, put the backquotes inside double quotes to
avoid special characters being re-interpreted.

fr.po: updated Project-Id-Version for the 1.12 release

Updated Czech translation.

Updated Simplified Chinese translation.

Updated Danish translation.

Updated Russian translation

Updated Ukrainian translation

Update de.po

Unwrap lines, because it is 2019.

Signed-off-by: Olaf Hering <olaf@aepfle.de>

Check for NULL addresses in mutt_addrcmp().

While looking into ticket #140, I noticed default_to() could pass a
NULL env->from to mutt_addrcmp() if $reply_self is set and there is a
reply_to address.

Add note about %r for the pgp_list_*_command vars.

In this case %r is the list of search strings.

Change sample muttrc path to match other manual references.

The other parts of the manual refer to /usr/local/share/doc in their
examples.  For consistency, change the starter muttrc and manual entry
to do the same.

In the future, we may wish to have a config variable instead, so users
don't have to worry about system vs locally installed paths when
sourcing the gpg.rc, for instance.

Add sample starter muttrc to contrib.

Add a mini-section with a link to the manual instead, under
"Configuration".

Fix typo in manual.

Add a quick-starter config section to the manual.

Add a test for NULL parameter attribute too.

Just to be sure we don't have any issues with the new continuation
code.  The mutt_set_parameter() code doesn't actively prevent a null
attribute.

Add a manual section on OpenPGP and S/MIME configuration.

Talk about the required config variables, GPGME and classic mode,
agents, pinentry programs, and smime_keys.

Write rfc2231 parameter continuations for long parameters.

Previously, Mutt would truncate long attachment filenames, to avoid
writing an illegal length header line.  This commit is a followup to
4dcb3ba1, where I reverted an incorrect fix for the problem.

rfc2231_encode_string() now returns a list of continuations, with
encoding and continuation number suffixes already appended to the
attribute.  The function tries to keep the line length less than 78
characters, but the code is a bit imprecise as a trade off for
simplicity and readability.

Modify mutt_write_mime_header() to loop through the continuations.

Missing word in UPDATING file.

Minor UPDATING file fix.

UPDATING file cleanups.

Second quick pass.

Update UPDATING file.

This is a first pass to get something out quickly to testers.

Updated French translation.

Corrected minor errors in text related to $forward_attachments.

Fix mailbox search to not recompile for a repeated search.

The LastSearchExpn was being compared, but was never set to the
expanded search value.  This was causing the search to be recompiled
even if it were for the same previous expanded search string.

Note the other parts of generated message-ids in the manual.

Add $forward_attachments quadoption for inline-forward mode.

When set or answered yes, non text-decodable parts will be attached to
the new message.  The default value is "ask-yes", because I believe
this is something people will want to use, and should be made aware of
the new possible behavior.

The option presents a nice middle ground between previous
inline-forwarding behavior (where all the non-text parts were
dropped), and $mime_forward where the entire email was included as an
attachment.

This was previously difficult to achieve, but after the
recv-attachment refactoring: (a19e5266^..faabd621)
it became possible to use the ATTACH_CONTEXT and the recvattach.c
helper mutt_generate_recvattach_list() to properly deal with nesting
and multiple file-handles.

Add note about IMAP browser and trailing delimiters.

This is the same behavior as the regular browser, but I think still
deserves a quick mention.

Thanks to Charles for pointing out this section of the manual and
suggesting the addition.

Add RECURSIVEMATCH LIST-EXTENDED selection option to query.

LSUB is required to include mailboxes with subscribed children, but
the just added "LIST (SUBSCRIBED)" by default does not do that.

To match previous behavior, add RECURSIVEMATCH to make sure the
children are included.  Fix the parser to trim off the CHILDINFO
suffix in the response.

Parse \NonExistent LIST attribute the same as \NoSelect.

Enable the use of toggle-write from the pager.

Signed-off-by: Jeremy Sowden <jeremy@azazel.net>

Improve hierarchy information accuracy in IMAP browser

Currently the IMAP browser relies on LIST and LSUB (for listing subscribed
folders) which may not provide the required hierarchy information.

RFC3348 section 3 goes as far as stating that a client mustn't rely on LSUB
for hierarchy information.

This patch implements the LIST command extensions specified in RFC5258
requiring that a server must respond with hierarchy information for
listed folders (whether or not filtering on subscribed folders).

Add $imap_fetch_chunk_size to allow FETCHing new headers in chunks.

For extremely large mailboxes, some implementations will time out just
while fetching the new headers, because the client doesn't send any
commands for 30 minutes while downloading the large number of headers.

Rewrite imap_fetch_msn_seqset() to return chunks of size
$imap_fetch_chunk_size.

The change requires trusting the server will follow the RFC and not
send an EXPUNGE during or between the FETCH chunks; otherwise we'll
miss MSNs between the chunks because the shift.

We could in theory continue to set "msn_begin = idata->max_msn + 1",
but that makes the assumption there are no holes in the header cache
that we are filling in during a chunk.  Personally I am dubious about
"header cache holes", but the IMAP code has explicitly mentioned and
handled them since prior to my involvement.

Since the RFC forbids the interleaving EXPUNGE I believe it's safe
enough to set "msn_begin = fetch_msn_end + 1" until proven otherwise.

Add note about $mailcap_path generation to the documentation.

Convert mutt_parse_adrlist() to use BUFFER for simple parsing.

Change mutt_parse_mailboxes() to use the path BUFFER argument.

Instead of copying to a buf[] variable, since the various utility
methods are now available to BUFFER too.

Handle the same secret key appearing in multiple public keyrings

Allow for S/MIME keys and the possibility of missing subkeys

Fix unistring library configure test.

The "action-if-found" argument of AC_SEARCH_LIBS is run even if the
result is "none required" (i.e. the test function is already in LIBS,
in this case -lidn2).

This was causing "-lunistring" to be appended on a system without the
library installed, generating a build error.  Fix the test to not
append the library for the "none required" case.

Thanks to Fabrice Fontaine for reporting this issue and helping me
test the fix.

Revert "Fix truncation of long filenames in attachments."

This reverts commit f476d0aecd6f88db5291427fced21a8e834ca181.

The commit allowed the generation of illegal length header lines.  A
correct fix needs to implement parameter continuations.

I will work on that, but in case I don't get it in before 1.12,
preserve the hard truncation.

Convert remailer to use BUFFER for Mixmaster invocation.

Convert compress to use mutt_buffer_quote_filename().

Because the compress expandos operate differently than the rest of
mutt, requiring manual outer quoting, add a parameter to the function
to toggle outer quoting off.

Remove the now unused escape_path() function.

Update po headers.

Add missing Language header.

Make the Project-Id-Version header consistent.

Increase mutt_pgpring path size to silence warning.

This is an independent binary, and doesn't have access to the BUFFER
functions.  The binary is used by very few (if any) people at this
point, so just make the minimum fix to silence the warning.

Convert pager help string to use BUFFER.

Remove the awkward string truncation warnings, and remove helpstr and
tmphelp char arrays from the stack.

Because the pager is fairly long lived, allocate the helpstr instead
of using the pool.

Convert certficate prompts to use menu dialog helper and BUFFER.

Add menu dialog helper to add rows.

Remove the manual max calculation and dialog row allocation.

Add a NONULL check because the helper uses safe_strdup() to add a row.

Convert migrated lib.c functions to use BUFFER.

Fix mutt_getcwd() to return NULL on failure.

Change mutt_rmtree(), mutt_mkwrapdir(), safe_open(), and
safe_symlink() to use BUFFER so they don't have filename length
limitations.

Relocate lib.c functions to muttlib.c to enable BUFFER use.

Relocate safe_symlink(), safe_open(), mutt_rmtree() and their
dependent functions.

This rearrangement is a bit awkward.  Another approach for the future
might be to convert lib.c into a muttlib.c aware file, and just copy
the functions pgppubring.c uses inside itself.

Increase prompt size to remove warning.

Convert change folder operations to use BUFFER.

Store the folder name inside a BUFFER and use the various BUFFER
enhanced functions.

Add mutt_buffer_enter_fname().

Convert other users of BUFFY->pathbuf to use BUFFERS.

A few functions in browser.c, buffy.c, and monitor.c were using
BUFFY->pathbuf but were potentially truncating via fixed size buffers.
Convert those to use BUFFERS too.

buffy_get() was creating epath and expanding it, apparently to match
against expanded BUFFY list entries, was wasn't using the epath.  I
believe this is a bug, and have switched the comparison to epath.

Convert BUFFER->path to a BUFFER.

Rename to BUFFER->pathbuf to make it clear the field is a BUFFER, and
to make sure to catch and review all usages.

There are still uses of pathbuf that are truncating and need to be
fixed, for example in browser.c and buffy.c.

Fix up sidebar usage in one place, that was pointing inside the
BUFFY->path with a char *.  At the same time, change their "short
folder" computation to also use a BUFFER.

Change BUFFY->realpath to be const char *.

BUFFY->path is a fixed array (which will be converted to a BUFFER in
the next commit).  This is needed to call mutt_expand_path().

However, BUFFY->realpath has no such need, and so it is a bit
wasteful (not to mention not big enough) to store as such.

Add a note about $prompt_after to the $pager documentation.

Rename mutt_buffer_rfc1524_expand_command()

Remove buffer prefix now that all callers are converted.

Convert rfc1524_expand_command() implementation to use BUFFER.

Add mutt_buffer_sanitize_filename() helper.

Add a few end-of-buffer checks while iterating over command.

Convert the parameter name, paramater value, and types to use BUFFER
instead of fixed size strings.

Convert last rfc1524_expand_command caller to use a BUFFER.

Rename mutt_buffer_adv_mktemp().

Remove buffer prefix since all callers now use this version.

Convert remaining mutt_adv_mktemp() calls to use buffer version.

configure.ac: fix static build with idn2 and unistring

Commit 78db40f25c6479b14da5a73adf7207bfbec5ccc5 did not fix static build
failure

AC_SEARCH_LIBS prepends the library to LIBS as a result -lunistring is
added before -lidn2. To fix static build, we must set -lunistring after
-lidn2

Fixes:
 - http://autobuild.buildroot.org/results/c9544b4f1a0252e260a2ed19218fa950f4dc2d2d

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

Generate version string during make not configure

Switch to generating the version string during make process rather than
at configure time.  This makes it easier to keep the detailed version
string accurate when doing development which doesn't require that the
configure script be rerun.

Rename to mutt_rfc1524_expand_filename().

Now that all callers pass a BUFFER, the buffer prefix is not needed to
distinguish the parameter.

Convert mutt_expand_fmt() and rfc1524_expand_filename() to BUFFER.

These two functions were tied together and so are converted at the
same time.

Note that rfc1524_expand_filename() had an off-by-one error for the
left hand size of the name template.  It was only copying i-1 instead
of the i characters before %s.

Convert mutt_expand_file_fmt() to accept BUFFER dest parameter.

mutt_expand_fmt() will be converted in the next commit, at the same
time as rfc1524_expand_filename().

Add mutt_buffer_quote_filename().

Convert almost all the callers to use the new function.  alias.c usage
is a bit involved, so leave that for now.

Remove unneeded index while converting from mutt_quote_filename().

Convert mutt_check_simple() to accept a BUFFER parameter.

Change autoview_handler() to use BUFFER.

This will allow the full conversion of rfc1524_expand_filename(), and
thereafter mutt_adv_mktemp() too.

Fix undeclared function warning for mutt_buffy().

Not sure why gcc didn't give me the warning, but add buffy.h to
pager.c.

status.c already includes mx.h (which includes buffy.h), but add it
explicitly in any case.