Fix ansi escape sequences with both reset and color parameters. (closes #3689)

The initial 0 "reset/normal" was setting attr = ANSI_OFF, which was
subsequently being or'ed with ANSI_COLOR.

The color resolution was then checking for the ANSI_OFF bit and
turning all coloring off, even though ANSI_COLOR was also set.

Change the color resolution to check for "attr == ANSI_OFF" instead, so
the color isn't reset unless the reset occurs last in the sequence.

Remove useless else branch in the $smart_wrap code. (see #3857)

Thanks to Vincent Lefèvre for noticing the nested else was redundant,
since buf_ptr is already set to "buf + cnt" after the format_line()
call.

This allows us to merge the inner and outer if statement, resulting in
simpler code.

Fix $smart_wrap to not be disabled by whitespace-prefixed lines. (closes #3857)

changeset:737102af74eb fixed a folded header display issue with $smart_wrap
by disabling $smart_wrap for lines beginning with whitespace.

Unfortunately, this turns off smart wrapping in the body of an email
too, even when the line has other whitespace breaks in it.

An earlier commit, changeset:125076e0fdfa added an infinite loop fix
when MUTT_PAGER_NSKIP is set, by disabling the smart_wrap if the space
backtracking went to the beginning of the line.  That is, a line
beginning with 1+ whitespace followed by a single long word.

Extend this second commit by always disabling the smart_wrap in that
case, not just when MUTT_PAGER_NSKIP is set.  This also solves the
folded header issue without other side effects.

Add $change_folder_next option to control mailbox suggestion order.

This patch is out of the Gentoo package maintained by Fabian Groffen.
From the link below, it appears the original author was Simon Burge.

I made some minor changes to get it to apply correctly, and cleaned up
the documentation a bit.

Original patch description:
This patch brings back the original behaviour of change-folder, which
some people find more useful.  It suggests the next folder in your
mailboxes list that has new mail measured from the current folder,
instead of the first folder from your mailboxes list in any case.  This
prevents starvation of folders defined at the back of your list ;)
See discussion: http://thread.gmane.org/gmane.mail.mutt.devel/12457

Updated French translation.

Add %R (number of read messages) for $status_format.

Add message count to $move quadoption prompt.

Display the number of messages that will be moved in the quadoption
prompt, which might prove helpful for some people.

Thank you to Daan van Rossum for suggesting the improvement.

Make sure that fgets and fgetc are undefined before their redefinition.

This fixes a potential issue from changeset e0a103845344.

Use fgets_unlocked and fgetc_unlocked if available.

Since mutt does not use threads, there is no reason it should use the
locked variants of the FILE* IO functions. This checks if the unlocked
functions are available, and if so enables them globally via mutt.h.

Cuts load time for a 56k message, 1.8GB /var/mail mailbox from 14
seconds to ~6 seconds, since we avoid acquiring and releasing a mutex
for every character of input read.

Before: 0m14.376s

    74.98%          mutt  libc-2.18.so        [.] _IO_getc
    11.87%          mutt  mutt                [.] mbox_parse_mailbox
     0.94%          mutt  [kernel.kallsyms]   [k] copy_user_generic_string
     0.83%          mutt  libc-2.18.so        [.] __strchr_sse2
     0.53%          mutt  libc-2.18.so        [.] __memcpy_sse2
     0.44%          mutt  libc-2.18.so        [.] _int_malloc

After: 6 seconds

    68.92%     mutt  mutt                  [.] mbox_parse_mailbox
     2.25%     mutt  [kernel.kallsyms]     [k] copy_user_generic_string
     1.73%     mutt  libc-2.18.so          [.] __strchr_sse2
     1.24%     mutt  libc-2.18.so          [.] __memcpy_sse2
     1.17%     mutt  libc-2.18.so          [.] _int_malloc
     0.87%     mutt  libc-2.18.so          [.] __strspn_sse42

Note which ssl config vars are GnuTLS or OpenSSL only. (closes #3781)

It was not obvious that the ssl_ca_certificates_file was only for
GnuTLS, or that the ssl_usesystemcerts was only for OpenSSL.

Add polling for the IDLE command. (closes #3957)

Add $imap_poll_timeout poll for IDLE, since this is also a command
that will freeze after waking if $imap_idle is set.

merge stable

Fix address group terminator "exact address" printing to display trailing semicolon.

The exact-address handling for comma and colon are different because
those are added outside the exact-address printing.

The semicolon needs to be inside the address->val field of the address
group terminator.

Enable $reply_self for group-reply, even with $metoo unset.

For a (r)eply, the $metoo variable does not have any effect because
there is a single recipient.

However with (g)roup reply, the To was initially set to the sender,
but subsequently removed my $nometoo.  The empty To line is then
replaced with the Cc line, resulting in a (logically correct but)
surprising outcome.

Change the behavior such that $nometoo will not strip a single To
recipient when $reply_self is set.

Make cmd_parse_fetch() more precise about setting reopen/check flags.

Previously any FETCH with FLAGS would result in either
  idata->reopen |= IMAP_EXPUNGE_PENDING;
  -or-
  idata->check_status = IMAP_FLAGS_PENDING;
being set.

This is unnecessary in the case of responses to FLAGS.SILENT updates
sent by mutt (which seem to commonly happen now-a-days).

Change imap_set_flags() to compare the old server flags against the
new ones, and report when _those_ updates would/did result in a local
header flag change.  Only set one of the reopen/check_status flags in
the event of an actual change (or potential change if a local change
has been made to the header.)

merge stable

Fix uses of context->changed as a counter.

The first was in mx_update_tables(), but only when "not committing".
This is used by mh/maildir during an "occult" update, and in imap when
expunging the mailbox.  It meant to simply turn on changed when a
single changed header is seen.

The second use was in imap_sync_message_for_copy().  Previously this
was used for a server side copy/save, but is now also used for
fast-trash copying.  Remove the code that was trying to decrement the
counter: this function is not capable of properly setting a status
bit.

Change maildir and mh check_mailbox to use dynamic sized hash. (closes #3973)

The original patch is by Matt Fleming, originally posted at
http://www.codeblueprint.co.uk/2017/01/15/a-kernel-devs-approach-to-improving2

The comments there indicate Matt tried to submit to trac and mutt-dev,
but ran into registration problems.  Thank you for the patch, and
sorry for those problems, Matt.

I modified the patch by making the same change to the
mh_check_mailbox() code too.

merge stable

mutt-1.9.1 signed

Added tag mutt-1-9-1-rel for changeset 869633ef393e

automatic post-release commit for mutt-1.9.1

merge stable

Add missing IMAP_CMD_POLL flag in imap buffy check.

I missed adding the flag to one of the imap_exec() calls inside the
loop, when a different server is encountered in the mailboxes list.

Close the imap socket for the selected mailbox on error.

The new $imap_poll_timeout calls the cmd_handle_fatal() error handler
on timeout, which is supposed to close and cleanup.

However, for the currently selected mailbox, the error handler was not
closing the socket after closing up the mailbox.  This left extra
SSL/GnuTLS data around and was causing errors on an attempt to
reconnect.

Thanks to Fabian Groffen for reporting the issue.

Fix imap sync segfault due to inactive headers during an expunge.  (closes #3971)

Mutt has several places where it turns off h->active as a hack.  For
example to avoid FLAG updates, or to exclude from imap_exec_msgset.

Unfortunately, when a reopen is allowed and the IMAP_EXPUNGE_PENDING
flag becomes set (e.g. a flag update to a modified header),
imap_expunge_mailbox() will be called by imap_cmd_finish().

The mx_update_tables() would free and remove these "inactive" headers,
despite that an EXPUNGE was not received for them.  This would result
in memory leaks and segfaults due to dangling pointers in the
msn_index and uid_hash.

There should probably be a more elegant solution, removing the initial
hacks.  However, this is causing a segfault, and the best solution
right now is to turn active back on for non-expunged messages in
imap_expunge_mailbox().

Extra thanks to chdiza, who bravely runs tip and found this issue
quickly.

Updated French translation.

Display an error message when delete mailbox fails. (see #3968)

merge stable

Improve imap fetch handler to accept an initial UID. (closes #3969)

Gmail sends flag updates with a UID before the FLAGS.  The handler was
very simple, and so ignored the flag update in that case.

Pull the code from msg_parse_fetch(), paring down to just UID and
FLAGS.  This will handle arbitrary order data items.

merge stable

Change imap copy/save and trash to sync flags, excluding deleted. (closes #3966) (closes #3860)

imap_copy_messages() uses a helper to sync the flags before performing
a server-side copy.  However, it had a bug that the "deleted" flag on
a local message, if set, will be propagated to the copy too.

Change the copy sync helper to ignore the deleted flag.  Then, change
the imap trash function to use the same helper.

Thanks to Anton Lindqvist for his excellent bug report, suggested
fixes, and help testing.

Remove \Seen flag setting for imap trash.  (see #3966) (see #3860)

Commit 323e3d6e5e4c has a side effect where spurious FETCH flag
updates after setting the \Seen flag can cause a sync to abort.

Remove manually setting \Seen for all trashed message before copying.

The next commit will change the imap trash function to use the same
code as the imap copy/save function for syncing the message before
server-side copying.

Updated French translation.

Remove 'really' from the purge-message help description.

This made it sound to the translators like a question.

Add L10N comment to generated keymap_defs.h files.

Make it clearer to translators that the strings are for the help
screen.

Add warning about using inline pgp with format=flowed. (closes #3963)

The reporter noted that when trying to use inline signing with
format=flowed, the flowed was turned off.

After some research, this appears to be deliberate, probably because
of strange interactions between inline PGP and format=flowed.  In fact
the RFC strongly discourages their combined use:
https://tools.ietf.org/html/rfc3676#section-4.6

Add a warning and prompt to use PGP/MIME in mutt_protect().

merge stable

Fix rv assignment in mutt_window_mvprintw(). (closes #3964)

Mutt doesn't check the return value, so this wasn't causing a bug, but
was incorrect.

Thanks to dcb314 for reporting the issue.

Fix fp resource leak. (closes #3965)

Thanks to dcb314 for reporting the issue.

merge default into stable

mutt-1.9.0 signed

Added tag mutt-1-9-rel for changeset 549821ba69e5

automatic post-release commit for mutt-1.9.0

Fix the new certificate prompt translations.

The Esperanto, Dutch, and Czech po files weren't updated in time for
1.9.  Fix the certificate prompt translations by adding a "(s)kip"
choice.  Otherwise the prompts would not be functional.

Updated Japanese translation.

Updated Catalan translation.

Add 1.9.0 entries to the UPDATING file.

Updated Danish translation.

Updated Danish translation.

Updated German translation.

Updated Russian translation.

Updated Ukrainian translation.

Add option to run command to query attachment mime type. (closes #2933) (closes #3959)

Add $mime_type_query_command to specify a command to run if the
attachment extension is not in the mime.types file.

Add $mime_type_query_first to allow the query command to be run before
the mime.types lookup.

Updated French translation.

Fix parent_hdr usage in mutt_attach_reply(). (see #3728)

If the selected attachments are not messages and no (common) parent is
found, parent_hdr is set to the passed in hdr.  In that case, parent
will still be NULL, but parent_hdr and parent_fp will be set.

Change the test to parent_hdr being NULL, not parent, to check for
this case.

Add edit-content-type helper and warning for decrypted attachments. (closes #3728)

Regenerating the actx index will overwrite any changes made to a
decrypted attachment.  Change the mutt_edit_content_type() function to
return 1 when a structural change is made.  Add a warning message when
that is the case and a decrypted message was edited, so the user is
not surprised.

Note: mutt_edit_content_type() appeared to regenerate multipart
subparts every time, leading to a memory leak.  I believe this was an
oversite, and it should have regenerated only when there were no
subparts, so have "fixed" this.

Fix attachment check_traditional and extract_keys operations. (see #3728)

Add helpers and iterate over the actx->idx instead of the BODY structure.

Fix shared attachment functions. (see #3728)

With nested decryption, the correct FP is associated with the
ATTACHPTR entry.  Also, the BODY entries are not continguous, so the
functions need to iterate over the actx index, not the BODY structure.

Fix the expand/collapse code to use the virtual index. (see #3728)

Fix the init code to respect OPTDIGESTCOLLAPSE.

Add virtual index to actx. (see #3728)

The virtual index is modeled after the CONTEXT.  Add a CURATTACH
helper to reduce code verbosity.  Store the actx as menu->data.

Simplify and consolidate the recvattach and compose menu update code
inside a function.

Because compose and recvattach share so much code, change compose to
use the virtual index even though it has no collapse/expand
functionality.

Change recvattach to allow nested encryption. (see #3728)

* Add a FP and BODY array to the actx.  These are used to allow proper
  cleanup.

* Add HEADER and root_fp entries, to allow for index regeneration.

* Separate out the compose and recvattach index generation functions.

* Change the recvattach index generator to decrypt as encrypted parts
  are found.

Add helpers to add and remove actx entries. (see #3728)

Use the helper in compose update_idx(), to consolidate the resize
logic and simplify the code.

Separate out the actx "free" routine from a routine to empty out the
idx.  The index regeneration routines should flush and rebuild the
index without having to renerate the actx structure.

Change helpers functions to pass actx. (see #3728)

Change the pager, compose, recvattach and recvcmd to pass the actx
instead of the individual idx and idxlen parameters.

Separate out the compose menu exit logic to first free the BODY data
and then call the shared actx free function at the bottom.

Create ATTACH_CONTEXT to hold attachment index. (see #3728)

Move the idx and idxlen into ATTACH_CONTEXT.  In subsequence patches,
this structure will hold more useful items, such as the virtual index.

The swap out is straightforward, except for:
  * update_idx() in compose.c, which post-increments the idxlen in the
    call and again in the function.
  * mutt_gen_attach_list() which doesn't need to returns the new values.

Updated Simplified Chinese translation.

Updated German translation.

Handle error if REGCOMP in pager fails when resizing.

Thanks to JiaZhouyang for finding this issue and supplying the original patch.

Updated German translation.

Convert raw_socket_poll() to use gettimeofday().

As long as gettimeofday() is supported, it's better to be consistent
within mutt and ensure greater portability.

Change the raw_socket_poll() wait timer to count milliseconds, like
the mutt_progess_update() code.

Thanks to Vincent Lefèvre for his, as always, invaluable advice.

Updated French translation.

Add autoconf search for clock_gettime.

It appears to be specified in POSIX.1-2001, so just abort if it's not found.

Add a missing time.h include in mutt_socket.c

Add $imap_poll_timeout to allow mailbox polling to time out.

Enable the polling flag for the NOOP in imap_check_mailbox(), the
STATUS command in imap_buffy_check(), and the LOGOUT command.

This is not intended to handle all blocking-IO related issues.
However, the periodic NOOP and STATUS are the most frequent places for
mutt to freeze up, especially after a laptop is sleep/woken.

Since these are quick operations with little data, this is a good place
to check if the connection is still working before hanging on a read.

Add timeout parameter to mutt_socket_poll.

This will be used in the next commit to add a timeout when polling for
new mail.

When guessing an attachment type, don't allow text/plain if there is a null character. (see #2933)

Type text/plain should not contain any null characters.  Slightly
improve the type guesser by forcing an attachment with any null
characters to be application/octet-stream.

Note the type guesser could use much more improvement, but this is an
easy and obvious fix.

merge stable

Change imap_cmd_start() to return OK when the cmd_queue is finished. (closes #3956)

Some response handlers can end up recursively calling
imap_cmd_start(), processing all the command completions.  If the
outer call was an imap_exec(), this would result in the loop never
being terminated (or just blocking reading a server that has already
finished all the commands).

Change the callers that are simply using it to read a response,
without having called cmd_start(), to check for IMAP_CMD_OK instead.
Currently this is just the open connection function.

Fix menu color calls to occur before positioning the cursor. (see #3956)

It is possible for menu->color() to end up fetching an imap message,
and therefore generating a status message.

Because of this, we need to make those calls before we position the cursor.

Decrease regex failure stack limit. (closes #3955)

When using alloca(), the built-in regexp library limited the failure
stack to 20,000 entries.  This value is too large, and causes alloca()
to segfault in the example provided in the ticket.

Decrease the limit to 8000.

Thanks to Thorsten Wißmann for the excellent bug report, which made
debugging this much easier.

drop unused flags argument from imap_access

We are not using an actual interface so it is pointless.

bcache: cast to avoid implicit signed/unsigned comparison in bcache_path

merge stable

Fix crash when $postponed is on another server.

imap_mxcmp() translates NULL to "INBOX".  When $postponed points to a
URL with an empty or "INBOX" path, this will end up matching against a
NULL idata->mailbox in imap_status().  This resulted in a crash
because idata->ctx is also NULL.

Thanks to Olaf Hering for the detailed bug report and suggested fix.

fix signed/unsigned comparison in longest_common_prefix

Add ~<() and ~>() immediate parent/children patterns. (closes #3144)

Thanks to Jeremie Le Hen for the original patch, and for his
persistence in getting this feature merged.

Remove stale certificate prompt translations.

With the OpenSSL changes, unmaintained translation prompts will not function properly.

Clear out the translation strings for those using different action keys.

This changeset does not touch the translation files that are actively
maintained.  They will be properly updated before the 1.9.0 release.

Update po files.

Add L10N comments to the GNUTLS certificate prompt.

The prompts are shared with OpenSSL, and so the prompts end up being
separate from the action key strings.

Add more description for the %S and %Z $index_format characters.

Add config vars for forwarded message attribution intro/trailer.

Add $forward_attribution_intro and $forward_attribution_trailer to
allow the default strings to be overridden.

Fix typo in smime_self_encrypt_as documentation. (closes #3953)

merge stable

Minor documentation fixes.

The muttrc man page doesn't contain the "Format Strings" section in
the manual, so add a pointer to the explanation of conditionals in
$status_format.

Block SIGWINCH during connect(). (closes #3941)

FreeBSD's connect() does not respect SA_RESTART, so a SIGWINCH will
end up interrupting the connect.

If this code is needed in other places, it should be moved into
signal.c.  For this one place, inlining the sigprocmask() seemed okay.

Improve the L10N comment about Sign as.

Make it clearer what the indentation behavior is, and add suggestions
about the width.

Thanks to TAKAHASHI Tamotsu for the original patch suggesting changes
to the L10N comments.

Updated Japanese translation.

Auto-pad translation for the GPGME key selection "verify key" headers.

Remove the ridiculous need for the translators to pad the translation
strings themselves.

Updated Danish translation.

Enable all header fields in the compose menu to be translated.

While it is suggested they need not be, for some locales it might be
preferable to be able to localize the fields.

For instance, fr_FR may want to change the punctuation to have a space
in front of the colon.  ja_JP may be more comfortable with a native
character set description of the field when using it every day.

Force hard redraw after $sendmail instead of calling mutt_endwin. (closes #3952) (see #3948)

Adding a mutt_endwin() seemed like a clean solution to allowing
ncurses pinentry for $sendmail, but it leaves other users watching a
blank screen.  This change is extremely likely to generate a large
number of complaints and bug reports.  So instead, force a hard
refresh afterwards.