merge stable

Fix potential segv if mx_open_mailbox is passed an empty string. (closes #3945)

If path is "", ctx->path will be NULL.  realpath() generally will segv
if the first parameter is NULL.

Fix mfc overflow check and uninitialized variable.

The check borrowed from mx_alloc_memory() works because it is
incremented 25 at a time.  I don't believe it will work for the direct
set case used in imap_alloc_msn_index().  Instead, use a more
conservative check.

In imap_read_headers(), make sure mfhrc is initialized.  It would be
tested without being set if imap_cmd_step() returned OK right away.

Don't abort header cache evaluation when there is a hole. (see #3942)

Instead, find the first missing MSN and generate a more complicated
sequence set specifying the missing ranges.

This removes the assumption that the header cache query returned
results in MSN order.

Small imap fetch fixes. (see #3942)

Add an integer overflow test, pulled from mx_alloc_memory(), since the
count comes from a potentially hostile server.

After reviewing the RFC a bit, it turns out the server is not supposed
to send EXPUNGE responses during a FETCH.  Change the comment, but
keep the conservative code.

Properly adjust fetch ranges when handling new mail. (see #3942)

When pulling down headers, it is possible for expunge responses to
happen too.  If we get a new mail count, we need to take into account
changes to the max_msn due to the expunges.

Add msn_index and max_msn to find and check boundaries by MSN. (see #3942)

Since there can be gaps in MSNs, the largest MSN in the context is not
necessarily ctx->msgcount.

Use max_msn instead of ctx->msgcount for:
  - the starting MSN of new mail header fetching
  - boundary checking in fetch, expunge, and other places

Use msn_index to efficiently look up headers by MSN.  This makes the
expunge code slightly more efficient.  It also makes FETCH handling, and
duplicate FETCH FLAG handling efficient.

Start fixing imap_read_headers() to account for MSN gaps. (see #3942)

Change the parameters to pass MSN instead of index, to make a bit
simpler.

Change header cache evaluation to look at the largest MSN retrieved
instead of ctx->msgcount for the next fetch start point.  This still
depends on the assumption that MSNs are retrieved in ascending order,
which needs to be fixed.

Simplify the header cache inner loop termination and memory cleanup
logic.  Fix a memory leak if a hole in the header cache occured.

Fix the header retrieval logic to take into account MSN gaps in the
results.  Loop only as long as we get IMAP_CMD_CONTINUE instead of
over a fixed count.  Simplify the inner loop termination and memory
cleanup logic too.

Simplify the "new mail while fetching" logic by creating a third outer
loop to handle re-fetches.

Fix msg_fetch_header() to return -2 if msg_parse_fetch() encounters a
corrupt FETCH response.  Previously it would pass on the rc of
msg_parse_fetch(), meaning it would return -1 even though the response
was corrupt.

Fix cmd_parse_fetch() to match against MSN. (see #3942)

Fix imap expunge to match msn and fix index. (see #3942)

The expunge needs to match against the MSN now.  Since
cmd_parse_expunge() does not automatically fix h->index anymore,
change imap_expunge_mailbox() to fix up the h->index values.

Move the IMAP msn field to IMAP_HEADER_DATA. (see #3942)

Ticket 3942 revealed that it is possible for a FETCH to have gaps in
the MSN numbers of the results.  The code makes many assumptions that
equate context index counts and MSN.  This is the first in a series of
commits fixing that assumption.

The header->index field is supposed to hold the SORT_ORDER index
number of the message.  If there are gaps in the MSN, than the highext
MSN can in fact be out of the range 0..ctx->msgcount-1.

After studying the code, I believe curs_main.c would actually work
with header->index values out of the range, at least for IMAP.  But
some other parts of the code, such as mutt_reopen_mailbox(), do rely
on the values being a valid index to ctx->hdrs[].  And the
intertwining of menu->oldcurrent with header->index values makes me
nervous about future changes.

So, to be safe, move the MSN to its own field in IMAP_HEADER_DATA.

The next commit will fix the EXPUNGE behavior.

Don't filter new entries when compacting history save file.

If new entries are added between the two passes, they won't be in the
dup_hash.  The original intent was to filter added duplicates, but the
check would also filter brand new entries.

Also remove duplicates from the history file.

When $history_remove_dups is set, remove duplicates from the history
file when it is periodically compacted.

Add $history_remove_dups option to remove dups from history ring.

When set, duplicate entries will be removed from the history ring when
a new entry is added.  The duplicate removal rearranges the history
ring such that created empty slots are right after the "last" position
in the ring, preserving the most history.

Rewrite the next/prev functions to take into account that blank slots can
now be in the middle of the array.

merge stable

Turn IMAP_EXPUNGE_EXPECTED back off when syncing. (closes #3940).

imap_sync_mailbox() turned on IMAP_EXPUNGE_EXPECTED when issuing a
EXPUNGE command during a sync.  However, it forgot to turn it back off.

That meant that an unexpected EXPUNGE that occurred during a
mx_check_mailbox -> imap_check_mailbox() -> imap_cmd_finish() call was
not setting
  idata->check_status = IMAP_EXPUNGE_PENDING;
and so imap_check_mailbox() was not returning MUTT_REOPENED.

This meant that although the Context had been changed, the index did
not run update_index(), resulting in a possible segfault.

Thanks to Uroš Juvan for reporting the issue, and his invaluable
description of how to reproduce the problem.

Create R_PAGER_FLOW config variable flag.

Use this for $header_color_partial, $markers, and $smart_wrap.  When
these options are changed in the pager, this flag will force a
recalculation of lineInfo.

Remove the manual checks in OP_ENTER_COMMAND for $markers and
$smart_wrap, and instead use the same REDRAW_FLOW processing used for
a SigWinch.

Rename REDRAW_SIGWINCH to REDRAW_FLOW.

The next patch will attach this redraw flag to pager settings.  The
former name becomes somewhat confusing with the expanded usage, so
rename it to something more relevant to what is being redrawn.

Add $header_color_partial to allow partial coloring of headers.

When set, a regexp match will color only the matched text in the
header.  When unset (the default), the entire header will have color
applied.

With appropriate regexps, this allows coloring of just the header
field name.  Of course, it can also be used to highlight arbitrary
phrases in the headers too.

Improve maildir and mh to report flag changes in mx_check_mailbox() (closes #3865)

mx_check_mailbox() would update the header flags, but was not
returning MUTT_FLAGS back to the index loop.  That meant a screen
redraw was needed to be notified of externally modified flags.

Change maildir_update_flags() to return 1 if the flags were actually
changed.  Change maildir_check_mailbox() and mh_check_mailbox() to
return MUTT_FLAGS when that happens.

Thanks to jcdenton and mike-burns for the original patch.

merge stable

Don't modify LastFolder/CurrentFolder upon aborting a change folder operation.

Set LastFolder and CurrentFolder after mx_close_mailbox() has
successfully completed.  Otherwise, if the close is aborted, they will
have incorrect values.

Change message modifying operations to additively set redraw flags.

With the ability to set redraw flags with the menu stack operations,
some operations internally modify the current menu redraw flag.
For instance, _mutt_set_flag() can now set REDRAW_SIDEBAR.

Change the ops that modify messages to use 'redraw |= REDRAW_X'
instead of overwriting the flag value.

merge stable

Fix sidebar count updates when closing mailbox. (closes #3938)

The context unread and flagged counts were being updated too early in
mx_close_mailbox().  Cancelling at any of the following prompts would
leave them in an incorrect state.  Additionally, $move could increase
the delete count (for flagged messages), and $delete, if answered no,
could turn off message deletion.

Move all the sidebar buffy stat updating to the bottom of the
function, after all the prompts and processing.

Add color commands for the compose menu headers and security status. (closes #3915).

Add "color compose header" to color the From/To/Subject/etc fields in
the compose menu.

Add "color compose security_encrypt/sign/both/none" to color the
security status of the message.

Remove glibc-specific execvpe() call in sendlib.c. (see #3937)

Changeset fa1192803257 converted all exec calls to use mutt_envlist().
Unfortunately, the call in sendlib.c, execvpe(), is a glibc extension.

Convert back to execvp() for now, to fix the build on MacOS.

merge stable

Refresh header color when updating label. (closes #3935)

color index with a '~y' pattern were not being updated after
adding/removing labels.

merge stable

Fix unused function warnings when sidebar is disabled. (closes #3936)

parse_path_list/unlist are currently only used by the
un/sidebar_whitelist commands.  Add an ifdef around them to stop an
unused function warning.  Add a comment too, so it's clear why they
are ifdef'ed.

merge stable

Note that mbox-hooks are dependent on $move.

Add a note to the "Using Multiple Spool Mailboxes" section.

Convert all exec calls to use mutt_envlist(), remove setenv function.

The documentation implies that all children processes will be affected
by the setenv command, so convert all the exec calls to use
mutt_envlist().

The setenv("GPG_TTY") call is no longer needed so remove it.

With that removed, there are no other setenv calls in mutt, so remove
the autoconf check and replacement function.

merge stable

Fix km_error_key() infinite loop and unget buffer pollution.

'bind pager \Ch help' produces an infinite loop when an unbound key is
pressed in the pager.  The reason is because km_error_key() tries to
verify that the key sequence is really bound to the OP_HELP operation.
It does this by using km_expand_key(), tokenize_unget_string() on the
resulting buffer, then checking if the next km_dokey() returns OP_HELP.

The problem is that km_expand_key() does not always produce a string
that is properly reparsed by tokenize_unget_string().  Control-h
sequences are expanded to ^H.  tokenize_unget_string() recognizes this
as two characters '^' and 'H'.  km_error_key() checks the OP returned,
which is OP_PAGER_TOP for the '^'.  This is not OP_HELP, so it prints
a generic error and returns.  This leaves the 'H' in the input buffer!
Since 'H' (by default) is unbound in the pager, it retriggers
km_error_key(), resulting in an infinite loop.

The same issues can occur without control sequences:
  bind generic ? noop
  bind generic dq help
In the index, hitting an unbound key will end up leaving 'q' in the unget
buffer, because 'd' is bound in the index menu and will be read by km_dokey().

A simple approach to fix this would be to just use the same code as in
mutt_make_help(), which has no double-check.  This would be no worse
than the help menu, but can generate an inaccurate error message (e.g
if '?' were bound to noop)

This patch instead uses OP_END_COND as a barrier in the unget buffer.
It directly inserts the keys in the OP_HELP keymap, instead of using
km_expand_key() + tokenize_unget_string().  After calling km_dokey()
it flushes the unget buffer to the OP_END_COND barrier.

Thanks to Walter Alejandro Iglesias for reporting the bug.

merge stable

Fix error message when opening a mailbox with no read permission. (closes #3934)

ctx->mx_ops ends up being NULL for both the case that ctx->magic is 0
and -1.  This meant the mutt_perror() error message was never being
printed, because the check for ctx->mx_ops == NULL was taking place
first.

Move the "ctx->magic == -1" check first, so mutt will print out an
appropriate perror message in that case.

merge stable

mutt-1.8.2 signed

Added tag mutt-1-8-2-rel for changeset c6ea4aed6bec

automatic post-release commit for mutt-1.8.2

Revert sort prompt labels. (see #3930)

Using the (s)ort style may look a bit better, but it makes the prompt
over 80 columns.  The multichoice prompt supports multiple lines now,
but it is better to have it fit on one line if possible.

Revert back to the "capital letter" method, but leave the ticket open,
to explore other ideas that Vincent and chdiza have for better ways to
present a long choice like this.

merge stable

Fix GPG_TTY to be added to envlist. (closes #3931)

Changeset 37209157e33c converted filters to use the envlist.
Unfortunately, I missed that pgp.c sets GPG_TTY when using the GnuPG
agent.  Convert to add GPG_TTY to the envlist too.

Handle the pager sort prompt inside the pager.

Display the prompt in the pager, so a multiline prompt or resize
doesn't refresh the index menu.  Then, bounce back through the index
to handle resorting and status line updates.

This also fixes cancelling to stay in the pager.

Change the sort prompt to use (s)ort style prompts.

This is consistent with the rest of mutt, and in my opinion, more readable.

Add multiline and sigwinch handling to mutt_yesorno. (closes #3877)

Most of the yes/no and query_quadoption prompts are pretty short, but
for completeness add handling for those too.

Set pager's REDRAW_SIGWINCH when reflowing windows.

So that all external reflow handling functions don't have to remember
to set the flag too.

Add multiline and sigwinch handling to mutt_multi_choice. (see #3877)

Resize the message window up to three lines to fix wide prompts.

Enable sigwinch processing and redraw the current menu as needed.

Add ifdefs around new mutt_resize_screen calls.

Changeset 231fa2eff206 added sigwinch handling to _mutt_enter_string()
but neglected to add an ifdef check.

merge stable

mutt-1.8.1 signed

Added tag mutt-1-8-1-rel for changeset f44974c10990

automatic post-release commit for mutt-1.8.1

merge stable

Fix memleak when attaching files.

Ensure mutt stays in endwin during calls to pipe_msg()  (closes #3929)

The previous commit solved the problem reported in #3929: progressbar
output while downloading a message via IMAP was refreshing the mutt
ncurses session after launching the pipe program.

To ensure another place in the code doesn't inadvertantly generate
output, wrap OPTKEEPQUIET around the calls to
pipe_msg()/mutt_wait_filter() too.

merge stable

Silence imap progress messages for pipe-message. (see #3929)

_mutt_pipe_message() calls endwin(), and then calls pipe_msg().  If an
imap message body hasn't already been downloaded, this can end up
calling imap_fetch_message().

The progress messages in imap_fetch_message() were restoring curses,
just after extract_url was running.  This was leading to a condition
where mutt curses didn't think the screen had changed after
extract_url exited.

There was already a check for isendwin() inside imap_fetch_message(),
but it wasn't wrapped around the progressbar creation/usage.  Add a
check for those places too.

Don't create query menu until after initial prompt. (see #3877)

A resize in the prompt will trigger a redraw, but the data won't be
loaded yet, displaying a blank screen instead of the previous menu.
Once the query is done, the data is loaded, but the menu->redraw state
has been changed by the resize.

We could manually flag a redraw, but it makes more sense visually
logically to just create the menu after the query and results are
loaded.

Separate out the pager menu redrawing. (see #3877)

The pager relies on REDRAW_SIGWINCH, so add that to _mutt_get_field().

Prepare for pager redraw separation. (see #3877)

Move some of the code inside SigWinch handling into the REDRAW part of
the code.

SigInt is handled by mutt_getch(), so remove the redundant code from
inside the pager.

Separate out the index menu redrawing. (see #3877)

Separate out the compose menu redrawing. (see #3877)

Add a custom_menu_redraw to the menu and change menu_redraw() to call
that instead if set.

Change km_dokey() to pass SigWinch on for the MENU_EDITOR. (see #3877)

Change _mutt_enter_string() to pass the SigWinch through for
_mutt_get_field() or mutt_enter_string() to handle.

Add a call to mutt_current_menu() in _mutt_get_field() to properly
redisplay the screen in that case.

Remove redraw flag setting after mutt_endwin().

There is no need to set a redraw flag in this case.  The screen will
automatically be properly redrawn on the next refresh().

Remove, lest it get propagated.

Remove refresh parameter from mutt_enter_fname().

Also remove it from mutt_save_message(), which used it to pass through
to mutt_enter_fname().  The callers of this already had redraw logic,
to which REDRAW_STATUS merely needed to be added.

Create R_MENU redraw option.

Previously, the R_INDEX option meant both the index as well as all
other menus.  The removal of the OPTFORCEREDRAWINDEX option caused problems
with redrawing other menus for options such as arrow_cursor.

One solution would be change R_INDEX back to meaning "everything"
except pager, but there are only a handful of options that affect
other menus.

Instead, create R_MENU to indicate options that affect either all
menus or one of the other menus beside the index and pager.

Change reflow_windows() to set full redraw.

A full redraw should always be set in this case.  This also enables us
to remove redraw flags for some options.

Remove SidebarNeedsRedraw.

The menu stack can be used to flag a redraw of the sidebar window.

Remove the OPTFORCEREDRAW options.

Use the menu stack to flag redraws for the index and pager.

Filter other directional markers that corrupt the screen.

merge stable

Fix (un)sidebar_whitelist to expand paths.

Thanks to Arturo for reporting the issue.

Don't full redraw the index when handling a command from the pager.

This causes a noticable flicker when moving through messages from the pager.

Remove redraw parameter from crypt send_menus.

The parameter was used to notify the caller if the sign (a)s menu was
invoked, which displayed the key selection menu.  This is no longer
necessary with the menu stack pop operation.

Set refresh when popping the menu stack.

This removes the need for the OPTNEEDREDRAW option and MAYBE_REDRAW
macro previously used to communicate back the need to refresh after
exiting a menu.

Remove the redraw parameter from ci_bounce_message() and
mix_make_chain() which served the same purpose.

Change CurrentMenu to be controlled by the menu stack.

The pager menu is a bit tricky with respect to the menu->menu and
CurrentMenu, so add a few comments.

Add a menu stack to track current and past menus.

Change the pager to use a MENU, right now just to hold the refresh
state.

merge stable

Fix mutt_refresh() pausing during macro events.

Changeset a07e8215a0ef split input buffering into two pools.
Unfortunately, the mutt_refresh() was not changed to check the correct
buffer count, resulting in unnecessary refreshes during macros.

The SSL interactive certificate prompts set OPTIGNOREMACROEVENTS and
then put up a confirmation menu.  Perhaps we've just been lucky, but
it seems we should refresh the screen in those cases if we're in the
middle of a macro.  Add a check for this option in mutt_refresh() too.

merge stable

Fix setenv overwriting to not truncate the envlist. (see #3922)

The refactor in 2b9c40f13e13 exposed a bug I hadn't noticed.  The
match loop performed a FREE() on the slot.  Then, below, it was
checking if (*envp) to see whether it was overwriting or creating a
new slot.  However, FREE() nulls out *envp.  This would end up
truncating the envlist just after the set slot!

Move the free down, using a mutt_str_replace(), when overwriting the
slot.

merge stable

Fix mutt_envlist_set() for the case that envlist is null. (see #3922)

Pass envlist to filter children too.  (closes #3922)

The new setenv patch neglected to pass the envlist for filters too.

Unfortunately, the filter code was already set up to pass COLUMNS to
children, so it needed to be changed to add this to the envlist
instead.

Factor out mutt_envlist_set() from the parse_setenv() function, which
the filter code can then use to set COLUMNS after forking.

Fix conststrings type mismatches. (closes #3926)

The generation programs for conststrings.c: txt2c.c and txt2c.sh,
specified the resultant types as "unsigned char[]" while main.c
declared them as "const char[]".

txt2.c generates 0xXX hex codes for each individual character, thus
the "unsigned" definition.  With link-time optimization, some versions
of gcc notice the mismatch and emit a warning.

Change the declarations to match the definitions and cast to char[]
when they are used.

Change OpenSSL to use SHA-256 for cert comparison. (closes #3924)

Note the GnuTLS code compares the certs directly to check if they are
in the certfile.

Updated French translation.

Add shortcuts for IMAP and POP mailboxes in the file browser

Mailbox list may not be properly displayed in a standard 80-column
terminal window if the $folder variable contains a long URL.  In such
a case only left part of each entry name can be visible with the default
value of $folder_format.  What's worse, this visible part may not be
enough to distinguish between the entries.

Thus in this case mutt_pretty_mailbox() will be just as useful as for
local mailboxes.

Add SNI support for GnuTLS. (closes #3923)

Add SNI support for OpenSSL. (see #3923)

The original patch for this is by Phil Pennock at:
https://people.spodhuis.org/phil.pennock/software/mutt-patches/

I have removed the OpenSSL version check and defined(OPENSSL_NO_TLSEXT)
check because:
  * SSL_set_tlsext_host_name() was added in 0.9.8f [11 Oct 2007]
  * OpenSSL 1.1 no longer has the OPENSSL_NO_TLSEXT compilation option
  * https://rt.openssl.org/Ticket/Display.html?id=2788&user=guest&pass=guest
    shows that the no-tlsext compilation option has been broken for some time.
  * Going forward, I'd like to minimize and start removing cruft required
    to support ancient/insecure versions of libraries.

OpenSSL: Don't offer (a)ccept always choice for hostname mismatches. (closes #3914)

On a hostname mismatch, saving the certificate is pointless because
mutt will ask the user no matter if the certificate is saved or not.

The only invocation allowing "accept always" is guarded by a call to
check_certificate_digest(), which means the check_certificate_file()
check is redundant.  Therefore remove that check and add a comment
noting why.

Thanks to Matthias Andree for the original version of this patch.

Prevent skipped certs from showing a second time. (see #3916)

OpenSSL sometimes passes a skipped certificate to
ssl_verify_callback() a second time, with preverify_ok=1.  From
OpenSSL's viewpoint there is nothing wrong with this, but mutt will
end up showing the certificate in the interactive prompt again.

Cache the last cert and position, and compare with the latest when
skip_mode and preverify_ok are both set.

Don't allow storing duplicate certs for OpenSSL interactive prompt. (closes #3914)

Check to make sure the certificate is not already in the
$certificate_file before offering the (a)ccept always option.

To allow a cert with a new validity timespan to be added to the file,
check the expiration dates when comparing certificates in the
certficate file.

Move the OpenSSL partial chain support check inside configure.ac. (see #3916)

Instead of directly checking whether X509_V_FLAG_PARTIAL_CHAIN is
defined everywhere, do it once inside configure.  This will allow
better support in the future if the test needs to change.

Add $ssl_verify_partial_chains option for OpenSSL.  (closes #3916)

The reworked OpenSSL certificate validation took away a "feature" of
the previous implementation: the ability to reject a node in the chain
and yet continue to the next node.

If this new option is set to 'yes', enables OpenSSL's
X509_V_FLAG_PARTIAL_CHAIN flag to reinstate the functionality and permit
to use a non-root certificate as the trust anchor.

This option is only available if OpenSSL offers the
X509_V_FLAG_PARTIAL_CHAIN macro, which should be the case as of 1.0.2b
or later.

Code written by Kevin McCarthy and Matthias Andree.

merge stable

Increase ACCOUNT.pass field size. (closes #3921)

#3921 reported his password token used for Google XOAUTH2 is size 129.
The ACCOUNT structure currently uses a size 128 buffer.  Who knew a
password field would ever be bigger than that?

Since the ACCOUNT structure has no allocation/dellocation routines,
the easiest fix is to increase the size.  Bump the size up to 256.