Convert buffy_mbox_check() and trash_append() to use local context.

buffy_mbox_check() was leaking the dynamically allocated context.
Rather than add a call to free, just convert it to use a local
variable.

Make the same change to trash_append(), which doesn't need the
dynamically allocated context either.

Fix memleak in the new trash folder code.

Free the context in opened in trash_append()

Updated French translation.

Filter directional markers that corrupt the screen. (closes #3854)

Thanks to Vincent Lefèvre for working on these utf-8 screen display issues.

Fix arithmetic exception due to menu->pagelen being negative.

Resizing the terminal window down to two lines when in an empty
mailbox causes mutt to crash due to division by zero since menu->max
equals 0 and menu->pagelen < 0 in status.c:205.

Fixing the problem at this specific line felt wrong since I did notice
menu->pagelen being negative. The pagelen is inherited from the rows
calculation in mutt_reflow_windows. Since the number of lines can
potentially be smaller than the accumulated number of rows acquired by
the status, help and message window, make sure the calculation does
not turn negative.

Add imap-fast-trash patch.

This is based on the patch by Paul Miller.

Modifications are:

* Create a new flag, MUTT_TRASH for imap_make_msg_set(), rather than
  use MUTT_EXPIRED.

* Change imap_make_msg_set(MUTT_TRASH) to only look at
  hdrs[n]->deleted && !hdrs[n]->purge, behaving like MUTT_TAG, rather
  than looking at the HEADER_DATA.

* Reimplement imap_fast_trash() based on imap_copy_message().
  It looks the old version was too, but it lacked handling of TRYCREATE
  and also queued the UID COPY but didn't exec it.  (Presumably this
  happened in the subsequent sync).

* Move the Context magic and mx_is_imap() checks outside of
  imap_fast_trash()

Add purge-message patch.

This is based on the patch by Cedric Duval.
Modifications are:

* Use the exising M_PURGE flag from the trash folder patch, rather
  than adding a separate flag.

* Undelete operations are already handled by the trash folder patch.

Add the trash folder patch.

This is based on the trash folder patch by Cedric Duval.
Modifications to the original patch are:

* Use a flag called M_PURGE instead of M_APPENDED.  The same flag is
  then used in the following "purge" patch instead of adding a
  different flag.

* Removed the counter in context.  The existing context->deleted
  is all that's needed.

* Removed the "auto unset M_PURGE" when M_DELETED is unset inside
  _mutt_set_flag(), although this is convenient, it easily leads to
  header->purge not being reset in a few situations.

* Reset purge flag along with the deleted flag if $delete is answered
  no.

* Set M_PURGE on an edited message. (edit_one_message())

* Preserve purge flag in mutt_reopen_mailbox()

* Turn off OPTCONFIRMAPPEND when saving to the trash, rather than
  hardcoding it off in mutt_save_confirm().  That way, normal save to the
  folder will respect the option.

Fix memory leak in mutt_sasl_cb_pass.

SASL doesn't free the sasl_secret_t, so this was leaking.  Instead,
keep our own pointer to it, and safe_realloc() each time.

sasl_secret_t doesn't need the data field null terminated, so memcpy
the password over.

Fix BODY->d_filename memory leaks.

mutt_message_to_7bit() and transform_to_7bit() were overwriting
d_filename without freeing the previous value.

mutt_free_body() was not freeing the d_filename pointer.

Fix BODY->charset memory leaks.

mutt_get_content_info() was directly setting charset without freeing the previous value.

mutt_free_body() was not freeing the charset.

Initialize mutt windows even in batch mode. (closes #3853)

mutt_select_fcc() calls mutt_addr_hook() -> mutt_make_string() which
refers to MuttIndexWindow->cols when calling mutt_FormatString().  In
batch mode, MuttIndexWindow hasn't been initialized, leading to a
segfault.

This might be the only overlap, but it seems wiser to just initialize
the mutt windows in case there are other references (now or in the
future) when processing format strings in batch mode.

Fix conststrings compiler version string generation. (closes #3852)

The Makefile.am tries compiler flags -v, --version, and -V but
neglected to filter error messages if these flags aren't recognized.

Change sidebar highlighted mailbox behavior.

Delay selecting the highlighted mailbox until prepare_mailbox(), to
avoid a hidden mailbox being selected during the Buffy list population
(in mutt_sb_notify_mailbox()).

Change update_entries_visibility() to not automatically make the
highlighted mailbox visible.

Change prepare_sidebar() to (re)set the highlighted mailbox when the
current highlighted mailbox is hidden.

Fix sidebar pagedown/up when mailboxes on the end are hidden.

The pageup/pagedown code was setting the highlighted mailbox to the
top and bottom index without checking if those were hidden.

Don't overwrite imap_status->uidnext with a lower value.  (closes #3771)

imap_read_headers() updates the idata and imap_status uidnext after
reading through all the new headers.

The idata is updated properly (only if its uidnext is below maxuid+1),
but the imap_status was always being set to maxuid.

This causes a problem with new mail checking if the most recent
messages are deleted.  Then the uidnext will be greater than maxuid+1
in the mailbox, and if there are any other unread messages it will
*always* report new mail even if $mail_check_recent is set.

Fix the sidebar TopIndex and BotIndex when $sidebar_new_mail_only is set.

When set, some of the entries can be hidden, so a simple division by
page_size to find the correct top/bottom isn't correct.

Instead, manually partition into groups of page_size visible entries
and set top and bottom based on the interval around the highlighted
entry.

Filter soft hypen from pager and headers.  (closes #3848)

Add U+00AD SOFT HYPHEN to the filtered characters in headers and the
pager.  In some terminals and situations it causes major display problems.

Fix sidebar crash for non-existent mailbox

If you <change-folder> to a non-existent mailbox, there will be no
Context.

merge stable

mutt-1.6.2 signed

Added tag mutt-1-6-2-rel for changeset 7ccd4417bd70

automatic post-release commit for mutt-1.6.2

Fix the documented sort methods for sidebar_sort_method.

Remove references to unused "date" and "size", and add "flagged".

Add R_SIDEBAR to redraw sidebar when its settings change.

Add to the sidebar settings that control formatting of the sidebar.

Fix sidebar "unsorted" order to match Buffy list order.

Since the previous commit decoupled the sidebar from the Buffy list,
we can now restore the order to match the buffy list when
sidebar_sort_method is set (back) to "unsorted".

Decouple the sidebar from the Buffy list.

Change the sidebar to use an array of SBENTRY* instead.  Move the
"is_hidden" into SBENTRY.  Remove the added "prev" pointer from BUFFY.

This way, sorting the sidebar doesn't affect the BUFFY list order, and
we don't need elements inside BUFFY just for the sidebar presentation.

Fix sidebar-next for the case where the mailboxes are unsorted and
$sidebar_new_mail_only is set.  Change sorting not to clump hidden
mailboxes at the bottom, instead simply skip over hidden mailboxes in
sidebar-next/prev.

merge stable

Check $pgp_autoinline and $pgp_replyinline if oppenc is set. (closes #3846)

The first oppenc call takes place after the initial checks of
$pgp_autoline and $pgp_replyinline, and doesn't go through the pgp
menu.

Therefore, check for $pgp_autoline and $pgp_replyinline if oppenc is
set too, to avoid oppenc enabling encryption without INLINE being set
in those cases.

a6a4d6ed0f19 previously cleaned things up so that it is safe
to set INLINE even if encryption isn't enabled.

Fix missing sidebar documentation links. (closes #3847)

USE_SIDEBAR needed to be set in doc/makedoc-defs.h so that the sidebar
option documentation is generated whether mutt is configured with the
sidebar or not.

Fix cppflags and muttlibs duplication with --with-gss.

When krb5-config was found, MUTT_AM_PATH_GSSAPI included CFLAGS in
GSSAPI_CFLAGS and MUTTLIBS in GSSAPI_LIBS.  However, configure.ac
afterwards sets:
    CPPFLAGS="$CPPFLAGS $GSSAPI_CFLAGS"
    MUTTLIBS="$MUTTLIBS $GSSAPI_LIBS"
This caused the flags and libs to be duplicated.

Include ncurses tinfo library if found.

Thanks to Fabian Groffen for reporting this issue and providing a
couple possible patches.  From Fabian's report:

  For some time now, ncurses can be built in a mode where the low level
  terminfo functionality lives in a separate lib called libtinfo.
  Because some people do, this means Mutt needs to include this
  library in that case to avoid linking errors [...]

Clarify oppenc option documention. (closes #3846)

Rephrase the option description to try and make it clearer what the
option does, and how to enable/disable it within a message.

Remove unused SORT_DESC.

This came over with the sidebar patch, but I believe is only used by
the notmuch extension.

Remove $sidebar_refresh_time from Sample Sidebar Config

The $sidebar_refresh_time option was removed with the changeset
1f840760e6e0. Remove it from the sample sidebar configuration as well,
so that anyone using that file in its entirety won't have to deal with "unknown
variable" errors.

Change sidebar to consistently use realpath for context and buffy comparison.

The original sidebar patch contained a half-implemented attempt to use
realpath() mailbox paths for comparison.  (Presumably so the open mailbox
remains highlighted despite symlink issues).

Add realpath to the Context, and set it when opening a mailbox.
Remove sidebar ifdef for the buffy member, and always set it there too.

Change the sidebar to use the realpath for comparison everywhere.

mutt_buffy_check() is using stat device and inode for comparison.
Perhaps this can be changed to use realpath instead, but that's beyond
the scope of this patch.

Change sidebar next/prev-new to look at buffy->new too.

Look at new in addition to msg_unread count, to account for when
$mail_check_stats is unset or when the sidebar only shows the %n
status flag.

Add documentation to the "New Mail Detection" section of the manual.

Mention the behavior change with $mail_check_recent.

Add a section about $mail_check_stats.

Updated French translation.

add commit_msg to struct mx_ops

add mmdf_commit_message function

Move MMDF operations that were done in mx_commit_message to a dedicated
mmdf_commit_message function.

add mbox_commit_message function

Move mbox operations that were done in mx_commit_message to a dedicated
mbox_commit_message function.

add imap_commit_message function

Move IMAP operations that were done in mx_commit_message to a dedicated
imap_commit_message function.

add maildir_commit_message function

This commit adds a maildir_commit_message with a prototype consistent
with other kind of mailboxes, to simplify upcoming refactoring.

prepend maildir_commit_message function name with an underscore

Basically, rename maildir_commit_message to _maildir_commit_message.
This commit is preparatory to make the maildir_commit_message symbol
available for further use.

Symbols starting with underscore should be avoided but this one is long
enough to prevent collision.

remove unused HEADER parameter in mh_commit_message

mh_commit_message is only called in one place with the header parameter
set to NULL. To make the commit function consistent with other
mailboxes, which only takes ctx and msg as parameters, remove this
unused parameter.

add close_msg to struct mx_ops

Remove magic member in MESSAGE structure

The "magic" was copied from the context to the message structure to be
able to determine which close function had to be called in
mx_close_message. Now that this function is context aware, there is no
need to store the magic in the MESSAGE structure and it can be safely
removed.

pass context in mx_close_message

The mx_close_message is one of the few mx_* functions that don't have a
context as parameter. To make them more consistent, pass the context.

Add open_msg to struct mx_ops

Add the callback to open an existing message to struct mx_ops. For mbox,
mmdf, maildir, and mh, the code was implemented directly into
mx_open_message, so it is moved in their respective source files. For
imap and pop, there were already <mailbox>_fetch_message functions, but
their argument order has been changed to pass the context as a first
argument.

folder_file: remove struct stat

Add and use new flag to indicate the folder is on local filesystem.
Add and use new gid, uid and nlink member.
Use existing ->mode member instead of stat->st_mode.
Use existing ->size member instead of stat->st_size.
Use existing ->mtime member instead of stat->st_mtime.
Remove struct stat, the used values were already duplicated in the struct.
This reduces memory usage.

Add real prototype for re_match_2_internal in regex.c

Fixes compilation warning with -Wunprototyped-calls

Combine the basic and extended buffy functions.

Add a check_stats parameter to the mbox, maildir, and mh buffy
functions.  Use that parameter to determine whether to also count
total, new, and flagged messages.

This makes the functions a bit more complicated, but improves
efficiency (for maildir and mh).

Also includes the following cleanup/fixes:
* Move the orig-value counter reset to the beginnining of the loop,
  (before tmp->new is set to 0).

* Change trashed maildir messages to not be counted in msg_count

* Remove an incorrect setting of mailbox->new based on msg_count in
  maildir.  (I missed this one for 1f840760e6e0)

* Change mbox to use the context->mtime for stats_last_checked,
  removing a race condition.

* Fix mh to actually count the messages in order to generate msg_count.
  mh_sequences only covers the range of messages with some sort of
  flag.

Updated French translation.

Reset buffy->new for the current mailbox in IMAP.

1f840760e6e0 moved the buffy->new reset inside the STATUS processor.
Since the current mailbox is not STATUS'ed, it needs to be reset in
imap_buffy_check().

Thanks to Aaron Schrab for reporting this issue (and for helping test
tip).

Fix the case of messages in OPS.MIX and OPS.SIDEBAR

Thanks to Vincent Lefèvre for spotting the discrepancy.

Make extended buffy independent of the sidebar.

Add new boolean option $mail_check_stats (default off) and
$mail_check_stats_interval.  The first turns extended buffy on.  The
second sets the amount of time in between extended buffy checks
(defaulting to 60 seconds).

Remove the option $sidebar_refresh_time.

Change mutt_buffy_check() to only notify the sidebar to redraw if a
mailbox buffy value changes.

Remove the #ifdefs around the extended buffy functions.  The next
patch will merge these functions with the basic functions and pass a
parameter instead.

Imap is a special case, because it sends out the status in one batch.
Change this to perform the comparisons inside cmd_parse_status() and
flag the sidebar there.  It was previously directly assigning the
status counters (unsigned int) to the buffy->new (short).  Change this
to assign 1/0.

Change the default for sidebar_format to use %n.

The next series of patches is going to create a new option,
$mail_check_stats defaulting off.  When off, the extended buffy which
calculates total/new/flagged messages won't be run.  To help reduce
"sidebar is broken" bug reports, this changes the default format to
something not requiring extended buffy.

The previous default is documented in the option and preserved in the
sample sidebar muttrc in contrib.

Add sidebar_format flag '%n' to display 'N' on new mail.

Updated French translation.

Fix alignment in the compose menu.

Several of the compose-panel labels didn't use the TITLE_FMT to align
themselves.  This causes formatting problems when the width is changed,
e.g. by the NNTP patch.

Corrected OPS.SIDEBAR filename in EXTRA_DIST.

Setting $sidebar_width to more than 128 would cause bad things to happen.

First, give the users more than enough space.
Second, don't pad out short strings beyond the buffer

---
 sidebar.c | 11 ++++++-----
 1 file changed, 6 insertions(+), 5 deletions(-)

Fix columns used for $status_format and $pager_format in the pager.

The code was hardcoding use of MuttIndexWindow->cols in
mutt_make_string_info() and MuttStatusWindow->cols in
menu_status_line().

Add a parameter to mutt_make_info_string().  Change menu_status_line()
to use menu->statuswin->cols, falling back to MuttStatusWindow if no
menu is passed in.

Set menu->statuswin appropriately inside pager.c.

Thanks to Richard Russon for tracking down this problem, and for the initial patch.

Add warning in makedoc for unexpected prefices. (see #3845)

In case other types get renamed again in the future, add a warning
message to makedoc.c.

Fix sidebar buffy stats updating on mailbox close.

Move the mutt_sb_set_buffystats() call from mx_fastclose_mailbox() to
the bottom of mx_close_mailbox().  Append-only mailboxes don't have
msgcount set, so fastclose was the wrong place to be doing these
updates.

Start to fix sidebar buffy modifications.

The extended buffy for mh had incorrect placement of the loop
brackets.  The counters weren't being incremented in the loop.

Fix extended buffy for maildir to count a maildir message as new if it
doesn't have the info delimeter.

Remove shortcircuits added to the basic buffy stating there is new
mail when (msg_unread > 0).  This is not necessarily true, depending
on $mail_check_recent.

Note: the extended buffy still needs more fixes, which will be done
when it is refactored into its own option.

Various fixes to the sidebar logic.

Use strfcpy instead of strncpy.  The current logic could write past
the end of the buffer.

Don't mess with BUFFY next pointers during removal.  The
mutt_parse_mailboxes() is fine, but this is still not something that
should be done inside sidebar.c.

On removal, set next->prev since we can.

Fix unmailboxes logic:
  * only fix the prev pointers once.
  * if we unmailbox the open mailbox, set it to NULL.

Lastly, flag a redraw on mailboxes/unmailboxes.

Add "mutt_" prefix to global sidebar functions.

Also, remove unused sb_init declaration.

Clean up the sidebar manual.

Remove the introduction section.  It's a nice effort, but reads more
like a tutorial than something that belongs in section 2.  Will
probably put in on the website instead.

Remove references to a "patch", neomutt, and the history.

Remove the sample muttrc from the manual.

Fix validation errors for the documentation.

Re-indent and style sidebar.c.

Fix sidebar check_sec.sh warnings.

Use safe_malloc, FREE, and the safe_strcat functions.

Sidebar clean up: building and drawing logic.

Fix the autoconf/makefile.am changes to be consistent.

Create a global SidebarNeedsRedraw to indicate a redraw is needed,
instead of putting sb_draw() everywhere in the code.

Create a menu_redraw_sidebar() function and use the REDRAW_SIDEBAR
flag instead of piggy-backing it inside the index loop.

Fix curs_main.c and pager.c to be a bit cleaner by using the global and
REDRAW_SIDEBAR.

Start to clean up some of the buffy code, but this needs to refactored
and fixed.

Add neomutt version of sidebar patch.  (closes #3829)

This is the patch from neomutt; branch 'devel/win-sidebar'; commit
c796fa85f9cacefb69b8f7d8545fc9ba71674180 with the following changes:

  - move the sample muttrc and vimrc to contrib.
  - remove the README.sidebar.
  - empty out the PATCHES file.

Fix documentation for DT_MAGIC types. (closes #3845)

With the rename of M_ to MUTT_, the documentation generator in
makedoc.c needed to be adjusted for the new prefix size.

Thanks to Damien Riegel for the suggested fix.

Fix header file indentation after M_ prefix renaming.

The use of tabs caused misalignment of various macro definitions.

add check operation to struct mx_ops

In mx_check_mailbox switch case, we simply call
<mailbox>_check_mailbox, so this operation can be move into the mx_ops
structure pretty easily.

This commit adds a mandatory "check" operation to struct mx_ops and
change all mailboxes to use it. Check functions are made static as they
are only used in their respective source files now.

mx_check_mailbox: remove lock argument in function call

This function is only called in one place with lock = 0. Basically, all
code under if (lock) is dead code, so we can remove it, making the
function simpler to factorize.

add function imap_check_mailbox_reopen

In mx_check_mailbox, imap mailbox is the only function with a different
prototype: it has an extra force argument.

In order to move the check operation to the mx_ops structure, we need
that all mailboxes have the same prototype. To do so, a new function
imap_check_mailbox_reopen is added.

Add a TODO to mx_open_new_message() to use mx_ops in the future.

We can't use it until mx_open_mailbox_append() is converted to
set mx_ops.

add open_new_msg operation to struct mx_ops

The code was already using a function pointer to do this operation. This
commit moves this function pointer to the mx_ops structure and the
open_new_message functions to their respective source files if it needs
to.

merge stable

Fix infinite loop when help is bound to a named key combination.

Commit a07e8215a0ef introduced a bug in km_error_key, which is called
when an unbound key is pressed.

If help is bound to a sequence containing named keys (e.g. <esc>), the
raw (untokenized) string would be pushed back into the unget buffer.
This could lead to an infinite loop of unbound key presses triggering
more unbound keys being put into the unget buffer.

Change km_error_key to tokenize the string before putting it in the unget buffer.

Much thanks to Jiri Bohac for his bug report, analysis, and initial patch!

Start decoupling mailbox operations.

Introduce a dedicated structure for mailbox operations: struct mx_ops.
Move the open and close operations into that structure.

Assign this structure to the context in mx_open_mailbox.  This is
currently based on the "magic" for the mailbox type, but may be
refactored in the future.

Add a stub mbox_close_mailbox function.  This function does nothing,
the main purpose is to introduce a mx_ops structure for mbox, so its
usage is similar to mh/imap/pop.  We reuse the name that was made
available by the previous commmit.  Note that the actual closing of
the descriptor is done in mx.c.

To be more consistent with other mailboxes, introduce functions
mh_open_mailbox and maildir_open_mailbox, and create a dedicated
structure for mmdf.

rename mbox_close_mailbox to mx_close_mailbox_append and move it

mbox_close_mailbox was used as the counterpart of
mx_open_mailbox_append. To make things clearer, rename it
mx_close_mailbox_append.

As it is only used in mx.c, move it there and make it static.

Set COLUMNS to MuttIndexWindow->cols in mutt_create_filter_fd. (closes #3837)

This allows filters to automatically (or via a command line argument)
adjust to the width of the pager/index.  This is even more important
with the sidebar, since the width of the pager is smaller than the
terminal width.

Thanks to Vincent Lefèvre for his helpful information and suggestions,
and to Richard Russon for the initial patches.

Back out wrapper sys_socket.h workaround (23334e967dd7)

After renaming all internal macros from M_* to MUTT_*, the
sys_socket.h workaround is no longer necessary.

Change M_* symbols to MUTT_*

Changeset 23334e967dd7 created a workaround for a namespace conflict
with Solaris and derivatives.  After some discussion, the team decided
it would be best to move away from using the "M_" prefix for macros.

This patch was automatically generated by running:
  perl -wpi -e 's/\bM_(\w+)\b/MUTT_$1/g' `find . -name '*.[ch]' -print`
with the exception that sys_socket.h was exempted.  (That file will
be backed out subsequent to this commit.)

Thanks to Andras Salamon for supplying the perl script used to make
this change.

Skip bidi markers in the pager and index.  (closes #3827)

Curses and slang don't support them, so there's little point in
showing them or attempting to somehow deal with them.

This patch adds filtering in the pager, and changes the filtering
added in 6e0aca94cdb0 for the index to completely skip the marker.

Change mutt_window_getyx() to accept NULL *y/*x params.

Thanks to Vincent Lefèvre for suggesting this nice cleanup.
Previously, _mutt_get_field() was employing an ugly hack to avoid an
unused var warning.

merge stable

mutt-1.6.1 signed

Added tag mutt-1-6-1-rel for changeset 1ef1e39a7218

automatic post-release commit for mutt-1.6.1

Fix pager mini-index drawing when $pager_index_lines = 1 and $status_on_top.

When $pager_index_lines is 1, there is room for the index status line,
but not for any actual index entries.  The index redraw part was
always calling menu_redraw_current() which doesn't actually check if
there is room for the current row.

This bug only shows up with $status_on_top, due to the order things
are redrawn.

Fix pager layout when $status_on_top with no mini-index.  (closes #3836)

The pager_window->row_offset should only be adjusted when we have a
mini-index.

Pull common window initialization above, and adjust only when the
mini-index is enabled.  The pager_window rows and row_offset code
could be further consolidated (since the status line is always a
height of one), but I think the code reads a bit more clearly when the
adjustments are explicitly stated.

Remove newline insertion from pager. (closes #3835)

The window patches commited now manually move to the next line, so
there is no need to insert newlines for that purpose.

The newlines also goof windows placed to the right of the pager, as is
the case for the (currently external) sidebar-on-the-right
functionality.

Thanks to Richard Russon for the original patch and help testing the
revised patch.

Add cols parameter to mutt_FormatString()

Continuing with the conversion to using windows for screen drawing,
mutt_FormatString() was directly using COLS for right justification
and similar formatting.  Instead pass in a parameter, cols.

This change involved seeding the parameter through callback functions
too, as many of them call mutt_FormatString() back.

Fix remaining direct usages of COLS/LINES to use mutt window functions.

Most of these were just message update/clearing.

Change remailer to use mutt windows.