Change M_* symbols to MUTT_*

Changeset 23334e967dd7 created a workaround for a namespace conflict
with Solaris and derivatives.  After some discussion, the team decided
it would be best to move away from using the "M_" prefix for macros.

This patch was automatically generated by running:
  perl -wpi -e 's/\bM_(\w+)\b/MUTT_$1/g' `find . -name '*.[ch]' -print`
with the exception that sys_socket.h was exempted.  (That file will
be backed out subsequent to this commit.)

Thanks to Andras Salamon for supplying the perl script used to make
this change.

Skip bidi markers in the pager and index.  (closes #3827)

Curses and slang don't support them, so there's little point in
showing them or attempting to somehow deal with them.

This patch adds filtering in the pager, and changes the filtering
added in 6e0aca94cdb0 for the index to completely skip the marker.

Change mutt_window_getyx() to accept NULL *y/*x params.

Thanks to Vincent Lefèvre for suggesting this nice cleanup.
Previously, _mutt_get_field() was employing an ugly hack to avoid an
unused var warning.

merge stable

mutt-1.6.1 signed

Added tag mutt-1-6-1-rel for changeset 1ef1e39a7218

automatic post-release commit for mutt-1.6.1

Fix pager mini-index drawing when $pager_index_lines = 1 and $status_on_top.

When $pager_index_lines is 1, there is room for the index status line,
but not for any actual index entries.  The index redraw part was
always calling menu_redraw_current() which doesn't actually check if
there is room for the current row.

This bug only shows up with $status_on_top, due to the order things
are redrawn.

Fix pager layout when $status_on_top with no mini-index.  (closes #3836)

The pager_window->row_offset should only be adjusted when we have a
mini-index.

Pull common window initialization above, and adjust only when the
mini-index is enabled.  The pager_window rows and row_offset code
could be further consolidated (since the status line is always a
height of one), but I think the code reads a bit more clearly when the
adjustments are explicitly stated.

Remove newline insertion from pager. (closes #3835)

The window patches commited now manually move to the next line, so
there is no need to insert newlines for that purpose.

The newlines also goof windows placed to the right of the pager, as is
the case for the (currently external) sidebar-on-the-right
functionality.

Thanks to Richard Russon for the original patch and help testing the
revised patch.

Add cols parameter to mutt_FormatString()

Continuing with the conversion to using windows for screen drawing,
mutt_FormatString() was directly using COLS for right justification
and similar formatting.  Instead pass in a parameter, cols.

This change involved seeding the parameter through callback functions
too, as many of them call mutt_FormatString() back.

Fix remaining direct usages of COLS/LINES to use mutt window functions.

Most of these were just message update/clearing.

Change remailer to use mutt windows.

Modify the built-in editor to use windows.

This only involved changing to use the MuttMessageWindow.

Modify the compose screen to use windows.

The header field positions enum is now started at 0: the windows
compute the relative positioning as needed.  A small improvement from
this is that the headers now align with the top: there isn't a gap if
$help is turned off.

Modify the pager to use windows.

The pager view is somewhat complex, due to the "mini-index" and the
positioning of the index_status vs pager_status changes depending on
$status_on_top as well as $pager_index_lines and $help.

To make things simpler, it creates four "pager windows":
index_status_window, index_window, pager_status_window, pager_window.

mutt_term_width() is renamed to mutt_window_wrap_cols() and a
mutt_window_t parameter passed in.

Also, the pager drawing loop calling display_line() has a
mutt_window_move() added to move to the beginning of the next line
each time.  This is in case the pager_window isn't flush with the left
side of the terminal.

Modify the index to use windows.

Change the index screen to use MuttIndexWindow and MuttStatusWindow.

Modify enter.c routines to use windows.

This modifies the mutt_enter_string() functions to use MuttMessageWindow.

Thanks to Richard Russon for pointing out slang doesn't support getcurx.

Modify the curs_lib.c to use windows.

This changes some of the "prompting" routines to use the MuttMessageWindow.

Modify the menu code to use windows.

Change menu.c to use the mutt_window_t structures and functions.  The
index/stats/help/message window pointers are stored inside the menu_t.
This is useful for the pager, where the "index" we want to use is a
mini-index.

Add window structures to use for screen layout.

This is a series of 11 patches, centralizing Mutt screen drawing
inside windows (mutt_window_t structures).

Currently, the screen drawing and cursor positioning logic is
distributed all over the code, resulting in many files having the same
logic of where the help, status, message windows are.  Additionally,
the code directly uses move and mvadd*/mvprint* functions, which means
if the layouts are changed, the row/column computation logic needs to
be changed all over the place.

The patch creates a (very simple) mutt_window_t structure and
functions for moving, addch/str/printw, along with clearing the line.
The windows keep track of where they are on the screen, allowing the
Mutt code to simply position elements relative to the window.

During curses initalization, and when the window is resized, the
window sizes and positions and recomputed.  Also, a new option flags,
R_REFLOW is added for options that need to force a reflow when they are changed.

Thanks to Richard Russon for pointing out the slang compilation issue.

merge stable

Create a wrapper sys_socket.h to work around Solaris namespace issues.  (closes #3833)

Solaris includes "sys/stream.h" inside their "sys/socket.h".  This
include file adds many non-reserved macros to Mutt's namespace, two of
which conflict with existing Mutt macros.

The simplest fix would be to rename those macros in Mutt, however this
will cause difficulty with out-of-tree patches.  This fix creates a
wrapper include file that preserves those existing macros and prevents
the Solaris values from entering Mutt's namespace.

Fix soft-padding available columns computation.

If arrow_cursor is set, it's possible that COLS < offset.  Compute
avail_cols, floored at 0, and use that instead.

Fix right justify buffer-truncated pad calculation in mutt_FormatString()

Vincent Lefèvre noted that the computation had implementation defined
behavior and was potentially incorrect.

Change to make sure the subtraction won't lead to a wrap-around, and
set pad to 0 in that case.

Pre-space softfill multi-column padding.

Similar to the previous patch, this deals with multi-column padding
characters and soft-fill.  This will add spacing so the padding and
content after padding aligns with the right side.

You can see the effect by setting
  set index_format="%s %*我[ooooo]"
and resizing the terminal.  The right hand side will be jagged without
the patch.

Add spacing to truncated multi-column characters when using soft-fill.

First, fix the left-hand side column truncation calculation:
  "col + pad*pw -offset"
pad = (COLS - col - wid) / pw, so this becomes
  "col + COLS - col - wid - offset" =>
  "COLS - wid - offset"

The problem is that pad was calculated *before* the right side was
mutt_wstr_trunc() truncated, which may adjust wid!  We want that
calculation, with correct values, so instead just use the final
reduction directly.  (Note, the reduction ignores integer truncation,
but pad shouldn't be used here in any case, because it's negative:
there is no padding occuring).

Second, when the left-hand side is truncated, multi-column characters
may get chopped in the middle.  Truncated characters are not included
in the wlen and col values returned.  Add spaces until the number of
columns lines up (checking to make sure we don't run out of space
too).

Add null-terminator to BIO_get_mem_data() output.

It turns out the output isn't necessarily null-terminated.

Updated French translation.

Add an error message and debugging if SSL_CTX_new() fails.  (closes #3831)

Generate a mutt_error().  Add a debugging function
ssl_dprint_err_stack() to dprint the ssl error stack.

Updated French translation.

Check for SSL_CTX_new returning NULL in ssl_sock_open().  (closes #3831)

Thanks to Yuan Kang and the security researchers at Columbia
University and the University of Virginia for reporting the bug.

merge stable

Fix mutt_protect() when INLINE is set. (closes #3828)

The oppenc changes allow security bits to be set even when not
encrypting or signing (for instance, OPPENCRYPT and INLINE).

mutt_protect() assumed that if INLINE is set, then either ENCRYPT or
SIGN must also be set.  Specifically, it would end up inline-signing
the message even though neither was set.

Ensure mutt_protect() is a noop if neither SIGN or ENCRYPT are set.

In ci_send_message(), check for sign or encrypt before calling the
crypt_get_keys() / mutt_protect() block, and also in the fcc section
(since clear_content would be NULL if not).

The second change to the fcc part is somewhat redundant, but better to
be explicit and avoid the case where the subtype is somehow
"encrypted" or "signed" even though msg->security wasn't set thus.

Add error message string for imap_mailbox_rename() on root folder.

This was fixed just before 1.6.0, but due to the string freeze, could
not add an error message.

Fix potential memory leak in rfc2047_encode.  (closes #3825)

If convert_string() has nonreversible characters, the allocated output
buffer would be overwritten (and not freed) in rfc2047_encode().

Thanks to Richard Russon for the bug report and initial patch, and to
TAKAHASHI Tamotsu for the analysis and revised fix suggestion.

Fix pager.c format_line() to use size_t for mbrtowc() retvals.

While fixing up the error checking for mbrtowc(), I noticed the uses
in pager.c format_line() were assigning the retval to an int.

The cleanup for this was a little tricky, because it was making use of
possible negative values for (k1 - k).  The backspace detection loop
condition was a bit heavy, so this patch first pulled the
initialization and first call above, and put the second call inside
the loop.

Note that k1 previously included k, but this patch changes it to be
just the retval of mbrtowc.  This means the second mbrtowc() arguments
are changed to include k, as is the ch increment at the bottom of the
loop.

Reset mbstate for other mbrtowc() calls returning -1

Continue the cleanup started in changesets c8c76a6a1e61 and
a3450fd50d11.  In those changesets, a bug was occurring due to the
mbstate not being reset when mbrtowc() returned -1.

This patch fixes other callers of mbrtowc() to reset mbstate when it
returns -1.

merge stable

Fix IDNA functions for systems without iconv.

The IDNA changes for SMTPUTF8 support introduced a bug for systems
without iconv.  For those systems, the local<->intl functions would
return an error due to the charset conversion failing.

Change mutt_idna.c back to being conditionally compiled, but this time
based on HAVE_ICONV.  If there is no iconv, stub out the functions in
mutt_idna.h.

merge default into stable

mutt-1.6.0 signed

Added tag mutt-1-6-rel for changeset be82a2fde82f

automatic post-release commit for mutt-1.6.0

Fix hcversion.h generation error when using included gettext.

When configuring mutt with --enable-hcache and
--with-included-gettext, there is an automake ordering issue:
BUILT_SOURCES are processed before SUBDIRS.  Therefore, the
'hcversion.h' target is run before the included gettext (intl) is
built.

The hcversion.h target runs the cpp over config.h and mutt.h,
but mutt.h includes lib.h which tries to #include <libintl.h>.
Unfortunately, libintl.h (in this configuration) is generated by the
intl subdir build and so doesn't exist yet.

While the build doesn't completely fail, the resulting hcversion.h is
incorrect: it's just the md5sum of the initial value of BASEVERSION.

This fix is somewhat of a hack but is cleaner than trying to change
automake's behavior.  It inserts a '#undef ENABLE_NLS' in between the
config.h and mutt.h sent to the cpp.  Since hcachever.sh is just
scanning the data structures used by mutt, this shouldn't affect the
hash generated.

Thanks to Will Yardley for reporting this issue.

Filter out bidi marks in rfc2047 and rfc2231 encoding. (see #3827)

Filter out U+200F RIGHT-TO-LEFT MARK and U+200E LEFT-TO-RIGHT MARK in
rfc2047 and 2231 encoded fields.  GNU Screen has a bug that corrupts
the display, and can cause the wrong email to appear to be selected in
the index.  Until screen fixes the issue, filter it out in mutt.

Fix documentation: mime_lookup (not mime-lookup).

Fix typo.

Fix error handling in sync_helper() and imap_sync_mailbox(). (closes #3817)

This patch is based on the one Richard Russon found in the Fedora package.

If an error occurs during one of the imap_exec() calls in
imap_sync_mailbox(), the mailbox could end up being closed.  This
would cause idata->ctx to be NULL.  Add a check in sync_helper() for
the case where idata->ctx == NULL.

In imap_sync_mailbox(), check the return value of sync_helper().  To
keep the code simple, change rc from being the sum of the calls to the
bitwise-OR of the calls.  (We only need to know if a single flag needs
to be updated, and bitwise-OR will detect negatives.)

Below the calls to sync_helper(), if the call to imap_exec() fails,
make sure rc is set to -1.

Updated Japanese translation.

Updated Esperanto translation.

Prevent renaming root folder in imap.

The root folder results in mx.mbox being NULL, which causes a
segfault.  This can be triggered by entering a subfolder and trying to
rename the ".." entry.

Due to the translation string freeze, no visible error message is
displayed.  Add a TODO note about this for post-1.6 release.

Fix uninitialized prompt buffer in imap_mailbox_rename(). (closes #3819)

This is a patch from OpenBSD to initialize the newname buffer in
imap_mailbox_rename().  Previously it would generate random garbage in
the prompt.

This version of the patch initializes the prompt to the old mailbox name.

Thanks to TAKAHASHI Tamotsu for finding this patch.

Add "-d" command-line option to manual. (closes #3816)

Thanks to Richard Russon for finding this patch in the Fedora package.

Updated Catalan translation.

Clean up mutt_wstr_trunc() some more.

* Change return type to size_t.
  The return value is the cumulation of values from mbrtowc(), which
  returns size_t.  All callers already assign the return value to a
  size_t, requiring no external changes.

* Change the local variables n, w, l, and cl to size_t.
  n is the strlen of the src parameter.  l and cl are used for the
  return value.  w is assigned to the *width parameter, which is
  size_t.

  cw is kept as an int, because wcwidth returns type int.

* Change error handling of mbrtowc to be the same as other functions
  in mutt: only reset mbstate when the retval==-1.  When retvat==-2,
  set cl=n to break out of the loop.  Also, set wc to replacement_char
  and allow the logic below to determine the width instead of
  hardcoding to 1.

Improve error handling in mutt_wstr_trunc().

This is Karel Zak's patch to fix handling of (illegal) multi-byte chars.

 * mutt_wstr_trunc():
 Reset mbstate after error in mbrtowc().
 Set wc=0 if wcwidth returns < 0.

Addresses: https://github.com/karelzak/mutt-kz/issues/58

Thanks to Richard Russon for bringing this patch to our attention.

Updated Dutch translation.

Updated French translation.

Updated Russian translation.

Updated Ukrainian translation.

Updated Danish translation.

Turn off asserts in sendlib.c.

The Doctor reported triggering an assertion in convert_file_to(), due
to an unexpected errno from iconv().  According to the comments, the
assertions were only enabled for debugging and should have been turned
off.  We certainly don't want to abort mutt for this case, so just
disable them as the comment indicates.

Updated Czech translation.

Fix a few typos in translation messages.

Thanks to Moritz Barsnick for reporting these.

Updated French translation.

Fix typo in debug message.

Fix typo picked up by Debian's QA.

This was allegedly fixed 5 years ago (see #3493).

Use '$(PACKAGE).pot' instead of 'mutt.pot' in Makefile.am

Fix three build warnings when DEBUG isn't defined.

Fix tcbdb error reporting to use ecode, not errno.

After committing aff8d62ebddb and taking a closer look at the tcbdb
documentation, I realized those functions don't set errno.

Change the error handling messages to instead get the ecode and
message using tcbdbecode() and tcbdberrmsg().

Fix crash in hcache_open_tc() when open fails and debug is on. (closes #3813)

When the hcache open fails, it was trying to dprint.  The dprint had a
%s where it was passing errno, leading to a crash in strlen.

Unify the dprint messages for tcdbopen and tcdbclose to report the
path, strerror, and errno.

Thanks to Will Yardley for capturing the stack trace!

Prevent ctx->fp from being closed twice in the event of an error.

The previous patch from Vincent exposed a crash if ftruncate() fails
in mbox_sync_mailbox().  Change fclose() to safe_fclose(), to avoid it
being called twice.

Check return value of ftruncate() in mbox_sync_mailbox().

Generate an error in the event that ftruncate() fails.

Update the $hostname documentation.

Change to reflect the updates in changeset ce71d168c819.

Update the UPDATING file for 1.6.0

Fix RFC2231 continuation join order.  (closes #3811) (closes #3741)

The function generating a list of parts to join had incorrect sorting
logic.  It was comparing values, not attributes.  Additionally, the
order logic wasn't correct.

Thanks to TAKAHASHI Tamotsu for pointing out the value vs attribute
comparison bug.

Updated French translation.

Improve the mailto_allow documentation.

Add to the commands list.  Document unmailto_allow.  Mention the new
behavior in the Security Considerations section about mailto: links.

Restrict mailto header fields using mailto_allow.

By default, only the body and subject fields are allowed.  These can
be changed with the mailto_allow and unmailto_allow commands.

Check stat return value in configure.ac. (closes #3810)

Add $resume_edited_draft_files option.

This adds an extra header when saving edited draft files (-E -H on the
command line).  With this header, the next time they are edited, they
are automatically "resumed" (by setting $resume_draft_files).

The idea is to prevent multiple user-defined headers and signatures
from being added to the draft message by avoiding processing it as a
brand new message after the first time.

Add $resume_draft_files option.

When set, draft files are processed the same as when resuming
postponed messages.  One use of this option is to avoid multiple
user-defined headers and signatures being added to the message.
(e.g. when -E is used repeatedly on the draft files).

Improve method of determining FQDN. (closes #3298)

Rather than reading /etc/resolv.conf, use gethostname() and
getaddrinfo() to get the canonical domain.

Thanks to Vincent Lefèvre for the memory leak fix.

Document that GPGME doesn't support creating inline PGP messages.

Add hard redraw for the gpgme application/pgp handler.

Will Yardley reported display artifacts and keyboard issues after
decrypting a traditional pgp message using gpgme.  It turns out the
gpgpme code path was missing a hard_redraw() to repaint the screen
after pinentry.

Draft file tweeks: rename flag, don't auto-abort on no change.

Rename the flag to SENDDRAFTFILE since it will be used in contexts
other than the body allocation.

Don't automatically abort if the message was unchanged; it seems
possible the draft files could be used as the entire message reply.

Add $pgp_decryption_okay to verify multipart/encrypted are actually encrypted. (closes #3770)

In pgp classic mode, if the $pgp_decrypt_command generated output, it
assumed the content was encrypted.  However, gpg will generate output
even if the block is simply signed and armored text.  The problem is
that mutt was then printing mime headers labelling the output as
encrypted text in the ui.

Add a new option, and suggested value of:
  set pgp_decryption_okay="^\\[GNUPG:\\] DECRYPTION_OKAY"
If set, the output from the decrypt command will be scanned for this
regexp to confirm an actual decryption occurred.

Note that gpgme already correctly rejects this form of spoofed message.

Update the status message after decryption using gpgpme.

Change gpgme to behave the same as classic pgp mode: after a
decryption, update the status message to overwrite the initial
"Invoking PGP..." message.

Updated French translation.

Fix pgp and smime decryption in mutt_prepare_template().

Change the "combined" multipart decryption block to only work for pgp,
since mutt_is_multipart_encrypted() currently only checks for pgp
headers and it therefore only worked for pgp in the first place.

Fix the newhdr->security to be based on what that function returns,
instead of the "context" hdr passed in.

Add a smime decryption block below when iterating through the content.

Fix the application/pgp decryption block to assign to hdr->security
using the type of the app/pgp part instead of hdr->content.

Add new flag -E to modify draft/include file. (closes #3799)

Specifying -E with -i will cause mutt to directly edit the include
file.

Specifying -E with -H will cause the draft file to be regenerated from
the latest version of the email on exit.

Improve -H so that it will read (and write) multipart messages.

Mention <what-key> under the key bindings documentation.

Increase HUGE_STRING size to 8192. (see #3804)

The interface for editing a large number of recipients is poor and
perhaps shouldn't be using a fixed buffer size.  Until a redesign can
be thought about, this will help.

Make sasl authentication buffers dynamically sized. (see #3804)

The reporter found that the current buffer of HUGE_STRING was
insufficient in his case to encode the clientout response back to the
server in imap_auth_sasl().

Since sasl gives us the size of "clientout", we can dynamically malloc
and resize the buffer as needed.  This patch uses max(LONG_STRING,
(clientoutlen*2)).  This is sufficient to hold the base64 encoded
value plus additional prefix/suffix needed in each protocol.

The size is rechecked after each sasl_client_step() and resized as
needed.

Similar code is in pop_auth_sasl() and smtp_auth_sasl(), so convert
all three to use a dynamic buffer.

Allow tab as a delimiter in smime .index files. (closes #3802)

The old parsing code used fscanf, and so happened to allow a tab as a
delimiter.  Even though smime_keys.pl uses a space, some users
maintain their own .index files by hand (using tab delimiters), so
continue to allow that delimiter.

Thanks to Andre for the bug report and patch.

Add a couple missing ATTACHPTR->tree frees.

While working on ticket 3800, I noticed the tree wasn't being freed
inside OP_COMPOSE_EDIT_HEADERS.  Add a free there, and in the cleanup
at the end of mutt_compose_menu().

A few other sections in mutt_compose_menu() are performing a
free-on-error where the tree isn't allocated yet, so skip it for
those.

I believe this is actually not fixing a memory leak: all attachments
are always at level 0 in the compose menu (as far as I know); so
nothing is ever allocated in the tree pointer.  However since other
parts of the code in compose.c clean this up, it make sense to add
them here too.

Prefer bright versions (8-15) of colors for brightXXX backgrounds.

When a bright color is specified as a background, try to use the
bright version of that color, falling back to the A_BLINK method only
on terms which do not support enough colors.

Use strrchr to search for Received date separator. (closes #3798)

Sample email provided by the submitter showed a Received header with a
";" at the end of each line, instead of a single ";" in front of the
date.  The emails are obviously not RFC compliant, but the fix is
simple enough: find the last ";" using strrchr instead of the first.

Update manual copyright too.