Improve the mailto_allow documentation.

Add to the commands list.  Document unmailto_allow.  Mention the new
behavior in the Security Considerations section about mailto: links.

Restrict mailto header fields using mailto_allow.

By default, only the body and subject fields are allowed.  These can
be changed with the mailto_allow and unmailto_allow commands.

Check stat return value in configure.ac. (closes #3810)

Add $resume_edited_draft_files option.

This adds an extra header when saving edited draft files (-E -H on the
command line).  With this header, the next time they are edited, they
are automatically "resumed" (by setting $resume_draft_files).

The idea is to prevent multiple user-defined headers and signatures
from being added to the draft message by avoiding processing it as a
brand new message after the first time.

Add $resume_draft_files option.

When set, draft files are processed the same as when resuming
postponed messages.  One use of this option is to avoid multiple
user-defined headers and signatures being added to the message.
(e.g. when -E is used repeatedly on the draft files).

Improve method of determining FQDN. (closes #3298)

Rather than reading /etc/resolv.conf, use gethostname() and
getaddrinfo() to get the canonical domain.

Thanks to Vincent Lefèvre for the memory leak fix.

Document that GPGME doesn't support creating inline PGP messages.

Add hard redraw for the gpgme application/pgp handler.

Will Yardley reported display artifacts and keyboard issues after
decrypting a traditional pgp message using gpgme.  It turns out the
gpgpme code path was missing a hard_redraw() to repaint the screen
after pinentry.

Draft file tweeks: rename flag, don't auto-abort on no change.

Rename the flag to SENDDRAFTFILE since it will be used in contexts
other than the body allocation.

Don't automatically abort if the message was unchanged; it seems
possible the draft files could be used as the entire message reply.

Add $pgp_decryption_okay to verify multipart/encrypted are actually encrypted. (closes #3770)

In pgp classic mode, if the $pgp_decrypt_command generated output, it
assumed the content was encrypted.  However, gpg will generate output
even if the block is simply signed and armored text.  The problem is
that mutt was then printing mime headers labelling the output as
encrypted text in the ui.

Add a new option, and suggested value of:
  set pgp_decryption_okay="^\\[GNUPG:\\] DECRYPTION_OKAY"
If set, the output from the decrypt command will be scanned for this
regexp to confirm an actual decryption occurred.

Note that gpgme already correctly rejects this form of spoofed message.

Update the status message after decryption using gpgpme.

Change gpgme to behave the same as classic pgp mode: after a
decryption, update the status message to overwrite the initial
"Invoking PGP..." message.

Updated French translation.

Fix pgp and smime decryption in mutt_prepare_template().

Change the "combined" multipart decryption block to only work for pgp,
since mutt_is_multipart_encrypted() currently only checks for pgp
headers and it therefore only worked for pgp in the first place.

Fix the newhdr->security to be based on what that function returns,
instead of the "context" hdr passed in.

Add a smime decryption block below when iterating through the content.

Fix the application/pgp decryption block to assign to hdr->security
using the type of the app/pgp part instead of hdr->content.

Add new flag -E to modify draft/include file. (closes #3799)

Specifying -E with -i will cause mutt to directly edit the include
file.

Specifying -E with -H will cause the draft file to be regenerated from
the latest version of the email on exit.

Improve -H so that it will read (and write) multipart messages.

Mention <what-key> under the key bindings documentation.

Increase HUGE_STRING size to 8192. (see #3804)

The interface for editing a large number of recipients is poor and
perhaps shouldn't be using a fixed buffer size.  Until a redesign can
be thought about, this will help.

Make sasl authentication buffers dynamically sized. (see #3804)

The reporter found that the current buffer of HUGE_STRING was
insufficient in his case to encode the clientout response back to the
server in imap_auth_sasl().

Since sasl gives us the size of "clientout", we can dynamically malloc
and resize the buffer as needed.  This patch uses max(LONG_STRING,
(clientoutlen*2)).  This is sufficient to hold the base64 encoded
value plus additional prefix/suffix needed in each protocol.

The size is rechecked after each sasl_client_step() and resized as
needed.

Similar code is in pop_auth_sasl() and smtp_auth_sasl(), so convert
all three to use a dynamic buffer.

Allow tab as a delimiter in smime .index files. (closes #3802)

The old parsing code used fscanf, and so happened to allow a tab as a
delimiter.  Even though smime_keys.pl uses a space, some users
maintain their own .index files by hand (using tab delimiters), so
continue to allow that delimiter.

Thanks to Andre for the bug report and patch.

Add a couple missing ATTACHPTR->tree frees.

While working on ticket 3800, I noticed the tree wasn't being freed
inside OP_COMPOSE_EDIT_HEADERS.  Add a free there, and in the cleanup
at the end of mutt_compose_menu().

A few other sections in mutt_compose_menu() are performing a
free-on-error where the tree isn't allocated yet, so skip it for
those.

I believe this is actually not fixing a memory leak: all attachments
are always at level 0 in the compose menu (as far as I know); so
nothing is ever allocated in the tree pointer.  However since other
parts of the code in compose.c clean this up, it make sense to add
them here too.

Prefer bright versions (8-15) of colors for brightXXX backgrounds.

When a bright color is specified as a background, try to use the
bright version of that color, falling back to the A_BLINK method only
on terms which do not support enough colors.

Use strrchr to search for Received date separator. (closes #3798)

Sample email provided by the submitter showed a Received header with a
";" at the end of each line, instead of a single ";" in front of the
date.  The emails are obviously not RFC compliant, but the fix is
simple enough: find the last ";" using strrchr instead of the first.

Update manual copyright too.

Convert copyright years to all use 4 digit years.

Vincent Lefèvre pointed out the common shortcut, e.g 1996-9, is
actually not allowed for copyright years.  Convert all the copyright
years (for mutt files) to use 4 digits.

Update copyright notices.

This patch only updates existing copyright notices in the source
files, using commit dates since the last copyright update in commits
e3af935cdb1a and f8fd60d8d3f2.

Add a notice to the COPYRIGHT file to refer to our mercurial
repository for the full commit history.

Add myself to the COPYRIGHT file and smime_keys.pl file.

merge stable

Fix segfault when deleting and reusing attachment slots. (closes #3800)

When attachments are deleted, delete_attachment() slides the entries
down in the idx array, but forgets to NULL out the last vacated slot.

If more attachments are added later on via OP_COMPOSE_EDIT_HEADERS and
the Attach: pseudo-header, mutt_gen_attach_list() will attempt to
re-use the ATTACHPTR in that last slot because it wasn't set to NULL.
This will be pointing to freed memory and likely segfault (at best).

Add missing "yes" to $recall option documentation.

Also add a blurb about the <recall-message> function.

Reword new f=f documentation.

Reword a couple parts, as Oswald Buddenhagen suggested the original
wording was somewhat confusing.

Add $reflow_space_quotes option. (closes #3309)

When viewing and replying to a flowed email, add spacing between the
quotes to improve readability and interoperability with non-flowed
replies.

Add a section to the documentation discussing support for viewing and
non-flowed replies to flowed emails.

merge stable

Fix hash table key "use after free" in mh_check_mailbox(). (closes #3797)

The fnames hash uses the maildir->header->path as the key.  As matches
are found, the headers are freed.  This inadvertantly also freed the key
to the hashtable entry; the next hash_find() going to the same bucket
might end up comparing keys with a freed string.

This patch stores the path in the struct maildir canon_fname field (just
as maildir_check_mailbox() does) and uses that as the hash key instead.
This field isn't used outside of maildir_check_mailbox(), and is
automatically freed for us in the maildir_move_to_context() call at the
bottom of both functions.

Note there are other ways to fix this problem:
- Add a new mode to the hash table, causing it to strdup the keys and
  free them itself.
- Delete the entries in the fnames hash, rather leaving them there.
The first seems the cleanest, but would end up touching much more code.
The second is also clean, but might have a negative performance impact.

Additionally, peeking back in history to changeset 1d45a50b6f9b, it
looks like the canon_fname used to be used by mh too, so perhaps
removing the strdup may have been a mistake during refactoring at some
point.

Updated French translation.

Provide a better prompt and error for inline PGP with attachments.  (closes #3738)

Change mutt_protect() to check for text/plain before trying to invoke
crypt_pgp_traditional_encryptsign().  This way, mutt can provide a bit
more specific prompt and error message.

Since pgp_mime_auto says it will prompt in the event of any failure,
keep the more generic prompt after the encryptsign call too.

Loosen mutt_signed_handler() protocol value consistency check.  (closes #3639)

Apparently, for S/MIME, some MUAs mismatch the protocol value of
the multipart/signed and the content-type of the signature: putting
"pkcs7-signature" in one and "x-pkcs7-signature" in the other.

Change mutt_signed_handler() to independently verify the values of the
protocol and the content-type.  This still checks for correct values but
doesn't ensure they match between the two (for S/MIME).

smime: allow signing message digest algorithm to be specified.

Currently, Mutt hardcodes micalg=sha1 for signed messages.
Unfortunately, the actual message digest algorithm used defaults to
the value in the "Signature Algorithm" field in the signing key's
certificate.

Add a new configuration option $smime_sign_digest_alg, defaulting
to sha256.  Add a new printf format string, %d, to be used in the
signing command to specify the digest algorithm.  Modify the sample
$smime_sign_command to include "-md %d".

Note: This solution requires using the modified $smime_sign_command,
or else the micalg parameter again may not match the algorithm used.
An alternative solution would be to query the certificate "Signature
Algorithm" field and try to change the micalg to match it, but this
method is easier to implement and provides better control for the user
to configure, in any case.

Clean up address_uses_unicode() (closes #3794)

Pull the null check out of the loop.  Use a bit comparison to detect if
the high bit is set: this avoids a warning for platforms where char is
implicitly signed (where comparing < 128 is always true).

Fix bad idn error on local mailboxes.  (closes #3795)

Commit 831abf39d53a pulled the mbox_to_udomain() call inside the
conversion functions.  Unfortunately, this causes local (user only)
mailboxes to be considered conversion errors instead of just skipping
them.

Revert mbox_to_udomain() back to using a static buffer and pull back
into the mutt_addrlist_to_local/intl() functions.

Pass the user and domain into the conversion functions instead of the address.

Add user reversibility check in intl_to_local.

This ensures we don't lose information by converting to the local charset.

Implement SMTPUTF8 capability support in smtp.c

This is patch 4 of 4 implementing support for SMTPUTF8 (RFC 6531).

RFC6532 support already worked: rfc822*.c already parsed messages in
exactly the way RFC6532 wants.

Thanks for Arnt Gulbrandsen for the original patch.

Add option 'idn_encode'; rename option 'use_idn' to 'idn_decode'.

This is patch 3 of 4 implementing support for SMTPUTF8 (RFC 6531).

Add an option to control whether international domains are encoded with
IDN or not.  This defaults to set, for backward compatibility.

Rename the use_idn option to idn_decode, since that more properly
reflects its purpose.

Rewrite address local-to-intl conversion functions.

This is patch 2 of 4 implementing support for SMTPUTF8 (RFC 6531).

Perform charset conversion from local to UTF-8 for both the user and
domain parts of the address.

If IDN is enabled and the options (added in the next patch) are turned
on, encode/decode the domain part.

Use the intl_checked and is_intl status bits to record the intl/local
status of the ADDRESS mailbox part.

Rename idna functions and bits for smtputf8 changes.

This is patch 1 of 4 implementing support for SMTPUTF8 (RFC 6531).

Change mutt_idna.c to be always compiled.  Remove the stub functions in
mutt_idna.h.  Instead, put #ifdefs around the idna function calls.  The
conversion functions will be fixed up in the next patch.

Rename the conversion functions to mutt_addrlist_to_intl() and
mutt_env_to_intl().  Rename the ADDRESS idna status bits to "intl"
status bits.

Remove redundant mbox delimiter check in imap_browse().  (closes #3646)

imap_fix_path() removes duplicate and trailing delimiters, so the check
below it was redundant.  This also made it appear list.delim could be
used uninitialized.

Remove the check, but add a check to make sure the "fixed" path has
len>0, to prevent oob accesses of mbox[n-1] below.

Lastly, remove a redundant n=strlen(mbox) inside the initial LIST
processing loop.  The mbox isn't changed from above, so there is no
need to rerun strlen.

Fix memcpy buf=NULL/len=0 issue in replace_part(). (closes #3790)

Calling memcpy with src or dest=NULL is technically illegal, even if
len=0.  Recent compilers seem to now be generating warnings/errors with
this.

replace_part() is currently the only place we are getting bug reports,
so for now just fix the problem in this one place.

Improve error messages for eat_date() and eat_regexp().

After calling mutt_extract_token(), s->dptr will typically be at the end
of the string if an error occurred.  Save a pointer to the beginning of
the expression, so it can be properly displayed in the error message.

Convert eat_date() and eat_regexp() to use the same iconv strings for
the error message.

Fix possible unintentional '\0' strchr matches.

After fixing the ticket 3787 strchr issue, this patch cleans up other
potentially incorrect uses of strchr for the '\0' case.

In mutt_multi_choice(), mutt_getch() can technically return 0.  Although
it seems the user would have to try quite hard to do this, it's
incorrect to return that index into letters.  Change "ch.ch==0" to be
considered the same as an abort.

is_email_wsp() is used in a couple places where it wasn't obvious
whether '\0' was being accounted for, so add an explicit check to the
function.

Inside eat_date(), if mutt_extract_token() had no input and returned
"", the strchr ("<>=", buffer.data[0]) below would return a pointer.
In actuality, this is prevented by an empty parameter check inside
mutt_pattern_comp(), but it doesn't hurt to make it the same as
eat_regexp() and have the check explicitly done here too.

rfc2047_encode() was another borderline case for adding a check.  The
convert_string() sets a length, so it seems highly unlikely that *t
could be 0, but doesn't hurt to add the check.

The find_encoded_word() fix looks necessary.  If the passed in s was
something like "=?charset?" (followed by EOS, '\0'), the strchr("BbQq",
q[1]) would in fact return a pointer and the following q[2] would read
past the end of string.  If q[2] happened to be '?', it might even
continue reading in the for loop below.

Lastly, in parse_mailboxdomain(), the potential overread was already
fixed in changeset:a6919571eb59, but although the nonspecial and special
strchr() line happens to "work" for the case of '\0', it's pretty
fragile to leave as is.  It's better to be explicit and just return if
we hit EOS without calling next_token().

Updated French translation.

merge stable

Fix next_token() oob read.  (closes #3787)

With specially crafted input to 'mutt -H', the line "Return-Path:<() "
is read and passed to mutt_parse_rfc822_line(). "<() " is then passed
through to rfc822_parse_adrlist().

Eventually, inside next_token(), is_special(*s) is called when s
points to the end of the string ('\0').  This macro calls strchr,
which will actually match and return a pointer to the trailing '\0' in
RFC822Specials!  This causes "s + 1" to be returned, skipping past the
end of string inside parse_mailboxdomain().

This patch adds a check to make sure *s is non-null before calling
is_special(*s).

Fix error message for attach-message. (closes #3785)

Currently if mx_open_mailbox() fails when trying to attach a message,
mutt_perror() is called.  Change this to call mutt_error() instead,
since errno isn't set for all failure cases.

Updated French translation.

Create a separate macro/push/exec event buffer.  (closes #3779)

Currently, the SSL and TLS certficate prompts turn on
OPTUNBUFFEREDINPUT, (to prevent macros and such from running right
through the dialog).  Unfortunately, the menu dialog processing in
menu_dialog_dokey() is using mutt_ungetch() to forward non-dialog keys
on to standard menu processing.  With OPTUNBUFFEREDINPUT set, those keys
never make it to the menu and are buffered until after the menu dialog.

This patch creates a new event buffer, separate from the standard
"unget" buffer, for use by macros, exec, and push events.  These events
can be temporarily ignored by setting OPTIGNOREMACROEVENTS (renamed
from OPTUNBUFFEREDINPUT), while continuing to allow unget events to be
processed.

Since the "push" and "unget" functions now go to different buffers,
function names were slightly renamed, to make it less easy to
unintentionally use the wrong function at the wrong time.

Fix menu type in certificate prompt.  (see #3779)

The menu type is used in several places as a direct index into
Keymaps[], so passing in -1 to mutt_new_menu() was leading to illegal
memory accesses later on.

Add a range check in mutt_new_menu(), defaulting to MENU_GENERIC, to
prevent this problem in the future.

Improve prompt when switching between PGP and S/MIME. (closes #3777)

Only prompt when encrypt or sign is enabled.

Also, improve oppenc to run and refresh the status when switching.

Fix chomp in smime_handle_cert_email.

During a review of the previous patch, Oswald Buddenhagen noticed two
of the fixed oob reads had another problem: they were "chomping" (the
newline) without verifying there actually was a newline at the end of
the string.

merge stable

Fix oob reads when fgets returns "\0".  (closes #3776)

The ticket reported an out of bounds read in mutt_read_rfc822_line()
when a '\0' was embedded on its own line in the headers.  The function
assumed if fgets() didn't return NULL, then the string would have at
least one character.

I scanned the rest of the code and found three other places making the
same assumption for fgets.

Thanks to hanno for finding this with the "american fuzzy lop" tool.

Add new optional index_format expandos %r and %R.

These generate a comma separated list of all the To and Cc recipients.

Also, increase the attribution buffer size to accommodate these new
expandos.

German translation fix.  (closes #3701)

Updated Japanese translation.

Translation improvements.

Thanks to TAKAHASHI Tamotsu for pointing out these ones I missed.

Enable msgfmt translation check flag -c.

Fix discovered translation format string errors.

Add translation comments and improvements.

These were suggested by TAKAHASHI Tamotsu.

Improve translation string in crypt-gpgme.c

Combine into a single buffer to make the translation easier.
Also, mark a couple todos for alignment problems.

Fix double-decode during IMAP browse.

cmd_parse_list() already calls imap_unmunge_mbox_name() on the mailbox
names returned from the server.  However, browse_add_list_result() was
taking those mailbox names and passing them to imap_add_folder(), which
was calling imap_unmunge_mbox_name() yet again.

The reason is that imap_browse() was directly calling imap_add_folder()
too, passing in a previously encoded "mbox" name.  After looking
carefully at the code, I could find no reason that mbox needed to
be encoded outside of the LIST commands..  Therefore I changed
imap_browse() to call imap_munge_mbox_name() on mbox for the
two LIST commands generated from it instead, and removed the
imap_unmunge_mbox_name() call inside imap_add_folder().

merge stable

Fix use after free of ctx->last_tag.  (closes #3775)

When using imap to access gmail, tagging and saving messages to "all
mail" and pressing <sync-mailbox> can result in the call path:
  mx_check_mailbox()
    imap_check_mailbox()
      imap_cmd_finish()
        imap_expunge_mailbox()
          mx_update_tables()
followed by:
  mx_sync_mailbox()

The HEADER pointed to by ctx->last_tag will be removed and FREE'ed in
mx_update_tables(), but will subsequently be accessed in mx_sync_mailbox().

This patch simply sets ctx->last_tag=NULL if it is freed inside mx_update_tables().

Thanks to Peter Lekensteyn for the bug report and ASAN report.

Updated Danish translation.

Add time_t conversion to fix gpgme segfault on OpenBSD.

time_t isn't the same size as gpgme_subkey_t->timestamp on OpenBSD.
Passing &subkey->timestamp to localtime was therefore passing an address
to the wrong size int and was causing a segfault.

Thanks to Hannes Wenzel for reporting the bug and providing a patch.

merge default into stable

mutt-1.5.24 signed

Added tag mutt-1-5-24-rel for changeset 08e81162482f

automatic post-release commit for mutt-1.5.24

Partially updated Esperanto translation.

Minor translation fixes.

This makes two equivalent translation messages the exact same so they
only need to be translated once.

It also adds a missing translation marker (for the same string).

This same string is used in recvcmd.c so does not generate a new
translation string.

Set release date.  Minor fixes to release notes.

Updated Catalan translation.

Updated Dutch translation.

Minor translation fix.

This makes two equivalent translation messages the exact same so they
only need to be translated once.

Updated Japanese translation.

Updated Russian translation.

Updated Czech translation

Add idn to MUTTLIBS instead of LIBS (see #3638)

Currently, -lidn is included while linking all the mutt binaries.  Add
it to MUTTLIBS instead so it's only used for the mutt linking.

Also, add $LIBICONV to $LIBS before checking for some of the idna
functions.  On some sytems, there are apparently issues when using
static linking. (Thanks to grarpamp for reporting).

Change mutt_adv_mktemp to call mutt_mktemp instead of mktemp. (see #3638).

mutt_mktemp is currently called in 95% of the cases in mutt, and
is already our "own rolled" version of mktemp.  The "insecure mktemp
warning" discussion keeps coming up, so instead add prefix and suffix
functionality to mutt_mktemp() and call that.

All other uses of Tempdir in the mutt source did not call
mutt_expand_path() first, so remove that from mutt_adv_mktemp().

Enable C99 mode for compiler.  (See #3638).

This is already the default for clang (FreeBSD) so shouldn't cause any
issues.

Enabling this will increase the allowed static string length and remove
the Copyright length warning.

Compile txt2c using automake rules.

The compilation rule used $< which isn't portable for ordinary make
rules.

Fix txt2c.sh sed invocations to use posix syntax.

Updated French translation.

Minor documentation fix.

In one place, the documentation mentioned 'alternative-order' instead of
'alternative_order'.

Add error handling for ^ and other empty mailbox shortcuts.

(closes #2402) (closes #3735)

Explicitly mention the ^ example in the documentation added in 6d733cab6b45.

Add an error message for ^ when CurrentFolder is not set.  Add checks
for other mailbox shortcuts that expand to the empty string.  This
could happen if the @alias shortcut was accidentally used, or the value
referenced by a shortcut isn't set yet.

Add "Mailbox Matching in Hooks" section to manual.

Folder-hook and mbox-hook perform mailbox shortcut expansion on the
regexp parameter.  Add a section to the manual to give examples and make
the behavior clearer.

Handle malformed ms-exchange pgp-encrypted block. (closes #3742)

In certain circumstances, Exchange corrupts a multipart/encrypted block
into:
  <multipart/mixed>
    <text/plain>
    <application/pgp-encrypted> [BASE64-encoded]
    <application/octet-stream> [BASE64-encoded]

This patch pulls the full detection of valid/invalid multiparts
into mutt_body_handler().  It extracts a run_decode_and_handler()
function, which is reused by new intermediate handlers to decode
the application/octet-stream part before passing it directly to
crypt_pgp_encrypted_handler.  These intermediate handlers then check
and set any GOODSIG flags back into the parent part.

This change may result in less error messages for invalid
multipart/encrypted parts.  Instead, mutt will default to the
multipart_handler if it isn't fully "correct".

Viewing attachments uses crypt_pgp_decrypt_mime() which bypasses the
handler mechanism.  Add decoding to the decrypt_mime() functions for pgp
and gpgme.

Thanks to Vincent Brillault for his analysis and initial patch.

Imap: Fix flag caching after sync.

The flags cached in IMAP_HEADER_DATA were not updated to match the
HEADER flags after a sync.  This means if a flag were toggled and synced
twice, the second sync was not sending the flag update.

Thanks to Noah Misch for the patch.

Add support for checking cur/ in Maildir for unread mails in buffy.

Also skip messages with the S flag when checking for unread mails.

Set AUTOMAKE_OPTIONS in doc/Makefile.am. (closes #3766)

Add the "foreign" option to silence warnings generated by flymake.am.

Update the UPDATING file with changes since 1.5.23.

Fix compiler type warnings. (closes #3765)

The output of mutt_local_tz() was being passed to abs().  Technically
the return type is time_t, but it represents a small value: the timezone
offset in seconds.  Add a safe explicit cast to int.

Change the txt parameter of mutt_make_help() to type const char *.
Typically all calls run the txt parameter through _(), which
accepts const char * and returns a char *. However, if NLS is not
enabled, _() is a noop, simply returning the parameter itself.  In
mutt_compile_help(), items[i].name is const char *, so it will generate
a warning when passed as the txt parameter of mutt_make_help().

On some systems, e.g. OS X, snprintf is defined as a macro.  One call
in hcache.c was embedding directives inside the snprintf call.  This is
apparently undefined behavior, so duplicate the call instead.

Fix a few small compiler warnings.  (See #3638)

In certain configurations, unused variables and labels were causing
warnings.

Add a missing "#include <netinet/in.h>" to pop_lib.c.

merge stable

Add note about gpg fixed-list-mode.  (closes #3763).

Thanks to Gregor Zattler for the original patch.