Improve imap fetch handler to accept an initial UID. (closes #3969)

Gmail sends flag updates with a UID before the FLAGS.  The handler was
very simple, and so ignored the flag update in that case.

Pull the code from msg_parse_fetch(), paring down to just UID and
FLAGS.  This will handle arbitrary order data items.

Change imap copy/save and trash to sync flags, excluding deleted. (closes #3966) (closes #3860)

imap_copy_messages() uses a helper to sync the flags before performing
a server-side copy.  However, it had a bug that the "deleted" flag on
a local message, if set, will be propagated to the copy too.

Change the copy sync helper to ignore the deleted flag.  Then, change
the imap trash function to use the same helper.

Thanks to Anton Lindqvist for his excellent bug report, suggested
fixes, and help testing.

Remove \Seen flag setting for imap trash.  (see #3966) (see #3860)

Commit 323e3d6e5e4c has a side effect where spurious FETCH flag
updates after setting the \Seen flag can cause a sync to abort.

Remove manually setting \Seen for all trashed message before copying.

The next commit will change the imap trash function to use the same
code as the imap copy/save function for syncing the message before
server-side copying.

Fix rv assignment in mutt_window_mvprintw(). (closes #3964)

Mutt doesn't check the return value, so this wasn't causing a bug, but
was incorrect.

Thanks to dcb314 for reporting the issue.

Fix fp resource leak. (closes #3965)

Thanks to dcb314 for reporting the issue.

merge default into stable

mutt-1.9.0 signed

Added tag mutt-1-9-rel for changeset 549821ba69e5

automatic post-release commit for mutt-1.9.0

Fix the new certificate prompt translations.

The Esperanto, Dutch, and Czech po files weren't updated in time for
1.9.  Fix the certificate prompt translations by adding a "(s)kip"
choice.  Otherwise the prompts would not be functional.

Updated Japanese translation.

Updated Catalan translation.

Add 1.9.0 entries to the UPDATING file.

Updated Danish translation.

Updated Danish translation.

Updated German translation.

Updated Russian translation.

Updated Ukrainian translation.

Add option to run command to query attachment mime type. (closes #2933) (closes #3959)

Add $mime_type_query_command to specify a command to run if the
attachment extension is not in the mime.types file.

Add $mime_type_query_first to allow the query command to be run before
the mime.types lookup.

Updated French translation.

Fix parent_hdr usage in mutt_attach_reply(). (see #3728)

If the selected attachments are not messages and no (common) parent is
found, parent_hdr is set to the passed in hdr.  In that case, parent
will still be NULL, but parent_hdr and parent_fp will be set.

Change the test to parent_hdr being NULL, not parent, to check for
this case.

Add edit-content-type helper and warning for decrypted attachments. (closes #3728)

Regenerating the actx index will overwrite any changes made to a
decrypted attachment.  Change the mutt_edit_content_type() function to
return 1 when a structural change is made.  Add a warning message when
that is the case and a decrypted message was edited, so the user is
not surprised.

Note: mutt_edit_content_type() appeared to regenerate multipart
subparts every time, leading to a memory leak.  I believe this was an
oversite, and it should have regenerated only when there were no
subparts, so have "fixed" this.

Fix attachment check_traditional and extract_keys operations. (see #3728)

Add helpers and iterate over the actx->idx instead of the BODY structure.

Fix shared attachment functions. (see #3728)

With nested decryption, the correct FP is associated with the
ATTACHPTR entry.  Also, the BODY entries are not continguous, so the
functions need to iterate over the actx index, not the BODY structure.

Fix the expand/collapse code to use the virtual index. (see #3728)

Fix the init code to respect OPTDIGESTCOLLAPSE.

Add virtual index to actx. (see #3728)

The virtual index is modeled after the CONTEXT.  Add a CURATTACH
helper to reduce code verbosity.  Store the actx as menu->data.

Simplify and consolidate the recvattach and compose menu update code
inside a function.

Because compose and recvattach share so much code, change compose to
use the virtual index even though it has no collapse/expand
functionality.

Change recvattach to allow nested encryption. (see #3728)

* Add a FP and BODY array to the actx.  These are used to allow proper
  cleanup.

* Add HEADER and root_fp entries, to allow for index regeneration.

* Separate out the compose and recvattach index generation functions.

* Change the recvattach index generator to decrypt as encrypted parts
  are found.

Add helpers to add and remove actx entries. (see #3728)

Use the helper in compose update_idx(), to consolidate the resize
logic and simplify the code.

Separate out the actx "free" routine from a routine to empty out the
idx.  The index regeneration routines should flush and rebuild the
index without having to renerate the actx structure.

Change helpers functions to pass actx. (see #3728)

Change the pager, compose, recvattach and recvcmd to pass the actx
instead of the individual idx and idxlen parameters.

Separate out the compose menu exit logic to first free the BODY data
and then call the shared actx free function at the bottom.

Create ATTACH_CONTEXT to hold attachment index. (see #3728)

Move the idx and idxlen into ATTACH_CONTEXT.  In subsequence patches,
this structure will hold more useful items, such as the virtual index.

The swap out is straightforward, except for:
  * update_idx() in compose.c, which post-increments the idxlen in the
    call and again in the function.
  * mutt_gen_attach_list() which doesn't need to returns the new values.

Updated Simplified Chinese translation.

Updated German translation.

Handle error if REGCOMP in pager fails when resizing.

Thanks to JiaZhouyang for finding this issue and supplying the original patch.

Updated German translation.

Convert raw_socket_poll() to use gettimeofday().

As long as gettimeofday() is supported, it's better to be consistent
within mutt and ensure greater portability.

Change the raw_socket_poll() wait timer to count milliseconds, like
the mutt_progess_update() code.

Thanks to Vincent Lefèvre for his, as always, invaluable advice.

Updated French translation.

Add autoconf search for clock_gettime.

It appears to be specified in POSIX.1-2001, so just abort if it's not found.

Add a missing time.h include in mutt_socket.c

Add $imap_poll_timeout to allow mailbox polling to time out.

Enable the polling flag for the NOOP in imap_check_mailbox(), the
STATUS command in imap_buffy_check(), and the LOGOUT command.

This is not intended to handle all blocking-IO related issues.
However, the periodic NOOP and STATUS are the most frequent places for
mutt to freeze up, especially after a laptop is sleep/woken.

Since these are quick operations with little data, this is a good place
to check if the connection is still working before hanging on a read.

Add timeout parameter to mutt_socket_poll.

This will be used in the next commit to add a timeout when polling for
new mail.

When guessing an attachment type, don't allow text/plain if there is a null character. (see #2933)

Type text/plain should not contain any null characters.  Slightly
improve the type guesser by forcing an attachment with any null
characters to be application/octet-stream.

Note the type guesser could use much more improvement, but this is an
easy and obvious fix.

merge stable

Change imap_cmd_start() to return OK when the cmd_queue is finished. (closes #3956)

Some response handlers can end up recursively calling
imap_cmd_start(), processing all the command completions.  If the
outer call was an imap_exec(), this would result in the loop never
being terminated (or just blocking reading a server that has already
finished all the commands).

Change the callers that are simply using it to read a response,
without having called cmd_start(), to check for IMAP_CMD_OK instead.
Currently this is just the open connection function.

Fix menu color calls to occur before positioning the cursor. (see #3956)

It is possible for menu->color() to end up fetching an imap message,
and therefore generating a status message.

Because of this, we need to make those calls before we position the cursor.

Decrease regex failure stack limit. (closes #3955)

When using alloca(), the built-in regexp library limited the failure
stack to 20,000 entries.  This value is too large, and causes alloca()
to segfault in the example provided in the ticket.

Decrease the limit to 8000.

Thanks to Thorsten Wißmann for the excellent bug report, which made
debugging this much easier.

drop unused flags argument from imap_access

We are not using an actual interface so it is pointless.

bcache: cast to avoid implicit signed/unsigned comparison in bcache_path

merge stable

Fix crash when $postponed is on another server.

imap_mxcmp() translates NULL to "INBOX".  When $postponed points to a
URL with an empty or "INBOX" path, this will end up matching against a
NULL idata->mailbox in imap_status().  This resulted in a crash
because idata->ctx is also NULL.

Thanks to Olaf Hering for the detailed bug report and suggested fix.

fix signed/unsigned comparison in longest_common_prefix

Add ~<() and ~>() immediate parent/children patterns. (closes #3144)

Thanks to Jeremie Le Hen for the original patch, and for his
persistence in getting this feature merged.

Remove stale certificate prompt translations.

With the OpenSSL changes, unmaintained translation prompts will not function properly.

Clear out the translation strings for those using different action keys.

This changeset does not touch the translation files that are actively
maintained.  They will be properly updated before the 1.9.0 release.

Update po files.

Add L10N comments to the GNUTLS certificate prompt.

The prompts are shared with OpenSSL, and so the prompts end up being
separate from the action key strings.

Add more description for the %S and %Z $index_format characters.

Add config vars for forwarded message attribution intro/trailer.

Add $forward_attribution_intro and $forward_attribution_trailer to
allow the default strings to be overridden.

Fix typo in smime_self_encrypt_as documentation. (closes #3953)

merge stable

Minor documentation fixes.

The muttrc man page doesn't contain the "Format Strings" section in
the manual, so add a pointer to the explanation of conditionals in
$status_format.

Block SIGWINCH during connect(). (closes #3941)

FreeBSD's connect() does not respect SA_RESTART, so a SIGWINCH will
end up interrupting the connect.

If this code is needed in other places, it should be moved into
signal.c.  For this one place, inlining the sigprocmask() seemed okay.

Improve the L10N comment about Sign as.

Make it clearer what the indentation behavior is, and add suggestions
about the width.

Thanks to TAKAHASHI Tamotsu for the original patch suggesting changes
to the L10N comments.

Updated Japanese translation.

Auto-pad translation for the GPGME key selection "verify key" headers.

Remove the ridiculous need for the translators to pad the translation
strings themselves.

Updated Danish translation.

Enable all header fields in the compose menu to be translated.

While it is suggested they need not be, for some locales it might be
preferable to be able to localize the fields.

For instance, fr_FR may want to change the punctuation to have a space
in front of the colon.  ja_JP may be more comfortable with a native
character set description of the field when using it every day.

Force hard redraw after $sendmail instead of calling mutt_endwin. (closes #3952) (see #3948)

Adding a mutt_endwin() seemed like a clean solution to allowing
ncurses pinentry for $sendmail, but it leaves other users watching a
blank screen.  This change is extremely likely to generate a large
number of complaints and bug reports.  So instead, force a hard
refresh afterwards.

Make GPGME key selection behavior the same as classic-PGP. (see #3950)

Classic-PGP key selection auto-selected a match if there was a single
strong, valid, address-match result, even if there were other weak
matches.

GPGME was prompting in the same situation, if there were other weak
matches.

Change GPGME to match the classic behavior, as this is more useful and
matches the manual description.

Rename 'sign as' to 'Sign as'; makes compose menu more consistent.

Change the compose menu fields to be dynamically padded.

Pad based on the maximum width of the fields.  Note that this is a bit
of a mess, because some of the fields are translated while others are
not.

Backout 02ff4277259e (see #3948)

Vincent expressed some legitimate concerns about exporting this to all
programs lauched by mutt.  The user can always set GPG_TTY in their
.bashrc if needed for $sendmail.  cf90bf5989f3 should resolve the
refresh issue.

Add a mutt_endwin() before invoking $sendmail. (closes #3948)

This is to support invoking a program such as msmtp that can use gpg
to decrypt a password.  The ncurses pinentry can corrupt the screen
unless we exit curses.

Move setting of GPG_TTY to mutt_init(). (see #3948)

This allows other programs mutt runs to use the ncurses pinentry if needed.

Restore setenv function.

Partially revert fa1192803257, restoring setenv.  It turns out we
still need the function.

Updated Japanese translation.

Fix tag-prefix to not abort on $timeout.

If $timeout is set very low, then it can cancel the tag-prefix before
the user has time to press the desired command.

Change the code to set the tag flag, and then recontinue with normal
event processing instead.  Cancel on an abort, but continue with a timeout.

Thanks to Lauri Tirkkonen for reporting the issue.

Change km_dokey() to return -2 on a timeout/sigwinch.

In some cases, such as tag-prefix or _mutt_enter_string(), it is
desirable to be able to distinguish between a timeout/sigwinch event
and an input error/abort/ctrl-g.

Enable TEXTDOMAINDIR override to make translation testing easier.

If set, TEXTDOMAINDIR will point to a translation directory instead of
using the mutt installation directory.

Fix "format string is not a string literal" warnings. (closes #3949)

Mutt calls msgfmt with '-c' to verify that translation format strings
match, but it is still safer to indirect strings with no formatting
through %s.

merge stable

Add note about message scoring and thread patterns. (see #3947)

Because scoring occurs before the mailbox is sorted, thread patterns
don't work.  Document a suggested workaround of pushing the score
command in a folder hook.

Also, fix the link target for the score command synopsis.

merge stable

mutt-1.8.3 signed

Added tag mutt-1-8-3-rel for changeset fe5275246e13

automatic post-release commit for mutt-1.8.3

Change $postpone_encrypt to use self-encrypt variables first.

The concept of postpone encryption is similar to self-encrypting on
send.  The problem is the $postpone_encrypt_as option doesn't take
into account whether PGP or S/MIME is being used.

Since we need to add the new options for self-encryption, modify
$postpone_encrypt to use them by default instead, falling back to
$postpone_encrypt_as if they are unset.  Note $postpone_encrypt_as is
deprecated in the documentation.

Add self-encrypt options for PGP and S/MIME.

Add $pgp_self_encrypt, $pgp_self_encrypt_as, $smime_self_encrypt,
$smime_self_encrypt_as.

$pgp_sign_as and $smime_default_key are inappropriate to use, as they
specify signing key/certs.  In some cases, this is a different value
than the encryption key/cert.

Convert classic s/mime to space delimit findKeys output.

Unlike gpgme and classic pgp, smime used a "cert\ncert\n" pattern.
Convert to use a space-delimited format, so the self-encrypt option
code can be uniform across pgp, s/mime, and gpgme.

Change imap body cache cleanup to use the uid_hash.

This should speed up $message_cache_clean cleanup when syncing.

merge stable

Fix memory leak when closing mailbox and using the sidebar.

The code updating the sidebar counts decremented the msgcount, but did
not set it back to the original value.  Which means fastclose was not
freeing all the headers.

Update the sidebar only when something is deleted, since I don't
believe it's required otherwise and the code is a bit cleaner that
way.

Don't clean up msn idata when closing an open-append mailbox. (see #3942)

This is a continuation of commit 59a2125b49f2 with changes made in the
default branch.

Thanks again to Will Yardley for helping test the imap read-headers
changes and discovering this bug.

merge stable

Don't clean up idata when closing an open-append mailbox.

open-append borrows the idata just for the connection.  The "mailbox
specific" part of the idata may be being used by a normal
open-mailbox.

Don't free the idata "mailbox specific" part when closing an
open-append mailbox.

Thanks to Will Yardley for discovering the bug as part of testing the
revised IMAP fetch_headers code (in the default branch).

merge stable

Fix potential segv if mx_open_mailbox is passed an empty string. (closes #3945)

If path is "", ctx->path will be NULL.  realpath() generally will segv
if the first parameter is NULL.

Fix mfc overflow check and uninitialized variable.

The check borrowed from mx_alloc_memory() works because it is
incremented 25 at a time.  I don't believe it will work for the direct
set case used in imap_alloc_msn_index().  Instead, use a more
conservative check.

In imap_read_headers(), make sure mfhrc is initialized.  It would be
tested without being set if imap_cmd_step() returned OK right away.

Don't abort header cache evaluation when there is a hole. (see #3942)

Instead, find the first missing MSN and generate a more complicated
sequence set specifying the missing ranges.

This removes the assumption that the header cache query returned
results in MSN order.

Small imap fetch fixes. (see #3942)

Add an integer overflow test, pulled from mx_alloc_memory(), since the
count comes from a potentially hostile server.

After reviewing the RFC a bit, it turns out the server is not supposed
to send EXPUNGE responses during a FETCH.  Change the comment, but
keep the conservative code.

Properly adjust fetch ranges when handling new mail. (see #3942)

When pulling down headers, it is possible for expunge responses to
happen too.  If we get a new mail count, we need to take into account
changes to the max_msn due to the expunges.

Add msn_index and max_msn to find and check boundaries by MSN. (see #3942)

Since there can be gaps in MSNs, the largest MSN in the context is not
necessarily ctx->msgcount.

Use max_msn instead of ctx->msgcount for:
  - the starting MSN of new mail header fetching
  - boundary checking in fetch, expunge, and other places

Use msn_index to efficiently look up headers by MSN.  This makes the
expunge code slightly more efficient.  It also makes FETCH handling, and
duplicate FETCH FLAG handling efficient.

Start fixing imap_read_headers() to account for MSN gaps. (see #3942)

Change the parameters to pass MSN instead of index, to make a bit
simpler.

Change header cache evaluation to look at the largest MSN retrieved
instead of ctx->msgcount for the next fetch start point.  This still
depends on the assumption that MSNs are retrieved in ascending order,
which needs to be fixed.

Simplify the header cache inner loop termination and memory cleanup
logic.  Fix a memory leak if a hole in the header cache occured.

Fix the header retrieval logic to take into account MSN gaps in the
results.  Loop only as long as we get IMAP_CMD_CONTINUE instead of
over a fixed count.  Simplify the inner loop termination and memory
cleanup logic too.

Simplify the "new mail while fetching" logic by creating a third outer
loop to handle re-fetches.

Fix msg_fetch_header() to return -2 if msg_parse_fetch() encounters a
corrupt FETCH response.  Previously it would pass on the rc of
msg_parse_fetch(), meaning it would return -1 even though the response
was corrupt.