Merge branch 'stable'

Fix imap status count range check.

The strtoul() call for parsing the STATUS count wasn't checking the
range properly, because it was assigning to an unsigned int.

Change to assign to a unsigned long, and also add the conversion check
from mutt_atoui().

Thanks to Charles (@chdiza) for quickly noticing the problem!

Merge branch 'stable'

Change imap literal counts to parse and store unsigned ints.

IMAP literals are of type number.  Change imap_get_literal_count() to
use mutt_atoui() instead of atoi().  Change the return type variables
used to store the count to type unsigned int.

It's doubtful this was a real issue, but as long as we're cleaning up
incorrect atoi() usage, we should fix this too.

Fix improper signed int conversion of IMAP uid and msn values.

Several places in the imap code, when parsing "number" and "nz-number"
values from the IMAP data, use atoi() and strtol().  This is
incorrect, and can result in failures when a uid value happens to be
larger than 2^31.

Create a helper function, mutt_atoui() and use that instead.  One
place was using strtol() and relying on the endptr parameter, and so
was changed to use strtoul() instead.

Thanks to Paul Saunders for the bug report and original patch, which
this commit is based on.

Updated French translation.

Disable message security if the backend is not available.

Gitlab issue #3 exposed an awkward corner case: if mutt is configured
without PGP or S/MIME, and with GPGME, but $crypt_use_gpgme is unset.
In this case, no backend will be available, but WithCrypto will be set
with both APPLICATION_PGP and APPLICATION_SMIME bits.

That will allow various config vars to enable encryption or signing,
even though there will be no backend available to perform them.  The
message security flag might then be set, but when the user hits send,
will end up back at the compose menu due to the error.

The pgp or smime menu might not even be available to clear the
security setting!

Add a check in send.c before the compose menu is invoked, and give a
warning message for the menu ops inside the compose menu.

I believe this should prevent the issue.  However this is a corner
case combined with user misconfiguration, so I don't believe is worth
a large effort to completely eradicate.

Converted po/pl.po from ISO-8859-2 to UTF-8

I’ve converted the Polish translation file to UTF-8 using iconv 2.25.

Mention self_encrypt options in the documentation. (closes #3983)

Add a paragraph to the "Sending Cryptographically Signed/Encrypted
Messages" section of the manual.

Merge branch 'stable'

Update wiki link in manual.

Merge branch 'stable'

Determine latest tag using git describe.

Commit 8648db83 relies on `sort -V` which is unavailable on some
platforms.  Instead just use `git describe` with --abbrev=0 to only
output the tag.  We still manually compute the distance to avoid the
problem mentioned in that commit.

Additionally, add Vincent's fix from commit 3b142cea to the stable
branch.

Fixed git repo detection: for worktrees, .git is a plain file.

manually touch atime when reading a mbox file

The only common use of atime left is local mail agents leaving a mark on
mbox file after the mail has been read.  And, since POSIX-2008, it is
possible to use futimens() to alter atime even on filesystems mounted with
noatime.

There's no extra cost for doing this on when atime updates are enabled:
the inode will be dirty already.

Add config.cache to .gitignore file.

Merge branch 'stable'

automatic post-release commit for mutt-1.9.2

Merge branch 'stable'

Fix s/mime certificate deletion bug. (closes #3982)

Commit c1bcf4ba exposed a bug in the s/mime encryption code.  It was
errorneously calling unlink on the list of generated cert files to
use.

Prior to that commit, the list had an initial space, which apparently
made the unlink fail.  After that commit, encrypting to a single
certificate would end up deleting the certificate.

Remove the calls to unlink the cert file.  Add some missing cleanup if
the call to openssl fails.

Merge branch 'stable'

Update mkchangelog.sh to use git.

The output isn't quite as nice as the hg generated version, but is
close.

With Mercurial, and now Git, I'm not sure of the usefulness of
maintaining a ChangeLog file in the repos, but that is another
discussion.

Remove hg-commit and Makefile commit target.

I haven't ever used this script, and we only update the ChangeLog
during releases now.

doc/devel-notes already mentions running check_sec.sh.  Add a mention
of the 'make validate' target too.

Merge branch 'stable'

Minor tweaks to the version.sh fixes from last commit.

Add back a check for whether the git program exists.

Don't show distance if it is zero.

Remove the dirty flag.

Remove the initial "g" prefix from the commitid.  This is added by git
describe, but I don't think we need to preserve it.

Change version.sh to manually compute version and distance.

In some cases `git describe` gives bizarre results (see URL below),
instead get the highest version-numbered tag contained in HEAD then
count the number of commits that aren't included in it.

https://public-inbox.org/git/20161205232712.GA23868@pug.qqx.org/

Merge branch 'stable'

Update some of the documentation to refer to git.

Also update the repos URL.

Merge branch 'stable'

Convert version.sh to work with git.

Use the built-in `git describe` to get the tag, distance, and
revision id.

Convert to .gitignore file.

Convert to .gitignore file.

Updated French translation.

Update copyright notices.

Enable full address matching during message scoring. (closes #2179) (see #3243)

The tickets are old, but it seems reasonable to expect the pattern
matching to behave the same in scoring as when applying limits or
searching.

I don't foresee a huge performance hit, and there are no arguments
against the change in the tickets.

Thanks to the muttng devs (noted in ticket 2179) and Kornilios Kourtis
(from the Debian ticket referenced in ticket 3243).

Add NONULL to debug statement in fold_one_header().

Fix ansi escape sequences with both reset and color parameters. (closes #3689)

The initial 0 "reset/normal" was setting attr = ANSI_OFF, which was
subsequently being or'ed with ANSI_COLOR.

The color resolution was then checking for the ANSI_OFF bit and
turning all coloring off, even though ANSI_COLOR was also set.

Change the color resolution to check for "attr == ANSI_OFF" instead, so
the color isn't reset unless the reset occurs last in the sequence.

Remove useless else branch in the $smart_wrap code. (see #3857)

Thanks to Vincent Lefèvre for noticing the nested else was redundant,
since buf_ptr is already set to "buf + cnt" after the format_line()
call.

This allows us to merge the inner and outer if statement, resulting in
simpler code.

Fix $smart_wrap to not be disabled by whitespace-prefixed lines. (closes #3857)

changeset:737102af74eb fixed a folded header display issue with $smart_wrap
by disabling $smart_wrap for lines beginning with whitespace.

Unfortunately, this turns off smart wrapping in the body of an email
too, even when the line has other whitespace breaks in it.

An earlier commit, changeset:125076e0fdfa added an infinite loop fix
when MUTT_PAGER_NSKIP is set, by disabling the smart_wrap if the space
backtracking went to the beginning of the line.  That is, a line
beginning with 1+ whitespace followed by a single long word.

Extend this second commit by always disabling the smart_wrap in that
case, not just when MUTT_PAGER_NSKIP is set.  This also solves the
folded header issue without other side effects.

Add $change_folder_next option to control mailbox suggestion order.

This patch is out of the Gentoo package maintained by Fabian Groffen.
From the link below, it appears the original author was Simon Burge.

I made some minor changes to get it to apply correctly, and cleaned up
the documentation a bit.

Original patch description:
This patch brings back the original behaviour of change-folder, which
some people find more useful.  It suggests the next folder in your
mailboxes list that has new mail measured from the current folder,
instead of the first folder from your mailboxes list in any case.  This
prevents starvation of folders defined at the back of your list ;)
See discussion: http://thread.gmane.org/gmane.mail.mutt.devel/12457

Updated French translation.

Add %R (number of read messages) for $status_format.

Add message count to $move quadoption prompt.

Display the number of messages that will be moved in the quadoption
prompt, which might prove helpful for some people.

Thank you to Daan van Rossum for suggesting the improvement.

Make sure that fgets and fgetc are undefined before their redefinition.

This fixes a potential issue from changeset e0a103845344.

Use fgets_unlocked and fgetc_unlocked if available.

Since mutt does not use threads, there is no reason it should use the
locked variants of the FILE* IO functions. This checks if the unlocked
functions are available, and if so enables them globally via mutt.h.

Cuts load time for a 56k message, 1.8GB /var/mail mailbox from 14
seconds to ~6 seconds, since we avoid acquiring and releasing a mutex
for every character of input read.

Before: 0m14.376s

    74.98%          mutt  libc-2.18.so        [.] _IO_getc
    11.87%          mutt  mutt                [.] mbox_parse_mailbox
     0.94%          mutt  [kernel.kallsyms]   [k] copy_user_generic_string
     0.83%          mutt  libc-2.18.so        [.] __strchr_sse2
     0.53%          mutt  libc-2.18.so        [.] __memcpy_sse2
     0.44%          mutt  libc-2.18.so        [.] _int_malloc

After: 6 seconds

    68.92%     mutt  mutt                  [.] mbox_parse_mailbox
     2.25%     mutt  [kernel.kallsyms]     [k] copy_user_generic_string
     1.73%     mutt  libc-2.18.so          [.] __strchr_sse2
     1.24%     mutt  libc-2.18.so          [.] __memcpy_sse2
     1.17%     mutt  libc-2.18.so          [.] _int_malloc
     0.87%     mutt  libc-2.18.so          [.] __strspn_sse42

Note which ssl config vars are GnuTLS or OpenSSL only. (closes #3781)

It was not obvious that the ssl_ca_certificates_file was only for
GnuTLS, or that the ssl_usesystemcerts was only for OpenSSL.

Add polling for the IDLE command. (closes #3957)

Add $imap_poll_timeout poll for IDLE, since this is also a command
that will freeze after waking if $imap_idle is set.

merge stable

Fix address group terminator "exact address" printing to display trailing semicolon.

The exact-address handling for comma and colon are different because
those are added outside the exact-address printing.

The semicolon needs to be inside the address->val field of the address
group terminator.

Enable $reply_self for group-reply, even with $metoo unset.

For a (r)eply, the $metoo variable does not have any effect because
there is a single recipient.

However with (g)roup reply, the To was initially set to the sender,
but subsequently removed my $nometoo.  The empty To line is then
replaced with the Cc line, resulting in a (logically correct but)
surprising outcome.

Change the behavior such that $nometoo will not strip a single To
recipient when $reply_self is set.

Make cmd_parse_fetch() more precise about setting reopen/check flags.

Previously any FETCH with FLAGS would result in either
  idata->reopen |= IMAP_EXPUNGE_PENDING;
  -or-
  idata->check_status = IMAP_FLAGS_PENDING;
being set.

This is unnecessary in the case of responses to FLAGS.SILENT updates
sent by mutt (which seem to commonly happen now-a-days).

Change imap_set_flags() to compare the old server flags against the
new ones, and report when _those_ updates would/did result in a local
header flag change.  Only set one of the reopen/check_status flags in
the event of an actual change (or potential change if a local change
has been made to the header.)

merge stable

Fix uses of context->changed as a counter.

The first was in mx_update_tables(), but only when "not committing".
This is used by mh/maildir during an "occult" update, and in imap when
expunging the mailbox.  It meant to simply turn on changed when a
single changed header is seen.

The second use was in imap_sync_message_for_copy().  Previously this
was used for a server side copy/save, but is now also used for
fast-trash copying.  Remove the code that was trying to decrement the
counter: this function is not capable of properly setting a status
bit.

Change maildir and mh check_mailbox to use dynamic sized hash. (closes #3973)

The original patch is by Matt Fleming, originally posted at
http://www.codeblueprint.co.uk/2017/01/15/a-kernel-devs-approach-to-improving2

The comments there indicate Matt tried to submit to trac and mutt-dev,
but ran into registration problems.  Thank you for the patch, and
sorry for those problems, Matt.

I modified the patch by making the same change to the
mh_check_mailbox() code too.

merge stable

mutt-1.9.1 signed

Added tag mutt-1-9-1-rel for changeset 869633ef393e

automatic post-release commit for mutt-1.9.1

merge stable

Add missing IMAP_CMD_POLL flag in imap buffy check.

I missed adding the flag to one of the imap_exec() calls inside the
loop, when a different server is encountered in the mailboxes list.

Close the imap socket for the selected mailbox on error.

The new $imap_poll_timeout calls the cmd_handle_fatal() error handler
on timeout, which is supposed to close and cleanup.

However, for the currently selected mailbox, the error handler was not
closing the socket after closing up the mailbox.  This left extra
SSL/GnuTLS data around and was causing errors on an attempt to
reconnect.

Thanks to Fabian Groffen for reporting the issue.

Fix imap sync segfault due to inactive headers during an expunge.  (closes #3971)

Mutt has several places where it turns off h->active as a hack.  For
example to avoid FLAG updates, or to exclude from imap_exec_msgset.

Unfortunately, when a reopen is allowed and the IMAP_EXPUNGE_PENDING
flag becomes set (e.g. a flag update to a modified header),
imap_expunge_mailbox() will be called by imap_cmd_finish().

The mx_update_tables() would free and remove these "inactive" headers,
despite that an EXPUNGE was not received for them.  This would result
in memory leaks and segfaults due to dangling pointers in the
msn_index and uid_hash.

There should probably be a more elegant solution, removing the initial
hacks.  However, this is causing a segfault, and the best solution
right now is to turn active back on for non-expunged messages in
imap_expunge_mailbox().

Extra thanks to chdiza, who bravely runs tip and found this issue
quickly.

Updated French translation.

Display an error message when delete mailbox fails. (see #3968)

merge stable

Improve imap fetch handler to accept an initial UID. (closes #3969)

Gmail sends flag updates with a UID before the FLAGS.  The handler was
very simple, and so ignored the flag update in that case.

Pull the code from msg_parse_fetch(), paring down to just UID and
FLAGS.  This will handle arbitrary order data items.

merge stable

Change imap copy/save and trash to sync flags, excluding deleted. (closes #3966) (closes #3860)

imap_copy_messages() uses a helper to sync the flags before performing
a server-side copy.  However, it had a bug that the "deleted" flag on
a local message, if set, will be propagated to the copy too.

Change the copy sync helper to ignore the deleted flag.  Then, change
the imap trash function to use the same helper.

Thanks to Anton Lindqvist for his excellent bug report, suggested
fixes, and help testing.

Remove \Seen flag setting for imap trash.  (see #3966) (see #3860)

Commit 323e3d6e5e4c has a side effect where spurious FETCH flag
updates after setting the \Seen flag can cause a sync to abort.

Remove manually setting \Seen for all trashed message before copying.

The next commit will change the imap trash function to use the same
code as the imap copy/save function for syncing the message before
server-side copying.

Updated French translation.

Remove 'really' from the purge-message help description.

This made it sound to the translators like a question.

Add L10N comment to generated keymap_defs.h files.

Make it clearer to translators that the strings are for the help
screen.

Add warning about using inline pgp with format=flowed. (closes #3963)

The reporter noted that when trying to use inline signing with
format=flowed, the flowed was turned off.

After some research, this appears to be deliberate, probably because
of strange interactions between inline PGP and format=flowed.  In fact
the RFC strongly discourages their combined use:
https://tools.ietf.org/html/rfc3676#section-4.6

Add a warning and prompt to use PGP/MIME in mutt_protect().

merge stable

Fix rv assignment in mutt_window_mvprintw(). (closes #3964)

Mutt doesn't check the return value, so this wasn't causing a bug, but
was incorrect.

Thanks to dcb314 for reporting the issue.

Fix fp resource leak. (closes #3965)

Thanks to dcb314 for reporting the issue.

merge default into stable

mutt-1.9.0 signed

Added tag mutt-1-9-rel for changeset 549821ba69e5

automatic post-release commit for mutt-1.9.0

Fix the new certificate prompt translations.

The Esperanto, Dutch, and Czech po files weren't updated in time for
1.9.  Fix the certificate prompt translations by adding a "(s)kip"
choice.  Otherwise the prompts would not be functional.

Updated Japanese translation.

Updated Catalan translation.

Add 1.9.0 entries to the UPDATING file.

Updated Danish translation.

Updated Danish translation.

Updated German translation.

Updated Russian translation.

Updated Ukrainian translation.

Add option to run command to query attachment mime type. (closes #2933) (closes #3959)

Add $mime_type_query_command to specify a command to run if the
attachment extension is not in the mime.types file.

Add $mime_type_query_first to allow the query command to be run before
the mime.types lookup.

Updated French translation.

Fix parent_hdr usage in mutt_attach_reply(). (see #3728)

If the selected attachments are not messages and no (common) parent is
found, parent_hdr is set to the passed in hdr.  In that case, parent
will still be NULL, but parent_hdr and parent_fp will be set.

Change the test to parent_hdr being NULL, not parent, to check for
this case.

Add edit-content-type helper and warning for decrypted attachments. (closes #3728)

Regenerating the actx index will overwrite any changes made to a
decrypted attachment.  Change the mutt_edit_content_type() function to
return 1 when a structural change is made.  Add a warning message when
that is the case and a decrypted message was edited, so the user is
not surprised.

Note: mutt_edit_content_type() appeared to regenerate multipart
subparts every time, leading to a memory leak.  I believe this was an
oversite, and it should have regenerated only when there were no
subparts, so have "fixed" this.

Fix attachment check_traditional and extract_keys operations. (see #3728)

Add helpers and iterate over the actx->idx instead of the BODY structure.

Fix shared attachment functions. (see #3728)

With nested decryption, the correct FP is associated with the
ATTACHPTR entry.  Also, the BODY entries are not continguous, so the
functions need to iterate over the actx index, not the BODY structure.

Fix the expand/collapse code to use the virtual index. (see #3728)

Fix the init code to respect OPTDIGESTCOLLAPSE.

Add virtual index to actx. (see #3728)

The virtual index is modeled after the CONTEXT.  Add a CURATTACH
helper to reduce code verbosity.  Store the actx as menu->data.

Simplify and consolidate the recvattach and compose menu update code
inside a function.

Because compose and recvattach share so much code, change compose to
use the virtual index even though it has no collapse/expand
functionality.

Change recvattach to allow nested encryption. (see #3728)

* Add a FP and BODY array to the actx.  These are used to allow proper
  cleanup.

* Add HEADER and root_fp entries, to allow for index regeneration.

* Separate out the compose and recvattach index generation functions.

* Change the recvattach index generator to decrypt as encrypted parts
  are found.

Add helpers to add and remove actx entries. (see #3728)

Use the helper in compose update_idx(), to consolidate the resize
logic and simplify the code.

Separate out the actx "free" routine from a routine to empty out the
idx.  The index regeneration routines should flush and rebuild the
index without having to renerate the actx structure.

Change helpers functions to pass actx. (see #3728)

Change the pager, compose, recvattach and recvcmd to pass the actx
instead of the individual idx and idxlen parameters.

Separate out the compose menu exit logic to first free the BODY data
and then call the shared actx free function at the bottom.