fix: don't crash when the imap connection dies

merge: upstream fixes (mutt/default)

 * Add root-message function to jump to root message in thread.
 * Updated French translation.
 * Prevent an integer overflow in mutt_mktime() (closes #3880)
 * Fix pager segfault when lineInfo.chunks overflows. (closes #3888)
 * Perform charset conversion on text attachments when piping. (closes #3773) (see #3886)

Perform charset conversion on text attachments when piping. (closes #3773) (see #3886)

When piping a text attachment, there is no reliable way to know the
charset used.

Vincent Lefèvre says:
  It was decided in the past that when there is no information on the
  charset in a transmission to an external command (e.g. as for mail
  composing), texts are expected to be transmitted in the local
  charset.

Add a MUTT_CHARSET flag to enable charset conversion on text
attachments for both when $attach_split is set and unset.

Fix pager segfault when lineInfo.chunks overflows. (closes #3888)

The reporter had an html attachment with extremely long lines,
combined with a color pattern of "color body default default ."
This overflowed the lineInfo.chunks, causing a segfault.

Abort the body color patterns if this happens.

Prevent an integer overflow in mutt_mktime() (closes #3880)

Check to make sure the year passed in isn't bigger than can be
represented using time_t on the platform.

Also add a (time_t) cast to an intermediate "years * 365" calculation
to prevent an overflow there.

Thanks to TAKAHASHI Tamotsu for his patch, and to Vincent Lefèvre for
his improvement.  I merely took their code and commited it.

Updated French translation.

Add root-message function to jump to root message in thread.

This seems like a useful feature that was brought up for discussion on
mutt-users.  Proposed solutions involved collapsing/uncollapsing
threads, but it's not hard to modify the mutt_parent_message()
function to return the root instead.

NeoMutt 2016-10-28 (1.7.1)

merge: upstream fixes (mutt/default)

 * Fix POP3 SASL authentication mechanism DIGEST-MD5. (closes #3862)
 * Add a few explanatory comments to pop_auth_sasl().  (see #3862)
 * Fix GPGME signature zero timestamp and locale awareness issues. (closes #3882)
 * Handle presence of '--' delimiter in $sendmail. (closes #3168)
 * Allow IPv6 literal addresses in URLs. (closes #3681)
 * Fix gpgme segfault in create_recipient_set().
 * Use mutt_strlen and mutt_strncmp in sidebar.c.
 * Change sidebar to only match $folder prefix on a $sidebar_divider_char. (closes #3887)
 * Actually fix gpgme segfault in create_recipient_set().

Actually fix gpgme segfault in create_recipient_set().

Changeset 6e44bfa16096 did not fix the segv.  (Sorry, I made the fix
based off a report on IRC but didn't trigger the segv myself: it was
caused by an out-of-tree patch).

The actual problem was that the rset was only resized on a successful
gpgme_get_key().  However, on error, the array still needs to be
NULL-terminated before calling free_recipient_set().

Move the resize so it always takes place.  This obviates the need for
the NULL check added in 6e44bfa16096.

Change sidebar to only match $folder prefix on a $sidebar_divider_char. (closes #3887)

The reporter had a $spoolfile of ~/Mailbox and a $folder of ~/Mail.
The sidebar was truncating the spoolfile to "ox" because it only
looked at a substring prefix match.

Use mutt_strlen and mutt_strncmp in sidebar.c.

This prevents a segv if folder is unset.

Fix gpgme segfault in create_recipient_set().

If gpgme_get_key() errors on the first key, the rset will not be
allocated yet.  Attempting to null-terminate (and then free) the array
causes a segfault.

Allow IPv6 literal addresses in URLs. (closes #3681)

RFCs 2732 and 3986 specify a literal IPv6 address be surrounded by
"[]".

This patch removes the "[]" delimiters when parsing the URL, but adds
them back in url_ciss_tostring() if the host name contains a ':'.

Thanks to Evgeni Golov for the original patch.

Handle presence of '--' delimiter in $sendmail. (closes #3168)

If the delimiter exists, additional sendmail flags will be inserted
before the delimiter.  Any arguments after the delimiter will be
preserved as recipients.

Fix GPGME signature zero timestamp and locale awareness issues. (closes #3882)

GPGME signature information has two minor problems.

[-- Begin signature information --]
*BAD* signature from: Name <user@example.com>
                 aka: Name <user@example.org>
             created: Thu Jan  1 09:00:00 1970
[-- End signature information --]

First, the created timestamp is incorrect when the message is not
verified successfully.

Second, as the code itself has some "TODO" comments, "aka" and
"created" lines are not properly-aligned when LC_MESSAGES != English.

Add a few explanatory comments to pop_auth_sasl().  (see #3862)

Fix POP3 SASL authentication mechanism DIGEST-MD5. (closes #3862)

sasl_client_step() returns SASL_OK after the fourth step: server auth
confirmation.  However, the protocol requires the client send one more
blank line to the server, to which the server then replies with "+OK".
See https://tools.ietf.org/html/rfc5034#section-6.

The code currently only sends a final response if sasl_client_step
returns data to send.  Change it to always send a final client message
after the SASL_OK.

Revert "fix: display correct help key"

This reverts commit c36a04b235c37aa705dc629a2b0f5a0df1553200.
The change wasn't needed, after all.

docs: light tidying

[ci skip]

sidebar: consider description when using whitelist

Closes: #174

fix sensible-browser/notmuch changing mailbox

When sensible-browser tries to change mailbox, it gets confused because
mutt_get_parent_path() didn't understand notmuch paths.

Fixes: #197

travis: install doc dependencies

build: fix install/dist/distcheck targets

Closes: #103

build: fix a couple of build warnings

build: Look for tgetent in ncurses, fallback to tinfo only if not found

On some platforms, autoconf caused neomutt to be linked against both
ncurses and ncursesw.

fix: display correct help key

If you remap the help key, then press an unbound key, mutt still tells
you to press '?' for help.  This change makes mutt display a correct
binding.

Fixes: #214

fix: remove stray line introduced by pager fix

notmuch: Add a fake "Folder" header to viewed emails

When viewing an email from a virtual folder, you can't tell where the
real email lives.  This commit adds a fake header, "Folder:" showing
that location.

Closes: #210

Possible fix for random pager crashes.

The crashes have been observed:
- in both local and remote mailboxes
- with/without notmuch
- always are some time has passed
- always have an invalid header pointer

Scenario:
- The Context holds an array of HEADER pointers.
- The pager is given a HEADER to display.
- Time passes and the mailbox changes.

mx_check_mailbox() adds new mails to the end of the Context's array,
calling mx_alloc_memory() if necessary.  The Context's totals are
updated by mx_update_context().

The only way a HEADER pointer could become invalid is if they email were
deleted/moved.  If we detect this has happened, we leave the pager.

merge: forgotten-attachment

 * Fix checking logic.
 * Ignore lines matching quote_regexp.
 * Update docs regarding $quote_regexp.

Resolves: #178
Closes: #206

forgotten-attachment: Update docs regarding $quote_regexp.

forgotten-attachment: Ignore lines matching quote_regexp.

Ignore quoted text in the email when searching for attachment
indicators.

forgotten-attachment: Fix checking logic.

Don't bother searching the email for attachment keywords, if:
- The feature is disabled
- There's an attachment

fix: "inbox" sorting function

Make mutt_is_inbox only consider an "INBOX" string following a '/'

Fixes: #205

fix crash in hdrline

This commit should prevent the crash detailed in this bug report.
    http://bugs.debian.org/838064

However, it's just fixing the symptom, not the cause.

fix: overhaul the index/pager updates

Wherever you are in the index/pager, you will be notified of new mail
when it arrives.

Make sure the last message displayed is the one saying "new mail".

Notes:
    If you have a mail filtering system that marks mail as read, you
    won't get notifications when it arrives in a mailbox.

    When you send an email, the "sent" copy won't trigger a new mail
    notification.

Fixes: #20 - Notification of sent mail
Fixes: #195 - Cursor loses position when leaving pager

pager: skip to body for skip-quoted

In mails with many headers that fill the whole screen, it's convenient
to jump to the body, implemented as a side-efect of the <skip-quoted>
command.

Closes: #201
Signed-off-by: David Sterba <dsterba@suse.cz>

nntp: fix resource leak

Every $nntp_poll seconds, NNTP checks the file $newsrc
Unfortunately, it didn't release the file handle afterwards.

After a day's use, this would leak 1440 file handles leading most users
to the error "Too many open files".

Fixes: #204

nntp: use safe_{fopen,fclose}

use a more expressive coverity scan badge

replace the ugly strfcpy() macro with a function

NeoMutt 2016-10-14 (1.7.1)

build: update references to 1.7.1

docs: update notmuch references

fix updates when pager is open

This is an update to #19 - new-mail doesn't fire if pager open

Issue #19 changed NeoMutt so that it would notify the user of incoming
mail, even when they were in the pager.  However, there was one case
where it didn't work -- new mail arriving in the current mailbox.

fix crash when neither $spoolfile, $folder are set

When neither $spoolfile, nor $folder are set realpath() is passed a NULL
parameter.  On MacOS, this crashes whereas the glibc version returns
NULL.

Fixing this, revealed other problems in mx_open_mailbox() and the
Sidebar.  These were caused by empty paths.

Fixes: #187

sidebar: Make sure INBOX appears first in the list.

This affects (and makes consistent) the order of folders in the sidebar
and the folder browser.

Closes: #190

forgotten-attachment: fix empty regex expression

The original regex was of the form "abc(|def)" to check for both "abc"
and "abcdef".  Unfortunately, the regex libraries on BSDs/MacOS don't
like this use of an empty sub-expression.

Expanding the regex to: "(abc|abcdef)" fixes the problem.

Fixes: neomutt/homebrew-neomutt#15

merge: upstream fixes (mutt/default)

 * Preserve forwarded attachment names in d_filename.
 * Updated Czech translation.
 * Mark IMAP fast-trash'ed messages as read before copying. (see #3860)
 * automatic post-release commit for mutt-1.7.1

automatic post-release commit for mutt-1.7.1

Mark IMAP fast-trash'ed messages as read before copying. (see #3860)

Regular copying/saving messages in mutt via a UID COPY first calls
imap_sync_message().  However that function is designed to sync all
flags (including deleted), and so isn't useful for the fast-trash
code.

As an easier solution, instead add a UID STORE to set \\Seen for the
same msgset as the trashed messages.

Updated Czech translation.

Preserve forwarded attachment names in d_filename.

When forwarding an attachment with an non-ascii name, mutt_copy_body()
mangles the filename when calling mutt_adv_mktemp.  Preserve
the original attachment filename in d_filename.

Remove the double copy of b->filename, which is a memory leak.

fix: status-color when pager_index_lines > 0

mutt_pager() was missing a call to mutt_draw_statusline().

Fixes: #189

fix buffer underrun when no menu item is selected

notmuch: Synchronise tags to flags

Currently, flags are synced to tags, but the reverse isn't true. If you
mark a mail as unread "the mutt way", you'll be able to find this mail
using tag:unread, however if you remove the tag unread, the flags aren't
adjusted, and it's still marked unread in mutt.

This functionality is provided by notmuch, but means that any mail has
to be synced to disc when the labels are modified, which conflicts with
the way synchronisation to disk works in mutt.

To solve this properly, it's best to just check if the changes performed
in the tags involve some flags handled by mutt, and if so, update the
header in mutt. When mutt syncs to disc, the flags will be adjusted on
disc as well.

Some remarks:

- The parsing code is currently duplicated. I'll fix this.
- The labels are currently hard-coded. It seems like notmuch doesn't
  allow customisation of these labels, but mutt-kz does for unread.
- The draft and passed labels are currently ignored, as they aren't
  handled by mutt.

Closes: karelzak/mutt-kz#148

fix: crash handling keywords/labels

When an email is read by NeoMutt the labels are stored in linked list of
strings.  These strings are used as keys in a hash table of all labels.

If NeoMutt reads another email with the same label, it's given a
reference to the same hash.

Now imagine that the first email is deleted -- the list of labels is
also deleted, so that hash now has invalid keys.

This commit maintains a linked list of all labels and uses that for the
hash table keys.  It's not very efficient, but it avoids having to
change the hash table code.

Note: dgc (the keywords author) has created a new version which will
supplant this one, soon.

Fixes: #164

fix: strfcpy() improvement

A quick string copying history.

In the beginning was: strcpy (DST, SRC);
If the SRC was bigger than DST, then bad things happened.

Then came: strncpy (DST, SRC, LEN);
If SRC is longer than LEN, then the string in DST isn't NULL terminated.
Bad things happened.

Next, Mutt created a macro strfcpy() based on the BSD function.  It
guarantees a length limit AND a NULL termination.

    #define strfcpy(DST,SRC,LEN) strncpy(DST,SRC,LEN), *(DST+(LEN)-1)=0

Because of the way it works, it triggers a warning in Coverity (a static
analysis tool).  It fills DST (without NULL), then writes the NULL.

My testing shows it works correctly, but I may missed something.

    #define strfcpy(DST,SRC,LEN) do { if ((LEN) > 0) { *(DST+(LEN)-1)=0; strncpy(DST,SRC,(LEN)-1); } } while (0)

NeoMutt 2016-10-03 (1.7.0)

Merge pull request #175 from gahr/neomutt

build: fix "make install"

build: fix "make install"

build: fix "make dist"

A renamed file broke the build.

NeoMutt 2016-10-02 (1.7.0)

merge: upstream fixes (mutt/default)

 * Fix gpgme segfault when querying candidates with a '+' in the address. (closes #3873)
 * Use body color for gpgme output. (closes #3872)
 * Check for NULL mx_ops in mx.c
 * Mark some gpgme pgp menu keybinding translations as fuzzy. (closes #3874)
 * Don't abort the menu editor on sigwinch. (closes #3875)
 * Clear pager position when toggling headers.
 * Reset invalid parsed received dates to 0.  (closes #3878)
 * RFC2047-decode mailto header values. (closes #3879)
 * RFC2047-decode mailto url headers after RFC2822 parsing. (closes #3879)
 * Ensure signatures exist when verifying multipart/signed emails. (closes #3881).

Ensure signatures exist when verifying multipart/signed emails. (closes #3881).

TAKAHASHI Tamotsu reported that when gpg2 isn't in PATH, the
gpgme_op_verify() won't return an error, but instead will return a
result with no signatures.

verify_one() was only returning an error if a signature actually
failed, so in this case the function was defaulting to returning
success.

Other callers of gpgme_op_verify() check to make sure the
result->signatures exist before processing signatures.  Add a check
for verify_one() too.

RFC2047-decode mailto url headers after RFC2822 parsing. (closes #3879)

Commit 55819a7e6169 performed the RFC2047 decode before the parsing.
This works okay for headers such as subject, but for others such as
address fields could lead to parsing errors.

Change to perform a decode on envelope headers after all the calls to
mutt_parse_rfc822_line(), using the same list of fields as
mutt_read_rfc822_header().

Change the do_2047 parameter of mutt_read_rfc822_line() to true, so
that user headers are decoded if needed.

RFC2047-decode mailto header values. (closes #3879)

RFC 6068 specifies that the header values (with the exception of body)
may contain RFC 2047-encoded values.

Reset invalid parsed received dates to 0.  (closes #3878)

The actual problem in the ticket would be solved by d3f31cf9239e (see
#3798).  However there is still the bug that Mutt considers a
(hdr->received != 0) to be set and usable, despite not checking the
return value of mutt_parse_date().

Change mutt_read_rfc822_header() to unset an invalid received value
back to 0.  We don't do this inside mutt_read_rfc822_line() because
that would cause the next received line to be parsed.

Clear pager position when toggling headers.

It doesn't make sense to try to preserve the pager position when
toggling headers: the purpose of toggling headers is to see the
headers in full or weeded state.  So, reset the position back to the
top.

Don't abort the menu editor on sigwinch. (closes #3875)

getch() will return ERR on sigwinch when timeout() is called with a
positive value.  mutt_getch() will therefore return ch==-2 for both a
timeout and a sigwinch in this case.

The imap code in km_dokey() exits out of the ImapKeepalive loop for a
SigWinch, and was skipping past the check for MENU_EDITOR and
tmp.ch==-2.  Move this check below the gotkey: label so the
ImapKeepalive loop behaves the same as the Timeout code.

Thanks to nicop for reporting the problem and for the initial patch!

Mark some gpgme pgp menu keybinding translations as fuzzy. (closes #3874)

Some translations for crypt-gpgme.c are marked as fuzzy but the keybindings
attached to these translations are not, this creates confusions for the users
who see the english message but have the keybindings for a message in their own
language available.

As long as the translations are fuzzy, the keybindings should stay fuzzy.

Check for NULL mx_ops in mx.c

Eike Rathke reported this happening when in an IMAP index view the
underlying connection was terminated, ctx->mx_ops was NULL and thus
accessing ctx->mx_ops->check segfaulted.

Thanks also to Eike Rathke for the initial patch, for which I expanded
the checks to other functions.

Use body color for gpgme output. (closes #3872)

When switching from pgp_* commands to crypt_use_gpgme=yes, Peter
Colberg noticed that the output was colored 'brightyellow'.

The issue is that crypt-gpgme.c uses state_attach_puts in various
places where it should use state_puts to maintain compatibility with
the previous behavior in pgp.c.

Fix gpgme segfault when querying candidates with a '+' in the address. (closes #3873)

list_to_pattern() was not allocating enough space for the '+' to '%2B'
transformation.

docs: fix notmuch vim syntax file

build fix for strndup / malloc

Some systems don't have strndup() and rely on our version.
I changed it to use Mutt's safe_malloc(), but unfortunately it gets
compiled into some tools which don't have that function.

travis: install the kyoto-cabinet dev files

Now, we will be able to test the kyoto build automatically.

docs: fix the alignment in a 'nested-if' example

fix a typo in the version string

fix: change gcc build options to prevent crashes

A GCC optimisation "-O2" enables "-fdelete-null-pointer-checks" which
was causing some pointer checks to be optimised out of the code.
This was causing some crashes, most notably in the pager.

fix: bulletproof the pager

Put some more checks into the pager, just in case the Context
disappears, e.g. when a network connection goes down.

build source before docs

The Makefile tried to build the docs before the IMAP source.
Change the build order to prioritise the code.

fixed typo of devel mailinglist name

added Mailinglist mailto links to "Where is NeoMutt" section

quasi-delete: check there's a selection

If you created a vfolder with no contents, then tried to quasi-delete
something, it would crash.

docs: fix the layout of the syntax file

docs: make the license clear to github

Fixes repaint problem with $pager_index_lines #159

Commit 6b4c4ca changed the behaviour of mutt_pager to build the
pager index even if pager_index_lines was set to 0 to (fixing #143).

The code redrawing the pager status line was relying on the pager index
being NULL to determine if a redraw should take place. Now
index_window->rows is used as an additional safeguard.

Also added a check if pager index is set to the terminal status line
update code as it was unguarded and old default behaviour might be
introduced later.

Fixes #159

merge: feature compose-to-sender

 * add ident to PATCHES
 * feature: compose-to-sender
 * Add compose-to-sender documentation

Closes #30

Add compose-to-sender documentation

feature: compose-to-sender

Compose a new email to the sender.
This works on tagged messages too.

add ident to PATCHES

Optimize LMDB's hcache backend.

Thanks to Clemens Lang for his help with the fix.

See: https://dev.mutt.org/trac/ticket/3691
Closes: #77

merge: feature kyoto-cabinet

 * add ident to PATCHES
 * feature: Add Kyoto Cabinet header cache
 * doc: Document the Kyoto cabinet hcache backend

doc: Document the Kyoto cabinet hcache backend

Additionally, fix a couple of references in other parts of the
documentation that now also work with Kyoto Cabinet (and LMDB).

feature: Add Kyoto Cabinet header cache

Tokyo Cabinet's website now "strongly recommends" using Kyoto Cabinet
instead of Tokyo Cabinet because it claims to be superior. Add Kyoto
Cabinet as an option.

In some preliminary testing, the performance seems to be on-par with
Tokyo Cabinet, but not better. Kyoto Cabinet seems to need a little more
space, but the difference is probably not significant.

Signed-off-by: Clemens Lang <neverpanic@gmail.com>

add ident to PATCHES

Change 'attach_keyword' option from string to regex

A regular expression is much more useful than a single word to check for
forgotten attachments, especially when writing in multiple languages.

This is inspired by the muttng patchset abort_noattach [1], which I use
for years, but newly implemented to make minimal changes to the neomutt
source code.

The keyword is no longer mentioned in the error message as regular
expressions tend to be longer.

The option 'attach_keyword' could be renamed 'attach_remind_regex' as in
the muttng patch.

[1] https://github.com/codito/muttng-patchset/blob/master/patches/muttng.abort_noattach.diff

Closes: #138

docs: Add badges to README.neomutt

Added travis build status, coverity status and license badges to
README.neomutt