hooks: define hooks for startup and shutdown

Having hooks which run when mutt first starts (startup-hook) but before the
fist mbox is opened, and when mutt closes the mbox (shutdown-hook) before
exiting, allows for those notmuch users to run commands to sync the state of
their caches, etc.

support GLOBALHOOK type

There's now a few hooks (startup/shutdown/timeout) which don't operate on a
mbox or pattern, but are instead global to mutt.  Therefore, don't require the
hooks themselves to needlessly define these parameters.

Closes: #184

build: Improve discovery for the Berkeley Database

- Drop support for old BDB versions and fix autoconf discovery
- Be more verbose when looking for BDB
- Hardcode a couple of commonly used prefixes
- Workaround empty path component expansion
- Do not clobber LIBS with BDB libraries

Closes: #228

Fix crash when doing collapse_all on an empty folder

Closes: #230

fix: crash when browsing empty dir

The sensible-browser avoids selecting '..' when possible.
However, it *should* select '..' if there's no other option.

docs: don't use smart quotes in manual examples

[ci skip]

Split hcache code into per-backend files

Also,
- make configure arguments consistent in the form of --with-<backend>[=DIR]
- rename WITH_DB4 macro to WITH_BDB (db5 is supported as well)

Issue: #216

add $collapse_all to close threads automatically

Implement collapse_all option to collapse all threads when entering a folder.

Closes: #226

docs: fix links in README

travis: install libraries for all the hcache backends

docs: fix docbook validation

docs: add a version number to the generated vimrc

Also, fix a BSD build bug with "$^" (thanks to Thomas Adam).

build: update PATCHES list

docs: add notes to features

added mailmap file

Source for the tips at the top:
https://github.com/docker/docker/blob/master/.mailmap

docs: fix entries for beep and new-mail-command

Their documentation got switched around by accident.

doc: fix date typo

doc: expand example command options for compress

rename vim-keybindings to vim-keys

build: fix sidebar indent

docs: add since date for features

[ci skip]

docs: new-mail bug is fixed

Closes: 223

NeoMutt 2016-11-04 (1.7.1)

merge: upstream fixes (mutt/default)

 * Add a --disable-doc configuration option.
 * Make ncurses and ncursesw header checking the same.
 * Attempt to silence a clang range warning. (closes #3891)
 * Fixed issue from changeset 4da647a80c55. (closes #3892)
 * Define PATH_MAX, it's missing on the GNU Hurd. (closes #3815)

Define PATH_MAX, it's missing on the GNU Hurd. (closes #3815)

I believe this patch originally came from Debian.

Modified based on a suggestion from Fabian Groffen.

Fixed issue from changeset 4da647a80c55. (closes #3892)

Shell variables cannot be used in the first argument of AC_CHECK_HEADERS.

Attempt to silence a clang range warning. (closes #3891)

When TM_YEAR_MAX > INT_MAX, clang complains the comparison is always false.

Note that this is really a compiler bug, which was fixed by gcc 9 years ago.
https://gcc.gnu.org/bugzilla/show_bug.cgi?id=12963

Thanks to Vincent Lefèvre for the suggested fix and the gcc bug reference.

Make ncurses and ncursesw header checking the same.

Previously, ncurses.h wasn't searched for directly in the include
directory for ncursesw.

Also, fix a test in case $withval is empty.

Thanks to Sylvain Bertrand for the original patch.

Add a --disable-doc configuration option.

This allows mutt to be built without the documentation.

Thanks to Sylvain Bertrand for the original patch.

fix: don't crash when the imap connection dies

merge: upstream fixes (mutt/default)

 * Add root-message function to jump to root message in thread.
 * Updated French translation.
 * Prevent an integer overflow in mutt_mktime() (closes #3880)
 * Fix pager segfault when lineInfo.chunks overflows. (closes #3888)
 * Perform charset conversion on text attachments when piping. (closes #3773) (see #3886)

Perform charset conversion on text attachments when piping. (closes #3773) (see #3886)

When piping a text attachment, there is no reliable way to know the
charset used.

Vincent Lefèvre says:
  It was decided in the past that when there is no information on the
  charset in a transmission to an external command (e.g. as for mail
  composing), texts are expected to be transmitted in the local
  charset.

Add a MUTT_CHARSET flag to enable charset conversion on text
attachments for both when $attach_split is set and unset.

Fix pager segfault when lineInfo.chunks overflows. (closes #3888)

The reporter had an html attachment with extremely long lines,
combined with a color pattern of "color body default default ."
This overflowed the lineInfo.chunks, causing a segfault.

Abort the body color patterns if this happens.

Prevent an integer overflow in mutt_mktime() (closes #3880)

Check to make sure the year passed in isn't bigger than can be
represented using time_t on the platform.

Also add a (time_t) cast to an intermediate "years * 365" calculation
to prevent an overflow there.

Thanks to TAKAHASHI Tamotsu for his patch, and to Vincent Lefèvre for
his improvement.  I merely took their code and commited it.

Updated French translation.

Add root-message function to jump to root message in thread.

This seems like a useful feature that was brought up for discussion on
mutt-users.  Proposed solutions involved collapsing/uncollapsing
threads, but it's not hard to modify the mutt_parent_message()
function to return the root instead.

NeoMutt 2016-10-28 (1.7.1)

merge: upstream fixes (mutt/default)

 * Fix POP3 SASL authentication mechanism DIGEST-MD5. (closes #3862)
 * Add a few explanatory comments to pop_auth_sasl().  (see #3862)
 * Fix GPGME signature zero timestamp and locale awareness issues. (closes #3882)
 * Handle presence of '--' delimiter in $sendmail. (closes #3168)
 * Allow IPv6 literal addresses in URLs. (closes #3681)
 * Fix gpgme segfault in create_recipient_set().
 * Use mutt_strlen and mutt_strncmp in sidebar.c.
 * Change sidebar to only match $folder prefix on a $sidebar_divider_char. (closes #3887)
 * Actually fix gpgme segfault in create_recipient_set().

Actually fix gpgme segfault in create_recipient_set().

Changeset 6e44bfa16096 did not fix the segv.  (Sorry, I made the fix
based off a report on IRC but didn't trigger the segv myself: it was
caused by an out-of-tree patch).

The actual problem was that the rset was only resized on a successful
gpgme_get_key().  However, on error, the array still needs to be
NULL-terminated before calling free_recipient_set().

Move the resize so it always takes place.  This obviates the need for
the NULL check added in 6e44bfa16096.

Change sidebar to only match $folder prefix on a $sidebar_divider_char. (closes #3887)

The reporter had a $spoolfile of ~/Mailbox and a $folder of ~/Mail.
The sidebar was truncating the spoolfile to "ox" because it only
looked at a substring prefix match.

Use mutt_strlen and mutt_strncmp in sidebar.c.

This prevents a segv if folder is unset.

Fix gpgme segfault in create_recipient_set().

If gpgme_get_key() errors on the first key, the rset will not be
allocated yet.  Attempting to null-terminate (and then free) the array
causes a segfault.

Allow IPv6 literal addresses in URLs. (closes #3681)

RFCs 2732 and 3986 specify a literal IPv6 address be surrounded by
"[]".

This patch removes the "[]" delimiters when parsing the URL, but adds
them back in url_ciss_tostring() if the host name contains a ':'.

Thanks to Evgeni Golov for the original patch.

Handle presence of '--' delimiter in $sendmail. (closes #3168)

If the delimiter exists, additional sendmail flags will be inserted
before the delimiter.  Any arguments after the delimiter will be
preserved as recipients.

Fix GPGME signature zero timestamp and locale awareness issues. (closes #3882)

GPGME signature information has two minor problems.

[-- Begin signature information --]
*BAD* signature from: Name <user@example.com>
                 aka: Name <user@example.org>
             created: Thu Jan  1 09:00:00 1970
[-- End signature information --]

First, the created timestamp is incorrect when the message is not
verified successfully.

Second, as the code itself has some "TODO" comments, "aka" and
"created" lines are not properly-aligned when LC_MESSAGES != English.

Add a few explanatory comments to pop_auth_sasl().  (see #3862)

Fix POP3 SASL authentication mechanism DIGEST-MD5. (closes #3862)

sasl_client_step() returns SASL_OK after the fourth step: server auth
confirmation.  However, the protocol requires the client send one more
blank line to the server, to which the server then replies with "+OK".
See https://tools.ietf.org/html/rfc5034#section-6.

The code currently only sends a final response if sasl_client_step
returns data to send.  Change it to always send a final client message
after the SASL_OK.

Revert "fix: display correct help key"

This reverts commit c36a04b235c37aa705dc629a2b0f5a0df1553200.
The change wasn't needed, after all.

docs: light tidying

[ci skip]

sidebar: consider description when using whitelist

Closes: #174

fix sensible-browser/notmuch changing mailbox

When sensible-browser tries to change mailbox, it gets confused because
mutt_get_parent_path() didn't understand notmuch paths.

Fixes: #197

travis: install doc dependencies

build: fix install/dist/distcheck targets

Closes: #103

build: fix a couple of build warnings

build: Look for tgetent in ncurses, fallback to tinfo only if not found

On some platforms, autoconf caused neomutt to be linked against both
ncurses and ncursesw.

fix: display correct help key

If you remap the help key, then press an unbound key, mutt still tells
you to press '?' for help.  This change makes mutt display a correct
binding.

Fixes: #214

fix: remove stray line introduced by pager fix

notmuch: Add a fake "Folder" header to viewed emails

When viewing an email from a virtual folder, you can't tell where the
real email lives.  This commit adds a fake header, "Folder:" showing
that location.

Closes: #210

Possible fix for random pager crashes.

The crashes have been observed:
- in both local and remote mailboxes
- with/without notmuch
- always are some time has passed
- always have an invalid header pointer

Scenario:
- The Context holds an array of HEADER pointers.
- The pager is given a HEADER to display.
- Time passes and the mailbox changes.

mx_check_mailbox() adds new mails to the end of the Context's array,
calling mx_alloc_memory() if necessary.  The Context's totals are
updated by mx_update_context().

The only way a HEADER pointer could become invalid is if they email were
deleted/moved.  If we detect this has happened, we leave the pager.

merge: forgotten-attachment

 * Fix checking logic.
 * Ignore lines matching quote_regexp.
 * Update docs regarding $quote_regexp.

Resolves: #178
Closes: #206

forgotten-attachment: Update docs regarding $quote_regexp.

forgotten-attachment: Ignore lines matching quote_regexp.

Ignore quoted text in the email when searching for attachment
indicators.

forgotten-attachment: Fix checking logic.

Don't bother searching the email for attachment keywords, if:
- The feature is disabled
- There's an attachment

fix: "inbox" sorting function

Make mutt_is_inbox only consider an "INBOX" string following a '/'

Fixes: #205

fix crash in hdrline

This commit should prevent the crash detailed in this bug report.
    http://bugs.debian.org/838064

However, it's just fixing the symptom, not the cause.

fix: overhaul the index/pager updates

Wherever you are in the index/pager, you will be notified of new mail
when it arrives.

Make sure the last message displayed is the one saying "new mail".

Notes:
    If you have a mail filtering system that marks mail as read, you
    won't get notifications when it arrives in a mailbox.

    When you send an email, the "sent" copy won't trigger a new mail
    notification.

Fixes: #20 - Notification of sent mail
Fixes: #195 - Cursor loses position when leaving pager

pager: skip to body for skip-quoted

In mails with many headers that fill the whole screen, it's convenient
to jump to the body, implemented as a side-efect of the <skip-quoted>
command.

Closes: #201
Signed-off-by: David Sterba <dsterba@suse.cz>

nntp: fix resource leak

Every $nntp_poll seconds, NNTP checks the file $newsrc
Unfortunately, it didn't release the file handle afterwards.

After a day's use, this would leak 1440 file handles leading most users
to the error "Too many open files".

Fixes: #204

nntp: use safe_{fopen,fclose}

use a more expressive coverity scan badge

replace the ugly strfcpy() macro with a function

NeoMutt 2016-10-14 (1.7.1)

build: update references to 1.7.1

docs: update notmuch references

fix updates when pager is open

This is an update to #19 - new-mail doesn't fire if pager open

Issue #19 changed NeoMutt so that it would notify the user of incoming
mail, even when they were in the pager.  However, there was one case
where it didn't work -- new mail arriving in the current mailbox.

fix crash when neither $spoolfile, $folder are set

When neither $spoolfile, nor $folder are set realpath() is passed a NULL
parameter.  On MacOS, this crashes whereas the glibc version returns
NULL.

Fixing this, revealed other problems in mx_open_mailbox() and the
Sidebar.  These were caused by empty paths.

Fixes: #187

sidebar: Make sure INBOX appears first in the list.

This affects (and makes consistent) the order of folders in the sidebar
and the folder browser.

Closes: #190

forgotten-attachment: fix empty regex expression

The original regex was of the form "abc(|def)" to check for both "abc"
and "abcdef".  Unfortunately, the regex libraries on BSDs/MacOS don't
like this use of an empty sub-expression.

Expanding the regex to: "(abc|abcdef)" fixes the problem.

Fixes: neomutt/homebrew-neomutt#15

merge: upstream fixes (mutt/default)

 * Preserve forwarded attachment names in d_filename.
 * Updated Czech translation.
 * Mark IMAP fast-trash'ed messages as read before copying. (see #3860)
 * automatic post-release commit for mutt-1.7.1

automatic post-release commit for mutt-1.7.1

Mark IMAP fast-trash'ed messages as read before copying. (see #3860)

Regular copying/saving messages in mutt via a UID COPY first calls
imap_sync_message().  However that function is designed to sync all
flags (including deleted), and so isn't useful for the fast-trash
code.

As an easier solution, instead add a UID STORE to set \\Seen for the
same msgset as the trashed messages.

Updated Czech translation.

Preserve forwarded attachment names in d_filename.

When forwarding an attachment with an non-ascii name, mutt_copy_body()
mangles the filename when calling mutt_adv_mktemp.  Preserve
the original attachment filename in d_filename.

Remove the double copy of b->filename, which is a memory leak.

fix: status-color when pager_index_lines > 0

mutt_pager() was missing a call to mutt_draw_statusline().

Fixes: #189

fix buffer underrun when no menu item is selected

notmuch: Synchronise tags to flags

Currently, flags are synced to tags, but the reverse isn't true. If you
mark a mail as unread "the mutt way", you'll be able to find this mail
using tag:unread, however if you remove the tag unread, the flags aren't
adjusted, and it's still marked unread in mutt.

This functionality is provided by notmuch, but means that any mail has
to be synced to disc when the labels are modified, which conflicts with
the way synchronisation to disk works in mutt.

To solve this properly, it's best to just check if the changes performed
in the tags involve some flags handled by mutt, and if so, update the
header in mutt. When mutt syncs to disc, the flags will be adjusted on
disc as well.

Some remarks:

- The parsing code is currently duplicated. I'll fix this.
- The labels are currently hard-coded. It seems like notmuch doesn't
  allow customisation of these labels, but mutt-kz does for unread.
- The draft and passed labels are currently ignored, as they aren't
  handled by mutt.

Closes: karelzak/mutt-kz#148

fix: crash handling keywords/labels

When an email is read by NeoMutt the labels are stored in linked list of
strings.  These strings are used as keys in a hash table of all labels.

If NeoMutt reads another email with the same label, it's given a
reference to the same hash.

Now imagine that the first email is deleted -- the list of labels is
also deleted, so that hash now has invalid keys.

This commit maintains a linked list of all labels and uses that for the
hash table keys.  It's not very efficient, but it avoids having to
change the hash table code.

Note: dgc (the keywords author) has created a new version which will
supplant this one, soon.

Fixes: #164

fix: strfcpy() improvement

A quick string copying history.

In the beginning was: strcpy (DST, SRC);
If the SRC was bigger than DST, then bad things happened.

Then came: strncpy (DST, SRC, LEN);
If SRC is longer than LEN, then the string in DST isn't NULL terminated.
Bad things happened.

Next, Mutt created a macro strfcpy() based on the BSD function.  It
guarantees a length limit AND a NULL termination.

    #define strfcpy(DST,SRC,LEN) strncpy(DST,SRC,LEN), *(DST+(LEN)-1)=0

Because of the way it works, it triggers a warning in Coverity (a static
analysis tool).  It fills DST (without NULL), then writes the NULL.

My testing shows it works correctly, but I may missed something.

    #define strfcpy(DST,SRC,LEN) do { if ((LEN) > 0) { *(DST+(LEN)-1)=0; strncpy(DST,SRC,(LEN)-1); } } while (0)

NeoMutt 2016-10-03 (1.7.0)

Merge pull request #175 from gahr/neomutt

build: fix "make install"

build: fix "make install"

build: fix "make dist"

A renamed file broke the build.

NeoMutt 2016-10-02 (1.7.0)

merge: upstream fixes (mutt/default)

 * Fix gpgme segfault when querying candidates with a '+' in the address. (closes #3873)
 * Use body color for gpgme output. (closes #3872)
 * Check for NULL mx_ops in mx.c
 * Mark some gpgme pgp menu keybinding translations as fuzzy. (closes #3874)
 * Don't abort the menu editor on sigwinch. (closes #3875)
 * Clear pager position when toggling headers.
 * Reset invalid parsed received dates to 0.  (closes #3878)
 * RFC2047-decode mailto header values. (closes #3879)
 * RFC2047-decode mailto url headers after RFC2822 parsing. (closes #3879)
 * Ensure signatures exist when verifying multipart/signed emails. (closes #3881).

Ensure signatures exist when verifying multipart/signed emails. (closes #3881).

TAKAHASHI Tamotsu reported that when gpg2 isn't in PATH, the
gpgme_op_verify() won't return an error, but instead will return a
result with no signatures.

verify_one() was only returning an error if a signature actually
failed, so in this case the function was defaulting to returning
success.

Other callers of gpgme_op_verify() check to make sure the
result->signatures exist before processing signatures.  Add a check
for verify_one() too.

RFC2047-decode mailto url headers after RFC2822 parsing. (closes #3879)

Commit 55819a7e6169 performed the RFC2047 decode before the parsing.
This works okay for headers such as subject, but for others such as
address fields could lead to parsing errors.

Change to perform a decode on envelope headers after all the calls to
mutt_parse_rfc822_line(), using the same list of fields as
mutt_read_rfc822_header().

Change the do_2047 parameter of mutt_read_rfc822_line() to true, so
that user headers are decoded if needed.

RFC2047-decode mailto header values. (closes #3879)

RFC 6068 specifies that the header values (with the exception of body)
may contain RFC 2047-encoded values.

Reset invalid parsed received dates to 0.  (closes #3878)

The actual problem in the ticket would be solved by d3f31cf9239e (see
#3798).  However there is still the bug that Mutt considers a
(hdr->received != 0) to be set and usable, despite not checking the
return value of mutt_parse_date().

Change mutt_read_rfc822_header() to unset an invalid received value
back to 0.  We don't do this inside mutt_read_rfc822_line() because
that would cause the next received line to be parsed.

Clear pager position when toggling headers.

It doesn't make sense to try to preserve the pager position when
toggling headers: the purpose of toggling headers is to see the
headers in full or weeded state.  So, reset the position back to the
top.

Don't abort the menu editor on sigwinch. (closes #3875)

getch() will return ERR on sigwinch when timeout() is called with a
positive value.  mutt_getch() will therefore return ch==-2 for both a
timeout and a sigwinch in this case.

The imap code in km_dokey() exits out of the ImapKeepalive loop for a
SigWinch, and was skipping past the check for MENU_EDITOR and
tmp.ch==-2.  Move this check below the gotkey: label so the
ImapKeepalive loop behaves the same as the Timeout code.

Thanks to nicop for reporting the problem and for the initial patch!

Mark some gpgme pgp menu keybinding translations as fuzzy. (closes #3874)

Some translations for crypt-gpgme.c are marked as fuzzy but the keybindings
attached to these translations are not, this creates confusions for the users
who see the english message but have the keybindings for a message in their own
language available.

As long as the translations are fuzzy, the keybindings should stay fuzzy.