Initialize imap_authenticate's return value to something meaningful

Closes: #256

merge: hcache refactor

 * Support compilation of multiple hcache backends and run-time selection
 * More hcache-related cleanup and consistency in autoconf land
 * Hcache backends list
 * Hcache backends list up tidying
 * Implement mutt_hcache_free to dispose of header cache data

Implement mutt_hcache_free to dispose of header cache data

Hcache backends list up tidying

Hcache backends list

More hcache-related cleanup and consistency in autoconf land

Support compilation of multiple hcache backends and run-time selection

Backend specific APIs have been moved to hcache-backend.h

This commits introduces the support for multiple backends and an option to
configure the one to use at run time (header_cache_backend). Backends are not
mutual exclusive anymore, and several can be compiled in by specifying multiple
--with-<backend> configure options.

For backwards compatibility, the header_cache_backend option can be left empty,
in which case the first (configure.ac order) compiled-in backend is selected.
In the case of distros building with a single backend enabled - as they are
forced to do today - the hcache functionality is unchanged.

lib: Implement mutt_strchrnul()

Closes: #253

docs: <escape> and \e means refers to both alt and escape key

merge: upstream adoption of compress

 * Compress patch from the neomutt repository.
 * Compress: prefix external functions with "mutt_"
 * Compress: remove buffy stats "improvisation".
 * Compress: fix several logic and memory bugs.
 * Compress: add delegate calls to open_append and close mx_ops functions.
 * Compress: safe_fopen() the tempfile, to prevent tempfile attacks.
 * Compress: pull the lock/unlock operations into the open,close,sync operations.
 * Create mx_ops.sync operation. Refactor compress to use the mx_ops.sync.
 * Compress: fix check_mailbox and sync_mailbox.
 * Compress: escape single quotes when invoking the compress/decompress commands.
 * Compress: check mailbox type if possible when appending.
 * Ensure the compressed documentation is always built.
 * Improve two compress translation messages.
 * Revert "Compress: remove buffy stats "improvisation"."

Revert "Compress: remove buffy stats "improvisation"."

I think this is an improvement which should stay.

This reverts commit d273f8c1e5e1eb8695d26d1b6ce55b15a7f0a01a.

Improve two compress translation messages.

Change the "Error executing" to "Error running", which is used in
multiple places elsewhere in mutt.  This also removes the
unnecessary newline.

Remove the leading space in the "Error compressing" message, and
change it to match the error message in editmsg.c.

Ensure the compressed documentation is always built.

Add USE_COMPRESSED to makedoc-defs.h so any conditional documentation
will always be built.

Compress: check mailbox type if possible when appending.

If an append hook isn't defined, then mutt has to decompress the
mailbox.  In that case, we can check the type of the decompressed
mailbox instead of defaulting to DefaultMagic.

Compress: escape single quotes when invoking the compress/decompress commands.

The format strings are placed in single quotes.  mutt_system() invokes
sh, so escape the single quotes using bourne-shell syntax: '\''

Compress: fix check_mailbox and sync_mailbox.

Change check_mailbox to delegate to the child_ops->check_mailbox if
the compressed mailbox has changed.  This allows the mailbox to
properly recover if both the decompressed mailbox and compressed file
have changed.

Change sync_mailbox to call check_mailbox before attempting to sync.
This will prevent overwriting external changes to the compressed
mailbox.

Create mx_ops.sync operation. Refactor compress to use the mx_ops.sync.

Change compress.sync_mailbox() to lock the compressed mailbox around
both the tempfile sync and compress operations.  This will prevent
changes made inbetween the two syncs from being overwritten.

Thanks to Damien Riegel for his original patch refactoring
mx_ops.sync, which this patch is partially based upon.

Compress: pull the lock/unlock operations into the open,close,sync operations.

Some operations, such as open_append and sync, need an exclusive lock
across a longer period than a single compress/decompress.  Remove it
from the execute_command and pull into the outer callers.  Store lock
information inside compress_info.

Sync and check_mailbox need more fixes, which will be addressed in
subsequent patches.

Compress: safe_fopen() the tempfile, to prevent tempfile attacks.

Compress: add delegate calls to open_append and close mx_ops functions.

The open_append and close were partially duplicating mbox open_append
and close operations internally.  Change it to call the actual
delegate functions instead.

Inline the open_read() function inside open_mailbox().  Having it
split improved nothing and just complicated the code (i.e. added
error-handling checks in open_mailbox() that in reality could not
fail).

Compress: fix several logic and memory bugs.

setup_paths leaks memory: realpath is already set in mx_open_mailbox()

restore_paths is unneeded.  mx_fastclose_mailbox() will free stuff,
and nothing is looking at the path once we are closing or aborting.

Make a copy of the hooks.  Otherwise 'unhook *' will leave dangling
pointers.

Add compress_info freeing inside mx_fastclose_mailbox().  Only free
inside compress.c when we want to prevent close() from doing anything.

close_mailbox() didn't preserve ctx->path on error.

execute_command() didn't return an error if the mutt_system() command
failed.

mx_open_mailbox_append() should check mutt_comp_can_append() only for
the case that the mailbox doesn't exist.  When it exists,
mx_get_magic() has already looked at the file contents before checking
for matching open_hooks.

In open_append_mailbox() if no append hook is defined, it should't
call ci->open() if the mailbox doesn't exist.  It should act just like
append and create a temporary file.

check_mailbox() needs more work.  For now, at least have it properly
close the mailbox on error.

Compress: remove buffy stats "improvisation".

Mutt doesn't support polling compressed mailboxes.  This code creates
a false impression and dirties mutt_save_message() in the process.  I
don't like it, so am taking it out.

Compress: prefix external functions with "mutt_"

Also, include compress.h in compress.c so the mx_comp_ops doesn't need
to be redeclared.

Compress patch from the neomutt repository.

With the following changes:
- po/de.po changes trimmed to just the compress additions.

- Move the sample muttrc to contrib, and add it to the Makefile.am so it is
  distributed.  Remove the sample vimrc.

- Remove extra fluff from manual.

Thanks to Roland Rosenfeld for the original patch, and to the NeoMutt
team for their work cleaning up the patch.

merge: upstream fixes (mutt/default)

 * attach_format: add new %F placeholder
 * compose: add operation to rename an attachment
 * Chain %d->%F->%f in the attachment menu.
 * Move mbox close-append logic inside mbox_close_mailbox().

Move mbox close-append logic inside mbox_close_mailbox().

The mx_fastclose_mailbox() calls mx_ops->close(), which invokes
mbox_close_mailbox().

Also, close the ctx->fp inside mbox_close_mailbox().  This way, the
(to be added) compress logic can call the mx_ops->close() instead of
"knowing" to close the fp before recompressing.

mx_fastclose_mailbox() will safe_fclose() the fp again, but I'm
leaving it there just in case I missed a usage of the fp in some other
part of the code.

Thanks to Damien Riegel for the original patch.

Chain %d->%F->%f in the attachment menu.

Previously, %d would use %f if there was no description set.

Place the new %F option in between %d and %f.  This way, %d will fall
back on %F, which will fall back on %f.  This allows the standard
attachment menu to show d_filename.

This is useful for forwarding attachments or editing draft files with
attachments.  In these cases the actual filename is sanitized but the
attachment name is preserved in d_filename.

compose: add operation to rename an attachment

As opposed to rename-file, which actually renames the underlying file
of the attachment, rename-attachment puts a value in d_filename, which
is used in the Content-Disposition header.

attach_format: add new %F placeholder

This new placeholder allows to print the attachment name as it will be
seen on the recipient side.

hooks: define hooks for startup and shutdown

Having hooks which run when mutt first starts (startup-hook) but before the
fist mbox is opened, and when mutt closes the mbox (shutdown-hook) before
exiting, allows for those notmuch users to run commands to sync the state of
their caches, etc.

support GLOBALHOOK type

There's now a few hooks (startup/shutdown/timeout) which don't operate on a
mbox or pattern, but are instead global to mutt.  Therefore, don't require the
hooks themselves to needlessly define these parameters.

Closes: #184

build: Improve discovery for the Berkeley Database

- Drop support for old BDB versions and fix autoconf discovery
- Be more verbose when looking for BDB
- Hardcode a couple of commonly used prefixes
- Workaround empty path component expansion
- Do not clobber LIBS with BDB libraries

Closes: #228

Fix crash when doing collapse_all on an empty folder

Closes: #230

fix: crash when browsing empty dir

The sensible-browser avoids selecting '..' when possible.
However, it *should* select '..' if there's no other option.

docs: don't use smart quotes in manual examples

[ci skip]

Split hcache code into per-backend files

Also,
- make configure arguments consistent in the form of --with-<backend>[=DIR]
- rename WITH_DB4 macro to WITH_BDB (db5 is supported as well)

Issue: #216

add $collapse_all to close threads automatically

Implement collapse_all option to collapse all threads when entering a folder.

Closes: #226

docs: fix links in README

travis: install libraries for all the hcache backends

docs: fix docbook validation

docs: add a version number to the generated vimrc

Also, fix a BSD build bug with "$^" (thanks to Thomas Adam).

build: update PATCHES list

docs: add notes to features

added mailmap file

Source for the tips at the top:
https://github.com/docker/docker/blob/master/.mailmap

docs: fix entries for beep and new-mail-command

Their documentation got switched around by accident.

doc: fix date typo

doc: expand example command options for compress

rename vim-keybindings to vim-keys

build: fix sidebar indent

docs: add since date for features

[ci skip]

docs: new-mail bug is fixed

Closes: 223

NeoMutt 2016-11-04 (1.7.1)

merge: upstream fixes (mutt/default)

 * Add a --disable-doc configuration option.
 * Make ncurses and ncursesw header checking the same.
 * Attempt to silence a clang range warning. (closes #3891)
 * Fixed issue from changeset 4da647a80c55. (closes #3892)
 * Define PATH_MAX, it's missing on the GNU Hurd. (closes #3815)

Define PATH_MAX, it's missing on the GNU Hurd. (closes #3815)

I believe this patch originally came from Debian.

Modified based on a suggestion from Fabian Groffen.

Fixed issue from changeset 4da647a80c55. (closes #3892)

Shell variables cannot be used in the first argument of AC_CHECK_HEADERS.

Attempt to silence a clang range warning. (closes #3891)

When TM_YEAR_MAX > INT_MAX, clang complains the comparison is always false.

Note that this is really a compiler bug, which was fixed by gcc 9 years ago.
https://gcc.gnu.org/bugzilla/show_bug.cgi?id=12963

Thanks to Vincent Lefèvre for the suggested fix and the gcc bug reference.

Make ncurses and ncursesw header checking the same.

Previously, ncurses.h wasn't searched for directly in the include
directory for ncursesw.

Also, fix a test in case $withval is empty.

Thanks to Sylvain Bertrand for the original patch.

Add a --disable-doc configuration option.

This allows mutt to be built without the documentation.

Thanks to Sylvain Bertrand for the original patch.

fix: don't crash when the imap connection dies

merge: upstream fixes (mutt/default)

 * Add root-message function to jump to root message in thread.
 * Updated French translation.
 * Prevent an integer overflow in mutt_mktime() (closes #3880)
 * Fix pager segfault when lineInfo.chunks overflows. (closes #3888)
 * Perform charset conversion on text attachments when piping. (closes #3773) (see #3886)

Perform charset conversion on text attachments when piping. (closes #3773) (see #3886)

When piping a text attachment, there is no reliable way to know the
charset used.

Vincent Lefèvre says:
  It was decided in the past that when there is no information on the
  charset in a transmission to an external command (e.g. as for mail
  composing), texts are expected to be transmitted in the local
  charset.

Add a MUTT_CHARSET flag to enable charset conversion on text
attachments for both when $attach_split is set and unset.

Fix pager segfault when lineInfo.chunks overflows. (closes #3888)

The reporter had an html attachment with extremely long lines,
combined with a color pattern of "color body default default ."
This overflowed the lineInfo.chunks, causing a segfault.

Abort the body color patterns if this happens.

Prevent an integer overflow in mutt_mktime() (closes #3880)

Check to make sure the year passed in isn't bigger than can be
represented using time_t on the platform.

Also add a (time_t) cast to an intermediate "years * 365" calculation
to prevent an overflow there.

Thanks to TAKAHASHI Tamotsu for his patch, and to Vincent Lefèvre for
his improvement.  I merely took their code and commited it.

Updated French translation.

Add root-message function to jump to root message in thread.

This seems like a useful feature that was brought up for discussion on
mutt-users.  Proposed solutions involved collapsing/uncollapsing
threads, but it's not hard to modify the mutt_parent_message()
function to return the root instead.

NeoMutt 2016-10-28 (1.7.1)

merge: upstream fixes (mutt/default)

 * Fix POP3 SASL authentication mechanism DIGEST-MD5. (closes #3862)
 * Add a few explanatory comments to pop_auth_sasl().  (see #3862)
 * Fix GPGME signature zero timestamp and locale awareness issues. (closes #3882)
 * Handle presence of '--' delimiter in $sendmail. (closes #3168)
 * Allow IPv6 literal addresses in URLs. (closes #3681)
 * Fix gpgme segfault in create_recipient_set().
 * Use mutt_strlen and mutt_strncmp in sidebar.c.
 * Change sidebar to only match $folder prefix on a $sidebar_divider_char. (closes #3887)
 * Actually fix gpgme segfault in create_recipient_set().

Actually fix gpgme segfault in create_recipient_set().

Changeset 6e44bfa16096 did not fix the segv.  (Sorry, I made the fix
based off a report on IRC but didn't trigger the segv myself: it was
caused by an out-of-tree patch).

The actual problem was that the rset was only resized on a successful
gpgme_get_key().  However, on error, the array still needs to be
NULL-terminated before calling free_recipient_set().

Move the resize so it always takes place.  This obviates the need for
the NULL check added in 6e44bfa16096.

Change sidebar to only match $folder prefix on a $sidebar_divider_char. (closes #3887)

The reporter had a $spoolfile of ~/Mailbox and a $folder of ~/Mail.
The sidebar was truncating the spoolfile to "ox" because it only
looked at a substring prefix match.

Use mutt_strlen and mutt_strncmp in sidebar.c.

This prevents a segv if folder is unset.

Fix gpgme segfault in create_recipient_set().

If gpgme_get_key() errors on the first key, the rset will not be
allocated yet.  Attempting to null-terminate (and then free) the array
causes a segfault.

Allow IPv6 literal addresses in URLs. (closes #3681)

RFCs 2732 and 3986 specify a literal IPv6 address be surrounded by
"[]".

This patch removes the "[]" delimiters when parsing the URL, but adds
them back in url_ciss_tostring() if the host name contains a ':'.

Thanks to Evgeni Golov for the original patch.

Handle presence of '--' delimiter in $sendmail. (closes #3168)

If the delimiter exists, additional sendmail flags will be inserted
before the delimiter.  Any arguments after the delimiter will be
preserved as recipients.

Fix GPGME signature zero timestamp and locale awareness issues. (closes #3882)

GPGME signature information has two minor problems.

[-- Begin signature information --]
*BAD* signature from: Name <user@example.com>
                 aka: Name <user@example.org>
             created: Thu Jan  1 09:00:00 1970
[-- End signature information --]

First, the created timestamp is incorrect when the message is not
verified successfully.

Second, as the code itself has some "TODO" comments, "aka" and
"created" lines are not properly-aligned when LC_MESSAGES != English.

Add a few explanatory comments to pop_auth_sasl().  (see #3862)

Fix POP3 SASL authentication mechanism DIGEST-MD5. (closes #3862)

sasl_client_step() returns SASL_OK after the fourth step: server auth
confirmation.  However, the protocol requires the client send one more
blank line to the server, to which the server then replies with "+OK".
See https://tools.ietf.org/html/rfc5034#section-6.

The code currently only sends a final response if sasl_client_step
returns data to send.  Change it to always send a final client message
after the SASL_OK.

Revert "fix: display correct help key"

This reverts commit c36a04b235c37aa705dc629a2b0f5a0df1553200.
The change wasn't needed, after all.

docs: light tidying

[ci skip]

sidebar: consider description when using whitelist

Closes: #174

fix sensible-browser/notmuch changing mailbox

When sensible-browser tries to change mailbox, it gets confused because
mutt_get_parent_path() didn't understand notmuch paths.

Fixes: #197

travis: install doc dependencies

build: fix install/dist/distcheck targets

Closes: #103

build: fix a couple of build warnings

build: Look for tgetent in ncurses, fallback to tinfo only if not found

On some platforms, autoconf caused neomutt to be linked against both
ncurses and ncursesw.

fix: display correct help key

If you remap the help key, then press an unbound key, mutt still tells
you to press '?' for help.  This change makes mutt display a correct
binding.

Fixes: #214

fix: remove stray line introduced by pager fix

notmuch: Add a fake "Folder" header to viewed emails

When viewing an email from a virtual folder, you can't tell where the
real email lives.  This commit adds a fake header, "Folder:" showing
that location.

Closes: #210

Possible fix for random pager crashes.

The crashes have been observed:
- in both local and remote mailboxes
- with/without notmuch
- always are some time has passed
- always have an invalid header pointer

Scenario:
- The Context holds an array of HEADER pointers.
- The pager is given a HEADER to display.
- Time passes and the mailbox changes.

mx_check_mailbox() adds new mails to the end of the Context's array,
calling mx_alloc_memory() if necessary.  The Context's totals are
updated by mx_update_context().

The only way a HEADER pointer could become invalid is if they email were
deleted/moved.  If we detect this has happened, we leave the pager.

merge: forgotten-attachment

 * Fix checking logic.
 * Ignore lines matching quote_regexp.
 * Update docs regarding $quote_regexp.

Resolves: #178
Closes: #206

forgotten-attachment: Update docs regarding $quote_regexp.

forgotten-attachment: Ignore lines matching quote_regexp.

Ignore quoted text in the email when searching for attachment
indicators.

forgotten-attachment: Fix checking logic.

Don't bother searching the email for attachment keywords, if:
- The feature is disabled
- There's an attachment

fix: "inbox" sorting function

Make mutt_is_inbox only consider an "INBOX" string following a '/'

Fixes: #205

fix crash in hdrline

This commit should prevent the crash detailed in this bug report.
    http://bugs.debian.org/838064

However, it's just fixing the symptom, not the cause.

fix: overhaul the index/pager updates

Wherever you are in the index/pager, you will be notified of new mail
when it arrives.

Make sure the last message displayed is the one saying "new mail".

Notes:
    If you have a mail filtering system that marks mail as read, you
    won't get notifications when it arrives in a mailbox.

    When you send an email, the "sent" copy won't trigger a new mail
    notification.

Fixes: #20 - Notification of sent mail
Fixes: #195 - Cursor loses position when leaving pager

pager: skip to body for skip-quoted

In mails with many headers that fill the whole screen, it's convenient
to jump to the body, implemented as a side-efect of the <skip-quoted>
command.

Closes: #201
Signed-off-by: David Sterba <dsterba@suse.cz>

nntp: fix resource leak

Every $nntp_poll seconds, NNTP checks the file $newsrc
Unfortunately, it didn't release the file handle afterwards.

After a day's use, this would leak 1440 file handles leading most users
to the error "Too many open files".

Fixes: #204

nntp: use safe_{fopen,fclose}

use a more expressive coverity scan badge

replace the ugly strfcpy() macro with a function

NeoMutt 2016-10-14 (1.7.1)