build: generate devel version suffix

When developing, a typical version string might look like:

    NeoMutt 20161126-4-bee236-dirty (1.7.1)

Components:
- Date of last release
- Number of commits since release
- Git commit hash of last commit
- 'dirty' if there are uncommitted changes
- Upstream Mutt version

It's appended wherever a version string is displayed, e.g. "User-Agent:"

The version suffix (-4-bee236-dirty) is checked EVERY time you run make.
However, unlike the original version, changes will only require the
rebuilding of git-ver.c

To keep things simple for the downstream distros, there are some
limitations in place:

The NeoMutt date (20161126) and the upstream Mutt version (1.7.1) are
hard-coded into configure.ac and hence the Makefile.

The suffix will be empty if:
- git isn't present
- The source isn't in a git repo
- There aren't any "neomutt-*" tags

fix: increase the max lmdb database size

A user, with over 400,000 emails was getting the error:

    MDB_MAP_FULL: Environment mapsize limit reached

This commit increases the maximum database size to 2GiB.
The file is mmap(2)'d into memory, so mutt shouldn't actually use this
much memory.

Fixes: #267

build: Bail if a selected hcache backend cannot be found

fix: pick smarter default for $sidebar_divider_char

If the user hasn't set $sidebar_divider_char, then pick a character for
them, whilst respecting $ascii_chars.

Closes: #183

build: Re-indent configure.ac

The file is now indented with tabs, only.
The indentation of all the lines has been checked.

Note: The placement of ()s and []s still isn't consistent.

build: New configure option --enable-everything

As of this commit, the following options are enabled:
* All 6 hcache backends
* Compressed Folder Support
* GPGME
* IMAP
* NNTP
* Notmuch
* PGP
* POP3
* SMIME
* SMTP
* Sidebar

Closes: #264

merge: improvements to $index_format

 * doc: make $to_chars docs more legible
 * add unicode string helper function
 * fix: allow $to_chars to contain Unicode characters
 * feature: $from_chars highlights differences in authorship

feature: $from_chars highlights differences in authorship

This adds a new variable $from_chars which works like $to_chars.
It will add a character prefix to the %F or %L field in $index_format.
The character is determined by the contents of the To/Cc/Bcc fields.

fix: allow $to_chars to contain Unicode characters

Fixes: #258

add unicode string helper function

doc: make $to_chars docs more legible

build: Fix configure.ac to require md5 if hcache is enabled

Fixes: #261

Remove enable-hcache configure arg and fix commend

doc: de-tab the DocBook

[ci skip]

docs: Improve whitespace and grammar on the NNTP feature page

Ref: neomutt/neomutt.github.io#11

Enable reconstruct-thread in the pager

Make reconstruct-thread in the pager behave more like entire-thread in the pager

This means keep displaying the message that was displayed when
reconstruct-thread was called, but redisplaying the index.

Closes: #260

build: enhance mutt_to_base64() (and callers)

- take chars and cast to unsigned chars inside, remove casts from callers
- return the number of characters written to the output buffers
- Doxygenize and verboize the documentation

Closes: #250

build: add a constant for an aborted question

Mnemonize mutt_yesorno()'s return on Ctrl-G as MUTT_ABORT

Closes: #231

fix: status color breaks "mutt -D"

"mutt -D" gets confused when it reads config for the status-color feature.

Let _mutt_parse_color fake a whole-line parsing when dry-running

Fixes: #235

build: fix hcache + make dist

The hcache changes introduced a load of new source files, but they
weren't added to the "make dist" target.

Also, "make distcheck" didn't offer any options to configure so the
build succeeded, but only because the hcache wasn't built.

Fix build failure with GPGME 1.8: do not steal the gpgme_ prefix.

Upstream commit.

Fixes: #257

NeoMutt 2016-11-26 (1.7.1)

travis: restore build

.travis.yml got overwritten when I merged the translation updates.

fix: index in pager crash

The steps to reproduce this were:
- open a mail
- change the underlying maildir while the mail is open
- reply to the mail

I can't reproduce the original crash, but it happened when the index was
being redrawn.  One of the "Context->hdrs" was NULL causing
index_make_entry to crash.

fix: tag with multiple labels

Fixes: #246

merge: mass tidy up of the translation messages

 * convert files to utf-8
 * tidy headers
 * update list of translatable files
 * regenerate po files
 * add English (British) translation
 * fix make clean
 * drop old translation strings
 * standardise the headers
 * update German translation
 * l10n: add translator notes
 * add msgid-bug address
 * build: add option to disable translation messages
 * updated German translation
 * updated Slovak translation
 * updated sk.po
 * unwrap all lines
 * sync translations to mutt

sync translations to mutt

unwrap all lines

updated sk.po

updated Slovak translation

updated German translation

build: add option to disable translation messages

    ./configure --disable-po

add msgid-bug address

l10n: add translator notes

update German translation

standardise the headers

drop old translation strings

travis: test messages

fix make clean

add English (British) translation

regenerate po files

update list of translatable files

tidy headers

convert files to utf-8

light tidying

build: fix nntp/notmuch conditionals

build: doc/Makefile clean neomutt-syntax.vim

merge: upstream fixes (mutt/default)

 * When $flag_safe is set, flagged messages cannot be deleted.
 * Adds the '@' pattern modifier to limit matches to known aliases.
 * Adds <mark-message> binding to create "hotkeys" for messages.
 * Updated requirement on the C compiler.
 * Updated French translation (except for 1 string).
 * Make a string translatable. Add a missing space at the end.
 * Make a string translatable.
 * Updated French translation.
 * Updated French translation.
 * Fix mark-message translation and keybind menu.
 * More openssl1.1 fixes: remove uses of X509->name in debugging. (closes #3870)
 * Don't close stderr when opening a tunnel. (closes #3726)
 * Minor resource and error logic cleanup in tunnel_socket_open()
 * Make sure that the output of X509_NAME_oneline is null-terminated.
 * Revert db13010a2e8d but add a comment. (see #3870)
 * Corrected comment.

Corrected comment.

Revert db13010a2e8d but add a comment. (see #3870)

X509_NAME_oneline() always NULL-terminates the string, even when it
has to truncate the data to fit in buf.

Make sure that the output of X509_NAME_oneline is null-terminated.

Minor resource and error logic cleanup in tunnel_socket_open()

Free the conn->sockdata on failure.  conn->fd is not set until the
bottom, and before it is set, conn->conn_close() will not be called.

Close the pin pipe if the pout pipe fails.

Call mutt_perror first on a fork failure.  Calling after the close()
may cause errno to be changed on a close failure.

Don't close stderr when opening a tunnel. (closes #3726)

Instead of closing stderr, redirect it to /dev/null in
tunnel_socket_open().  Otherwise a program can accidentally open a
file into handle 2 and then unknowingly use that when trying to print
to stderr.

Thanks to lotheac for the original patch, which I just modified
slightly.

More openssl1.1 fixes: remove uses of X509->name in debugging. (closes #3870)

X509->name was a shortcut for the longer
  name = X509_NAME_oneline (X509_get_subject_name (cert),
    buf, sizeof (buf));
invocation.  Change the debugging to print the cert name and chain
names in the ssl_check_certificate() loop instead.

Fix mark-message translation and keybind menu.

Move the OP_MARK_MESSAGE and hotkey macro from MENU_GENERIC to the
MENU_MAIN keymap.  Putting the macro under generic prevents it from
overriding a keybinding in the index (even if the function is bound to
noop).  Additionally, the macro can only be executed from the index,
so it doesn't make sense as a generic keybinding.

Use the term "hotkey" in both the OPS and km_bind description.

Mark the km_bind description translatable.

Add L10N messages for the new translation strings.

Updated French translation.

Updated French translation.

Make a string translatable.

Make a string translatable. Add a missing space at the end.

Updated French translation (except for 1 string).

Updated requirement on the C compiler.

Adds <mark-message> binding to create "hotkeys" for messages.

<mark-message>foo<enter> will create a new macro "'foo" which will
return to the current message by searching for that message's
message id.  The initial character of the macro is defined by
$mark_macro_prefix, and defaults to "'" for verisimilitude vs. vi.

Pushed by Kevin McCarthy with a minor fix.

Adds the '@' pattern modifier to limit matches to known aliases.

Example: ~f joe matches messages from joe. @~f joe matches messages from
any joe who is defined as an alias.

Pushed by Kevin McCarthy with two minor cosmetic fixes.

When $flag_safe is set, flagged messages cannot be deleted.

This saves them from bulk operations on threads and tagged messages.  To
remove a flagged message, first unflag it.

$forward_references includes References: header on forwards

By default a forwarded message does not reference the messages it
contains. This commit introduces a new boolean option
`$forward_references`. When it is set, a forwarded message includes the
`In-Reply-To:` and `References:` headers, just like a reply would. Hence
the forwarded message becomes part of the original thread instead of
starting a new one.

Closes: #252

Make sure gdbm's symbols are not resolved in QDBM's compatibility layer

Give myself some credit

Initialize imap_authenticate's return value to something meaningful

Closes: #256

merge: hcache refactor

 * Support compilation of multiple hcache backends and run-time selection
 * More hcache-related cleanup and consistency in autoconf land
 * Hcache backends list
 * Hcache backends list up tidying
 * Implement mutt_hcache_free to dispose of header cache data

Implement mutt_hcache_free to dispose of header cache data

Hcache backends list up tidying

Hcache backends list

More hcache-related cleanup and consistency in autoconf land

Support compilation of multiple hcache backends and run-time selection

Backend specific APIs have been moved to hcache-backend.h

This commits introduces the support for multiple backends and an option to
configure the one to use at run time (header_cache_backend). Backends are not
mutual exclusive anymore, and several can be compiled in by specifying multiple
--with-<backend> configure options.

For backwards compatibility, the header_cache_backend option can be left empty,
in which case the first (configure.ac order) compiled-in backend is selected.
In the case of distros building with a single backend enabled - as they are
forced to do today - the hcache functionality is unchanged.

lib: Implement mutt_strchrnul()

Closes: #253

docs: <escape> and \e means refers to both alt and escape key

merge: upstream adoption of compress

 * Compress patch from the neomutt repository.
 * Compress: prefix external functions with "mutt_"
 * Compress: remove buffy stats "improvisation".
 * Compress: fix several logic and memory bugs.
 * Compress: add delegate calls to open_append and close mx_ops functions.
 * Compress: safe_fopen() the tempfile, to prevent tempfile attacks.
 * Compress: pull the lock/unlock operations into the open,close,sync operations.
 * Create mx_ops.sync operation. Refactor compress to use the mx_ops.sync.
 * Compress: fix check_mailbox and sync_mailbox.
 * Compress: escape single quotes when invoking the compress/decompress commands.
 * Compress: check mailbox type if possible when appending.
 * Ensure the compressed documentation is always built.
 * Improve two compress translation messages.
 * Revert "Compress: remove buffy stats "improvisation"."

Revert "Compress: remove buffy stats "improvisation"."

I think this is an improvement which should stay.

This reverts commit d273f8c1e5e1eb8695d26d1b6ce55b15a7f0a01a.

Improve two compress translation messages.

Change the "Error executing" to "Error running", which is used in
multiple places elsewhere in mutt.  This also removes the
unnecessary newline.

Remove the leading space in the "Error compressing" message, and
change it to match the error message in editmsg.c.

Ensure the compressed documentation is always built.

Add USE_COMPRESSED to makedoc-defs.h so any conditional documentation
will always be built.

Compress: check mailbox type if possible when appending.

If an append hook isn't defined, then mutt has to decompress the
mailbox.  In that case, we can check the type of the decompressed
mailbox instead of defaulting to DefaultMagic.

Compress: escape single quotes when invoking the compress/decompress commands.

The format strings are placed in single quotes.  mutt_system() invokes
sh, so escape the single quotes using bourne-shell syntax: '\''

Compress: fix check_mailbox and sync_mailbox.

Change check_mailbox to delegate to the child_ops->check_mailbox if
the compressed mailbox has changed.  This allows the mailbox to
properly recover if both the decompressed mailbox and compressed file
have changed.

Change sync_mailbox to call check_mailbox before attempting to sync.
This will prevent overwriting external changes to the compressed
mailbox.

Create mx_ops.sync operation. Refactor compress to use the mx_ops.sync.

Change compress.sync_mailbox() to lock the compressed mailbox around
both the tempfile sync and compress operations.  This will prevent
changes made inbetween the two syncs from being overwritten.

Thanks to Damien Riegel for his original patch refactoring
mx_ops.sync, which this patch is partially based upon.

Compress: pull the lock/unlock operations into the open,close,sync operations.

Some operations, such as open_append and sync, need an exclusive lock
across a longer period than a single compress/decompress.  Remove it
from the execute_command and pull into the outer callers.  Store lock
information inside compress_info.

Sync and check_mailbox need more fixes, which will be addressed in
subsequent patches.

Compress: safe_fopen() the tempfile, to prevent tempfile attacks.

Compress: add delegate calls to open_append and close mx_ops functions.

The open_append and close were partially duplicating mbox open_append
and close operations internally.  Change it to call the actual
delegate functions instead.

Inline the open_read() function inside open_mailbox().  Having it
split improved nothing and just complicated the code (i.e. added
error-handling checks in open_mailbox() that in reality could not
fail).

Compress: fix several logic and memory bugs.

setup_paths leaks memory: realpath is already set in mx_open_mailbox()

restore_paths is unneeded.  mx_fastclose_mailbox() will free stuff,
and nothing is looking at the path once we are closing or aborting.

Make a copy of the hooks.  Otherwise 'unhook *' will leave dangling
pointers.

Add compress_info freeing inside mx_fastclose_mailbox().  Only free
inside compress.c when we want to prevent close() from doing anything.

close_mailbox() didn't preserve ctx->path on error.

execute_command() didn't return an error if the mutt_system() command
failed.

mx_open_mailbox_append() should check mutt_comp_can_append() only for
the case that the mailbox doesn't exist.  When it exists,
mx_get_magic() has already looked at the file contents before checking
for matching open_hooks.

In open_append_mailbox() if no append hook is defined, it should't
call ci->open() if the mailbox doesn't exist.  It should act just like
append and create a temporary file.

check_mailbox() needs more work.  For now, at least have it properly
close the mailbox on error.

Compress: remove buffy stats "improvisation".

Mutt doesn't support polling compressed mailboxes.  This code creates
a false impression and dirties mutt_save_message() in the process.  I
don't like it, so am taking it out.

Compress: prefix external functions with "mutt_"

Also, include compress.h in compress.c so the mx_comp_ops doesn't need
to be redeclared.

Compress patch from the neomutt repository.

With the following changes:
- po/de.po changes trimmed to just the compress additions.

- Move the sample muttrc to contrib, and add it to the Makefile.am so it is
  distributed.  Remove the sample vimrc.

- Remove extra fluff from manual.

Thanks to Roland Rosenfeld for the original patch, and to the NeoMutt
team for their work cleaning up the patch.

merge: upstream fixes (mutt/default)

 * attach_format: add new %F placeholder
 * compose: add operation to rename an attachment
 * Chain %d->%F->%f in the attachment menu.
 * Move mbox close-append logic inside mbox_close_mailbox().

Move mbox close-append logic inside mbox_close_mailbox().

The mx_fastclose_mailbox() calls mx_ops->close(), which invokes
mbox_close_mailbox().

Also, close the ctx->fp inside mbox_close_mailbox().  This way, the
(to be added) compress logic can call the mx_ops->close() instead of
"knowing" to close the fp before recompressing.

mx_fastclose_mailbox() will safe_fclose() the fp again, but I'm
leaving it there just in case I missed a usage of the fp in some other
part of the code.

Thanks to Damien Riegel for the original patch.

Chain %d->%F->%f in the attachment menu.

Previously, %d would use %f if there was no description set.

Place the new %F option in between %d and %f.  This way, %d will fall
back on %F, which will fall back on %f.  This allows the standard
attachment menu to show d_filename.

This is useful for forwarding attachments or editing draft files with
attachments.  In these cases the actual filename is sanitized but the
attachment name is preserved in d_filename.

compose: add operation to rename an attachment

As opposed to rename-file, which actually renames the underlying file
of the attachment, rename-attachment puts a value in d_filename, which
is used in the Content-Disposition header.

attach_format: add new %F placeholder

This new placeholder allows to print the attachment name as it will be
seen on the recipient side.

hooks: define hooks for startup and shutdown

Having hooks which run when mutt first starts (startup-hook) but before the
fist mbox is opened, and when mutt closes the mbox (shutdown-hook) before
exiting, allows for those notmuch users to run commands to sync the state of
their caches, etc.

support GLOBALHOOK type

There's now a few hooks (startup/shutdown/timeout) which don't operate on a
mbox or pattern, but are instead global to mutt.  Therefore, don't require the
hooks themselves to needlessly define these parameters.

Closes: #184

build: Improve discovery for the Berkeley Database

- Drop support for old BDB versions and fix autoconf discovery
- Be more verbose when looking for BDB
- Hardcode a couple of commonly used prefixes
- Workaround empty path component expansion
- Do not clobber LIBS with BDB libraries

Closes: #228

Fix crash when doing collapse_all on an empty folder

Closes: #230

fix: crash when browsing empty dir

The sensible-browser avoids selecting '..' when possible.
However, it *should* select '..' if there's no other option.