Remove snprintf.c from EXTRA_DIST (#406)

Pull #402

Kill homebrew (v)snprintf implementations, as they are C99 (#402)

Merge pull request #400 from neomutt/devel/issue-336

Avoid browsing the remote spoolfile by setting MUTT_SELECT_MULTI attach

notmuch: fix crash when completing tags (#395)

Notmuch was found to sometimes return a NULL when asked for a list of
tags.  This caused mutt to crash when trying to autocomplete.

Thanks to William Pettersson (@WPettersson) for the initial patch.

Closes #393
Closes #395

Display charset + small refactoring

Add option $show_multipart_alternative

When viewing a multi-part MIME email:
    'alternative_order' determines which part is displayed
    'auto_view' determines how the part is displayed

$show_multipart_alternative has three options to control what is displayed:
    unset    Only the chosen part (default)
    'info'   The chosen part plus information about the other parts
    'inline' All the parts

build: add a few includes (prelude to clang-format)

build: slcurses.h defines its own bool type

Avoid browsing the remote spoolfile by setting MUTT_SELECT_MULTI attach

Closes #336

Fixes missing failure return of notmuch msg open (#401)

When calling the mx_ops->open_msg() method of the notmuch
implementation, if the message failed to open, it is not reported to the
user interface. This patch returns a non-zero value that will prevent a
crash.

fixes #308

Signed-off-by: Pietro Cerutti <gahr@gahr.ch>
Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

Do not cast or check returns from safe_calloc (#396)

Fixes #388

Fix latest Coverity issues (#387)

* Fix two use-before-check bugs

Closes #386

* Fix memory leak

Issue #386

* Treat a NULL b->subtype as a wildcard (*)

Issue #386

* Move assignment out of conditional

Closes #386

* Move assignment out of conditional (2)

Closes #386

Advance by the correct number of position even for unknown characters (#368)

Closes #245

merge: sync to mutt/default

I've been cherry-picking all of mutt's upstream changes.
This gave us a neat and tidy commit history, but GitHub thinks we're
very out-of-sync.

This merge doesn't make any changes, but shows GitHub where we are.

merge: upstream fixes (mutt/default)

 * Canonicalize line endings for GPGME S/MIME encryption. (closes #3904)
 * Add a pattern_cache_t to speed up a few repeated matches.
 * Fix imap server-side search to call uid2msgno() only once. (see #3905)
 * Convert HASH to be indexable by unsigned int. (see #3905)
 * Create a uid hash for imap. (see #3905)
 * Convert cmd_parse_search to use the uid hash. (closes #3905)
 * Fix minor documentation issues.
 * Allow initial blank lines in local mailboxes.
 * Improve error handling in mbox magic detection.
 * Add casecmp and strdup_key flags to hash_create()
 * Fix several alias hashtable issues.
 * Fix sidebar references to the "new count" to be "unread". (closes #3908)
 * Improve Reply-to vs From comparison when replying. (closes #3909)
 * Abstract the SPAM_LIST as a generic REPLACE_LIST
 * Add subjectrx command to replace matching subjects with something else.
 * Allow "unsubjectrc *" to remove all patterns.
 * Adds capability to edit x-labels inside mutt, and to sort by label.
 * Minor fixes to the x-label patch from David.
 * Add hash_find_elem to get the hash element.
 * Adds label completion.
 * Improve the label completion hash table usage.
 * Fix the x-label update code check location.
 * Fix the mutt_label_complete() pos parameter.
 * Permit tab completion of pattern expressions with ~y (labels).
 * Simplify mutt_label_complete().

Simplify mutt_label_complete().

It was derived from mutt_command_complete(), which had more complex
requirements.  For labels, we just need to skip whitespace and
complete based on the passed in buffer.

Therefore, we don't need the pos parameter, or to work backwards from
the end of the buffer.

Permit tab completion of pattern expressions with ~y (labels).

Thanks to David Champion for the original patch.  This version is
slightly different, as I couldn't get the original patch working.
This version simply scans backward for the first ~, and if it is ~y,
invokes completion.

Fix the mutt_label_complete() pos parameter.

i is the state->wbuf index, not the end of the buf.  It was "working"
only because the contents of buf past the null were not "space" most
of the time.

Fix the x-label update code check location.

The x-label comparison was outside the "beginning of header" block.

This meant that it could theoretically match a continuation line.
Additionally, the continuation lines of x-labels would not be
stripped, because the comparison was after the ignore variable was
reset.

Move the comparison inside the block and before the ignore reset.

Improve the label completion hash table usage.

Move the hash table inside the Context.  Hook message arrival/deletion
to update the label hash.

Change the label hash to strdup keys.

Use hash_find_elem when updating the counter, to reduce unnecessary
add/delete operations.

Adds label completion.

A global label hash is added, to which labels are added as they're parsed
from a mailbox file or edited manually by the user.  Reference counts are
kept in the hash table so that unused labels are removed from available
completions.  Completion is available in the label editor only, but it
may be feasible to add for search expressions if the preceding text ends
with '~y'.

Add hash_find_elem to get the hash element.

This will be used in the following patch for directly manipulating the
label counter.

Minor fixes to the x-label patch from David.

Add L10N comment to sort menu.  Mark a couple strings for localization.

Use ascii_strncasecmp() for the X-Label header comparison.

Simplify label_message() using mutt library routines.

Bind label editing to "Y" instead of "y".  "y" is already used in the
default sample muttrc to display mailboxes.

Adds capability to edit x-labels inside mutt, and to sort by label.

Allow "unsubjectrc *" to remove all patterns.

Thanks to Aaron Schrab for the original patch.

Add subjectrx command to replace matching subjects with something else.

This lets you define regular expressions-replacement pairs for subject
display.  When a Subject: matches the regular expression, the replacement
value will be displayed instead in the message index.  Backreferences
are supported.

This is especially nice for simplifying subjects that are overly wordy,
such as mailing list posts (with [Listname] tags, etc), mail from
ticketing systems or bug trackers, etc.  It lets you reduce clutter in
your mutt display without altering the messages themselves.

Abstract the SPAM_LIST as a generic REPLACE_LIST

REPLACE_LIST can be used more generally as a list of pattern
match-replace settings.  SPAM_LIST was a special case of this, so
spam handling has been been changed to use REPLACE_LIST instead, and
SPAM_LIST was removed.

A generic function for performing a REPLACE_LIST replacement has
been added in mutt_apply_replace().

Commited by Kevin McCarthy with some buffer overflow fixes in
mutt_apply_replace().

Improve Reply-to vs From comparison when replying. (closes #3909)

Prior to this patch, if the Reply-to mailbox matched the From mailbox,
mutt would always use the From address.  This was probably done to
preserve the display name, as the Reply-to address is often missing one.

Unfortunately, there are circumstances where the Reply-to display-name
has significance, such as in ticket 3909.

Change mutt so that it only uses the From address if the Reply-To has
no display-name.

Fix sidebar references to the "new count" to be "unread". (closes #3908)

%N in $sidebar_format and "new"in $sidebar_sort_method actually use
the unread message count.  Update the documentation to mention that.

Add an "unread" method to $sidebar_sort_method, but preserve "new" for
compatibility.

Change the SORT_COUNT_NEW constant to SORT_UNREAD, so the code is also
consistent with the meaning.

Thanks to cri for reporting the problem and suggesting where to fix it
in the code.

Fix several alias hashtable issues.

Convert to use the strdup keys hash.  Addresses can be converted back
and forth from intl to local forms.  This frees and recreates a new
addr->mailbox string, resulting in the hash table key being a dangling
pointer.

Change alias hash table insert/remove to ensure the address is in intl
form.  The alias menu (previously) converted address entries to local
form when performing a completion.  Even with the pointer issue fixed,
the entries may not be removed from the hash if the intl and local
forms are different.

Lastly, there is no reason for the alias menu to manually convert to
local form before writing the address to the output buffer.
rfc822_write_address() has a display parameter that will call
mutt_addr_for_display() instead when set.  Change to set the display
parameter and remove the conversion calls.

This last change obviates the first two changes, but they are a good idea
in any case.

Add casecmp and strdup_key flags to hash_create()

Aliases and (in the future), X-Label hashes will require a hash that
strdups the key.  Convert the casecmp parameter of hash_create() to a
flags parameter, and add a flag to strdup the keys.

Improve error handling in mbox magic detection.

Thanks to Simon Ruderich for pointing out several small issues with
the previous commit.

Allow initial blank lines in local mailboxes.

Some mailbox-creation tools erroneously append a blank line to a file
before appending a UNIXv7-format mail message, resulting in mailboxes
that are intended to be valid "mbox" folders but are not.  Notably old
versions of Mailman do this, making archive files that cannot be read by
mutt.

This patch causes mutt to skip leading NLs and CRs when detecting magic.

Fix minor documentation issues.

manual.xml:
Wrap line for clarity.

muttrc.man:
Remove superfluous spaces in brackets.
Add missing error object in color command.
Sort the prompt object.
Add sidebar color objects.

Convert cmd_parse_search to use the uid hash. (closes #3905)

Replace the linear scan for each result with a hash lookup.  This
should greatly improve performance for large mailboxes.

Create a uid hash for imap. (see #3905)

This hash will allow for more efficient UID SEARCH processing,
replacing a linear scan with a hash lookup.

Convert HASH to be indexable by unsigned int. (see #3905)

Convert the HASH to be usable for either string or unsigned int keys,
so that a uid hash can be added for imap.

To keep hash-usage code disruption to a minimum, this introduces new
create/insert/find/delete functions for the int hash, but keeps the
old function names for string keys.

This implementation makes the key a union.  It may have been a better
idea to introduce a whole new structure, but this way allows minimum
changes to and maximum reuse of the existing hash code.

Fix imap server-side search to call uid2msgno() only once. (see #3905)

After performing a UID SEARCH, the results are parsed in
cmd_parse_search().  This was accidentally calling uid2msgno() twice.
Since that function does a linear search, this has a noticable impact
on large search results.

Add a pattern_cache_t to speed up a few repeated matches.

Vincent Lefèvre reported experiencing an index display performance
issue.  This occurred with messages containing many recipients.  He
had many index color lines containing ~l.  The ~l ended up being run
over and over on these messages, resulting in a noticable slowdown
displaying the index.

This patch adds caching for just a few of the pattern operations (~l,
~u, ~p, ~P) that are potentially expensive and also don't have
arguments.  The caching is only enabled for operations repeatedly
matching against the same message: color, hooks, scoring.

The caching is fairly targeted, but isn't that invasive or
complicated.

Canonicalize line endings for GPGME S/MIME encryption. (closes #3904)

This matches the behavior for S/MIME classic mode: OpenSSL converts
the line endings to cr/lf before encrypting.  Although Mutt always
canonicalizes the line endings before verifying the signature, some
clients do not do this for encrypted messages.

Thanks to cooler for the patch!

Release KyotoCabinet data with kcfree() (#384)

Obtained from https://dev.mutt.org/hg/mutt/rev/09bb4a62ceb1

Closes #383

refactor: create a generic base64 encode/decode

- make sendlib use generic base64 encode function

Sendlib had its own implementation for base64 encoding, so change it to
make use of the generic one defined in base64.c. While we're at it, move
the B64Chars where it belongs, and remove some global variables by
creating a b64_context structure to hold all necessary information.

- make rfc2047 use generic base64 encode function

This was another source of a custom base64 encode function. Let's keep
the same logic as before: encode 3 bytes (or less) at a time. Also,
switch from a `for` to a `while` loop as `dlen` can simply be used as a
stop condition.

- B64Chars can now be made static to base64.c.

closes #360

debug: remove dprint in favor of mutt_debug (#375)

The dprint macro is error-prone. Any FILE* can be passed to dprint, but
the macro checks that `debugfile` is not NULL (ie. it's open), not the
file pointer it received as parameter. This had also the consequence
that `debugfile` is passed to every call to `dprint`, making lines
unnecessarily long.

This commit replaces calls to `dprint` by direct calls to `mutt_debug`.
It's now hardcoded in this function that it will write in `debugfile`.
Also, remove the MUTT_LIB_WHERE magic.

The substistution has been done with the following command:
   perl -0777 -pi -e 's/dprint[ ]*\((.+?),[ \t\r\n]*\(debugfile,[ ]*(.*?)\)\);/mutt_debug (\1, \2);/igs' *.c imap/*.c
And the code was then slightly ajusted to fix identation and line
length.

Closes #362

Fix dubious use macro for _() / gettext() (#376)

The macro _() is defined as:

    #define _(a) (gettext(a))

Which has led to a lot of functions omitting the ()s, e.g.

    mutt_message _("string");

This only compiles because of a side-effect of the macro.

In addition, some translatable strings didn't have a _()
wrapper, so it was added

Use mutt_buffer_init instead of memset

The mutt_buffer_init function does a memset to 0 of its argument, so use
it instead of doing a manual memset.

I noticed (thanks to @zmo) that a number of buffer used in hooks where
initialised using memset instead of this dedicated function. This
remedies to that.

Fixes #369

Make the heap method and datatype a plain list

Instead of a useless typedef, making all the stack operations work on
plain LIST types.

N.B.: I used *heap* when I really meant *stack*.

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

Reverts making AliasFile into a list_t (#379)

Uses the first loaded muttrc file as default for alias file.

This partially reverts commit 83f7558efab3dcd7b7e227a727ef95f711363f50.

fixes #378

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

Fix build for bdb.

Changeset fca7e504ab6a removed #else/#endif around two blocks of code
that won't compile with bdb enabled.  Restore those directives.

Thanks to Richard Russon for pointing out the problem and saving me
from having egg all over my face with the 1.8 release!

Turn mutt_new_* macros into inline functions

Closes #372

Do not cast return values from malloc (et similia)

Closes #372

Create function to free header cache data.

Kyoto Cabinet documents that data from it should be freed via
kcfree().

LMDB claims ownership of the data returned, so convert its free
operation to be a noop and remove the malloc from its fetch function.

Add Kyoto Cabinet support to the header cache.

Retain the defaults as they are, although we might switch to Kyoto
Cabinet for the next major release.

doc: fix confusing description of notmuch operators (#371)

Try (once) to reconnect after an IMAP failure (#366)

* Try (once) to reconnect after an IMAP failure

Closes #346

* Keep recovering state in IMAP_DATA instead of in a static local variable

Closes #346

Simplify imap_keepalive + some cleanup (#354)

NeoMutt 2017-02-06 (1.7.2)

Unicode 0x202F is a non-break space too (#358)

Closes #357

improve readability of find_subject()

Import hcache-lmdb fixes from upstream (#363)

Adopted from https://dev.mutt.org/hg/mutt/rev/fca7e504ab6a

Use mdb_txn_abort() to free up readonly/reset transactions, and avoid
leaking memory.

Use dprint, not fprintf, for debugging messages.

Remove strange blending of enum and bitfield logic for the txn_mode
state.

Closes #359

Rework the "inbox-first" implementation to make code self-explanatory (#356)

Do not sort INBOX before its parent folder

This is achieved by considering /a/b/ and /a/b/c/d as different
subpaths, thus avoiding this situation

/a/b/INBOX
/a/b/

Closes #301

Fixes to the LMDB header cache. (closes #3691)

Use mdb_txn_abort() to free up readonly/reset transactions, and avoid
leaking memory.

Fix hcache_delete() key generation - looks like this was an incorrect
copy/paste from the bdb code.

Use dprint, not fprintf, for debugging messages.

Remove strange blending of enum and bitfield logic for the txn_mode
state.

Remove some duplicate code from store/fetch raw.

Add LMDB backend support for header cache. (see #3691)

Based on the original from JP Mens:
https://gist.github.com/jpmens/15969d9d678a3d450e4e

The following performance patch was manually applied on top of the
original patch:
https://github.com/neomutt/neomutt/commit/7e5380cd4c40d119ff83b2cf5f51f2cdb8a95ab3

A variant of this patch was added to handle larger mailboxes:
https://github.com/neomutt/neomutt/commit/6d337642e701b1dde4b5d0812e01c85f41ba65ca

Thanks to all the developers and contributors to this patch, and to
Fabian Groffen for bundling and posting this to mutt-dev.

If possible, only redraw after gpgme has invoked pinentry (#352)

If possible, only redraw after gpgme has invoked pinentry

This requires gpgme >= 1.8.1, which exposes a new "redraw" status flag.
On older versions, fallback to always redraw if pinentry was potentially called.
Thanks to Werner Koch for the hints!

fix: bug introduced by mkdir changes (#350)

When converting NNTP to use mutt_mkdir() a line of code got lost.
Commit: 6800b2a nntp: use mutt_mkdir

Closes #338

Remove two use-after free in global hooks (#353)

Fixes #347
In both mutt_timeout_hook and mutt_startup_shutdown_hook, we iterate on
the list of hooks and try to execute the right ones, always using the
same buffer. The buffer must be free'd after all the hooks have been
checked and not after the first hook which fails. This also removes a
memory leak, because the buffer was never freed if no hook failed.

Minor fix to ~y completion.

Make sure the entire ~y is before curpos when enabling completion.

Simplify mutt_label_complete().

It was derived from mutt_command_complete(), which had more complex
requirements.  For labels, we just need to skip whitespace and
complete based on the passed in buffer.

Therefore, we don't need the pos parameter, or to work backwards from
the end of the buffer.

Permit tab completion of pattern expressions with ~y (labels).

Thanks to David Champion for the original patch.  This version is
slightly different, as I couldn't get the original patch working.
This version simply scans backward for the first ~, and if it is ~y,
invokes completion.

Fix the mutt_label_complete() pos parameter.

i is the state->wbuf index, not the end of the buf.  It was "working"
only because the contents of buf past the null were not "space" most
of the time.

Handle BAD as IMAP_AUTH_UNAVAIL (#351)

* Handle BAD as IMAP_AUTH_UNAVAIL

Closes #348

change pager to allow timehook-hook to fire

Closes #241

Do not crash when closing a non-opened mailbox

Issue: #342

Update documentation about modify-labels-then-hide

This will inform new users regarding the need to call <sync-mailbox> after calling this function

Closes #345, closes #332

Import hcache benchmark

Fix the x-label update code check location.

The x-label comparison was outside the "beginning of header" block.

This meant that it could theoretically match a continuation line.
Additionally, the continuation lines of x-labels would not be
stripped, because the comparison was after the ignore variable was
reset.

Move the comparison inside the block and before the ignore reset.

Improve the label completion hash table usage.

Move the hash table inside the Context.  Hook message arrival/deletion
to update the label hash.

Change the label hash to strdup keys.

Use hash_find_elem when updating the counter, to reduce unnecessary
add/delete operations.

Adds label completion.

A global label hash is added, to which labels are added as they're parsed
from a mailbox file or edited manually by the user.  Reference counts are
kept in the hash table so that unused labels are removed from available
completions.  Completion is available in the label editor only, but it
may be feasible to add for search expressions if the preceding text ends
with '~y'.

Add hash_find_elem to get the hash element.

This will be used in the following patch for directly manipulating the
label counter.

Add reentrant hash_walk() function for iterating down a hash table.

Minor fixes to the x-label patch from David.

Add L10N comment to sort menu.  Mark a couple strings for localization.

Use ascii_strncasecmp() for the X-Label header comparison.

Simplify label_message() using mutt library routines.

Bind label editing to "Y" instead of "y".  "y" is already used in the
default sample muttrc to display mailboxes.

Adds capability to edit x-labels inside mutt, and to sort by label.

NeoMutt 2017-01-28 (1.7.2)

Fix typo in comment

fix global hooks to not take a pattern

Closes #329
Closes #330

docs: Added waffle badges to readme

Closes #317

build: appease check_sec.sh

Merge pull request #327 from neomutt/devel/issue-325

Remove in-house implementations of various Std C / POSIX.1 APIs

Allow "unsubjectrc *" to remove all patterns.

Thanks to Aaron Schrab for the original patch.

Remove most ascii_ functions

Issue: #325

Assume ANSI C headers are there

Issue: #325

Remove in-house implementation of mkdtemp

Issue: #325

Mention that strcasestr doesn't exist on AIX

Issue: #325

Remove in-house implementation of strtok_r

Issue: #325

Remove in-house implementation of strsep

Issue: #325

Remove in-house implementation of setenv

Issue: #325

Remove str(n)casecmp declarations

Issue: #325

Remove in-house implementations of strcasecmp and strncasecmp

Issue: #325

notmuch: fix toggle labels

Fix the comparison of labels when toggling.

Thanks to Pietro Cerutti (@gahr) for spotting this.

notmuch: Allow <modify-labels> to toggle labels

<modify-labels> can, now:
    tag     add a tag
    +tag    add a tag
    -tag    remove a tag
    !tag    toggle a tag

Closes #326
Closes #328

fix bug in "Support for aborting mailbox loading"

A typo would have prevented mbox_parse_mailbox() from working correctly.
Also, add a few comments.

Thanks to Pietro Cerutti (@gahr) for spotting this.