Adds capability to edit x-labels inside mutt, and to sort by label.

Allow "unsubjectrc *" to remove all patterns.

Thanks to Aaron Schrab for the original patch.

Add subjectrx command to replace matching subjects with something else.

This lets you define regular expressions-replacement pairs for subject
display.  When a Subject: matches the regular expression, the replacement
value will be displayed instead in the message index.  Backreferences
are supported.

This is especially nice for simplifying subjects that are overly wordy,
such as mailing list posts (with [Listname] tags, etc), mail from
ticketing systems or bug trackers, etc.  It lets you reduce clutter in
your mutt display without altering the messages themselves.

Abstract the SPAM_LIST as a generic REPLACE_LIST

REPLACE_LIST can be used more generally as a list of pattern
match-replace settings.  SPAM_LIST was a special case of this, so
spam handling has been been changed to use REPLACE_LIST instead, and
SPAM_LIST was removed.

A generic function for performing a REPLACE_LIST replacement has
been added in mutt_apply_replace().

Commited by Kevin McCarthy with some buffer overflow fixes in
mutt_apply_replace().

Improve Reply-to vs From comparison when replying. (closes #3909)

Prior to this patch, if the Reply-to mailbox matched the From mailbox,
mutt would always use the From address.  This was probably done to
preserve the display name, as the Reply-to address is often missing one.

Unfortunately, there are circumstances where the Reply-to display-name
has significance, such as in ticket 3909.

Change mutt so that it only uses the From address if the Reply-To has
no display-name.

Fix sidebar references to the "new count" to be "unread". (closes #3908)

%N in $sidebar_format and "new"in $sidebar_sort_method actually use
the unread message count.  Update the documentation to mention that.

Add an "unread" method to $sidebar_sort_method, but preserve "new" for
compatibility.

Change the SORT_COUNT_NEW constant to SORT_UNREAD, so the code is also
consistent with the meaning.

Thanks to cri for reporting the problem and suggesting where to fix it
in the code.

Fix several alias hashtable issues.

Convert to use the strdup keys hash.  Addresses can be converted back
and forth from intl to local forms.  This frees and recreates a new
addr->mailbox string, resulting in the hash table key being a dangling
pointer.

Change alias hash table insert/remove to ensure the address is in intl
form.  The alias menu (previously) converted address entries to local
form when performing a completion.  Even with the pointer issue fixed,
the entries may not be removed from the hash if the intl and local
forms are different.

Lastly, there is no reason for the alias menu to manually convert to
local form before writing the address to the output buffer.
rfc822_write_address() has a display parameter that will call
mutt_addr_for_display() instead when set.  Change to set the display
parameter and remove the conversion calls.

This last change obviates the first two changes, but they are a good idea
in any case.

Add casecmp and strdup_key flags to hash_create()

Aliases and (in the future), X-Label hashes will require a hash that
strdups the key.  Convert the casecmp parameter of hash_create() to a
flags parameter, and add a flag to strdup the keys.

Improve error handling in mbox magic detection.

Thanks to Simon Ruderich for pointing out several small issues with
the previous commit.

Allow initial blank lines in local mailboxes.

Some mailbox-creation tools erroneously append a blank line to a file
before appending a UNIXv7-format mail message, resulting in mailboxes
that are intended to be valid "mbox" folders but are not.  Notably old
versions of Mailman do this, making archive files that cannot be read by
mutt.

This patch causes mutt to skip leading NLs and CRs when detecting magic.

Fix minor documentation issues.

manual.xml:
Wrap line for clarity.

muttrc.man:
Remove superfluous spaces in brackets.
Add missing error object in color command.
Sort the prompt object.
Add sidebar color objects.

Convert cmd_parse_search to use the uid hash. (closes #3905)

Replace the linear scan for each result with a hash lookup.  This
should greatly improve performance for large mailboxes.

Create a uid hash for imap. (see #3905)

This hash will allow for more efficient UID SEARCH processing,
replacing a linear scan with a hash lookup.

Convert HASH to be indexable by unsigned int. (see #3905)

Convert the HASH to be usable for either string or unsigned int keys,
so that a uid hash can be added for imap.

To keep hash-usage code disruption to a minimum, this introduces new
create/insert/find/delete functions for the int hash, but keeps the
old function names for string keys.

This implementation makes the key a union.  It may have been a better
idea to introduce a whole new structure, but this way allows minimum
changes to and maximum reuse of the existing hash code.

Fix imap server-side search to call uid2msgno() only once. (see #3905)

After performing a UID SEARCH, the results are parsed in
cmd_parse_search().  This was accidentally calling uid2msgno() twice.
Since that function does a linear search, this has a noticable impact
on large search results.

Add a pattern_cache_t to speed up a few repeated matches.

Vincent Lefèvre reported experiencing an index display performance
issue.  This occurred with messages containing many recipients.  He
had many index color lines containing ~l.  The ~l ended up being run
over and over on these messages, resulting in a noticable slowdown
displaying the index.

This patch adds caching for just a few of the pattern operations (~l,
~u, ~p, ~P) that are potentially expensive and also don't have
arguments.  The caching is only enabled for operations repeatedly
matching against the same message: color, hooks, scoring.

The caching is fairly targeted, but isn't that invasive or
complicated.

Canonicalize line endings for GPGME S/MIME encryption. (closes #3904)

This matches the behavior for S/MIME classic mode: OpenSSL converts
the line endings to cr/lf before encrypting.  Although Mutt always
canonicalizes the line endings before verifying the signature, some
clients do not do this for encrypted messages.

Thanks to cooler for the patch!

Release KyotoCabinet data with kcfree() (#384)

Obtained from https://dev.mutt.org/hg/mutt/rev/09bb4a62ceb1

Closes #383

refactor: create a generic base64 encode/decode

- make sendlib use generic base64 encode function

Sendlib had its own implementation for base64 encoding, so change it to
make use of the generic one defined in base64.c. While we're at it, move
the B64Chars where it belongs, and remove some global variables by
creating a b64_context structure to hold all necessary information.

- make rfc2047 use generic base64 encode function

This was another source of a custom base64 encode function. Let's keep
the same logic as before: encode 3 bytes (or less) at a time. Also,
switch from a `for` to a `while` loop as `dlen` can simply be used as a
stop condition.

- B64Chars can now be made static to base64.c.

closes #360

debug: remove dprint in favor of mutt_debug (#375)

The dprint macro is error-prone. Any FILE* can be passed to dprint, but
the macro checks that `debugfile` is not NULL (ie. it's open), not the
file pointer it received as parameter. This had also the consequence
that `debugfile` is passed to every call to `dprint`, making lines
unnecessarily long.

This commit replaces calls to `dprint` by direct calls to `mutt_debug`.
It's now hardcoded in this function that it will write in `debugfile`.
Also, remove the MUTT_LIB_WHERE magic.

The substistution has been done with the following command:
   perl -0777 -pi -e 's/dprint[ ]*\((.+?),[ \t\r\n]*\(debugfile,[ ]*(.*?)\)\);/mutt_debug (\1, \2);/igs' *.c imap/*.c
And the code was then slightly ajusted to fix identation and line
length.

Closes #362

Fix dubious use macro for _() / gettext() (#376)

The macro _() is defined as:

    #define _(a) (gettext(a))

Which has led to a lot of functions omitting the ()s, e.g.

    mutt_message _("string");

This only compiles because of a side-effect of the macro.

In addition, some translatable strings didn't have a _()
wrapper, so it was added

Use mutt_buffer_init instead of memset

The mutt_buffer_init function does a memset to 0 of its argument, so use
it instead of doing a manual memset.

I noticed (thanks to @zmo) that a number of buffer used in hooks where
initialised using memset instead of this dedicated function. This
remedies to that.

Fixes #369

Make the heap method and datatype a plain list

Instead of a useless typedef, making all the stack operations work on
plain LIST types.

N.B.: I used *heap* when I really meant *stack*.

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

Reverts making AliasFile into a list_t (#379)

Uses the first loaded muttrc file as default for alias file.

This partially reverts commit 83f7558efab3dcd7b7e227a727ef95f711363f50.

fixes #378

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

Turn mutt_new_* macros into inline functions

Closes #372

Do not cast return values from malloc (et similia)

Closes #372

doc: fix confusing description of notmuch operators (#371)

Try (once) to reconnect after an IMAP failure (#366)

* Try (once) to reconnect after an IMAP failure

Closes #346

* Keep recovering state in IMAP_DATA instead of in a static local variable

Closes #346

Simplify imap_keepalive + some cleanup (#354)

NeoMutt 2017-02-06 (1.7.2)

Unicode 0x202F is a non-break space too (#358)

Closes #357

improve readability of find_subject()

Import hcache-lmdb fixes from upstream (#363)

Adopted from https://dev.mutt.org/hg/mutt/rev/fca7e504ab6a

Use mdb_txn_abort() to free up readonly/reset transactions, and avoid
leaking memory.

Use dprint, not fprintf, for debugging messages.

Remove strange blending of enum and bitfield logic for the txn_mode
state.

Closes #359

Rework the "inbox-first" implementation to make code self-explanatory (#356)

Do not sort INBOX before its parent folder

This is achieved by considering /a/b/ and /a/b/c/d as different
subpaths, thus avoiding this situation

/a/b/INBOX
/a/b/

Closes #301

If possible, only redraw after gpgme has invoked pinentry (#352)

If possible, only redraw after gpgme has invoked pinentry

This requires gpgme >= 1.8.1, which exposes a new "redraw" status flag.
On older versions, fallback to always redraw if pinentry was potentially called.
Thanks to Werner Koch for the hints!

fix: bug introduced by mkdir changes (#350)

When converting NNTP to use mutt_mkdir() a line of code got lost.
Commit: 6800b2a nntp: use mutt_mkdir

Closes #338

Remove two use-after free in global hooks (#353)

Fixes #347
In both mutt_timeout_hook and mutt_startup_shutdown_hook, we iterate on
the list of hooks and try to execute the right ones, always using the
same buffer. The buffer must be free'd after all the hooks have been
checked and not after the first hook which fails. This also removes a
memory leak, because the buffer was never freed if no hook failed.

Handle BAD as IMAP_AUTH_UNAVAIL (#351)

* Handle BAD as IMAP_AUTH_UNAVAIL

Closes #348

change pager to allow timehook-hook to fire

Closes #241

Do not crash when closing a non-opened mailbox

Issue: #342

Update documentation about modify-labels-then-hide

This will inform new users regarding the need to call <sync-mailbox> after calling this function

Closes #345, closes #332

Import hcache benchmark

NeoMutt 2017-01-28 (1.7.2)

Fix typo in comment

fix global hooks to not take a pattern

Closes #329
Closes #330

docs: Added waffle badges to readme

Closes #317

build: appease check_sec.sh

Merge pull request #327 from neomutt/devel/issue-325

Remove in-house implementations of various Std C / POSIX.1 APIs

Remove most ascii_ functions

Issue: #325

Assume ANSI C headers are there

Issue: #325

Remove in-house implementation of mkdtemp

Issue: #325

Mention that strcasestr doesn't exist on AIX

Issue: #325

Remove in-house implementation of strtok_r

Issue: #325

Remove in-house implementation of strsep

Issue: #325

Remove in-house implementation of setenv

Issue: #325

Remove str(n)casecmp declarations

Issue: #325

Remove in-house implementations of strcasecmp and strncasecmp

Issue: #325

notmuch: fix toggle labels

Fix the comparison of labels when toggling.

Thanks to Pietro Cerutti (@gahr) for spotting this.

notmuch: Allow <modify-labels> to toggle labels

<modify-labels> can, now:
    tag     add a tag
    +tag    add a tag
    -tag    remove a tag
    !tag    toggle a tag

Closes #326
Closes #328

fix bug in "Support for aborting mailbox loading"

A typo would have prevented mbox_parse_mailbox() from working correctly.
Also, add a few comments.

Thanks to Pietro Cerutti (@gahr) for spotting this.

Avoid breaking relative paths when avoiding cyclic checks on pipes..

Pull: #290

Revert "Avoid cyclic checks on pipes"

This reverts commit 0cdb4ad8e5c41c2e6fd3b5a5608f965a2046cc0b.

Avoid cyclic checks on pipes

Pull: #290

Support for aborting mailbox loading

- Added new return value for mx_ops.open() signature: -2 value means
  aborted mailbox load ;
- Added check for SigInt in mail loading routine

Added support for Notmuch, Maildir and mbox.

Closes #248
Closes #292

Do a buffy check after shell escape

Closes #284

merge: add a recursive mkdir function

 * lib: add mutt_mkdir
 * create tmpdir
 * bcache: use mutt_mkdir()
 * nntp: use mutt_mkdir
 * hcache: use mutt_mkdir
 * Optimise the case of an existing cache file

Closes #287

Optimise the case of an existing cache file

hcache: use mutt_mkdir

Use mutt_mkdir() to recursively create the directories that the header
cache needs.

nntp: use mutt_mkdir

Use mutt_mkdir() to recursively create the directories that NNTP needs.

bcache: use mutt_mkdir()

Use mutt_mkdir() to recursively create the directories that the message
cache needs.

create tmpdir

Call mutt_mkdir() to recursively create the directories we need.

lib: add mutt_mkdir

Make directories recursively

docs: fix docbook validation

contrib: fix vim syntax file for index-color commands

color higlighting of muttrc file in vim was not correct
for entries like:

color index_subject color... color...  "!~D ~sSPAM"

This was problem for all colors specified like `color index_...`
from patch-index-color-neomutt

Closes #289

Add option for missing subject replacement

If you replied to an email which had no subject, then mutt defaulted to
the hard-coded string "Re: your mail".

This has been replaced by a config variable '$empty_subject'

Closes #299

contrib: add .editorconfig

Closes #313

build: Kill any references to strdup

Closes #296

build: Start migrating to stdbool logic

C99 has <stdbool.h> which defines true and false.

Closes #291

Support of relative paths sourcing and cyclic source detection

Added HEAP/FILO structure and global singleton to contain the the list
of config files that have been sourced, and detect cyclic sourcing.
Implemented with a simple heap API:

- `path_heap_push()`
- `path_heap_pop()`
- `path_heap_front()`
- `path_heap_find()`

Added a new method `to_absolute_path()` to convert a path into an absolute
path, relatively to another config file's path. Using POSIX methods to
do so, adding libgen's header in `mutt.h`.

Closes #282
Closes #290

Support of multiple config files as CLI arguments

- changed the Muttrc global to a LIST*
- set it up to parse in order of parsing
- updated AliasFile to be a LIST* as well

Closes #234

docs: Describe the new message ranges

Closes: #311

fix: minor bugs in relative-msgno

A locale problem with the regex code caused some character classes to
not work.

Fix a few typos

Extend the ~m pattern to allow relative ranges

The ~m pattern now accepts absolute ranges, relative ranges and has some
mnemonics (shortcuts).

There are shortcuts for some emails:
    ^   First email
    .   Current email
    $   Last email

These shortcuts can be used anywhere a number is used in the examples
below.

Relative ranges have a comma ',' in them:
    -3,.    Previous 3 emails plus the current one
    .,$     Current email and all the later ones
    -2,2    Previous 2, current and next 2 emails
    0,1     Current and next email

Absolute range:
    3-10    Emails 3-10
    -10     Emails 1-10
    10-     Emails 10-last
    7       Just email 7

Closes: #269
Closes: #283

Implement SASL's PLAIN mechanism as a standalone authenticator

Closes: #232

docs: add documentation for -DS command line switch

Add support for sensitive config options

Add a `-S` option to `mutt -D` to hide the value of sensitive config,
such as passwords.

Closes: #236
Closes: #302

Fix sorting when using '/' as a namespace separator

Closes: #301

merge: notmuch search windows

 * Searching with a window over notmuch vfolders
 * Fix of the sidebar item highlight when matched by current search
 * Makes the sidebar show the real msg count on the current mailbox
 * Add doxygen documentation comments
 * Improving the API naming and typing

Closes: #285

Improving the API naming and typing

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

Add doxygen documentation comments

Makes the sidebar show the real msg count on the current mailbox

run a notmuch count when loading values for the currently highlighted
mailbox when drawing the sidebar up, to show the request's total number
instead of just the window's number.

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

Fix of the sidebar item highlight when matched by current search

Because searches done manually (or shifted with a window) have an
absolute path to the current Maildir within the URI, whereas the one
declared with the virtual-mailboxes command usually have implicit
Maildir path specification, this patch parses the given URL of a mailbox
and re-builds it to contain the full path.

For that purpose has been added:

- nm_normalize_uri() function

Has been modified:

- get_query_string (in mutt_notmuch): earned an argument to disable
  adding of a window in the context of the nm_normalize_uri function.
- mutt_parse_virtual_mailboxes: the path value is sent through the
  nm_normalize_uri() function to be normalized.

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

Searching with a window over notmuch vfolders

following up on #278

Instead of adding a new command for searches that will result in
windowed searches, this commit patches a lower function of the search
mechanism, the `get_query_string()` function.

There, any search is buffered in the `nm_query_window_current_search`
global variable. And a newly introduced non-exposed function
`window_query_from_query` is taking a `data->db_query` and adds a
`date:` field implementing the window.

That function won't add a `date:` field if there's no duration set or if
there's already a date field in the query (to avoid risks of an empty
intersection).

To disable the feature, just set `nm_query_window_duration` to `0`.

Finally, only two public functions are exposed:

- `vfolder-window-forward`
- `vfolder-window-backward`

to slide the window over the search.

The improvements over #278 implementation is that now it's working with
any search done with notmuch, whether it's a `virtual-mailbox` or using
the `vfolder-from-query` command.

Have been removed:

- `windowed-vfolder-from-query`

Have been renamed:

- `windowed-vfolder-forward` -> `vfolder-window-forward`
- `windowed-vfolder-backward` -> `vfolder-window-backward`

docs: remove reference to missing keybinding

Thanks to Vrihub on GitHub for spotting the mistake.

[ci skip]

doc: fix typos in section on config locations

[ci skip]

reformat the source to mutt standards

reindent - 2 spaces
braces {} on new line
indent case statements
bracket logic - () around complex bools
rename static functions - drop "nm_" prefix
move functions - static first
move mx_ops functions to end
fix typos
reorder includes
add some doxygen comments

NeoMutt 2017-01-13 (1.7.2)

merge: translations

 * L10N document PGP/SMIME options
 * don't wrap messages
 * update German translation
 * update Spanish translation
 * sync po files to source

sync po files to source

update Spanish translation