Remove most ascii_ functions

Issue: #325

Assume ANSI C headers are there

Issue: #325

Remove in-house implementation of mkdtemp

Issue: #325

Mention that strcasestr doesn't exist on AIX

Issue: #325

Remove in-house implementation of strtok_r

Issue: #325

Remove in-house implementation of strsep

Issue: #325

Remove in-house implementation of setenv

Issue: #325

Remove str(n)casecmp declarations

Issue: #325

Remove in-house implementations of strcasecmp and strncasecmp

Issue: #325

notmuch: fix toggle labels

Fix the comparison of labels when toggling.

Thanks to Pietro Cerutti (@gahr) for spotting this.

notmuch: Allow <modify-labels> to toggle labels

<modify-labels> can, now:
    tag     add a tag
    +tag    add a tag
    -tag    remove a tag
    !tag    toggle a tag

Closes #326
Closes #328

fix bug in "Support for aborting mailbox loading"

A typo would have prevented mbox_parse_mailbox() from working correctly.
Also, add a few comments.

Thanks to Pietro Cerutti (@gahr) for spotting this.

Avoid breaking relative paths when avoiding cyclic checks on pipes..

Pull: #290

Revert "Avoid cyclic checks on pipes"

This reverts commit 0cdb4ad8e5c41c2e6fd3b5a5608f965a2046cc0b.

Avoid cyclic checks on pipes

Pull: #290

Support for aborting mailbox loading

- Added new return value for mx_ops.open() signature: -2 value means
  aborted mailbox load ;
- Added check for SigInt in mail loading routine

Added support for Notmuch, Maildir and mbox.

Closes #248
Closes #292

Do a buffy check after shell escape

Closes #284

merge: add a recursive mkdir function

 * lib: add mutt_mkdir
 * create tmpdir
 * bcache: use mutt_mkdir()
 * nntp: use mutt_mkdir
 * hcache: use mutt_mkdir
 * Optimise the case of an existing cache file

Closes #287

Optimise the case of an existing cache file

hcache: use mutt_mkdir

Use mutt_mkdir() to recursively create the directories that the header
cache needs.

nntp: use mutt_mkdir

Use mutt_mkdir() to recursively create the directories that NNTP needs.

bcache: use mutt_mkdir()

Use mutt_mkdir() to recursively create the directories that the message
cache needs.

create tmpdir

Call mutt_mkdir() to recursively create the directories we need.

lib: add mutt_mkdir

Make directories recursively

docs: fix docbook validation

contrib: fix vim syntax file for index-color commands

color higlighting of muttrc file in vim was not correct
for entries like:

color index_subject color... color...  "!~D ~sSPAM"

This was problem for all colors specified like `color index_...`
from patch-index-color-neomutt

Closes #289

Add option for missing subject replacement

If you replied to an email which had no subject, then mutt defaulted to
the hard-coded string "Re: your mail".

This has been replaced by a config variable '$empty_subject'

Closes #299

contrib: add .editorconfig

Closes #313

build: Kill any references to strdup

Closes #296

build: Start migrating to stdbool logic

C99 has <stdbool.h> which defines true and false.

Closes #291

Support of relative paths sourcing and cyclic source detection

Added HEAP/FILO structure and global singleton to contain the the list
of config files that have been sourced, and detect cyclic sourcing.
Implemented with a simple heap API:

- `path_heap_push()`
- `path_heap_pop()`
- `path_heap_front()`
- `path_heap_find()`

Added a new method `to_absolute_path()` to convert a path into an absolute
path, relatively to another config file's path. Using POSIX methods to
do so, adding libgen's header in `mutt.h`.

Closes #282
Closes #290

Support of multiple config files as CLI arguments

- changed the Muttrc global to a LIST*
- set it up to parse in order of parsing
- updated AliasFile to be a LIST* as well

Closes #234

docs: Describe the new message ranges

Closes: #311

fix: minor bugs in relative-msgno

A locale problem with the regex code caused some character classes to
not work.

Fix a few typos

Extend the ~m pattern to allow relative ranges

The ~m pattern now accepts absolute ranges, relative ranges and has some
mnemonics (shortcuts).

There are shortcuts for some emails:
    ^   First email
    .   Current email
    $   Last email

These shortcuts can be used anywhere a number is used in the examples
below.

Relative ranges have a comma ',' in them:
    -3,.    Previous 3 emails plus the current one
    .,$     Current email and all the later ones
    -2,2    Previous 2, current and next 2 emails
    0,1     Current and next email

Absolute range:
    3-10    Emails 3-10
    -10     Emails 1-10
    10-     Emails 10-last
    7       Just email 7

Closes: #269
Closes: #283

Implement SASL's PLAIN mechanism as a standalone authenticator

Closes: #232

docs: add documentation for -DS command line switch

Add support for sensitive config options

Add a `-S` option to `mutt -D` to hide the value of sensitive config,
such as passwords.

Closes: #236
Closes: #302

Fix sorting when using '/' as a namespace separator

Closes: #301

merge: notmuch search windows

 * Searching with a window over notmuch vfolders
 * Fix of the sidebar item highlight when matched by current search
 * Makes the sidebar show the real msg count on the current mailbox
 * Add doxygen documentation comments
 * Improving the API naming and typing

Closes: #285

Improving the API naming and typing

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

Add doxygen documentation comments

Makes the sidebar show the real msg count on the current mailbox

run a notmuch count when loading values for the currently highlighted
mailbox when drawing the sidebar up, to show the request's total number
instead of just the window's number.

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

Fix of the sidebar item highlight when matched by current search

Because searches done manually (or shifted with a window) have an
absolute path to the current Maildir within the URI, whereas the one
declared with the virtual-mailboxes command usually have implicit
Maildir path specification, this patch parses the given URL of a mailbox
and re-builds it to contain the full path.

For that purpose has been added:

- nm_normalize_uri() function

Has been modified:

- get_query_string (in mutt_notmuch): earned an argument to disable
  adding of a window in the context of the nm_normalize_uri function.
- mutt_parse_virtual_mailboxes: the path value is sent through the
  nm_normalize_uri() function to be normalized.

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

Searching with a window over notmuch vfolders

following up on #278

Instead of adding a new command for searches that will result in
windowed searches, this commit patches a lower function of the search
mechanism, the `get_query_string()` function.

There, any search is buffered in the `nm_query_window_current_search`
global variable. And a newly introduced non-exposed function
`window_query_from_query` is taking a `data->db_query` and adds a
`date:` field implementing the window.

That function won't add a `date:` field if there's no duration set or if
there's already a date field in the query (to avoid risks of an empty
intersection).

To disable the feature, just set `nm_query_window_duration` to `0`.

Finally, only two public functions are exposed:

- `vfolder-window-forward`
- `vfolder-window-backward`

to slide the window over the search.

The improvements over #278 implementation is that now it's working with
any search done with notmuch, whether it's a `virtual-mailbox` or using
the `vfolder-from-query` command.

Have been removed:

- `windowed-vfolder-from-query`

Have been renamed:

- `windowed-vfolder-forward` -> `vfolder-window-forward`
- `windowed-vfolder-backward` -> `vfolder-window-backward`

docs: remove reference to missing keybinding

Thanks to Vrihub on GitHub for spotting the mistake.

[ci skip]

doc: fix typos in section on config locations

[ci skip]

reformat the source to mutt standards

reindent - 2 spaces
braces {} on new line
indent case statements
bracket logic - () around complex bools
rename static functions - drop "nm_" prefix
move functions - static first
move mx_ops functions to end
fix typos
reorder includes
add some doxygen comments

NeoMutt 2017-01-13 (1.7.2)

merge: translations

 * L10N document PGP/SMIME options
 * don't wrap messages
 * update German translation
 * update Spanish translation
 * sync po files to source

sync po files to source

update Spanish translation

update German translation

don't wrap messages

L10N document PGP/SMIME options

Revert "Searching with a window over notmuch vfolders"

This is the first version of Bernard's search windows.
As the final version is slightly different, I'm removing it from this
release to save confusion.

This reverts commit 426f0c27b1e3a0458405c87b7a0270f451f49bea.

docs: tidy $status_chars description

notmuch: drop strndup, replace with mutt_substrdup

Closes: #242

fix coverity warnings

Closes: #286

build: fix function prototypes

Allow custom status flags in index_format

The commit introduces the variable $flag_chars.
It allows the user to customise the status flags show in the index.
$flag_chars affects both %S and %Z.

$flag_chars defaults to "*!DdrONon- "

Char  | Default | Description
------|---------|----------------------------------------------
1     | *       | The mail is tagged
2     | !       | The mail is flagged as important
3     | D       | The mail is marked for deletion
4     | d       | The mail has attachments marked for deletion
5     | r       | The mail has been replied to
6     | O       | The mail is Old (Unread but seen)
7     | N       | The mail is New (Unread but not seen)
8     | o       | The mail thread is Old (Unread but seen)
9     | n       | The mail thread is New (Unread but not seen)
10    | -       | The mail is read - %S expando
11    | <space> | The mail is read - %Z expando

Closes: #275

Searching with a window over notmuch vfolders

When searching over a very large result, the result will be very slow for mutt
to load. So, inspired by sup's feature to iteratively load the results, I figured
adding a couple of commands to move an user set window backward/forward in time
could be useful. And a new command extending the default vfolder-from-query function
is being exposed.

The current window information is user settable, so the user can make a macro that
would do useful stuff about a search (like moving the window's position around, or
further tweaking current search).

* addition of four configuration variables, the first two are aimed at configuring
    the behaviour of the feature, the last two are exposing internals to make it
    hacking friendly:
  - nm_query_window_duration: duration for each window
  - nm_query_window_timebase: time base for each window
  - nm_query_window_current_search: the search being displayed as vfolder
  - nm_query_window_current_position: the current window's position
* addition of three bindable commands:
  - windowed-vfolder-from-query: execute a search with a window applied
  - windowed-vfolder-backward: move the window backwards in time
  - windowed-vfolder-forward: move the window forwards in time

Closes: #278

notmuch: make 'Folder' and 'Tags' respect (un)ignore

To get the previous behaviour, add this to your muttrc:

    unignore folder tags

Closes: #279

refactor mutt_matches_ignore

Previous function called mutt_matches_ignore is now mutt_matches_list.
mutt_matches_ignore now calls mutt_matches_list on Ignored and UnIgnored.

Naming is now consistent with functionality; simplified mutt_matches_ignore()
call makes writing correct conditionals easier.

Fixed invocations in parse.c, copy.c, and url.c

build: fix "make dist" target

fix: rework initials to allow unicode characters

Take a name, e.g. "John F. Kennedy" and reduce it to initials "JFK".
The function saves the first character from each word.  Words are
delimited by whitespace, or hyphens (so "Jean-Pierre" becomes "JP").

manually touch 'atime' when reading a mbox file

futimens is a new thing, coming from POSIX-2008, yet all modern Unices added
it almost immediately.  If it isn't implemented, silently ignoring that is
no worse than current state.

While performance issues related to atime updates have been greatly reduced
by relatime and lazytime, it is an abomination for other reasons: CoW
filesystems (btrfs, zfs, ...), CoWed VM images, deduplicating thin
provisioning, etc lose significant space for every snapshot.  It also causes
wear on flash-based storage prevalent on SoCs, and so on.  Thus, it is
prudent to mount everything with noatime.

There is only one real use for atime these days: new mail notification on
mbox files.  With only a limited number of readers (mutt is one), let's
do atime updates manually.

This can be done unconditionally: while redundant without noatime, there's
no performance loss as the inode will be dirty already in such case.

Closes: #272

docs: fix 301 redirects

merge: upstream fixes (mutt/default)

 * search muttrc file according to XDG Base Specification (closes #3207)
 * Fix loop terminator in in mutt_find_cfg().
 * Backout inlining of MUTT_VERSION in 42fee7585fae.
 * Revert changes made to mutt_find_cfg() in 3c6d322912e3
 * Improve openssl interactive_check_cert. (closes #3899)
 * Add mutt_array_size macro, change interactive_check_cert() to use it. (see #3899)
 * Return to pager upon aborting a jump operation. (closes #3901)
 * Change sidebar_spoolfile coloring to be lower precedence.
 * automatic post-release commit for mutt-1.7.2
 * Move '@' pattern modifier documentation to the right section.
 * Add setenv/unsetenv commands.
 * Rework OpenSSL certificate verification to support alternative chains. (closes #3903)
 * Remove unused OPS
 * Add option to control whether threads uncollapse when new mail arrives.
 * In the manual, replaced 2 para by example (similar to the first example).
 * Create mbchar_table type for multibyte character arrays. (see #3024)
 * Make to_chars and status_chars accept mulitibyte characters. (closes #3024)
 * sync xdg config file handling
 * sync Fromchars to upstream version

sync Fromchars to upstream version

sync xdg config file handling

Make to_chars and status_chars accept mulitibyte characters. (closes #3024)

Change Tochars and StChars to use the mbchars_table type introduced in
the last commit.

Create mbchar_table type for multibyte character arrays. (see #3024)

This type is to allow multibyte characters in to_chars and
status_chars while preserving efficient indexing to each character.

The arrays are tokenized during initialization, and are re-tokenized
as the values are unset, reset, and set.

In the manual, replaced 2 para by example (similar to the first example).

Add option to control whether threads uncollapse when new mail arrives.

Adds $uncollapse_new: when set, the default, a collapsed thread into
which a new message arrives will be uncollapsed to reveal the new
message.

Remove unused OPS

OP_MAIN_FIRST_MESSAGE and OP_MAIN_LAST_MESSAGE were added to the
code 19 years ago.  They weren't used then; they haven't been used since.

Rework OpenSSL certificate verification to support alternative chains. (closes #3903)

The way Mutt currently verifies SSL certificates using OpenSSL does
not support alternative chains, which may cause confusion when some
popular mail providers (e.g. Gmail) are used with specific sets of
trusted CA certificates.

Replace the "manual" verification done by mutt in
check_certificate_by_signer() with SSL_set_verify() using a callback.
OpenSSL then does the certificate verification, including properly
looking at alternative chains.  The callback still provides the
opportunity to override using ~/.mutt_certificates or an interactive
prompt.

Add setenv/unsetenv commands.

These can be used to add and remove environment variables passed to
children via mutt_system().

Commited by Kevin McCarthy with some cleanup.

Move '@' pattern modifier documentation to the right section.

Somehow, the patch got out of date and the documentation shifted to
another section.  Relocate back to the "Pattern Modifier" section.

automatic post-release commit for mutt-1.7.2

Change sidebar_spoolfile coloring to be lower precedence.

Give sidebar_new and sidebar_flagged higher precedence than
sidebar_spoolfile, so that new and flagged message colors will show up
for the spoolfile in the sidebar.

Thanks to Till Smejkal for the original patch.

Return to pager upon aborting a jump operation. (closes #3901)

Add mutt_array_size macro, change interactive_check_cert() to use it. (see #3899)

While I have reservations about the construct, it does make the
interactive_check_cert() menu->max and part loop less fragile.

Improve openssl interactive_check_cert. (closes #3899)

Don't use X509_NAME_oneline() with a fixed size buffer, which could
truncate the string, perhaps leaving off the CN field entirely.
Instead, work directly off the X509_NAME.

Rather than use strstr to tokenize it, call
X509_NAME_get_text_by_NID() with the nid types.  Although
X509_NAME_get_text_by_NID() is "legacy", it is the most directly
useful for mutt in this simple interactive prompt.

The function was set up to include the ST and C fields in the prompt,
but the loop limit was too low.  I believe this was an oversight, so
increase the loop to include those two fields.

Revert changes made to mutt_find_cfg() in 3c6d322912e3

The usage of MUTT_VERSION in mutt_find_cfg() was fine before the
commit: it wasn't using MUTT_VERSION inlined into a string with format
string substitution.

Revert to the version of mutt_find_cfg() before that changeset.

Backout inlining of MUTT_VERSION in 42fee7585fae.

If MUTT_VERSION contains a %, this will result in problems.

Fix loop terminator in in mutt_find_cfg().

Keep searching even if home is NULL.

search muttrc file according to XDG Base Specification (closes #3207)

First of all, the MUTT_VERSION symbol is now concatenated (when
possible) at compile time.

Then, the logic to find the config file has been changed a bit to remove
unnecessary calls to access(), so now each possible locations for the
config file is only tested once, and it stops as soon as a valid one has
been found. So instead of:

  access("/home/dkc/.muttrc-1.7.1", F_OK) = -1 ENOENT (No such file or directory)
  access("/home/dkc/.muttrc", F_OK)       = 0
  access("/home/dkc/.muttrc", F_OK)       = 0
  access("/home/dkc/.muttrc", F_OK)       = 0
  [... Tests for Muttrc ... ]
  access("/home/dkc/.muttrc", F_OK)       = 0

We now have:

  access("/home/dkc/.muttrc-1.7+13 (f658e517960e)", F_OK) = -1 ENOENT (No such file or directory)
  access("/home/dkc/.muttrc", F_OK)       = 0

It also cleans up the case where -F is passed on the command line but
points to a non-existent file by moving the error path closer to the
actual fail condition.

Finally, it adds partial support for the XDG Base Directory
Specification. mutt will now try to locate its config at:

  $XDG_CONFIG_HOME/mutt/muttrc-MUTT_VERSION
  $XDG_CONFIG_HOME/mutt/muttrc.

If XDG_CONFIG_HOME is not set, it will use '~/.config' as a default.

build: ignore some configure temp files

notmuch: add "virtual-unmailboxes" command

This new command removes virtual mailboxes (notmuch queries).

Closes: karelzak/mutt-kz#76
Closes: karelzak/mutt-kz#144

fix: some more places that may get NULL pointers

fix: don't reset the alarm unless we set it

build: add missing #ifdef for nntp

build: remove unnecessary #ifdef's

Several source files contain #ifdef's around all the code.
They aren't necessary -- their inclusion is handled by the Makefile.

build: fix check_sec.sh warnings

check_sec.sh checks for calls to malloc(), free(), etc.

fix: restore limit current thread

This feature was accidentally disabled by a bad merge.

build: generate devel version suffix

When developing, a typical version string might look like:

    NeoMutt 20161126-4-bee236-dirty (1.7.1)

Components:
- Date of last release
- Number of commits since release
- Git commit hash of last commit
- 'dirty' if there are uncommitted changes
- Upstream Mutt version

It's appended wherever a version string is displayed, e.g. "User-Agent:"

The version suffix (-4-bee236-dirty) is checked EVERY time you run make.
However, unlike the original version, changes will only require the
rebuilding of git-ver.c

To keep things simple for the downstream distros, there are some
limitations in place:

The NeoMutt date (20161126) and the upstream Mutt version (1.7.1) are
hard-coded into configure.ac and hence the Makefile.

The suffix will be empty if:
- git isn't present
- The source isn't in a git repo
- There aren't any "neomutt-*" tags

fix: increase the max lmdb database size

A user, with over 400,000 emails was getting the error:

    MDB_MAP_FULL: Environment mapsize limit reached

This commit increases the maximum database size to 2GiB.
The file is mmap(2)'d into memory, so mutt shouldn't actually use this
much memory.

Fixes: #267

build: Bail if a selected hcache backend cannot be found

fix: pick smarter default for $sidebar_divider_char

If the user hasn't set $sidebar_divider_char, then pick a character for
them, whilst respecting $ascii_chars.

Closes: #183