fix: Don't set a colour unless it's been defined.

Some SETCOLOR's were being used without checking if the user had set the
colour, first.

If the user set the "normal" colours, then SETCOLOR would leave blocks
of unexpected colours.

Fixes #610

include mutt_regex.h in globals.h

Error observered
In file included from main.c:40:0:
globals.h:56:20: error: storage size of 'AttachKeyword' isn't known
 WHERE struct Regex AttachKeyword;
                    ^~~~~~~~~~~~~
globals.h:288:20: error: storage size of 'PgpGoodSign' isn't known
 WHERE struct Regex PgpGoodSign;
                    ^~~~~~~~~~~
Adding header include for mutt_regex.h.

Signed-off-by: Stefan Assmann <sassmann@kpanic.de>

check return value of fgets

Following warning was observed:
 init.c: In function 'mutt_init':
 mutt.h:53:15: warning: ignoring return value of 'fgets_unlocked', declared with attribute warn_unused_result [-Wunused-result]
  #define fgets fgets_unlocked

 init.c:4053:7: note: in expansion of macro 'fgets'
        fgets(buffer, sizeof(buffer), f);
        ^~~~~
Added code that checks return value.

Signed-off-by: Stefan Assmann <sassmann@kpanic.de>

devel-notes.txt replaced by docs on neomutt.org

The prepare script mentions doc/devel-notes.txt, which no longer exists.
Point to https://www.neomutt.org/dev/newbie-tutorial instead.

merge: upstream fixes (mutt/default)

 * Fix "format string is not a string literal" warnings. (closes #3949)
 * Enable TEXTDOMAINDIR override to make translation testing easier.
 * Change km_dokey() to return -2 on a timeout/sigwinch.
 * Fix tag-prefix to not abort on $timeout.
 * Restore setenv function.
 * Move setting of GPG_TTY to mutt_init(). (see #3948)
 * Add a mutt_endwin() before invoking $sendmail. (closes #3948)

Add a mutt_endwin() before invoking $sendmail. (closes #3948)

This is to support invoking a program such as msmtp that can use gpg
to decrypt a password.  The ncurses pinentry can corrupt the screen
unless we exit curses.

Move setting of GPG_TTY to mutt_init(). (see #3948)

This allows other programs mutt runs to use the ncurses pinentry if needed.

Restore setenv function.

Partially revert fa1192803257, restoring setenv.  It turns out we
still need the function.

Fix tag-prefix to not abort on $timeout.

If $timeout is set very low, then it can cancel the tag-prefix before
the user has time to press the desired command.

Change the code to set the tag flag, and then recontinue with normal
event processing instead.  Cancel on an abort, but continue with a timeout.

Thanks to Lauri Tirkkonen for reporting the issue.

Change km_dokey() to return -2 on a timeout/sigwinch.

In some cases, such as tag-prefix or _mutt_enter_string(), it is
desirable to be able to distinguish between a timeout/sigwinch event
and an input error/abort/ctrl-g.

Enable TEXTDOMAINDIR override to make translation testing easier.

If set, TEXTDOMAINDIR will point to a translation directory instead of
using the mutt installation directory.

Fix "format string is not a string literal" warnings. (closes #3949)

Mutt calls msgfmt with '-c' to verify that translation format strings
match, but it is still safer to indirect strings with no formatting
through %s.

fix translations

update Japanese translation

fix some remaining translation problems

build: fix make git_ver.h

By separating the lines, the version variable was getting lost.

build: fix make dist

small refactoring

* replace ESC_CHAR macro with function
* added braces to if logic to improve readability

github: simplify PR template

In a lot of PR's, either the question "Why is this PR needed" is removed
or answered very similar to "What does this PR do?". Therefore, i think
this can be removed.

[ci skip]

merge: Remove legacy support / notes

 * remove AIX code, as it's unsupported
 * doc: remove Ultrix note, as it's unsupported
 * remove notes about SunOS as it's discontinued
 * INSTALL: remove mutt notes for supported platforms

INSTALL: remove mutt notes for supported platforms

remove notes about SunOS as it's discontinued

doc: remove Ultrix note, as it's unsupported

remove AIX code, as it's unsupported

docs: remove reference to non-existent file

Fix crash if no from is set or founds

On multi folder mailbox setup and without a set 'From:' line in
~/.muttrc the mutt crash with SIGSEGV on a NULL pointer at
msg->env->from

Fixes: #577

Fix typos in 'color compose'

correct spelling mistake

correct spelling mistake

fix ifdef command

Recent changes to the output of `mutt -v` broke the `ifdef` command.

Tidy a couple of version strings.
Update all the examples in the docs.

Closes #607

unbind mappings before overwriting in vim-keys

As per #583, these must be unbound to prevent warnings.

build: allow xsltproc and w3m calls to fail

add missing changelog entry

NeoMutt Release 2017-06-02

merge: sync to mutt/stable

update translations

clang-format source

Update en_GB.po

Fixed translations of shortkeys in the PGP-menu

update mailmap

version: 2017-06-02

merge: fix some trivial problems

 * remove unused option: SmimeSignOpaqueCommand
 * remove unused macros
 * fix safe_calloc args
 * remove unnecessary include
 * rename a param that shadow's a global symbol
 * docs: fix sidebar howto examples

docs: fix sidebar howto examples

rename a param that shadow's a global symbol

remove unnecessary include

This was accidentally added by IWYU.
Rename some macro params to avoid the problem in future.

fix safe_calloc args

remove unused macros

remove unused option: SmimeSignOpaqueCommand

It was never used.

merge: upstream fixes (mutt/default)

 * Convert classic s/mime to space delimit findKeys output.
 * Add self-encrypt options for PGP and S/MIME.
 * Change $postpone_encrypt to use self-encrypt variables first.
 * automatic post-release commit for mutt-1.8.3
 * Add note about message scoring and thread patterns. (see #3947)

Add note about message scoring and thread patterns. (see #3947)

Because scoring occurs before the mailbox is sorted, thread patterns
don't work.  Document a suggested workaround of pushing the score
command in a folder hook.

Also, fix the link target for the score command synopsis.

automatic post-release commit for mutt-1.8.3

Change $postpone_encrypt to use self-encrypt variables first.

The concept of postpone encryption is similar to self-encrypting on
send.  The problem is the $postpone_encrypt_as option doesn't take
into account whether PGP or S/MIME is being used.

Since we need to add the new options for self-encryption, modify
$postpone_encrypt to use them by default instead, falling back to
$postpone_encrypt_as if they are unset.  Note $postpone_encrypt_as is
deprecated in the documentation.

Add self-encrypt options for PGP and S/MIME.

Add $pgp_self_encrypt, $pgp_self_encrypt_as, $smime_self_encrypt,
$smime_self_encrypt_as.

$pgp_sign_as and $smime_default_key are inappropriate to use, as they
specify signing key/certs.  In some cases, this is a different value
than the encryption key/cert.

Convert classic s/mime to space delimit findKeys output.

Unlike gpgme and classic pgp, smime used a "cert\ncert\n" pattern.
Convert to use a space-delimited format, so the self-encrypt option
code can be uniform across pgp, s/mime, and gpgme.

Do not try to create Maildir if it is an NNTP URI (#600)

Fixes #599

Add note about message scoring and thread patterns. (see #3947)

Because scoring occurs before the mailbox is sorted, thread patterns
don't work.  Document a suggested workaround of pushing the score
command in a folder hook.

Also, fix the link target for the score command synopsis.

fix: nntp group selection

Any fields of the URL that mutt_account_tourl() doesn't set are set to
NULL.  NNTP should set the path after the call.

mutt-1.8.3 signed

Added tag mutt-1-8-3-rel for changeset fe5275246e13

automatic post-release commit for mutt-1.8.3

Fail early if ncursesw cannot be found

Also, remove a leftover of when we used to have m4/curslib.m4.

Issue: #585

fix status color

An upstream change moved a block of code which neomutt had modified.
This lead to a mistake when merging.

Fixes #571

tidy up S/MIME contrib

docs: add missing docs for expandos

Update smime-notes.txt

Fix smime_keys_test.pl

Remove contrib/ca-bundle.crt

build: fix silent rules

NeoMutt Release 2017-05-26

sync translations

build: clang-format source code

update mailmap

version: 2017-05-26

build: drop silent rules

Older versions of make don't support the 'magic' that we need.

merge: upstream fixes (mutt/default)

 * Move the IMAP msn field to IMAP_HEADER_DATA. (see #3942)
 * Fix imap expunge to match msn and fix index. (see #3942)
 * Fix cmd_parse_fetch() to match against MSN. (see #3942)
 * Start fixing imap_read_headers() to account for MSN gaps. (see #3942)
 * Add msn_index and max_msn to find and check boundaries by MSN. (see #3942)
 * Properly adjust fetch ranges when handling new mail. (see #3942)
 * Small imap fetch fixes. (see #3942)
 * Don't abort header cache evaluation when there is a hole. (see #3942)
 * Fix mfc overflow check and uninitialized variable.
 * Fix potential segv if mx_open_mailbox is passed an empty string. (closes #3945)
 * Don't clean up idata when closing an open-append mailbox.
 * Don't clean up msn idata when closing an open-append mailbox. (see #3942)
 * Fix memory leak when closing mailbox and using the sidebar.
 * Change imap body cache cleanup to use the uid_hash.

Change imap body cache cleanup to use the uid_hash.

This should speed up $message_cache_clean cleanup when syncing.

Fix memory leak when closing mailbox and using the sidebar.

The code updating the sidebar counts decremented the msgcount, but did
not set it back to the original value.  Which means fastclose was not
freeing all the headers.

Update the sidebar only when something is deleted, since I don't
believe it's required otherwise and the code is a bit cleaner that
way.

Don't clean up msn idata when closing an open-append mailbox. (see #3942)

This is a continuation of commit 59a2125b49f2 with changes made in the
default branch.

Thanks again to Will Yardley for helping test the imap read-headers
changes and discovering this bug.

Don't clean up idata when closing an open-append mailbox.

open-append borrows the idata just for the connection.  The "mailbox
specific" part of the idata may be being used by a normal
open-mailbox.

Don't free the idata "mailbox specific" part when closing an
open-append mailbox.

Thanks to Will Yardley for discovering the bug as part of testing the
revised IMAP fetch_headers code (in the default branch).

Fix potential segv if mx_open_mailbox is passed an empty string. (closes #3945)

If path is "", ctx->path will be NULL.  realpath() generally will segv
if the first parameter is NULL.

Fix mfc overflow check and uninitialized variable.

The check borrowed from mx_alloc_memory() works because it is
incremented 25 at a time.  I don't believe it will work for the direct
set case used in imap_alloc_msn_index().  Instead, use a more
conservative check.

In imap_read_headers(), make sure mfhrc is initialized.  It would be
tested without being set if imap_cmd_step() returned OK right away.

Don't abort header cache evaluation when there is a hole. (see #3942)

Instead, find the first missing MSN and generate a more complicated
sequence set specifying the missing ranges.

This removes the assumption that the header cache query returned
results in MSN order.

Small imap fetch fixes. (see #3942)

Add an integer overflow test, pulled from mx_alloc_memory(), since the
count comes from a potentially hostile server.

After reviewing the RFC a bit, it turns out the server is not supposed
to send EXPUNGE responses during a FETCH.  Change the comment, but
keep the conservative code.

Properly adjust fetch ranges when handling new mail. (see #3942)

When pulling down headers, it is possible for expunge responses to
happen too.  If we get a new mail count, we need to take into account
changes to the max_msn due to the expunges.

Add msn_index and max_msn to find and check boundaries by MSN. (see #3942)

Since there can be gaps in MSNs, the largest MSN in the context is not
necessarily ctx->msgcount.

Use max_msn instead of ctx->msgcount for:
  - the starting MSN of new mail header fetching
  - boundary checking in fetch, expunge, and other places

Use msn_index to efficiently look up headers by MSN.  This makes the
expunge code slightly more efficient.  It also makes FETCH handling, and
duplicate FETCH FLAG handling efficient.

Start fixing imap_read_headers() to account for MSN gaps. (see #3942)

Change the parameters to pass MSN instead of index, to make a bit
simpler.

Change header cache evaluation to look at the largest MSN retrieved
instead of ctx->msgcount for the next fetch start point.  This still
depends on the assumption that MSNs are retrieved in ascending order,
which needs to be fixed.

Simplify the header cache inner loop termination and memory cleanup
logic.  Fix a memory leak if a hole in the header cache occured.

Fix the header retrieval logic to take into account MSN gaps in the
results.  Loop only as long as we get IMAP_CMD_CONTINUE instead of
over a fixed count.  Simplify the inner loop termination and memory
cleanup logic too.

Simplify the "new mail while fetching" logic by creating a third outer
loop to handle re-fetches.

Fix msg_fetch_header() to return -2 if msg_parse_fetch() encounters a
corrupt FETCH response.  Previously it would pass on the rc of
msg_parse_fetch(), meaning it would return -1 even though the response
was corrupt.

Fix cmd_parse_fetch() to match against MSN. (see #3942)

Fix imap expunge to match msn and fix index. (see #3942)

The expunge needs to match against the MSN now.  Since
cmd_parse_expunge() does not automatically fix h->index anymore,
change imap_expunge_mailbox() to fix up the h->index values.

Move the IMAP msn field to IMAP_HEADER_DATA. (see #3942)

Ticket 3942 revealed that it is possible for a FETCH to have gaps in
the MSN numbers of the results.  The code makes many assumptions that
equate context index counts and MSN.  This is the first in a series of
commits fixing that assumption.

The header->index field is supposed to hold the SORT_ORDER index
number of the message.  If there are gaps in the MSN, than the highext
MSN can in fact be out of the range 0..ctx->msgcount-1.

After studying the code, I believe curs_main.c would actually work
with header->index values out of the range, at least for IMAP.  But
some other parts of the code, such as mutt_reopen_mailbox(), do rely
on the values being a valid index to ctx->hdrs[].  And the
intertwining of menu->oldcurrent with header->index values makes me
nervous about future changes.

So, to be safe, move the MSN to its own field in IMAP_HEADER_DATA.

The next commit will fix the EXPUNGE behavior.

Fix memory leak when closing mailbox and using the sidebar.

The code updating the sidebar counts decremented the msgcount, but did
not set it back to the original value.  Which means fastclose was not
freeing all the headers.

Update the sidebar only when something is deleted, since I don't
believe it's required otherwise and the code is a bit cleaner that
way.

tidy wcscasecmp

Remove some unnecessary variables.

drop obsolete forget option

The rest of the code for this obsolete option was dropped a while ago.

fix some bools

Replace 0/1 with false/true

add names prototype arguments

Header files are easier to understand if the arguments are named.
e.g., replace:
    int mutt_copy_stream(FILE *, FILE *);
with:
    int mutt_copy_stream(FILE *fin, FILE *fout);

abbreviate pointer tests against NULL

Replace:
    if (x == NULL)  ->  if (!x)
    if (x != NULL)  ->  if (x)

The conditions have only been changed for variables, not functions, e.g.
    if (fn(x) == NULL)

initialise pointers to NULL

reduce the scope of for loop variables

Quite often, the loop variable in a 'for' loop isn't used elsewhere.
C99 allows us to reduce the scope to *just* the 'for' loop.

run clang-format on the code

This commit only changes the formatting, nothing else.
It tidies up after all the renaming that's happened.

doc: fix doc

By renaming all the structs in *.[ch], I broke the doc build which is
perl.

Don't clean up idata when closing an open-append mailbox.

open-append borrows the idata just for the connection.  The "mailbox
specific" part of the idata may be being used by a normal
open-mailbox.

Don't free the idata "mailbox specific" part when closing an
open-append mailbox.

Thanks to Will Yardley for discovering the bug as part of testing the
revised IMAP fetch_headers code (in the default branch).