nntp: fix resource leak

Every $nntp_poll seconds, NNTP checks the file $newsrc
Unfortunately, it didn't release the file handle afterwards.

After a day's use, this would leak 1440 file handles leading most users
to the error "Too many open files".

Fixes: #204

nntp: use safe_{fopen,fclose}

use a more expressive coverity scan badge

replace the ugly strfcpy() macro with a function

NeoMutt 2016-10-14 (1.7.1)

build: update references to 1.7.1

docs: update notmuch references

fix updates when pager is open

This is an update to #19 - new-mail doesn't fire if pager open

Issue #19 changed NeoMutt so that it would notify the user of incoming
mail, even when they were in the pager.  However, there was one case
where it didn't work -- new mail arriving in the current mailbox.

fix crash when neither $spoolfile, $folder are set

When neither $spoolfile, nor $folder are set realpath() is passed a NULL
parameter.  On MacOS, this crashes whereas the glibc version returns
NULL.

Fixing this, revealed other problems in mx_open_mailbox() and the
Sidebar.  These were caused by empty paths.

Fixes: #187

sidebar: Make sure INBOX appears first in the list.

This affects (and makes consistent) the order of folders in the sidebar
and the folder browser.

Closes: #190

forgotten-attachment: fix empty regex expression

The original regex was of the form "abc(|def)" to check for both "abc"
and "abcdef".  Unfortunately, the regex libraries on BSDs/MacOS don't
like this use of an empty sub-expression.

Expanding the regex to: "(abc|abcdef)" fixes the problem.

Fixes: neomutt/homebrew-neomutt#15

merge: upstream fixes (mutt/default)

 * Preserve forwarded attachment names in d_filename.
 * Updated Czech translation.
 * Mark IMAP fast-trash'ed messages as read before copying. (see #3860)
 * automatic post-release commit for mutt-1.7.1

automatic post-release commit for mutt-1.7.1

Mark IMAP fast-trash'ed messages as read before copying. (see #3860)

Regular copying/saving messages in mutt via a UID COPY first calls
imap_sync_message().  However that function is designed to sync all
flags (including deleted), and so isn't useful for the fast-trash
code.

As an easier solution, instead add a UID STORE to set \\Seen for the
same msgset as the trashed messages.

Updated Czech translation.

Preserve forwarded attachment names in d_filename.

When forwarding an attachment with an non-ascii name, mutt_copy_body()
mangles the filename when calling mutt_adv_mktemp.  Preserve
the original attachment filename in d_filename.

Remove the double copy of b->filename, which is a memory leak.

fix: status-color when pager_index_lines > 0

mutt_pager() was missing a call to mutt_draw_statusline().

Fixes: #189

fix buffer underrun when no menu item is selected

notmuch: Synchronise tags to flags

Currently, flags are synced to tags, but the reverse isn't true. If you
mark a mail as unread "the mutt way", you'll be able to find this mail
using tag:unread, however if you remove the tag unread, the flags aren't
adjusted, and it's still marked unread in mutt.

This functionality is provided by notmuch, but means that any mail has
to be synced to disc when the labels are modified, which conflicts with
the way synchronisation to disk works in mutt.

To solve this properly, it's best to just check if the changes performed
in the tags involve some flags handled by mutt, and if so, update the
header in mutt. When mutt syncs to disc, the flags will be adjusted on
disc as well.

Some remarks:

- The parsing code is currently duplicated. I'll fix this.
- The labels are currently hard-coded. It seems like notmuch doesn't
  allow customisation of these labels, but mutt-kz does for unread.
- The draft and passed labels are currently ignored, as they aren't
  handled by mutt.

Closes: karelzak/mutt-kz#148

fix: crash handling keywords/labels

When an email is read by NeoMutt the labels are stored in linked list of
strings.  These strings are used as keys in a hash table of all labels.

If NeoMutt reads another email with the same label, it's given a
reference to the same hash.

Now imagine that the first email is deleted -- the list of labels is
also deleted, so that hash now has invalid keys.

This commit maintains a linked list of all labels and uses that for the
hash table keys.  It's not very efficient, but it avoids having to
change the hash table code.

Note: dgc (the keywords author) has created a new version which will
supplant this one, soon.

Fixes: #164

fix: strfcpy() improvement

A quick string copying history.

In the beginning was: strcpy (DST, SRC);
If the SRC was bigger than DST, then bad things happened.

Then came: strncpy (DST, SRC, LEN);
If SRC is longer than LEN, then the string in DST isn't NULL terminated.
Bad things happened.

Next, Mutt created a macro strfcpy() based on the BSD function.  It
guarantees a length limit AND a NULL termination.

    #define strfcpy(DST,SRC,LEN) strncpy(DST,SRC,LEN), *(DST+(LEN)-1)=0

Because of the way it works, it triggers a warning in Coverity (a static
analysis tool).  It fills DST (without NULL), then writes the NULL.

My testing shows it works correctly, but I may missed something.

    #define strfcpy(DST,SRC,LEN) do { if ((LEN) > 0) { *(DST+(LEN)-1)=0; strncpy(DST,SRC,(LEN)-1); } } while (0)

NeoMutt 2016-10-03 (1.7.0)

Merge pull request #175 from gahr/neomutt

build: fix "make install"

build: fix "make install"

build: fix "make dist"

A renamed file broke the build.

NeoMutt 2016-10-02 (1.7.0)

merge: upstream fixes (mutt/default)

 * Fix gpgme segfault when querying candidates with a '+' in the address. (closes #3873)
 * Use body color for gpgme output. (closes #3872)
 * Check for NULL mx_ops in mx.c
 * Mark some gpgme pgp menu keybinding translations as fuzzy. (closes #3874)
 * Don't abort the menu editor on sigwinch. (closes #3875)
 * Clear pager position when toggling headers.
 * Reset invalid parsed received dates to 0.  (closes #3878)
 * RFC2047-decode mailto header values. (closes #3879)
 * RFC2047-decode mailto url headers after RFC2822 parsing. (closes #3879)
 * Ensure signatures exist when verifying multipart/signed emails. (closes #3881).

Ensure signatures exist when verifying multipart/signed emails. (closes #3881).

TAKAHASHI Tamotsu reported that when gpg2 isn't in PATH, the
gpgme_op_verify() won't return an error, but instead will return a
result with no signatures.

verify_one() was only returning an error if a signature actually
failed, so in this case the function was defaulting to returning
success.

Other callers of gpgme_op_verify() check to make sure the
result->signatures exist before processing signatures.  Add a check
for verify_one() too.

RFC2047-decode mailto url headers after RFC2822 parsing. (closes #3879)

Commit 55819a7e6169 performed the RFC2047 decode before the parsing.
This works okay for headers such as subject, but for others such as
address fields could lead to parsing errors.

Change to perform a decode on envelope headers after all the calls to
mutt_parse_rfc822_line(), using the same list of fields as
mutt_read_rfc822_header().

Change the do_2047 parameter of mutt_read_rfc822_line() to true, so
that user headers are decoded if needed.

RFC2047-decode mailto header values. (closes #3879)

RFC 6068 specifies that the header values (with the exception of body)
may contain RFC 2047-encoded values.

Reset invalid parsed received dates to 0.  (closes #3878)

The actual problem in the ticket would be solved by d3f31cf9239e (see
#3798).  However there is still the bug that Mutt considers a
(hdr->received != 0) to be set and usable, despite not checking the
return value of mutt_parse_date().

Change mutt_read_rfc822_header() to unset an invalid received value
back to 0.  We don't do this inside mutt_read_rfc822_line() because
that would cause the next received line to be parsed.

Clear pager position when toggling headers.

It doesn't make sense to try to preserve the pager position when
toggling headers: the purpose of toggling headers is to see the
headers in full or weeded state.  So, reset the position back to the
top.

Don't abort the menu editor on sigwinch. (closes #3875)

getch() will return ERR on sigwinch when timeout() is called with a
positive value.  mutt_getch() will therefore return ch==-2 for both a
timeout and a sigwinch in this case.

The imap code in km_dokey() exits out of the ImapKeepalive loop for a
SigWinch, and was skipping past the check for MENU_EDITOR and
tmp.ch==-2.  Move this check below the gotkey: label so the
ImapKeepalive loop behaves the same as the Timeout code.

Thanks to nicop for reporting the problem and for the initial patch!

Mark some gpgme pgp menu keybinding translations as fuzzy. (closes #3874)

Some translations for crypt-gpgme.c are marked as fuzzy but the keybindings
attached to these translations are not, this creates confusions for the users
who see the english message but have the keybindings for a message in their own
language available.

As long as the translations are fuzzy, the keybindings should stay fuzzy.

Check for NULL mx_ops in mx.c

Eike Rathke reported this happening when in an IMAP index view the
underlying connection was terminated, ctx->mx_ops was NULL and thus
accessing ctx->mx_ops->check segfaulted.

Thanks also to Eike Rathke for the initial patch, for which I expanded
the checks to other functions.

Use body color for gpgme output. (closes #3872)

When switching from pgp_* commands to crypt_use_gpgme=yes, Peter
Colberg noticed that the output was colored 'brightyellow'.

The issue is that crypt-gpgme.c uses state_attach_puts in various
places where it should use state_puts to maintain compatibility with
the previous behavior in pgp.c.

Fix gpgme segfault when querying candidates with a '+' in the address. (closes #3873)

list_to_pattern() was not allocating enough space for the '+' to '%2B'
transformation.

docs: fix notmuch vim syntax file

build fix for strndup / malloc

Some systems don't have strndup() and rely on our version.
I changed it to use Mutt's safe_malloc(), but unfortunately it gets
compiled into some tools which don't have that function.

travis: install the kyoto-cabinet dev files

Now, we will be able to test the kyoto build automatically.

docs: fix the alignment in a 'nested-if' example

fix a typo in the version string

fix: change gcc build options to prevent crashes

A GCC optimisation "-O2" enables "-fdelete-null-pointer-checks" which
was causing some pointer checks to be optimised out of the code.
This was causing some crashes, most notably in the pager.

fix: bulletproof the pager

Put some more checks into the pager, just in case the Context
disappears, e.g. when a network connection goes down.

build source before docs

The Makefile tried to build the docs before the IMAP source.
Change the build order to prioritise the code.

fixed typo of devel mailinglist name

added Mailinglist mailto links to "Where is NeoMutt" section

quasi-delete: check there's a selection

If you created a vfolder with no contents, then tried to quasi-delete
something, it would crash.

docs: fix the layout of the syntax file

docs: make the license clear to github

Fixes repaint problem with $pager_index_lines #159

Commit 6b4c4ca changed the behaviour of mutt_pager to build the
pager index even if pager_index_lines was set to 0 to (fixing #143).

The code redrawing the pager status line was relying on the pager index
being NULL to determine if a redraw should take place. Now
index_window->rows is used as an additional safeguard.

Also added a check if pager index is set to the terminal status line
update code as it was unguarded and old default behaviour might be
introduced later.

Fixes #159

merge: feature compose-to-sender

 * add ident to PATCHES
 * feature: compose-to-sender
 * Add compose-to-sender documentation

Closes #30

Add compose-to-sender documentation

feature: compose-to-sender

Compose a new email to the sender.
This works on tagged messages too.

add ident to PATCHES

Optimize LMDB's hcache backend.

Thanks to Clemens Lang for his help with the fix.

See: https://dev.mutt.org/trac/ticket/3691
Closes: #77

merge: feature kyoto-cabinet

 * add ident to PATCHES
 * feature: Add Kyoto Cabinet header cache
 * doc: Document the Kyoto cabinet hcache backend

doc: Document the Kyoto cabinet hcache backend

Additionally, fix a couple of references in other parts of the
documentation that now also work with Kyoto Cabinet (and LMDB).

feature: Add Kyoto Cabinet header cache

Tokyo Cabinet's website now "strongly recommends" using Kyoto Cabinet
instead of Tokyo Cabinet because it claims to be superior. Add Kyoto
Cabinet as an option.

In some preliminary testing, the performance seems to be on-par with
Tokyo Cabinet, but not better. Kyoto Cabinet seems to need a little more
space, but the difference is probably not significant.

Signed-off-by: Clemens Lang <neverpanic@gmail.com>

add ident to PATCHES

Change 'attach_keyword' option from string to regex

A regular expression is much more useful than a single word to check for
forgotten attachments, especially when writing in multiple languages.

This is inspired by the muttng patchset abort_noattach [1], which I use
for years, but newly implemented to make minimal changes to the neomutt
source code.

The keyword is no longer mentioned in the error message as regular
expressions tend to be longer.

The option 'attach_keyword' could be renamed 'attach_remind_regex' as in
the muttng patch.

[1] https://github.com/codito/muttng-patchset/blob/master/patches/muttng.abort_noattach.diff

Closes: #138

docs: Add badges to README.neomutt

Added travis build status, coverity status and license badges to
README.neomutt

Sensible-browser behaviour fixes

 * Feedbacks highlighted issues in menu position when people switch
   between mailboxes mode and browser mode.
 * A preferred behaviour is to have 'c?' display $folder in "local" mode
   if existant on startup. For IMAP, we keep using the current directory
   in any case.
 * A '=' binding have been added:
   When in browser mode, not in mailboxes mode, '=' allows to jump back to
   $folder from anywhere one is. It stores in a variable the place the
   user was. Another hit on '=' will bring him back. When a new directory
   is explored, the variable is purged.
 * Closes #146

fix build of neomutt-syntax.vim

NeoMutt 2016-09-16 (1.7.0)

fix notmuch tag completion

Notmuch tags that contained a dash (-) confused the auto-completion.

Given tags of "neo-red", "neo-green", "neo-blue", tests:
    n<tab>      Generates: neo-
    neo-<tab>   Cycles through the three tags

The +/- before the tag are optional.
With neither, notmuch will assume +

Fixes #124

fix sidebar sort order

Collate the sidebar mailboxes for a more natural sort order.
A sorted sidebar will now match a sorted browser.

e.g.
    Old Sort    New Sort
    --------    --------
    _apple      Apple
    _Banana     _apple
    _Cherry     banana
    _damson     _Banana
    Apple       Cherry
    banana      _Cherry
    Cherry      damson
    damson      _damson

fix: make the pager more robust

Make sure that the Context is always checked before use.
Zero a HEADER struct allocated on the stack.

nntp: close message handles

Possible fix for #125

doc: Removes bug entry in new-mail docs

Bug #19 (new-mail doesn't fire if pager) was fixed upstream on commit
(4ed2b6f). We remove their mention of known-bugs in the documents

Revert "doc: Removes bug entry in new-mail docs"

This reverts commit 49f2effbce887a2d1e7cc88146dd48cfd987a4cb.

This commit accidentally included a stray patch file.

doc: Removes bug entry in new-mail docs

Bug #19 (new-mail doesn't fire if pager) was fixed upstream on commit
(4ed2b6f). We remove their mention of known-bugs in the documents

fix some translations in crypt-gpgme.c

Some translations for crypt-gpgme.c are marked as fuzzy but the keybindings
attached to these translations are not, this creates confusions for the users
who see the english message but have the keybindings for a message in their own
language available.

As long as the translations are fuzzy, the keybindings should stay fuzzy.

Debian bug: http://bugs.debian.org/837673
Upstream mutt issue: http://bugs.mutt.org/3874

merge: upstream fixes (mutt/default)

 * Remove the $locale configuration variable.
 * Add $attribution_locale configuration variable.
 * Add missing include <locale.h> to send.c and edit.c.
 * Filter out zero width no-break space (U+FEFF).
 * Update a confusing and obsolete comment.
 * Moves mutt_copy_list to muttlib.c, where it belongs.
 * Redraw screen after an SSL cert prompt
 * Preserve message-id and mft headers for recalled messages. (closes #3081)
 * Fix openssl 1.1 compilation issues. (closes #3870)

Fix openssl 1.1 compilation issues. (closes #3870)

With these changes, Mutt will no longer compile for versions less than
0.9.6.

Preserve message-id and mft headers for recalled messages. (closes #3081)

Git patch creates a patch series mailbox, including the Message-ID.
Using this as draft files was removing the Message-ID, and thus
breaking the threaded structure.

The second part of the ticket has already been addressed by
95a2230ef889 (for ticket 3653).

Thanks to Chris Webb for the original patch.

Redraw screen after an SSL cert prompt

Moves mutt_copy_list to muttlib.c, where it belongs.

Update a confusing and obsolete comment.

This 2004 comment in sort.h predicted what has recently come to pass, so
I'm reframing it just to document for future devs what's going on with
this oddball flag.

Filter out zero width no-break space (U+FEFF).

Add missing include <locale.h> to send.c and edit.c.

Add $attribution_locale configuration variable.

$attribution_locale replaces the just removed $locale, but is only
used for customizing the LC_TIME locale used for dates in
$attribution.

This could be useful in conjunction with folder or send-hooks for
recipients in different locales.

Remove the $locale configuration variable.

$locale was only used to set the LC_TIME locale.  Unfortunately, Mutt
previously defaulted to using "C".  This overrode the user's locale
setting and forced them to re-specify their locale inside their
.muttrc.

Remove $locale and instead use the locale specified by the
environment.  Mutt still allows "C locale" dates by using a leading
"!" in $date_format, ${}, etc.

Another use of $locale was to customize attribution dates using hooks.
The next commit will introduce $attribution_locale, which can be used
for this instead.

Thanks to Derek Martin for the original patch!

fix another crash in the pager

This commit prevents the crash.
A better solution will require more thought.

Fixes: #144

fix crash when exiting the pager

Make sure we've always got a menu pointer.
This is a fix for commit:
    "check for new mail while in pager when idle"

Fixes: #143

Fix off-by-one in error message

Closes: #139

Fix buffer overrun in search for attach keyword

Regression introduced by 395911ea4c20e57f121cb169e0f2083ff5e1ae33.

In the process of tidying

    char* lowerKeyword = malloc(strlen(AttachKeyword)+1);
    ...
    for (i=0; i <= strlen(AttachKeyword); i++)

was changed to

    int klen = mutt_strlen (AttachKeyword) + 1;
    ...
    char *lowerKeyword = safe_malloc (klen);
    ...
    for (i = 0; i <= klen; i++)

Now that klen is the actual allocation length, instead of the string
length, the loop comparison needs to be adjusted accordingly.

Closes: #142

fix AC_INIT tarname parameter

By specifying 'neomutt' as the tarname, the docs and translations were
being installed in wrong places.

Note: distdir is overridden in Makefile.am so that we still get a
neomutt tarfile on "make dist".

Add unsidebar_whitelist command.

This pairs with the sidebar_whitelist command, and operates like the
other "un..." list commands.

Fix sidebar documentation a bit. (closes #3859)

Sidebar_whitelist is a command, not a variable.  Also add a blurb about what it does.

Fix the sort order for $sidebar_divider_char and $sidebar_delim_chars.

docs: mass tidy up

 - tidy muttrc.*
 - tidy vimrc.*
 - sync muttrc to main manual
 - add better xml escaping
 - fix whitespace in muttrc/vimrc/manual
 - refer to features rather than patches
 - fix lots of spelling mistakes
 - sort manual sections
 - add README.notmuch to dist
 - drop unnecessary sample.colors.attach_headers
 - install sample muttrc files
 - add mutt-1.7.0-syntax.vim from vim repo
 - generate neomutt-syntax.vim from features' vimrc files
 - install neomutt-syntax.vim

Avoid segfault when listing mailboxes on startup.

When mutt is started with the -y flag, _mutt_select_file() is called while
CurrentFolder is a null pointer. If that's the case, we shouldn't try to use
it.

Closes: #137

NeoMutt 2016-09-10 (1.7.0)

align the nntp code with mutt

Specifically, change mutt_strcasecmp() -> ascii_strcasecmp().

proposed fix for clearing labels

Debian bug #832971 -- The use claimed he couldn't reset labels.
I couldn't repeat the problem using his config.  He offered a patch that
he claimed fixed his problem.  Only one part of the patch actually did
anything (and only in a section of code dealing with SETTING labels).

Allow the user to interrupt slow IO operations

use fixed version strings

docs: fix incorrect link

merge: forgotten-attachment

 * add ident to PATCHES
 * Forgotten attachment
 * tidy code to mutt standards
 * Add docs for forgotten-attachments

Add docs for forgotten-attachments