Fix rv assignment in mutt_window_mvprintw(). (closes #3964)

Mutt doesn't check the return value, so this wasn't causing a bug, but
was incorrect.

Thanks to dcb314 for reporting the issue.

Fix fp resource leak. (closes #3965)

Thanks to dcb314 for reporting the issue.

Fix the new certificate prompt translations.

The Esperanto, Dutch, and Czech po files weren't updated in time for
1.9.  Fix the certificate prompt translations by adding a "(s)kip"
choice.  Otherwise the prompts would not be functional.

Updated Japanese translation

Updated Catalan translation

Updated Danish translation

Updated German translation

Updated Russian translation

Updated Ukrainian translation

build: substitute-in package version

refactor nntp setup

Reorder the code so that NewsServer is only set once.

build: drop unused test/symbol ICONV_NONTRANS

tidy: fix whitespace

merge: upstream fixes (mutt/default)

 * Create ATTACH_CONTEXT to hold attachment index. (see #3728)
 * Change helpers functions to pass actx. (see #3728)
 * Add helpers to add and remove actx entries. (see #3728)
 * Change recvattach to allow nested encryption. (see #3728)
 * Add virtual index to actx. (see #3728)
 * Fix the expand/collapse code to use the virtual index. (see #3728)
 * Fix shared attachment functions. (see #3728)
 * Fix attachment check_traditional and extract_keys operations. (see #3728)
 * Add edit-content-type helper and warning for decrypted attachments. (closes #3728)
 * Fix parent_hdr usage in mutt_attach_reply(). (see #3728)
 * Add option to run command to query attachment mime type. (closes #2933) (closes #3959)

Add option to run command to query attachment mime type. (closes #2933) (closes #3959)

Add $mime_type_query_command to specify a command to run if the
attachment extension is not in the mime.types file.

Add $mime_type_query_first to allow the query command to be run before
the mime.types lookup.

Fix parent_hdr usage in mutt_attach_reply(). (see #3728)

If the selected attachments are not messages and no (common) parent is
found, parent_hdr is set to the passed in hdr.  In that case, parent
will still be NULL, but parent_hdr and parent_fp will be set.

Change the test to parent_hdr being NULL, not parent, to check for
this case.

Add edit-content-type helper and warning for decrypted attachments. (closes #3728)

Regenerating the actx index will overwrite any changes made to a
decrypted attachment.  Change the mutt_edit_content_type() function to
return 1 when a structural change is made.  Add a warning message when
that is the case and a decrypted message was edited, so the user is
not surprised.

Note: mutt_edit_content_type() appeared to regenerate multipart
subparts every time, leading to a memory leak.  I believe this was an
oversite, and it should have regenerated only when there were no
subparts, so have "fixed" this.

Fix attachment check_traditional and extract_keys operations. (see #3728)

Add helpers and iterate over the actx->idx instead of the BODY structure.

Fix shared attachment functions. (see #3728)

With nested decryption, the correct FP is associated with the
ATTACHPTR entry.  Also, the BODY entries are not continguous, so the
functions need to iterate over the actx index, not the BODY structure.

Fix the expand/collapse code to use the virtual index. (see #3728)

Fix the init code to respect OPTDIGESTCOLLAPSE.

Add virtual index to actx. (see #3728)

The virtual index is modeled after the CONTEXT.  Add a CURATTACH
helper to reduce code verbosity.  Store the actx as menu->data.

Simplify and consolidate the recvattach and compose menu update code
inside a function.

Because compose and recvattach share so much code, change compose to
use the virtual index even though it has no collapse/expand
functionality.

Change recvattach to allow nested encryption. (see #3728)

* Add a FP and BODY array to the actx.  These are used to allow proper
  cleanup.

* Add HEADER and root_fp entries, to allow for index regeneration.

* Separate out the compose and recvattach index generation functions.

* Change the recvattach index generator to decrypt as encrypted parts
  are found.

Add helpers to add and remove actx entries. (see #3728)

Use the helper in compose update_idx(), to consolidate the resize
logic and simplify the code.

Separate out the actx "free" routine from a routine to empty out the
idx.  The index regeneration routines should flush and rebuild the
index without having to renerate the actx structure.

Change helpers functions to pass actx. (see #3728)

Change the pager, compose, recvattach and recvcmd to pass the actx
instead of the individual idx and idxlen parameters.

Separate out the compose menu exit logic to first free the BODY data
and then call the shared actx free function at the bottom.

Create ATTACH_CONTEXT to hold attachment index. (see #3728)

Move the idx and idxlen into ATTACH_CONTEXT.  In subsequence patches,
this structure will hold more useful items, such as the virtual index.

The swap out is straightforward, except for:
  * update_idx() in compose.c, which post-increments the idxlen in the
    call and again in the function.
  * mutt_gen_attach_list() which doesn't need to returns the new values.

contrib: Add guix-neomutt.scm.

Fix link in CODE_OF_CONDUCT.md

teach gen-map-doc about the new opcode header

gen-map-doc was the last element of Neomutt using the OPS* files. By
teaching it the format of opcodes.h, it's now possible to remove these
files.

move HelpStrings to help.c

HelpStrings was only defined when included in help.c (with the
`#ifdef HELP_C` guard), and it's only used there so move it to where it
belongs and make it static.

use opcodes.h instead of keymap_defs.h

keymap_defs.h is a generated header and sometimes it falls out of the
sync with config.h, which leads to weird errors about opcodes being
undefined. Using a static header prevents that.

As both keymap_defs.h and keymap_alldefs.h are now gone, gen_defs is no
longer necessary and can be removed as well.

introduce opcodes header

This brings the opcodes in the C world. This requires a bit of macro
gymnastic to keep definitions in a central place. Opcodes are defined
like this:

  #define OPS(_fmt) \
    _fmt(OP_NULL, N_("null operation") \
    ...

By passing a different formator to `OPS`, one can keep only parts of the
definition she/he is interested in. See the end of opcodes.h for example
usages.

By introducing this new header, it is no longer necessary to generate
keymap_alldefs.h, which was used only for consumption by gettext.

define USE_NOTMUCH when creating the documentation

Header makedoc_defs.h is used in functions.h and init.h to define some
symbols when generating the documentation. Other mailbox backends are
defined (IMAP, POP), but notmuch was missing.

Accept curses.h as a valid curses header (#733)

This fixes the build on NetBSD 7.1_RC2 with curses from base (no ncurses
package).

build: fix slang compile

trim trailing slash from completed dirs

When saving a email, selecting a maildir directory should override the
setting of $mbox_type.

Fixes #719

tidy: use explicit NUL for strings

Using '\0' helps to visually reinforce the types of variables.
There are no functional changes to the code.

time_t requires time.h (#726)

Fixes #725

include term.h from wherever we find ncurses.h (#713)

* include term.h from wherever we find ncurses.h

Solaris needs term.h for tigetstr(), but term.h doesn't always live in
/usr/include

* Do not forget about plain curses.h

Only include libintl.h if ENABLE_NLS is defined (#718)

This fixes a compilation error because of missing libintl.h on systems
without gettext.

Handle error if REGCOMP in pager fails when resizing.

Thanks to JiaZhouyang for finding this issue and supplying the original patch.

coverity fixes

merge: code tidying

 * lib: move some date/string functions
 * url drop ciss
 * drop unused param to mutt_system
 * split out body
 * split out envelope

split out envelope

split out body

drop unused param to mutt_system

url drop ciss

lib: move some date/string functions

Small cleanups to configure.ac (#714)

* Small configure.ac cleanup

* Group AC_ARG_WITHs, document slang/curses shenanigans

* build: fix order of OPS

Fix empty In-Reply-To generation (#716)

Fixes #715

_mutt_enter_fname: verify that flag is not zero

The flag argument in the _mutt_enter_fname function might not be
zero (e.g. in the definition of the mutt_enter_vfolder function, see
protos.h:297).

Fixes #707

color: call use_default_colors() in a single location

we call use_default_colors() when parsing colors in rc files only, and
unconditionally when defining the color of the tree element, because the
foreground color of the tree element may be combined dynamically with
the default background color of another element, not explicitely defined
in an rc file. This patch fixes a bug visible with some versions of the
ncurses library: use_default_colors() was used too late, and generated
color leakage effects. (#689)

Use system's md5 instead of compiling our own mutt_md5 (#711)

* Use the system's md5(sum)? utility to compute the hcache md5

Issue #710

* Simplify md5 generation and truncation

Issue #710

* Handle different md5 programs more gracefully

Issue #710

* Solaris' uname is still SunOS

Issue #710

* Consistently use OpenSSL for md5, if it's available

Issue #710

Do not include what we don't need (#708)

Fixes #706

tidy list of commands

* reformat the list
* strictly sort commands

merge: Standardise the handling of Lists

 * Datastructures #1 - PoC of standardizing a couple of fields
 * Add queue.h to EXTRA_DIST
 * Convert userhdrs to STailQ
 * Convert mix chain to STailQ
 * HCache now depends on tailq structures instead of List
 * Convert UserHeader to STailQ
 * Convert MuttrcStack to STailQ
 * Convert AutoViewList to STailQ
 * Convert Muttrc to STailQ, start to gather common algos in list.h
 * Convert AlternativeOrderList and (Attach|Inline)(Allow|Exclude) to STailQ
 * Be consistent on variable names
 * Convert HeaderOrderList and (Un)?Ignore to STailQ
 * Convert MailtoAllow, MimeLookupList and SidebarWhitelist to STailQ
 * Remove unused functions
 * Convert List to STailQ in imap code
 * Convert List to STailQ in ncrypt code
 * Convert Hooks to TAILQ
 * More idiomatic definition of HookHead
 * Convert remaining List structures to STailQ in main.c
 * Convert last List instances to STailQ, kill List definition
 * Restore naming sanity: s/STailQ/List/g
 * Fix list structure name in hcachever.sh

Fix list structure name in hcachever.sh

Issue #374

Restore naming sanity: s/STailQ/List/g

Issue #374

Convert last List instances to STailQ, kill List definition

Issue #374

Convert remaining List structures to STailQ in main.c

Issue #374

More idiomatic definition of HookHead

Issue #374

Convert Hooks to TAILQ

For this one I have chosen to use a doubly-linked tail queue. See how it
simplifies the delete_hooks function.

Issue #374

Convert List to STailQ in ncrypt code

Issue #374

Convert List to STailQ in imap code

Issue #374

Remove unused functions

Issue #374

Convert MailtoAllow, MimeLookupList and SidebarWhitelist to STailQ

Issue #374

Convert HeaderOrderList and (Un)?Ignore to STailQ

Issue #374

Be consistent on variable names

Issue #374

Convert AlternativeOrderList and (Attach|Inline)(Allow|Exclude) to STailQ

Issue #374

Convert Muttrc to STailQ, start to gather common algos in list.h

Issue #374

Convert AutoViewList to STailQ

Issue #374

Convert MuttrcStack to STailQ

Issue #374

Convert UserHeader to STailQ

Issue #374

HCache now depends on tailq structures instead of List

Issue #374

Convert mix chain to STailQ

Issue #374

Convert userhdrs to STailQ

Issue #374

Add queue.h to EXTRA_DIST

Issue #374

Datastructures #1 - PoC of standardizing a couple of fields

This commits changes the type of two fields in envelope.h from struct List to
to struct STailQHead. This new structure represents a singly-linked tail queue
implemented using FreeBSD's queue.h (imported).

This is a proof of concept to see how we like using macros to implement basic
datastructures (singly and doubly linked lists and tail queues) and algorithms
(traversal, removal, insertion, ...).

I encourage everybody to have a look at the result and comment. Is this the
direction we would like to take?

Issue #374

resync translations

update French translation

refactor: move lock/unlink functions to lib/file

refactor: move atime/mtime functions to lib/file

refactor: move mutt_make_date to lib/date

build: move mutt_md5 to hcache

This tool is only used by the build to create a header cache checksum.

Remove ascii_* functions (#700)

Issue #699

build: squash lua warnings

build: fix warnings in wchar test code

These warnings can be safely ignored, but if you enable "-Werror", then
configure fails.

Fix truncated formating

This patch fixes the leak of index line attributes on the next line due
to the truncation of the output buffer based on terminal number of
columns, forgetting to include escapes sequence at the end of the input
buffer (#664).

Use the correct TokyoCabinet API

Issue: #696

Encode URIs created with nm_uri_from_query

Uses url_pct_encode to do the encoding. Note that url_pct_encode now
also encodes the ampersand, which shouldn't cause problems given that
it's only used for usernames and passwords otherwise.

Addresses issue #603

nm_description_to_path: fix a mailbox type

In nm_description_to_path a mailbox type is supposed to be MUTT_NOTMUCH,
since the function queries the path of a *notmuch* mailbox using
a description string.

Fixes #683.

Kill bundled wchar_t support, rely on the system's

Issue #690

Do not rely on backends setting error codes on success

From the API documentation of KyotoCabinet, TokyoCabinet and QDBM, I am
not convinced that the error code routines consistently return 0 whenever
the previous operation succeeded. Also, I am not convinced that they
return 1 whenever the previous operation failed.
It is important that we do not return 0 on failure, so let's try to get
the error code and fallback to -1 if we couldn't get anything more
specific.

Issue #696

Review hcache implementation return codes

Especially, in this batch I have reviewed the return codes for fetch and
delete operations. KyotoCabinet, QDBM and TokyoCabinet were indeed
incorrectly implemented, as these backends generally return true on
success and false on failure.

I still have to investigate how to get a proper return code from QDBM.

Issue #696

Doxify the Header cache

The initial framework was written by @flatcap. I have merely filled in a
few blanks.

Issue #696

build: fix make dist

merge: upstream fixes (mutt/default)

 * Fix menu color calls to occur before positioning the cursor. (see #3956)
 * Change imap_cmd_start() to return OK when the cmd_queue is finished. (closes #3956)
 * When guessing an attachment type, don't allow text/plain if there is a null character. (see #2933)
 * Add timeout parameter to mutt_socket_poll.
 * Add $imap_poll_timeout to allow mailbox polling to time out.
 * Convert raw_socket_poll() to use gettimeofday().

Convert raw_socket_poll() to use gettimeofday().

As long as gettimeofday() is supported, it's better to be consistent
within mutt and ensure greater portability.

Change the raw_socket_poll() wait timer to count milliseconds, like
the mutt_progess_update() code.

Thanks to Vincent Lefèvre for his, as always, invaluable advice.

Add $imap_poll_timeout to allow mailbox polling to time out.

Enable the polling flag for the NOOP in imap_check_mailbox(), the
STATUS command in imap_buffy_check(), and the LOGOUT command.

This is not intended to handle all blocking-IO related issues.
However, the periodic NOOP and STATUS are the most frequent places for
mutt to freeze up, especially after a laptop is sleep/woken.

Since these are quick operations with little data, this is a good place
to check if the connection is still working before hanging on a read.

Add timeout parameter to mutt_socket_poll.

This will be used in the next commit to add a timeout when polling for
new mail.

When guessing an attachment type, don't allow text/plain if there is a null character. (see #2933)

Type text/plain should not contain any null characters.  Slightly
improve the type guesser by forcing an attachment with any null
characters to be application/octet-stream.

Note the type guesser could use much more improvement, but this is an
easy and obvious fix.