use opcodes.h instead of keymap_defs.h

keymap_defs.h is a generated header and sometimes it falls out of the
sync with config.h, which leads to weird errors about opcodes being
undefined. Using a static header prevents that.

As both keymap_defs.h and keymap_alldefs.h are now gone, gen_defs is no
longer necessary and can be removed as well.

introduce opcodes header

This brings the opcodes in the C world. This requires a bit of macro
gymnastic to keep definitions in a central place. Opcodes are defined
like this:

  #define OPS(_fmt) \
    _fmt(OP_NULL, N_("null operation") \
    ...

By passing a different formator to `OPS`, one can keep only parts of the
definition she/he is interested in. See the end of opcodes.h for example
usages.

By introducing this new header, it is no longer necessary to generate
keymap_alldefs.h, which was used only for consumption by gettext.

define USE_NOTMUCH when creating the documentation

Header makedoc_defs.h is used in functions.h and init.h to define some
symbols when generating the documentation. Other mailbox backends are
defined (IMAP, POP), but notmuch was missing.

Accept curses.h as a valid curses header (#733)

This fixes the build on NetBSD 7.1_RC2 with curses from base (no ncurses
package).

build: fix slang compile

trim trailing slash from completed dirs

When saving a email, selecting a maildir directory should override the
setting of $mbox_type.

Fixes #719

tidy: use explicit NUL for strings

Using '\0' helps to visually reinforce the types of variables.
There are no functional changes to the code.

time_t requires time.h (#726)

Fixes #725

include term.h from wherever we find ncurses.h (#713)

* include term.h from wherever we find ncurses.h

Solaris needs term.h for tigetstr(), but term.h doesn't always live in
/usr/include

* Do not forget about plain curses.h

Only include libintl.h if ENABLE_NLS is defined (#718)

This fixes a compilation error because of missing libintl.h on systems
without gettext.

Handle error if REGCOMP in pager fails when resizing.

Thanks to JiaZhouyang for finding this issue and supplying the original patch.

coverity fixes

merge: code tidying

 * lib: move some date/string functions
 * url drop ciss
 * drop unused param to mutt_system
 * split out body
 * split out envelope

split out envelope

split out body

drop unused param to mutt_system

url drop ciss

lib: move some date/string functions

Small cleanups to configure.ac (#714)

* Small configure.ac cleanup

* Group AC_ARG_WITHs, document slang/curses shenanigans

* build: fix order of OPS

Fix empty In-Reply-To generation (#716)

Fixes #715

_mutt_enter_fname: verify that flag is not zero

The flag argument in the _mutt_enter_fname function might not be
zero (e.g. in the definition of the mutt_enter_vfolder function, see
protos.h:297).

Fixes #707

color: call use_default_colors() in a single location

we call use_default_colors() when parsing colors in rc files only, and
unconditionally when defining the color of the tree element, because the
foreground color of the tree element may be combined dynamically with
the default background color of another element, not explicitely defined
in an rc file. This patch fixes a bug visible with some versions of the
ncurses library: use_default_colors() was used too late, and generated
color leakage effects. (#689)

Use system's md5 instead of compiling our own mutt_md5 (#711)

* Use the system's md5(sum)? utility to compute the hcache md5

Issue #710

* Simplify md5 generation and truncation

Issue #710

* Handle different md5 programs more gracefully

Issue #710

* Solaris' uname is still SunOS

Issue #710

* Consistently use OpenSSL for md5, if it's available

Issue #710

Do not include what we don't need (#708)

Fixes #706

tidy list of commands

* reformat the list
* strictly sort commands

merge: Standardise the handling of Lists

 * Datastructures #1 - PoC of standardizing a couple of fields
 * Add queue.h to EXTRA_DIST
 * Convert userhdrs to STailQ
 * Convert mix chain to STailQ
 * HCache now depends on tailq structures instead of List
 * Convert UserHeader to STailQ
 * Convert MuttrcStack to STailQ
 * Convert AutoViewList to STailQ
 * Convert Muttrc to STailQ, start to gather common algos in list.h
 * Convert AlternativeOrderList and (Attach|Inline)(Allow|Exclude) to STailQ
 * Be consistent on variable names
 * Convert HeaderOrderList and (Un)?Ignore to STailQ
 * Convert MailtoAllow, MimeLookupList and SidebarWhitelist to STailQ
 * Remove unused functions
 * Convert List to STailQ in imap code
 * Convert List to STailQ in ncrypt code
 * Convert Hooks to TAILQ
 * More idiomatic definition of HookHead
 * Convert remaining List structures to STailQ in main.c
 * Convert last List instances to STailQ, kill List definition
 * Restore naming sanity: s/STailQ/List/g
 * Fix list structure name in hcachever.sh

Fix list structure name in hcachever.sh

Issue #374

Restore naming sanity: s/STailQ/List/g

Issue #374

Convert last List instances to STailQ, kill List definition

Issue #374

Convert remaining List structures to STailQ in main.c

Issue #374

More idiomatic definition of HookHead

Issue #374

Convert Hooks to TAILQ

For this one I have chosen to use a doubly-linked tail queue. See how it
simplifies the delete_hooks function.

Issue #374

Convert List to STailQ in ncrypt code

Issue #374

Convert List to STailQ in imap code

Issue #374

Remove unused functions

Issue #374

Convert MailtoAllow, MimeLookupList and SidebarWhitelist to STailQ

Issue #374

Convert HeaderOrderList and (Un)?Ignore to STailQ

Issue #374

Be consistent on variable names

Issue #374

Convert AlternativeOrderList and (Attach|Inline)(Allow|Exclude) to STailQ

Issue #374

Convert Muttrc to STailQ, start to gather common algos in list.h

Issue #374

Convert AutoViewList to STailQ

Issue #374

Convert MuttrcStack to STailQ

Issue #374

Convert UserHeader to STailQ

Issue #374

HCache now depends on tailq structures instead of List

Issue #374

Convert mix chain to STailQ

Issue #374

Convert userhdrs to STailQ

Issue #374

Add queue.h to EXTRA_DIST

Issue #374

Datastructures #1 - PoC of standardizing a couple of fields

This commits changes the type of two fields in envelope.h from struct List to
to struct STailQHead. This new structure represents a singly-linked tail queue
implemented using FreeBSD's queue.h (imported).

This is a proof of concept to see how we like using macros to implement basic
datastructures (singly and doubly linked lists and tail queues) and algorithms
(traversal, removal, insertion, ...).

I encourage everybody to have a look at the result and comment. Is this the
direction we would like to take?

Issue #374

resync translations

update French translation

refactor: move lock/unlink functions to lib/file

refactor: move atime/mtime functions to lib/file

refactor: move mutt_make_date to lib/date

build: move mutt_md5 to hcache

This tool is only used by the build to create a header cache checksum.

Remove ascii_* functions (#700)

Issue #699

build: squash lua warnings

build: fix warnings in wchar test code

These warnings can be safely ignored, but if you enable "-Werror", then
configure fails.

Fix truncated formating

This patch fixes the leak of index line attributes on the next line due
to the truncation of the output buffer based on terminal number of
columns, forgetting to include escapes sequence at the end of the input
buffer (#664).

Use the correct TokyoCabinet API

Issue: #696

Encode URIs created with nm_uri_from_query

Uses url_pct_encode to do the encoding. Note that url_pct_encode now
also encodes the ampersand, which shouldn't cause problems given that
it's only used for usernames and passwords otherwise.

Addresses issue #603

nm_description_to_path: fix a mailbox type

In nm_description_to_path a mailbox type is supposed to be MUTT_NOTMUCH,
since the function queries the path of a *notmuch* mailbox using
a description string.

Fixes #683.

Kill bundled wchar_t support, rely on the system's

Issue #690

Do not rely on backends setting error codes on success

From the API documentation of KyotoCabinet, TokyoCabinet and QDBM, I am
not convinced that the error code routines consistently return 0 whenever
the previous operation succeeded. Also, I am not convinced that they
return 1 whenever the previous operation failed.
It is important that we do not return 0 on failure, so let's try to get
the error code and fallback to -1 if we couldn't get anything more
specific.

Issue #696

Review hcache implementation return codes

Especially, in this batch I have reviewed the return codes for fetch and
delete operations. KyotoCabinet, QDBM and TokyoCabinet were indeed
incorrectly implemented, as these backends generally return true on
success and false on failure.

I still have to investigate how to get a proper return code from QDBM.

Issue #696

Doxify the Header cache

The initial framework was written by @flatcap. I have merely filled in a
few blanks.

Issue #696

build: fix make dist

merge: upstream fixes (mutt/default)

 * Fix menu color calls to occur before positioning the cursor. (see #3956)
 * Change imap_cmd_start() to return OK when the cmd_queue is finished. (closes #3956)
 * When guessing an attachment type, don't allow text/plain if there is a null character. (see #2933)
 * Add timeout parameter to mutt_socket_poll.
 * Add $imap_poll_timeout to allow mailbox polling to time out.
 * Convert raw_socket_poll() to use gettimeofday().

Convert raw_socket_poll() to use gettimeofday().

As long as gettimeofday() is supported, it's better to be consistent
within mutt and ensure greater portability.

Change the raw_socket_poll() wait timer to count milliseconds, like
the mutt_progess_update() code.

Thanks to Vincent Lefèvre for his, as always, invaluable advice.

Add $imap_poll_timeout to allow mailbox polling to time out.

Enable the polling flag for the NOOP in imap_check_mailbox(), the
STATUS command in imap_buffy_check(), and the LOGOUT command.

This is not intended to handle all blocking-IO related issues.
However, the periodic NOOP and STATUS are the most frequent places for
mutt to freeze up, especially after a laptop is sleep/woken.

Since these are quick operations with little data, this is a good place
to check if the connection is still working before hanging on a read.

Add timeout parameter to mutt_socket_poll.

This will be used in the next commit to add a timeout when polling for
new mail.

When guessing an attachment type, don't allow text/plain if there is a null character. (see #2933)

Type text/plain should not contain any null characters.  Slightly
improve the type guesser by forcing an attachment with any null
characters to be application/octet-stream.

Note the type guesser could use much more improvement, but this is an
easy and obvious fix.

Change imap_cmd_start() to return OK when the cmd_queue is finished. (closes #3956)

Some response handlers can end up recursively calling
imap_cmd_start(), processing all the command completions.  If the
outer call was an imap_exec(), this would result in the loop never
being terminated (or just blocking reading a server that has already
finished all the commands).

Change the callers that are simply using it to read a response,
without having called cmd_start(), to check for IMAP_CMD_OK instead.
Currently this is just the open connection function.

Fix menu color calls to occur before positioning the cursor. (see #3956)

It is possible for menu->color() to end up fetching an imap message,
and therefore generating a status message.

Because of this, we need to make those calls before we position the cursor.

merge: trivial code fixes

 * doxygen: fix comments
 * contrib: drop old iconv config
 * tidy: squeeze blank lines
 * tidy: remove duplicate prototypes
 * tidy: remove unnecessary casts
 * tidy: left-align goto labels
 * tidy: sort out typedef usage
 * tidy: rearrange code to avoid forward def
 * tidy: use DT_MASK to get type
 * tidy: sort out ++ -- comma operators
 * tidy: drop rarely-used macro
 * tidy: drop deprecated types
 * tidy: drop unnecessary INITVAL usage
 * rename: global boolean variables (insert underscores)
 * rename: global quad variables (insert underscores)
 * rename: tidy global variable naming
 * drop old testing code

drop old testing code

rename: tidy global variable naming

Rename the global variables to match the MixedCase coding style, e.g.
    Spoolfile -> SpoolFile

rename: global quad variables (insert underscores)

Rename constants for better legibility, such as:
    OPT_PGPENCRYPTSELF -> OPT_PGP_ENCRYPT_SELF

rename: global boolean variables (insert underscores)

Rename constants for better legibility, such as:
    OPTNOCURSES -> OPT_NO_CURSES

tidy: drop unnecessary INITVAL usage

Variables with a static/global scope are automatically initialised to 0/NULL.
About 10 variables were initialised to non-zero values, but they were
reset with values from init.h before they were used.

tidy: drop deprecated types

These have been unnecessary since 2012

tidy: drop rarely-used macro

tidy: sort out ++ -- comma operators

Where possible:
- Change pre- to post-decrement
- Change pre- to post-increment
- Drop commas (separate statements)

tidy: use DT_MASK to get type

tidy: rearrange code to avoid forward def

tidy: sort out typedef usage

tidy: left-align goto labels

tidy: remove unnecessary casts

tidy: remove duplicate prototypes

tidy: squeeze blank lines

contrib: drop old iconv config

doxygen: fix comments

merge: create library of shared code

 * split out state functions
 * split out parameter functions
 * create library
 * change code to use lib/lib.h
 * move the ascii functions to the library
 * move the base64 functions to the library
 * move the date functions to the library
 * move the exit functions to the library
 * move the md5 functions to the library
 * move the sha1 functions to the library
 * move the memory functions to the library
 * move the message functions to the library
 * move the debug functions to the library
 * move the string functions to the library
 * move the file functions to the library
 * move the buffer functions to the library
 * move the hash functions to the library
 * drop lib.c
 * doxygen: update config
 * rename the library to libmutt

rename the library to libmutt

- strip lib_ prefix from files
- rename liblib to libmutt

The only renaming complication was `lib_string.h`.
It's been renamed to `string2.h` so that `#include <string.h>` still works.

doxygen: update config

drop lib.c

move the hash functions to the library

move the buffer functions to the library

move the file functions to the library

move the string functions to the library

move the debug functions to the library