Fix smime_keys_test.pl

Remove contrib/ca-bundle.crt

build: fix silent rules

NeoMutt Release 2017-05-26

sync translations

build: clang-format source code

update mailmap

version: 2017-05-26

build: drop silent rules

Older versions of make don't support the 'magic' that we need.

merge: upstream fixes (mutt/default)

 * Move the IMAP msn field to IMAP_HEADER_DATA. (see #3942)
 * Fix imap expunge to match msn and fix index. (see #3942)
 * Fix cmd_parse_fetch() to match against MSN. (see #3942)
 * Start fixing imap_read_headers() to account for MSN gaps. (see #3942)
 * Add msn_index and max_msn to find and check boundaries by MSN. (see #3942)
 * Properly adjust fetch ranges when handling new mail. (see #3942)
 * Small imap fetch fixes. (see #3942)
 * Don't abort header cache evaluation when there is a hole. (see #3942)
 * Fix mfc overflow check and uninitialized variable.
 * Fix potential segv if mx_open_mailbox is passed an empty string. (closes #3945)
 * Don't clean up idata when closing an open-append mailbox.
 * Don't clean up msn idata when closing an open-append mailbox. (see #3942)
 * Fix memory leak when closing mailbox and using the sidebar.
 * Change imap body cache cleanup to use the uid_hash.

Change imap body cache cleanup to use the uid_hash.

This should speed up $message_cache_clean cleanup when syncing.

Fix memory leak when closing mailbox and using the sidebar.

The code updating the sidebar counts decremented the msgcount, but did
not set it back to the original value.  Which means fastclose was not
freeing all the headers.

Update the sidebar only when something is deleted, since I don't
believe it's required otherwise and the code is a bit cleaner that
way.

Don't clean up msn idata when closing an open-append mailbox. (see #3942)

This is a continuation of commit 59a2125b49f2 with changes made in the
default branch.

Thanks again to Will Yardley for helping test the imap read-headers
changes and discovering this bug.

Don't clean up idata when closing an open-append mailbox.

open-append borrows the idata just for the connection.  The "mailbox
specific" part of the idata may be being used by a normal
open-mailbox.

Don't free the idata "mailbox specific" part when closing an
open-append mailbox.

Thanks to Will Yardley for discovering the bug as part of testing the
revised IMAP fetch_headers code (in the default branch).

Fix potential segv if mx_open_mailbox is passed an empty string. (closes #3945)

If path is "", ctx->path will be NULL.  realpath() generally will segv
if the first parameter is NULL.

Fix mfc overflow check and uninitialized variable.

The check borrowed from mx_alloc_memory() works because it is
incremented 25 at a time.  I don't believe it will work for the direct
set case used in imap_alloc_msn_index().  Instead, use a more
conservative check.

In imap_read_headers(), make sure mfhrc is initialized.  It would be
tested without being set if imap_cmd_step() returned OK right away.

Don't abort header cache evaluation when there is a hole. (see #3942)

Instead, find the first missing MSN and generate a more complicated
sequence set specifying the missing ranges.

This removes the assumption that the header cache query returned
results in MSN order.

Small imap fetch fixes. (see #3942)

Add an integer overflow test, pulled from mx_alloc_memory(), since the
count comes from a potentially hostile server.

After reviewing the RFC a bit, it turns out the server is not supposed
to send EXPUNGE responses during a FETCH.  Change the comment, but
keep the conservative code.

Properly adjust fetch ranges when handling new mail. (see #3942)

When pulling down headers, it is possible for expunge responses to
happen too.  If we get a new mail count, we need to take into account
changes to the max_msn due to the expunges.

Add msn_index and max_msn to find and check boundaries by MSN. (see #3942)

Since there can be gaps in MSNs, the largest MSN in the context is not
necessarily ctx->msgcount.

Use max_msn instead of ctx->msgcount for:
  - the starting MSN of new mail header fetching
  - boundary checking in fetch, expunge, and other places

Use msn_index to efficiently look up headers by MSN.  This makes the
expunge code slightly more efficient.  It also makes FETCH handling, and
duplicate FETCH FLAG handling efficient.

Start fixing imap_read_headers() to account for MSN gaps. (see #3942)

Change the parameters to pass MSN instead of index, to make a bit
simpler.

Change header cache evaluation to look at the largest MSN retrieved
instead of ctx->msgcount for the next fetch start point.  This still
depends on the assumption that MSNs are retrieved in ascending order,
which needs to be fixed.

Simplify the header cache inner loop termination and memory cleanup
logic.  Fix a memory leak if a hole in the header cache occured.

Fix the header retrieval logic to take into account MSN gaps in the
results.  Loop only as long as we get IMAP_CMD_CONTINUE instead of
over a fixed count.  Simplify the inner loop termination and memory
cleanup logic too.

Simplify the "new mail while fetching" logic by creating a third outer
loop to handle re-fetches.

Fix msg_fetch_header() to return -2 if msg_parse_fetch() encounters a
corrupt FETCH response.  Previously it would pass on the rc of
msg_parse_fetch(), meaning it would return -1 even though the response
was corrupt.

Fix cmd_parse_fetch() to match against MSN. (see #3942)

Fix imap expunge to match msn and fix index. (see #3942)

The expunge needs to match against the MSN now.  Since
cmd_parse_expunge() does not automatically fix h->index anymore,
change imap_expunge_mailbox() to fix up the h->index values.

Move the IMAP msn field to IMAP_HEADER_DATA. (see #3942)

Ticket 3942 revealed that it is possible for a FETCH to have gaps in
the MSN numbers of the results.  The code makes many assumptions that
equate context index counts and MSN.  This is the first in a series of
commits fixing that assumption.

The header->index field is supposed to hold the SORT_ORDER index
number of the message.  If there are gaps in the MSN, than the highext
MSN can in fact be out of the range 0..ctx->msgcount-1.

After studying the code, I believe curs_main.c would actually work
with header->index values out of the range, at least for IMAP.  But
some other parts of the code, such as mutt_reopen_mailbox(), do rely
on the values being a valid index to ctx->hdrs[].  And the
intertwining of menu->oldcurrent with header->index values makes me
nervous about future changes.

So, to be safe, move the MSN to its own field in IMAP_HEADER_DATA.

The next commit will fix the EXPUNGE behavior.

tidy wcscasecmp

Remove some unnecessary variables.

drop obsolete forget option

The rest of the code for this obsolete option was dropped a while ago.

fix some bools

Replace 0/1 with false/true

add names prototype arguments

Header files are easier to understand if the arguments are named.
e.g., replace:
    int mutt_copy_stream(FILE *, FILE *);
with:
    int mutt_copy_stream(FILE *fin, FILE *fout);

abbreviate pointer tests against NULL

Replace:
    if (x == NULL)  ->  if (!x)
    if (x != NULL)  ->  if (x)

The conditions have only been changed for variables, not functions, e.g.
    if (fn(x) == NULL)

initialise pointers to NULL

reduce the scope of for loop variables

Quite often, the loop variable in a 'for' loop isn't used elsewhere.
C99 allows us to reduce the scope to *just* the 'for' loop.

run clang-format on the code

This commit only changes the formatting, nothing else.
It tidies up after all the renaming that's happened.

doc: fix doc

By renaming all the structs in *.[ch], I broke the doc build which is
perl.

rename the remaining plain structs

struct b64_context            struct B64Context
struct binding_t              struct Binding
struct browser_state          struct BrowserState
struct command_t              struct Command
struct compile_options        struct CompileOptions
struct coord                  struct Coord
struct crypt_cache            struct CryptCache
struct crypt_module_functions struct CryptModuleFunctions
struct crypt_module_specs     struct CryptModuleSpecs
struct dn_array_s             struct DnArrayS
struct enriched_state         struct EnrichedState
struct extkey                 struct Extkey
struct fgetconv_not           struct FgetConvNot
struct fgetconv_s             struct FgetConvS
struct folder_file            struct FolderFile
struct hash_elem              struct HashElem
struct hash_walk_state        struct HashWalkState
struct hdr_format_info        struct HdrFormatInfo
struct header_cache           struct HeaderCache
struct history                struct History
struct keymap_t               struct Keymap
struct line_t                 struct Line
struct maildir                struct Maildir
struct mapping_t              struct Mapping
struct md5_ctx                struct Md5Ctx
struct mh_data                struct MhData
struct mh_sequences           struct MhSequences
struct m_update_t             struct MUpdate
struct mx_ops                 struct MxOps
struct nm_ctxdata             struct NmCtxdata
struct nm_hdrdata             struct NmHdrdata
struct nm_hdrtag              struct NmHdrtag
struct option_t               struct Option
struct pattern_flags          struct PatternFlags
struct pgp_cache              struct PgpCache
struct pgp_command_context    struct PgpCommandContext
struct q_class_t              struct QClass
struct range_regexp           struct RangeRegex
struct resize                 struct Resize
struct rfc2231_parameter      struct Rfc2231Parameter
struct smime_command_context  struct SmimeCommandContext
struct syntax_t               struct Syntax
struct sysexits               struct Sysexits
struct _tlssockdata           struct TlsSockData
struct tz_t                   struct Tz
struct uri_tag                struct UriTag

fix idna problems

build: restore missing INTLLIBS/INTLDEPS

Restore the dependencies on libintl.
I removed them because I couldn't find any references to them
I didn't look hard enough!

merge: upstream fixes (mutt/default)

 * Turn IMAP_EXPUNGE_EXPECTED back off when syncing. (closes #3940).
 * Add $history_remove_dups option to remove dups from history ring.
 * Also remove duplicates from the history file.
 * Don't filter new entries when compacting history save file.

Don't filter new entries when compacting history save file.

If new entries are added between the two passes, they won't be in the
dup_hash.  The original intent was to filter added duplicates, but the
check would also filter brand new entries.

Also remove duplicates from the history file.

When $history_remove_dups is set, remove duplicates from the history
file when it is periodically compacted.

Add $history_remove_dups option to remove dups from history ring.

When set, duplicate entries will be removed from the history ring when
a new entry is added.  The duplicate removal rearranges the history
ring such that created empty slots are right after the "last" position
in the ring, preserving the most history.

Rewrite the next/prev functions to take into account that blank slots can
now be in the middle of the array.

Turn IMAP_EXPUNGE_EXPECTED back off when syncing. (closes #3940).

imap_sync_mailbox() turned on IMAP_EXPUNGE_EXPECTED when issuing a
EXPUNGE command during a sync.  However, it forgot to turn it back off.

That meant that an unexpected EXPUNGE that occurred during a
mx_check_mailbox -> imap_check_mailbox() -> imap_cmd_finish() call was
not setting
  idata->check_status = IMAP_EXPUNGE_PENDING;
and so imap_check_mailbox() was not returning MUTT_REOPENED.

This meant that although the Context had been changed, the index did
not run update_index(), resulting in a possible segfault.

Thanks to Uroš Juvan for reporting the issue, and his invaluable
description of how to reproduce the problem.

build: remove --enable-mailtool configure option

Leave the code enabled, but hide the option.
The feature may be useful to someone.
The code isn't complicated or risky.

build: move crypto files to ncrypt dir

merge: minor build fixes/tidying

 * remove unused definitions
 * update distcheck build flags
 * move configure-generated files
 * drop docs timestamps
 * add silent rules, but default to off
 * tidy po/Makevars
 * light tidy
 * strerror

build: strerror

strerror will always be there to use.

build: light tidy

build: tidy po/Makevars

Remove all the variables that weren't used.
Remove the obvious comments.
Add a custom build rule to quieten the output.

build: add silent rules, but default to off

This extends the silent build to all make commands, e.g.

old make output:
```
( \
(gcc -v >/dev/null 2>&1 && gcc -v) || \
(gcc --version >/dev/null 2>&1 && gcc --version) || \
(gcc -V >/dev/null 2>&1 && gcc -V) || \
echo "unknown compiler"; \
) 2>&1 | ./txt2c.sh cc_version >conststrings_c
echo "-Wall -pedantic -Wno-long-long -g -Wall -O0 -Werror=format-security -fno-delete-null-pointer-checks  -fno-delete-null-pointer-checks" | ./txt2c.sh cc_cflags >>conststrings_c
grep ac_cs_config= config.status | \
cut -d= -f2- | \
sed -e 's/^"//' -e 's/"$//' | ./txt2c.sh configure_options >>conststrings_c
mv -f conststrings_c conststrings.c
```

new make output:
```
  GEN      conststrings.c
```

build: split up mutt.h, protos.h

Move various structs out of mutt.h into their own header files.
Then run IWYU (include-what-you-use) on all files.

build: drop docs timestamps

The build of the docs generated several empty timestamp files to keep
track of what had been built.  They weren't necessary.

build: move configure-generated files

This small change moves 6 configure-generated files into a directory we
won't see (.build-aux)
    compile
    config.guess
    config.sub
    depcomp
    install-sh
    missing

build: update distcheck build flags

"make dist" creates a .tar of the source.
"make distcheck" does a complete build on that .tar
Make sure we have an up-to-date list of configure options.

build: remove unused definitions

INTLLIBS, INTLDEPS, DEBUGGER aren't used anywhere.

Kill useless crypthash.h file

merge: typedefs -> plain structs

 * ACCOUNT               -> struct Account
 * ADDRESS               -> struct Address
 * ALIAS                 -> struct Alias
 * ansi_attr             -> struct AnsiAttr
 * ATTACH_MATCH          -> struct AttachMatch
 * ATTACHPTR             -> struct AttachPtr
 * BODY                  -> struct Body
 * body_cache_t          -> struct BodyCache
 * BUFFER                -> struct Buffer
 * BUFFY                 -> struct Buffy
 * CHILD_CTX             -> struct ChildCtx
 * ciss_url_t            -> struct CissUrl
 * COLOR_LINE            -> struct ColorLine
 * COLOR_LIST            -> struct ColorList
 * compose_redraw_data_t -> struct ComposeRedrawData
 * COMPRESS_INFO         -> struct CompressInfo
 * CONNECTION            -> struct Connection
 * CONTENT               -> struct Content
 * CONTENT_STATE         -> struct ContentState
 * CONTEXT               -> struct Context
 * crypt_entry_t         -> struct CryptEntry
 * crypt_key_t           -> struct CryptKeyinfo
 * crypt_module_t        -> struct CryptModule
 * ENTER_STATE           -> struct EnterState
 * ENTRY                 -> struct Entry
 * ENVELOPE              -> struct Envelope
 * event_t               -> struct Event
 * FETCH_CTX             -> struct FetchCtx
 * flowed_state_t        -> struct FlowedState
 * FOLDER                -> struct Folder
 * group_t               -> struct Group
 * group_context_t       -> struct GroupContext
 * HASH                  -> struct Hash
 * hcache_db_ctx_t       -> struct HcacheDbCtx
 * hcache_lmdb_ctx_t     -> struct HcacheLmdbCtx
 * HEADER                -> struct Header
 * HOOK                  -> struct Hook
 * imap_auth_t           -> struct ImapAuth
 * IMAP_CACHE            -> struct ImapCache
 * IMAP_COMMAND          -> struct ImapCommand
 * IMAP_DATA             -> struct ImapData
 * IMAP_HEADER           -> struct ImapHeader
 * IMAP_HEADER_DATA      -> struct ImapHeaderData
 * IMAP_LIST             -> struct ImapList
 * IMAP_MBOX             -> struct ImapMbox
 * IMAP_STATUS           -> struct ImapStatus
 * LIST                  -> struct List
 * mbchar_table          -> struct MbCharTable
 * MUTTMENU              -> struct Menu
 * MESSAGE               -> struct Message
 * MIXCHAIN              -> struct MixChain
 * THREAD                -> struct MuttThread
 * mutt_window_t         -> struct MuttWindow
 * myvar_t               -> struct MyVar
 * NEWSRC_ENTRY          -> struct NewsrcEntry
 * NNTP_ACACHE           -> struct NntpAcache
 * NNTP_DATA             -> struct NntpData
 * NNTP_HEADER_DATA      -> struct NntpHeaderData
 * NNTP_SERVER           -> struct NntpServer
 * pager_t               -> struct Pager
 * pager_redraw_data_t   -> struct PagerRedrawData
 * PARAMETER             -> struct Parameter
 * pattern_t             -> struct Pattern
 * pattern_cache_t       -> struct PatternCache
 * pgp_entry_t           -> struct PgpEntry
 * pgp_key_t             -> struct PgpKeyInfo
 * pgp_sig_t             -> struct PgpSignature
 * pgp_uid_t             -> struct PgpUid
 * pop_auth_t            -> struct PopAuth
 * POP_CACHE             -> struct PopCache
 * POP_DATA              -> struct PopData
 * progress_t            -> struct Progress
 * QUERY                 -> struct Query
 * REGEXP                -> struct Regex
 * REMAILER              -> struct Remailer
 * REPLACE_LIST          -> struct ReplaceList
 * rfc1524_entry         -> struct Rfc1524MailcapEntry
 * RX_LIST               -> struct RxList
 * SASL_DATA             -> struct SaslData
 * SBENTRY               -> struct SbEntry
 * SCORE                 -> struct Score
 * SHA1_CTX              -> struct Sha1Ctx
 * smime_key_t           -> struct SmimeKey
 * sslsockdata           -> struct SslSockData
 * STATE                 -> struct State
 * TUNNEL_DATA           -> struct TunnelData

replace 'TUNNEL_DATA' with 'struct TunnelData'

replace 'sslsockdata' with 'struct SslSockData'

replace 'SHA1_CTX' with 'struct Sha1Ctx'

replace 'SASL_DATA' with 'struct SaslData'

replace 'POP_DATA' with 'struct PopData'

replace 'POP_CACHE' with 'struct PopCache'

replace 'pop_auth_t' with 'struct PopAuth'

replace 'pattern_cache_t' with 'struct PatternCache'

replace 'pager_redraw_data_t' with 'struct PagerRedrawData'

replace 'pager_t' with 'struct Pager'

replace 'NNTP_SERVER' with 'struct NntpServer'

replace 'NNTP_HEADER_DATA' with 'struct NntpHeaderData'

replace 'NNTP_DATA' with 'struct NntpData'

replace 'NNTP_ACACHE' with 'struct NntpAcache'

replace 'NEWSRC_ENTRY' with 'struct NewsrcEntry'

replace 'IMAP_STATUS' with 'struct ImapStatus'

replace 'IMAP_MBOX' with 'struct ImapMbox'

replace 'IMAP_LIST' with 'struct ImapList'

replace 'IMAP_HEADER' with 'struct ImapHeader'

replace 'IMAP_DATA' with 'struct ImapData'

replace 'IMAP_COMMAND' with 'struct ImapCommand'

replace 'IMAP_CACHE' with 'struct ImapCache'

replace 'imap_auth_t' with 'struct ImapAuth'

replace 'hcache_lmdb_ctx_t' with 'struct HcacheLmdbCtx'

replace 'hcache_db_ctx_t' with 'struct HcacheDbCtx'

replace 'FETCH_CTX' with 'struct FetchCtx'

replace 'event_t' with 'struct Event'

replace 'CONTENT_STATE' with 'struct ContentState'

replace 'COMPRESS_INFO' with 'struct CompressInfo'

replace 'compose_redraw_data_t' with 'struct ComposeRedrawData'

replace 'CHILD_CTX' with 'struct ChildCtx'

replace 'ATTACH_MATCH' with 'struct AttachMatch'

replace 'smime_key_t' with 'struct SmimeKey'

replace 'SCORE' with 'struct Score'

replace 'SBENTRY' with 'struct SbEntry'

replace 'rfc1524_entry' with 'struct Rfc1524MailcapEntry'

replace 'REMAILER' with 'struct Remailer'

replace 'QUERY' with 'struct Query'

replace 'pgp_uid_t' with 'struct PgpUid'

replace 'pgp_sig_t' with 'struct PgpSignature'

replace 'pgp_entry_t' with 'struct PgpEntry'

replace 'myvar_t' with 'struct MyVar'

replace 'MIXCHAIN' with 'struct MixChain'

replace 'IMAP_HEADER_DATA' with 'struct ImapHeaderData'

replace 'HOOK' with 'struct Hook'