notmuch: ensure message_id is correct

The notmuch-backend initializes a provided email struct with content
from notmuch. In rare instances, a provided email struct has a
message_id that does not match the one from notmuch. No validation to
ensure message_ids match is performed.

An issue occurs when running nm_mbox_check(), which stores all messages
in a hash table. The incorrect message_id is the key so our email is
considered missing, reloaded into the mailbox, and a duplicate appears
in the index. This triggers a warning from neomutt regarding external
modification.

Instead, validate the message_ids to ensure a match so our hash table
keys are correct. As a result, a reload is no longer performed and
neomutt's warning need not occur.

Fixes #1793

Revert "mime_lookup: use compose mailcap entries when replying"

This reverts commit 672a84d9c4110343ab4d43d542b0c0933365d023.

merge: preparation for window improvements

 * pager: tidy code
 * window: drop unused functions
 * window: don't pass a Window when an int will do
 * window: add new() and free()

window: add new() and free()

window: don't pass a Window when an int will do

window: drop unused functions

pager: tidy code

reflow multiline prompts correctly

When asking the user a long question, NeoMutt can expand the message
window up to three lines.

This fixes two problems with multiline prompts:

- `mutt_window_reflow()` was resizing the windows when it shouldn't

- coloured (shortened) prompts weren't being measured correctly
  (causing unnecessary wrapping)

Refactor regex with custom wrapper

mutt_sort_headers appens in ctx_update, no need to call it again

fix printf format strings

The logging functions use a printf formatting string, but unfortunately
the compiler can't automatically detect errors because of our use of
macros.

Remove uninitialized char array buf

drop unused summary menu

Remove duplicate conditional expressions

Fix struct Buffer used as %s

cmd is a Buffer struct, it does not correspond to %s in the format
string.

Honour a Mailbox's hidden flag in the browser

Update to latest autosetup and bundled JimTcl

Update to latest acutest.h

Fix browsing an IMAP backend

Fixes #1783

merge: light refactoring

 * test: sync mutt_extract_token()
 * drop Buffer.destroy
 * refactor: Mailbox in mutt_display_message()
 * pager: reorganised the code
 * context: tidy for clarity
 * context: add notifications
 * notify: use data to match specific callbacks

notify: use data to match specific callbacks

When removing a notification callback, check both the function and data
pointers.

This means we can reuse a single callback function with multiple data
objects.

context: add notifications

Prepare for more Context refactoring by supporting notifications on the
Context object.

context: tidy for clarity

- rename msgnotreadyet
- insert whitespace into header

pager: reorganised the code

Move all the data, defines and structs to the top of the file, where
they're more discoverable.

refactor: Mailbox in mutt_display_message()

Pass the Mailbox into mutt_display_message() rather than relying on
Context->mailbox.

drop Buffer.destroy

This member controlled whether, when destroyed, a Buffer should delete
its data.  The member was only used in a couple of places, so it seems
better to duplicate the data in those cases and *always* destroy it
afterwards.

test: sync mutt_extract_token()

The test code needs a private copy of mutt_extract_token().
Update the copy to match the latest code.

nntp: fix leaks

nntp: remove old Context references

smime: factor out context

addrlist: fix empty string

notify: fix shutdown order

Free the Notify object after we free anyone who might use it.

boolify monitor

context: crypt_extract_keys_from_messages()

Change crypt_extract_keys_from_messages() to use a Context parameter
rather than the global.

nntp: fix refactoring bugs

- fix cli startup
- fix mailbox ptr
- fix change-folder

email: add events

iwyu: tidy more #includes

merge: trivial tidying

 * doxygen: fix comments
 * fix whitespace
 * rename mutt_emaillist_free() to _clear()
 * drop unused maildir_update_tables()
 * de-Context nntp_check_msgid()
 * de-Context nntp_check_children()
 * boolify imap_next_word()
 * rename dreadful local
 * email: shorten function names
 * rename ParameterList variables
 * unify private data free functions
 * hash: pick some better variable names
 * iwyu: tidy #includes

iwyu: tidy #includes

hash: pick some better variable names

unify private data free functions

rename ParameterList variables

email: shorten function names

rename dreadful local

boolify imap_next_word()

de-Context nntp_check_children()

de-Context nntp_check_msgid()

drop unused maildir_update_tables()

rename mutt_emaillist_free() to _clear()

The function doesn't free the Emails, just the list, so rename it to
match similar functions.

fix whitespace

doxygen: fix comments

merge: upstream fixes

Sync to upstream: 82973a6e

 * change Command to use intptr_t
 * Don't read or save history if $history_file isn't set
 * Omit User-Agent: header by default
 * Remove unnecessary checks for strings
 * Convert $header_cache_pagesize to type DT_LONG

Convert $header_cache_pagesize to type DT_LONG

Prior to commit 4bc76c2f there was no LNUM type, and so the workaround
was to store it as a string, converting in the hcache_open_gdbm()
call.

This will not affect the user interface or config file, because DT_NUM
and DT_LNUM read in a string from the config file and convert to a
number.  Quotes are used for escaping style, not passed through to the
variable setter.

So essentially this simply moves the conversion to parse_set(), and
provides feedback for a non-numeric type immediately.

Co-authored-by: Richard Russon <rich@flatcap.org>

Remove unnecessary checks for strings

MuttVars of those types are set via safe_strdup(), which returns NULL
if the original is "".  Thus Var implies *Var.

A good portion of the code relies on that axiom, but over the years
some (Var && *Var) checks have crept in, including from me.

This was partially because of the INITVAL("") that were in the code,
which implied (incorrectly) the initial value could be "".  Commit
2f91d43e removed those to make it more clear.

This commit removes the *Var checks to make it even clearer, and help
avoid them creeping back in again.

Co-authored-by: Richard Russon <rich@flatcap.org>

Omit User-Agent: header by default

The User-Agent: header can be fun and interesting and useful for
debugging, but it also leaks quite a bit of information about the user
and their software stack.

This represents a potential security risk (attackers can target the
particular stack) and also an anonymity risk (a user trying to
preserve their anonymity by sending mail from a non-associated account
might reveal quite a lot of information if their choice of mail user
agent is exposed).

Users who want to configure `user_agent` to `yes` can still do so, but
it makes sense to have safer defaults.

Co-authored-by: Richard Russon <rich@flatcap.org>

Don't read or save history if $history_file isn't set

Co-authored-by: Richard Russon <rich@flatcap.org>

change Command to use intptr_t

fix browser attach

sync translations

fix re-opening attachments

When opening an attachment with a two part suffix, e.g. `.tar.gz`
NeoMutt created a temporary file with just `.gz`.

Hack the splitting logic to give a useful suffix

Fixes: #1699

Avoid implicit conversion between bool and quadopt

Make the conversion between `bool and `QuadOption` explicit, and avoid
depending on the underlying `enum` value.

Also state that `mutt_yesorno` works correctly for `MUTT_YES` and `MUTT_NO`

Make callback take const param

Otherwise a realloc is potentnially unsafe

Initialize the variable `index_hint`

Prior to this commit, `index_hint` is initialized if `Context && !attach_msg`.

If `query_quadoption(C_Quit, _("Quit NeoMutt?")) == MUTT_YES`,
`!Context || ((check = mx_mbox_close(&Context)) == 0)` is `false` and
`(check == MUTT_NEW_MAIL) || (check == MUTT_REOPENED)` the function `update_index`
is called with parameter `index_hint`.

As one of the condition is `query_quadoption(C_Quit, _("Quit NeoMutt?")) == MUTT_YES`,
the real current position is probably not so important.

merge: account preparations

 * split up mailbox.c
 * notify: add global notifications
 * neomutt: move AllAccounts
 * notify: add Account Events
 * refactor users of AllMailboxes
 * drop AllMailboxes
 * account: add mailbox_add()
 * notify: add Mailbox Events
 * notify: drop old Context notifications
 * config: add config subsets
 * config: convert to subset
 * mailbox: rename desc to name
 * create libcore

version: add colour for devel features

create libcore

doxygen: Address struct members

mailbox: rename desc to name

doxygen: Email struct members

config: convert to subset

gitignore: drop old test binaries

config: add config subsets

notify: drop old Context notifications

notify: add Mailbox Events

account: add mailbox_add()

drop AllMailboxes

refactor users of AllMailboxes

notify: add Account Events

neomutt: move AllAccounts

notify: add global notifications

split up mailbox.c

merge: Improve const-correctness

 * Improve const-correctness
 * Do not cast const qualifier from sort callbacks
 * Make const discards more explicit
 * Remove useless cast

Remove useless cast

Make const discards more explicit

Do not cast const qualifier from sort callbacks

If `const void*` points to an instance of type `T`, then it should be
casted to a `const T*` instance.

If `const void*` is a pointer to an instance of type `T`, then the pointer
is `const T*`.

The instance could be `const`, or could be not, but to be on the safe
side, it's casted to `T const *const *`.
In the case of pointer-to-pointer, `const` is on the right to ease
readability; from right to leaft it reads:
A pointer to a const pointer to a const T.

Improve const-correctness

of

  * convert_file_to
  * get_quote_level
  * mutt_write_one_header
  * classify_quote
  * gen_string_hash
  * gen_case_string_hash
  * mutt_buffer_enter_fname_full
  * parse_references

Avoid using reserved identifiers

Found with `clang -Wreserved-id-macro`

merge: trivial fixes

 * rename templates
 * drop old refs to struct Header
 * unify naming of Email vars/params
 * unify naming of Mailbox vars/params
 * doxy: unify MXAPI comments
 * notmuch: fix prototypes

notmuch: fix prototypes

doxy: unify MXAPI comments

unify naming of Mailbox vars/params

unify naming of Email vars/params

drop old refs to struct Header

rename templates

Rename typedef to ParseDateRangeFlags

As there is another definition of PatternFlags

merge: trivial fixes

 * fix whitespace
 * add missing flag
 * fix compress local init
 * sidebar: pass in Mailbox
 * debug: fix levels and messages
 * tags: fix leak
 * notify: fix observer retval
 * drop nm_description_to_path() - unused
 * rename locals for consistency
 * rename account_remove_mailbox()
 * monitor #define -> enum

monitor #define -> enum

rename account_remove_mailbox()

rename locals for consistency

drop nm_description_to_path() - unused