Add account->enabled checks

Add to ui recommendation, keylist generator, and autocrypt header
writing routines.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add prefer-encrypt prompt during account creation

Co-authored-by: Richard Russon <rich@flatcap.org>

Add AUTOCRYPT header to imap fetch list

If $autocrypt is set, add the header to make IMAP behave the same as
other formats (parsing on initial mailbox opening).

This will also be useful if we perform an initial scan during account
creation, to make that work for IMAP too.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add L10N translation message comments

Co-authored-by: Richard Russon <rich@flatcap.org>

Add autocrypt source files to POTFILES.in

Co-authored-by: Richard Russon <rich@flatcap.org>

Print an error message if an autocrypt key can't be found

Co-authored-by: Richard Russon <rich@flatcap.org>

Handle autocrypt message decryption

Try autocrypt first for crypt_pgp_decrypt_mime() and
pgp_gpgme_encrypted_handler().

Propagate the autocrypt bit if successful.  This is used when replying
to an autocrypt message, to force a reply using autocrypt.

Co-authored-by: Richard Russon <rich@flatcap.org>

Slightly improve the gossip header key update

Don't set an empty peer.gossip_keydata with a value that matches the
current peer.keydata.  This just wastes space.

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix process_gossip_headers() to look at the right envelope

Co-authored-by: Richard Russon <rich@flatcap.org>

Autocrypt outgoing emails

Change crypt_get_keys() to query autocrypt.

When oppenc_mode is set, we still query the original keyring
regardless, because the compose menu can still run oppenc even if
autocrypt is on.

Since mutt_autocrypt_ui_recommendation() checks each key as part of
making the recommendation, add a keylist parameter and use that
function.

Add gpgme changes to use the autocrypt context for encryption.

Postpone work:
* Change mutt_protect() to have a postpone parameter.  Remove the
  manual toggling of the SEC_SIGN bit outside the call when postponing.

* Since autocrypt doesn't set the SEC_SIGN bit, this allows us to turn off
  signing inside mutt_protect() for both normal and autocrypt mode.

* Set the autocrypt postpone key in AutocryptDefaultKey.

Write autocrypt and gossip headers in outgoing emails.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add autocrypt line to the compose menu

Remove the hardcoded HDR_ATTACH offset calcuation, and add an explicit
enum for the "-- Attachments" line to make loops and padding array
sizes easier.

Add security and recommendataion fields on the line.

Add mutt_autocrypt_ui_recommendation, following the autocrypt spec
guidelines.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add another struct Email security bit for autocrypt

Co-authored-by: Richard Russon <rich@flatcap.org>

Change gossip header address comparison to use normalized addresses

Co-authored-by: Richard Russon <rich@flatcap.org>

Change autocrypt_db normalization to return struct Address

This makes reusing the code in autocrypt.c easier.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add gossip header processing

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert to use sqlite3_prepare_v3()

The documentation suggests the SQLITE_PREPARE_PERSISTENT flag is
helpful for long-lived prepared statements, and Mutt is using.

Co-authored-by: Richard Russon <rich@flatcap.org>

Process autocrypt headers

Create/update peer database accounts and gpg keys based on the headers.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add autocrypt header parsing to mutt_parse_rfc822_line()

Convert parse_parameters() for autocrypt header usage:

  * change to use a struct Buffer to accomodate large autocrypt keydata
    attribute values.

  * Autocrypt header parameters are not rfc2231 compliant.  Rather
    than rolling another very similar function, just change the
    existing one to allow space separation.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add initial autocrypt account setup

Generate gpg key and add account record to the database.

Co-authored-by: Richard Russon <rich@flatcap.org>

Factor out mutt_edit_address() in send.c

For reuse by autocrypt for address prompts.

Co-authored-by: Richard Russon <rich@flatcap.org>

Start autocrypt gpgme

Add a basic init function.

Bump up the required gpgme version to 1.8.0 if autocrypt is enabled.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add database and schema initialization

Add mutt_mkdir() library function supporting recursive mkdir.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add autocrypt config vars

Co-authored-by: Richard Russon <rich@flatcap.org>

Initial autoconf and makefile setup for autocrypt

Co-authored-by: Richard Russon <rich@flatcap.org>

build: add autocrypt option

address: add mutt_addr_to_intl()

merge: upstream fixes

 * docs: Refer to NeoMutt
 * Add checks for buffered OpenSSL or GnuTLS data when polling
 * Fix LibreSSL build
 * Add size display configuration variables
 * test: remove mutt_str_pretty_size()
 * Add $ssl_use_tlsv1_3 config variable, default set

Add $ssl_use_tlsv1_3 config variable, default set

Co-authored-by: Richard Russon <rich@flatcap.org>

test: remove mutt_str_pretty_size()

mutt_str_pretty_size() now relies on four config variables, so it's been
demoted to muttlib.c.  When it's been converted to use flags instead of
config variables, it can be returned to the library.

Add size display configuration variables

Although it would be nice to "open this up" more, performance and
security/stability issues would arise.

Based on the thread in mutt-dev, I hope these vars will satisfy most
customization needs:
  $size_show_bytes
  $size_show_mb
  $size_show_fractions
  $size_units_on_left

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix LibreSSL build

Apparently LibreSSL doesn't implement SSL_has_pending(), even for
newer versions.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add checks for buffered OpenSSL or GnuTLS data when polling

I don't believe this has had an actual effect, because NeoMutt doesn't
support renegotiation, and we are only polling immediately after
sending NOOP.

However, it looks like checking is technically the correct thing to do
to avoid polling waiting for data that is already buffered.

Co-authored-by: Richard Russon <rich@flatcap.org>

docs: Refer to NeoMutt

Fix parsing of GnuPG output

In GnuPG output there is a space after "[GNUPG:]". If the space is
not taken into account, the rest of the parsing fails, e.g., because
the variable "line" starts with " BEGIN_DECRYPTION" instead of the
expected "BEGIN_DECRYPTION".

This commit restores the previous parsing functionality. It appears
that the number of spaces does not differ among GnuPG versions.
However, if we wanted to make the code robust to varying amount of
space following "[GNUPG:]", we could either trim the whitespace from
the beginning or take it into account with mutt_str_lws_len().

This commit fixes a regression introduced at c2aa0c06.

Increase length of attachment pipe command

This matches the length of the pipe command for messages, and is much
less likely to be hit accidentally.

notmuch: sort headers on interrupted read

Commit 45639e4 breaks partial notmuch mailbox loads. If a notmuch mailbox is
interrupted while loading, the index will be empty. To resolve this, add back
the 'mutt_sort_headers()' for the interrupted read case.

Use Buffer instead of raw char* in pop

Change OptIgnoreMacroEvents to ignore macros

Change OptIgnoreMacroEvents to actuallly ignore macros instead of
throwing errors.

Add a comment to the OptIgnoreMacroEvents km_dokey() change

The option was added in commit 53900afa, and its actual purpose was
to separate out an "unget" event buffer from the "macro" buffer, to
solve a problem with certificate prompts.

The safest approach in a low-level function like km_dokey() was to
return an error if new macros were generated when the option is set.
However, this results in an unbuffered username/password prompt being
aborted.

Currently the only users of unbuffered input are the SSL certificate
prompts, which use menu->dialog mode (and thus mutt_getch() directly)
and username/password prompts.  So the only affected cases are
editor-menu prompts, and returning the pressed keys is likely less
surprising than aborting the prompt.

If other unbuffered menus are created in the future, we may want to
add a check for which menu mode is being used.

Co-authored-by: Richard Russon <rich@flatcap.org>

Added * option to unattachments command

The * option clears all previous attachments settings.

Co-authored-by: Richard Russon <rich@flatcap.org>

notmuch: ensure message_id is correct

The notmuch-backend initializes a provided email struct with content
from notmuch. In rare instances, a provided email struct has a
message_id that does not match the one from notmuch. No validation to
ensure message_ids match is performed.

An issue occurs when running nm_mbox_check(), which stores all messages
in a hash table. The incorrect message_id is the key so our email is
considered missing, reloaded into the mailbox, and a duplicate appears
in the index. This triggers a warning from neomutt regarding external
modification.

Instead, validate the message_ids to ensure a match so our hash table
keys are correct. As a result, a reload is no longer performed and
neomutt's warning need not occur.

Fixes #1793

Revert "mime_lookup: use compose mailcap entries when replying"

This reverts commit 672a84d9c4110343ab4d43d542b0c0933365d023.

merge: preparation for window improvements

 * pager: tidy code
 * window: drop unused functions
 * window: don't pass a Window when an int will do
 * window: add new() and free()

window: add new() and free()

window: don't pass a Window when an int will do

window: drop unused functions

pager: tidy code

reflow multiline prompts correctly

When asking the user a long question, NeoMutt can expand the message
window up to three lines.

This fixes two problems with multiline prompts:

- `mutt_window_reflow()` was resizing the windows when it shouldn't

- coloured (shortened) prompts weren't being measured correctly
  (causing unnecessary wrapping)

Refactor regex with custom wrapper

mutt_sort_headers appens in ctx_update, no need to call it again

fix printf format strings

The logging functions use a printf formatting string, but unfortunately
the compiler can't automatically detect errors because of our use of
macros.

Remove uninitialized char array buf

drop unused summary menu

Remove duplicate conditional expressions

Fix struct Buffer used as %s

cmd is a Buffer struct, it does not correspond to %s in the format
string.

Honour a Mailbox's hidden flag in the browser

Update to latest autosetup and bundled JimTcl

Update to latest acutest.h

Fix browsing an IMAP backend

Fixes #1783

merge: light refactoring

 * test: sync mutt_extract_token()
 * drop Buffer.destroy
 * refactor: Mailbox in mutt_display_message()
 * pager: reorganised the code
 * context: tidy for clarity
 * context: add notifications
 * notify: use data to match specific callbacks

notify: use data to match specific callbacks

When removing a notification callback, check both the function and data
pointers.

This means we can reuse a single callback function with multiple data
objects.

context: add notifications

Prepare for more Context refactoring by supporting notifications on the
Context object.

context: tidy for clarity

- rename msgnotreadyet
- insert whitespace into header

pager: reorganised the code

Move all the data, defines and structs to the top of the file, where
they're more discoverable.

refactor: Mailbox in mutt_display_message()

Pass the Mailbox into mutt_display_message() rather than relying on
Context->mailbox.

drop Buffer.destroy

This member controlled whether, when destroyed, a Buffer should delete
its data.  The member was only used in a couple of places, so it seems
better to duplicate the data in those cases and *always* destroy it
afterwards.

test: sync mutt_extract_token()

The test code needs a private copy of mutt_extract_token().
Update the copy to match the latest code.

nntp: fix leaks

nntp: remove old Context references

smime: factor out context

addrlist: fix empty string

notify: fix shutdown order

Free the Notify object after we free anyone who might use it.

boolify monitor

context: crypt_extract_keys_from_messages()

Change crypt_extract_keys_from_messages() to use a Context parameter
rather than the global.

nntp: fix refactoring bugs

- fix cli startup
- fix mailbox ptr
- fix change-folder

email: add events

iwyu: tidy more #includes

merge: trivial tidying

 * doxygen: fix comments
 * fix whitespace
 * rename mutt_emaillist_free() to _clear()
 * drop unused maildir_update_tables()
 * de-Context nntp_check_msgid()
 * de-Context nntp_check_children()
 * boolify imap_next_word()
 * rename dreadful local
 * email: shorten function names
 * rename ParameterList variables
 * unify private data free functions
 * hash: pick some better variable names
 * iwyu: tidy #includes

iwyu: tidy #includes

hash: pick some better variable names

unify private data free functions

rename ParameterList variables

email: shorten function names

rename dreadful local

boolify imap_next_word()

de-Context nntp_check_children()

de-Context nntp_check_msgid()

drop unused maildir_update_tables()

rename mutt_emaillist_free() to _clear()

The function doesn't free the Emails, just the list, so rename it to
match similar functions.

fix whitespace

doxygen: fix comments

merge: upstream fixes

Sync to upstream: 82973a6e

 * change Command to use intptr_t
 * Don't read or save history if $history_file isn't set
 * Omit User-Agent: header by default
 * Remove unnecessary checks for strings
 * Convert $header_cache_pagesize to type DT_LONG

Convert $header_cache_pagesize to type DT_LONG

Prior to commit 4bc76c2f there was no LNUM type, and so the workaround
was to store it as a string, converting in the hcache_open_gdbm()
call.

This will not affect the user interface or config file, because DT_NUM
and DT_LNUM read in a string from the config file and convert to a
number.  Quotes are used for escaping style, not passed through to the
variable setter.

So essentially this simply moves the conversion to parse_set(), and
provides feedback for a non-numeric type immediately.

Co-authored-by: Richard Russon <rich@flatcap.org>

Remove unnecessary checks for strings

MuttVars of those types are set via safe_strdup(), which returns NULL
if the original is "".  Thus Var implies *Var.

A good portion of the code relies on that axiom, but over the years
some (Var && *Var) checks have crept in, including from me.

This was partially because of the INITVAL("") that were in the code,
which implied (incorrectly) the initial value could be "".  Commit
2f91d43e removed those to make it more clear.

This commit removes the *Var checks to make it even clearer, and help
avoid them creeping back in again.

Co-authored-by: Richard Russon <rich@flatcap.org>

Omit User-Agent: header by default

The User-Agent: header can be fun and interesting and useful for
debugging, but it also leaks quite a bit of information about the user
and their software stack.

This represents a potential security risk (attackers can target the
particular stack) and also an anonymity risk (a user trying to
preserve their anonymity by sending mail from a non-associated account
might reveal quite a lot of information if their choice of mail user
agent is exposed).

Users who want to configure `user_agent` to `yes` can still do so, but
it makes sense to have safer defaults.

Co-authored-by: Richard Russon <rich@flatcap.org>

Don't read or save history if $history_file isn't set

Co-authored-by: Richard Russon <rich@flatcap.org>

change Command to use intptr_t

fix browser attach

sync translations

fix re-opening attachments

When opening an attachment with a two part suffix, e.g. `.tar.gz`
NeoMutt created a temporary file with just `.gz`.

Hack the splitting logic to give a useful suffix

Fixes: #1699

Avoid implicit conversion between bool and quadopt

Make the conversion between `bool and `QuadOption` explicit, and avoid
depending on the underlying `enum` value.

Also state that `mutt_yesorno` works correctly for `MUTT_YES` and `MUTT_NO`