Add autocrypt documentation about shared key and keyring strategies

Minor autocrypt manual section updates

Mention key selection during account creation and $autocrypt_reply for
controlling autocrypt mode setting during replies.

Co-authored-by: Richard Russon <rich@flatcap.org>

Enabled writing protected subject with autocrypt too

Co-authored-by: Richard Russon <rich@flatcap.org>

Turn off macro processing during autocrypt initialization

The muttrc can push events into the macro buffer, with the assumption
that mailbox will be opened next.  This will interfere with the
prompts uses during first run.  The only issue is that macros won't
work inside the folder browser, if invoked.

Co-authored-by: Richard Russon <rich@flatcap.org>

Allow nested setting of OptIgnoreMacroEvents

This will be needed for the first-run of autocrypt initialization.
The initialization involves a number of prompts, and can even use the
folder browser.  The browser could in turn connect to IMAP which might
invoke a certificate prompt, login prompt, etc.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add $autocrypt_reply

This allows turning off the force-autocrypt mode when replying to an
autocrypt email.

Co-authored-by: Richard Russon <rich@flatcap.org>

Automatically clear screen when popping the last menu

This removes the need to manually clear the screen during pre-menu
operations, such as autocrypt first run initialization.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add ability to create autocrypt account from an existing key

This is useful when adding accounts, or for users who want to use an
existing key from the keyring during initial account creation.

Co-authored-by: Richard Russon <rich@flatcap.org>

tidy code

- boolify variables, members
- reduce variable scope
- initialise pointers
- bracket logic
- name parameters in prototypes

add whitespace for clarity

explicitly check retval for strcmp, buffer_len

add braces to unclear 'if' statements

rename local variable msg to e

rename local variable hdr to e

doxy: add comment blocks

rename local variable rv to rc

iwyu: tidy #includes

fix test cases

Don't try to decrypt autocrypt messages if the option is off

Co-authored-by: Richard Russon <rich@flatcap.org>

Add autocrypt README file

Co-authored-by: Richard Russon <rich@flatcap.org>

Add documentation for the autocrypt feature

Co-authored-by: Richard Russon <rich@flatcap.org>

Add option to scan mailboxes during first run

The scanner will disable the header cache, allowing scanning all
messages in the mailbox.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add more translation string comments for autocrypt

Co-authored-by: Richard Russon <rich@flatcap.org>

Basic autocrypt account menu

Provide ability to create, delete, and toggle the prefer-encrypt and
enabled flag for an account.

Hook into the index via 'A' <autocrypt-acct-menu>.

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert peer_update to just pass the peer object

Unlike get and insert, there is no need for an addres parameter that
needs to be normalized, since the address is already in the peer
object.

Co-authored-by: Richard Russon <rich@flatcap.org>

Improve gen-map-doc work on multi-word maps

Co-authored-by: Richard Russon <rich@flatcap.org>

Add account->enabled checks

Add to ui recommendation, keylist generator, and autocrypt header
writing routines.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add prefer-encrypt prompt during account creation

Co-authored-by: Richard Russon <rich@flatcap.org>

Add AUTOCRYPT header to imap fetch list

If $autocrypt is set, add the header to make IMAP behave the same as
other formats (parsing on initial mailbox opening).

This will also be useful if we perform an initial scan during account
creation, to make that work for IMAP too.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add L10N translation message comments

Co-authored-by: Richard Russon <rich@flatcap.org>

Add autocrypt source files to POTFILES.in

Co-authored-by: Richard Russon <rich@flatcap.org>

Print an error message if an autocrypt key can't be found

Co-authored-by: Richard Russon <rich@flatcap.org>

Handle autocrypt message decryption

Try autocrypt first for crypt_pgp_decrypt_mime() and
pgp_gpgme_encrypted_handler().

Propagate the autocrypt bit if successful.  This is used when replying
to an autocrypt message, to force a reply using autocrypt.

Co-authored-by: Richard Russon <rich@flatcap.org>

Slightly improve the gossip header key update

Don't set an empty peer.gossip_keydata with a value that matches the
current peer.keydata.  This just wastes space.

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix process_gossip_headers() to look at the right envelope

Co-authored-by: Richard Russon <rich@flatcap.org>

Autocrypt outgoing emails

Change crypt_get_keys() to query autocrypt.

When oppenc_mode is set, we still query the original keyring
regardless, because the compose menu can still run oppenc even if
autocrypt is on.

Since mutt_autocrypt_ui_recommendation() checks each key as part of
making the recommendation, add a keylist parameter and use that
function.

Add gpgme changes to use the autocrypt context for encryption.

Postpone work:
* Change mutt_protect() to have a postpone parameter.  Remove the
  manual toggling of the SEC_SIGN bit outside the call when postponing.

* Since autocrypt doesn't set the SEC_SIGN bit, this allows us to turn off
  signing inside mutt_protect() for both normal and autocrypt mode.

* Set the autocrypt postpone key in AutocryptDefaultKey.

Write autocrypt and gossip headers in outgoing emails.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add autocrypt line to the compose menu

Remove the hardcoded HDR_ATTACH offset calcuation, and add an explicit
enum for the "-- Attachments" line to make loops and padding array
sizes easier.

Add security and recommendataion fields on the line.

Add mutt_autocrypt_ui_recommendation, following the autocrypt spec
guidelines.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add another struct Email security bit for autocrypt

Co-authored-by: Richard Russon <rich@flatcap.org>

Change gossip header address comparison to use normalized addresses

Co-authored-by: Richard Russon <rich@flatcap.org>

Change autocrypt_db normalization to return struct Address

This makes reusing the code in autocrypt.c easier.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add gossip header processing

Co-authored-by: Richard Russon <rich@flatcap.org>

Convert to use sqlite3_prepare_v3()

The documentation suggests the SQLITE_PREPARE_PERSISTENT flag is
helpful for long-lived prepared statements, and Mutt is using.

Co-authored-by: Richard Russon <rich@flatcap.org>

Process autocrypt headers

Create/update peer database accounts and gpg keys based on the headers.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add autocrypt header parsing to mutt_parse_rfc822_line()

Convert parse_parameters() for autocrypt header usage:

  * change to use a struct Buffer to accomodate large autocrypt keydata
    attribute values.

  * Autocrypt header parameters are not rfc2231 compliant.  Rather
    than rolling another very similar function, just change the
    existing one to allow space separation.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add initial autocrypt account setup

Generate gpg key and add account record to the database.

Co-authored-by: Richard Russon <rich@flatcap.org>

Factor out mutt_edit_address() in send.c

For reuse by autocrypt for address prompts.

Co-authored-by: Richard Russon <rich@flatcap.org>

Start autocrypt gpgme

Add a basic init function.

Bump up the required gpgme version to 1.8.0 if autocrypt is enabled.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add database and schema initialization

Add mutt_mkdir() library function supporting recursive mkdir.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add autocrypt config vars

Co-authored-by: Richard Russon <rich@flatcap.org>

Initial autoconf and makefile setup for autocrypt

Co-authored-by: Richard Russon <rich@flatcap.org>

build: add autocrypt option

address: add mutt_addr_to_intl()

merge: upstream fixes

 * docs: Refer to NeoMutt
 * Add checks for buffered OpenSSL or GnuTLS data when polling
 * Fix LibreSSL build
 * Add size display configuration variables
 * test: remove mutt_str_pretty_size()
 * Add $ssl_use_tlsv1_3 config variable, default set

Add $ssl_use_tlsv1_3 config variable, default set

Co-authored-by: Richard Russon <rich@flatcap.org>

test: remove mutt_str_pretty_size()

mutt_str_pretty_size() now relies on four config variables, so it's been
demoted to muttlib.c.  When it's been converted to use flags instead of
config variables, it can be returned to the library.

Add size display configuration variables

Although it would be nice to "open this up" more, performance and
security/stability issues would arise.

Based on the thread in mutt-dev, I hope these vars will satisfy most
customization needs:
  $size_show_bytes
  $size_show_mb
  $size_show_fractions
  $size_units_on_left

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix LibreSSL build

Apparently LibreSSL doesn't implement SSL_has_pending(), even for
newer versions.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add checks for buffered OpenSSL or GnuTLS data when polling

I don't believe this has had an actual effect, because NeoMutt doesn't
support renegotiation, and we are only polling immediately after
sending NOOP.

However, it looks like checking is technically the correct thing to do
to avoid polling waiting for data that is already buffered.

Co-authored-by: Richard Russon <rich@flatcap.org>

docs: Refer to NeoMutt

Fix parsing of GnuPG output

In GnuPG output there is a space after "[GNUPG:]". If the space is
not taken into account, the rest of the parsing fails, e.g., because
the variable "line" starts with " BEGIN_DECRYPTION" instead of the
expected "BEGIN_DECRYPTION".

This commit restores the previous parsing functionality. It appears
that the number of spaces does not differ among GnuPG versions.
However, if we wanted to make the code robust to varying amount of
space following "[GNUPG:]", we could either trim the whitespace from
the beginning or take it into account with mutt_str_lws_len().

This commit fixes a regression introduced at c2aa0c06.

Increase length of attachment pipe command

This matches the length of the pipe command for messages, and is much
less likely to be hit accidentally.

notmuch: sort headers on interrupted read

Commit 45639e4 breaks partial notmuch mailbox loads. If a notmuch mailbox is
interrupted while loading, the index will be empty. To resolve this, add back
the 'mutt_sort_headers()' for the interrupted read case.

Use Buffer instead of raw char* in pop

Change OptIgnoreMacroEvents to ignore macros

Change OptIgnoreMacroEvents to actuallly ignore macros instead of
throwing errors.

Add a comment to the OptIgnoreMacroEvents km_dokey() change

The option was added in commit 53900afa, and its actual purpose was
to separate out an "unget" event buffer from the "macro" buffer, to
solve a problem with certificate prompts.

The safest approach in a low-level function like km_dokey() was to
return an error if new macros were generated when the option is set.
However, this results in an unbuffered username/password prompt being
aborted.

Currently the only users of unbuffered input are the SSL certificate
prompts, which use menu->dialog mode (and thus mutt_getch() directly)
and username/password prompts.  So the only affected cases are
editor-menu prompts, and returning the pressed keys is likely less
surprising than aborting the prompt.

If other unbuffered menus are created in the future, we may want to
add a check for which menu mode is being used.

Co-authored-by: Richard Russon <rich@flatcap.org>

Added * option to unattachments command

The * option clears all previous attachments settings.

Co-authored-by: Richard Russon <rich@flatcap.org>

notmuch: ensure message_id is correct

The notmuch-backend initializes a provided email struct with content
from notmuch. In rare instances, a provided email struct has a
message_id that does not match the one from notmuch. No validation to
ensure message_ids match is performed.

An issue occurs when running nm_mbox_check(), which stores all messages
in a hash table. The incorrect message_id is the key so our email is
considered missing, reloaded into the mailbox, and a duplicate appears
in the index. This triggers a warning from neomutt regarding external
modification.

Instead, validate the message_ids to ensure a match so our hash table
keys are correct. As a result, a reload is no longer performed and
neomutt's warning need not occur.

Fixes #1793

Revert "mime_lookup: use compose mailcap entries when replying"

This reverts commit 672a84d9c4110343ab4d43d542b0c0933365d023.

merge: preparation for window improvements

 * pager: tidy code
 * window: drop unused functions
 * window: don't pass a Window when an int will do
 * window: add new() and free()

window: add new() and free()

window: don't pass a Window when an int will do

window: drop unused functions

pager: tidy code

reflow multiline prompts correctly

When asking the user a long question, NeoMutt can expand the message
window up to three lines.

This fixes two problems with multiline prompts:

- `mutt_window_reflow()` was resizing the windows when it shouldn't

- coloured (shortened) prompts weren't being measured correctly
  (causing unnecessary wrapping)

Refactor regex with custom wrapper

mutt_sort_headers appens in ctx_update, no need to call it again

fix printf format strings

The logging functions use a printf formatting string, but unfortunately
the compiler can't automatically detect errors because of our use of
macros.

Remove uninitialized char array buf

drop unused summary menu

Remove duplicate conditional expressions

Fix struct Buffer used as %s

cmd is a Buffer struct, it does not correspond to %s in the format
string.

Honour a Mailbox's hidden flag in the browser

Update to latest autosetup and bundled JimTcl

Update to latest acutest.h

Fix browsing an IMAP backend

Fixes #1783

merge: light refactoring

 * test: sync mutt_extract_token()
 * drop Buffer.destroy
 * refactor: Mailbox in mutt_display_message()
 * pager: reorganised the code
 * context: tidy for clarity
 * context: add notifications
 * notify: use data to match specific callbacks

notify: use data to match specific callbacks

When removing a notification callback, check both the function and data
pointers.

This means we can reuse a single callback function with multiple data
objects.

context: add notifications

Prepare for more Context refactoring by supporting notifications on the
Context object.

context: tidy for clarity

- rename msgnotreadyet
- insert whitespace into header

pager: reorganised the code

Move all the data, defines and structs to the top of the file, where
they're more discoverable.

refactor: Mailbox in mutt_display_message()

Pass the Mailbox into mutt_display_message() rather than relying on
Context->mailbox.

drop Buffer.destroy

This member controlled whether, when destroyed, a Buffer should delete
its data.  The member was only used in a couple of places, so it seems
better to duplicate the data in those cases and *always* destroy it
afterwards.

test: sync mutt_extract_token()

The test code needs a private copy of mutt_extract_token().
Update the copy to match the latest code.

nntp: fix leaks

nntp: remove old Context references

smime: factor out context

addrlist: fix empty string

notify: fix shutdown order

Free the Notify object after we free anyone who might use it.

boolify monitor

context: crypt_extract_keys_from_messages()

Change crypt_extract_keys_from_messages() to use a Context parameter
rather than the global.

nntp: fix refactoring bugs

- fix cli startup
- fix mailbox ptr
- fix change-folder