coverage: show stats

tests: add copyright blocks

docs: add note about line continuation

Closes: #1668
[ci skip]

Fix uninitialized variable

Reported on https://mailman.neomutt.org/pipermail/neomutt-devel-neomutt.org/2019-April/000654.html

imap: fix auth login

The auth_login returns an error when it succesfully logins.

This was introduced by 04892a48ea76b37f6aa9b369b5bc4f5cc362878c

This change fixes that.

imap: fix oauth

Currently when oauth success, we got this and neomutt UI got stuck:

[2019-04-21 15:35:38]<5> mutt_socket_readln_d() 5< a0001 OK xxxxxxxxxxxxx@xxxxxxxxx authenticated (Success)
[2019-04-21 15:35:38]<2> mutt_socket_write_d() 5> [2019-04-21 15:35:38]<2> imap_login() Communication encrypted at 256 bits
[2019-04-21 15:35:38]<3> imap_mdata_new() hcache uidvalidity 1, uidnext 228, modseq 0
[2019-04-21 15:35:38]<M> mx_mbox_open() Reading imaps://imap.gmail.com/INBOX...
[2019-04-21 15:35:38]<M> imap_mbox_open() Selecting INBOX...
[2019-04-21 15:35:38]<2> mutt_socket_write_d() 5> a0002 SELECT "INBOX"
[2019-04-21 15:35:38]<5> mutt_socket_readln_d() 5< * BAD [CLIENTBUG] Invalid tag

In fact neomutt send ^A to the server, but this should occurs only if
the authentication fails.

This changes fixes that.

Demote more 'first' and 'last' errors to messages

This should finish the job done in 8e8344.

Fixes #1311

update credits

fix release build

Fix capitalization (now consistent with the respective code in pager.c)

Support group-chat-reply in the index

Fixes #1654

Make buffer pool initialization lazy

This fixes an issue in the startup sequence where a buffer is requested
from the buffer pool before mutt_buffer_pool_init is called. The latter
doubles up the number of buffers even though there are free ones.

tidy: config variables and comments

Rename global variables to match their config:

- `C_ImapCondStore`       -> `C_ImapCondstore`
- `C_ImapOauthRefreshCmd` -> `C_ImapOauthRefreshCommand`
- `C_ImapQResync`         -> `C_ImapQresync`
- `C_PopOauthRefreshCmd`  -> `C_PopOauthRefreshCommand`
- `C_SidebarNonEmptyOnly` -> `C_SidebarNonEmptyMailboxOnly`
- `C_SmtpOauthRefreshCmd` -> `C_SmtpOauthRefreshCommand`

split Address into a separate library

Closes: #1619

Make buffer pool parameters (compile-time) configurable

remove unnecesary test in mutt_str_asprintf()

Temporarily remove a valid test condition to match.

merge: promote two functions to libmutt

 * libmutt: promote getcwd to the library
 * libmutt: promote mutt_buffer_concat_path to the library
 * add basic tests

add basic tests

libmutt: promote mutt_buffer_concat_path to the library

libmutt: promote getcwd to the library

fix Mailbox->append,changed flags

Replying to an email caused some unwanted side-effects:
- Updating the Context left `m->changed == false`
- `mutt_write_fcc()` left `m->append == true`

fix setting the 'replied' flag

When replying to an email, mark the original as 'replied'.

Fixes: #1647

merge: convert Buffers to use the pool

 * remove unused Buffer in cs_inherit_variable()
 * allocate Buffer in ac_free()
 * allocate Buffer in cs_register_variables()
 * allocate Buffer in mutt_folder_hook()
 * allocate Buffer in lua_mutt_call()
 * allocate Buffer in lua_mutt_enter()
 * allocate Buffer in mutt_find_hook()
 * allocate Buffer in mutt_account_hook()
 * allocate Buffer in execute_commands()
 * allocate Buffer in mutt_dump_variables()

allocate Buffer in mutt_dump_variables()

allocate Buffer in execute_commands()

allocate Buffer in mutt_account_hook()

allocate Buffer in mutt_find_hook()

allocate Buffer in lua_mutt_enter()

allocate Buffer in lua_mutt_call()

allocate Buffer in mutt_folder_hook()

allocate Buffer in cs_register_variables()

allocate Buffer in ac_free()

remove unused Buffer in cs_inherit_variable()

merge: add framework for testing string functions

 * test: templates for string functions
 * test: add string tests for degenerate cases
 * libmutt: fix code for degenerate cases
 * test: merge existing string tests
 * build: add coverage testing

build: add coverage testing

test: merge existing string tests

libmutt: fix code for degenerate cases

test: add string tests for degenerate cases

test: templates for string functions

merge: trivial fixes

 * refactor: light tidying
 * tidy macros
 * comment escape sequences
 * add: PatternExecFlags for mutt_pattern_exec()
 * tidy: mutt_copy_hdr()
 * tidy calls to mutt_copy_hdr()
 * boolify: mutt_parse_crypt_hdr()
 * boolify: mutt_enter_fname()
 * boolify: valid_passphrase()

boolify: valid_passphrase()

boolify: mutt_enter_fname()

boolify: mutt_parse_crypt_hdr()

tidy calls to mutt_copy_hdr()

tidy: mutt_copy_hdr()

add: PatternExecFlags for mutt_pattern_exec()

The flags were an enum, which wasn't really suitable.

comment escape sequences

tidy macros

- add underscores
- remove unused

refactor: light tidying

- clang-format
- remove unused declaration
- use bools in config definitions
- fix doxygen comments
- remove unnecessary check
- tidy list/queue definitions

Fix save_message() - set the append flag to the correct mailbox

Fixes #1645

mark oauth config variables as sensitive

tidy: delete trailing whitespace

fix crash on startup

Allocate the 'folder' earlier.
Our code paths seem to differ from upstream's.

merge: Allow reopening of Maiboxes (workaround)

 * fix ev_message()
 * fix save_message()
 * fix pop_fetch_mail()
 * fix trash_append()

fix trash_append()

Prevent a crash when reopening a Mailbox.

> How exactly do these changes prevent the crash from occurring?

It's all about how mx_mbox_open() handles flags.  These four examples
are where we have a Mailbox open in 'normal' mode and try to open it
again in 'append' mode.

'Append' mode only makes sense for 'mbox' and 'compress', but the flag
affects mx_mbox_open(). It causes the function to create a duplicate
Mailbox, which is then used and discarded. The original Mailbox is now
out of sync.

The workaround, simply hides the flag for mx_mbox_open(), but
temporarily sets the internal bool append. This means that we work with
one Mailbox.

fix pop_fetch_mail()

Prevent a crash when reopening a Mailbox.

> How exactly do these changes prevent the crash from occurring?

It's all about how mx_mbox_open() handles flags.  These four examples
are where we have a Mailbox open in 'normal' mode and try to open it
again in 'append' mode.

'Append' mode only makes sense for 'mbox' and 'compress', but the flag
affects mx_mbox_open(). It causes the function to create a duplicate
Mailbox, which is then used and discarded. The original Mailbox is now
out of sync.

The workaround, simply hides the flag for mx_mbox_open(), but
temporarily sets the internal bool append. This means that we work with
one Mailbox.

fix save_message()

Prevent a crash when reopening a Mailbox.

> How exactly do these changes prevent the crash from occurring?

It's all about how mx_mbox_open() handles flags.  These four examples
are where we have a Mailbox open in 'normal' mode and try to open it
again in 'append' mode.

'Append' mode only makes sense for 'mbox' and 'compress', but the flag
affects mx_mbox_open(). It causes the function to create a duplicate
Mailbox, which is then used and discarded. The original Mailbox is now
out of sync.

The workaround, simply hides the flag for mx_mbox_open(), but
temporarily sets the internal bool append. This means that we work with
one Mailbox.

fix ev_message()

Prevent a crash when reopening a Mailbox.

> How exactly do these changes prevent the crash from occurring?

It's all about how mx_mbox_open() handles flags.  These four examples
are where we have a Mailbox open in 'normal' mode and try to open it
again in 'append' mode.

'Append' mode only makes sense for 'mbox' and 'compress', but the flag
affects mx_mbox_open(). It causes the function to create a duplicate
Mailbox, which is then used and discarded. The original Mailbox is now
out of sync.

The workaround, simply hides the flag for mx_mbox_open(), but
temporarily sets the internal bool append. This means that we work with
one Mailbox.

merge: upstream changes

 * browser.c: Convert LastDir and LastDirBackup to Buffer
 * browser.c: Convert prefix to Buffer
 * browser.c: Convert buf to Buffer
 * browser.c: Convert other browser local variables to Buffer
 * browser.c: Convert f parameter to Buffer
 * Create mutt_buffer_mailbox() buffer function
 * Change main() folder to be Buffer

Change main() folder to be Buffer

This affects the -f, -y, and -Z options directly.

Co-authored-by: Richard Russon <rich@flatcap.org>

Create mutt_buffer_mailbox() buffer function

Relocate some of the buffy function declarations to mailbox.h while
adding the new declaration.

Co-authored-by: Richard Russon <rich@flatcap.org>

browser.c: Convert f parameter to Buffer

Co-authored-by: Richard Russon <rich@flatcap.org>

browser.c: Convert other browser local variables to Buffer

Co-authored-by: Richard Russon <rich@flatcap.org>

browser.c: Convert buf to Buffer

Co-authored-by: Richard Russon <rich@flatcap.org>

browser.c: Convert prefix to Buffer

Co-authored-by: Richard Russon <rich@flatcap.org>

browser.c: Convert LastDir and LastDirBackup to Buffer

Add a cleanup method call to main to free the Buffers.

Add mutt_buffer_concat_path() buffer helper function.

Co-authored-by: Richard Russon <rich@flatcap.org>

merge: non-functional code improvements

 * test: sync mutt_extract_token()
 * boolify mutt_sig_allow_interrupt()
 * unify variable names
 * use MUTT_TOKEN_NO_FLAGS
 * reduce scope of variables
 * rename 'hdr' variables
 * Replace 0 flags with their NO_FLAGS equivalent

Replace 0 flags with their NO_FLAGS equivalent

When a function has a flags parameter, pass the matching `NO_FLAGS`
symbol rather than `0`.

rename 'hdr' variables

Rename some Email and Envelope objects to 'e' and 'env'.

reduce scope of variables

use MUTT_TOKEN_NO_FLAGS

unify variable names

All file descriptors variables now begin with `fd`.

boolify mutt_sig_allow_interrupt()

test: sync mutt_extract_token()

mutt_extract_token() was updated, but the copy in test/pattern wasn't.

curses: clear screen on exit

merge: upstream changes

 * Fix raw socket read/write to follow expected behavior
 * Fix truncation of long filenames in attachments
 * Add $include_encrypted config to prevent reply-decryption attack
 * Use gpgme recipient strings for encryption when available
 * Fix mailcap %{charset} expansion in send mode
 * Check noconv for mailcap %{charset} send mode expansion
 * Expand a couple of the comments about charset
 * Add "Message Composition Flow" section to manual
 * Minor buffer handling code cleanup
 * Improve imap uid seqset hcache buffer usage
 * Fix imap_pretty_mailbox() call to url_ciss_tostring()
 * Add mutt_buffer_expand_path()
 * Fixes to mutt_buffer_expand_path()
 * Add mutt_buffer_strcpy_n()
 * Add mutt_getcwd()
 * Add documentation on thread tree characters and config vars
 * Fail oauth quietly if it was not configured
 * Change IMAP to try oauthbearer first
 * Remove h->active hack in imap_sync_message_for_copy()
 * Restore active flag in imap_fetch_message() on error
 * Add a note about spam and the header cache in the manual

Add a note about spam and the header cache in the manual

Co-authored-by: Richard Russon <rich@flatcap.org>

Restore active flag in imap_fetch_message() on error

Co-authored-by: Richard Russon <rich@flatcap.org>

Remove h->active hack in imap_sync_message_for_copy()

Commit 285baf9a improved FLAGS parsing such that "spurious" FLAGS
updates won't cause a mailbox reopen.

Remove the h->active=0 hack because it isn't needed now and makes
reasoning about deletes, purges, and message set generation more
difficult.

Co-authored-by: Richard Russon <rich@flatcap.org>

Change IMAP to try oauthbearer first

$imap_authenticators says if it is unset, the authenticators from
most-secure to secure will be tried.  It makes sense for oauthbearer
to come first, like with POP.

To make this change backwards compatible, it depends on the previous
commit, which changed imap_auth_oauth() to return IMAP_AUTH_UNAVAIL if
oauth is not configured or explictily requested.

Co-authored-by: Richard Russon <rich@flatcap.org>

Fail oauth quietly if it was not configured

Don't report an error unless they explicitly put "oauthbearer" in the
authenticator list or configured the oauth_refresh_command.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add documentation on thread tree characters and config vars

Co-authored-by: Richard Russon <rich@flatcap.org>

Add mutt_getcwd()

Co-authored-by: Richard Russon <rich@flatcap.org>

Add mutt_buffer_strcpy_n()

Co-authored-by: Richard Russon <rich@flatcap.org>

Fixes to mutt_buffer_expand_path()

Create _mutt_buffer_expand_path() with the rx argument.

Use mutt_b2s() instead of derefencing buffer->data in
mutt_buffer_expand_path().  The p->data uses were safe, but the
src->data was potentially not.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add mutt_buffer_expand_path()

TODO: '@' expansion using mutt_default_save() is still using a fixed size
string parameter.

Convert imap_expand_path() and mutt_rx_sanitize_string() to use
BUFFERS instead.

Add url_ciss_tobuffer().

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix imap_pretty_mailbox() call to url_ciss_tostring()

Pass the correct buffer size through, so the strfcpy added in the next
commit doesn't write past the end of the buffer.

Co-authored-by: Richard Russon <rich@flatcap.org>

Improve imap uid seqset hcache buffer usage

mutt_buffer_increase_size() terminates the buffer, so there is no need
to explicitly check for an empty buffer after the
imap_msn_index_to_uid_seqset() call.

Co-authored-by: Richard Russon <rich@flatcap.org>

Minor buffer handling code cleanup

Use mutt_buffer_len() and mutt_buffer_clear() to make the code a bit
clearer.  There are still places in the code that manipulate the
buffers directly (pattern.c, for example), but that doesn't mean we
shouldn't abstract the buffer where we can.

Add comments in a couple places where unusual buffer manipulation is
occurring.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add "Message Composition Flow" section to manual

This provides a brief overview of the steps during message
composition, and shows when the various hooks are executed.

Co-authored-by: Richard Russon <rich@flatcap.org>

Expand a couple of the comments about charset

Make it clearer what BODY->charset is used for, and why we are
checking for !noconv during mailcap charset parameter expansion.

Co-authored-by: Richard Russon <rich@flatcap.org>

Check noconv for mailcap %{charset} send mode expansion

Improve the previous commit by checking to make sure a->noconv also
isn't set.  If noconv is set, we ignore any value a->charset might
have picked up during previous encoding checks.

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix mailcap %{charset} expansion in send mode

Use the current charset of the file for the parameter, since the file
hasn't been converted yet.

Co-authored-by: Richard Russon <rich@flatcap.org>

Use gpgme recipient strings for encryption when available

For gpgme >= 1.11.0, use gpgme_op_encrypt_ext() and
gpgme_op_encrypt_sign_ext() to specify recipients as a string.

This allows '!' to specify forcing a subkey, as is the case in classic
gpg and from the command line.

Remove the '!' "force valid" usage for the newer version.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add $include_encrypted config to prevent reply-decryption attack

@jensvoid, in cooperation with Ruhr-Uni Bochum and FH Münster,
Germany, reported a possible "Oracle decryption" attack on various
mail clients.  An attacker could include previously encrypted contents
they obtained access to, and include it in a message.  Replying
without trimming would include the decrypted contents.

This attack relies on several "ifs", and is more dangerous for clients
that compose HTML mail.  However, it is still an issue that an
unwary/busy Mutt user could fall for.

Add a new config $include_encrytped, defaulting off, to reduce the
possibility of the user being unaware of previously encrypted parts in
the reply.  Only the main initial encrypted part will be included in
the reply.

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix truncation of long filenames in attachments

Currently mutt truncates long filenames in attachments and doesn't
take into account UTF-8 character size. If filename is truncated in
the middle of multi-byte UTF-8 character (last character is bad),
then some mail clients assume whole attachment name bad and don't
display its name (use 'Noname' instead).

Filenames can be up to 255 *characters* long depending on used
filesystem. ReiserFS, NFTS, FAT, APFS and some other supports up to
255 characters.
In the worst case 255 characters in UTF-8 will take 255*4 = 1020
bytes. Every non-ascii byte in the filename will be encoded using 3
bytes (for example, %8D).
So 'Content-Disposition' will take in the worst case up to: 1020*3 =
3060 bytes. Therefore even LONG_STRING (1024) isn't enough.

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix raw socket read/write to follow expected behavior

The mutt_sasl.c code expects conn_write() to write the entire buffer.
This is inconsistent with mutt_socket.c, but since other conn_write()
implementations guarantee this, change raw_socket_write() to do so too
for now.

Also, update reading and writing to loop on EINTR, as gnutls does.
They won't return EAGAIN or EWOULDBLOCK because we don't mark sockets
as non-blocking.

Co-authored-by: Richard Russon <rich@flatcap.org>

merge: Tidy a lot of messages/translations

 * add missing constants
 * quote 'nametemplate'
 * add space after question prompt
 * remove []s from a question
 * remove colons from questions
 * use a question mark in the crypto questions
 * use a question mark in the bounce question
 * merge similar translation strings 1
 * merge similar translation strings 2
 * merge similar translation strings 2
 * quote Content-Language
 * quote alternatives
 * quote multilingual
 * quote multipart/alternative
 * quote multipart/multilingual
 * quote Content-Language
 * reword relative path error message
 * replace cannot with can't
 * ensure (o)ptions' style
 * mutt_debug
 * sync translations

sync translations

mutt_debug

Tidy lots of debugging messages