misc

rename Mailbox private data

rename Email private data

clang-format

Revert "notmuch: count messages in queried threads"

The change was causing severe performance problems with large mailboxes.

This reverts commit b71ac2bae5d471b2a32452d9103d4164f27f729f.

Issue #1359

rename nntp structs

Try adding status indicator R for my address in Reply-To

It adds a new "R" flag for the 3rd position of the index %Z field, for when user's own address is in the Reply-To header unless none of the other flags for that field is applicable.

Some mailing lists now do the following transformation of the headers: rewrite the From header to the list address, and add a Reply-To header with the poster address.  This feature helps highlight my own posts in folders dedicated to such lists.  Of course if you are _subscribed_ to the list (in the Mutt sense) you'll get the "L" flag instead, but in that case you don't care about hightlighting your posts anyway.

rename mbox_get_mdata

add pop_get_mdata

manual: document `named-mailboxes` for neomuttrc

add MaildirMboxData

fix some mailbox logic

merge: add <named-mailboxes> command

 * mailbox: try to find existing description
 * format: add `%D` - mailbox description
 * Add `named-mailboxes` command
 * browser: `%i` - folder_format description expando

browser: `%i` - folder_format description expando

`%i` will display the description for a folder and fallback to the
folder's name if a description does not exist.

Add `named-mailboxes` command

No additional work is necessary since this command reuses the same code
as `mailboxes` and `virtual-mailboxes`. This was surprisingly simple.

format: add `%D` - mailbox description

Added the `%D` expando, which displays the mailbox's description, to
sidebar_format and status_format. If the mailbox does not have a
description, fallback to the path.

This behavior is same as `%f` and `%B` for `virtual-mailboxes`. This
was done to prevent breaking existing configurations as `notmuch`
queries have unsightly paths.

This lays the ground work for introducing `named-mailboxes`.

mailbox: try to find existing description

`mx_mbox_open(...)` creates a new `Context`, which requires creating new
`Mailbox` instances. Modified `mailbox_new(...)` to try and find an
existing description that matches the mailbox `path`.

fix mailbox crashes

Fixes #1360
Fixes #1361

Thanks to Sergey Alirzaev (@l29ah)

doxy: fix docs

[ci skip]

rename config Account

test: drop duplicate account code

use mutt_buffer_strcpy

notmuch: count messages in queried threads

`count_query` did not handle counting all messages in `type=threads`
queries. It returned the number of messages matching the `query=`
qualifier. Refactored `count_query` into two methods handling
`type=threads` and `type=messages`, respectively.

This makes `sidebar_format`'s `%S` display the same value as
`pager_format`'s `%m`.

imap: factor out get_adata

fix imap log - buffer_add_printf

tidy code

rename things

fix comments

merge: upstream fixes

 * Fix gnutls (a)lways to properly save for all certerr values.
 * Change gnutls certificate_file processing and interactive prompts.
 * Add a comment about gnutls date bits in certstat.

Add a comment about gnutls date bits in certstat.

It's easy to miss the call disabling date checking and wonder why the
certstat bits are not set.

Fix IMAP auth w/o IR to not hang on failed authentication

Change gnutls certificate_file processing and interactive prompts.

Accept a saved cert at any point in the chain, except for those
revoked or with invalid dates.

The INSECUREALG processing was a bit goofed up.  It was skipping the
prompt for every chain except the host, and was only displaying an
error for entry 1 (the host being 0, root being len-1).  Instead
prompt at any point, and display a warning as with the other errors.

Add a CERTERR_OTHER type to capture other bits.  Recently GnuTLS has
added additional certificate_status_t types.  We may want to improve
the prompts in the future for those, but for now at least make sure
it's recorded in certerr.

Fix gnutls (a)lways to properly save for all certerr values.

For the case of SIGNERNOTCA, INSECUREALG, or a newer unhandled value,
the "(a)ccept always" prompt was allowed, but the cert saving was
prevented by a check only against NOTTRUSTED.  This ended up giving a
strange error message saying the cert was not saved.

Fix to save the cert for all errors except HOSTNAME (which is handled
separately).

merge: upstream refactoring

 * Add buffer pool functions.
 * Convert imap_rename and pgp_invoke_list_keys to use buffer pool.
 * Create mutt_buffer_add_printf().
 * Convert mix_send_message to use buffer pool.
 * Convert buffy_maildir_check_dir to use struct Buffer.
 * Convert maildir_parse_dir to use struct Buffer.
 * Convert _maildir_commit_message to use struct Buffer.
 * Convert maildir_sync_message to use BUFFERs.
 * Convert maildir_canon_filename() and callers to use struct Buffer.

Fix segfault when checking a mailbox after a disconnect (III)

Issue #1349

tidy

Convert maildir_canon_filename() and callers to use struct Buffer.

Callers are maildir_check_mailbox(), _maildir_open_find_message(), and
maildir_open_find_message().

Convert maildir_sync_message to use BUFFERs.

Convert _maildir_commit_message to use struct Buffer.

Convert maildir_parse_dir to use struct Buffer.

Note: the uses of buf and tmp don't overlap, so we only use a single
struct Buffer.

Convert buffy_maildir_check_dir to use struct Buffer.

Convert mix_send_message to use buffer pool.

Create mutt_buffer_add_printf().

Change mutt_buffer_printf() to overwrite the buffer contents, like
mutt_buffer_strcpy().

mutt_buffer_add*() functions append to the buffer contents.

Convert imap_rename and pgp_invoke_list_keys to use buffer pool.

Add buffer pool functions.

Also add a few helper functions: mutt_buffer_clear(),
mutt_buffer_strcpy(), and a macro mutt_b2s to grab the buffer data as
a const char *.

ImapAccountData

Even though it's attached to a Mailbox, this is Account data.

notmuch: use global settings for vfolder-from-query

notmuch: simplify uri creation logic

If `mdata` does not exist in `mailbox`, try to create a default instance
of `NmMboxData`. Using a default instance removes two conditionals from
`nm_uri_from_query(...)`, moving them to `nm_get_default_data(...)`.
This reduces the number of `snprintf(...)` to maintain, and allows query
parsing for type meta-data.

An extra variable keeps track of default data usage for freeing
allocated memory.

notmuch: use global settings for vfolder-from-query

When the <vfolder-from-query> command is run while already in a vfolder,
it takes the current vfolder as context.  That means the global settings
(nm_query_type, nm_db_limit, nm_default_uri) are ignored in favor of the
current vfolder's settings.  This is confusing behavior because the new
vfolder is otherwise independent from the old one.

Set the nm_uri_from_query() context to NULL so that it uses the global
settings instead.

fix index allocation

The `vcount` wasn't being reset, so the index overflowed later.

notmuch: fix variable used after its scope

The progress bar keeps a reference to `msgbuf`.

notmuch: reconstruct thread on-the-fly upon entire-thread and no vfolder

Before this change <entire-thread> worked only if invoked from a virtual
folder.

Now <entire-thread> works also from regular folders, with the following
semantics:

- a notmuch search is done on the fly using as query the message-id of the
  currently selected message

- mutt switches to the query result (a vfolder)

- <entire-thread> is invoked as before, expanding the thread of the original
  message

Closes #1345

merge: trivial fixes

 * clang-format
 * cppcheck: reduce variable scope
 * scan-build: fix errors
 * replace strncpy with strfcpy

replace strncpy with strfcpy

strncpy isn't guaranteed to NUL-terminate strings

scan-build: fix errors

cppcheck: reduce variable scope

merge: notmuch: Allow type= statements in vfolder-from-query

 * Implement case-insensitive substring search
 * Implement substring removal function
 * Testing: mutt_str_strcasestr
 * Notmuch: Parse `type=` statements from query

Closes #1214
Closes #1319

Notmuch: Parse `type=` statements from query

Implemented a function that will parse `type=` statements from a notmuch
query and set the appropriate query type in `NmCtxData`.

This change allows a user to change the query type for a single query
without affecting other queries. The primary use is for executing
`vfolder-from-query`.

This commit ensures notmuch integration behavior conforms to NeoMutt's
notmuch documentation.

Testing: mutt_str_strcasestr

Included alongside this implementation are tests for NULL input, empty
string inputs, non-existent needles, and different size haystacks.

Implement substring removal function

Implemented a method that removes all instances of a substring from a
given string. The method has protections against trying to remove a
non-existent substring.

Implement case-insensitive substring search

Implemented a portable case-insensitive substring search since the C
standard does not provide one. A C implementation may include one as an
extension, but there is no way to ensure portability.

This implementation does a byte-by-byte in-place comparison so it will
return unspecified results for multibyte locales.

Included alongside this implementation are tests for NULL input, empty
string inputs, non-existent needles, and different size haystacks.

clang-format

add %Fp expando for plain from address

Notmuch: Change default window to be open ended

Change the default query window to be open ended, allowing for mail
from the future to appear in a query. This may occur if the sender's
time settings are improperly configured.

Signed-off-by: Austin Ray <austin@austinray.io>

build: make samples reflect the provided libexecdir in ./configure

The /usr/libexec path is hardcoded in some of the samples. Run
sed on the installed versions to reflect the directory provided
in ./configure.

Fixes issue #1350

Signed-off-by: Joey Pabalinas <joeypabalinas@gmail.com>

fix mailbox crash

Mentioned in #1349
Thanks to @l29ah for the backtrace.

move functions into mbox library

merge: upstream fixes

 * Increase buffer sizes for some IMAP commands.
 * Change imap_rename_mailbox to use a BUFFER.
 * Convert pgp_invoke_list_keys and mix_send_message to use BUFFERs.

Convert pgp_invoke_list_keys and mix_send_message to use BUFFERs.

Both repetitively perform a lot of copying back in forth, which is
much cleaner with a BUFFER.

Note that in pgp_invoke_list_keys, if there are no hints uids->data
would be NULL.  However, the pgp_invoke() checks and wraps all the
format substitutions with NONULL.

Change imap_rename_mailbox to use a BUFFER.

Increase buffer sizes for some IMAP commands.

Use to ensure assembled IMAP commands fit in the resultant buffer to
be imap_exec()'ed.

RFC2683 suggested a limit of 1000, but asked servers to accept up to
8000.  Furthermore, RFC7162 bumped the client limit suggestion up to
8192.  So I don't believe any issues will be caused by this.

Most of these are increases are just to remove theoretical truncation
warned about by the compiler; I don't believe we've had reports of
actual command truncation due to a mailbox 1024 characters long.

Fix non-threaded $sort_aux "reverse-" sorting.

The secondary sort was looking at (Sort & SORT_REVERSE) instead
of (SortAux & SORT_REVERSE), so wasn't even performing the reverse
based on the correct flag.

Additionally, afterwards, the primary sort was improperly applying a
reverse when the secondary sort returned non-zero.

Change SORTCODE() to look at SortAux when we are inside a secondary
sort.

Change AUXSORT() to return the result if the secondary sort returns
non-zero.  It is ugly to put a return inside the macro, but the check
for non-zero needs to be performed inside the AUXSORT if branch.

If the secondary sort returns 0, then the primary sort can still
compare index and apply a reverse as needed.

merge: minor tidying

 * boolify: account_match
 * rename header_cache_t vars
 * move file_get_size
 * docs: fix example
 * doxy: comment remaining parse functions
 * doxy: comment remaining connection functions

doxy: comment remaining connection functions

doxy: comment remaining parse functions

docs: fix example

move file_get_size

rename header_cache_t vars

boolify: account_match

merge: minor tidying

 * sync mutt_parse_mailboxes to other parse functions
 * refactor mutt_account_match
 * refactor mutt_conn_new()
 * mx_path_probe: export stat info
 * tidy code
 * add comments

add comments

tidy code

mx_path_probe: export stat info

refactor mutt_conn_new()

refactor mutt_account_match

sync mutt_parse_mailboxes to other parse functions

merge: tidy menu api functions

 * rename functions
 * document api functions
 * rename functions
 * unify api function params

menu: unify api function params

menu: rename functions

menu: document api functions

menu: rename functions

merge: upstream fixes

 * Change imap_conn_find() to always return an authenticated conn.
 * Free queries and alias_queries before exiting.
 * Remove purpose checks in smime_keys.pl verify step.
 * Send imap keepalives for interactive filters.
 * Add output during smime_keys purpose flag checking.
 * Increase user/pass field sizes in auth_login.

Increase user/pass field sizes in auth_login.

account.pass was previously increased to 256 in cd421c13.  Also, the
buf should be bigger than the user+pass+"LOGIN", so bump it up too.

Add output during smime_keys purpose flag checking.

Send imap keepalives for interactive filters.

When viewing attachments externally with a (non-copiousoutput) mailcap
entry missing %s, the command is invoked as a filter, with the
attachment piped into stdin.  However, unlike a filter, the user
interacts with the command, instead of just displaying the output in
the pager.

Just as with the mutt_system() command, Mutt needs to send imap
keepalives to keep those connections from closing during the
potentially extended invocation.

Thanks to John Hawkinson for the bug report, and his suggested patch,
which this commit is based upon.

Remove purpose checks in smime_keys.pl verify step.

The purpose checks are subsequently performed, and added as a field to
the .index.  In any case, it turns out passing multiple '-purpose'
arguments isn't even correct: openssl appears to just use the last
one.

Thanks to David J. Weller-Fahy for reporting the problem, and for
including a possible patch.

Free queries and alias_queries before exiting.

Change imap_conn_find() to always return an authenticated conn.

With the flag MUTT_IMAP_CONN_NONEW, it was already ensured the
connection would be authenticated.  However, without that flag, an
error in opening the connection or authentication would still return
an idata.

The callers that didn't bother to check the state were still assuming
authenticated, because they were all subseqeuently issuing an
"authenticated state" command to the server.

Rather than add state checks to every caller, just change the function
to return NULL if the idata did not end up in an authenticated state.

Remove the now redundant state checks in imap_open_mailbox() and
imap_get_mailbox().

refactor/simplify status %f

boolify ImapMboxData data members