imap: fix imap list subscribe

mutt_list_find doesn't modify the list, so it should take a const*

Centralize Context cleanup in a dedicated function

Fix adding / removing mailboxes

Do not duplicate mailboxes in the AllMailboxes list. Reset Context when
the last mailbox goes away.

Fix pointer dereference

Simplify account cleanup

Always do mailbox_check() the first time we see a mailbox

When multiple accounts are used, stats are all 0 until the next
MailCheckStatsInterval is reached.

This change does an initial check when we see a mailbox for the first
time.

Also delete account if needed during unmailboxes

When we do:

    mailboxes imaps://foo
    unmailboxes *
    mailboxes imaps://foo

* account->mailboxes is not cleaned and have pointer to freed mailboxes
* account is still there even if not used

This changes cleanup account->mailboxes and account if needed.

Avoid FREE'ing a non-malloc'd block

The mx.mbox member variable could remain uninitialized if imap_prepare_mailbox
failed, for example because a mailbox in the list doesn't have an account
associated with it.

remove mailbox.closing

mx_mbox_close() does not always put back mailbox.closing to false.

This make next imap_sync_mailbox() during mx_mbox_sync() closing the
imap connection when it should not.

Since this attribute is only used by imap backend, this change removes
it and handle the imap specific shutdown within the imap backend.

move Context.new (leftover)

move Context.deleted

merge: manage lifespan of mailcap tmp files

 * Implement mailcap option x-neomutt-keep
 * Unlink temporary attachment files on mutt_timeout_hook
 * doc: document 'x-neomut-keep'
 * Delete temporary file upon signal reception

Delete temporary file upon signal reception

doc: document 'x-neomut-keep'

Unlink temporary attachment files on mutt_timeout_hook

Implement mailcap option x-neomutt-keep

The option x-neomutt-keep instructs neomutt not to remove the attachment
after the view-command has quit. This is helpful with mime types handled
by commands such as firefox, which fork before opening the attachment in
the main instance. Example:

application/pdf; evince; x-neomutt-keep;

merge: imap: remove imap_conn_find

 * remove imap_conn_find in cmd_handle_fatal
 * remove imap_conn_find in imap_mbox_open_append
 * remove imap_conn_find from imap_delete_mailbox
 * remove imap_conn_find from imap_subscribe
 * remove imap_conn_find from imap_browse
 * remove imap_conn_find from imap_completes
 * replace all imap_conn_find with MUTT_IMAP_CONN_NONEW
 * remove unused imap_conn_find
 * rename imap_conn_find2 to imap_login

imap: rename imap_conn_find2 to imap_login

imap: remove unused imap_conn_find

imap: replace all imap_conn_find with MUTT_IMAP_CONN_NONEW

imap: remove imap_conn_find from imap_completes

imap: remove imap_conn_find from imap_browse

imap: remove imap_conn_find from imap_subscribe

imap: remove imap_conn_find from imap_delete_mailbox

imap: remove imap_conn_find in imap_mbox_open_append

All code using imap_conn_find is currently broken.

This change is the first part of moving out imap_conn_find.

To do so, a new function mail_prepare_mailbox() will setup the
ImapAccountData structure.

This method will be used in imap_access()/imap_mbox_open()/imap_mbox_open_append().

imap: remove imap_conn_find in cmd_handle_fatal

imap_conn_find() is broken and always return NULL if MUTT_IMAP_CONN_NONEW
flag is passed.

This change removes it from cmd_handle_fatal().

merge: notmuch refactoring

 * replace hard-coded protocol with constant
 * replace hard-coded maildir flags
 * remove nm_path_probe(...) calls
 * single point for closing database
 * remove all unneeded #ifdef USE_NOTMUCH
 * remove nm_normalize_uri(...)
 * move version-specific loading to one spot

notmuch: move version-specific loading to one spot

Moved loading of messages and threads to into their own method,
respectively. This helper method abstracts the loading for the caller.
All version-specific calls are in one spot for easier maintenance.

notmuch: remove nm_normalize_uri(...)

`nm_normalize_uri(...)` had one usage in `mutt_parse_unmailboxes(...)`.
Removing it had no affect on the `unmailboxes` command. I was able to
remove mailboxes without error.

notmuch: remove all unneeded #ifdef USE_NOTMUCH

Removed all unnecessary #ifdef USE_NOTMUCH. The remaining #ifdef
USE_NOTMUCH statements gate notmuch-specific calls that are not covered
by an interface.

The notmuch implementation of `mx_path_canon(...)` has been replaced with a
call to `nm_normalize_uri(...)` since that already canonizes notmuch
queries.

notmuch: single point for closing database

There are three points where a database is closed. Each point duplicates
the code for different versions of notmuch. Implemented a new method for
the version-specific notmuch code is handled. This method takes in a
database and closes it.

notmuch: remove nm_path_probe(...) calls

Replaced `nm_path_probe(...)` with `mx_path_probe(...)` to make notmuch
be completely compliant with the MX api.

notmuch: replace hard-coded maildir flags

Replaced the hard-coded maildir flags unread, flagged, and replied with
variables NmUnreadTag, NmFlaggedTag, and NmRepliedTag.

Since unread and flagged may be different from the maildir flag, we do
not want to limit to using "unread", "flagged", or "unread" when
modifying tags. The user can specify which tags they use for the maildir
flags, and the subsystem will update maildir flags correctly.

notmuch: replace hard-coded protocol with constant

Removed all instances of `notmuch://` with a constant, NmUriProtocol.
This makes it easier to change to protocol if necessary.

clang-format

imap: when opening mailbox, reset Mailbox attrs

We currently only reset vcount and msg_count.

But imap_read_headers() call from imap_mbox_open() reload all
messages and then call mx_update_context(). So attributes that have not
been reseted will grow from previous values.

This does the reset of size, msg_unread, msg_flagged, msg_new.

Remove unused ImapAccountData->account

move Context.new

flags: change confusing var name

mailbox->msg_flagged was stored in mailbox variable.

This change rename mailbox to flagged.

mailbox: drop unnec function

Fixes #1388

Thanks to @alyssais and @puckipedia.

mxapi: mx_path_canon should not double / uri

At least for imap if "folder=imap://example.com" and mailboxes contains "=Foo"

mx_path_canon will construct imap://example.com//Foo

This change ensures we do not add the extra /.

browser: search on description if it exists

The browser searches on mailbox paths; however, with the introduction of
`named-mailboxes` and merging of `virtual-mailboxes`, it is necessary to
search of descriptions. If not, it may be impossible to find a mailbox
that is named.

For example, if we have `named-mailboxes "Test" "+work"` and searched
for "Test", it would not match because the path does not contain "Test".
Searching "work" would match the "Test" mailbox.

This commit modifies `select_file_search(...)` to use the description if
one exists. This way we can properly match searches for
`named-mailboxes` and `virtual-mailboxes` without know their underlying
mailbox paths.

hcache: handle Body->language safely

imap: fix tag leak

imap: add missing free_edata pointer

imap sometimes crashes when changing folder or quiting neomutt.

 #1  0x000055555563833f in mutt_email_free (e=0x555555b0cb50) at email/email.c:55
 #2  0x00005555555bb4e9 in mx_fastclose_mailbox (ctx=ctx@entry=0x555555980050) at mx.c:407
 #3  0x00005555555bd593 in mx_mbox_close (pctx=0x5555558a69b0 <Context>, index_hint=index_hint@entry=0x7fffffffa074) at mx.c:727
 ...

This change adds the missing free_edata pointer to imap_free_edata.

imap: fixup error handling of imap_conn_find2

Currently imap_mbox_open call imap_conn_find2 and return without cleanup
if an error occurs.

This change restores the previous resources freeing code.

imap: fix crash when reopening mailbox

Thanks to @gahr for all the backtraces and debugging.

fix leaks (Address Sanitizer)

mxapi: find an Account when necessary

format: use description by default

Changes the default of status_format and folder_format to display
descriptions instead of file path.

With the inclusion of named-mailboxes, we should try to use descriptions
since they fall back to file path. Otherwise, there would not be a
distinction between mailboxes and named-mailboxes with the defaults.

merge: unify mailboxes and virtual-mailboxes

 * browser: unify mailboxes and virtual-mailboxes
 * sidebar: unify virtual-mailboxes
 * browser: remove #ifdef USE_NOTMUCH

browser: remove #ifdef USE_NOTMUCH

Removed the #ifdef USE_NOTMUCH statements since the notmuch subsystem is
follows the Mailbox API and we can check magic type easily.

sidebar: unify virtual-mailboxes

Removed all notmuch specific code from `sidebar.c` This allows for
virtual-mailboxes to appear alongside every other mailbox, and reduces
coupling in sidebar.

In order to facilitate this, the command sidebar-virtual-toggle was
removed as it is no longer necessary. Some users may have utilized this
method so an alternative should be considered.

browser: unify mailboxes and virtual-mailboxes

Merged change-vfolder into change-folder so all mailboxes will be
displayed on the same screen. This removes the special cases needed to
display virtual-mailboxes.

To prevent breaking user's configurations, change-vfolder executes
change-folder. However, since vfolder_format and folder_format have
different default, user's will need to update the format.

notmuch: count flagged messages

`nm_nonctx_get_count(...)` did not count flagged messages. This means
they could not display flagged message counts in the sidebar _unless_ it
was the active mailbox.

This commit introduces NmFlaggedTag, mirrored from NmUnreadTag, and will
query the database for flagged messages.

doxygen: fix headers

find a Mailbox if necessary

notmuch: fixed vfolder-from-query

vfolder-from-query would seg fault after architectural changes. Issue
was a bad pointer that I introduced.

imap: unused

drop Connections

nntp: reuse connection

mxapi: pass Mailbox

pop: refactor

notmuch: rework progress update math

After architectural changes, NeoMutt was not updating the progress when
opening `virtual-mailboxes`. The math was out of date.

This commit corrects the math involved and removes the unnecessary
counting logic. If counting is necessary, use `nm_nonctx_get_count(...)`
in a future commit.

notmuch: respect limits when counting messages

When NeoMutt counts the number of returned messages for a notmuch query,
it does not consider user specified limits. This affects both `limit=`
and `nm_db_limit` specifications.

This commit modifies `nm_nonctx_get_count(...)` to return the query's
limit if `get_count(...)` exceeds the limit. The check ensures that the
limit is non-zero so we don't return empty mailboxes.

Fixes #1375

notmuch: use existing open database if possible

When this portion of the code was migrated to use `NmAccountData`
instead of `NmMboxData` the check for an existing database handle was
removed. NeoMutt would lock-up trying to open another instance of the
database.

This commit re-adds the existing database check.

Fixes #1373

notmuch: duplicate `uri` during sync

The subsystem reused `ctx->mailbox->path` to store the absolute path for
an email so that it modify the maildir flags. In order to facilitate
this behavior, the subsystem copies the `uri` and uses it to replace the
absolute path after filename modification.

However, the `uri` variable is just a pointer to `ctx->mailbox->path` so
it is overwritten with the physical path.

This commit uses `mutt_str_strdup(...)` to duplicate the `uri` so it can
replace the physical path. Without this duplication, a
`virtual-mailboxes` will lose its notmuch query when modifying tags
corresponding to maildir flags. This results in a `virtual-mailboxes`
disappearing during runtime.

Fixes #1374

Delete Attachments upon OP_QUIT

use 'enum MailboxType magic' consistently

pop: tidy

Do not use disconnected socket.

If an IMAP connection was never set up, do not try to write a LOGOUT
command through that connection or to close that socket.

Both results in segmentation faults.

Signed-off-by: Tobias Stoeckmann <tobias@stoeckmann.org>

mbox: recognise empty file

path: fix expansion of bare + and =

imap: home is now '+'

imap: check for null connection

imap: fix subscription list

trans: fix source list

move notmuch test macro

merge: refactor backends to use Account object

 * clang-format
 * rename Email private data
 * rename Mailbox private data
 * misc
 * add Account
 * mxapi: unify naming
 * mxapi: add Account
 * mxapi: add Mailbox to mbox_open
 * mxapi: refactoring
 * Notmuch: add Account
 * Notmuch: move private data
 * Notmuch: unify naming
 * Notmuch: move db to Account
 * Notmuch: separate db functions
 * Maildir: add Account
 * Maildir: unify naming
 * Maildir: move private data
 * Pop: add Account
 * Pop: unify naming
 * Pop: move data to Account
 * Compress: unify naming
 * Compress: add Account
 * Nntp: add Account
 * Nntp: unify naming
 * Nntp: add new/free/get functions
 * Mbox: add Account
 * Mbox: unify naming
 * Mbox: move data to Account
 * Imap: tidy
 * Imap: add Account
 * Imap: use Mailbox ptr
 * Imap: unify naming
 * Imap: refactor current message
 * Imap: move Account data

Imap: move Account data

Imap: refactor current message

Imap: unify naming

Imap: use Mailbox ptr

Imap: add Account

Imap: tidy

Mbox: move data to Account

Mbox: unify naming

Mbox: add Account

Nntp: add new/free/get functions

Nntp: unify naming

Nntp: add Account

Compress: add Account

Compress: unify naming

Pop: move data to Account

Pop: unify naming

Pop: add Account

Maildir: move private data

Maildir: unify naming

Maildir: add Account