merge: upstream fixes

 * Improve imap_append_message() error message handling
 * Mention sources for ~p and ~P patterns
 * Allow imap_cmd_finish() to both expunge and fetch new mail
 * Improve $reverse_realname documentation
 * Add $fcc_before_send, defaulting unset

Add $fcc_before_send, defaulting unset

When set, the message will be Fcc'ed the same as sent.  $fcc_clear and
$fcc_attach will be ignored.  This is because of the difficulty of
unwinding changes, notably Protected Headers, without potentially
breaking signatures.

Co-authored-by: Richard Russon <rich@flatcap.org>

Improve $reverse_realname documentation

Make it clear that, even if set, a missing realname part of the
matching address will be filled in by $realname.

Co-authored-by: Richard Russon <rich@flatcap.org>

Allow imap_cmd_finish() to both expunge and fetch new mail

Since commit dd327606 changed check_status setting to use bit
operators, and imap_check_mailbox() can call imap_cmd_finish() twice,
there is no reason to delay the processing of new mail until a second
call.

imap_read_headers() deals with msn_end < msg_begin, so remove
the (count > idata->max_msn) check.  This will allow the reopen flag
to be reset if somehow it's not the case.

Co-authored-by: Richard Russon <rich@flatcap.org>

Mention sources for ~p and ~P patterns

The manual only mentioned alternates.  Add $from and local
account/hostname to the list.

The man page implied the only source was alternates.  Change to the
same wording as the manual.

Thanks to @rear1019 for pointing out the misleading man page.

Co-authored-by: Richard Russon <rich@flatcap.org>

Improve imap_append_message() error message handling

If the rc is IMAP_CMD_BAD, then either idata->buf is stale or an error
message has already been printed (in cmd_handle_untagged()).

Use imap_next_word() to skip over the next two words instead of
directly skipping over SEQLEN, in case the buffer is in a different
format.  We don't want to jump over the end of string.

Skip the mutt_error() if there is nothing to print.

Co-authored-by: Richard Russon <rich@flatcap.org>

test: fixes for recent updates

merge: trivial fixes

 * initialise all struct members
 * boolify Pattern.ready
 * docs: fix typo
 * fix #includes
 * unify GroupList variable naming
 * doxy: tidy compare_uid
 * move mutt_str_split() to list.c
 * reorder params for mutt_str_substr_copy()
 * rename el_free()

rename el_free()

Rename to mutt_emaillist_free() to match other functions.

reorder params for mutt_str_substr_copy()

- rename substr_cpy() to substr_copy()
- reorder params to put dest and destlen together

move mutt_str_split() to list.c

Remove List dependency from string.c

doxy: tidy compare_uid

unify GroupList variable naming

fix #includes

docs: fix typo

boolify Pattern.ready

initialise all struct members

drop mutt_dump_variables()

This function has been replaced by dump_config().

build: fix doc auto-generation

build: update to latest autosetup

This version includes the location of the Tcl interpreter used at
configure time in config.log.

merge: overhaul of the config system

 * config: allow deeper inheritance
 * tests: minor fixes
 * tidy type definitions
 * move private flags
 * move sensitive flag to type
 * tidy init.h config definitions
 * move redraw flags
 * rename the flags field to data (and move it)
 * drop dt_path
 * drop dt_command
 * drop mutt dump
 * add enum type
 * add slist type
 * mbox_type -> enum
 * drop magic type
 * hidden_tags -> slist
 * mailcap_path -> slist
 * imap_authenticators -> slist
 * smtp_authenticators -> slist
 * pop_authenticators -> slist
 * preferred_languages -> slist
 * fix makedoc

fix makedoc

Fix the `makedoc` documentation generator to understand the new types.

preferred_languages -> slist

Convert `$preferred_languages` to use the new DT_SLIST type (string list).

pop_authenticators -> slist

Convert `$pop_authenticators` to use the new DT_SLIST type (string list).

smtp_authenticators -> slist

Convert `$smtp_authenticators` to use the new DT_SLIST type (string list).

imap_authenticators -> slist

Convert `$imap_authenticators` to use the new DT_SLIST type (string list).

mailcap_path -> slist

Convert `$mailcap_path` to use the new DT_SLIST type (string list).

hidden_tags -> slist

Convert `$hidden_tags` to use the new DT_SLIST type (string list).

drop magic type

The DT_MAGIC type is unnecessary; it's an enumeration of four strings.
That's better handled by the new DT_ENUM type.

mbox_type -> enum

Convert `$mbox_type` to use the new Config enumeration.

add slist type

Add a string list type.  This manages strings delimited by space, comma
or colon.  The NeoMutt code doesn't need to parse the string any more,
it's simply presented with a STAILQ (list) of strings.

add enum type

Create a new config type for enumerations.
This will use the `ConfigDef.data` field and an `EnumDef` to define the
allowed strings.

drop mutt dump

Drop the legacy config dump code.
It's less versatile than the new code.

drop dt_command

The DT_COMMAND type is unnecessary; it behaves exactly the same as DT_STRING.
Only the NeoMutt code needs to make the distinction, so use a subclass
of DT_STRING instead of a separate type.

drop dt_path

The DT_PATH type is unnecessary; it behaves exactly the same as DT_STRING.
Only the NeoMutt code needs to make the distinction, so use a subclass
of DT_STRING instead of a separate type.

rename the flags field to data (and move it)

Deprecate the flags field of ConfigDef and create a data field.
The data field is inserted near the end of the struct as it won't be
used often.

move redraw flags

Move the redraw flags from a general flags field to the type field.
These GUI flags don't belong in the config definition, but once the
notification system is complete, the flags will be obsolete.

The `ConfigDef.flags` field is now unused.

tidy init.h config definitions

Remove all the excess whitespace.
The fields may once have been aligned, but was long ago.

move sensitive flag to type

Rename F_SENSITIVE to DT_SENSITIVE.
Move it from a general flags field, to the type field (with the other
type modifying flags).

move private flags

Move the private config flags to the 'top' of the variable.

tidy type definitions

Unify the flag definitions using the (1 << n) form.

tests: minor fixes

Fix:
- Misleading output
- printf specifiers
- Missing test cases

config: allow deeper inheritance

The code assumed that an inherited HashElem had a normal HashElem
parent.  This change removes the assumption, allowing deep nesting of
Config Items.

merge: trivial fixes

 * fix folder use in mx_path_canon()
 * doxy: fix typos
 * rename local variable for clarity
 * test: tidy code
 * refactor #ifdef'd conditional
 * check includes with iwyu

check includes with iwyu

refactor #ifdef'd conditional

test: tidy code

- clang-format
- remove notes

rename local variable for clarity

doxy: fix typos

fix folder use in mx_path_canon()

Use the parameter Context, not the global.

merge: upstream fixes

 * Turn on $ssl_force_tls by default
 * Change mutt_addr_is_user() to no for a NULL address
 * Minor documentation correction
 * Fix dropped new mail notifications when an EXPUNGE_PENDING is set
 * Improve robustness of imap_append_message()
 * Enable the idata->check_status using bit operations

Enable the idata->check_status using bit operations

Commit e3f66d7e fixed dropped new mail notications, removing the
unsetting of idata->reopen IMAP_NEWMAIL_PENDING in imap_cmd_finish()
when an EXPUNGE was processed.

However, imap_cmd_finish() can be called twice by
imap_check_mailbox().  First as part of the imap_exec(), and manually
again just below.

Now that the IMAP_NEWMAIL_PENDING still exists, a second call could
overwrite idata->check_status if both reopen flags were set.

This unfortunately affects update_index(), which behaves differently
for MUTT_REOPENED.

I need to change the return value of mx_check_mailbox() in master to
preserve all the bits, so the index can both notify of new mail and
update_index() properly.

For stable, the best fix is to use bit operators to enable the
check_status flags in imap_cmd_finish() (and cmd_parse_fetch for
flags), and keep the imap_check_mailbox() priority of setting its
return value (it prioritizes IMAP_EXCHANGE_PENDING).

Co-authored-by: Richard Russon <rich@flatcap.org>

Improve robustness of imap_append_message()

First, check the imap_cmd_step() return value instead of looking at
idata->buf for "OK".  If the connection bombed and imap_cmd_step()
returned IMAP_CMD_BAD, the value of idata->buf is stale.

If the server returned "+ OK" for the command continuation request
response, the call to imap_code(idata->buf) would even end up
returning true, despite that the append failed!  (See #110, although
at the time of commit I can only hypothesize this is what is
happening.)

Second, check the status of the writes.  flush_buffer() was not
passing the rc from mutt_socket_write_n(), which was further making
the above disaster scenerio possible.

Co-authored-by: Richard Russon <rich@flatcap.org>

Fix dropped new mail notifications when an EXPUNGE_PENDING is set

Prior to the fetch_headers rework and introduction of
idata->max_msn (starting around e0376c75), cmd_handle_untagged() was
looking directly at ctx->msgcount, which isn't fixed up until
imap_expunge_mailbox().  At that time, more care had to be taken
inbetween handling the EXPUNGE message and the actual expunge of the
mailbox because of the discrepency between server state and mailbox
context state.

idata->max_msn is now decremented during the processing of EXPUNGE and
VANISHED notices from the server, so reflect "current" state.  So,
when we receive an EXISTS notice, we no longer need the checks for
expunge state and can always set the NEWMAIL_PENDING flag.

Additionally, fix imap_cmd_finish() to retain the IMAP_NEWMAIL_PENDING
flag after handling an expunge.  The expunge does not grab new
messages so dropping the flag would cause mutt to forget the new mail
status until another EXISTS command.

Since this is a stable branch fix, I'm leaving the either/or
processing of expunge versus new mail in imap_cmd_finish().  However,
I don't see why this has to be done in two calls.  I may rework that
in master to process an expunge and then the new mail one after the
other.

Co-authored-by: Richard Russon <rich@flatcap.org>

Minor documentation correction

Co-authored-by: Richard Russon <rich@flatcap.org>

Change mutt_addr_is_user() to no for a NULL address

The behavior is generating a false 'F' flag for a spam message with an
unparsable From address.

After reviewing the callers, I can't see a reason returning 'yes' in
this case.

Co-authored-by: Richard Russon <rich@flatcap.org>

Turn on $ssl_force_tls by default

Ticket #135 suggests that these days, it's better to force encryption
over all connections.  RFC8314 is recommending MUA's move in that
direction (actually even directing towards implicit TLS over
STARTTLS).

I'm enabling this at the beginning of the 1.13 development cycle to
give others time to chime in with any objections.  Personally, I've
had this option set myself for years.  The only place it could become
an issue is for a localhost IMAP server with no cert.  In that case,
it's easy enough to have an account hook unset if needed, and I think
a better idea that the user be forced to turn it off.

Co-authored-by: Richard Russon <rich@flatcap.org>

Save attachments without prompting.

If the 'attach_save_without_prompting' variable is set (to true), then on
saving a list of tagged attachments the user will not be prompted each time
for the name of file.

Conflicting filenames during save are also handled.

-=david=-

closes #1603

Update to latest autosetup, use @include feature

Up-to-date with Autosetup 4701f3e (2019-06-05)

Fix segfault on bounce

Fixes #1735

add missing translation file

show backtrace on segfault

Add a configure option `--backtrace` that uses libunwind to print a
basic backtrace if NeoMutt segfaults.

Co-authored-by: Pietro Cerutti <gahr@gahr.ch>

add funding details

merge Config and normal Accounts

merge: add basic notifications

 * debug: add notify level
 * add central NeoMutt object
 * add notify/observer
 * config notify
 * test: fix config tests

test: fix config tests

config notify

add notify/observer

add central NeoMutt object

debug: add notify level

merge: mime: use description if filename is missing

 * mime_lookup: use description if filename isn't useful
 * mime_lookup: use compose mailcap entries when replying

mime_lookup: use compose mailcap entries when replying

Use compose mailcap entries to format attachments when replying to a message

mime_lookup: use description if filename isn't useful

"fix" mime_lookup to also look into Description mime tags if the
filename tag doesn't come up with something useful

test: fix config_dump

merge: small fixes and tidying

 * clang-format
 * use enum return value
 * test: fix lcov out-of-tree build
 * test: boolify test_mutt_pattern_comp()
 * refactor: replace ctime() with strftime()
 * bug: prevent unterminated string
 * check range of uuencoded char
 * log failed atoi() calls
 * fix buffer handling
 * restore randomness to mutt_buffer_mktemp_full()
 * check state buffer
 * check for overflow in mutt_edit_content_type()
 * reduce scope of variables
 * add/remove checks
 * use param, not global, in prereq()
 * add brackets to clarify logic
 * misc small changes

misc small changes

- Initialise some variables
- Fix some formatting strings
- Remove unused variables

add brackets to clarify logic

use param, not global, in prereq()

The test function prereq() wasn't using the Context parameter, but the
Context global.

add/remove checks

Some functions needed checks.
Some others had redundant checks.

reduce scope of variables

check for overflow in mutt_edit_content_type()

Thanks to lgtm.com

check state buffer

Coverity: CID 186614

restore randomness to mutt_buffer_mktemp_full()

Coverity: CID 189775

fix buffer handling

Coverity: CID 197580, 198376, 198378, 198379

log failed atoi() calls

Coverity: CID 198492, 198493

check range of uuencoded char

Coverity: CID 180829

bug: prevent unterminated string

Coverity: CID 83483

refactor: replace ctime() with strftime()

ctime() is marked obsolete in POSIX:2008.
It's recommended to use strftime() instead.

Thanks to lgtm.com

test: boolify test_mutt_pattern_comp()

test: fix lcov out-of-tree build

use enum return value

- mutt_check_mime_type()
- mutt_lookup_mime_type()

clang-format

travis: workaround locale problems

merge: improve date tests

 * date: move defines, so they can be used for testing
 * test: improve test_mutt_date_add_timeout()
 * test: improve test_mutt_date_check_month()
 * test: improve test_mutt_date_gmtime()
 * test: improve test_mutt_date_is_day_name()
 * test: improve test_mutt_date_local_tz()
 * test: improve test_mutt_date_localtime()
 * test: improve test_mutt_date_localtime_format()
 * test: improve test_mutt_date_make_date()
 * test: improve test_mutt_date_make_imap()
 * test: improve test_mutt_date_make_time()
 * test: improve test_mutt_date_make_tls()
 * test: improve test_mutt_date_normalize_time()
 * test: improve test_mutt_date_parse_date()
 * test: improve test_mutt_date_parse_imap()

test: improve test_mutt_date_parse_imap()

test: improve test_mutt_date_parse_date()

test: improve test_mutt_date_normalize_time()

test: improve test_mutt_date_make_tls()

test: improve test_mutt_date_make_time()

test: improve test_mutt_date_make_imap()