Do not rely on idn2 to provide an idn1 compat layer

Do not rely on idn2 to provide a compat layer to idn1, as Ubuntu doesn't
provide it. Instead, really code address/idna.c to use the different
APIs provided by the two versions of libidn. Systems with an old version
of idn2 which does not provide the needed functionality will fail at
configure time now, and users of such systems will see an error message
with instructions how to build with libidn1. While at it, polish a bit
the auto.def sections for idn and idn2.

Fix getting back to index after saving an edited message

Fixes #1674

build: fix a bunch of idn2-related problems

- hide code if IDN is disabled
- fix build tests
- add travis dependency

merge: add basic address tests

 * test: templates for address functions
 * test: add address tests for degenerate cases
 * libaddress: fix address code for degenerate cases
 * test: templates for group functions
 * test: add group tests for degenerate cases
 * libaddress: fix group code for degenerate cases
 * test: templates for idna functions
 * test: add idna tests for degenerate cases

test: add idna tests for degenerate cases

test: templates for idna functions

libaddress: fix group code for degenerate cases

test: add group tests for degenerate cases

test: templates for group functions

libaddress: fix address code for degenerate cases

test: add address tests for degenerate cases

test: templates for address functions

keybindings: restore nntp change-newsgroup keybindings

This restores a subset of the keybindings found in the original vvv.nntp
patch that don't clash with any of neomutt defaults.

Specifically:
  i to change-newsgroup
  ESC-i to change-newsgroup-readonly

Add RECURSIVEMATCH LIST-EXTENDED selection option to query

LSUB is required to include mailboxes with subscribed children, but
the just added "LIST (SUBSCRIBED)" by default does not do that.

To match previous behavior, add RECURSIVEMATCH to make sure the
children are included.  Fix the parser to trim off the CHILDINFO
suffix in the response.

Parse \NonExistent LIST attribute the same as \NoSelect.

Co-authored-by: Richard Russon <rich@flatcap.org>

Improve hierarchy information accuracy in IMAP browser

Currently the IMAP browser relies on LIST and LSUB (for listing subscribed
folders) which may not provide the required hierarchy information.

RFC3348 section 3 goes as far as stating that a client mustn't rely on LSUB
for hierarchy information.

This patch implements the LIST command extensions specified in RFC5258
requiring that a server must respond with hierarchy information for
listed folders (whether or not filtering on subscribed folders).

merge: add string tests

 * test,tidy: mutt_str_sysexit()
 * test,tidy: mutt_str_atos()
 * test,tidy: mutt_str_atoi()
 * test,tidy: mutt_str_atol()
 * test,tidy: mutt_str_atoui()
 * test,tidy: mutt_str_atoul()
 * test,tidy: mutt_str_atoull()

tidy: mutt_str_atoull()

test: mutt_str_atoull()

tidy: mutt_str_atoul()

test: mutt_str_atoul()

tidy: mutt_str_atoui()

test: mutt_str_atoui()

tidy: mutt_str_atol()

test: mutt_str_atol()

tidy: mutt_str_atoi()

test: mutt_str_atoi()

tidy: mutt_str_atos()

test: mutt_str_atos()

tidy: mutt_str_sysexit()

test: mutt_str_sysexit()

imap: fixing race when syncing mailbox

imap_check_mailbox return an detailled state not only 0/-1.

imap_sync_mailbox assumes that the function was returning only 0/-1.

This change fixes that.

browser: show "Subscribed" in IMAP browser

merge: light tidying

 * clang-format
 * refactor mutt_str_append_item()
 * boolify retval of mutt_path_to_absolute()
 * boolify mutt_date_make_time()
 * boolify pattern functions
 * boolify patmatch()
 * flags: clear up HookFlags usage
 * pattern: create typedef for parse functions
 * tidy: add {}s

tidy: add {}s

pattern: create typedef for parse functions

flags: clear up HookFlags usage

boolify patmatch()

boolify pattern functions

boolify mutt_date_make_time()

boolify retval of mutt_path_to_absolute()

refactor mutt_str_append_item()

clang-format

merge: upstream add index-format-hook

 * Add index-format-hook and expando
 * Add a flag for dynamic date range evaluation in patterns
 * Update the neomuttrc man page with added commands

Update the neomuttrc man page with added commands

Add the "color compose", index-format-hook, and echo commands.

Add the HMS relative date units.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add a flag for dynamic date range evaluation in patterns

By default, Mutt evaluates relative date patterns, such as "~d<1d"
against the date when the pattern is compiled.

For index-format-hook, we need to pattern match against a message
based on the current date/time, so that for example, conditional date
format patterns correctly match after Mutt has been open for many
days/weeks.

Add a flag, MUTT_PATTERN_DYNAMIC, that changes ~d and ~r evaluation to
reevaluate the min/max range with each match.

This will of course be slower, but for the index, where a screenful of
messages at a time are evaluated, is an acceptable tradeoff against
accurate pattern matching.

Co-authored-by: Richard Russon <rich@flatcap.org>

Add index-format-hook and expando

index-format-hook is used to allow dynamic insertion/evaluation of
format strings into $index_format.

It can be used, for example, to implement date formatting based on the
age of the message.

Add a new %@name@ expando to $index_format, which evaluates the
matching index-format-hooks with "name".

Co-authored-by: Richard Russon <rich@flatcap.org>

merge: improve test coverage

 * tests: add copyright blocks
 * coverage: show stats
 * test: templates for path functions
 * test: add path tests for degenerate cases
 * libmutt: fix path code for degenerate cases
 * test: merge existing path tests
 * config: don't exclude testable cases
 * test: add coverage of config dump functions
 * test: 100% config coverage

test: 100% config coverage

test: add coverage of config dump functions

config: don't exclude testable cases

test: merge existing path tests

libmutt: fix path code for degenerate cases

test: add path tests for degenerate cases

test: templates for path functions

coverage: show stats

tests: add copyright blocks

docs: add note about line continuation

Closes: #1668
[ci skip]

Fix uninitialized variable

Reported on https://mailman.neomutt.org/pipermail/neomutt-devel-neomutt.org/2019-April/000654.html

imap: fix auth login

The auth_login returns an error when it succesfully logins.

This was introduced by 04892a48ea76b37f6aa9b369b5bc4f5cc362878c

This change fixes that.

imap: fix oauth

Currently when oauth success, we got this and neomutt UI got stuck:

[2019-04-21 15:35:38]<5> mutt_socket_readln_d() 5< a0001 OK xxxxxxxxxxxxx@xxxxxxxxx authenticated (Success)
[2019-04-21 15:35:38]<2> mutt_socket_write_d() 5> [2019-04-21 15:35:38]<2> imap_login() Communication encrypted at 256 bits
[2019-04-21 15:35:38]<3> imap_mdata_new() hcache uidvalidity 1, uidnext 228, modseq 0
[2019-04-21 15:35:38]<M> mx_mbox_open() Reading imaps://imap.gmail.com/INBOX...
[2019-04-21 15:35:38]<M> imap_mbox_open() Selecting INBOX...
[2019-04-21 15:35:38]<2> mutt_socket_write_d() 5> a0002 SELECT "INBOX"
[2019-04-21 15:35:38]<5> mutt_socket_readln_d() 5< * BAD [CLIENTBUG] Invalid tag

In fact neomutt send ^A to the server, but this should occurs only if
the authentication fails.

This changes fixes that.

Demote more 'first' and 'last' errors to messages

This should finish the job done in 8e8344.

Fixes #1311

update credits

fix release build

Fix capitalization (now consistent with the respective code in pager.c)

Support group-chat-reply in the index

Fixes #1654

Make buffer pool initialization lazy

This fixes an issue in the startup sequence where a buffer is requested
from the buffer pool before mutt_buffer_pool_init is called. The latter
doubles up the number of buffers even though there are free ones.

tidy: config variables and comments

Rename global variables to match their config:

- `C_ImapCondStore`       -> `C_ImapCondstore`
- `C_ImapOauthRefreshCmd` -> `C_ImapOauthRefreshCommand`
- `C_ImapQResync`         -> `C_ImapQresync`
- `C_PopOauthRefreshCmd`  -> `C_PopOauthRefreshCommand`
- `C_SidebarNonEmptyOnly` -> `C_SidebarNonEmptyMailboxOnly`
- `C_SmtpOauthRefreshCmd` -> `C_SmtpOauthRefreshCommand`

split Address into a separate library

Closes: #1619

Make buffer pool parameters (compile-time) configurable

remove unnecesary test in mutt_str_asprintf()

Temporarily remove a valid test condition to match.

merge: promote two functions to libmutt

 * libmutt: promote getcwd to the library
 * libmutt: promote mutt_buffer_concat_path to the library
 * add basic tests

add basic tests

libmutt: promote mutt_buffer_concat_path to the library

libmutt: promote getcwd to the library

fix Mailbox->append,changed flags

Replying to an email caused some unwanted side-effects:
- Updating the Context left `m->changed == false`
- `mutt_write_fcc()` left `m->append == true`

fix setting the 'replied' flag

When replying to an email, mark the original as 'replied'.

Fixes: #1647

merge: convert Buffers to use the pool

 * remove unused Buffer in cs_inherit_variable()
 * allocate Buffer in ac_free()
 * allocate Buffer in cs_register_variables()
 * allocate Buffer in mutt_folder_hook()
 * allocate Buffer in lua_mutt_call()
 * allocate Buffer in lua_mutt_enter()
 * allocate Buffer in mutt_find_hook()
 * allocate Buffer in mutt_account_hook()
 * allocate Buffer in execute_commands()
 * allocate Buffer in mutt_dump_variables()

allocate Buffer in mutt_dump_variables()

allocate Buffer in execute_commands()

allocate Buffer in mutt_account_hook()

allocate Buffer in mutt_find_hook()

allocate Buffer in lua_mutt_enter()

allocate Buffer in lua_mutt_call()

allocate Buffer in mutt_folder_hook()

allocate Buffer in cs_register_variables()

allocate Buffer in ac_free()

remove unused Buffer in cs_inherit_variable()

merge: add framework for testing string functions

 * test: templates for string functions
 * test: add string tests for degenerate cases
 * libmutt: fix code for degenerate cases
 * test: merge existing string tests
 * build: add coverage testing

build: add coverage testing

test: merge existing string tests

libmutt: fix code for degenerate cases

test: add string tests for degenerate cases

test: templates for string functions

merge: trivial fixes

 * refactor: light tidying
 * tidy macros
 * comment escape sequences
 * add: PatternExecFlags for mutt_pattern_exec()
 * tidy: mutt_copy_hdr()
 * tidy calls to mutt_copy_hdr()
 * boolify: mutt_parse_crypt_hdr()
 * boolify: mutt_enter_fname()
 * boolify: valid_passphrase()

boolify: valid_passphrase()

boolify: mutt_enter_fname()

boolify: mutt_parse_crypt_hdr()

tidy calls to mutt_copy_hdr()

tidy: mutt_copy_hdr()

add: PatternExecFlags for mutt_pattern_exec()

The flags were an enum, which wasn't really suitable.