build: use SEEK_SET, SEEK_CUR, SEEK_END

Change all the uses of fseek() and fseeko() to use defined constants:
    SEEK_SET, SEEK_CUR, SEEK_END

build: remove unused macros

Remove some unused macros and substitue in one that is used just once.

drop comment from sidebar docs

The comment is no longer applicable.

drop duplicate versions of the sidebar contrib

These:
    contrib/sample.muttrc-sidebar
    contrib/sample.vimrc-sidebar
are dupes of:
    doc/muttrc.sidebar
    doc/vimrc.sidebar

add full neomutt version to log startup

Changes:
    NeoMutt/20170306 (1.8.0) debugging at level 2
to
    Neomutt 20170306-98-bf1d78 (1.8.0) debugging at level 2

build: fix warnings

educate github's linguist

GitHub creates language stats about NeoMutt using "linguist".
Unfortunately, it thinks that mutt.h and init.h are C++.

merge: upstream fixes (mutt/default)

 * Fix mutt_refresh() pausing during macro events.
 * Add a menu stack to track current and past menus.
 * Change CurrentMenu to be controlled by the menu stack.
 * Set refresh when popping the menu stack.
 * Remove redraw parameter from crypt send_menus.
 * Don't full redraw the index when handling a command from the pager.
 * Filter other directional markers that corrupt the screen.
 * Remove the OPTFORCEREDRAW options.
 * Remove SidebarNeedsRedraw.
 * Change reflow_windows() to set full redraw.
 * Create R_MENU redraw option.
 * Remove refresh parameter from mutt_enter_fname().

Remove refresh parameter from mutt_enter_fname().

Also remove it from mutt_save_message(), which used it to pass through
to mutt_enter_fname().  The callers of this already had redraw logic,
to which REDRAW_STATUS merely needed to be added.

Create R_MENU redraw option.

Previously, the R_INDEX option meant both the index as well as all
other menus.  The removal of the OPTFORCEREDRAWINDEX option caused problems
with redrawing other menus for options such as arrow_cursor.

One solution would be change R_INDEX back to meaning "everything"
except pager, but there are only a handful of options that affect
other menus.

Instead, create R_MENU to indicate options that affect either all
menus or one of the other menus beside the index and pager.

Change reflow_windows() to set full redraw.

A full redraw should always be set in this case.  This also enables us
to remove redraw flags for some options.

Remove SidebarNeedsRedraw.

The menu stack can be used to flag a redraw of the sidebar window.

Remove the OPTFORCEREDRAW options.

Use the menu stack to flag redraws for the index and pager.

Filter other directional markers that corrupt the screen.

Don't full redraw the index when handling a command from the pager.

This causes a noticable flicker when moving through messages from the pager.

Remove redraw parameter from crypt send_menus.

The parameter was used to notify the caller if the sign (a)s menu was
invoked, which displayed the key selection menu.  This is no longer
necessary with the menu stack pop operation.

Set refresh when popping the menu stack.

This removes the need for the OPTNEEDREDRAW option and MAYBE_REDRAW
macro previously used to communicate back the need to refresh after
exiting a menu.

Remove the redraw parameter from ci_bounce_message() and
mix_make_chain() which served the same purpose.

Change CurrentMenu to be controlled by the menu stack.

The pager menu is a bit tricky with respect to the menu->menu and
CurrentMenu, so add a few comments.

Add a menu stack to track current and past menus.

Change the pager to use a MENU, right now just to hold the refresh
state.

Fix mutt_refresh() pausing during macro events.

Changeset a07e8215a0ef split input buffering into two pools.
Unfortunately, the mutt_refresh() was not changed to check the correct
buffer count, resulting in unnecessary refreshes during macros.

The SSL interactive certificate prompts set OPTIGNOREMACROEVENTS and
then put up a confirmation menu.  Perhaps we've just been lucky, but
it seems we should refresh the screen in those cases if we're in the
middle of a macro.  Add a check for this option in mutt_refresh() too.

merge: Tidy the code - Part 3

 * fix: typo in browser_compare_count{_new}
 * build: remove generated files from repo
 * tidy: comments
 * build: look for translations in all files
 * fix: arguments to printf-style functions
 * tidy: license text
 * tidy: unify include-guards
 * build: tidy makefiles
 * tidy: initialise pointers
 * tidy: make strcmp-like functions clearer
 * tidy: unify sizeof usage
 * build: remove forward declarations
 * tidy: remove ()s from return

tidy: remove ()s from return

The 'return' operator doesn't require its argument to the ()'d.
This has lead to some very inconsistent code.

This commit removes the ()s from return where the argument is a single
token, e.g.
    return 42;
    return fn(x);

There are ~480 occurrences.

build: remove forward declarations

tidy: unify sizeof usage

The sizeof operator doesn't always require the argument to be ()'d.
However it wasn't used consistently.  Add ()s to all uses of sizeof.

tidy: make strcmp-like functions clearer

There are ~600 uses of strcmp-like functions:
- ascii_strcasecmp
- ascii_strcmp
- ascii_strncasecmp
- ascii_strncmp
- imap_mxcmp
- imap_wordcasecmp
- mutt_inbox_cmp
- mutt_strcasecmp
- mutt_strcmp
- mutt_strncasecmp
- mutt_strncmp
- strcasecmp
- strcmp
- strncasecmp
- strncmp
- wcscasecmp

Because strcmp returns 0 on a successful match, conditionals can easily
be misread:

    if (strcmp(s, "hello"))
    {
        /* code if string 's' DOES NOT match */
    }

These have been changed to explicitly mention the return value:

    if (strcmp(s, "hello") != 0)
    {
        /* code if string 's' DOES NOT match */
    }

tidy: initialise pointers

Initialise ~1000 pointer declarations to NULL.
This incurs a very tiny cost at runtime.

This command was used to create a vim location-list:
    grep -ni "^[ ^I]\+\<[a-z_0-9]\+ *\* *[a-z_0-9]\+;"

build: tidy makefiles

- sort out subdirs
- remove unnecessary HAVE_CONFIG_H define
- tidy source lists
- drop NLS config reference
- drop unused make targets

tidy: unify include-guards

- add missing include-guards
- unify existing include-guards
- unnecessary conditionals around whole source

tidy: license text

- add missing license text
- tidy existing license text

fix: arguments to printf-style functions

By adding an attribute to printf-style functions, the compiler can spot
errors in the arguments.

Because the attributes aren't portable, they haven't been committed.
    __attribute__((format (printf, 1, 2)))

build: look for translations in all files

List ALL of the source files to the passed to the translations.

tidy: comments

- drop CVS marker: $Id$
- convert // comments
- delete blank line between comment and function

build: remove generated files from repo

Build temporary:
po/stamp-po

Copied in by autoreconf
po/boldquot.sed
po/en@boldquot.header
po/en@quot.header
po/insert-header.sin
po/quot.sed
po/remove-potcdate.sin

fix: typo in browser_compare_count{_new}

A typo meant that sorting by "count" or "count new" could not be done in
reverse.

add mailmap entries

This covers all committers since the start of NeoMutt.

doc: use neomutt mailinglist (#483)

Closes neomutt/neomutt.github.io#30

Website page updated too.

Fix (un)sidebar_whitelist to expand paths.

Thanks to Arturo for reporting the issue.

Closes #485

Fix inbox-first functionality when using mutt_pretty_mailbox (#490)

Fix inbox-first functionality when using mutt_pretty_mailbox

Fixes #489

merge: Tidy the code - Part 2

 * build: force OPS to be rebuild after a reconfigure
 * build: fix minor code warnings / style
 * tidy: be specific about void functions
 * build: expand a few more alloc macros
 * tidy: add argument names to function prototypes
 * build: drop local copy of regex code
 * tidy: indent the docbook manual
 * tidy: rearrange code to avoid forward declarations
 * tidy: limit the scope of some functions
 * build: give the compress functions a unique name
 * tidy: use snake_case for function names
 * build: add missing newlines to mutt_debug

build: add missing newlines to mutt_debug

tidy: use snake_case for function names

e.g.
- getDate          -> get_date
- mutt_menuDestroy -> mutt_menu_destroy

build: give the compress functions a unique name

The compressed mailbox functions are passed as pointers to mutt.
Their names, e.g. "open_mailbox" are OK for compilation, but they are
ambiguous when debugging.

- prefix exported function names with "comp_"

tidy: limit the scope of some functions

Functions that are only used in one file (compilation unit), should be
declared "static".  Also, they shouldn't have the prefix "mutt_".

- make two functions static (only used in one place)
- remove "mutt_" prefix
- add missing "static" declaration

tidy: rearrange code to avoid forward declarations

This change, though huge, is quite simple.

It simply rearranges functions, within files, to remove the need to
forward-declare them.  There were ~90 such declarations.

Forward declarations are rarely *needed* and just add to the cruft that
needs to be maintained.

tidy: indent the docbook manual

Indent the xml of the docbook manual.
Put a blank line before <chapter>, <sect*> or <table>

This doesn't change the manual functionally, but it makes it easier to
navigate.

build: drop local copy of regex code

The regular expression (regex) is now a standard part of the C libraries.
Use that, rather than our 18 year old version.

tidy: add argument names to function prototypes

This isn't very useful:
int function (int, int);

This is clearer
int function (int row, int col);

build: expand a few more alloc macros

Following some early work, expand some more macros to functions:
- pgp_new_keyinfo()
- new_pattern()
- rfc822_new_address()

tidy: be specific about void functions

Some functions have been declared with "()" when they should be "(void)".

build: fix minor code warnings / style

- remove an unnecessary backslash
- put variable in same preprocessor scope
- move prototype to where it's needed

build: force OPS to be rebuild after a reconfigure

A common problem is getting build errors after running ./configure for
the second time, e.g.
    ./configure [FEW  OPTIONS]; make
    ./configure [MANY OPTIONS]; make

This commit forces keymap_defs.h to be rebuilt after a configure.

build: don't look for lua libs unless asked for

fixes: #478

merge: upstream fixes (mutt/default)

 * Add SNI support for OpenSSL. (see #3923)
 * Add SNI support for GnuTLS. (closes #3923)
 * Add shortcuts for IMAP and POP mailboxes in the file browser
 * Change OpenSSL to use SHA-256 for cert comparison. (closes #3924)
 * Fix conststrings type mismatches. (closes #3926)
 * Pass envlist to filter children too.  (closes #3922)
 * Fix mutt_envlist_set() for the case that envlist is null. (see #3922)
 * Fix setenv overwriting to not truncate the envlist. (see #3922)

Fix setenv overwriting to not truncate the envlist. (see #3922)

The refactor in 2b9c40f13e13 exposed a bug I hadn't noticed.  The
match loop performed a FREE() on the slot.  Then, below, it was
checking if (*envp) to see whether it was overwriting or creating a
new slot.  However, FREE() nulls out *envp.  This would end up
truncating the envlist just after the set slot!

Move the free down, using a mutt_str_replace(), when overwriting the
slot.

Fix mutt_envlist_set() for the case that envlist is null. (see #3922)

Pass envlist to filter children too.  (closes #3922)

The new setenv patch neglected to pass the envlist for filters too.

Unfortunately, the filter code was already set up to pass COLUMNS to
children, so it needed to be changed to add this to the envlist
instead.

Factor out mutt_envlist_set() from the parse_setenv() function, which
the filter code can then use to set COLUMNS after forking.

Fix conststrings type mismatches. (closes #3926)

The generation programs for conststrings.c: txt2c.c and txt2c.sh,
specified the resultant types as "unsigned char[]" while version.c
declared them as "const char[]".

txt2.c generates 0xXX hex codes for each individual character, thus
the "unsigned" definition.  With link-time optimization, some versions
of gcc notice the mismatch and emit a warning.

Change the declarations to match the definitions and cast to char[]
when they are used.

Change OpenSSL to use SHA-256 for cert comparison. (closes #3924)

Note the GnuTLS code compares the certs directly to check if they are
in the certfile.

Add shortcuts for IMAP and POP mailboxes in the file browser

Mailbox list may not be properly displayed in a standard 80-column
terminal window if the $folder variable contains a long URL.  In such
a case only left part of each entry name can be visible with the default
value of $folder_format.  What's worse, this visible part may not be
enough to distinguish between the entries.

Thus in this case mutt_pretty_mailbox() will be just as useful as for
local mailboxes.

Add SNI support for GnuTLS. (closes #3923)

Add SNI support for OpenSSL. (see #3923)

The original patch for this is by Phil Pennock at:
https://people.spodhuis.org/phil.pennock/software/mutt-patches/

I have removed the OpenSSL version check and defined(OPENSSL_NO_TLSEXT)
check because:
  * SSL_set_tlsext_host_name() was added in 0.9.8f [11 Oct 2007]
  * OpenSSL 1.1 no longer has the OPENSSL_NO_TLSEXT compilation option
  * https://rt.openssl.org/Ticket/Display.html?id=2788&user=guest&pass=guest
    shows that the no-tlsext compilation option has been broken for some time.
  * Going forward, I'd like to minimize and start removing cruft required
    to support ancient/insecure versions of libraries.

build: drop two more obsolete m4 scripts (#477)

index_format: add support of %K (#452)

Unlike %B, %K will remain empty if there is no list detected for the
message.

Signed-off-by: Kevin Decherf <kevin@kdecherf.com>

Make iconv mandatory (no more --disable-iconv)

Issue: #460

Switch to using an external gettext runtime

Issue: #460

merge: Tidy the code - Part 1

 * drop control characters from the source
 * drop vim modelines
 * delete trailing whitespace
 * mark all local functions as static
 * delete unused functions
 * replace FOREVER with while (true)
 * drop #if HAVE_CONFIG_H
 * use #ifdef for potentially missing symbols
 * remove #if 0 code blocks
 * drop commented out source
 * IMAP auth functions are stored by pointer cannot be static

IMAP auth functions are stored by pointer cannot be static

See the imap_authenticators array in imap/auth.c.  This is exposed by
building without SASL.

drop commented out source

This source has been commented out for over 6 months
(and much of it for more than 10 years).

remove #if 0 code blocks

This code has been commented out for over 6 months
(and much of it for more than 10 years).

use #ifdef for potentially missing symbols

Some preprocessor symbols might not exist
They should be tested with #ifdef, not #if

drop #if HAVE_CONFIG_H

config.h is a compulsory part of the project.
The preprocessor conditional doesn't make sense.

replace FOREVER with while (true)

Replace a macro with some simple C.

delete unused functions

These functions have been commented out for over 6 months
(and many for more than 10 years).

mark all local functions as static

Local functions don't need to be prototyped in a header file.

delete trailing whitespace

drop vim modelines

We now favour .editorconfig which is controlled at the project level.

drop control characters from the source

Specifically, drop ^L (form feed)

build: drop #pragma include guard

docs: fix validation for lua

build: reorder use of OPS

"keymap_defs.h" is generated from the OPS files that are included in the
build.

"keymap_alldefs.h" is generated from ALL the OPS files.
(it's used by "make -C po update-po")

Change the build to ensure they include the OPS files in the same order.

fix: build warning

This was introduced by the buffer.c refactor.

fix typos and grammar in the comments

merge: upstream fixes (mutt/default)

 * Add $ssl_verify_partial_chains option for OpenSSL.  (closes #3916)
 * Move the OpenSSL partial chain support check inside configure.ac. (see #3916)
 * Don't allow storing duplicate certs for OpenSSL interactive prompt. (closes #3914)
 * Prevent skipped certs from showing a second time. (see #3916)
 * OpenSSL: Don't offer (a)ccept always choice for hostname mismatches. (closes #3914)

closes #429
closes #459

OpenSSL: Don't offer (a)ccept always choice for hostname mismatches. (closes #3914)

On a hostname mismatch, saving the certificate is pointless because
mutt will ask the user no matter if the certificate is saved or not.

The only invocation allowing "accept always" is guarded by a call to
check_certificate_digest(), which means the check_certificate_file()
check is redundant.  Therefore remove that check and add a comment
noting why.

Thanks to Matthias Andree for the original version of this patch.

Prevent skipped certs from showing a second time. (see #3916)

OpenSSL sometimes passes a skipped certificate to
ssl_verify_callback() a second time, with preverify_ok=1.  From
OpenSSL's viewpoint there is nothing wrong with this, but mutt will
end up showing the certificate in the interactive prompt again.

Cache the last cert and position, and compare with the latest when
skip_mode and preverify_ok are both set.

Don't allow storing duplicate certs for OpenSSL interactive prompt. (closes #3914)

Check to make sure the certificate is not already in the
$certificate_file before offering the (a)ccept always option.

To allow a cert with a new validity timespan to be added to the file,
check the expiration dates when comparing certificates in the
certficate file.

Move the OpenSSL partial chain support check inside configure.ac. (see #3916)

Instead of directly checking whether X509_V_FLAG_PARTIAL_CHAIN is
defined everywhere, do it once inside configure.  This will allow
better support in the future if the test needs to change.

Add $ssl_verify_partial_chains option for OpenSSL.  (closes #3916)

The reworked OpenSSL certificate validation took away a "feature" of
the previous implementation: the ability to reject a node in the chain
and yet continue to the next node.

If this new option is set to 'yes', enables OpenSSL's
X509_V_FLAG_PARTIAL_CHAIN flag to reinstate the functionality and permit
to use a non-root certificate as the trust anchor.

This option is only available if OpenSSL offers the
X509_V_FLAG_PARTIAL_CHAIN macro, which should be the case as of 1.0.2b
or later.

Code written by Kevin McCarthy and Matthias Andree.

merge: add lua scripting

 * lua: add basic working example
 * Adding basic Lua scripting basics to mutt
 * Refactor of the regex parsing code into its own function
 * Added new headers mutt_commands.h and mutt_options.h
 * Added -B option for batch mode. exiting before any mail sending feature
 * Lua API for Mutt's config and commandline

Lua API for Mutt's config and commandline

* adds the following to Mutt's API:
 * `:lua` to execute a line of Lua
 * `:lua-source` to load and run a Lua source file
* exposes the following Mutt API in Lua:
 * `mutt.message()` To write a message on Mutt's command line
 * `mutt.error()` To write an error message on Mutt's command line
 * `mutt.enter()` run an arbitrary Mutt command, like with `:enter-command`
 * `mutt.get()` get a variable from Mutt
 * `mutt.set()` sets a variable from Mutt (with type enforcement)
 * `mutt.call()` calls a command available in mutt, with arguments
 * `mutt.command.*` exposes all the commands from within Mutt
* For some technical details:
 * proper error handling of the Lua interpreter
 * exposed mutt_option_set and mutt_option_get from init

fixes: #153

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

Added -B option for batch mode. exiting before any mail sending feature

Added new headers mutt_commands.h and mutt_options.h

they export data types originally in init.h

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

Refactor of the regex parsing code into its own function

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

Adding basic Lua scripting basics to mutt

* adding two commands:
 - lua: to parse a line of lua code
 - lua-source: to load and parse a lua file
* binding two mutt functions in lua:
 - mutt_message and
 - mutt_error

cf #153

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

lua: add basic working example

- add lua code template
- add mutt variable
- add mutt function
- set/get lua variables
- call c function from lua
- add lua build deps

fix: Garbage in chdir prompt due to unescaped string

I upgraded one of my stable systems to stretch and noticed that when
changing the directory with 'c', there was some garbage at the end of
the string in the prompt. I've not noticed that before on my main
amd64 system, but this stable system is i386, so different alignment
and word size that can affect this kind of thing.

I tracked it down to an unescaped string handling.

Debian BTS#857433

refactor: Split out BUFFER-handling functions (#443)

merge: mx cleanups

 * mx: remove `#ifdef USE_COMPRESSED` in mx_fastclose_mailbox
 * mx: don't make MUTT_NNTP and MUTT_COMPRESSED conditional
 * mx: remove an `#ifdef USE_NNTP` block

Closes #426

mx: remove an `#ifdef USE_NNTP` block

The `MUTT_NNTP` symbol now exists unconditionally, the corresponding
ifdef block is not necessary anymore.

mx: don't make MUTT_NNTP and MUTT_COMPRESSED conditional

Other symbols like MUTT_IMAP and MUTT_POP don't depend on their
respective configuration flags to be defined, keep the same logic for
MUTT_NNTP and MUTT_COMPRESSED. That makes it easier to remove some
ifdef.