Prevent skipped certs from showing a second time. (see #3916)

OpenSSL sometimes passes a skipped certificate to
ssl_verify_callback() a second time, with preverify_ok=1.  From
OpenSSL's viewpoint there is nothing wrong with this, but mutt will
end up showing the certificate in the interactive prompt again.

Cache the last cert and position, and compare with the latest when
skip_mode and preverify_ok are both set.

Don't allow storing duplicate certs for OpenSSL interactive prompt. (closes #3914)

Check to make sure the certificate is not already in the
$certificate_file before offering the (a)ccept always option.

To allow a cert with a new validity timespan to be added to the file,
check the expiration dates when comparing certificates in the
certficate file.

Move the OpenSSL partial chain support check inside configure.ac. (see #3916)

Instead of directly checking whether X509_V_FLAG_PARTIAL_CHAIN is
defined everywhere, do it once inside configure.  This will allow
better support in the future if the test needs to change.

Add $ssl_verify_partial_chains option for OpenSSL.  (closes #3916)

The reworked OpenSSL certificate validation took away a "feature" of
the previous implementation: the ability to reject a node in the chain
and yet continue to the next node.

If this new option is set to 'yes', enables OpenSSL's
X509_V_FLAG_PARTIAL_CHAIN flag to reinstate the functionality and permit
to use a non-root certificate as the trust anchor.

This option is only available if OpenSSL offers the
X509_V_FLAG_PARTIAL_CHAIN macro, which should be the case as of 1.0.2b
or later.

Code written by Kevin McCarthy and Matthias Andree.

merge: add lua scripting

 * lua: add basic working example
 * Adding basic Lua scripting basics to mutt
 * Refactor of the regex parsing code into its own function
 * Added new headers mutt_commands.h and mutt_options.h
 * Added -B option for batch mode. exiting before any mail sending feature
 * Lua API for Mutt's config and commandline

Lua API for Mutt's config and commandline

* adds the following to Mutt's API:
 * `:lua` to execute a line of Lua
 * `:lua-source` to load and run a Lua source file
* exposes the following Mutt API in Lua:
 * `mutt.message()` To write a message on Mutt's command line
 * `mutt.error()` To write an error message on Mutt's command line
 * `mutt.enter()` run an arbitrary Mutt command, like with `:enter-command`
 * `mutt.get()` get a variable from Mutt
 * `mutt.set()` sets a variable from Mutt (with type enforcement)
 * `mutt.call()` calls a command available in mutt, with arguments
 * `mutt.command.*` exposes all the commands from within Mutt
* For some technical details:
 * proper error handling of the Lua interpreter
 * exposed mutt_option_set and mutt_option_get from init

fixes: #153

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

Added -B option for batch mode. exiting before any mail sending feature

Added new headers mutt_commands.h and mutt_options.h

they export data types originally in init.h

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

Refactor of the regex parsing code into its own function

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

Adding basic Lua scripting basics to mutt

* adding two commands:
 - lua: to parse a line of lua code
 - lua-source: to load and parse a lua file
* binding two mutt functions in lua:
 - mutt_message and
 - mutt_error

cf #153

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

lua: add basic working example

- add lua code template
- add mutt variable
- add mutt function
- set/get lua variables
- call c function from lua
- add lua build deps

fix: Garbage in chdir prompt due to unescaped string

I upgraded one of my stable systems to stretch and noticed that when
changing the directory with 'c', there was some garbage at the end of
the string in the prompt. I've not noticed that before on my main
amd64 system, but this stable system is i386, so different alignment
and word size that can affect this kind of thing.

I tracked it down to an unescaped string handling.

Debian BTS#857433

refactor: Split out BUFFER-handling functions (#443)

merge: mx cleanups

 * mx: remove `#ifdef USE_COMPRESSED` in mx_fastclose_mailbox
 * mx: don't make MUTT_NNTP and MUTT_COMPRESSED conditional
 * mx: remove an `#ifdef USE_NNTP` block

Closes #426

mx: remove an `#ifdef USE_NNTP` block

The `MUTT_NNTP` symbol now exists unconditionally, the corresponding
ifdef block is not necessary anymore.

mx: don't make MUTT_NNTP and MUTT_COMPRESSED conditional

Other symbols like MUTT_IMAP and MUTT_POP don't depend on their
respective configuration flags to be defined, keep the same logic for
MUTT_NNTP and MUTT_COMPRESSED. That makes it easier to remove some
ifdef.

mx: remove `#ifdef USE_COMPRESSED` in mx_fastclose_mailbox

Some code to cleanup compressed mailbox on close depends on an #ifdef
block in mx_fastclose_mailbox, but this mailbox specific code should be
implemented in the mx_ops' close function.

This commit moves the call to `mutt_free_compress_info` in the mailbox
close function, allowing us to mark it static and to remove the ifdef.

Fix uncollapse_new in pager (#447)

In pager, the index refresher uses the current count as oldcount.

This change fixes that.

Closes #305

attachment/pager: Use mailcap for test/* except plain (#449)

* attachment: Use mailcap for test/* except plain

This change makes attachment view using mailcap for everything
not text/plain.

* pager: Don't assume all text/* are plaintext

This change removes the assumption that all text/* are humain readable
plaintext.

Closes #430

docs: updates for 1.8.0

NeoMutt 2017-03-06 (1.8.0)

Get the correct buffer size under fmemopen/torify (#441)

* Get the correct buffer size under fmemopen/torify
* Flush only if needed, avoid memory leak
* Initialize variables for eye sanity

merge: sync to mutt/default

Use static inlines to make gcc 4.2.1 happy

Closes: #432

getdnsdomainname: cancel getaddrinfo_a if needed

if getaddrinfo_a() is not finish on time we must call
gai_cancel() and wait getaddrinfo_a() to finish.

Closes #453

merge: upstream fixes (mutt/default)

 * Clear out extraneous errors before SSL_connect() (see #3916)
 * SSL: Fix memory leak in subject alternative name code. (closes #3920)
 * Increase ACCOUNT.pass field size. (closes #3921)

Increase ACCOUNT.pass field size. (closes #3921)

#3921 reported his password token used for Google XOAUTH2 is size 129.
The ACCOUNT structure currently uses a size 128 buffer.  Who knew a
password field would ever be bigger than that?

Since the ACCOUNT structure has no allocation/dellocation routines,
the easiest fix is to increase the size.  Bump the size up to 256.

merge stable

Increase ACCOUNT.pass field size. (closes #3921)

#3921 reported his password token used for Google XOAUTH2 is size 129.
The ACCOUNT structure currently uses a size 128 buffer.  Who knew a
password field would ever be bigger than that?

Since the ACCOUNT structure has no allocation/dellocation routines,
the easiest fix is to increase the size.  Bump the size up to 256.

SSL: Fix memory leak in subject alternative name code. (closes #3920)

Clear out extraneous errors before SSL_connect() (see #3916)

Call ERR_clear_error() just before the call to SSL_connect() to make
sure the error queue doesn't have any old errors in it.

PEM_read_X509() sets an error PEM_R_NO_START_LINE on end-of-file.
Clear that out so it doesn't show up as the SSL_connect() error
message.

merge stable

SSL: Fix memory leak in subject alternative name code. (closes #3920)

merge stable

Prevent segv if open-appending to an mbox fails. (closes #3918)

If mbox_open_mailbox_append() fails, ctx->fp will be null.  Add a
check in mbox_close_mailbox(), to prevent a segv from passing null to
fileno().

merge stable

Clear out extraneous errors before SSL_connect() (see #3916)

Call ERR_clear_error() just before the call to SSL_connect() to make
sure the error queue doesn't have any old errors in it.

PEM_read_X509() sets an error PEM_R_NO_START_LINE on end-of-file.
Clear that out so it doesn't show up as the SSL_connect() error
message.

fix github templates (#444)

See: https://github.com/neomutt/neomutt/commit/8824bf52030edc60871ca8a91e47d228b159cf67#commitcomment-21082952

github: added template for Pull Requests, issues and a CONTRIBUTION.md (#339)

* PR template is based on https://gitlab.com/snippets/35985 (thanks @guyzmo)
* tips for good commit messages are based on tpope's guide:
http://tbaggery.com/2008/04/19/a-note-about-git-commit-messages.html

editorconfig: support for new files, fix whitespace (#439)

* Our code contains a lot of whitespace issues, so every commit is
  polluted by whitespace changes with the current editorconfig

* Add support for makefiles, xml, vim and yml files, etc. pp.

add blocking fmemopen bug on debian to manual (#422)

See: https://github.com/neomutt/neomutt/issues/361

imap: remove useless code (#434)

Fixes missing semi-colon compilation issue (#433)

Signed-off-by: Guyzmo <guyzmo+github+pub@m0g.net>

NeoMutt 2017-02-25 (1.8.0)

update translation files

merge: sync to mutt/default

merge: upstream fixes (mutt/default)

 * Add 1.8.0 entries to the UPDATING file.
 * Reword some of the UPDATING entries.
 * Minor touchups to documentation and UPDATING file.
 * Updated Esperanto translation.
 * Updated Dutch translation.
 * Updated Japanese translation.
 * automatic post-release commit for mutt-1.8.0

automatic post-release commit for mutt-1.8.0

Updated Japanese translation.

Updated Dutch translation.

Updated Esperanto translation.

Minor touchups to documentation and UPDATING file.

Reword some of the UPDATING entries.

Thanks to Matthias Andree for his feedback and suggestions!

Add 1.8.0 entries to the UPDATING file.

merge default into stable

mutt-1.8.0 signed

Added tag mutt-1-8-rel for changeset d897983752f9

automatic post-release commit for mutt-1.8.0

docs: fix typo in notmuch example

style: don't align assignments -- too often ugly

handle sigint within socket operations (#411)

When trying to use mutt with non-SSL IMAP it intermittently throws
'Error talking to localhost (Interrupted system call)' and closes
the mailbox.

Closes #407
Closes #408
Closes #411

Use getaddrinfo_a if possible (#420)

When getaddrinfo_a is avialable we can use it to set a timeout for the
dns resolution. This avoid to have mutt that freeze on startup when the
network connection isn't working and the hosts/hostname misconfigured on
the system.

Closes #176
Closes #420

Updated Japanese translation.

Remove ugly macros and casts from crypt-gpgme.c

fix minor reflow issues in some comments

See: https://github.com/neomutt/neomutt/pull/392#discussion_r102072729
for the discussion.

Updated Dutch translation.

Merge branch 'translate', updates from upstream

Update a bunch of translations from upstream:
    1536c45 Updated Catalan translation.
    ffc0e1f Updated Russian translation.
    55f2b57 Updated Ukrainian translation.
    47341a9 Updated Danish translation.
    b792e8e Updated Czech translation.
    fcf7330 Updated Czech translation.
    975efd6 Updated French translation.

Updated Catalan translation.

Updated Russian translation.

Updated Ukrainian translation.

Updated Danish translation.

Updated Czech translation.

Updated Czech translation.

Updated French translation.

Updated Esperanto translation.

Minor touchups to documentation and UPDATING file.

merge: prepare the source for clang-format

 * fix 80 column limit, align statements
 * add clang-format file
 * added comment-blocks for clang-format to ignore
 * editorconfig: use spaces to indent in *.[ch] files

closes #392

editorconfig: use spaces to indent in *.[ch] files

added comment-blocks for clang-format to ignore

add clang-format file

fix 80 column limit, align statements

notmuch: Allow to use untransformed tag for color

closes #417

merge: upstream fixes (mutt/default)

 * Change "allow_dups" into a flag at hash creation.
 * Filter expired local certs for OpenSSL verification.
 * Plug memory leak in weed-expired-certs code.
 * Fix potential cert memory leak in check_certificate_by_digest().
 * Show SHA1 fp in interactive cert check menu.
 * Prevent null pointer exception for h->ai_canonname

closes #413

Prevent null pointer exception for h->ai_canonname

The getaddrinfo call in line 54 sets &h to a struct addrinfo. If a
canonical name cannot be found for the node argument of getaddrinfo,
h->ai_canonname is set to NULL. In that case, the strchr call in line
58 can lead to segfault. This behavior was observed on a macos sierra
while the hostname was 192.168.1.3 (unfortunately this happens quite
often in macos).

The fix is simple, just check h->ai_canonname for the NULL value.

Show SHA1 fp in interactive cert check menu.

While here, fix a few compiler warnings about sign mismatch in comparison.

Fix potential cert memory leak in check_certificate_by_digest().

Thanks to Matthias Andree's debugging, it appears the cert is not
freed when PEM_read_X509() encounters EOF.  Change the return value
check to not overwrite cert.  It is already updated via the second
parameter.

Plug memory leak in weed-expired-certs code.

X509_STORE_add_cert() creates a copy of the certificate we're offering,
so we need to free our copy afterwards.  This isn't documented, but from
observed behaviour in OpenSSL 1.0.2 and its master branch source code.

Change PEM_read_X509() call to reuse cert to avoid free/reallocation
overhead.

Filter expired local certs for OpenSSL verification.

OpenSSL has trouble establishing the chain and verifying when
duplicate expired certs are loaded in from $certificate_file.  A
warning about this is mentioned in
SSL_CTX_load_verify_locations(3SSL).

Filter out expired certs when loading verify certs.  Note that the
full certicates file is still used for verification in
check_certificate_by_digest().

Change "allow_dups" into a flag at hash creation.

Instead of having an "allow_dups" parameter for hash_insert(), add a
flag, MUTT_HASH_ALLOW_DUPS, to hash_create().

Currently ReverseAlias, subj_hash, and thread_hash allow duplicate
keys.  Change those hashes to pass the flag at creation, and remove
the last parameter from all callers of hash_insert().

merge: fix coverity defects

 * fix: resource leak - CID 76962
 * fix: resource leak - CID 76963
 * fix: resource leak - CID 76965
 * fix: resource leak - CID 76966
 * fix: resource leak - CID 76967
 * fix: resource leak - CID 76968
 * fix: resource leak - CID 76972
 * fix: resource leak - CID 76975
 * fix: resource leak - CID 76976
 * fix: resource leak - CID 76977
 * fix: resource leak - CID 76978
 * fix: resource leak - CID 76979
 * fix: resource leak - CID 76980
 * fix: resource leak - CID 76982
 * fix: resource leak - CID 76983
 * fix: resource leak - CID 76984
 * fix: resource leak - CID 76985
 * fix: resource leak - CID 76986
 * fix: resource leak - CID 83477
 * fix: resource leak - CID 83478
 * fix: resource leak - CID 150921
 * fix: resource leak - CID 160977

closes: #405

fix: resource leak - CID 160977

fix: resource leak - CID 150921

fix: resource leak - CID 83478

fix: resource leak - CID 83477

fix: resource leak - CID 76986

fix: resource leak - CID 76985

fix: resource leak - CID 76984

fix: resource leak - CID 76983

fix: resource leak - CID 76982

fix: resource leak - CID 76980