Decode CRLF line endings to LF when copying headers

This fixes display issues with files that consist of CRLF
line endings rather than just LF line endings, for example,
emails exported directly from the gmail API.

This only kicks in when CH_DECODE is set which might be a bit
strange, because that does RFC2047 header decoding, but it seems
a safe place to place this line end decoding without potentially
affecting anything else.

Include pattern for broken threads

References #616

From Frederic Duval:
http://cedricduval.free.fr/mutt/patches/download/patch-1.5.1.cd.pattern_broken.1

Improve search for mime.types

- Make the search order sane
- Print an error if mime.types is not found

Search order is:
    /etc/mime.types
    SYSCONFDIR/mime.types
    PKGDATADIR/mime.types
    ~/.mime.types

The last matching file wins.

fix: maildir creation

- added missing recursive directory creation after user prompt
- checked for trailing '/' when saving mbox

merge: start tidying Buffy handling

 * tidy some buffy code
 * split mutt_parse_mailboxes into mutt_parse_unmailboxes
 * drop VirtIncoming

drop VirtIncoming

Change the notmuch code to use Incoming rather than its own VirtIncoming.
These changes have no visible effect to the user.

This removes a lot of duplicate code and simplifies the logic in the
sidebar.

split mutt_parse_mailboxes into mutt_parse_unmailboxes

Split mutt_parse_mailboxes into two functions: one to add, one to remove.
There's not much overlap in the two functions and separating them
simplifies the logic.

Where unmailboxes used to use two loops, there's now only one.

tidy some buffy code

As a prelude to some notmuch changes, tidy up some buffy-handling
functions.  There are no functional changes.

- rename some variables
- reduce the scope of variables
- add some bools

CODE_OF_CONDUCT: remove jekyll code

[ci skip]

docs: add code of conduct

[ci skip]

merge: trivial code changes

 * reduce scope of for loop variables
 * replace variables with bools
 * rename static function
 * strip out once-used macro
 * while (1) -> while (true)

fix mailmap

while (1) -> while (true)

strip out once-used macro

rename static function

replace variables with bools

Each variable is limited to a single function.
Each was only set to 0 or 1.

Fucntions:
address_header_decode
alternative_handler
attach_forward_bodies
check_host
ci_send_message
clean_references
copy_clearsigned
crypt_getkeybyaddr
crypt_select_key
crypt_write_signed
disable_coredumps
display_line
do_uncolor
draw_sidebar
eat_message_range
eat_range
envelope_defaults
expand_aliases_r
get_token
handle_docline
imap_auth_sasl
imap_browse
imap_conn_find
imap_fast_trash
imap_fetch_message
imap_make_msg_set
imap_pretty_mailbox
imap_read_headers
imap_read_literal
init_common
init_menu
maildir_check_mailbox
main
mbox_check_mailbox
menu_redraw_index
mh_rewrite_message
mix_check_message
mix_make_chain
mutt_account_hook
mutt_alias_menu
mutt_attach_reply
mutt_body_handler
mutt_buffy_check
mutt_builtin_editor
mutt_check_simple
mutt_compose_attachment
mutt_copy_hdr
mutt_count_body_parts
mutt_display_message
mutt_draw_statusline
mutt_edit_attachment
mutt_edit_headers
mutt_expand_fmt
mutt_FormatString
mutt_index_menu
mutt_is_application_smime
mutt_multi_choice
mutt_pager
mutt_parse_color
mutt_parse_hook
mutt_parse_mono
mutt_parse_multipart
mutt_print_attachment
mutt_progress_update
mutt_remove_duplicates
mutt_sasl_start
mutt_signed_handler
mutt_view_attachment
mutt_write_fcc
mutt_write_rfc822_header
mutt_yesorno
nm_check_mailbox
nm_nonctx_get_count
nm_sync_mailbox
nntp_capabilities
nntp_hcache_update
nntp_newsrc_gen_entries
nntp_open_connection
parse_parameters
parse_pub_line
parse_regex
pgpring_dump_keyblock
pgp_application_pgp_handler
pgp_copy_clearsigned
pgp_decrypt_mime
pgp_find_keys
pgp_getkeybyaddr
pgp_getkeybystr
pgp_gpgme_application_handler
pgp_gpgme_decrypt_mime
pgp_read_packet
pgp_select_key
pgp_sign_message
pgp_traditional_encryptsign
pop_fetch_headers
print_smime_keyinfo
qp_decode_line
query_menu
reopen_mailbox
resolve_color
resolve_types
rfc1524_expand_filename
rfc2047_decode
rfc2231_decode_parameters
select_msg
show_one_sig_status
shrink_histfile
smime_getkeys
smime_select_key
ssl_init
tls_init
utf8_to_utf7
_mutt_expand_path
_mutt_parse_color
_mutt_traverse_thread

reduce scope of for loop variables

Each change is limited to a single function:
    attach_forward_bodies
    attach_forward_msgs
    attach_reply_envelope_defaults
    check_all_msg
    find_parent
    mutt_attach_bounce
    mutt_attach_reply
    mutt_attach_resend
    mutt_builtin_editor
    mutt_gen_attach_list

translation: update Chinese (Simplified)

init.c: allow sourcing of multiple files

Credits: Cedric Duval,
http://cedricduval.free.fr/mutt/patches/download/patch-1.5.4.cd.source_multiple.2

Issue #616

docs: fix ifdef examples

Fix trailing whitespaces

merge: drop obsolete options / docs

update gitignore

Update .gitignore to match all the latest build changes.

Completely remove dotlock

The last-ditch attempt to lock a file, dating back to the times when NFS
and SMB file-locking wasn't reliable.

drop UPDATING files

Drop:
    UPDATING    (from upstream)
    UPDATING.gz

The information in here is also in our ChangeLog.

One ChangeLog to bind them all

Drop files:
    ChangeLog      (from upstream)
    ChangeLog.nntp

Rename:
    ChangeLog.neomutt -> ChangeLog.md

drop configure options --enable-exact-address

Unused option.

drop configure option --with-exec-shell

Using /bin/sh is safe.

drop configure option --enable-nfs-fix

No longer needed.

drop configure option --disable-warnings

Always enable the warnings.

remove stamp-h.in

This file is generated by configure and shouldn't be committed to the
repo.

remove references to synonyms

Undocumented           | Real variable
-----------------------|-------------------------
edit_hdrs              | edit_headers
envelope_from          | use_envelope_from
forw_decode            | forward_decode
forw_decrypt           | forward_decrypt
forw_format            | forward_format
forw_quote             | forward_quote
hdr_format             | index_format
indent_str             | indent_string
mime_fwd               | mime_forward
msg_format             | message_format
pgp_autoencrypt        | crypt_autoencrypt
pgp_autosign           | crypt_autosign
pgp_auto_traditional   | pgp_replyinline
pgp_create_traditional | pgp_autoinline
pgp_replyencrypt       | crypt_replyencrypt
pgp_replysign          | crypt_replysign
pgp_replysignencrypted | crypt_replysignencrypted
pgp_verify_sig         | crypt_verify_sig
post_indent_str        | post_indent_string
print_cmd              | print_command
smime_sign_as          | smime_default_key
xterm_icon             | ts_icon_format
xterm_set_titles       | ts_enabled
xterm_title            | ts_status_format

Remove refs to deleted configure options

Obsolete configure options:
    --enable-hcache
    --enable-imap
    --enable-mailtool
    --enable-nntp
    --enable-pop
    --enable-smtp
    --with-included-gettext
    --with-regex

cleanup hdr_format_str

Sort options in alphabetical order for better overview.
Also while at it, removed a few superfluous blank lines.

Signed-off-by: Stefan Assmann <sassmann@kpanic.de>

doc: fix spaces in the manual

Thanks to Bo YU (@yuzibo) and Floyd Anderson (@floand)

These were introduced when `tidy` was run.

docs: fix typos

build: remove another reference to devel-notes.txt

NeoMutt 2017-06-09 (1.8.3)

update translations

update version

fix colours properly

new contributors to mailmap

Revert "Move setting of GPG_TTY to mutt_init(). (see #3948)"

This reverts commit 89ddfa61c180de00769f6e1798579ec80349a4eb.

This commit was created by upstream and then reverted citing possible
security problems leaking the GPG_TTY env var.

Fix latest coverity issues (#624)

* Fix latest coverity issues

ncrypt/crypt.c
CID 170494:  Resource leaks  (RESOURCE_LEAK)
Variable "from" going out of scope leaks the storage it points to.

nntp.c
CID 170495:  Uninitialized variables  (UNINIT)
Declaring variable "buf" without initializer.

parse.c
CID 76957:  Error handling issues  (NEGATIVE_RETURNS)
"loc" is passed to a parameter that cannot be negative.

fix: don't pass colour-codes to filters

If the index_format string is being passed to an external filter, then
don't embed our secret colour-codes.

Fixes: #221

docs: explain binding warnings

Offer suggestion on binding problems

Ref: #621

fix: Don't set a colour unless it's been defined.

Some SETCOLOR's were being used without checking if the user had set the
colour, first.

If the user set the "normal" colours, then SETCOLOR would leave blocks
of unexpected colours.

Fixes #610

include mutt_regex.h in globals.h

Error observered
In file included from main.c:40:0:
globals.h:56:20: error: storage size of 'AttachKeyword' isn't known
 WHERE struct Regex AttachKeyword;
                    ^~~~~~~~~~~~~
globals.h:288:20: error: storage size of 'PgpGoodSign' isn't known
 WHERE struct Regex PgpGoodSign;
                    ^~~~~~~~~~~
Adding header include for mutt_regex.h.

Signed-off-by: Stefan Assmann <sassmann@kpanic.de>

check return value of fgets

Following warning was observed:
 init.c: In function 'mutt_init':
 mutt.h:53:15: warning: ignoring return value of 'fgets_unlocked', declared with attribute warn_unused_result [-Wunused-result]
  #define fgets fgets_unlocked

 init.c:4053:7: note: in expansion of macro 'fgets'
        fgets(buffer, sizeof(buffer), f);
        ^~~~~
Added code that checks return value.

Signed-off-by: Stefan Assmann <sassmann@kpanic.de>

devel-notes.txt replaced by docs on neomutt.org

The prepare script mentions doc/devel-notes.txt, which no longer exists.
Point to https://www.neomutt.org/dev/newbie-tutorial instead.

merge: upstream fixes (mutt/default)

 * Fix "format string is not a string literal" warnings. (closes #3949)
 * Enable TEXTDOMAINDIR override to make translation testing easier.
 * Change km_dokey() to return -2 on a timeout/sigwinch.
 * Fix tag-prefix to not abort on $timeout.
 * Restore setenv function.
 * Move setting of GPG_TTY to mutt_init(). (see #3948)
 * Add a mutt_endwin() before invoking $sendmail. (closes #3948)

Add a mutt_endwin() before invoking $sendmail. (closes #3948)

This is to support invoking a program such as msmtp that can use gpg
to decrypt a password.  The ncurses pinentry can corrupt the screen
unless we exit curses.

Move setting of GPG_TTY to mutt_init(). (see #3948)

This allows other programs mutt runs to use the ncurses pinentry if needed.

Restore setenv function.

Partially revert fa1192803257, restoring setenv.  It turns out we
still need the function.

Fix tag-prefix to not abort on $timeout.

If $timeout is set very low, then it can cancel the tag-prefix before
the user has time to press the desired command.

Change the code to set the tag flag, and then recontinue with normal
event processing instead.  Cancel on an abort, but continue with a timeout.

Thanks to Lauri Tirkkonen for reporting the issue.

Change km_dokey() to return -2 on a timeout/sigwinch.

In some cases, such as tag-prefix or _mutt_enter_string(), it is
desirable to be able to distinguish between a timeout/sigwinch event
and an input error/abort/ctrl-g.

Enable TEXTDOMAINDIR override to make translation testing easier.

If set, TEXTDOMAINDIR will point to a translation directory instead of
using the mutt installation directory.

Fix "format string is not a string literal" warnings. (closes #3949)

Mutt calls msgfmt with '-c' to verify that translation format strings
match, but it is still safer to indirect strings with no formatting
through %s.

fix translations

update Japanese translation

fix some remaining translation problems

build: fix make git_ver.h

By separating the lines, the version variable was getting lost.

build: fix make dist

small refactoring

* replace ESC_CHAR macro with function
* added braces to if logic to improve readability

github: simplify PR template

In a lot of PR's, either the question "Why is this PR needed" is removed
or answered very similar to "What does this PR do?". Therefore, i think
this can be removed.

[ci skip]

merge: Remove legacy support / notes

 * remove AIX code, as it's unsupported
 * doc: remove Ultrix note, as it's unsupported
 * remove notes about SunOS as it's discontinued
 * INSTALL: remove mutt notes for supported platforms

INSTALL: remove mutt notes for supported platforms

remove notes about SunOS as it's discontinued

doc: remove Ultrix note, as it's unsupported

remove AIX code, as it's unsupported

docs: remove reference to non-existent file

Fix crash if no from is set or founds

On multi folder mailbox setup and without a set 'From:' line in
~/.muttrc the mutt crash with SIGSEGV on a NULL pointer at
msg->env->from

Fixes: #577

Fix typos in 'color compose'

correct spelling mistake

correct spelling mistake

fix ifdef command

Recent changes to the output of `mutt -v` broke the `ifdef` command.

Tidy a couple of version strings.
Update all the examples in the docs.

Closes #607

unbind mappings before overwriting in vim-keys

As per #583, these must be unbound to prevent warnings.

build: allow xsltproc and w3m calls to fail

add missing changelog entry

NeoMutt Release 2017-06-02

merge: sync to mutt/stable

update translations

clang-format source

Update en_GB.po

Fixed translations of shortkeys in the PGP-menu

update mailmap

version: 2017-06-02

merge: fix some trivial problems

 * remove unused option: SmimeSignOpaqueCommand
 * remove unused macros
 * fix safe_calloc args
 * remove unnecessary include
 * rename a param that shadow's a global symbol
 * docs: fix sidebar howto examples

docs: fix sidebar howto examples

rename a param that shadow's a global symbol

remove unnecessary include

This was accidentally added by IWYU.
Rename some macro params to avoid the problem in future.

fix safe_calloc args

remove unused macros

remove unused option: SmimeSignOpaqueCommand

It was never used.

merge: upstream fixes (mutt/default)

 * Convert classic s/mime to space delimit findKeys output.
 * Add self-encrypt options for PGP and S/MIME.
 * Change $postpone_encrypt to use self-encrypt variables first.
 * automatic post-release commit for mutt-1.8.3
 * Add note about message scoring and thread patterns. (see #3947)

Add note about message scoring and thread patterns. (see #3947)

Because scoring occurs before the mailbox is sorted, thread patterns
don't work.  Document a suggested workaround of pushing the score
command in a folder hook.

Also, fix the link target for the score command synopsis.

automatic post-release commit for mutt-1.8.3

Change $postpone_encrypt to use self-encrypt variables first.

The concept of postpone encryption is similar to self-encrypting on
send.  The problem is the $postpone_encrypt_as option doesn't take
into account whether PGP or S/MIME is being used.

Since we need to add the new options for self-encryption, modify
$postpone_encrypt to use them by default instead, falling back to
$postpone_encrypt_as if they are unset.  Note $postpone_encrypt_as is
deprecated in the documentation.

Add self-encrypt options for PGP and S/MIME.

Add $pgp_self_encrypt, $pgp_self_encrypt_as, $smime_self_encrypt,
$smime_self_encrypt_as.

$pgp_sign_as and $smime_default_key are inappropriate to use, as they
specify signing key/certs.  In some cases, this is a different value
than the encryption key/cert.