rename charset functions

To avoid a clash with the configset functions to come.

iwyu: remove unnecessary headers

move mutt_pretty_size to libmutt

tidy mapping functions

rename parameters bufsz -> buflen

lua: enable myvars

Fixes #1016
Fixes #1017

merge: upstream fixes (mutt/default)

 * Fix improper signed int conversion of IMAP uid and msn values.
 * Change imap literal counts to parse and store unsigned ints.
 * Fix imap status count range check.
 * cmd_handle_fatal: make error message a bit more descriptive
 * Updated French translation.
 * Create pgp and s/mime default and sign_as key vars. (see #3983)
 * Add missing setup calls when resuming encrypted drafts.
 * mutt_pretty_size: show real number for small files
 * examine_directory: set directory/symlink size to zero
 * Update pl.po
 * Fixed GPGME translations that weren’t shown but affected the keyboard
 * docs: update encrypt-to-self
 * Update smime.rc: Typo fix, consistent headings
 * Add pgp_default_key and smime_sign_as info to contrib rc files.
 * Split Copyright and Thanks in help output.
 * strip out copyright translations

strip out copyright translations

Split Copyright and Thanks in help output.

The Copyright string is changing often, and its content is obvious.
It does not need translation. The remaining string can be translated.
This change avoids a stale translation once one of the years change.

Signed-off-by: Olaf Hering <olaf@aepfle.de>

Add pgp_default_key and smime_sign_as info to contrib rc files.

Explain $pgp_default_key vs $pgp_sign_as in gpg.rc.

Explain $smime_default_key vs $smime_sign_as in smime.rc.

Update smime.rc: Typo fix, consistent headings

docs: update encrypt-to-self

Fixed GPGME translations that weren’t shown but affected the keyboard

Update pl.po

examine_directory: set directory/symlink size to zero

The size of a directory or symlink in the folder browser is not meaningful.
For directories it means just how many blocks were allocated to hold all
entries. It does not mean that the entries are still present in the directory.
For symlinks its the size of the target.
Set both to zero to simplify the folder browser output.

Signed-off-by: Olaf Hering <olaf@aepfle.de>

mutt_pretty_size: show real number for small files

If a file is smaller than a certain size it is unfriendly to print 0K or
0,1K as number of mails or as file size. Instead use the real number.

Signed-off-by: Olaf Hering <olaf@aepfle.de>

Add missing setup calls when resuming encrypted drafts.

Calls to get the passphrase were missing for app/pgp and app/smime.
App/smime was also missing a call to crypt_smime_getkeys().

If a failure occurs, report it back, rather than just continuing.
Otherwise, postponed messages could be completely lost.

Create pgp and s/mime default and sign_as key vars. (see #3983)

The $postpone_encrypt and $(pgp/smime)_self_encrypt configuration
variables have created a somewhat messier situation for users.  Many
of them now have to specify their keys across multiple configuration
variables.

(Trac) Ticket #3983 had a reasonable request: "if my encrypt and
signing keys are the same, why can't I just specify my key once in my
.muttrc?"

The problem currently is that $smime_default_key and $pgp_sign_as are
both used to specify signing keys, and are set by the "sign (a)s"
security menu choice.  So we can't store encryption keys there because
some users have separate sign-only capability keys.

Create $pgp_default_key to store the default encryption key.  Change
signing to use $pgp_default_key, unless overridden by $pgp_sign_as.
The pgp "sign (a)s" will continue setting $pgp_sign_as.

Create $smime_sign_as.  Change signing to use $smime_default_key
unless overridden by $smime_sign_as.  Change s/mime "sign (a)s" menu
to set $smime_sign_as instead.

Change $postpone_encrypt and $(pgp/smime)_self_encrypt to use
$(pgp/smime)_default_key by default.

Mark $(pgp/smime)_self_encrypt_as deprecated.  They are now aliases
for the $(pgp/smime)_default_key config vars.

Change $(pgp/smime)_self_encrypt default to set.

The intent is that most users now need only set
$(pgp/smime)_default_key.  If they have a sign-only key, or have
separate signing and encryption keys, they can put that in
$(pgp/smime)_sign_as.  This also enables to default self_encrypt on
and solve a very common request.

Thanks to Michele Marcionelli and Vincent Lefèvre for gently pushing
me towards a solution.

Updated French translation.

cmd_handle_fatal: make error message a bit more descriptive

When there are multiple IMAP connections available, "Mailbox closed"
doesn't give a hint as to which one.  Use account info to identify which
mailbox was closed.

Fix imap status count range check.

The strtoul() call for parsing the STATUS count wasn't checking the
range properly, because it was assigning to an unsigned int.

Change to assign to a unsigned long, and also add the conversion check
from mutt_atoui().

Thanks to Charles (@chdiza) for quickly noticing the problem!

Change imap literal counts to parse and store unsigned ints.

IMAP literals are of type number.  Change imap_get_literal_count() to
use mutt_atoui() instead of atoi().  Change the return type variables
used to store the count to type unsigned int.

It's doubtful this was a real issue, but as long as we're cleaning up
incorrect atoi() usage, we should fix this too.

Fix improper signed int conversion of IMAP uid and msn values.

Several places in the imap code, when parsing "number" and "nz-number"
values from the IMAP data, use atoi() and strtol().  This is
incorrect, and can result in failures when a uid value happens to be
larger than 2^31.

Create a helper function, mutt_atoui() and use that instead.  One
place was using strtol() and relying on the endptr parameter, and so
was changed to use strtoul() instead.

Thanks to Paul Saunders for the bug report and original patch, which
this commit is based on.

Updated French translation.

Disable message security if the backend is not available.

Gitlab issue #3 exposed an awkward corner case: if mutt is configured
without PGP or S/MIME, and with GPGME, but $crypt_use_gpgme is unset.
In this case, no backend will be available, but WithCrypto will be set
with both APPLICATION_PGP and APPLICATION_SMIME bits.

That will allow various config vars to enable encryption or signing,
even though there will be no backend available to perform them.  The
message security flag might then be set, but when the user hits send,
will end up back at the compose menu due to the error.

The pgp or smime menu might not even be available to clear the
security setting!

Add a check in send.c before the compose menu is invoked, and give a
warning message for the menu ops inside the compose menu.

I believe this should prevent the issue.  However this is a corner
case combined with user misconfiguration, so I don't believe is worth
a large effort to completely eradicate.

Mention self_encrypt options in the documentation. (closes #3983)

Add a paragraph to the "Sending Cryptographically Signed/Encrypted
Messages" section of the manual.

Update copyright notices.

Review fuzzy lt translations

update translations

Fix line split logic in help (#1019)

* Fix line split logic in help

Fixes #1018

merge: trivial improvements

 * add missing {}s
 * doxygen
 * rename functions: adr -> addr
 * rename params/args/vars: adr -> addr
 * docs: drop reference to waffle backlog

docs: drop reference to waffle backlog

rename params/args/vars: adr -> addr

rename functions: adr -> addr

doxygen

add missing {}s

fix regex parsing

fix display of special chars

merge: move charset and idna functions to libmutt

 * clang-format
 * reorg: idna -> address, envelope
 * private hooks for charset
 * move charset functions to muttlib
 * move idna functions to muttlib
 * move address functions
 * iwyu / comments

iwyu / comments

move address functions

move idna functions to muttlib

move charset functions to muttlib

private hooks for charset

reorg: idna -> address, envelope

clang-format

merge: Prepare the code for the new config system

 * regex obj to ptr
 * refactor the hash types
 * expand global bools,quadoptions
 * Rename all the config bools OPT_ABC_XYZ -> AbcXyz
 * Adjust the members of struct Options
 * group the synonyms at the end of the list
 * move all config variables to the end of the file

move all config variables to the end of the file

group the synonyms at the end of the list

Adjust the members of struct Options

Rename all the config bools OPT_ABC_XYZ -> AbcXyz

expand global bools,quadoptions

Replace the packed array of booleans with separate `bool`s.

refactor the hash types

The HashElem now contains the type of the data.
Also, the destructor is set once at the creation of the Hash table.

regex obj to ptr

Change the backing variables for config from objects to pointers.

merge: Move regex functions to muttlib

 * move functions to muttlib
 * rename functions
 * rename parameters
 * reorder parameters
 * add doxygen comments

add doxygen comments

reorder parameters

rename parameters

rename functions

move functions to muttlib

Add mutt_mb_is_lower() to muttlib

This is based on mutt_which_case() which had a unnecessary Regex
constant embedded in it.

Buffer improvements

Add new functions:
- mutt_buffer_alloc()
- mutt_buffer_is_empty()

Change functions to return the number of bytes written:
- mutt_buffer_addch()
- mutt_buffer_addstr()

nested-if: correctly handle "<" and ">" with %?

As part of the implementation of nested-if[1], we translate old-style
conditional expandos into nested-if expandos. However, this translation
did not account for the metacharacters that need to be escaped in
nested-if expandos that are valid in old-style expandos (in particular
"<" and ">"). Correct this by escaping the relevant metacharacters.

With this patch, it is now possible to do something like

  :set status_format=" %rMail%r >%?u? +%u >?"

Without causing an ">" to be included if %u is 0 (which used to be the
case).

[1]: https://www.neomutt.org/feature/nested-if

Fixes #1001

encapsulate idna code

Move all the defines, etc, into mutt_idna.c

fix gmail server-size search

Fixes #1013

Fix s/mime certificate deletion bug

Commit c1bcf4ba exposed a bug in the s/mime encryption code.  It was
errorneously calling unlink on the list of generated cert files to
use.

Prior to that commit, the list had an initial space, which apparently
made the unlink fail.  After that commit, encrypting to a single
certificate would end up deleting the certificate.

Remove the calls to unlink the cert file.  Add some missing cleanup if
the call to openssl fails.

Fixes #1006

merge: fix coverity defects

 * identical code for different branches
 * fix resource leaks
 * Array compared against 0
 * Pointer to local outside scope
 * hdr can't be NULL
 * remove unused values
 * fix use of 'fallthrough' comments

fix use of 'fallthrough' comments

remove unused values

hdr can't be NULL

Pointer to local outside scope

The code returned a pointer to an array that had gone out of scope.

Array compared against 0

fix resource leaks

identical code for different branches

`SETCOLOR(MT_COLOR_NORMAL)` caused identical code to be generated in
both branches of an `if` statement.

merge: trivial code fixes

 * split if's containing assignments
 * drop unnecessary FGETCONV typedef
 * add doxygen warnings
 * pgppubring: fix signed and unsigned comparison
 * fix sensitive flag for config variables
 * remove unnecessary preprocessor symbol
 * add some checks to buffer code
 * move conditional includes after others

move conditional includes after others

add some checks to buffer code

remove unnecessary preprocessor symbol

MUTT_CRYPTHOOK is always present.

fix sensitive flag for config variables

pgppubring: fix signed and unsigned comparison

Fix size_t and int comparison in pgppubring.

add doxygen warnings

drop unnecessary FGETCONV typedef

split if's containing assignments

NeoMutt 2017-12-15

Fix type mismatch in mutt_progress_init()

Fixes the following GCC warning:

    curs_lib.c: In function ‘mutt_progress_init’:
    curs_lib.c:471:65: warning: format ‘%ld’ expects argument of type ‘long int’, but argument 4 has type ‘size_t {aka unsigned int}’ [-Wformat=]
           snprintf(progress->sizestr, sizeof(progress->sizestr), "%ld", progress->size);
                                                                     ^

Fix type mismatch in mutt_pretty_size()

Fixes the following GCC warnings:

    muttlib.c: In function ‘mutt_pretty_size’:
    config.h:55:19: warning: format ‘%lld’ expects argument of type ‘long long int’, but argument 4 has type ‘size_t {aka unsigned int}’ [-Wformat=]
     #define OFF_T_FMT "%" PRId64
                       ^
    muttlib.c:614:22: note: in expansion of macro ‘OFF_T_FMT’
         snprintf(s, len, OFF_T_FMT "K", (n + 51) / 1024);
                          ^~~~~~~~~
    config.h:55:19: warning: format ‘%lld’ expects argument of type ‘long long int’, but argument 4 has type ‘size_t {aka unsigned int}’ [-Wformat=]
     #define OFF_T_FMT "%" PRId64
                       ^
    muttlib.c:621:22: note: in expansion of macro ‘OFF_T_FMT’
         snprintf(s, len, OFF_T_FMT "M", (n + 52428) / 1048576);
                          ^~~~~~~~~

Add spaces after "References:" and "In-Reply-To:"

Context might be NULL - avoid dereferencing it

Issue #999

Review of "Bring consistency among sizes"

Issue #928

Bring consistency among sizes

There are instances in the code that refer to lengths or sizes of strings and
buffers and the like, but they are not typed in a consistent manner. The purpose
of this commit is to provide some consistency to these scenarios by changing
their type from unsigned int, int, unsigned long, etc. to size_t.

In general, these situations were identified by globally searching the code
for patterns along the lines of:
(unsigned|unsigned int|int|long) (len|blen|olen|length|l|size)
and changing the type to size_t on a case-by-case basis.

The following situations were explicitly ignored:

- autosetup/jimsh0.c, because it appears to be third-party code

- inputs to function calls relating to ssl and sasl, because they don't take
size_t as inputs and recasting in the function call didn't seem worth the
increased messiness

- for loop indices, because in some cases unsigned indices can breed bugs

This commit takes care of most obvious cases. There may certainly be subtler
ones that were missed in this pass.

Resolves: #928

fix variable names

Revert "Don't clear the macro buffer during startup"

Fixes #997

This reverts commit baf6ebbfc939278efb1895bed47e553ea7de19b1.

Fix SMTP RET parameter which was substituted by rc (#996)

Fixes #995

Configure number of directory components displayed in sidebar

In cases of a complex maildir directory structures, one may want to hide the
highest `N` directories from display in the sidebar to keep things looking
clean and legible.

This commit introduces a new config parameter, `sidebar_component_depth`, which
takes a positive integer as its value.

For example, suppose I have the following directory structure:
```
Inbox
dir1/dir2
dir1/dir2/dir3/sushi
dir1/dir2/dir3/neomutt/developer
```

By setting `sidebar_component_depth=2` in one's rc file, the sidebar will
display these maildirs in the following way:
```
Inbox
dir2
dir3/sushi
dir3/neomutt/developer
```

As seen in this example, the two highest directories have been truncated from
each path except in the case when there are `<= N` subdirectories, in which
case the bottom-most directory is displayed.

This parameter has a default value of 0, which disables the feature.

A previously-existing option, `sidebar_short_path`, provides similar behavior,
but truncates all except the bottom-most directories. When that option is
enabled, `sidebar_component_depth` is ignored.

Issue #813

Kill autotools (#994)

man: "mutt" --> "neomutt"

* man: "mutt" --> "neomutt"
* man: fix debug file and bug tracking system
* man: fix file reference
* Makefile uses lower-case files.
* man: update bugs section, update references

NeoMutt 2017-12-08

update translations

clang-format

update mailmap