doc/neomuttrc.man.{head,tail}: Catch up overlooked parts

doc/neomuttrc.man.head: Small tidying

doc/neomuttrc.man.head: Add and fix command definitions

These command definitions based on generated manual.xml file.

doc/neomuttrc.man.head: Sort commands

Sorting based on (but not entirely) generated manual.xml file.
Current exceptions are:

  • append-hook, close-hook and open-hook
  • fcc-hook, save-hook and fcc-save-hook
  • lists, unlists, subscribe and unsubscribe

because they are contextually-related commands and therefore grouped and
described together.

Further changes (consistency/readability):

  • macro .TP replaced with .PP or .IP (normal/indented paragraph)
  • command definition(s) enclosed with .nf and .fi (Nofill/Fill mode)

merge: sanitize usage of gettext

 * I18N: ncrypt/smime.c: Remove outdated comment
 * I18N: recvattach.c: Add comment to translation string
 * I18N: Document the choice strings for translators
 * I18N: Use _() instead of N_() for marking strings for translation
 * I18N: Combine split translatable strings into one translatable string
 * I18N: ncrypt/smime.c: Translate strings and document them
 * I18N: Define ngettext macro when compiling without gettext support
 * I18N: Use ngettext to choose correct plural form
 * I18N: Use ngettext to select plural form for a string
 * I18N: Choose correct plural form in recvcmd.c
 * I18N: No need to translate "%s: %s"
 * I18N: Choose correct plural form in commands.c
 * I18N: Choose correct plural form and avoid gluing translations
 * I18N: commands.c: Do not glue translations together
 * I18N: handler.c: Do not glue translations together
 * I18N: handler.c: Pass the complete line to the translators
 * I18N: handler.c: Pass the complete line to the translators
 * I18N: handler.c: Pass the complete string to the translator
 * I18N: handler.c: Pass the complete string to the translator
 * I18N: handler.c: Pass the complete string to the translator
 * I18N: Unify printed string on signal caught
 * I18N: Combine help string into a single string for translation
 * I18N: version.c: Pass the complete license string to the translator
 * I18N: po/*.po updated to match new master
 * I18N: Update po files
 * I18N: Update po files
 * I18N: Update po files
 * I18N: Update po files
 * I18N: Update po files
 * I18N: Update po files
 * I18N: Update po files
 * I18N: Update po files to new messages
 * I18N: Update po files
 * I18N: Update po files for handler.c
 * I18N: Update po files for handler.c
 * I18N: Update po files for handler.c
 * I18N: Update po files for signal.c and mutt/signal.c
 * I18N: Update po files
 * I18N: Update po files
 * L10N: Review British English translation
 * add missing state_mark_attach()

add missing state_mark_attach()

L10N: Review British English translation

I18N: Update po files

Merge the two old separate translations into a single translation of the
new string.

I18N: Update po files

We merged the translations of the individual strings to a translation of
the new string. Note that for some strings the translation did not
exists. In that case we used the original English version, which yields
a mixture between English and the other language.

I18N: Update po files for signal.c and mutt/signal.c

The original string was changed from "Caught signal %s... Exiting.\n"
to include also the signal number:

   "Caught signal %d (%s) ...  Exiting.\n"

We adapted the translation by inserting " (%s)" after "%d" in the
translation of "Caught signal %d... Exiting.\n".

I18N: Update po files for handler.c

Combine the old translations of the chopped strings

    "[-- This is an attachment "]

    "[-- %s/%s is unsupported "]

    "(use '%s' to view this part)"]

    "(need 'view-attachments' bound to key!)"]

into a translation for the following six strings. These strings have
also a " --]\n" appended at the end.

    "[-- This is an attachment (use '%3$s' to view this part) --]\n"

    "[-- %s/%s is unsupported (use '%s' to view this part) --]\n"

    "[-- This is an attachment (need 'view-attachments' bound to key!) --]\n"

    "[-- %s/%s is unsupported (need 'view-attachments' bound to key!) --]\n"

    "[-- This is an attachment --]\n"

    "[-- %s/%s is unsupported --]\n"

I18N: Update po files for handler.c

Combine the old translations of the chopped strings

    s1 =
    "[-- This %s/%s attachment is not included, --]\n"

    s2 =
    "[-- and the indicated access-type %s is unsupported --]\n"

into one translation for the single string

    s_new =
    "[-- This %s/%s attachment is not included, --]\n"
    "[-- and the indicated access-type %s is unsupported --]\n"

Four translators (Galician (gl), Lithuanian (lt), Slovak (sk), Taiwanese
Mandarin (zh_WT)) seemed to have translated the old s2 as "s1 s2", so
the translation of s_new would have a doubling at the start. In these
versions we modified the translation to not have this doubling.

I18N: Update po files for handler.c

Combine the old translations of the chopped strings

    s1 =
    "[-- This %s/%s attachment is not included, --]\n"

    s2 =
    "[-- and the indicated external source has --]\n"
    "[-- expired. --]\n"

into one translation for the single string

    s_new =
    "[-- This %s/%s attachment is not included, --]\n"
    "[-- and the indicated external source has --]\n"
    "[-- expired. --]\n"

Four translators (Galician (gl), Lithuanian (lt), Slovak (sk), Taiwanese
Mandarin (zh_WT)) seemed to have translated the old s2 as "s1 s2", so
the translation of s_new would have a doubling at the start. In these
versions we modified the translation to not have this doubling.

I18N: Update po files

The old translations where build together in the C code. Now we pass the
complete string to gettext. Update the po files and combine the old
translations into new ones.

In the old version the strings translated where

    "[-- This %s/%s attachment "

    "(size %s bytes) "

    "has been deleted --]\n"

    "[-- on %s --]\n"

The four new strings are

    "[-- This %s/%s attachment (size %s bytes) has been deleted --]\n"
    "[-- on %s --]\n"

    "[-- This %s/%s attachment (size %s bytes) has been deleted --]\n"

    "[-- This %s/%s attachment has been deleted --]\n
    "[-- on %4$s --]\n"

    "[-- This %s/%s attachment has been deleted --]\n"

I18N: Update po files to new messages

The old translation was for "[-- Attachment #%d" and was extended in the
C code by either " --]" or ": %s --]". Now we translate the
complete string.

Update the po files to reflect this. Reuse the old translation and
append " --]" or ": %s --]" to it, respectively.

I18N: Update po files

Join the old translations of

    "[-- Alternative Type #%d: "
    "[-- Type: "
    "%s/%s%s%s, Encoding: %s, Size: %s --]\n"

together to the translations of

    "[-- Alternative Type #%d: %s/%s%s%s, Encoding: %s, Size: %s --]\n"
    "[-- Type: %s/%s%s%s, Encoding: %s, Size: %s --]\n"

Some notes:

* Some translators translated "%s/%... ---]" with "[-- %s/%...  --]"
  (note the leading "[--" in the translation).  Thus, the new
  translation is "[-- .. [-- ... --]" which is kinda odd but still the
  same string as would previously be displayed to the user.

* The new string "[-- Alternative Type #%d: ... --]" has an additional
  parameter "%d". Some translators ignored it in their translation of
  the old "[-- Alternative Type #%d: " (by not translating it), so that
  the index for the '%s' would be off.

  This applies to the majority of translations. However, most of them
  are out of date and do not have enough '%s', to event print the old
  string correctly, i.e. "A %s%s B %s" was translated with "A %s B %s".
  We ignored those languages as a translator must take care of this.

  There were two exceptions, however, Polish (pl) and Turkish (tr).
  We used the untranslated version of "[-- Alternative Type #%d: " and
  "[-- Type: " and appended it to the start of the translation.

I18N: Update po files

Merge the old translation of

    "Character set changed to %s; %s."

together with the translations of

    "not converting"
or

    "converting"

respectively, by replacing the second '%s' with the translated string.
The resulting translation might not be correct but it is better than
nothing. Although it is the current translation by NeoMutt as this merge
was done previously in the C code.

I18N: Update po files

I18N: Update po files

Combine the separated singular and plural translations into a single
translation. For languages with more than a single plural form, the old
plural form is used in any case. This might not be correct but is better
than nothing (it also is the current behaviour).

I18N: Update po files

Combine the separated singular and plural translations into a single
translation. For languages with more than a single plural form, the old
plural form is used in any case. This might not be correct but is better
than nothing (it also is the current behaviour).

I18N: Update po files

We merged the two translations of the singular message and plural
messages into one translation. If the language has more than one plural
the old plural translation is used for any plural form of the language.
This might not be accurate but more precise than leaving the plural
completely untranslated.

All the new places were marked as fuzzy.

I18N: Update po files

Translations for the strings "s1" and "s2" which are now "s1 s2"  were
concatenated except for the cases where a translation of s1 or s2 was
not present.

I18N: po/*.po updated to match new master

No changes to messages

I18N: version.c: Pass the complete license string to the translator

This partly reverses commit 9b7faeeb7eb3dd436444c98c662ab1656fb9ba14.

I18N: Combine help string into a single string for translation

Do not chop the help string into multiple parts instead pass the
complete string on for translation.

Reverts partly 9b7faeeb7eb3dd436444c98c662ab1656fb9ba14.

I18N: Unify printed string on signal caught

Also include the signal number in the output.

I18N: handler.c: Pass the complete string to the translator

Pass the complete string to the translator instead of chopping it into
pieces and translate every piece.

I18N: handler.c: Pass the complete string to the translator

Pass the complete string to the translator instead of chopping it into
pieces and translate every piece.

I18N: handler.c: Pass the complete string to the translator

Pass the complete string to the translator instead of chopping it into
pieces and translate every piece.

I18N: handler.c: Pass the complete line to the translators

Pass the complete string "This %s/%s attachment has been deleted on %s"
to gettext and not single parts gluing them together afterwards.

Although it is tempting to toggle optional sentence parts at the end,
this is a bad idea as this might not work in all languages since these
might have special rules (compare "manner before place before time" rule
for adverbs in the end-position or subject-verb-object order in English).

I18N: handler.c: Pass the complete line to the translators

I18N: handler.c: Do not glue translations together

Do not use this antipattern:

  printf(_("some %s sentence."), b ? _("big") : _("small"));

as the translation of "big"/"small" and depends on the sentence it is
used in. Instead give the translator the complete sentence:

  if (b)
    printf(_("some big sentence."));
  else
    printf(_("some small sentence."));

I18N: commands.c: Do not glue translations together

Do not use this antipattern:

  printf(_("some %s sentence."), b ? _("big") : _("small"));

as the translation of "big"/"small" and depends on the sentence it is
used in. Instead give the translator the complete sentence:

  if (b)
    printf(_("some big sentence."));
  else
    printf(_("some small sentence."));

I18N: Choose correct plural form and avoid gluing translations

Split up the horrible construction of choosing the plural and gluing
translations together. This should make the job of a translator easier.

Gluing translations is

   printf(_("Decode-save%s to mailbox"), h ? _("") : _(" tagged"));

instead of the better

   if (h)
     printf(_("Decode-save to mailbox"));
   else
     printf(_("Decode-save tagged to mailbox"));

I18N: Choose correct plural form in commands.c

Choose the correct plural depending on the number of messages handled.
Some choices are between one and not one as the precise number of
messages is not known. A clarifying comment is added for the translator
in these cases.

I18N: No need to translate "%s: %s"

I18N: Choose correct plural form in recvcmd.c

I18N: Use ngettext to select plural form for a string

Convert some occurrences of

   printf("%d things", n);

to

   printf(ngettext("%d thing", "%d things", n), n);

I18N: Use ngettext to choose correct plural form

Avoid the antipattern

   printf(n == 1 ? _("one thing") : _("%d things"), n);

instead use

   printf(ngettext("one thing", "%d things", n), n);

(note: n has to be passed to ngettext and printf)

Although most Germanic languages (including English) use the singular
form for n=1 and a (single) plural form for all other n (including n=0),
this is not the case in general. An example from the GNU gettext manual
[0] for Polish work plik (file):

1 plik
2,3,4 pliki
5-21 pliko'w
22-24 pliki
25-31 pliko'w

When using numbers in translatable strings, do not choose the translated
plural form in the code. Instead let GNU gettext capability pick the
correct translated plural (provided by a translator) depending on the
number.

[0] https://www.gnu.org/software/gettext/manual/html_chapter/gettext.html#Plural-forms

I18N: Define ngettext macro when compiling without gettext support

I18N: ncrypt/smime.c: Translate strings and document them

Add a comment for translators that the strings must be padded with
spaces.

Also do actually translate the strings (using '_()') and not only mark
them for translation with 'N_()'.

I18N: Combine split translatable strings into one translatable string

Translatable strings should not be split in the middle but be one
self-contained and complete unit of thought. In particular do not split
them arbitrary at the end of a sentence.

Replace

  s1 = _("sentence 1.");
  printf("%s sentence2.", s1);

with

  s = _("sentence 1. sentence 2.");
  printf("%s", s);

I18N: Use _() instead of N_() for marking strings for translation

Use _() directly instead of N_() followed by _() for strings where
this is applicable, i.e.

   s = N_("string");
   printf("...", _(s));

becomes

   s = _("string")
   printf("...", s);

I18N: Document the choice strings for translators

Document that the choice string (which contains the characters for the
choice) must match up with the translated string of the question.

I18N: recvattach.c: Add comment to translation string

Document the '%s' parameter for translators.

I18N: ncrypt/smime.c: Remove outdated comment

The corresponding code to the comment was changed in
49a037a67b91e5965f747630f783804e60567d14.

mutt/file.c: split mutt_file_{lock,unlock} into flock/fcntl versions

this splits mutt_file_lock and mutt_file_unlock into separate
fcntl() and flock() based versions.  It teaches ./configure
about the new --with-lock option (--with-lock=fcntl or
--with-lock=flock).

Includes updates to INSTALL and AUTOSETUP.md that reference the
removed --enable-fcntl and --enable-flock options.

Closes #1147

mutt/logging.c: set line buffering for logging stream

init.c: convert MyVars to use TAILQ

Rename and make another file-level variable static

Make a file-level variable static

Avoid naming queue heads that are not referenced by name

Update to latest autosetup

init.c: remove unnecessary newline

Refactor several callers of mutt_mktemp() to mutt_file_mkstemp()

Add mutt_file_mkstemp() to create temp file using mkstemp()

Relocated Tmpdir from globals.h to mutt library.

merge: tidy the guide's docbook

 * Add Vim modeline
 * Reformat <screen> elements: too long or multi lines
 * Reformat <para> elements: indentation/wrapping
 * Reformat list/table elements: indentation/wrapping
 * Reformat new master commits (<para>, whitespace)

Reformat new master commits (<para>, whitespace)

Reformat list/table elements: indentation/wrapping

...to unify their children, tidy dashes and whitespace, add missing
items and reposition some anchor tags.

Reformat <para> elements: indentation/wrapping

...and tidy dashes, trailing whitespace, try to fix all spaces around
brackets and punctuation marks etc., e.g. keep link tags on the same
line to avoid an underlined space after hyperlinks in rendered result.

Reformat <screen> elements: too long or multi lines

...and tidy comments, dashes, potential Vim modelines, whitespace.

Add Vim modeline

doxygen: Add lots of new comment blocks

doxygen: Fix, improve, tidy comment blocks

merge: minor changes

 * Add a comment in auth_gss about RFCs and null-termination.
 * validate docs
 * fix the case of some variables
 * rename convert_to_7bit
 * doxy: add headers

doxy: add headers

rename convert_to_7bit

fix the case of some variables

validate docs

Add a comment in auth_gss about RFCs and null-termination.

Document the config priority

Adjust the precedence of some more config items

Let config file have precedence over environment

Issue #1140

add support for idn2 (IDNA2008)

Improve gss debug printing of status_string.

Commit f52ee2f7 ensured the debug strings were properly '\0'
terminated.  However, it did not prevent the strncpy from reading past
the end of the status_string.value data; it simply capped it
afterwards.  Improve the code so it only reads up to
status_string.length without overwriting the buffer.

Remove trailing null count from gss_buffer_desc.length field.

RFC 2744 section 3.2.2 clearly states that trailing NULL characters
are not to be included in the length field, and are not to be assumed
to be present in the value field.

Thanks to Greg Hudson, who recently debugged this same issue with
fetchmail, and kindly took the time to look at Mutt's code too.

minor IMAP string handling fixes

merge: improvements to libconn

 * replace mutt_socket_write_d by mutt_socket_send_d
 * rename mutt_socket_write to mutt_socket_send
 * introduce mutt_socket_{read,write}
 * don't try to determine buffer size if length was negative
 * rename socket_new_conn to mutt_socket_new
 * define mutt_ssl_socket_setup even when building without SSL
 * move mutt_socket_free to conn/socket.c
 * let mutt_socket_new add Connection to the list
 * move Connections declaration to conn/socket.c
 * add parameter to mutt_socket_new to specify socket type
 * move raw connection to its own file
 * conn/ssl.c: rename local var data to ssldata
 * factorise ssl_socket_open and mutt_ssl_starttls
 * rename tls_close to ssl_socket_close_and_restore

conn: rename tls_close to ssl_socket_close_and_restore

conn: factorise ssl_socket_open and mutt_ssl_starttls

It was in the TODO of mutt_ssl_starttls, so let's do this! The main
difference is that mutt_ssl_starttls now respects options
OPT_SSL_USE_SSLV2 and OPT_SSL_USE_SSLV3. These options default to 0, so
it should have no impacts for users who didn't explicitely set these
options in their config. And if they did, they should be aware of the
security concerns already.

conn/ssl.c: rename local var data to ssldata

conn: move raw connection to its own file

conn: add parameter to mutt_socket_new to specify socket type

It's currently the responsibility of mutt_conn_find to setup the
Connection, but this should really be done by mutt_socket_new, as it's
part of the socket initialization. To let it know which kind of
Connection it should create, add a parameter to allow callers to
specify the type.

move Connections declaration to conn/socket.c

Functions responsible for adding and removing entries to Connections
(the Connection list) are in conn/socket.c, so it makes sense to move
it there too.

Also change mutt_conn_find to use the accessor instead of the global
variable, so it can be made static again.

conn: let mutt_socket_new add Connection to the list

mutt_socket_new is followed by a call to TAILQ_INSERT_HEAD; and
mutt_socket_free takes care of removing the Connection from the
Connection list. Make these two more in pair by making mutt_socket_new
adds the newly created Connection to the connection list.

move mutt_socket_free to conn/socket.c

mutt_socket_new is in conn/socket.c, mutt_socket_free is in
mutt_socket.c. Let's move these two together. "Connections" is made
global during the transition to keep the diffs more straightforward.

conn: define mutt_ssl_socket_setup even when building without SSL

Error conditions were duplicated for builds with and without SSL. This
can be factorized by letting mutt_ssl_socket_setup be defined even when
SSL is not enabled.

conn: rename socket_new_conn to mutt_socket_new

Make this function be in the same "namespace" as other Connection
related functions by making its prefix be "mutt_socket".

conn: don't try to determine buffer size if length was negative

It's caller's responsibility to pass the correct buffer size.

conn: introduce mutt_socket_{read,write}

conn: rename mutt_socket_write to mutt_socket_send

For consistency, and as the buffer size is not passed to this function,
rename it to use "send" instead of "write". This frees
"mutt_socket_write" symbol, so we will be able to reuse it as a wrapper
over conn->conn_write.

conn: replace mutt_socket_write_d by mutt_socket_send_d

Every occurrence of mutt_socket_write_d used -1 as buffer size. Wrap
these calls in a new macro mutt_socket_send_d. Keep "write" for
functions where the size is passed as parameter.

pager specific "show incoming mailboxes list" macro

Exiting the pager before change-folder avoids 'Not available in this
menu' error when selecting a different entry in some circumstances.

[ci skip]

merge: small cleanups

 * add missing extern
 * rename OPT_ variables
 * comment list functions
 * comment and reorder params
 * history: move static functions first
 * history: tidy/sync functions
 * history: free resources
 * free resources

Clarify the relation between NeoMutt and Mutt

Fixes a discrepancy between the website and this README on the topic of "is it a fork?".

 Let mutt_ch_choose report conversion failure (#1137)

* Let mutt_ch_choose report conversion failure

Issue #1136

* Let mutt_ch_convert_string return errno if iconv(..) fails

Previously, mutt_ch_convert_string returned error only if any arguments
failed the sanity check or iconv_open() failed.

With this change, an error value is returned even if the iconv()
conversion fails, such as when the input string contains an invalid
character in the source character set (EILSEQ).

I have looked at each caller and it seems to me that this change won't
introduce any misbehaviour, but I'm far from being 100% confident.

Issue #1136

* test int functions against 0

* Better error reporting in mutt_ch_iconv

Issue #1136

free resources

doc: Describe logging capabilities of NeoMutt

Describe the logging capabilities of NeoMutt in the User Guide. The
section currently covers the different log message types (perror, error,
warning, informational debug), where they are shown and how to enable
debug log messages.

Rename <show-messages> to <show-log-messages>

Rename the function <show-messages> to <show-log-messages> as well as
its symbolic constant OP_SHOW_MESSAGES to OP_SHOW_LOG_MESSAGES.

Background is that 'messages' (in the context of neomutt) refers usually
to emails instead of log messages.

Describe <show-messages> more precisely

The term 'message' is used for log-messages as well as for ordinary
mails. In the help 'message' usually means an email. Adjust the
description of <show-message>/OP_SHOW_MESSAGE to clarify that log and
debug messages are meant.