task.c: make “correct” version of perform_pipe_sequence work

Finish converting the right-to-left pipeline into a left-to-right version.

Overhaul error handling in transform steps (fixes Debian bug #215285)

Three main principles were applied:

1. Check all return codes (this fixes Debian bug #215285, data is lost when
no space left on device).
2. Ensure that resources are not leaked (memory and file descriptors).
3. Consistently use the recode error signalling mechanism: rather than
arbitrarily signalling failure on an I/O error, set error level
RECODE_SYSTEM_ERROR, and signal failure according to fail_level.

It proved to be useful to merge perform_{memory,pass}_sequence.

Add some missing sources to the loc target

main.c: fix a comment typo

Remove if before free

html.c: improve some comments slightly

Use briefer form for setting up modules

Use consistently everywhere possible.

Add BibTeX converters from Vincent Danjean (Debian bug #402031)

task.c: use better code for checking abnormally-terminating child process

Use the code that says “Bruno would prefer this”. Assume any compatibility
problems are or can now be solved.

Add ANSEL and ISO 5426 codecs from Wolfram Schneider

Fixes Debian bug #277571.

HACKING.org: simplify explanation of build dependencies

Update bug report address everywhere

Use UTF-8 for name of author in --help output

Also fixes the man page, thus Debian bug #409283.

Fix -k (fixes Debian bug #607021)

Update manual to reflect differently-presented character set names (output
is cosmetically different).

TODO: overhaul

Replace François’s email address with mine, remove things that are either
done or seem to refer to personal files of François, and the section on the
MS-DOS port (assumed defunct).

Deference symlinked input files (fix Debian bug #349477)

Try to diagnose untranslatable input when using iconv

See Debian bug #348909.

The problem starts with the fact that iconv returns EILSEQ (invalid input)
when in fact the input is merely untranslatable.

It is possible to diagnose this situation by running another conversion with
the output encoding the same as the input (so that it will always succeed on
valid input) at the same point. This is what we now do. Unfortunately,
there’s no way I can see to work out how much input to skip (i.e. the length
of the untranslatable character in the source encoding). Hence, we still
just skip one byte. The typical result is that invalid input is diagnosed on
the next step, resulting in the same problem as at present.

Two possible workarounds are to not use iconv, or to set abort_level to
RECODE_UNTRANSLATABLE (this is what test_2 in t80_error.py does).

Recode.pyx: add methods to set fail_level and abort_level for a task

Add test for correct error code returned on untranslatable character

See Debian bug #348909.

Recode.pyx: add method to get error from Task

iconv.c: fix a misspelling in a comment

recodext.h: clarify Star Trek reference in a comment

iconv.c: fix comment typo

t40_java.py: fix qp to Java test

When converting individual characters in Java source, we don’t add BOMs, so
don’t require them in the output.

test_2 ends up only doing one direction, but that’s OK because test_1 does
the other.

Recode.pyx: expose RECODE_TASK

Minimal interface for just what we need right now!

base64.c: fix handling of EOF and LF (fixes Debian bug #271939)

LF can occur before the end of a full line (76 characters) if it’s
immediately followed by EOF.

The last line can be any number of quadruplets long; it need not be 76
characters. (I suspect this was an attempt to deal with LF without the extra
call to get_byte and goto.)

recodext.h: re-punctuate comment to fix the sense

t40_java.py: spell “Java” correctly (not all upper-case)

mixed.c: remove “inline” comments from function declarations

Compilers can work this stuff out for themselves nowadays.

Recode.pyx: allow NULs in recoded data

Expose recode_buffer_to_buffer rather than recode_string, and check return
value. This makes some tests fail (see Debian bug #271939)

Add a comment explaining why we prefer the buffer APIs, and don’t bother
with string APIs at all.

Also add a FIXME to expose file APIs.

Recode.pyx: minor improvements

size_t is supported natively these days, so don’t make a dangerous guess as
to its value (in particular, should never hard-wire things determined in
config.h!).

Use libcpp’s bool instead of hand-defining a bool enum.

Use True for C true (will be automatically coerced).

varia.c: resolve various conflicts

Rather than compile-time macros for two different options:

1. Resolve the Kamenický encoding by referring to the Wikipedia version at
https://en.wikipedia.org/wiki/Kamenick%C3%BD_encoding
2. Allow the extra characters in the Cork encoding table.

Also fill in some missing Unicode code points, fixing some FIXMEs.

utf8.c: remove support for non-standard 32nd bit

names.c: remove support for dumping hash stats

names.c: remove hard-wired define DEFAULT_CHARSET support

atarist.c: remove non-RFC1345 option

charsets.def: fix missing characters in IBM870

Patch from Carey Evans <careye@spamcop.net>

Fixes Debian bug #270414

Don’t insist on chmod succeeding for output files

Support file systems that lack permissions (e.g. FAT).

Fixes Debian bug #237249.

main.c: assume we have rename(3) as it’s standard since C89

In fact, since my recent changes, HAVE_RENAME was not being defined, so
rename was not used!

main.c: fix potential buffer overflow (Debian bug #754945)

Patch from Alexander Gerasiov <gq@debian.org>

src/Makefile.am: libgnu is needed by librecode, not just recode

doc: add a missing dependency and some missing .gitignore entries

Move maintainer documentation into HACKING.org

Minor updates, and add how to release with woger

Makefile.am: add release target

Count more code in loc target

Include the currently-experimental Cython binding, and the build system.

Add Travis and AppVeyor CI

Check for Python >= 2.2 during configuration

Don't ship help2man, but cope with it missing

Remove unused copy of mdate-sh

Update git installation instructions

Rename MASK macro to BIT_MASK to avoid clash with Python headers

Fix warnings

Remove custom maintainer targets

gnulib handles po file updating, and the others are personal to François
Pinard.

Make all steps, surfaces & fallbacks depend on generated *steps.h header files

src/Makefile.am: hide timestamp-updating command for consistency

Timestamp files should definitely not be in git!

Neither cleaner.h nor recodext.h needs to be generated

So don’t generate them, and move cleaner.h into src; this fixes dependency
tracking, and prevents system headers from installations of librecode being
used erroneously.

Also remove defunct symbols from cleaner.h.

Also fix a wrong dependency: charname.lo depends on charname.h, not
rfc1345.h.

Remove generated file doc/stamp-vti

Remove some more generated files from git

Use gnulib's manywarnings module

Update .po files

Remove .gmo files from git; add a couple more generated gettext files to
.gitignore

.gitignore: add distribution tarball

Fix make distcheck

tests/Makefile.am: remove mention of removed file NOTES

aclocal.sh hack no longer needed

Bump version to 3.7, and add NEWS

README.org: update

Remove 3.7beta release notes and various other out-of-date material, and
update contact details.

Remove most of the contrib/ directory

Specifically, the Amiga and DJGPP ports, the RPM specfiles, and utf8.el, all
of which are obsolete.

recode.el looks like it still contains some useful bits.

Remove USE_HELPERS and INLINE_HARDER

These days we can safely leave this stuff to compilers.

task.c: get better version of pipeline code compiling again

It does not work currently for multiple steps. Document this.

main.c: remove a FIXME: doesn't need to be done

Remove #if 0-commented code, except FIXMEs

Remove after-patch hacks

Add target to count code with loc

Remove more generated files from git

Update to gettext 0.19; fixes some autotools warnings

Make shared library file names and library build directories portable

Remove generated file tests/Recode.c from git

Use Gnulib as much as possible

Require C99, and use Gnulib to provide everything else.

Remove ChangeLog files

Update translations

Gnulib-ify

pytest: fix typo (French word should be English) in output

Fix conditional in Makefile.am: use automake conditional

Remove generated files from git

TODO: Nit.

Site overhaul in progress.

tests/Makefile.in: Towards Python 3.

README.org: Clarification.
Thanks to Aurélien Bondis.

Derived files.

pytest: Mark skipped tests in output.  Flush after each write.

tests/Makefile.am, tests/setup.py.in: Build in place.

tests/common.py: The Python API is not optional, do not work around it.

src/Makefile.am: Remove ansi2knr crumbs.

README.org: Some more blurb on Speed and Memory.

README.org: Remove tool version table.

README.org: Recipe for hurry installation.

Recode.pyx: Add copyright block.

Recode.pyx: Whitespace as Python, not as C.

Derived files.