Fix FIXME: use sigaction instead of signal

Using signal to set a handler is non-portable (according to POSIX! sigh…).

html.c: add explanation to FIXME

Outputting a BOM into HTML is marked “experimental”. Since there are
situations in which a BOM should not be output, this seems right. Needs
further evaluation.

outer.c: fix FIXME: add diagnostic

recode_error can safely be called with NULL outer, and is elsewhere.

Update po files

Add more aliases for KOI-8R: RFC 1489 and IBM CP866

These were commented out. There were also translation tables, but iconv
provides this functionality, so remove them.

Run tests with valgrind

Use the valgrind-python.supp suppressions file (latest version from cpython
git), adding wildcard * to end of PyObject_Realloc name to match LTO
symbols. However, even this is not currently enough to run with the standard
/usr/bin/python, so use /usr/bin/python-dbg instead, which does work (with
some extra suppressions). See https://bugs.python.org/issue32666

Remove a bogus setting of PYTHON in tests/Makefile.am

Fix a potential memory leak in declare_single

Fix memory leaks

Use the existing, but unused, term_routine member of struct recode_step to
register finalisers.

Also add step_table_term_routine, as adding separate finalisers for
different table types is nicer than having to add finalisers for a huge
number of transformers.

Zero-initialise all allocated memory, so we can assume it, and as a
defensive measure.

Move struct ucs2_to_byte from recodext.h into recode.c, its only user.

combine.c: minor English fixes in comments

combine.c: fix missing white space

Recode.pyx: fix space leaks in Request and Task

Incidentally use a more modern way to import the FILE type

request.c: remove a FIXME

We don’t need to worry about always ensuring 4 NULs at the end of a buffer
when we might only need 1 or 2.

src/Makefile.am: distribute generated header files

Travis: switch off verbose build

Comment it out for debugging use, but for now it makes the logs too long to
read in the nice web presentation (instead one is forced to read the raw
logs), and the Recode test system shouldn’t need verbose logging.

Remove ifdeffed-out alias of ‘.’ for ‘RFC 1345’

Although we will probably not implement ‘.’ to mean “guess the charset” as
suggested in the comment, there’s also no reason to have a catch-all alias
for RFC 1345 now, when iconv would be a better choice.

Resolve discrepancies between IBM-PC and ibm437

Unfortunately, there appear to be one error and an arguable gap in RFC 1345,
so retain the IBM-PC charset, and document the differences.

Remove lat1 alias for Latin-1 (compatibility with Recode 3.2)

That was a very long time ago.

Make test diffs go the logical way round: from expected to output

Remove built-in applemac module

Resolve differences with RFC 1345 code. They were caused simply by extra
characters in the latter missing from the former (I compared the two tables
character by character, by eye).

Add LaTeX translations for <, > and ^ (Debian bug #24436)

fixup ANSEL

Manual: document ANSEL and ISO 5426 support

Manual: update portability notes

Mostly remove a section on improving portability, as these days we can
safely assume C99 support.

Also, no longer claim the library is still under development.

Manual: remove some references to past and future versions of Recode

The past versions are long-dead; the future versions will probably not come
in the shape predicted.

Manual: some language fixes

Manual: overhaul and simplify sequencing method description

Manual: bump copyright dates

NEWS: add more for 3.7, bump copyright date, fix a typo

Add get_bytes and put_bytes

This allows transform_mere_copy to be made efficient in the case of writing
to buffer.

Allow pipe filters to signal when they are interrupted again

Make the interrupted variable, previously static in main,
recode_interrupted, defined in task.c (hence in librecode), so that it can
now be tested at the end of a pipe recode.

main.c: clarify a comment slightly

Remove --sequence=files

Assume that any reasonable target OS has virtual memory (on which holding
the data in memory has much the same performance implications as using
files).

recodext.h: clarify a comment

Use mkstemps to make temporary file names

Remove system-specific code.

task.c: improve English in a comment

Use xbinary-io gnulib module to set mode of stdin/stdout

Also isatty module to detect ttys. No longer need DOS/Windows/etc.-specific
ifdefs.

task.c: handle any number of steps, including zero, in perform_sequence

Reduce duplication further, increase ugliness a little.

task.c: fold perform_pipe_sequence into perform_sequence

The result is large and ugly, but much less duplication overall.

The refactoring was done mechanically, to ensure correctness of the result.
It should be possible to simplify further.

task.c: make “correct” version of perform_pipe_sequence work

Finish converting the right-to-left pipeline into a left-to-right version.

Overhaul error handling in transform steps (fixes Debian bug #215285)

Three main principles were applied:

1. Check all return codes (this fixes Debian bug #215285, data is lost when
no space left on device).
2. Ensure that resources are not leaked (memory and file descriptors).
3. Consistently use the recode error signalling mechanism: rather than
arbitrarily signalling failure on an I/O error, set error level
RECODE_SYSTEM_ERROR, and signal failure according to fail_level.

It proved to be useful to merge perform_{memory,pass}_sequence.

Add some missing sources to the loc target

main.c: fix a comment typo

Remove if before free

html.c: improve some comments slightly

Use briefer form for setting up modules

Use consistently everywhere possible.

Add BibTeX converters from Vincent Danjean (Debian bug #402031)

task.c: use better code for checking abnormally-terminating child process

Use the code that says “Bruno would prefer this”. Assume any compatibility
problems are or can now be solved.

Add ANSEL and ISO 5426 codecs from Wolfram Schneider

Fixes Debian bug #277571.

HACKING.org: simplify explanation of build dependencies

Update bug report address everywhere

Use UTF-8 for name of author in --help output

Also fixes the man page, thus Debian bug #409283.

Fix -k (fixes Debian bug #607021)

Update manual to reflect differently-presented character set names (output
is cosmetically different).

TODO: overhaul

Replace François’s email address with mine, remove things that are either
done or seem to refer to personal files of François, and the section on the
MS-DOS port (assumed defunct).

Deference symlinked input files (fix Debian bug #349477)

Try to diagnose untranslatable input when using iconv

See Debian bug #348909.

The problem starts with the fact that iconv returns EILSEQ (invalid input)
when in fact the input is merely untranslatable.

It is possible to diagnose this situation by running another conversion with
the output encoding the same as the input (so that it will always succeed on
valid input) at the same point. This is what we now do. Unfortunately,
there’s no way I can see to work out how much input to skip (i.e. the length
of the untranslatable character in the source encoding). Hence, we still
just skip one byte. The typical result is that invalid input is diagnosed on
the next step, resulting in the same problem as at present.

Two possible workarounds are to not use iconv, or to set abort_level to
RECODE_UNTRANSLATABLE (this is what test_2 in t80_error.py does).

Recode.pyx: add methods to set fail_level and abort_level for a task

Add test for correct error code returned on untranslatable character

See Debian bug #348909.

Recode.pyx: add method to get error from Task

iconv.c: fix a misspelling in a comment

recodext.h: clarify Star Trek reference in a comment

iconv.c: fix comment typo

t40_java.py: fix qp to Java test

When converting individual characters in Java source, we don’t add BOMs, so
don’t require them in the output.

test_2 ends up only doing one direction, but that’s OK because test_1 does
the other.

Recode.pyx: expose RECODE_TASK

Minimal interface for just what we need right now!

base64.c: fix handling of EOF and LF (fixes Debian bug #271939)

LF can occur before the end of a full line (76 characters) if it’s
immediately followed by EOF.

The last line can be any number of quadruplets long; it need not be 76
characters. (I suspect this was an attempt to deal with LF without the extra
call to get_byte and goto.)

recodext.h: re-punctuate comment to fix the sense

t40_java.py: spell “Java” correctly (not all upper-case)

mixed.c: remove “inline” comments from function declarations

Compilers can work this stuff out for themselves nowadays.

Recode.pyx: allow NULs in recoded data

Expose recode_buffer_to_buffer rather than recode_string, and check return
value. This makes some tests fail (see Debian bug #271939)

Add a comment explaining why we prefer the buffer APIs, and don’t bother
with string APIs at all.

Also add a FIXME to expose file APIs.

Recode.pyx: minor improvements

size_t is supported natively these days, so don’t make a dangerous guess as
to its value (in particular, should never hard-wire things determined in
config.h!).

Use libcpp’s bool instead of hand-defining a bool enum.

Use True for C true (will be automatically coerced).

varia.c: resolve various conflicts

Rather than compile-time macros for two different options:

1. Resolve the Kamenický encoding by referring to the Wikipedia version at
https://en.wikipedia.org/wiki/Kamenick%C3%BD_encoding
2. Allow the extra characters in the Cork encoding table.

Also fill in some missing Unicode code points, fixing some FIXMEs.

utf8.c: remove support for non-standard 32nd bit

names.c: remove support for dumping hash stats

names.c: remove hard-wired define DEFAULT_CHARSET support

atarist.c: remove non-RFC1345 option

charsets.def: fix missing characters in IBM870

Patch from Carey Evans <careye@spamcop.net>

Fixes Debian bug #270414

Don’t insist on chmod succeeding for output files

Support file systems that lack permissions (e.g. FAT).

Fixes Debian bug #237249.

main.c: assume we have rename(3) as it’s standard since C89

In fact, since my recent changes, HAVE_RENAME was not being defined, so
rename was not used!

main.c: fix potential buffer overflow (Debian bug #754945)

Patch from Alexander Gerasiov <gq@debian.org>

src/Makefile.am: libgnu is needed by librecode, not just recode

doc: add a missing dependency and some missing .gitignore entries

Move maintainer documentation into HACKING.org

Minor updates, and add how to release with woger

Makefile.am: add release target

Count more code in loc target

Include the currently-experimental Cython binding, and the build system.

Add Travis and AppVeyor CI

Check for Python >= 2.2 during configuration

Don't ship help2man, but cope with it missing

Remove unused copy of mdate-sh

Update git installation instructions

Rename MASK macro to BIT_MASK to avoid clash with Python headers

Fix warnings

Remove custom maintainer targets

gnulib handles po file updating, and the others are personal to François
Pinard.

Make all steps, surfaces & fallbacks depend on generated *steps.h header files

src/Makefile.am: hide timestamp-updating command for consistency

Timestamp files should definitely not be in git!

Neither cleaner.h nor recodext.h needs to be generated

So don’t generate them, and move cleaner.h into src; this fixes dependency
tracking, and prevents system headers from installations of librecode being
used erroneously.

Also remove defunct symbols from cleaner.h.

Also fix a wrong dependency: charname.lo depends on charname.h, not
rfc1345.h.

Remove generated file doc/stamp-vti

Remove some more generated files from git

Use gnulib's manywarnings module

Update .po files

Remove .gmo files from git; add a couple more generated gettext files to
.gitignore

.gitignore: add distribution tarball