Add more suppressions

Use of subprocess module seems to tickle Valgrind, so activate some existing
leak suppressions and add some more.

AppVeyor: install msys cython packages

They are available after all.

Add MINGW_BITS setting for MSYS for future use (currently disabled as
there’s no msys-flavour cython).

AppVeyor: configure with --enable-silent-rules for shorter logs

Also just go straight into make distcheck, no need to run just make [all]
first.

AppVeyor: don’t try to build on msys, no cython available there

Add some gitignore patterns for Windows

tests/Makefile.am: add EXEEXT suffix to RECODE for Windows

It is only needed when running from Python.

common.py: use subprocess.check_output instead of os.popen

This is more long-winded, but os.popen doesn't seem to work with
Unix-style paths on Windows.

macOS Travis fix: Cython extension needs installed librecode

outer.c: fix some incorrect casts when passing pointers to free

Add missing includes of locale.h

merged.c: include config.h

Travis update

Don’t install valgrind on macOS, as there’s no suitable python in brew.

Don’t install gettext from source on macOS, as brew’s is new enough.

Simplify some env var setting.

.travis.yml: macOS: make keg-only formulæ available to the build

Travis: configure --enable-silent-rules, to make overall logs shorter

request.c: zero realloc’d memory

For some reason this was being found by Valgrind on Travis, but not on my
dev machine.

request.c: slight simplification of code to handle malloc failure

Remove redundant memset calls zeroing memory

Now that ALLOC uses calloc.

Also replace a use of malloc then memset with calloc.

Fix building of lat1{ansel,iso5426}.h from respective .l files

task.c: slightly improve code and comments

This is the fruit of an aborted investigation into using pipes all the
time (it won’t work with the present architecture with translations into a
buffer).

It could be achieved by either a) adding one more stage to write to a file,
and having the parent process read that back, or b) adding an extra pipe
back to the parent process, but that would then require non-blocking I/O,
which would involve i) a new type of communication channel (e.g. file
descriptors), and ii) reimplementation, if desired, of buffering.

An overall simpler and more portable solution would be to convert the
parallel code to use threads instead of child processes, so that the output
buffer would remain accessible to the parent process.

Get rid of SET_SUBTASK_ERROR macro; use identical recode_if_nogo function

The function was used much more than the macro anyway.

request.c: improve error reporting

Make guarantee_nul_terminator report success/failure, and use this value in
its callers.

Add an extra FIXME to scan_options to explain what needs doing there to
report errors.

names.c: fix FIXME: retype to avoid ugly casts for argmatch use

Fix FIXME: use sigaction instead of signal

Using signal to set a handler is non-portable (according to POSIX! sigh…).

html.c: add explanation to FIXME

Outputting a BOM into HTML is marked “experimental”. Since there are
situations in which a BOM should not be output, this seems right. Needs
further evaluation.

outer.c: fix FIXME: add diagnostic

recode_error can safely be called with NULL outer, and is elsewhere.

Update po files

Add more aliases for KOI-8R: RFC 1489 and IBM CP866

These were commented out. There were also translation tables, but iconv
provides this functionality, so remove them.

Run tests with valgrind

Use the valgrind-python.supp suppressions file (latest version from cpython
git), adding wildcard * to end of PyObject_Realloc name to match LTO
symbols. However, even this is not currently enough to run with the standard
/usr/bin/python, so use /usr/bin/python-dbg instead, which does work (with
some extra suppressions). See https://bugs.python.org/issue32666

Remove a bogus setting of PYTHON in tests/Makefile.am

Fix a potential memory leak in declare_single

Fix memory leaks

Use the existing, but unused, term_routine member of struct recode_step to
register finalisers.

Also add step_table_term_routine, as adding separate finalisers for
different table types is nicer than having to add finalisers for a huge
number of transformers.

Zero-initialise all allocated memory, so we can assume it, and as a
defensive measure.

Move struct ucs2_to_byte from recodext.h into recode.c, its only user.

combine.c: minor English fixes in comments

combine.c: fix missing white space

Recode.pyx: fix space leaks in Request and Task

Incidentally use a more modern way to import the FILE type

request.c: remove a FIXME

We don’t need to worry about always ensuring 4 NULs at the end of a buffer
when we might only need 1 or 2.

src/Makefile.am: distribute generated header files

Travis: switch off verbose build

Comment it out for debugging use, but for now it makes the logs too long to
read in the nice web presentation (instead one is forced to read the raw
logs), and the Recode test system shouldn’t need verbose logging.

Remove ifdeffed-out alias of ‘.’ for ‘RFC 1345’

Although we will probably not implement ‘.’ to mean “guess the charset” as
suggested in the comment, there’s also no reason to have a catch-all alias
for RFC 1345 now, when iconv would be a better choice.

Resolve discrepancies between IBM-PC and ibm437

Unfortunately, there appear to be one error and an arguable gap in RFC 1345,
so retain the IBM-PC charset, and document the differences.

Remove lat1 alias for Latin-1 (compatibility with Recode 3.2)

That was a very long time ago.

Make test diffs go the logical way round: from expected to output

Remove built-in applemac module

Resolve differences with RFC 1345 code. They were caused simply by extra
characters in the latter missing from the former (I compared the two tables
character by character, by eye).

Add LaTeX translations for <, > and ^ (Debian bug #24436)

fixup ANSEL

Manual: document ANSEL and ISO 5426 support

Manual: update portability notes

Mostly remove a section on improving portability, as these days we can
safely assume C99 support.

Also, no longer claim the library is still under development.

Manual: remove some references to past and future versions of Recode

The past versions are long-dead; the future versions will probably not come
in the shape predicted.

Manual: some language fixes

Manual: overhaul and simplify sequencing method description

Manual: bump copyright dates

NEWS: add more for 3.7, bump copyright date, fix a typo

Add get_bytes and put_bytes

This allows transform_mere_copy to be made efficient in the case of writing
to buffer.

Allow pipe filters to signal when they are interrupted again

Make the interrupted variable, previously static in main,
recode_interrupted, defined in task.c (hence in librecode), so that it can
now be tested at the end of a pipe recode.

main.c: clarify a comment slightly

Remove --sequence=files

Assume that any reasonable target OS has virtual memory (on which holding
the data in memory has much the same performance implications as using
files).

recodext.h: clarify a comment

Use mkstemps to make temporary file names

Remove system-specific code.

task.c: improve English in a comment

Use xbinary-io gnulib module to set mode of stdin/stdout

Also isatty module to detect ttys. No longer need DOS/Windows/etc.-specific
ifdefs.

task.c: handle any number of steps, including zero, in perform_sequence

Reduce duplication further, increase ugliness a little.

task.c: fold perform_pipe_sequence into perform_sequence

The result is large and ugly, but much less duplication overall.

The refactoring was done mechanically, to ensure correctness of the result.
It should be possible to simplify further.

task.c: make “correct” version of perform_pipe_sequence work

Finish converting the right-to-left pipeline into a left-to-right version.

Overhaul error handling in transform steps (fixes Debian bug #215285)

Three main principles were applied:

1. Check all return codes (this fixes Debian bug #215285, data is lost when
no space left on device).
2. Ensure that resources are not leaked (memory and file descriptors).
3. Consistently use the recode error signalling mechanism: rather than
arbitrarily signalling failure on an I/O error, set error level
RECODE_SYSTEM_ERROR, and signal failure according to fail_level.

It proved to be useful to merge perform_{memory,pass}_sequence.

Add some missing sources to the loc target

main.c: fix a comment typo

Remove if before free

html.c: improve some comments slightly

Use briefer form for setting up modules

Use consistently everywhere possible.

Add BibTeX converters from Vincent Danjean (Debian bug #402031)

task.c: use better code for checking abnormally-terminating child process

Use the code that says “Bruno would prefer this”. Assume any compatibility
problems are or can now be solved.

Add ANSEL and ISO 5426 codecs from Wolfram Schneider

Fixes Debian bug #277571.

HACKING.org: simplify explanation of build dependencies

Update bug report address everywhere

Use UTF-8 for name of author in --help output

Also fixes the man page, thus Debian bug #409283.

Fix -k (fixes Debian bug #607021)

Update manual to reflect differently-presented character set names (output
is cosmetically different).

TODO: overhaul

Replace François’s email address with mine, remove things that are either
done or seem to refer to personal files of François, and the section on the
MS-DOS port (assumed defunct).

Deference symlinked input files (fix Debian bug #349477)

Try to diagnose untranslatable input when using iconv

See Debian bug #348909.

The problem starts with the fact that iconv returns EILSEQ (invalid input)
when in fact the input is merely untranslatable.

It is possible to diagnose this situation by running another conversion with
the output encoding the same as the input (so that it will always succeed on
valid input) at the same point. This is what we now do. Unfortunately,
there’s no way I can see to work out how much input to skip (i.e. the length
of the untranslatable character in the source encoding). Hence, we still
just skip one byte. The typical result is that invalid input is diagnosed on
the next step, resulting in the same problem as at present.

Two possible workarounds are to not use iconv, or to set abort_level to
RECODE_UNTRANSLATABLE (this is what test_2 in t80_error.py does).

Recode.pyx: add methods to set fail_level and abort_level for a task

Add test for correct error code returned on untranslatable character

See Debian bug #348909.

Recode.pyx: add method to get error from Task

iconv.c: fix a misspelling in a comment

recodext.h: clarify Star Trek reference in a comment

iconv.c: fix comment typo

t40_java.py: fix qp to Java test

When converting individual characters in Java source, we don’t add BOMs, so
don’t require them in the output.

test_2 ends up only doing one direction, but that’s OK because test_1 does
the other.

Recode.pyx: expose RECODE_TASK

Minimal interface for just what we need right now!

base64.c: fix handling of EOF and LF (fixes Debian bug #271939)

LF can occur before the end of a full line (76 characters) if it’s
immediately followed by EOF.

The last line can be any number of quadruplets long; it need not be 76
characters. (I suspect this was an attempt to deal with LF without the extra
call to get_byte and goto.)

recodext.h: re-punctuate comment to fix the sense

t40_java.py: spell “Java” correctly (not all upper-case)

mixed.c: remove “inline” comments from function declarations

Compilers can work this stuff out for themselves nowadays.

Recode.pyx: allow NULs in recoded data

Expose recode_buffer_to_buffer rather than recode_string, and check return
value. This makes some tests fail (see Debian bug #271939)

Add a comment explaining why we prefer the buffer APIs, and don’t bother
with string APIs at all.

Also add a FIXME to expose file APIs.

Recode.pyx: minor improvements

size_t is supported natively these days, so don’t make a dangerous guess as
to its value (in particular, should never hard-wire things determined in
config.h!).

Use libcpp’s bool instead of hand-defining a bool enum.

Use True for C true (will be automatically coerced).

varia.c: resolve various conflicts

Rather than compile-time macros for two different options:

1. Resolve the Kamenický encoding by referring to the Wikipedia version at
https://en.wikipedia.org/wiki/Kamenick%C3%BD_encoding
2. Allow the extra characters in the Cork encoding table.

Also fill in some missing Unicode code points, fixing some FIXMEs.

utf8.c: remove support for non-standard 32nd bit

names.c: remove support for dumping hash stats

names.c: remove hard-wired define DEFAULT_CHARSET support

atarist.c: remove non-RFC1345 option

charsets.def: fix missing characters in IBM870

Patch from Carey Evans <careye@spamcop.net>

Fixes Debian bug #270414

Don’t insist on chmod succeeding for output files

Support file systems that lack permissions (e.g. FAT).

Fixes Debian bug #237249.

main.c: assume we have rename(3) as it’s standard since C89

In fact, since my recent changes, HAVE_RENAME was not being defined, so
rename was not used!

main.c: fix potential buffer overflow (Debian bug #754945)

Patch from Alexander Gerasiov <gq@debian.org>