manual: document the current behaviour regarding French names of characters

testdump.c: remove unused variable

testdump.c: remove code forgotten in commit 3051a87 (function should_prefer_french)

Manual: highlight potential problems with iconv, and how to disable it

Update repo name to canonical case

main.c: fix copyright range in version message

help2man: call with --locale=en_US.UTF-8 to get UTF-8 transmitted

TODO: remove some, fix one

We have already overhauled the pipe method.

Fix an apparent typo (“converses” → “converters”)

main.c: improve description of --strict, fixing typo

Use AC_PATH_PROG instead of AX_WITH_PROG

AppVeyor: remove comment from another project

bootstrap.conf: fix timestamp, which somehow got set to the year 3018

Document use of python-dbg for testing with Valgrind

Bump po files and version.texi for release

task.c: slight simplification of recode_perform_task

Remove 'tree' surface (see NEWS for details)

Remove conversion methods

See NEWS for explanation and rationale.

Also reorder NEWS items for 3.7 better.

task.c: slight simplification in perform_sequence

Now does not need to mention RECODE_SEQUENCE_IN_MEMORY.

Fix pipe strategy (was previously broken for non-trivial pipes)

Compute Python extension suffix and use it

This information doesn’t seem to be available from Python, so write our own
test in configure.ac.

AppVeyor: make all before distcheck

It seems this is needed on Windows; it’s not a big deal, so rather than try
to fix the build system, just do it.

Fix fallthrough warnings from gcc using gnulib's FALLTHROUGH macro

Redefine BIT_MASK to avoid shifting negative quantity warning

Fix potential NULL dereference warnings

Fix fallthrough warnings for non-returning functions

Not yet using C11, so no _Noreturn yet.

src/Makefile.am: ensure recode is made before making man page

A line of the suggested code from the automake manual was missing.

Relicense from GPL 2 to GPL 3

Fix unused variable warnings

Move all pipe-specific code under #if HAVE_PIPE

Add LIBINTL flags to Cython module

They are not empty on all platforms!

Also Cython on MSYS seems to call gcc in such a way that it doesn’t
understand UNIX paths (it seems to understand them normally), so engage in
suitable shenanigans: this should work on any Windows system that has
cygpath.

Makefile.am: build po after src

strip-data.c is needed for po

Noticed when trying to build make distcheck directly from a fresh check-out.

AppVeyor: don’t bother reinstalling packages

base-devel, texinfo and help2man are pre-installed, so save time by not
causing them to be reinstalled.

t50_methods.py test: skip filter tests on Windows

Windows doesn’t have fork anyway, but also can’t cope with redirection in
the shell.

Set DEFAULT_CHARSET to ASCII for tests

Avoid problems with implicit surfaces in some charsets.

Do all I/O as binary

This is necessary for Windows. I'm not sure why it wasn't done before;
without it, Windows simply won't work correctly, without an extra layer of
checking the platform encoding.

Recode.pyx: add verbose argument to recode method

To ease debugging. Defaults to False.

Add more suppressions

Use of subprocess module seems to tickle Valgrind, so activate some existing
leak suppressions and add some more.

AppVeyor: install msys cython packages

They are available after all.

Add MINGW_BITS setting for MSYS for future use (currently disabled as
there’s no msys-flavour cython).

AppVeyor: configure with --enable-silent-rules for shorter logs

Also just go straight into make distcheck, no need to run just make [all]
first.

AppVeyor: don’t try to build on msys, no cython available there

Add some gitignore patterns for Windows

tests/Makefile.am: add EXEEXT suffix to RECODE for Windows

It is only needed when running from Python.

common.py: use subprocess.check_output instead of os.popen

This is more long-winded, but os.popen doesn't seem to work with
Unix-style paths on Windows.

macOS Travis fix: Cython extension needs installed librecode

outer.c: fix some incorrect casts when passing pointers to free

Add missing includes of locale.h

merged.c: include config.h

Travis update

Don’t install valgrind on macOS, as there’s no suitable python in brew.

Don’t install gettext from source on macOS, as brew’s is new enough.

Simplify some env var setting.

.travis.yml: macOS: make keg-only formulæ available to the build

Travis: configure --enable-silent-rules, to make overall logs shorter

request.c: zero realloc’d memory

For some reason this was being found by Valgrind on Travis, but not on my
dev machine.

request.c: slight simplification of code to handle malloc failure

Remove redundant memset calls zeroing memory

Now that ALLOC uses calloc.

Also replace a use of malloc then memset with calloc.

Fix building of lat1{ansel,iso5426}.h from respective .l files

task.c: slightly improve code and comments

This is the fruit of an aborted investigation into using pipes all the
time (it won’t work with the present architecture with translations into a
buffer).

It could be achieved by either a) adding one more stage to write to a file,
and having the parent process read that back, or b) adding an extra pipe
back to the parent process, but that would then require non-blocking I/O,
which would involve i) a new type of communication channel (e.g. file
descriptors), and ii) reimplementation, if desired, of buffering.

An overall simpler and more portable solution would be to convert the
parallel code to use threads instead of child processes, so that the output
buffer would remain accessible to the parent process.

Get rid of SET_SUBTASK_ERROR macro; use identical recode_if_nogo function

The function was used much more than the macro anyway.

request.c: improve error reporting

Make guarantee_nul_terminator report success/failure, and use this value in
its callers.

Add an extra FIXME to scan_options to explain what needs doing there to
report errors.

names.c: fix FIXME: retype to avoid ugly casts for argmatch use

Fix FIXME: use sigaction instead of signal

Using signal to set a handler is non-portable (according to POSIX! sigh…).

html.c: add explanation to FIXME

Outputting a BOM into HTML is marked “experimental”. Since there are
situations in which a BOM should not be output, this seems right. Needs
further evaluation.

outer.c: fix FIXME: add diagnostic

recode_error can safely be called with NULL outer, and is elsewhere.

Update po files

Add more aliases for KOI-8R: RFC 1489 and IBM CP866

These were commented out. There were also translation tables, but iconv
provides this functionality, so remove them.

Run tests with valgrind

Use the valgrind-python.supp suppressions file (latest version from cpython
git), adding wildcard * to end of PyObject_Realloc name to match LTO
symbols. However, even this is not currently enough to run with the standard
/usr/bin/python, so use /usr/bin/python-dbg instead, which does work (with
some extra suppressions). See https://bugs.python.org/issue32666

Remove a bogus setting of PYTHON in tests/Makefile.am

Fix a potential memory leak in declare_single

Fix memory leaks

Use the existing, but unused, term_routine member of struct recode_step to
register finalisers.

Also add step_table_term_routine, as adding separate finalisers for
different table types is nicer than having to add finalisers for a huge
number of transformers.

Zero-initialise all allocated memory, so we can assume it, and as a
defensive measure.

Move struct ucs2_to_byte from recodext.h into recode.c, its only user.

combine.c: minor English fixes in comments

combine.c: fix missing white space

Recode.pyx: fix space leaks in Request and Task

Incidentally use a more modern way to import the FILE type

request.c: remove a FIXME

We don’t need to worry about always ensuring 4 NULs at the end of a buffer
when we might only need 1 or 2.

src/Makefile.am: distribute generated header files

Travis: switch off verbose build

Comment it out for debugging use, but for now it makes the logs too long to
read in the nice web presentation (instead one is forced to read the raw
logs), and the Recode test system shouldn’t need verbose logging.

Remove ifdeffed-out alias of ‘.’ for ‘RFC 1345’

Although we will probably not implement ‘.’ to mean “guess the charset” as
suggested in the comment, there’s also no reason to have a catch-all alias
for RFC 1345 now, when iconv would be a better choice.

Resolve discrepancies between IBM-PC and ibm437

Unfortunately, there appear to be one error and an arguable gap in RFC 1345,
so retain the IBM-PC charset, and document the differences.

Remove lat1 alias for Latin-1 (compatibility with Recode 3.2)

That was a very long time ago.

Make test diffs go the logical way round: from expected to output

Remove built-in applemac module

Resolve differences with RFC 1345 code. They were caused simply by extra
characters in the latter missing from the former (I compared the two tables
character by character, by eye).

Add LaTeX translations for <, > and ^ (Debian bug #24436)

fixup ANSEL

Manual: document ANSEL and ISO 5426 support

Manual: update portability notes

Mostly remove a section on improving portability, as these days we can
safely assume C99 support.

Also, no longer claim the library is still under development.

Manual: remove some references to past and future versions of Recode

The past versions are long-dead; the future versions will probably not come
in the shape predicted.

Manual: some language fixes

Manual: overhaul and simplify sequencing method description

Manual: bump copyright dates

NEWS: add more for 3.7, bump copyright date, fix a typo

Add get_bytes and put_bytes

This allows transform_mere_copy to be made efficient in the case of writing
to buffer.

Allow pipe filters to signal when they are interrupted again

Make the interrupted variable, previously static in main,
recode_interrupted, defined in task.c (hence in librecode), so that it can
now be tested at the end of a pipe recode.

main.c: clarify a comment slightly

Remove --sequence=files

Assume that any reasonable target OS has virtual memory (on which holding
the data in memory has much the same performance implications as using
files).

recodext.h: clarify a comment

Use mkstemps to make temporary file names

Remove system-specific code.

task.c: improve English in a comment

Use xbinary-io gnulib module to set mode of stdin/stdout

Also isatty module to detect ttys. No longer need DOS/Windows/etc.-specific
ifdefs.

task.c: handle any number of steps, including zero, in perform_sequence

Reduce duplication further, increase ugliness a little.

task.c: fold perform_pipe_sequence into perform_sequence

The result is large and ugly, but much less duplication overall.

The refactoring was done mechanically, to ensure correctness of the result.
It should be possible to simplify further.

task.c: make “correct” version of perform_pipe_sequence work

Finish converting the right-to-left pipeline into a left-to-right version.

Overhaul error handling in transform steps (fixes Debian bug #215285)

Three main principles were applied:

1. Check all return codes (this fixes Debian bug #215285, data is lost when
no space left on device).
2. Ensure that resources are not leaked (memory and file descriptors).
3. Consistently use the recode error signalling mechanism: rather than
arbitrarily signalling failure on an I/O error, set error level
RECODE_SYSTEM_ERROR, and signal failure according to fail_level.

It proved to be useful to merge perform_{memory,pass}_sequence.

Add some missing sources to the loc target

main.c: fix a comment typo

Remove if before free