Recode.pyx: allow NULs in recoded data

Expose recode_buffer_to_buffer rather than recode_string, and check return
value. This makes some tests fail (see Debian bug #271939)

Add a comment explaining why we prefer the buffer APIs, and don’t bother
with string APIs at all.

Also add a FIXME to expose file APIs.

Recode.pyx: minor improvements

size_t is supported natively these days, so don’t make a dangerous guess as
to its value (in particular, should never hard-wire things determined in
config.h!).

Use libcpp’s bool instead of hand-defining a bool enum.

Use True for C true (will be automatically coerced).

varia.c: resolve various conflicts

Rather than compile-time macros for two different options:

1. Resolve the Kamenický encoding by referring to the Wikipedia version at
https://en.wikipedia.org/wiki/Kamenick%C3%BD_encoding
2. Allow the extra characters in the Cork encoding table.

Also fill in some missing Unicode code points, fixing some FIXMEs.

utf8.c: remove support for non-standard 32nd bit

names.c: remove support for dumping hash stats

names.c: remove hard-wired define DEFAULT_CHARSET support

atarist.c: remove non-RFC1345 option

charsets.def: fix missing characters in IBM870

Patch from Carey Evans <careye@spamcop.net>

Fixes Debian bug #270414

Don’t insist on chmod succeeding for output files

Support file systems that lack permissions (e.g. FAT).

Fixes Debian bug #237249.

main.c: assume we have rename(3) as it’s standard since C89

In fact, since my recent changes, HAVE_RENAME was not being defined, so
rename was not used!

main.c: fix potential buffer overflow (Debian bug #754945)

Patch from Alexander Gerasiov <gq@debian.org>

src/Makefile.am: libgnu is needed by librecode, not just recode

doc: add a missing dependency and some missing .gitignore entries

Move maintainer documentation into HACKING.org

Minor updates, and add how to release with woger

Makefile.am: add release target

Count more code in loc target

Include the currently-experimental Cython binding, and the build system.

Add Travis and AppVeyor CI

Check for Python >= 2.2 during configuration

Don't ship help2man, but cope with it missing

Remove unused copy of mdate-sh

Update git installation instructions

Rename MASK macro to BIT_MASK to avoid clash with Python headers

Fix warnings

Remove custom maintainer targets

gnulib handles po file updating, and the others are personal to François
Pinard.

Make all steps, surfaces & fallbacks depend on generated *steps.h header files

src/Makefile.am: hide timestamp-updating command for consistency

Timestamp files should definitely not be in git!

Neither cleaner.h nor recodext.h needs to be generated

So don’t generate them, and move cleaner.h into src; this fixes dependency
tracking, and prevents system headers from installations of librecode being
used erroneously.

Also remove defunct symbols from cleaner.h.

Also fix a wrong dependency: charname.lo depends on charname.h, not
rfc1345.h.

Remove generated file doc/stamp-vti

Remove some more generated files from git

Use gnulib's manywarnings module

Update .po files

Remove .gmo files from git; add a couple more generated gettext files to
.gitignore

.gitignore: add distribution tarball

Fix make distcheck

tests/Makefile.am: remove mention of removed file NOTES

aclocal.sh hack no longer needed

Bump version to 3.7, and add NEWS

README.org: update

Remove 3.7beta release notes and various other out-of-date material, and
update contact details.

Remove most of the contrib/ directory

Specifically, the Amiga and DJGPP ports, the RPM specfiles, and utf8.el, all
of which are obsolete.

recode.el looks like it still contains some useful bits.

Remove USE_HELPERS and INLINE_HARDER

These days we can safely leave this stuff to compilers.

task.c: get better version of pipeline code compiling again

It does not work currently for multiple steps. Document this.

main.c: remove a FIXME: doesn't need to be done

Remove #if 0-commented code, except FIXMEs

Remove after-patch hacks

Add target to count code with loc

Remove more generated files from git

Update to gettext 0.19; fixes some autotools warnings

Make shared library file names and library build directories portable

Remove generated file tests/Recode.c from git

Use Gnulib as much as possible

Require C99, and use Gnulib to provide everything else.

Remove ChangeLog files

Update translations

Gnulib-ify

pytest: fix typo (French word should be English) in output

Fix conditional in Makefile.am: use automake conditional

Remove generated files from git

TODO: Nit.

Site overhaul in progress.

tests/Makefile.in: Towards Python 3.

README.org: Clarification.
Thanks to Aurélien Bondis.

Derived files.

pytest: Mark skipped tests in output.  Flush after each write.

tests/Makefile.am, tests/setup.py.in: Build in place.

tests/common.py: The Python API is not optional, do not work around it.

src/Makefile.am: Remove ansi2knr crumbs.

README.org: Some more blurb on Speed and Memory.

README.org: Remove tool version table.

README.org: Recipe for hurry installation.

Recode.pyx: Add copyright block.

Recode.pyx: Whitespace as Python, not as C.

Derived files.

tests/Makefile.am: Switch from Pyrex to Cython.

configure.ac, lib/Makefile.am, src/Makefile: Modernized a bit.

README: Still needed, points to README.org.

README.org: Add a last migration step.

README.org: New name and format for README.
Also, document the planned future of Recode.

Administrivia.

Ignore GNUmakefile.

Add .hgignore.

THANKS: Seanster was not a real name

request.c (scan_options): Write new_ instead of new.
Reported by Seanster.

Merge pull request #2 from jpopelka/master

Possible problems found by static analysis of code

Coverity: RESOURCE_LEAK

src/hash.c:783: var_assign: Assigning: "new_table" =  storage returned from
                "hash_initialize(candidate, table->tuning, table->hasher,
                                 table->comparator, table->data_freer)".
src/hash.c:816: leaked_storage: Variable "new_table" going out of scope
                                leaks the storage it points to.

src/html.c:428: var_assign: Assigning: "table" =  storage returned from
                "hash_initialize(0U, NULL, code_hash, code_compare, NULL)".
src/html.c:436: leaked_storage: Variable "table" going out of scope
                                leaks the storage it points to.

src/html.c:609: var_assign: Assigning: "table" =  storage returned from
                "hash_initialize(0U, NULL, string_hash, string_compare, NULL)".
src/html.c:617: leaked_storage: Variable "table" going out of scope
                                leaks the storage it points to.

src/request.c:758: var_assign: Assigning: "new" =  storage returned from
                               "recode_malloc(outer, 16UL)".
src/request.c:768: leaked_storage: Variable "new" going out of scope
                                   leaks the storage it points to.

Coverity: UNINIT

src/recode.c:192: var_decl: Declaring variable "right_table" without initializer.
src/recode.c:240: uninit_use_in_call: Using uninitialized value
                  "right_table[right]" when calling "recode_error".

src/recode.c:191: var_decl: Declaring variable "left_table" without initializer.
src/recode.c:228: uninit_use_in_call: Using uninitialized value
                  "left_table[left]" when calling "recode_error".
src/recode.c:281: uninit_use: Using uninitialized value "left_table[search]".

Coverity: FORWARD_NULL

src/mixed.c:56: assign_zero: Assigning: "task->input.name" = 0.
src/mixed.c:64: var_deref_op: Dereferencing null variable "task->input.name".

recode.texi: Add notes on the exit status.

Reported by Dan Jacobson

README: More on GitHub and after-patch.

Just Recode, not Free Recode

To Automake 1.11.1, Autoconf 2.67 and Libtool 2.2.6b

Use reST rather than Allout.  Mask emails.

Makefile.am: Rule for the Web manual

README: Remove Traiter markup

ChangeLog, THANKS: Adjusted (1 bit to ignore field)

ChangeLog, THANKS: Adjusted (64-bits systems)

doc: Derived files.

README: Document how to get sources from GitHub.

tests/NOTE: Deleted (now a Tomboy note)

NEWS: Editorial cosmetic

THANKS adjusted

Better select the files which should be distributed.