Docs: Add new example programs.

These have more comments than the old examples and
human-readable error messages. More tutorial-like examples
are needed but these are a start.

Docs: Move xz_pipe_comp.c and xz_pipe_decomp.c to doc/examples_old.

It is good to keep these around to so that if someone has
copied the decompressor bug from xz_pipe_decomp.c he has
an example how to easily fix it.

Docs: Fix a bug in xz_pipe_decomp.c example program.

Translations: Update the Italian translation.

Thanks to Milo Casagrande.

Translations: Update the French translation.

Thanks to Adrien Nader.

Translations: Update the German translation.

Translations: Update Polish translation.

Preliminary NEWS for 5.0.4.

liblzma: Fix possibility of incorrect LZMA_BUF_ERROR.

lzma_code() could incorrectly return LZMA_BUF_ERROR if
all of the following was true:

  - The caller knows how many bytes of output to expect
    and only provides that much output space.

  - When the last output bytes are decoded, the
    caller-provided input buffer ends right before
    the LZMA2 end of payload marker. So LZMA2 won't
    provide more output anymore, but it won't know it
    yet and thus won't return LZMA_STREAM_END yet.

  - A BCJ filter is in use and it hasn't left any
    unfiltered bytes in the temp buffer. This can happen
    with any BCJ filter, but in practice it's more likely
    with filters other than the x86 BCJ.

Another situation where the bug can be triggered happens
if the uncompressed size is zero bytes and no output space
is provided. In this case the decompression can fail even
if the whole input file is given to lzma_code().

A similar bug was fixed in XZ Embedded on 2011-09-19.

Update THANKS.

xz: Don't show a huge number in -vv when memory limit is disabled.

xz: Document the "summary" lines of --robot -lvv.

This documents only the columns that are in v5.0.
The new columns added in the master branch aren't
necessarily stable yet.

xz: Fix output of verbose --robot --list modes.

It printed the filename in "filename (x/y)" format
which it obviously shouldn't do in robot mode.

Update THANKS.

Docs: Cleanup line wrapping a bit.

Fix a few typos and add some missing articles in some documents.

Also hyphenate several compound adjectives.

Signed-off-by: Benno Schulenberg <bensberg@justemail.net>

Windows: Update notes about static linking with MSVC.

liblzma: Remove outdated comments.

DOS: Link against DJGPP's libemu to support FPU emulation.

This way xz should work on 386SX and 486SX. Floating point
only is needed for verbose output in xz.

Docs: Update MINIX 3 information in INSTALL.

Update THANKS.

Fix exit status of xzgrep when grepping binary files.

When grepping binary files, grep may exit before it has
read all the input. In this case, gzip -q returns 2 (eating
SIGPIPE), but xz and bzip2 show SIGPIPE as the exit status
(e.g. 141). This causes wrong exit status when grepping
xz- or bzip2-compressed binary files.

The fix checks for the special exit status that indicates SIGPIPE.
It uses kill -l which should be supported everywhere since it
is in both SUSv2 (1997) and POSIX.1-2008.

Thanks to James Buren for the bug report.

Update THANKS.

Fix compiling with IBM XL C on AIX.

Build: Upgrade m4/acx_pthread.m4 to the latest version.

It was renamed to ax_pthread.m4 in Autoconf Archive.

Tests: Fix a compiler warning with _FORTIFY_SOURCE.

Reported here:
http://sourceforge.net/projects/lzmautils/forums/forum/708858/topic/4927385

Docs: Explain the stable releases better in README.

xz: Fix a typo in a comment.

Thanks to Bela Lubkin.

Update THANKS.

xz: Fix xz on EBCDIC systems.

Thanks to Chris Donawa.

Build: Fix "make check" on Windows.

Update THANKS.

Workaround unusual SIZE_MAX on SCO OpenServer.

Run the scripts with the correct shell in test_scripts.sh.

The scripts are now made executable in the build tree.
This way the scripts can be run like programs in
test_scripts.sh. Previously test_scripts.sh always
used sh but it's not correct if @POSIX_SHELL@ is set
to something else by configure.

Thanks to Jonathan Nieder for the patch.

Fix exit status of "xzdiff foo.xz bar.xz".

xzdiff was clobbering the exit status from diff in a case
statement used to analyze the exit statuses from "xz" when
its operands were two compressed files. Save and restore
diff's exit status to fix this.

The bug is inherited from zdiff in GNU gzip and was fixed
there on 2009-10-09.

Thanks to Jonathan Nieder for the patch and
to Peter Pallinger for reporting the bug.

add build script for macosx universal

liblzma: Remove unneeded semicolon.

Don't call close(-1) in tuklib_open_stdxxx() on error.

Thanks to Jim Meyering.

Translations: Update Italian translation.

Thanks to Milo Casagrande.

Tests: Add a test file for the bug in the previous commit.

xz: Fix error handling in xz -lvv.

It could do an invalid free() and read past the end
of the uninitialized filters array.

liblzma: Handle allocation failures correctly in lzma_index_init().

Thanks to Jim Meyering.

Build: Set GZIP_ENV=-9n in top-level Makefile.am.

Bump version and soname for 5.0.3.

Update NEWS for 5.0.3.

Add French translation.

It is known that the BCJ filter --help text is only
partially translated.

xz: Translate also the string used to print the program name.

French needs a space before a colon, e.g. "xz : foo error".

Update THANKS.

Update INSTALL with a note about linker problem on OpenSolaris x86.

Build: Fix initialization of enable_check_* variables in configure.ac.

This doesn't matter much in practice since it is unlikely
that anyone would have such environment variable names.

Thanks to Wim Lewis.

Add underscores to attributes (__attribute((__foo__))).

Update THANKS.

xzgrep: fix typo in $0 parsing

Reported-by: Diego Elio Pettenò <flameeyes@gentoo.org>
Signed-off-by: Martin Väth <vaeth@mathematik.uni-wuerzburg.de>
Signed-off-by: Mike Frysinger <vapier@gentoo.org>

Remove doubled words from documentation and comments.

Spot candidates by running these commands:
  git ls-files |xargs perl -0777 -n \
    -e 'while (/\b(then?|[iao]n|i[fst]|but|f?or|at|and|[dt]o)\s+\1\b/gims)' \
    -e '{$n=($` =~ tr/\n/\n/ + 1); ($v=$&)=~s/\n/\\n/g; print "$ARGV:$n:$v\n"}'

Thanks to Jim Meyering for the original patch.

liblzma: Document lzma_easy_(enc|dec)oder_memusage() better too.

liblzma: Document lzma_raw_(enc|dec)oder_memusage() better.

It didn't mention the return value that is used if
an error occurs.

liblzma: Don't create an empty Block in lzma_stream_buffer_encode().

Empty Block was created if the input buffer was empty.
Empty Block wastes a few bytes of space, but more importantly
it triggers a bug in XZ Utils 5.0.1 and older when trying
to decompress such a file. 5.0.1 and older consider such
files to be corrupt. I thought that no encoder creates empty
Blocks when releasing 5.0.2 but I was wrong.

liblzma: Fix API docs to mention LZMA_UNSUPPORTED_CHECK.

This return value was missing from the API comments of
four functions.

liblzma: Validate encoder arguments better.

The biggest problem was that the integrity check type
wasn't validated, and e.g. lzma_easy_buffer_encode()
would create a corrupt .xz Stream if given an unsupported
Check ID. Luckily applications don't usually try to use
an unsupport Check ID, so this bug is unlikely to cause
many real-world problems.

Update THANKS.

liblzma: Add missing #ifdefs to filter_common.c.

Passing --disable-decoders to configure broke a few
encoders due to missing #ifdefs in filter_common.c.

Thanks to Jason Gorski for the patch.

liblzma: Fix a memory leak in stream_encoder.c.

It leaks old filter options structures (hundred bytes or so)
every time the lzma_stream is reinitialized. With the xz tool,
this happens when compressing multiple files.

Bumped version and liblzma soname to 5.0.2.

Updated NEWS for 5.0.2.

Update INSTALL with another note about IRIX.

Tests: Add a new file to test empty LZMA2 streams.

liblzma: Fix decoding of LZMA2 streams having no uncompressed data.

The decoder considered empty LZMA2 streams to be corrupt.
This shouldn't matter much with .xz files, because no encoder
creates empty LZMA2 streams in .xz. This bug is more likely
to cause problems in applications that use raw LZMA2 streams.

Scripts: Better fix for xzgrep.

Now it uses "grep -q".

Thanks to Gregory Margo.

Updated THANKS.

Scripts: Fix xzgrep -l.

It didn't work at all. It tried to use the -q option
for grep, but it appended it after "--". This works
around it by redirecting to /dev/null. The downside
is that this can be slower with big files compared
to proper use of "grep -q".

Thanks to Gregory Margo.

xz: Clean up suffix.c.

struct suffix_pair isn't needed in compresed_name()
so get rid of it there.

xz: Check if the file already has custom suffix when compressing.

Now "xz -S .test foo.test" refuses to compress the
file because it already has the suffix .test. The man
page had it documented this way already.

Updated THANKS.

Translations: Add Polish translation.

Thanks to Jakub Bogusz.

Updated THANKS.

Bump package version and liblzma soname to 5.0.1.

Update NEWS for 5.0.1.

xz: Fix --force on setuid/setgid/sticky and multi-hardlink files.

xz didn't compress setuid/setgid/sticky files and files
with multiple hard links even with --force. This bug was
introduced in 23ac2c44c3ac76994825adb7f9a8f719f78b5ee4.

Thanks to Charles Wilson.

Updated THANKS.

Add alloc_size and malloc attributes to a few functions.

Thanks to Cristian Rodríguez for the original patch.

Scripts: Fix gzip and bzip2 support in xzdiff.

Build: Enable ASM on DJGPP by default.

Updated THANKS.

Add missing PRIx32 and PRIx64 compatibility definitions.

This fixes portability to systems that lack C99 inttypes.h.

Thanks to Juan Manuel Guerrero.

DOS-like: Treat \ and : as directory separators in addition to /.

Juan Manuel Guerrero had fixed this in his XZ Utils port
to DOS/DJGPP. The bug affects also Windows and OS/2.

Translations: Fix Czech translation of "sparse file".

Thanks to Petr Hubený and Marek Černocký.

liblzma: Document the return value of lzma_lzma_preset().

Simplify paths in generated API docs

Currently the file list generated by Doxygen has src/ at the
beginning of each path.  Paths like common/sysdefs.h and
liblzma/api/lzma.h are easier to read without such a prefix.

Builds from a separate build directory with

mkdir build
cd build
../configure
doxygen Doxyfile

include an even longer prefix /home/someone/src/xz/src; this
patch has the nice side-effect of eliminating that prefix, too.

Fixes: http://bugs.debian.org/572273

Build: Copy the example programs to $docdir/examples.

The example programs by Daniel Mealha Cabrita were included
in the git repository, but I had forgot to add them to
Makefile.am. Thus, they didn't get included in the source
package at all by "make dist".

Build: Fix mydist rule when .git doesn't exist.

Add NEWS for 5.0.0.

Bump version to 5.0.0 and liblzma version-info to 5:0:0.

liblzma: Make lzma_code() check the reserved members in lzma_stream.

If any of the reserved members in lzma_stream are non-zero
or non-NULL, LZMA_OPTIONS_ERROR is returned. It is possible
that a new feature in the future is indicated by just setting
a reserved member to some other value, so the old liblzma
version need to catch it as an unsupported feature.

Windows: Use MinGW's stdio functions.

The non-standard ones from msvcrt.dll appear to work
most of the time with XZ Utils, but there are some
corner cases where things may go very wrong. So it's
good to use the better replacements provided by
MinGW(-w64) runtime.

liblzma: Use 512 as INDEX_GROUP_SIZE.

This lets compiler use shifting instead of 64-bit division.

liblzma: A few ABI tweaks to reserve space in structures.

xz: Make sure that message_strm() can never return NULL.

liblzma: Update the comments in the API headers.

Adding support for LZMA_FINISH for Index encoding and
decoding needed tiny additions to the relevant .c files too.

Update INSTALL.generic.

Clean up a few FIXMEs and TODOs.

lzma_chunk_size() was commented out because it is
currently useless.