xz: Use non-blocking I/O for the input file.

xz: Remove an outdated NetBSD-specific comment.

Nowadays errno == EFTYPE is documented in open(2).

xz: Fix error detection of fcntl(fd, F_SETFL, flags) calls.

POSIX says that fcntl(fd, F_SETFL, flags) returns -1 on
error and "other than -1" on success. This is how it is
documented e.g. on OpenBSD too. On Linux, success with
F_SETFL is always 0 (at least accorinding to fcntl(2)
from man-pages 3.51).

xz: Fix use of wrong variable in a fcntl() call.

Due to a wrong variable name, when writing a sparse file
to standard output, *all* file status flags were cleared
(to the extent the operating system allowed it) instead of
only clearing the O_APPEND flag. In practice this worked
fine in the common situations on GNU/Linux, but I didn't
check how it behaved elsewhere.

The original flags were still restored correctly. I still
changed the code to use a separate boolean variable to
indicate when the flags should be restored instead of
relying on a special value in stdout_flags.

xz: Fix assertion related to posix_fadvise().

Input file can be a FIFO or something else that doesn't
support posix_fadvise() so don't check the return value
even with an assertion. Nothing bad happens if the call
to posix_fadvise() fails.

xz: Check the value of lzma_stream_flags.version in --list.

It is a no-op for now, but if an old xz version is used
together with a newer liblzma that supports something new,
then this check becomes important and will stop the old xz
from trying to parse files that it won't understand.

Build: Require Automake 1.12 and use serial-tests option.

It should actually still work with Automake 1.10 if
the serial-tests option is removed. Automake 1.13 started
using parallel tests by default and the option to get
the old behavior isn't supported before 1.12.

At least for now, parallel tests don't improve anything
in XZ Utils but they hide the progress output from
test_compress.sh.

Update THANKS.

liblzma: Avoid a warning about a shadowed variable.

On Mac OS X wait() is declared in <sys/wait.h> that
we include one way or other so don't use "wait" as
a variable name.

Thanks to Christian Kujau.

xz: Validate Uncompressed Size from Block Header in list.c.

This affects only "xz -lvv". Normal decompression with xz
already detected if Block Header and Index had mismatched
Uncompressed Size fields. So this just makes "xz -lvv"
show such files as corrupt instead of showing the
Uncompressed Size from Index.

Update THANKS.

xz: Make the man page more friendly to doclifter.

Thanks to Eric S. Raymond.

xz: A couple of man page fixes.

Now the interaction of presets and custom filter chains
is described correctly. Earlier it contradicted itself.

Thanks to DevHC who reported these issues on IRC to me
on 2012-12-14.

xz: Fix interaction between preset and custom filter chains.

There was somewhat illogical behavior when --extreme was
specified and mixed with custom filter chains.

Before this commit, "xz -9 --lzma2 -e" was equivalent
to "xz --lzma2". After it is equivalent to "xz -6e"
(all earlier preset options get forgotten when a custom
filter chain is specified and the default preset is 6
to which -e is applied). I find this less illogical.

This also affects the meaning of "xz -9e --lzma2 -7".
Earlier it was equivalent to "xz -7e" (the -e specified
before a custom filter chain wasn't forgotten). Now it
is "xz -7". Note that "xz -7e" still is the same as "xz -e7".

Hopefully very few cared about this in the first place,
so pretty much no one should even notice this change.

Thanks to Conley Moorhous.

Build: Use -Wvla with GCC if supported.

Variable-length arrays are mandatory in C99 but optional in C11.
The code doesn't currently use any VLAs and it shouldn't in the
future either to stay compatible with C11 without requiring any
optional C11 features.

xzdec: Improve the --help message.

The options are now ordered in the same order as in xz's help
message.

Descriptions were added to the options that are ignored.
I left them in parenthesis even if it looks a bit weird
because I find it easier to spot the ignored vs. non-ignored
options from the list that way.

Update THANKS.

xzgrep: make the '-h' option to be --no-filename equivalent

* src/scripts/xzgrep.in: Accept the '-h' option in argument parsing.

liblzma: Be less picky in lzma_alone_decoder().

To avoid false positives when detecting .lzma files,
rare values in dictionary size and uncompressed size fields
were rejected. They will still be rejected if .lzma files
are decoded with lzma_auto_decoder(), but when using
lzma_alone_decoder() directly, such files will now be accepted.
Hopefully this is an OK compromise.

This doesn't affect xz because xz still has its own file
format detection code. This does affect lzmadec though.
So after this commit lzmadec will accept files that xz or
xz-emulating-lzma doesn't.

NOTE: lzma_alone_decoder() still won't decode all .lzma files
because liblzma's LZMA decoder doesn't support lc + lp > 4.

Reported here:
http://sourceforge.net/projects/lzmautils/forums/forum/708858/topic/7068827

liblzma: Use lzma_block_buffer_bound64() in threaded encoder.

Now it uses lzma_block_uncomp_encode() if the data doesn't
fit into the space calculated by lzma_block_buffer_bound64().

liblzma: Fix another deadlock in the threaded encoder.

This race condition could cause a deadlock if lzma_end() was
called before finishing the encoding. This can happen with
xz with debugging enabled (non-debugging version doesn't
call lzma_end() before exiting).

liblzma: Add lzma_block_uncomp_encode().

This also adds a new internal function
lzma_block_buffer_bound64() which is similar to
lzma_block_buffer_bound() but uses uint64_t instead
of size_t.

Avoid unneeded use of awk in xzless.

Use "read" instead of "awk" in xzless to get the version
number of "less". The need for awk was introduced in
the commit db5c1817fabf7cbb9e4087b1576eb26f0747338e.

Thanks to Ariel P for the patch.

Make the progress indicator smooth in threaded mode.

This adds lzma_get_progress() to liblzma and takes advantage
of it in xz.

lzma_get_progress() collects progress information from
the thread-specific structures so that fairly accurate
progress information is available to applications. Adding
a new function seemed to be a better way than making the
information directly available in lzma_stream (like total_in
and total_out are) because collecting the information requires
locking mutexes. It's waste of time to do it more often than
the up to date information is actually needed by an application.

liblzma: Fix mythread_sync for nested locking.

xz: Mention --threads in --help.

Thanks to Olivier Delhomme for pointing out that this
was still missing.

xzless: Make "less -V" parsing more robust

In v4.999.9beta~30 (xzless: Support compressed standard input,
2009-08-09), xzless learned to parse ‘less -V’ output to figure out
whether less is new enough to handle $LESSOPEN settings starting
with “|-”.  That worked well for a while, but the version string from
‘less’ versions 448 (June, 2012) is misparsed, producing a warning:

$ xzless /tmp/test.xz; echo $?
/usr/bin/xzless: line 49: test: 456 (GNU regular expressions): \
integer expression expected
0

More precisely, modern ‘less’ lists the regexp implementation along
with its version number, and xzless passes the entire version number
with attached parenthetical phrase as a number to "test $a -gt $b",
producing the above confusing message.

$ less-444 -V | head -1
less 444
$ less -V | head -1
less 456 (no regular expressions)

So relax the pattern matched --- instead of expecting "less <number>",
look for a line of the form "less <number>[ (extra parenthetical)]".
While at it, improve the behavior when no matching line is found ---
instead of producing a cryptic message, we can fall back on a LESSPIPE
setting that is supported by all versions of ‘less’.

The implementation uses "awk" for simplicity.  Hopefully that’s
portable enough.

Reported-by: Jörg-Volker Peetz <jvpeetz@web.de>
Signed-off-by: Jonathan Nieder <jrnieder@gmail.com>

xz: Fix the note about --rsyncable on the man page.

xz: Improve handling of failed realloc in xrealloc.

Thanks to Jim Meyering.

A few typo fixes to comments and the xz man page.

Thanks to Jim Meyering.

xz: Add a warning to --help about alpha and beta versions.

Build: Bump gettext version requirement to 0.18.

Otherwise too old version of m4/lib-link.m4 gets included
when autoreconf -fi is run.

Update THANKS.

liblzma: Make the use of lzma_allocator const-correct.

There is a tiny risk of causing breakage: If an application
assigns lzma_stream.allocator to a non-const pointer, such
code won't compile anymore. I don't know why anyone would do
such a thing though, so in practice this shouldn't cause trouble.

Thanks to Jan Kratochvil for the patch.

Tests: Remove tests/test_block.c that had gotten committed accidentally.

Build: Include macosx/build.sh in the distribution.

It has been in the Git repository since 2010 but probably
few people have seen it since it hasn't been included in
the release tarballs. :-(

Build: Include validate_map.sh in the distribution.

It's required by "make mydist".

Fix also the location of EXTRA_DIST+= so that those files
get distributed also if symbol versioning isn't enabled.

Docs: Fix the name LZMA Utils -> XZ Utils in debug/README.

Include debug/translation.bash in the distribution.

Also fix the script name mentioned in README.

xz: Document --block-list better.

Thanks to Jonathan Nieder.

Bump the version number to 5.1.2alpha.

Update NEWS for 5.1.2alpha.

xz: Fix the version number printed by xz -lvv.

The decoder bug was fixed in 5.0.2 instead of 5.0.3.

Build: Add a comment to configure.ac about symbol versioning.

Update TODO.

Document --enable-symbol-versions in INSTALL.

xz: Add incomplete support for --block-list.

It's broken with threads and when also --block-size is used.

xz: Update the man page about the new field in --robot -lvv.

liblzma: Check that the first byte of range encoded data is 0x00.

It is just to be more pedantic and thus perhaps catch broken
files slightly earlier.

Update NEWS from 5.0.4.

xz: Update man page date to match the latest update.

Docs: Language fix to 01_compress_easy.c.

Thanks to Jonathan Nieder.

Fix the top-level Makefile.am for the new example programs.

Docs: Add new example programs.

These have more comments than the old examples and
human-readable error messages. More tutorial-like examples
are needed but these are a start.

Docs: Move xz_pipe_comp.c and xz_pipe_decomp.c to doc/examples_old.

It is good to keep these around to so that if someone has
copied the decompressor bug from xz_pipe_decomp.c he has
an example how to easily fix it.

Docs: Fix a bug in xz_pipe_decomp.c example program.

Translations: Update the French translation.

Thanks to Adrien Nader.

Translations: Update the German translation.

The previous only included the new strings in v5.0.

Translations: Update the German translation.

Translations: Update Polish translation.

liblzma: Fix possibility of incorrect LZMA_BUF_ERROR.

lzma_code() could incorrectly return LZMA_BUF_ERROR if
all of the following was true:

  - The caller knows how many bytes of output to expect
    and only provides that much output space.

  - When the last output bytes are decoded, the
    caller-provided input buffer ends right before
    the LZMA2 end of payload marker. So LZMA2 won't
    provide more output anymore, but it won't know it
    yet and thus won't return LZMA_STREAM_END yet.

  - A BCJ filter is in use and it hasn't left any
    unfiltered bytes in the temp buffer. This can happen
    with any BCJ filter, but in practice it's more likely
    with filters other than the x86 BCJ.

Another situation where the bug can be triggered happens
if the uncompressed size is zero bytes and no output space
is provided. In this case the decompression can fail even
if the whole input file is given to lzma_code().

A similar bug was fixed in XZ Embedded on 2011-09-19.

Update THANKS.

xz: Don't show a huge number in -vv when memory limit is disabled.

xz: Document the "summary" lines of --robot -lvv.

This documents only the columns that are in v5.0.
The new columns added in the master branch aren't
necessarily stable yet.

xz: Fix output of verbose --robot --list modes.

It printed the filename in "filename (x/y)" format
which it obviously shouldn't do in robot mode.

Build: Upgrade m4/acx_pthread.m4 to the latest version.

Update THANKS.

Docs: Cleanup line wrapping a bit.

Fix a few typos and add some missing articles in some documents.

Also hyphenate several compound adjectives.

Signed-off-by: Benno Schulenberg <bensberg@justemail.net>

Windows: Update notes about static linking with MSVC.

liblzma: Remove outdated comments.

DOS: Link against DJGPP's libemu to support FPU emulation.

This way xz should work on 386SX and 486SX. Floating point
only is needed for verbose output in xz.

liblzma: Fix Libs.private in liblzma.pc to include -lrt when needed.

Docs: Update MINIX 3 information in INSTALL.

Update THANKS.

Fix exit status of xzgrep when grepping binary files.

When grepping binary files, grep may exit before it has
read all the input. In this case, gzip -q returns 2 (eating
SIGPIPE), but xz and bzip2 show SIGPIPE as the exit status
(e.g. 141). This causes wrong exit status when grepping
xz- or bzip2-compressed binary files.

The fix checks for the special exit status that indicates SIGPIPE.
It uses kill -l which should be supported everywhere since it
is in both SUSv2 (1997) and POSIX.1-2008.

Thanks to James Buren for the bug report.

Update THANKS.

Fix compiling with IBM XL C on AIX.

Tests: Fix a compiler warning with _FORTIFY_SOURCE.

Reported here:
http://sourceforge.net/projects/lzmautils/forums/forum/708858/topic/4927385

Docs: Explain the stable releases better in README.

xz: Show minimum required XZ Utils version in xz -lvv.

Man page wasn't updated yet.

xz: Fix a typo in a comment.

Thanks to Bela Lubkin.

Update THANKS.

xz: Fix xz on EBCDIC systems.

Thanks to Chris Donawa.

Update THANKS.

liblzma: Fix invalid free() in the threaded encoder.

It was triggered if initialization failed e.g. due to
running out of memory.

Thanks to Arkadiusz Miskiewicz.

liblzma: Fix a deadlock in the threaded encoder.

It was triggered when reinitializing the encoder,
e.g. when encoding two files.

Build: Fix "make check" on Windows.

Update THANKS.

Workaround unusual SIZE_MAX on SCO OpenServer.

Run the scripts with the correct shell in test_scripts.sh.

The scripts are now made executable in the build tree.
This way the scripts can be run like programs in
test_scripts.sh. Previously test_scripts.sh always
used sh but it's not correct if @POSIX_SHELL@ is set
to something else by configure.

Thanks to Jonathan Nieder for the patch.

Fix exit status of "xzdiff foo.xz bar.xz".

xzdiff was clobbering the exit status from diff in a case
statement used to analyze the exit statuses from "xz" when
its operands were two compressed files. Save and restore
diff's exit status to fix this.

The bug is inherited from zdiff in GNU gzip and was fixed
there on 2009-10-09.

Thanks to Jonathan Nieder for the patch and
to Peter Pallinger for reporting the bug.

liblzma: Remove unneeded semicolon.

Build: Make configure print if symbol versioning is enabled or not.

Don't call close(-1) in tuklib_open_stdxxx() on error.

Thanks to Jim Meyering.

liblzma: Use symbol versioning.

Symbol versioning is enabled by default on GNU/Linux,
other GNU-based systems, and FreeBSD.

I'm not sure how stable this is, so it may need
backward-incompatible changes before the next release.

The idea is that alpha and beta symbols are considered
unstable and require recompiling the applications that
use those symbols. Once a symbol is stable, it may get
extended with new features in ways that don't break
compatibility with older ABI & API.

The mydist target runs validate_map.sh which should
catch some probable problems in liblzma.map. Otherwise
I would forget to update the map file for new releases.

Translations: Update the Italian translation.

Thanks to Milo Casagrande.

Tests: Add a test file for the bug in the previous commit.

xz: Fix error handling in xz -lvv.

It could do an invalid free() and read past the end
of the uninitialized filters array.

liblzma: Handle allocation failures correctly in lzma_index_init().

Thanks to Jim Meyering.