liblzma: Handle allocation failures correctly in lzma_index_init().

Thanks to Jim Meyering.

Build: Fix checking for system-provided SHA-256.

Build: Set GZIP_ENV=-9n in top-level Makefile.am.

Update NEWS for 5.0.3.

Add French translation.

It is known that the BCJ filter --help text is only
partially translated.

xz: Translate also the string used to print the program name.

French needs a space before a colon, e.g. "xz : foo error".

liblzma: Try to use SHA-256 from the operating system.

If the operating system libc or other base libraries
provide SHA-256, use that instead of our own copy.
Note that this doesn't use OpenSSL or libgcrypt or
such libraries to avoid creating dependencies to
other packages.

This supports at least FreeBSD, NetBSD, OpenBSD, Solaris,
MINIX, and Darwin. They all provide similar but not
identical SHA-256 APIs; everyone is a little different.

Thanks to Wim Lewis for the original patch, improvements,
and testing.

Don't use clockid_t in mythread.h when clock_gettime() isn't available.

Thanks to Wim Lewis for the patch.

Update THANKS.

Update INSTALL with a note about linker problem on OpenSolaris x86.

Build: Fix initialization of enable_check_* variables in configure.ac.

This doesn't matter much in practice since it is unlikely
that anyone would have such environment variable names.

Thanks to Wim Lewis.

Add underscores to attributes (__attribute((__foo__))).

xz: Fix input file position when --single-stream is used.

Now the following works as you would expect:

    echo foo | xz > foo.xz
    echo bar | xz >> foo.xz
    ( xz -dc --single-stream ; xz -dc --single-stream ) < foo.xz

Note that it doesn't work if the input is not seekable
or if there is Stream Padding between the concatenated
.xz Streams.

xz: Print the maximum number of worker threads in xz -vv.

Build: Warn if no supported method to detect the number of CPU cores.

Update THANKS.

Fix portability problems in mythread.h.

Use gettimeofday() if clock_gettime() isn't available
(e.g. Darwin).

The test for availability of pthread_condattr_setclock()
and CLOCK_MONOTONIC was incorrect. Instead of fixing the
#ifdefs, use an Autoconf test. That way if there exists a
system that supports them but doesn't specify the matching
POSIX #defines, the features will still get detected.

Don't try to use pthread_sigmask() on OpenVMS. It doesn't
have that function.

Guard mythread.h against being #included multiple times.

Update THANKS.

xzgrep: fix typo in $0 parsing

Reported-by: Diego Elio Pettenò <flameeyes@gentoo.org>
Signed-off-by: Martin Väth <vaeth@mathematik.uni-wuerzburg.de>
Signed-off-by: Mike Frysinger <vapier@gentoo.org>

Bump the version number to 5.1.1alpha and liblzma soname to 5.0.99.

Put the unstable APIs behind #ifdef LZMA_UNSTABLE.

This way people hopefully won't complain if these APIs
change and break code that used an older API.

Remove doubled words from documentation and comments.

Spot candidates by running these commands:
  git ls-files |xargs perl -0777 -n \
    -e 'while (/\b(then?|[iao]n|i[fst]|but|f?or|at|and|[dt]o)\s+\1\b/gims)' \
    -e '{$n=($` =~ tr/\n/\n/ + 1); ($v=$&)=~s/\n/\\n/g; print "$ARGV:$n:$v\n"}'

Thanks to Jim Meyering for the original patch.

Update NEWS.

Update TODO.

xz: Update the man page about threading.

xz: Add support for threaded compression.

liblzma: Add lzma_stream_encoder_mt() for threaded compression.

This is the simplest method to do threading, which splits
the uncompressed data into blocks and compresses them
independently from each other. There's room for improvement
especially to reduce the memory usage, but nevertheless,
this is a good start.

liblzma: Add the forgotten lzma_lzma2_block_size().

This should have been in 5eefc0086d24a65e136352f8c1d19cefb0cbac7a.

liblzma: Document lzma_easy_(enc|dec)oder_memusage() better too.

liblzma: Document lzma_raw_(enc|dec)oder_memusage() better.

It didn't mention the return value that is used if
an error occurs.

liblzma: Use memzero() to initialize supported_actions[].

This is cleaner and makes it simpler to add new members
to lzma_action enumeration.

liblzma: API comment about lzma_allocator with threaded coding.

liblzma: Add an internal function lzma_mt_block_size().

This is based lzma_chunk_size() that was included in some
development version of liblzma.

liblzma: Don't create an empty Block in lzma_stream_buffer_encode().

Empty Block was created if the input buffer was empty.
Empty Block wastes a few bytes of space, but more importantly
it triggers a bug in XZ Utils 5.0.1 and older when trying
to decompress such a file. 5.0.1 and older consider such
files to be corrupt. I thought that no encoder creates empty
Blocks when releasing 5.0.2 but I was wrong.

liblzma: Fix API docs to mention LZMA_UNSUPPORTED_CHECK.

This return value was missing from the API comments of
four functions.

liblzma: Validate encoder arguments better.

The biggest problem was that the integrity check type
wasn't validated, and e.g. lzma_easy_buffer_encode()
would create a corrupt .xz Stream if given an unsupported
Check ID. Luckily applications don't usually try to use
an unsupport Check ID, so this bug is unlikely to cause
many real-world problems.

xz: Move the description of --block-size in --long-help.

Docs: Document --single-stream and --block-size.

liblzma: Make lzma_stream_encoder_init() static (second try).

It's an internal function and it's not needed by
anything outside stream_encoder.c.

Revert "liblzma: Make lzma_stream_encoder_init() static."

This reverts commit 352ac82db5d3f64585c07b39e4759388dec0e4d7.
I don't know what I was thinking.

Revise mythread.h.

This adds:

  - mythread_sync() macro to create synchronized blocks

  - mythread_cond structure and related functions
    and macros for condition variables with timed
    waiting using a relative timeout

  - mythread_create() to create a thread with all
    signals blocked

Some of these wouldn't need to be inline functions,
but I'll keep them this way for now for simplicity.

For timed waiting on a condition variable, librt is
now required on some systems to use clock_gettime().
configure.ac was updated to handle this.

liblzma: Make lzma_stream_encoder_init() static.

It's an internal function and it's not needed by
anything outside stream_encoder.c.

DOS: Update the docs and include notes about 8.3 filenames.

xz/DOS: Add experimental 8.3 filename support.

This is incompatible with the 8.3 support patch made by
Juan Manuel Guerrero. I think this one is nicer, but
I need to get feedback from DOS users before saying
that this is the final version of 8.3 filename support.

xz/DOS: Be more careful with the destination file.

Try to avoid overwriting the source file if --force is
used and the generated destination filename refers to
the source file. This can happen with 8.3 filenames where
extra characters are ignored.

If the generated output file refers to a special file
like "con" or "prn", refuse to write to it even if --force
is used.

Update THANKS.

liblzma: Add missing #ifdefs to filter_common.c.

Passing --disable-decoders to configure broke a few
encoders due to missing #ifdefs in filter_common.c.

Thanks to Jason Gorski for the patch.

xz: Avoid unneeded fstat() on DOS-like systems.

xz: Minor internal changes to handling of --threads.

Now it always defaults to one thread. Maybe this
will change again if a threading method is added
that doesn't affect memory usage.

xz: Change size_t to uint32_t in a few places.

xz: Fix a typo in a comment.

liblzma: Use TUKLIB_GNUC_REQ to check GCC version in sha256.c.

Build: Upgrade m4/acx_pthread.m4 to the latest version.

It was renamed to ax_pthread.m4 in Autoconf Archive.

xz: Use posix_fadvise() if it is available.

xz: Call lzma_end(&strm) before exiting if debugging is enabled.

liblzma: Fix a memory leak in stream_encoder.c.

It leaks old filter options structures (hundred bytes or so)
every time the lzma_stream is reinitialized. With the xz tool,
this happens when compressing multiple files.

Updated NEWS for 5.0.2.

Update INSTALL with another note about IRIX.

Tests: Add a new file to test empty LZMA2 streams.

liblzma: Fix decoding of LZMA2 streams having no uncompressed data.

The decoder considered empty LZMA2 streams to be corrupt.
This shouldn't matter much with .xz files, because no encoder
creates empty LZMA2 streams in .xz. This bug is more likely
to cause problems in applications that use raw LZMA2 streams.

Scripts: Better fix for xzgrep.

Now it uses "grep -q".

Thanks to Gregory Margo.

Updated THANKS.

Scripts: Fix xzgrep -l.

It didn't work at all. It tried to use the -q option
for grep, but it appended it after "--". This works
around it by redirecting to /dev/null. The downside
is that this can be slower with big files compared
to proper use of "grep -q".

Thanks to Gregory Margo.

Scripts: Add lzop (.lzo) support to xzdiff and xzgrep.

xz: Add --block-size=SIZE.

This uses LZMA_FULL_FLUSH every SIZE bytes of input.

Man page wasn't updated yet.

xz: Add --single-stream.

This can be useful when there is garbage after the
compressed stream (.xz, .lzma, or raw stream).

Man page wasn't updated yet.

xz: Clean up suffix.c.

struct suffix_pair isn't needed in compresed_name()
so get rid of it there.

xz: Check if the file already has custom suffix when compressing.

Now "xz -S .test foo.test" refuses to compress the
file because it already has the suffix .test. The man
page had it documented this way already.

Updated THANKS.

Translations: Add Polish translation.

Thanks to Jakub Bogusz.

Updated THANKS.

Merge commit '5fbce0b8d96dc96775aa0215e3581addc830e23d'

Update NEWS for 5.0.1.

xz: Fix --force on setuid/setgid/sticky and multi-hardlink files.

xz didn't compress setuid/setgid/sticky files and files
with multiple hard links even with --force. This bug was
introduced in 23ac2c44c3ac76994825adb7f9a8f719f78b5ee4.

Thanks to Charles Wilson.

Merge branch 'v5.0'

Updated THANKS.

Add alloc_size and malloc attributes to a few functions.

Thanks to Cristian Rodríguez for the original patch.

Scripts: Fix gzip and bzip2 support in xzdiff.

Merge branch 'v5.0'

Build: Enable ASM on DJGPP by default.

Updated THANKS.

Add missing PRIx32 and PRIx64 compatibility definitions.

This fixes portability to systems that lack C99 inttypes.h.

Thanks to Juan Manuel Guerrero.

DOS-like: Treat \ and : as directory separators in addition to /.

Juan Manuel Guerrero had fixed this in his XZ Utils port
to DOS/DJGPP. The bug affects also Windows and OS/2.

Merge branch 'v5.0'

Translations: Fix Czech translation of "sparse file".

Thanks to Petr Hubený and Marek Černocký.

Merge branch 'v5.0'

liblzma: Document the return value of lzma_lzma_preset().

Simplify paths in generated API docs

Currently the file list generated by Doxygen has src/ at the
beginning of each path.  Paths like common/sysdefs.h and
liblzma/api/lzma.h are easier to read without such a prefix.

Builds from a separate build directory with

mkdir build
cd build
../configure
doxygen Doxyfile

include an even longer prefix /home/someone/src/xz/src; this
patch has the nice side-effect of eliminating that prefix, too.

Fixes: http://bugs.debian.org/572273

add build script for macosx universal

Update the copies of GPLv2 and LGPLv2.1 from gnu.org.

There are only a few white space changes.

Merge branch 'v5.0'

Build: Copy the example programs to $docdir/examples.

The example programs by Daniel Mealha Cabrita were included
in the git repository, but I had forgot to add them to
Makefile.am. Thus, they didn't get included in the source
package at all by "make dist".

liblzma: Rename a few variables and constants.

This has no semantic changes. I find the new names slightly
more logical and they match the names that are already used
in XZ Embedded.

The name fastpos wasn't changed (not worth the hassle).

Bump version 5.1.0alpha.

Build: Fix mydist rule when .git doesn't exist.

Add NEWS for 5.0.0.

Bump version to 5.0.0 and liblzma version-info to 5:0:0.

liblzma: Make lzma_code() check the reserved members in lzma_stream.

If any of the reserved members in lzma_stream are non-zero
or non-NULL, LZMA_OPTIONS_ERROR is returned. It is possible
that a new feature in the future is indicated by just setting
a reserved member to some other value, so the old liblzma
version need to catch it as an unsupported feature.

Windows: Use MinGW's stdio functions.

The non-standard ones from msvcrt.dll appear to work
most of the time with XZ Utils, but there are some
corner cases where things may go very wrong. So it's
good to use the better replacements provided by
MinGW(-w64) runtime.

liblzma: Use 512 as INDEX_GROUP_SIZE.

This lets compiler use shifting instead of 64-bit division.