Merge branch 'v5.0'

liblzma: Document the return value of lzma_lzma_preset().

Simplify paths in generated API docs

Currently the file list generated by Doxygen has src/ at the
beginning of each path.  Paths like common/sysdefs.h and
liblzma/api/lzma.h are easier to read without such a prefix.

Builds from a separate build directory with

mkdir build
cd build
../configure
doxygen Doxyfile

include an even longer prefix /home/someone/src/xz/src; this
patch has the nice side-effect of eliminating that prefix, too.

Fixes: http://bugs.debian.org/572273

add build script for macosx universal

Update the copies of GPLv2 and LGPLv2.1 from gnu.org.

There are only a few white space changes.

Merge branch 'v5.0'

Build: Copy the example programs to $docdir/examples.

The example programs by Daniel Mealha Cabrita were included
in the git repository, but I had forgot to add them to
Makefile.am. Thus, they didn't get included in the source
package at all by "make dist".

liblzma: Rename a few variables and constants.

This has no semantic changes. I find the new names slightly
more logical and they match the names that are already used
in XZ Embedded.

The name fastpos wasn't changed (not worth the hassle).

Bump version 5.1.0alpha.

Build: Fix mydist rule when .git doesn't exist.

Add NEWS for 5.0.0.

Bump version to 5.0.0 and liblzma version-info to 5:0:0.

liblzma: Make lzma_code() check the reserved members in lzma_stream.

If any of the reserved members in lzma_stream are non-zero
or non-NULL, LZMA_OPTIONS_ERROR is returned. It is possible
that a new feature in the future is indicated by just setting
a reserved member to some other value, so the old liblzma
version need to catch it as an unsupported feature.

Windows: Use MinGW's stdio functions.

The non-standard ones from msvcrt.dll appear to work
most of the time with XZ Utils, but there are some
corner cases where things may go very wrong. So it's
good to use the better replacements provided by
MinGW(-w64) runtime.

liblzma: Use 512 as INDEX_GROUP_SIZE.

This lets compiler use shifting instead of 64-bit division.

liblzma: A few ABI tweaks to reserve space in structures.

xz: Make sure that message_strm() can never return NULL.

liblzma: Update the comments in the API headers.

Adding support for LZMA_FINISH for Index encoding and
decoding needed tiny additions to the relevant .c files too.

Update INSTALL.generic.

Clean up a few FIXMEs and TODOs.

lzma_chunk_size() was commented out because it is
currently useless.

Update docs.

xz: Avoid raise() also on OpenVMS.

This is similar to DOS/DJGPP that killing the program
with a signal will print a backtrace or a similar message.

xz: Avoid SA_RESTART for portability reasons.

SA_RESTART is not as portable as I had hoped. It's missing
at least from OpenVMS, QNX, and DJGPP). Luckily we can do
fine without SA_RESTART.

xz: Use "%"PRIu32 instead of "%d" in a format string.

test_files.sh: Fix the first line.

For some reason this prevented running the test only
on OS/2 and even on that it broke only recently.

Thanks to Elbert Pol.

lzmainfo: Use "%"PRIu32 instead of "%u" for uint32_t.

lzmainfo: Use fileno(stdin) instead of STDIN_FILENO.

lzmainfo: Use setmode() on DOS-like systems.

OS/2 and DOS: Be less verbose on signals.

Calling raise() to kill xz when user has pressed C-c
is a bit verbose on OS/2 and DOS/DJGPP. Instead of
calling raise(), set only the exit status to 1.

DOS: Update the Makefile, config.h and README.

This is now simpler and builds only xz.exe.

Windows: Put some license info into README-Windows.txt.

Windows: Fix a diagnostics bug in build.bash.

lzmainfo: Add Windows resource file.

Add missing public domain notice to lzmadec_w32res.rc.

Windows: Update common_w32res.rc.

Windows: Make build.bash prefer MinGW-w32 over MinGW.

This is simply for licensing reasons. The 64-bit version
will be built with MinGW-w64 anyway (at least for now),
so using it also for 32-bit build allows using the same
copyright notice about the MinGW-w64/w32 runtime.

Note that using MinGW would require a copyright notice too,
because its runtime is not in the public domain either even
though MinGW's home page claims that it is public domain.
See <http://marc.info/?l=mingw-users&m=126489506214078>.

Windows: Copy COPYING-Windows.txt (if it exists) to the package.

Also, put README-Windows.txt to the doc directory like
the other documentation files.

Windows: Fix build.bash again.

630a8beda34af0ac153c8051b1bf01230558e422 wasn't good.

Use LZMA_VERSION_STRING instead of PACKAGE_VERSION.

Those are the same thing, and the former makes it a bit
easier to build the code with other build systems, because
one doesn't need to update the version number into custom
config.h.

This change affects only lzmainfo. Other tools were already
using LZMA_VERSION_STRING.

configure.ac: Remove two unused defines.

Make tests accommodate missing xz or xzdec.

Build: Add options to disable individual command line tools.

Windows: Make build.bash work without --enable-dynamic=no.

Build: Remove the static/dynamic tricks.

Most distros want xz linked against shared liblzma, so
it doesn't help much to require --enable-dynamic for that.
Those who want to avoid PIC on x86-32 to get better
performance, can still do it e.g. by using --disable-shared
to compile xz and then another pass to compile shared liblzma.

Part of these static/dynamic tricks were needed for Windows
in the past. Nowadays we rely on GCC and binutils to do the
right thing with auto-import. If the Autotooled build system
needs to support some other toolchain on Windows in the future,
this may need some rethinking.

configure.ac: Silence a warning from Autoconf 2.68.

A few more languages files to the xz man page.

Thanks to Jonathan Nieder.

Update the FAQ.

liblzma: Small fixes to comments in the API headers.

Create the PDF versions of the man pages better.

Move version.sh to build-aux.

Update .gitignore.

Fix accomodate -> accommodate on the xz man page.

Major man page updates.

Lots of content was updated on the xz man page.

Technical improvements:
  - Start a new sentence on a new line.
  - Use fairly short lines.
  - Use constant-width font for examples (where supported).
  - Some minor cleanups.

Thanks to Jonathan Nieder for some language fixes.

Fix the preset -3e.

depth=0 was missing.

Add translations.bash and translation notes to README.

translations.bash prints some messages from xz, which
hopefully makes it a bit easier to test translations.

xz: Update the Czech translation.

Thanks to Marek Černocký.

xz: Add Italian translation.

Thanks to Milo Casagrande and Lorenzo De Liso.

xz: Edit a translators comment.

xz: Add German translation.

Thanks to Andre Noll.

Updated README.

Updated INSTALL.

Updated the git repository address in ChangeLog.

xz: Add a comment to translators about "literal context bits".

xz: Multiple fixes.

The code assumed that printing numbers with thousand separators
and decimal points would always produce only US-ASCII characters.
This was used for buffer sizes (with snprintf(), no overflows)
and aligning columns of the progress indicator and --list. That
assumption was wrong (e.g. LC_ALL=fi_FI.UTF-8 with glibc), so
multibyte character support was added in this commit. The old
way is used if the operating system doesn't have enough multibyte
support (e.g. lacks wcwidth()).

The sizes of buffers were increased to accomodate multibyte
characters. I don't know how big they should be exactly, but
they aren't used for anything critical, so it's not too bad.
If they still aren't big enough, I hopefully get a bug report.
snprintf() takes care of avoiding buffer overflows.

Some static buffers were replaced with buffers allocated on
stack. double_to_str() was removed. uint64_to_str() and
uint64_to_nicestr() now share the static buffer and test
for thousand separator support.

Integrity check names "None" and "Unknown-N" (2 <= N <= 15)
were marked to be translated. I had forgot these, plus they
wouldn't have worked correctly anyway before this commit,
because printing tables with multibyte strings didn't work.

Thanks to Marek Černocký for reporting the bug about
misaligned table columns in --list output.

Update the Czech translation.

Thanks to Marek Černocký.

xz: Add a note to translators.

Fix use of N_() and ngettext().

I had somehow thought that N_() is usually used
as shorthand for ngettext().

This also fixes a missing \n from a call to ngettext().

Add missing files to POTFILES.in.

xz: Improve a comment.

xz: Update the comment about NetBSD in file_io.c.

Thanks to Joerg Sonnenberger.

xz: Use an array instead of pointer for stdin_filename.

Thanks Joerg Sonnenberger.

xz: Hopefully ease translating the messages in list.c.

xz: Fix grammar.

xz: Use lzma_lzma_preset() to initialize the options structure.

Don't set lc=4 with --extreme.

This should reduce the cases where --extreme makes
compression worse. On the other hand, some other
files may now benefit slightly less from --extreme.

xz: Minor improvements to --help and --long-help.

Adjust memory limits in test_compress.sh

Testing compression at level -4 now requires 48 MiB of free store at
compression time and 5 MiB at decompression time.

Signed-off-by: Jonathan Nieder <jrnieder@gmail.com>

xz: Make -vv show also decompressor memory usage.

Tweak the compression presets -0 .. -5.

"Extreme" mode might need some further tweaking still.
Docs were not updated yet.

liblzma: Adjust default depth calculation for HC3 and HC4.

It was 8 + nice_len / 4, now it is 4 + nice_len / 4.
This allows faster settings at lower nice_len values,
even though it seems that I won't use automatic depth
calcuation with HC3 and HC4 in the presets.

xz: Make --help two lines shorter.

At least for now, the --help option doesn't list any
options that take arguments, so "Mandatory arguments to..."
can be omitted.

xz: Make setting a preset override a custom filter chain.

This is more logical behavior than ignoring preset level
options once a custom filter chain has been specified.

xz: Always warn if adjusting dictionary size due to memlimit.

Fix test_compress.sh.

It broke when --memory option was removed from xzdec.

Thanks to Jonathan Nieder.

Disable the memory usage limiter by default.

For several people, the limiter causes bigger problems that
it solves, so it is better to have it disabled by default.
Those who want to have a limiter by default need to enable
it via the environment variable XZ_DEFAULTS.

Support for environment variable XZ_DEFAULTS was added. It is
parsed before XZ_OPT and technically identical with it. The
intended uses differ quite a bit though; see the man page.

The memory usage limit can now be set separately for
compression and decompression using --memlimit-compress and
--memlimit-decompress. To set both at once, -M or --memlimit
can be used. --memory was retained as a legacy alias for
--memlimit for backwards compatibility.

The semantics of --info-memory were changed in backwards
incompatible way. Compatibility wasn't meaningful due to
changes in the memory usage limiter functionality.

The memory usage limiter info is no longer shown at the
bottom of xz --long -help.

The memory usage limiter support for removed completely from xzdec.

xz's man page was updated to match the above changes. Various
unrelated fixes were also made to the man page.

Add missing const to a global constant in xz.

Language fixes for man pages.

Thanks to A. Costa and Jonathan Nieder.

Windows: Add a note about building a Git repository snapshot

Windows: build.sh is a bash script so name it correctly.

Windows: Don't strip liblzma.a too much.

Updated THANKS.

Add two simple example programs.

Hopefully these help a bit when learning the basics
of liblzma API. I plan to write detailed examples about
both basic and advanced features with lots of comments,
but these two examples are good have right now.

The examples were written by Daniel Mealha Cabrita. Thanks.

Add --no-adjust.

Updated THANKS.

Clarify the description of the default memlimit in the man page.

Thanks to Denis Excoffier.

Fix string to uint64_t conversion.

Thanks to Denis Excoffier for the bug report.

Put the git commit to the filename in mydist rule.

Fix compiling with -Werror.

Silence a bogus Valgrind warning.

When using -O2 with GCC, it liked to swap two comparisons
in one "if" statement. It's otherwise fine except that
the latter part, which is seemingly never executed, got
executed (nothing wrong with that) and then triggered
warning in Valgrind about conditional jump depending on
uninitialized variable. A few people find this annoying
so do things a bit differently to avoid the warning.

Fix a Windows-specific FIXME in signal handling code.