xz: Multiple fixes.

The code assumed that printing numbers with thousand separators
and decimal points would always produce only US-ASCII characters.
This was used for buffer sizes (with snprintf(), no overflows)
and aligning columns of the progress indicator and --list. That
assumption was wrong (e.g. LC_ALL=fi_FI.UTF-8 with glibc), so
multibyte character support was added in this commit. The old
way is used if the operating system doesn't have enough multibyte
support (e.g. lacks wcwidth()).

The sizes of buffers were increased to accomodate multibyte
characters. I don't know how big they should be exactly, but
they aren't used for anything critical, so it's not too bad.
If they still aren't big enough, I hopefully get a bug report.
snprintf() takes care of avoiding buffer overflows.

Some static buffers were replaced with buffers allocated on
stack. double_to_str() was removed. uint64_to_str() and
uint64_to_nicestr() now share the static buffer and test
for thousand separator support.

Integrity check names "None" and "Unknown-N" (2 <= N <= 15)
were marked to be translated. I had forgot these, plus they
wouldn't have worked correctly anyway before this commit,
because printing tables with multibyte strings didn't work.

Thanks to Marek Černocký for reporting the bug about
misaligned table columns in --list output.

Update the Czech translation.

Thanks to Marek Černocký.

xz: Add a note to translators.

Fix use of N_() and ngettext().

I had somehow thought that N_() is usually used
as shorthand for ngettext().

This also fixes a missing \n from a call to ngettext().

Add missing files to POTFILES.in.

xz: Improve a comment.

xz: Update the comment about NetBSD in file_io.c.

Thanks to Joerg Sonnenberger.

xz: Use an array instead of pointer for stdin_filename.

Thanks Joerg Sonnenberger.

xz: Hopefully ease translating the messages in list.c.

xz: Fix grammar.

xz: Use lzma_lzma_preset() to initialize the options structure.

Don't set lc=4 with --extreme.

This should reduce the cases where --extreme makes
compression worse. On the other hand, some other
files may now benefit slightly less from --extreme.

xz: Minor improvements to --help and --long-help.

Adjust memory limits in test_compress.sh

Testing compression at level -4 now requires 48 MiB of free store at
compression time and 5 MiB at decompression time.

Signed-off-by: Jonathan Nieder <jrnieder@gmail.com>

xz: Make -vv show also decompressor memory usage.

Tweak the compression presets -0 .. -5.

"Extreme" mode might need some further tweaking still.
Docs were not updated yet.

liblzma: Adjust default depth calculation for HC3 and HC4.

It was 8 + nice_len / 4, now it is 4 + nice_len / 4.
This allows faster settings at lower nice_len values,
even though it seems that I won't use automatic depth
calcuation with HC3 and HC4 in the presets.

xz: Make --help two lines shorter.

At least for now, the --help option doesn't list any
options that take arguments, so "Mandatory arguments to..."
can be omitted.

xz: Make setting a preset override a custom filter chain.

This is more logical behavior than ignoring preset level
options once a custom filter chain has been specified.

xz: Always warn if adjusting dictionary size due to memlimit.

Fix test_compress.sh.

It broke when --memory option was removed from xzdec.

Thanks to Jonathan Nieder.

Disable the memory usage limiter by default.

For several people, the limiter causes bigger problems that
it solves, so it is better to have it disabled by default.
Those who want to have a limiter by default need to enable
it via the environment variable XZ_DEFAULTS.

Support for environment variable XZ_DEFAULTS was added. It is
parsed before XZ_OPT and technically identical with it. The
intended uses differ quite a bit though; see the man page.

The memory usage limit can now be set separately for
compression and decompression using --memlimit-compress and
--memlimit-decompress. To set both at once, -M or --memlimit
can be used. --memory was retained as a legacy alias for
--memlimit for backwards compatibility.

The semantics of --info-memory were changed in backwards
incompatible way. Compatibility wasn't meaningful due to
changes in the memory usage limiter functionality.

The memory usage limiter info is no longer shown at the
bottom of xz --long -help.

The memory usage limiter support for removed completely from xzdec.

xz's man page was updated to match the above changes. Various
unrelated fixes were also made to the man page.

Add missing const to a global constant in xz.

Language fixes for man pages.

Thanks to A. Costa and Jonathan Nieder.

Windows: Add a note about building a Git repository snapshot

Windows: build.sh is a bash script so name it correctly.

Windows: Don't strip liblzma.a too much.

Updated THANKS.

Add two simple example programs.

Hopefully these help a bit when learning the basics
of liblzma API. I plan to write detailed examples about
both basic and advanced features with lots of comments,
but these two examples are good have right now.

The examples were written by Daniel Mealha Cabrita. Thanks.

Add --no-adjust.

Updated THANKS.

Clarify the description of the default memlimit in the man page.

Thanks to Denis Excoffier.

Fix string to uint64_t conversion.

Thanks to Denis Excoffier for the bug report.

Put the git commit to the filename in mydist rule.

Fix compiling with -Werror.

Silence a bogus Valgrind warning.

When using -O2 with GCC, it liked to swap two comparisons
in one "if" statement. It's otherwise fine except that
the latter part, which is seemingly never executed, got
executed (nothing wrong with that) and then triggered
warning in Valgrind about conditional jump depending on
uninitialized variable. A few people find this annoying
so do things a bit differently to avoid the warning.

Fix a Windows-specific FIXME in signal handling code.

Adjust SA_RESTART workaround.

I want to get a bug report if something else than
DJGPP lacks SA_RESTART.

xz man page updates.

- Concatenating .xz files and padding
- List mode
- Robot mode
- A few examples (but many more are needed)

Major update to xz --list.

Rename message_filters_get() to message_filters_to_str().

Fix a comment.

Fix lzma_block_compressed_size().

Take Cygwin into account in some #if lines.

This change is no-op, but good to have just in case
for the future.

Remove references to the Subblock filter in xz and tests.

Thanks to Jonathan Nieder.

Remove unused chunk_size.c.

Thanks to Jonathan Nieder for the reminder.

Use my_min() instead of MIN() in src/xz/list.c

This should have been done in
920a69a8d8e4203c5edddd829d932130eac188ea.

Rename MIN() and MAX() to my_min() and my_max().

This should avoid some minor portability issues.

Fix compilation of debug/known_sizes.c.

Remove references to Subblock filter in debug/sync_flush.c.

Better #error message.

Remove the Subblock filter code for now.

The spec isn't finished and the code didn't compile anymore.
It won't be included in XZ Utils 5.0.0. It's easy to get it
back once the spec is done.

Split message_filters().

message_filters_to_str() converts the filter chain to
a string. message_filters_show() replaces the original
message_filters().

uint32_to_optstr() was also added to show the dictionary
size in nicer format when possible.

Omit lzma_restrict from the API headers.

It isn't really useful so omitting it makes things
shorter and slightly more readable.

Updated INSTALL.

Updated THANKS.

Updates to tuklib_physmem and tuklib_cpucores.

Don't use #error to generate compile error, because some
compilers actually don't take it as an error. This fixes
tuklib_physmem on IRIX.

Fix incorrect error check for sysconf() return values.

Add AIX, HP-UX, and Tru64 specific code to detect the
amount RAM.

Add HP-UX specific code to detect the number of CPU cores.

Thanks a lot to Peter O'Gorman for initial patches,
testing, and debugging these fixes.

Show both elapsed time and estimated remaining time in xz -v.

The extra space for showing both has been taken from the
sizes field. If the sizes grow big, bigger units than MiB
will be used. It makes it slightly difficult to see that
progress is still happening with huge files, but it should
be OK in practice.

Thanks to Trent W. Buck for <http://bugs.debian.org/574583>
and Jonathan Nieder for suggestions how to fix it.

Add a simple tip to faq.txt about tar and xz.

Thanks to Gilles Espinasse.

Updated THANKS.

Fix xzgrep to not break if filenames have spaces or quotes.

Thanks to someone who reported the bug on IRC.

Treat all integer multiplier suffixes as base-2.

Originally both base-2 and base-10 were supported, but since
there seems to be little need for base-10 in XZ Utils, treat
everything as base-2 and also be more relaxed about the case
of the first letter of the suffix. Now xz will accept e.g.
KiB, Ki, k, K, kB, and KB, and interpret them all as 1024. The
recommended spelling of the suffixes are still KiB, MiB, and GiB.

Consistently round up the memory usage limit in messages.

It still feels a bit wrong to round 1 byte to 1 MiB but
at least it is now done consistently so that the same
byte value is always rounded the same way to MiB.

Change the default of --enable-assume-ram from 32 to 128 MiB.

This is to allow files created with "xz -9" to be decompressed
if the amount of RAM cannot be determined.

Increase the default memory usage limit on "low-memory" systems.

Previously the default limit was always 40 % of RAM. The
new limit is a little bit more complex:

  - If 40 % of RAM is at least 80 MiB, 40 % of RAM is used
    as the limit.

  - If 80 % of RAM is over 80 MiB, 80 MiB is used as the limit.

  - Otherwise 80 % of RAM is used as the limit.

This should make it possible to decompress files created with
"xz -9" on more systems. Swapping is generally more expected
on systems with less RAM, so higher default limit on them
shouldn't cause too bad surprises in terms of heavy swapping.
Instead, the higher default limit should reduce the number of
bad surprises when it used to prevent decompression of files
created with "xz -9". The DoS prevention system shouldn't be
a DoS itself.

Note that even with the new default limit, a system with 64 MiB
RAM cannot decompress files created with "xz -9" without user
overriding the limit. This should be OK, because if xz is going
to need more memory than the system has RAM, it will run very
very slowly and thus it's good that user has to override the limit
in that case.

Updated THANKS.

Fix missing initialization in lzma_strm_init().

With bad luck, lzma_code() could return LZMA_BUF_ERROR
when it shouldn't.

This has been here since the early days of liblzma.
It got triggered by the modifications made to the xz
tool in commit 18c10c30d2833f394cd7bce0e6a821044b15832f
but only when decompressing .lzma files. Somehow I managed
to miss testing that with Valgrind earlier.

This fixes <http://bugs.gentoo.org/show_bug.cgi?id=305591>.
Thanks to Rafał Mużyło for helping to debug it on IRC.

Collection of language fixes to comments and docs.

Thanks to Jonathan Nieder.

Fix jl -> jb in ASM files.

Use __APPLE__ instead of __MACH__ in ASM files.

This allows the files to work on HURD.

Thanks to Jonathan Nieder.

Subtle change to liblzma Block handling API.

lzma_block.version has to be initialized even for
lzma_block_header_decode(). This way a future version
of liblzma won't allocate memory in a way that an old
application doesn't know how to free it.

The subtlety of this change is that all current apps
using lzma_block_header_decode() will keep working for
now, because the only possible version value is zero,
and lzma_block_header_decode() unconditionally sets the
version to zero even now. Unless fixed, these apps will
break in the future if a new version of the Block options
is ever needed.

Fix wrong assertion.

This was added in 455e68c030fde8a8c2f5e254c3b3ab9489bf3735.

Updated TODO.

Fix typos in comments.

Fix signal handling for --list.

Fix compression of symlinks with --force.

xz --force accepted symlinks, but didn't remove
them after successful compression. Instead, an error
message was displayed.

Fix a comment.

Updated THANKS.

Updated TODO.

Mention TODO in README.

Updated INSTALL.

Revise the Windows build files.

The old Makefile + config.h was deleted, because it
becomes outdated too easily and building with the
Autotools based build system works fine even on Windows.

windows/build.sh hasn't got much testing, but it should
work to build 32-bit x86 and x86-64 versions of XZ Utils
using MSYS, MinGW or MinGW-w32, and MinGW-w64.

windows/INSTALL-Windows.txt describes what packages are
needed and how to install them.

windows/README-Windows.txt is a readme file for the binary
package that build.sh hopefully builds.

There are no instructions about using Autotools for now,
so those using a git snapshot may want to run
"autoreconf -fi && ./configure && make mydist" on a UN*X
box and then copy the resulting .tar.gz to a Windows.

Select the default integrity check type at runtime.

Previously it was set statically to CRC64 or CRC32
depending on options passed to the configure script.

Improve displaying of the memory usage limit.

Don't use uninitialized sigset_t.

If signal handlers haven't been established, then it's
useless to try to block them, especially since the sigset_t
used for blocking hasn't been initialized yet.

Delay opening the destionation file and other fixes.

The opening of the destination file is now delayed a little.
The coder is initialized, and if decompressing, the memory
usage of the first Block compared against the memory
usage limit before the destination file is opened. This
means that if --force was used, the old "target" file won't
be deleted so easily when something goes wrong very early.
Thanks to Mark K for the bug report.

The above fix required some changes to progress message
handling. Now there is a separate function for setting and
printing the filename. It is used also in list.c.

list_file() now handles stdin correctly (gives an error).

A useless check for user_abort was removed from file_io.c.

Add list.h to src/xz/Makefile.am.

This should have been already in
0bc9eab243dee3be764b3530433a7fcdc3f7c6a1.

Add lzmainfo.1 to manfiles list to convert to .txt and .pdf.

Silence two compiler warnings on DOS-like systems.

Use PACKAGE_URL instead of custom PACKAGE_HOMEPAGE.

Add a missing space to an error message.

Thanks to Robert Readman.

Use past tense in error message in io_unlink().

Added a note to translators too.

Thanks to Robert Readman.

Fix too small static buffer in util.c.

This was introduced in
0dd6d007669b946543ca939a44243833c79e08f4 two days ago.

Minor comment fix.

Add initial version of xz --list.

This is a bit rough but should be useful for basic things.
Ideas (with detailed examples) about the output format are
welcome.

The output of --robot --list is not necessarily stable yet,
although I don't currently have any plans about changing it.

The man page hasn't been updated yet.

Add io_pread().

It will be used by --list.

Set LC_NUMERIC=C when --robot is used.

It is to ensure that floating point numbers
will always have a dot as the decimal separator.

Some improvements to printing sizes in xz.

Fix a typo in README.

Thanks to R. Bijker.

Updated windows/Makefile.

Thanks to Dan Shechter for the patch.

It is likely that windows/Makefile will be removed
completely, because Autotols based build nowadays
works well with both 32-bit and 64-bit MinGW (I
just need to update the docs).