Build: Fix = to += for xz_SOURCES in src/xz/Makefile.am.

Thanks to Christian Kujau.

Build: Bump GNU Gettext version requirement to 0.19.

It silences a few warnings and most people probably have
0.19 even on stable distributions.

Thanks to Christian Kujau.

liblzma: Disable external SHA-256 by default.

This is the sane thing to do. The conflict with OpenSSL
on some OSes and especially that the OS-provided versions
can be significantly slower makes it clear that it was
a mistake to have the external SHA-256 support enabled by
default.

Those who want it can now pass --enable-external-sha256 to
configure. INSTALL was updated with notes about OSes where
this can be a bad idea.

The SHA-256 detection code in configure.ac had some bugs that
could lead to a build failure in some situations. These were
fixed, although it doesn't matter that much now that the
external SHA-256 is disabled by default.

MINIX >= 3.2.0 uses NetBSD's libc and thus has SHA256_Init
in libc instead of libutil. Support for the libutil version
was removed.

Update THANKS.

Build: Avoid SHA256_Init on FreeBSD and MINIX 3.

On FreeBSD 10 and older, SHA256_Init from libmd conflicts
with libcrypto from OpenSSL. The OpenSSL version has
different sizeof(SHA256_CTX) and it can cause weird
problems if wrong SHA256_Init gets used.

Looking at the source, MINIX 3 seems to have a similar issue but
I'm not sure. To be safe, I disabled SHA256_Init on MINIX 3 too.

NetBSD has SHA256_Init in libc and they had a similar problem,
but they already fixed it in 2009.

Thanks to Jim Wilcoxson for the bug report that helped
in finding the problem.

tuklib_physmem: Hopefully silence a warning on Windows.

Update THANKS.

liblzma: Make Valgrind happier with optimized (gcc -O2) liblzma.

When optimizing, GCC can reorder code so that an uninitialized
value gets used in a comparison, which makes Valgrind unhappy.
It doesn't happen when compiled with -O0, which I tend to use
when running Valgrind.

Thanks to Rich Prohaska. I remember this being mentioned long
ago by someone else but nothing was done back then.

liblzma: Rename lzma_presets.c back to lzma_encoder_presets.c.

It would be too annoying to update other build systems
just because of this.

Build: Disable xzdec, lzmadec, and lzmainfo when they cannot be built.

They all need decoder support and if that isn't available,
there's no point trying to build them.

Build: Simplify $enable_{encoders,decoders} usage a bit.

Windows/MSVC: Update config.h.

DOS: Update config.h.

xz: Make xz buildable even when encoders or decoders are disabled.

The patch is quite long but it's mostly about adding new #ifdefs
to omit code when encoders or decoders have been disabled.

This adds two new #defines to config.h: HAVE_ENCODERS and
HAVE_DECODERS.

Build: Build LZMA1/2 presets also when only decoder is wanted.

People shouldn't rely on the presets when decoding raw streams,
but xz uses the presets as the starting point for raw decoder
options anyway.

lzma_encocder_presets.c was renamed to lzma_presets.c to
make it clear it's not used solely by the encoder code.

Build: Fix configure to handle LZMA1 dependency with LZMA2.

Now it gives an error if LZMA1 encoder/decoder is missing
when LZMA2 encoder/decoder was requested. Even better would
be LZMA2 implicitly enabling LZMA1 but it would need more code.

Build: Don't omit lzma_cputhreads() unless using --disable-threads.

Previously it was omitted if encoders were disabled
with --disable-encoders. It didn't make sense and
it also broke the build.

liblzma: Fix a build failure related to external SHA-256 support.

If an appropriate header and structure were found by configure,
but a library with a usable SHA-256 functions wasn't, the build
failed.

xz: Always close the file before trying to delete it.

unlink() can return EBUSY in errno for open files on some
operating systems and file systems.

Update THANKS.

Tests: Add tests for the two bugs fixed in index.c.

liblzma: Fix lzma_index_dup() for empty Streams.

Stream Flags and Stream Padding weren't copied from
empty Streams.

liblzma: Add a note to index.c for those using static analyzers.

liblzma: Fix a memory leak in error path of lzma_index_dup().

lzma_index_dup() calls index_dup_stream() which, in case of
an error, calls index_stream_end() to free memory allocated
by index_stream_init(). However, it illogically didn't
actually free the memory. To make it logical, the tree
handling code was modified a bit in addition to changing
index_stream_end().

Thanks to Evan Nemerson for the bug report.

Update NEWS for 5.2.2.

Update German translation, mostly wrt orthography

Provide an update of the German translation.
* A lot of compound words were previously written with spaces, while
  German orthography is relatively clear in that the components
  should not be separated.
* When referring to the actual process of (de)compression rather than the
  concept, replace “(De-)Kompression” with “(De-)Komprimierung”.
  Previously, both forms were used in this context and are now used in a
  manner consistent with “Komprimierung” being more likely to refer to
  a process.
* Consistently translate “standard input”/“output”
* Use “Zeichen” instead of false friend “Charakter” for “character”
* Insert commas around relative clauses (as required in German)
* Some other minor corrections
* Capitalize “ß” as “ẞ”
* Consistently start option descriptions in --help with capital letters

Acked-By: Andre Noll <maan@tuebingen.mpg.de>
* Update after msgmerge

Build: Minor Cygwin cleanup.

Some tests used "cygwin*" and some used "cygwin". I changed
them all to use "cygwin". Shouldn't affect anything in practice.

Build: Support building of MSYS2 binaries.

Windows: Define DLL_EXPORT when building liblzma.dll with MSVC.

src/liblzma/common/common.h uses it to set __declspec(dllexport)
for the API symbols.

Thanks to Adam Walling.

Windows: Omit unneeded header files from MSVC project files.

liblzma: A MSVC-specific hack isn't needed with MSVC 2013 and newer.

Update THANKS.

Windows: Update the docs.

Windows: Add MSVC project files for building liblzma.

Thanks to Adam Walling for creating these files.

Fix typo in German translation.

As pointed out by Robert Pollak, there's a typo in the German
translation of the compression preset option (-0 ... -9) help text.
"The compressor" translates to "der Komprimierer", and the genitive
form is "des Komprimierers". The old word makes no sense at all.

Tests: Fix a memory leak in test_bcj_exact_size.

Thanks to Cristian Rodríguez.

Fix NEWS about threading in 5.2.0.

Thanks to Andy Hochhaus.

xz: Document that threaded decompression hasn't been implemented yet.

Update THANKS.

Revert "xz: Use pipe2() if available."

This reverts commit 7a11c4a8e5e15f13d5fa59233b3172e65428efdd.
It is a problem when libc has pipe2() but the kernel is too
old to have pipe2() and thus pipe2() fails. In xz it's pointless
to have a fallback for non-functioning pipe2(); it's better to
avoid pipe2() completely.

Thanks to Michael Fox for the bug report.

xz: Fix the Capsicum rights on user_abort_pipe.

Update THANKS.

xz: Add support for sandboxing with Capsicum.

The sandboxing is used conditionally as described in main.c.
This isn't optimal but it was much easier to implement than
a full sandboxing solution and it still covers the most common
use cases where xz is writing to standard output. This should
have practically no effect on performance even with small files
as fork() isn't needed.

C and locale libraries can open files as needed. This has been
fine in the past, but it's a problem with things like Capsicum.
io_sandbox_enter() tries to ensure that various locale-related
files have been loaded before cap_enter() is called, but it's
possible that there are other similar problems which haven't
been seen yet.

Currently Capsicum is available on FreeBSD 10 and later
and there is a port to Linux too.

Thanks to Loganaden Velvindron for help.

Fix bugs and otherwise improve ax_check_capsicum.m4.

AU_ALIAS was removed because the new version is incompatible
with the old version.

It no longer checks for <sys/capability.h> separately.
It's enough to test for it as part of AC_CHECK_DECL.
The defines HAVE_CAPSICUM_SYS_CAPSICUM_H and
HAVE_CAPSICUM_SYS_CAPABILITY_H were removed as unneeded.
HAVE_SYS_CAPSICUM_H from AC_CHECK_HEADERS is enough.

It no longer does a useless search for the Capsicum library
if the header wasn't found.

Fixed a bug in ACTION-IF-FOUND (the first argument). Specifying
the argument omitted the default action but the given action
wasn't used instead.

AC_DEFINE([HAVE_CAPSICUM]) is now always called when Capsicum
support is found. Previously it was part of the default
ACTION-IF-FOUND which a custom action would override. Now
the default action only prepends ${CAPSICUM_LIB} to LIBS.

The documentation was updated.

Since there as no serial number, "#serial 2" was added.

Add m4/ax_check_capsicum.m4 for detecting Capsicum support.

The file was loaded from this web page:
https://github.com/google/capsicum-test/blob/dev/autoconf/m4/ax_check_capsicum.m4

Thanks to Loganaden Velvindron for pointing it out for me.

Bump version to 5.3.0alpha and soname to 5.3.99.

The idea of 99 is that it looks a bit weird in this context.
For new features there's no API/ABI stability in devel versions.

Update THANKS.

Fix the detection of installed RAM on QNX.

The earlier version compiled but didn't actually work
since sysconf(_SC_PHYS_PAGES) always fails (or so I was told).

Thanks to Ole André Vadla Ravnås for the patch and testing.

Fix CPU core count detection on QNX.

It tried to use sysctl() on QNX but
  - it broke the build because sysctl() needs -lsocket on QNX;
  - sysctl() doesn't work for detecting the core count on QNX
    even if it compiled.

sysconf() works. An alternative would have been to use
QNX-specific SYSPAGE_ENTRY(num_cpu) from <sys/syspage.h>.

Thanks to Ole André Vadla Ravnås.

xz: size_t/uint32_t cleanup in options.c.

xz: Fix a comment and silence a warning in message.c.

liblzma: Silence more uint32_t vs. size_t warnings.

xz: Make arg_count an unsigned int to silence a warning.

Actually the value of arg_count cannot exceed INT_MAX
but it's nicer as an unsigned int.

liblzma: Fix a warning in index.c.

Build: Fix a CR+LF problem when running autoreconf -fi on OS/2.

Bump version and soname for 5.2.1.

Update NEWS for 5.2.1.

xz: Use pipe2() if available.

liblzma: Fix a compression-ratio regression in LZMA1/2 in fast mode.

The bug was added in the commit
f48fce093b07aeda95c18850f5e086d9f2383380 and thus
affected 5.1.4beta and 5.2.0. Luckily the bug cannot
cause data corruption or other nasty things.

xz: Fix the fcntl() usage when creating a pipe for the self-pipe trick.

Now it reads the old flags instead of blindly setting O_NONBLOCK.
The old code may have worked correctly, but this is better.

Update THANKS.

tuklib_cpucores: Use cpuset_getaffinity() on FreeBSD if available.

In FreeBSD, cpuset_getaffinity() is the preferred way to get
the number of available cores.

Thanks to Rui Paulo for the patch. I edited it slightly, but
hopefully I didn't break anything.

xzdiff: Make the mktemp usage compatible with FreeBSD's mktemp.

Thanks to Rui Paulo for the fix.

Add a few casts to tuklib_integer.h to silence possible warnings.

I heard that Visual Studio 2013 gave warnings without the casts.

Thanks to Gabi Davar.

liblzma: Set LZMA_MEMCMPLEN_EXTRA depending on the compare method.

Update THANKS.

liblzma: Silence harmless Valgrind errors.

Thanks to Torsten Rupp for reporting this. I had
forgotten to run Valgrind before the 5.2.0 release.

xz: Fix comments.

Update THANKS.

xz: Don't fail if stdout doesn't support O_NONBLOCK.

This is similar to the case with stdin.

Thanks to Brad Smith for the bug report and testing
on OpenBSD.

xz: Fix a memory leak in DOS-specific code.

xz: Don't fail if stdin doesn't support O_NONBLOCK.

It's a problem at least on OpenBSD which doesn't support
O_NONBLOCK on e.g. /dev/null. I'm not surprised if it's
a problem on other OSes too since this behavior is allowed
in POSIX-1.2008.

The code relying on this behavior was committed in June 2013
and included in 5.1.3alpha released on 2013-10-26. Clearly
the development releases only get limited testing.

Tests: Don't hide unexpected error messages in test_files.sh.

Hiding them makes no sense since normally there's no error
when testing the "good" files. With "bad" files errors are
expected and then it makes sense to keep the messages hidden.

Update Solaris notes in INSTALL.

Mention the possible "make check" failure on Solaris in the
Solaris-specific section of INSTALL. It was already in
section 4.5 but it is better mention it in the OS-specific
section too.

Build: POSIX shell isn't required if scripts are disabled.

DOS: Update Makefile.

Windows: Fix bin_i486 to bin_i686 in build.bash.

Docs: Use lzma_cputhreads() in 04_compress_easy_mt.c.

Docs: Update docs/examples/00_README.txt.

Bump version and soname for 5.2.0.

I know that soname != app version, but I skip AGE=1
in -version-info to make the soname match the liblzma
version anyway. It doesn't hurt anything as long as
it doesn't conflict with library versioning rules.

Avoid variable-length arrays in the debug programs.

Build: Include 04_compress_easy_mt.c in the tarball.

Fix build when --disable-threads is used.

po/fr: improve wording for help for --lzma1/--lzma2.

po/fr: missing line in translation of --extreme.

Update NEWS for 5.2.0.

Update NEWS for 5.0.8.

xz: Fix a comment.

Update INSTALL about the dependencies of the scripts.

Windows: Update build instructions.

Windows: Update the build script and README-Windows.txt.

The 32-bit build is now for i686 or newer because the
prebuilt MinGW-w64 toolchains include i686 code in the
executables even if one uses -march=i486.

The build script builds 32-bit SSE2 enabled version too.
Run-time detection of SSE2 support would be nice (on any OS)
but it's not implemented in XZ Utils yet.

Windows: Define TUKLIB_SYMBOL_PREFIX in config.h.

It is to keep all symbols in the lzma_ namespace.

xz: Update the man page about --threads.

xz: Update the man page about --block-size.

po/fr: several more translation updates: reword and handle --ignore-check.

po/fr: yet another place where my email address had to be updated.

po/fr: fix several typos that have been around since the beginning.

po/fr: last batch of new translations for now.

Four new error messages.

po/fr: translations for --threads, --block-size and --block-list.

po/fr: remove fuzzy marker for error messages that will be kept in English.

The following is a copy of a comment inside fr.po:

Note from translator on "file status flags".
The following entry is kept un-translated on purpose. It is difficult to
translate and should only happen in exceptional circumstances which means
that translating would:
- lose some of the meaning
- make it more difficult to look up in search engines; it might happen one
in
a million times, if we dilute the error message in 20 languages, it will be
almost impossible to find an explanation and support for the error.