Scripts: Put /usr/xpg4/bin to the beginning of PATH on Solaris.

This adds a configure option --enable-path-for-scripts=PREFIX
which defaults to empty except on Solaris it is /usr/xpg4/bin
to make POSIX grep and others available. The Solaris case had
been documented in INSTALL with a manual fix but it's better
to do this automatically since it is needed on most Solaris
systems anyway.

Thanks to Daniel Richard G.

Fix comment typos in tuklib_mbstr* files.

Add missing include to tuklib_mbstr_width.c.

It didn't matter in XZ Utils because sysdefs.h
includes string.h anyway.

Update tuklib base headers to include stdbool.h.

xz: Automatically align the strings in --info-memory.

This makes it easier to translate the strings.

Also, the string for amount of RAM was shortened.

liblzma: Fix a buggy comment.

configure.ac: Fix a typo in a comment.

Tests: Silence warnings from clang -Wassign-enum.

Also changed 999 to 99 so it fits even if lzma_check happened
to be 8 bits wide.

liblzma: Add a comment.

liblzma: Silence clang -Wmissing-variable-declarations.

Add LZMA_RET_INTERNAL1..8 to lzma_ret and use one for LZMA_TIMED_OUT.

LZMA_TIMED_OUT is *internally* used as a value for lzma_ret
enumeration. Previously it was #defined to 32 and cast to lzma_ret.
That way it wasn't visible in the public API, but this was hackish.

Now the public API has eight LZMA_RET_INTERNALx members and
LZMA_TIMED_OUT is #defined to LZMA_RET_INTERNAL1. This way
the code is cleaner overall although the public API has a few
extra mysterious enum members.

xz: Silence a warning from clang -Wsign-conversion in main.c.

xz: Make "headings" static in list.c.

Caught by clang -Wmissing-variable-declarations.

liblzma: Remove incorrect uses of lzma_attribute((__unused__)).

Caught by clang -Wused-but-marked-unused.

Tests: Silence a warning from -Wsign-conversion.

xz: Fix an integer overflow with 32-bit off_t.

Or any off_t which isn't very big (like signed 64 bit integer
that most system have). A small off_t could overflow if the
file being decompressed had long enough run of zero bytes,
which would result in corrupt output.

xz: Cleanup io_seek_src() a bit.

lseek() returns -1 on error and checking for -1 is nicer.

Tests: Remove a duplicate branch from tests/tests.h.

The duplication was introduced about eleven years ago and
should have been cleaned up back then already.

This was caught by -Wduplicated-branches.

xz: Change io_seek_src and io_pread arguments from off_t to uint64_t.

This helps fixing warnings from -Wsign-conversion and makes the
code look better too.

xz: list.c: Fix some warnings from -Wsign-conversion.

tuklib_mbstr_width: Fix a warning from -Wsign-conversion.

xz: Fix some of the warnings from -Wsign-conversion.

tuklib_cpucores: Silence warnings from -Wsign-conversion.

xzdec: Fix warnings from -Wsign-conversion.

liblzma: Fix warnings from -Wsign-conversion.

Also, more parentheses were added to the literal_subcoder
macro in lzma_comon.h (better style but no functional change
in the current usage).

tuklib_integer: Silence warnings from -Wsign-conversion.

tuklib_integer: Fix usage of conv macros.

Use a temporary variable instead of e.g.
conv32le(unaligned_read32ne(buf)) because the macro can
evaluate its argument multiple times.

Update THANKS.

liblzma: Fix comments.

Thanks to Bruce Stark.

liblzma: Fix one more unaligned read to use unaligned_read16ne().

Update THANKS.

liblzma: memcmplen: Use ctz32() from tuklib_integer.h.

The same compiler-specific #ifdefs are already in tuklib_integer.h

tuklib_integer: Cleanup MSVC-specific code.

liblzma: Use unaligned_readXXne functions instead of type punning.

Now gcc -fsanitize=undefined should be clean.

Thanks to Jeffrey Walton.

tuklib_integer: Autodetect support for unaligned access on ARM.

The result is used as the default for --enable-unaligned-access.
The test should work with GCC and Clang.

tuklib_integer: Improve unaligned memory access.

Now memcpy() or GNU C packed structs for unaligned access instead
of type punning. See the comment in this commit for details.

Avoiding type punning with unaligned access is needed to
silence gcc -fsanitize=undefined.

New functions: unaliged_readXXne and unaligned_writeXXne where
XX is 16, 32, or 64.

liblzma: Avoid memcpy(NULL, foo, 0) because it is undefined behavior.

I should have always known this but I didn't. Here is an example
as a reminder to myself:

    int mycopy(void *dest, void *src, size_t n)
    {
        memcpy(dest, src, n);
        return dest == NULL;
    }

In the example, a compiler may assume that dest != NULL because
passing NULL to memcpy() would be undefined behavior. Testing
with GCC 8.2.1, mycopy(NULL, NULL, 0) returns 1 with -O0 and -O1.
With -O2 the return value is 0 because the compiler infers that
dest cannot be NULL because it was already used with memcpy()
and thus the test for NULL gets optimized out.

In liblzma, if a null-pointer was passed to memcpy(), there were
no checks for NULL *after* the memcpy() call, so I cautiously
suspect that it shouldn't have caused bad behavior in practice,
but it's hard to be sure, and the problematic cases had to be
fixed anyway.

Thanks to Jeffrey Walton.

Update THANKS.

xz: Update xz man page date.

spelling

xz: In xz -lvv look at the widths of the check names too.

Now the widths of the check names is used to adjust the width
of the Check column. This way there no longer is a need to restrict
the widths of the check names to be at most ten terminal-columns.

xz: Fix xz -lvv column alignment to look at the translated strings.

Update THANKS.

Windows: Update VS version in windows/vs2019/config.h.

Windows: Upgrade solution itself

Windows: Upgrade solution with VS2019

Windows: Duplicate windows/vs2017 before upgrading

README: Update translation instructions.

XZ Utils is now part of the Translation Project
<https://translationproject.org/>.

xz: Automatically align column headings in xz -lvv.

xz: Automatically align strings ending in a colon in --list output.

This should avoid alignment errors in translations with these
strings.

Windows/VS2017: Omit WindowsTargetPlatformVersion from project files.

I understood that if a WTPV is specified, it's often wrong
because different VS installations have different SDK version
installed. Omitting the WTPV tag makes VS2017 default to
Windows SDK 8.1 which often is also missing, so in any case
people may need to specify the WTPV before building. But some
day in the future a missing WTPV tag will start to default to
the latest installed SDK which sounds reasonable:

https://developercommunity.visualstudio.com/content/problem/140294/windowstargetplatformversion-makes-it-impossible-t.html

Thanks to "dom".

Update THANKS.

xz: Fix a crash in progress indicator when in passthru mode.

"xz -dcfv not_an_xz_file" crashed (all four options are
required to trigger it). It caused xz to call
lzma_get_progress(&strm, ...) when no coder was initialized
in strm. In this situation strm.internal is NULL which leads
to a crash in lzma_get_progress().

The bug was introduced when xz started using lzma_get_progress()
to get progress info for multi-threaded compression, so the
bug is present in versions 5.1.3alpha and higher.

Thanks to Filip Palian <Filip.Palian@pjwstk.edu.pl> for
the bug report.

xz: Update man page timestamp.

'have have' typos

Update THANKS.

Tests: Add a fuzz test program and a config file for OSS-Fuzz.

Thanks to Bhargava Shastry and Github user pdknsk.

liblzma: Don't verify header CRC32s if building for fuzz testing.

FUZZING_BUILD_MODE_UNSAFE_FOR_PRODUCTION is #defined when liblzma
is being built for fuzz testing.

Most fuzzed inputs would normally get rejected because of incorrect
CRC32 and the actual header decoding code wouldn't get fuzzed.
Disabling CRC32 checks avoids this problem. The fuzzer program
must still use LZMA_IGNORE_CHECK flag to disable verification of
integrity checks of uncompressed data.

xzless: Rename unused variables to silence static analysers.

In this particular case I don't see this affecting readability
of the code.

Thanks to Pavel Raiskup.

liblzma: Remove an always-true condition from lzma_index_cat().

This should help static analysis tools to see that newg
isn't leaked.

Thanks to Pavel Raiskup.

liblzma: Improve lzma_properties_decode() API documentation.

Bump the version number to 5.3.1alpha.

extra/scanlzma: Fix compiler warnings.

DOS: Add file_info.c to the list of files to build.

Update NEWS for 5.3.1alpha.

Add NEWS for 5.2.4.

Update THANKS.

nothrow: use noexcept for C++11 and newer

In C++11, the `throw()` specifier is deprecated and `noexcept` is
preffered instead.

liblzma: Remove incorrect #ifdef from range_common.h.

In most cases it was harmless but it could affect some
custom build systems.

Thanks to Pippijn van Steenhoven.

Update THANKS.

tuklib_integer: New Intel C compiler needs immintrin.h.

Thanks to Melanie Blower (Intel) for the patch.

Update THANKS.

Windows: Fix paths in VS project files.

Some paths use slashes instead of backslashes as directory
separators... now it should work (I tested VS2013 version).

Windows: Update VS2017 project files to include file info decoder.

Windows: Add project files for VS2017.

These files match the v5.2 branch (no file info decoder).

Windows: Update VS2013 project files to include file info decoder.

Windows: Move VS2013 files into windows/vs2013 directory.

Fix or hide warnings from GCC 7's -Wimplicit-fallthrough.

Docs: Fix a typo in a comment in doc/examples/02_decompress.c.

xz: Fix "xz --list --robot missing_or_bad_file.xz".

It ended up printing an uninitialized char-array when trying to
print the check names (column 7) on the "totals" line.

This also changes the column 12 (minimum xz version) to
50000002 (xz 5.0.0) instead of 0 when there are no valid
input files.

Thanks to kidmin for the bug report.

Docs: Add doc/examples/11_file_info.c.

Build: Omit pre-5.0.0 entries from the generated ChangeLog.

It makes ChangeLog significantly smaller.

xz: Use lzma_file_info_decoder() for --list.

liblzma: Add lzma_file_info_decoder().

Update the Git repository URL to HTTPS in ChangeLog.

liblzma: Rename LZMA_SEEK to LZMA_SEEK_NEEDED and seek_in to seek_pos.

Update the home page URLs to HTTPS.

xz: Add io_seek_src().

xz: Use POSIX_FADV_RANDOM for in "xz --list" mode.

xz --list is random access so POSIX_FADV_SEQUENTIAL was clearly
wrong.

liblzma: Make lzma_index_decoder_init() visible to other liblzma funcs.

This is to allow other functions to use it without going
via the public API (lzma_index_decoder()).

liblzma: Add generic support for input seeking (LZMA_SEEK).

Also mention LZMA_SEEK in xz/message.c to silence a warning.

liblzma: Fix lzma_memlimit_set(strm, 0).

The 0 got treated specially in a buggy way and as a result
the function did nothing. The API doc said that 0 was supposed
to return LZMA_PROG_ERROR but it didn't.

Now 0 is treated as if 1 had been specified. This is done because
0 is already used to indicate an error from lzma_memlimit_get()
and lzma_memusage().

In addition, lzma_memlimit_set() no longer checks that the new
limit is at least LZMA_MEMUSAGE_BASE. It's counter-productive
for the Index decoder and was actually needed only by the
auto decoder. Auto decoder has now been modified to check for
LZMA_MEMUSAGE_BASE.

liblzma: Similar memlimit fix for stream_, alone_, and auto_decoder.

liblzma: Fix handling of memlimit == 0 in lzma_index_decoder().

It returned LZMA_PROG_ERROR, which was done to avoid zero as
the limit (because it's a special value elsewhere), but using
LZMA_PROG_ERROR is simply inconvenient and can cause bugs.

The fix/workaround is to treat 0 as if it were 1 byte. It's
effectively the same thing. The only weird consequence is
that then lzma_memlimit_get() will return 1 even when 0 was
specified as the limit.

This fixes a very rare corner case in xz --list where a specific
memory usage limit and a multi-stream file could print the
error message "Internal error (bug)" instead of saying that
the memory usage limit is too low.

Update NEWS for 5.2.3.

Document --enable-sandbox configure option in INSTALL.

liblzma: Avoid multiple definitions of lzma_coder structures.

Only one definition was visible in a translation unit.
It avoided a few casts and temp variables but seems that
this hack doesn't work with link-time optimizations in compilers
as it's not C99/C11 compliant.

Fixes:
http://www.mail-archive.com/xz-devel@tukaani.org/msg00279.html

Update THANKS.

tuklib_cpucores: Add support for sched_getaffinity().

It's available in glibc (GNU/Linux, GNU/kFreeBSD). It's better
than sysconf(_SC_NPROCESSORS_ONLN) because sched_getaffinity()
gives the number of cores available to the process instead of
the total number of cores online.

As a side effect, this commit fixes a bug on GNU/kFreeBSD where
configure would detect the FreeBSD-specific cpuset_getaffinity()
but it wouldn't actually work because on GNU/kFreeBSD it requires
using -lfreebsd-glue when linking. Now the glibc-specific function
will be used instead.

Thanks to Sebastian Andrzej Siewior for the original patch
and testing.

xz: Fix copying of timestamps on Windows.

xz used to call utime() on Windows, but its result gets lost
on close(). Using _futime() seems to work.

Thanks to Martok for reporting the bug:
http://www.mail-archive.com/xz-devel@tukaani.org/msg00261.html