Update NEWS.md

Preparing v2.3.0 release

Merge pull request #1028 from quangnh89/master

update instructions to build with Visual Studio and 64-Bit Visual C++ Toolset.

update instructions to build with Visual Studio and 64-Bit Visual C++ Toolset.

Merge pull request #1022 from rouault/partial_component_decoding

Add capability to decode only a subset of all components of an image.

Remove opjstyle binary that went inadvertently committed in d4e54e9f35d532062533f1d369c159810b01d224 (#1026)

INSTALL.md: add instructions to build with Visual Studio (#1023, from Winfried instructions)

Merge pull request #1024 from stweil/warnings

Add missing newline at end of file

Add missing newline at end of file

This fixes warnings from the clang compiler:

/openjpeg/src/lib/openjp2/sparse_array.h:141:32: warning:
 no newline at end of file [-Wnewline-eof]

Signed-off-by: Stefan Weil <sw@weilnetz.de>

Add assertion

Comment dead code (Coverity CID 94681)

Workaround Coverity CID 113061

Workaround Coverity CID 169392

opj_j2k_get_default_thread_count(): validate value of OPJ_NUM_THREADS to fix Coverity 179465 and 179463

Fix copy&paste error (Coverity CID 169394)

opj_decompress: add a warning when -d and -t are used together (#693)

Use a #define J2K_MAX_POCS 32 to avoid hard-coded constant (#349)

Avoid index-out-of-bounds access when invoking opj_compress with -n 11 or higher. But not a proper fix itself (refs #493)

Avoid relying on operator precedence (raised by cppcheck)

Workaroudn cppcheck (correct) warning about same code in then and else branches

Fix badly named variable in function prototype (raised by cppcheck)

Remove redundant test (raised by cppcheck)

Replace  C++ style comments by C ones

Replace  C++ style comments by C ones

opj_set_decoded_components(): add a provision for a apply_color_transforms parameter in case we support it in the future

Add capability to decode only a subset of all components of an image.

This adds a opj_set_decoded_components(opj_codec_t *p_codec,
OPJ_UINT32 numcomps, const OPJ_UINT32* comps_indices) function,
and equivalent "opj_decompress -c compno[,compno]*" option.

When specified, neither the MCT transform nor JP2 channel transformations
will be applied.

Tests added for various combinations of whole image vs tiled-based decoding,
full or reduced resolution, use of decode area or not.

src/bin/jp3d/convert.c: add missing fclose() in error code path (#1018)

Fix warnings and errors when compiling with a c++ compiler (#1021)

Fix compilation with AppleClang 8.1.0.8020042 (#1020)

Build: make sure that -DBUILD_SHARED_LIBS:bool=off is honoured to build only the static lib (#1019)

opj_tcd_mct_decode(): avoid heap buffer overflow when components have not the same number of resolutions. Also fixes an issue with subtile decoding. Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=3331. Credit to OSS Fuzz

opj_j2k_update_image_data(): restrict optimized path

Use opj_image_data_free() where appropriate (adapted from https://github.com/uclouvain/openjpeg/pull/1015/commits/dab9db0723a5bb9f3d745f9dd7a0b8b3b18b8054, #1014)

Properly fix cc893a4ebfaf8c42cf1221ac82c83df91e77340b to avoid heap-buffer-overflow when numcomps < 3

Avoid malloc poisoning issue when including <pthread.h> of uclibc (#1013)

opj_tcd_mct_decode(): fix checks to verify MCT can be done safely. Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=3305 (master only)

Fix invalid access out of bounds, and bad behaviour, when calling repeatdly opj_get_decoded_tile() on an image with a color palette

Fix 2.2.0 regression when reading codestream with reperated calls to opj_get_decoded_tile() where tile parts of a same tile are not consecutive

This check was introduced per #939, but relied on the incorrect assumption
we decode all the tile parts of all tiles.

Fix null pointer dereference on partial tile decoding when they are empty. Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=3297 (master only)

Add knownfailures-Ubuntu12.04-gcc4.6.3-x86_64-Release-3rdP.txt

For some reason, the OPJ_CI_ARCH=x86_64 OPJ_CI_BUILD_CONFIGURATION=Release OPJ_NUM_THREADS=2
configuration fails once PR1010 has been merged in master
( https://travis-ci.org/uclouvain/openjpeg/jobs/272219011 ) whereas (almost) the same
code in my branch didn't fail per https://travis-ci.org/rouault/openjpeg/jobs/271738113

The errors we get are the same as with the other x86_64 compilers, so nothing alarming here.

Merge pull request #1010 from rouault/subtile_decoding_stage3

Subtile decoding: memory use reduction and perf improvements

Replace uses of size_t by OPJ_SIZE_T

opj_getopt.c: avoid crash on invalid input (#301)

Improve error message when specifying a too big cp_reduce parameter (#474)

opj_v4dwt_decode_step1_sse(): rework a bit to improve code generation

opj_j2k_update_image_data(): avoid allocating image buffer if we can just reuse the tile buffer one

opj_t1_clbl_decode_processor(): use SSE2 in subtile decoding code path, for irreversible

Replace error message 'Not enough memory for tile data' by 'Size of tile data exceeds system limits' (refs https://github.com/uclouvain/openjpeg/pull/730#issuecomment-326654188)

opj_t1_decode_cblk(): move some code to codeblock processor for (theoretical) better multi-threading in subtile decoding

sparse_array: optimizations for lossy case

opj_tcd_rateallocate(): make sure to use all passes for a lossless layer (#1009)

And save a useless loop, which should be a tiny faster.

opj_j2k_setup_encoder(): emit warnings if tcp_rates are not decreasing or tcp_distoratio are not increasing (#1009)

opj_j2k_setup_encoder(): avoid potential int overflow in computations related to max_cs_size

opj_compress help: revert 32572617765cb9d77302384653a48d793b8f657f and indicate 1 again as being the value to get lossless for -r. In opj_j2k_setup_encoder(), make sure that ll rates[] <= 1.0 are set to 0. Document 0 as being lossless for -q / tcp_distoratio (#1009)

opj_compress help: indicate 0 value, instead of 1, for -r parameter to get lossless encoding (#1009)

opj_v4dwt_decode_step2_sse(): loop unroll

opj_dwt_decode_partial_97(): simplify/more efficient use of sparse arrays in vertical pass

opj_tcd_dc_level_shift_decode(): optimize lossy case

opj_dwt_decode_partial_1_parallel(): add SSE2 optimization

Sub-tile decoding: speed up vertical pass in IDWT5x3 by processing 4 cols at a time

Tiny perf improvement in T1 stage for subtile decoding

test_decode_area: accept user bounds in -strip_height mode

Optimize opj_dwt_decode_partial_1() when cas == 0

opj_j2k_update_image_data(): avoid zero-ing the buffer if not needed

Optimize reading/write into sparse array

Allow several repeated calls to opj_set_decode_area() and opj_decode() for single-tiled images

* Only works for single-tiled images --> will error out cleanly, as currently
  in other cases
* Save re-reading the codestream for the tile, and re-use code-blocks of the
  previous decoding pass.
* Future improvements might involve improving opj_decompress, and the image writing logic,
  to use this strategy.

opj_j2k_decode_tiles(): apply whole single tile image decoding optimization to reading at reduced resolution as well

Various changes to allow tile buffers of more than 4giga pixels

Untested though, since that means a tile buffer of at least 16 GB. So
there might be places where uint32 overflow on multiplication still occur...

TCD: allow tile buffer to be greater than 4GB on 64 bit hosts (but number of pixels must remain under 4 billion)

Fix compiler warning in release mode

Remove limitation that prevents from opening images bigger than 4 billion pixels

However the intermediate buffer for decoding must still be smaller than 4
billion pixels, so this is useful for decoding at a lower resolution level,
or subtile decoding.

opj_tcd_init_tile(): fix typo on overflow detection condition (introduced in previous commit)

opj_dwt_decode_partial_tile(): avoid undefined behaviour in lifting operation by properly initializing working buffer

Sub-tile decoding: only allocate tile component buffer of the needed dimension

Instead of being the full tile size.

* Use a sparse array mechanism to store code-blocks and intermediate stages of
  IDWT.
* IDWT, DC level shift and MCT stages are done just on that smaller array.
* Improve copy of tile component array to final image, by saving an intermediate
  buffer.
* For full-tile decoding at reduced resolution, only allocate the tile buffer to
  the reduced size, instead of the full-resolution size.

opj_compress: reorder checks related to code block dimensions, to avoid potential int overflow

opj_j2k_setup_encoder(): validate code block width/height

opj_t1_allocate_buffers(): remove useless overflow checks

Fix undefined shift behaviour in opj_dwt_is_whole_tile_decoding(). Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=3255. Credit to OSS Fuzz

Use IDWT whole tile decoding if the area of interest equals to the image bounds, taking into account the reduced resolution factor

Add test for fix of a55c024fc6b917a409b85aeafd7326421c4aea34

Subtile decoding: fix overflows in subband coordinate computation that cause later buffer overflow. Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=3115. Credit to OSS Fuzz. master only

Make opj_set_decode_area() and opj_decode() take into account opj_set_decoded_resolution_factor() (#1006, affect API use)

* Better document usage of opj_set_decode_area(), ie expecting coordinates
  in full resolution/reference grid even if requesting at a lower resolution
  factor
* Make sure that image->comps[].factor is set by opj_set_decode_area() and
  opj_decode() from the value specified in opj_set_decoded_resolution_factor()
* opj_decompress: add 2 environmenet variables to test alternate ways of
  using the API, namely USE_OPJ_SET_DECODED_RESOLUTION_FACTOR=YES to use
  opj_set_decoded_resolution_factor() instead of parameters.cp_reduce, and
  SKIP_OPJ_SET_DECODE_AREA=YES to not call opj_set_decode_area() if -d is
  not specified.

Another cleanup in knownfailures-* files

Remove test steps from specialized knownfailures- that are already in knownfailures-all.txt

issue104_jpxstream.jp2 decompresses just fine (and like Kakadu). Update md5refs.txt and remove from knownfailures

Remove broken.jpc test from known failures, by avoiding too long processing time

imagetopgx(): improve performance in 8 bit case (relates to broken.jpc test case)

Remove -NR-DEC-p1_06.j2k-156-decode and NR-DEC-p1_06.j2k-164-decode from knownfailures

and make them explicit failures. The result images are empty at the requested resolution

opj_dwt_decode_partial_97(): perf improvement: limit copy of coefficients at end of horizontal pass to actual range of interest

test_tile_encoder: fix checks on argc

j2k.c: fix comment, and remove FIXME

Add comment

Merge pull request #1001 from rouault/subtile_decoding_stage2

Subtile decoding: only apply IDWT on areas that participate to the window of interest

Add comments for filter_width values

Subtile decoding: only do 9x7 IDWT computations on relevant areas of tile-component buffer.

pgxtoimage(): avoid excessive memory allocation attempt (#999)

Subtile decoding: only do 5x3 IDWT computations on relevant areas of tile-component buffer.

This lowers 'bin/opj_decompress -i ../MAPA.jp2 -o out.tif -d 0,0,256,256'
down to 0.860s

pgxtoimage(): fix write stack buffer overflow (#997)

test_decode_area: fix to make it work with odd image dimensions

bmp_read_rle8_data(): avoid potential infinite loop (#996)