Merge "Incorporate flexible tx type and tx partition in RD scheme" into nextgenv2

Merge branch 'master' into nextgenv2

Incorporate flexible tx type and tx partition in RD scheme

This commit hooks up the rate-distortion optimization system to
fully exploit recursive transform block partition and multiple
transform type. The compression performance of the two experiments
largely adds up. For derf set, ext-tx provides additional 2.1%
coding gains on top of the gains due to recursive transform block
partition (0.69%).

Change-Id: I1091fb9545f74e489a6a2489dc3c12f5abd05043

Merge "Fix block size computation in coeff token packing" into nextgenv2

Merge "vpx_scale: fix the issue in msan test."

Fix block size computation in coeff token packing

Correctly compute the block size in bit-stream coefficient token
packing. This fixes an enc/dec mismatch at very high bit-rates.

Change-Id: I37bf084731dc660df0c695cad406ddcd0f9eb904

Merge "Move noise level estimate outside denoiser."

vpx_scale: fix the issue in msan test.

Do memset to fix msan issue due to the access of uninitialized
memory.

BUG=https://code.google.com/p/chromium/issues/detail?id=549155

Change-Id: I02f995ede79e3574e72587cc078df1a0d11af002

Merge "Adding placeholders for new expts to be added" into nextgenv2

Move noise level estimate outside denoiser.

Source noise level estimate is also useful for
setting variance encoder parameters (variance thresholds,
qp-delta, mode selection, etc), so allow it to be used also
if denoising is not on.

Change-Id: I4fe23d47607b4e17a35287057f489c29114beed1

Move palette-based intra prediction out of misc-fixes

Change-Id: Ia59724413c4a4831390119a33d40a7d713b4b69f

Merge "Make loop filter support recursive transform block partitioning" into nextgenv2

Adding placeholders for new expts to be added

Change-Id: I38952cd55b91f35e5db45bc8e6a20ef25069c464
--ext-refs:   extended references - for multi-ref in nextgen
--ext-inter:  extended inter - for new_inter/copy_mode in nextgen
--ext-interp: for new interpolation

vp9 denoiser: Don't estimate noise on resized trigger frame.

Change-Id: I60461f011d1aba0b1eb6584c6940f745221915f4

Merge "Refactor loop filter mask" into nextgenv2

Merge "Fix a switch condition in select_tx_block" into nextgenv2

Merge branch 'master' into nextgenv2

Make loop filter support recursive transform block partitioning

This commit allows the loop filter to account for the recursive
transform block partition when selecting the filter and mask.

Change-Id: I62b6c2dcc0497cbe1f264b03c46163f55d2c9752

Refactor loop filter mask

This commit refactors the loop filter selection process to support
variable transform block sizes based filter mask. It disables the
multi-thread loop filter implementation to simplify the experiments.
The speed impact on speed 0 encoding is negligible.

Change-Id: Ia470b6da9ad833fe6eb72d2cbeda9296b21910ec

Merge "Convert motion search config from AoS to SoA"

Fix a switch condition in select_tx_block

Change-Id: I3d90a0286c5ef559b91ad298db97e8990becf85f

Add fdct32

Change-Id: Ifc709b62313cca0101638ed85ddb5c82e5f84fac

Add fdct16

Change-Id: Id155b76d6694ba3fe5184ed2c20d57db4951ebf8

Add fdct8

Change-Id: I66b884bc831324b5295c7874aa23f62042157834

Merge "Add fdct4" into nextgenv2

Merge "Support per transform block skip coding" into nextgenv2

Support per transform block skip coding

Allow the encoder to drop individual transform block coding.

Change-Id: I2c2b2985254cb92baf891f03daa33f067279373b

Merge branch 'master' into nextgenv2

Merge changes I3b89e7a6,I8ef772a0

* changes:
  vp9_dx_iface: move struct defs to separate header
  vp9_decodeframe.h: add missing include

Merge "Reset txfm context condition for skip coded blocks" into nextgenv2

Reset txfm context condition for skip coded blocks

If a block has all coefficients quantized to zero, the codec will
assume that it uses largest transform block size.

Change-Id: Icd4e8e7cdc4b6af6974f87169e50b040ebfe9020

vp9_dx_iface: move struct defs to separate header

this avoids redefining vpx_codec_vp9_dx, vpx_codec_vp9_dx_algo in
vp9_encoder_parms_get_to_decoder.cc

Change-Id: I3b89e7a62497227ee32419f1a7d30e4c10a13c05

Merge "Make the zero handling in extend_to_full_distribution more explicit."

vp9_decodeframe.h: add missing include

Change-Id: I8ef772a016a79cab88bee8e9739530aa030baaa9

Specify feasible parameter values for lossless mode

Change-Id: I53d9719dcb81fa83fe3c920a552db5a0f1cacefa

Make the zero handling in extend_to_full_distribution more explicit.

The old workaround "p = 0 ? 0 : p -1" is misleading.

?: happens before =
assigning back to p truncates to one byte.

Therefore it is equivalent to (p - 1) & 0xFF, but the check just exists
to work around a first pass bug, so let's make the work around more
clear.

https://bugs.chromium.org/p/webm/issues/detail?id=1089

Change-Id: I587c44dd61c1f3767543c0126376f881889935af

Turn off fixed tx size in frame header

Temporarily turn off the fixed transform size at frame level.

Change-Id: I94a6a3b18893909d33fb7fa91e73ee3568b537b2

Add fdct4

Change-Id: Ic4539cb6c2d421ddffa44f58d3ce21bd797b57c6

Merge "VP9_resizing: add limitation to the downsacling resolution."

Merge "Shrink probability remap tables."

Enable entropy coding of recursive transform block partition

This commit enables the entropy coding of the recursive transform
block partition syntax.

Change-Id: I0c2509fb7b9822d12a721f9ebf9327fac83c777e

Merge "Refactoring tx-types to add more flexibility" into nextgenv2

VP9_resizing: add limitation to the downsacling resolution.

Width and height of downscaling resolution should not be lower
than min_width and min_height which can be set as needed, both
are 180 for now.

Change-Id: I34d06704ea51affbdd814246e22ee8d41d991f00

Merge "VP9 decoder: Add more test vectors for resizing."

Update to vp9_spatial_svc_encoder.

Some fixes for rate control stats and bypass mode.

Change-Id: I28bed5467a681b8867cca55852d5d3a25d850f39

Merge branch 'master' into nextgenv2

Refactoring tx-types to add more flexibility

Allows inter and intra tx_types to have different sets of
transforms for different tx_size/sb_type combinations.

Change-Id: Ic0ac1daef7a9fb15c4210271e4d04cd36e5cec8e

VP9 decoder: Add more test vectors for resizing.

Refer to doc "vp9-test-vectors".

BUG=https://code.google.com/p/webm/issues/detail?id=1086

Change-Id: I523d1f39141a3a86f113604cbdb9cd41cc2d6470

Merge "VP9-SVC: Allow frame dropping due to overshoot for spatial layers."

Merge "Revert "Replace the zero handling in extend_to_full_distribution.""

Merge "Skip AS detection when using --enable-external-build"

Merge "Only set sysroot when alt_libc finds a directory"

Revert "Replace the zero handling in extend_to_full_distribution."

This reverts commit 7f56cb29787b187c8cb1b778918ca3b80184c804.

It causes uninitialized reads in the first pass setting up later cost tables.

Change-Id: I2df498df3f5c03eff359f79edf045aed0c618dc9

Use precise distortion metric

Rework the rate distortion optimization pipeline. Use precise
distortion metric that accounts for the forward and inverse
transform rounding effect.

Change-Id: Ibe19ce9791ec3547739294cc3012dd9e11f4ea49

Account for variable txfm sizes in coeff token packing

This commit makes the coefficient token packtization process account
for variable transform block sizes supported in a single processing
block. It fixes an enc/dec mismatch issue when var-tx, ext-tx, and
misc-fixes experiments are all turned on.

Change-Id: I2e8946e6f72de567603a568debbadad11196430c

Add more resize test videos that with larger resolution change intervals.

These videos change resolution every 10 frames versus every 3 frames in current
test sets.

Change-Id: Ic33f449fc9b6d2f480825d4715b8f63e70801232

Convert motion search config from AoS to SoA

This is a prerequisite for vectorizing vp9_diamond_search_sad_c.

Change-Id: I49cd9148782410ca8b16e8a468ca9e7c6d088410

Merge branch 'master' into nextgenv2

Change-Id: I63dc39d1ec9ad2e2454da6f5956dcd4367b87190

Merge "Add several new test vectors with small resolution."

Add several new test vectors with small resolution.

Change-Id: I70b1b8162a0c9b8501358ba7d32fecd1dc020ab5

Add tx_type counts in key frame

Properly update the transform type counts in key frame coding at
decoder. It fixes an enc/dec mismatch issue when both ext-tx and
misc-fixes are turned on.

Change-Id: I1e40a77c8d8157d5ff254b072ce474d8dfbaa3ae

Update to vp9-denoising.

Set increase_denoising parameter for temporal filter.

Change-Id: Id98bf160db98dfa9aedf76e20b43e6f7c783fb1c

Only set sysroot when alt_libc finds a directory

Change-Id: Idc0a9adb4fb371272d6c8c98737f66c6cf209e37

VP9-SVC: Allow frame dropping due to overshoot for spatial layers.

For 1 pass CBR mode.

Change-Id: I8bceb489a850ec26f05382eecb5c0c32a1bb8883

Merge "Adjustments to vp9-denoising."

Shrink probability remap tables.

Saves 2288 bytes in vp8+vp9 libvpx.a.

Change-Id: Iaa5712e59a9693ed58cea63de63781a96827e44e

Merge "Accumulate EXT_TX counts for multithread" into nextgenv2

Adjustments to vp9-denoising.

Adjust variance threshold, delta-qp, and intra penalty cost,
based on estimated noise level in source.

Replace denoising_on with a level value=L/M/H.

Change-Id: I0c017dae75a5d897367d2c42dec26f2f37e447c1

Merge "Reorder code to be consistent accross branches"

Merge "Replace the zero handling in extend_to_full_distribution."

Accumulate EXT_TX counts for multithread

EXT_TX introduces some new symbols to be decoded.
The encoder counts how many times these are used.
In multithreaded mode, the counts from the worker threads
need to be accumulated into the main thread.

This change means that VP10/VPxEncoderThreadTest now works
with more choices of cpu-used and number of passes.

Change-Id: Ibe7e6a3c58145265f4ead155ff98fb4cb37c3513

Reorder code to be consistent accross branches

This is to make future merge a bit easier.

Change-Id: I1039de381d8fe7b9988b57c23d15d0cb5f2fcd32

Merge branch 'master' into nextgenv2

Change-Id: I0e4030a37354bb23b3aa8be5cc1473770b9e7b06

Fix VS build.

Add a cast on a double to unsigned assignment.

Change-Id: I4abce7cfa13e145ed0c71469844ac9b274aa1411

Fix early termination flag in recursive transform block search

Properly reset the early termination flag in the recursive transform
block partitioning rate-distortion optimization scheme.

Change-Id: Ibfe918f21f11dcb1ec267c09f954c635305cc95a

Skip AS detection when using --enable-external-build

The option exists specifically to allow for configurations
where the build environment is different from the configure
environment.

Change-Id: I95196fa3c49700251d10ff5d256dc7380e39d0c4

Fix lossless coding

Use inter_block_yrd as rate-distortion optimization for lossless
coding. This fixes transform coefficient buffer swap use case and
resolves the unit test failure related to lossless coding.

Change-Id: I1512dab5ed5760c31f7de21a06e8d9ed1eb081fa

Test fix for VP10

Disbales threading test for speeds > 0 and all modes other than
2-pass temporarily.

Change-Id: I098ef2b16f575c039a7f6a21244dd87eee6960ce

Merge "Code cleanup for vp9-denoiser."

Merge "Make transform block partition scheme support use largest txfm setting" into nextgenv2

Merge "Incorrect frame used in KF boost loop."

Merge "Bug in clamping of base_frame_target."

Code cleanup for vp9-denoiser.

Change-Id: Ibb573f50c4bf2cfb382b589803f3363db0ac1285

Replace the zero handling in extend_to_full_distribution.

The old workaround "p = 0 ? 0 : p -1" is misleading.

?: happens before =
assigning back to p truncates to one byte.

Therefore it is equivalent to (p - 1) & 0xFF, but the check just exists
to work around a first pass bug, so let's make the work around more
clear.

https://code.google.com/p/webm/issues/detail?id=1089

Change-Id: Ia6dcc8922e1acbac0eeca23a4d564a355c489572

Make transform block partition scheme support use largest txfm setting

This commit properly resets the recursive transform block partition
array in the settings of using largest transform block size at frame
header level. It fixes one of the unit test failure related to the use
of frame level fixed transform block size with 440 color format.

Change-Id: I6750f323e2c2510c080ffc3af82ce2041f4f60b8

Merge "Optimize vpx_quantize_{b,b_32x32} assembler."

Merge "Optimize vp9_highbd_block_error_8bit assembly."

Merge "palette: Replace rand() call with custom LCG."

Merge "Use explicit block position in foreach_transformed_block"

Merge branch 'master' into nextgenv2

palette: Replace rand() call with custom LCG.

The custom LCG is based on the POSIX recommend constants for a 16-bit
rand(). This implementation uses less computation than typical standard
library procedures which have been extended for 32-bit support, is
guaranteed to be reentrant, and identical everywhere.

Change-Id: I3140bbd566f44ab820d131c584a5d4ec6134c5a0
Ref: http://pubs.opengroup.org/onlinepubs/9699919799/functions/rand.html

Silence compiler warnings when high bit-depth is turned on

Clear the compiler warnings when both ext-tx and high bit-depth
are turned on.

Change-Id: I2e02f1f29043f2952fe215f8183b5bfd80e16f58

Bug in clamping of base_frame_target.

Bug relating to issue:- http://b/25090786

base_frame_target is supposed to track the idealized bit
allocation based on error score and not the actual bits
allocated to each frame.

The clamping of this value based on the VBR min and max pct values
was causing a bug where in some cases the loop that adjusts the
active max quantizer for each GF group was running out of bits at
the end of a KF group. This caused a spike in Q and some ugly artifacts.

A second change makes sure that the calculation of the active
Q range for a group DOES, however, take account of clamping.

Change-Id: I31035e97d18853530b0874b433c1da7703f607d1

Properly handle non-420 color format in recursive transform scheme

This commit makes the recursive transform block partitioning properly
handle the non-420 color format. It resolves an enc/dec mismatch
issue in that setting when var-tx experiment is turned on.

Change-Id: I48a91de02c11b3153f897d1cca0ae948eec15605

Build fix for ext-tx

Change-Id: Ifab43f85f6ae1be6b9f95521f79ba49055353b5f

Fix enc/dec mismatch in var-tx experiment

This commit fixes an enc/dec mismatch issue in recursive transform
partitioning experiment due to merge conflict.

Change-Id: I66146ef806c008902c91d54f4f8c7ccf47996b78

VP9: Estimate noise level for denoiser.

Periodically estiamte noise level in source, and only denoise
if estimated noise level is above threshold.

Change-Id: I54f967b3003b0c14d0b1d3dc83cb82ce8cc2d381

Use explicit block position in foreach_transformed_block

Add the row and column index to the argument list of unit functions
called by foreach_transformed_block wrapper. This avoids the
repeated internal parsing according to the block index.

Change-Id: Ie7508acdac0b498487564639bc5cc6378a8a0df7

Merge "Merge branch 'masterbase' into nextgenv2" into nextgenv2

Merge branch 'masterbase' into nextgenv2

Conflicts:
configure

Change-Id: I7f331981e19338451d16030f0ac1179db2e08c4d