Add vp10_fwd_txfm1d_test

Change-Id: If3bef2be355227cfc2932e4471b84c21c7cd2b90

Add fadst32

Change-Id: I77299f0e39fc7cef91e7e420513dbd05194f320a

Add fadst16

Change-Id: I5175e39b5df73646488f74b2a9e4a463ae79d91a

Merge "Fix transform tables in C implementations." into nextgenv2

Merge "Add fadst8" into nextgenv2

Merge "Add fadst4" into nextgenv2

Merge "Simplify txfm rate-distortion optimization" into nextgenv2

Simplify txfm rate-distortion optimization

This commit refactors the rate-distortion optimization scheme for
transform block coding. When both ext-tx and var-tx experiments
are turned on, the encoding time for bus_cif at 1000 kbps goes down
from 706377 ms to 666503 ms (5.6% speed-up). The coding statics
remain unchanged.

Change-Id: I20835db573725580aad79c16220f799ce01f2093

Merge branch 'master' into nextgenv2

Merge "Bias against non-zero mv for large blocks."

Bias against non-zero mv for large blocks.

Change is only for real-time mode, speed > 5, and non-screen content mode.
Bias is based on block size and motion vector level (motion above some threshold).

Helps to improves stability in background from lightning changes.
PSNR/SSIM metrics on RTC set almost no change/neutral (within +/- 0.1).

Change-Id: I7eac13c1ae10be4ab1f40acc7f9f1df5653ece9d

Merge "Re-work rate-distortion optimization scheme for transform coding" into nextgenv2

Merge "Update to encoder_breakout_test, for non-rd mode."

Merge "Fix a msvc warning"

Merge "Generate intra prediction reference values only when necessary"

Speed up per-commit test for nextgenv2 branch

Jenkins per-commit test need to be expedited as more experiments are
added into the nextgenv2 branch. This patch does the following:

thread test: change the length of test clip from 5 frames to 3 frames;
only test speed 1.
ArfFreq test: marked as "large".

The tests marked as "large" will be removed from per-commit test
(to nightly test).

Change-Id: I62b373c52b481dcd281e741ebf5098408a97ff4d

Merge "Adjust threshold for datarate frame drop test."

Update to encoder_breakout_test, for non-rd mode.

Only use non-zero threshold(s) for breakout if
the motion level of the current tested mode is low.

Change-Id: I22aae961cc42371b49d3f648560181cc54708502

Fix a msvc warning

Change-Id: Id5b8f597fb275395232559fea7bfeb56912b88a1

Merge "misc fixes: Remove a wasted value."

Merge "Add target for Mac OS X 10.11 'El Capitan'"

Fix transform tables in C implementations.

These tables were out of sync with the indexing enum since the
refactoring in commit 4f16f119 (change 303389), due to the removal
of the ext_tx_to_txtype lookup table. This patch just puts them
back in order.

Change-Id: Ieb7d57654f61b99b511d54c9ba09abbd5e8d0d14

Re-work rate-distortion optimization scheme for transform coding

This commit re-works the rate-distortion optimization scheme for
transform coding. It improves the overall compression performance.
For derf set, the ext-tx experiment provides 2.27% coding gains,
and the new scheme that integrates multiple transform type selection
and recursive transform block partitioning provides a total of 3.24%
coding gains.

Change-Id: Ia1887c4c44b73dfb915d091d96660a99f09d5cc3

Merge "Incorporate flexible tx type and tx partition in RD scheme" into nextgenv2

Adjust threshold for datarate frame drop test.

Current threshold is little too strict.

Change-Id: I99ec1409d095e0c2fd3b7ab398742cabcc05700b

Merge branch 'master' into nextgenv2

Incorporate flexible tx type and tx partition in RD scheme

This commit hooks up the rate-distortion optimization system to
fully exploit recursive transform block partition and multiple
transform type. The compression performance of the two experiments
largely adds up. For derf set, ext-tx provides additional 2.1%
coding gains on top of the gains due to recursive transform block
partition (0.69%).

Change-Id: I1091fb9545f74e489a6a2489dc3c12f5abd05043

Merge "Fix block size computation in coeff token packing" into nextgenv2

Merge "vpx_scale: fix the issue in msan test."

Fix block size computation in coeff token packing

Correctly compute the block size in bit-stream coefficient token
packing. This fixes an enc/dec mismatch at very high bit-rates.

Change-Id: I37bf084731dc660df0c695cad406ddcd0f9eb904

Add target for Mac OS X 10.11 'El Capitan'

Change-Id: I174f5b41be384894e41b8e2926cbf8fd0f8e21b2

Merge "Move noise level estimate outside denoiser."

vpx_scale: fix the issue in msan test.

Do memset to fix msan issue due to the access of uninitialized
memory.

BUG=https://code.google.com/p/chromium/issues/detail?id=549155

Change-Id: I02f995ede79e3574e72587cc078df1a0d11af002

Merge "Adding placeholders for new expts to be added" into nextgenv2

Move noise level estimate outside denoiser.

Source noise level estimate is also useful for
setting variance encoder parameters (variance thresholds,
qp-delta, mode selection, etc), so allow it to be used also
if denoising is not on.

Change-Id: I4fe23d47607b4e17a35287057f489c29114beed1

Move palette-based intra prediction out of misc-fixes

Change-Id: Ia59724413c4a4831390119a33d40a7d713b4b69f

Merge "Make loop filter support recursive transform block partitioning" into nextgenv2

Generate intra prediction reference values only when necessary

This can help increase encoding speed substantially.

Change-Id: Id0c009146e6e74d9365add71c7b10b9a57a84676

Adding placeholders for new expts to be added

Change-Id: I38952cd55b91f35e5db45bc8e6a20ef25069c464
--ext-refs:   extended references - for multi-ref in nextgen
--ext-inter:  extended inter - for new_inter/copy_mode in nextgen
--ext-interp: for new interpolation

vp9 denoiser: Don't estimate noise on resized trigger frame.

Change-Id: I60461f011d1aba0b1eb6584c6940f745221915f4

Merge "Refactor loop filter mask" into nextgenv2

Merge "Fix a switch condition in select_tx_block" into nextgenv2

Merge branch 'master' into nextgenv2

Make loop filter support recursive transform block partitioning

This commit allows the loop filter to account for the recursive
transform block partition when selecting the filter and mask.

Change-Id: I62b6c2dcc0497cbe1f264b03c46163f55d2c9752

Refactor loop filter mask

This commit refactors the loop filter selection process to support
variable transform block sizes based filter mask. It disables the
multi-thread loop filter implementation to simplify the experiments.
The speed impact on speed 0 encoding is negligible.

Change-Id: Ia470b6da9ad833fe6eb72d2cbeda9296b21910ec

Merge "Convert motion search config from AoS to SoA"

Fix a switch condition in select_tx_block

Change-Id: I3d90a0286c5ef559b91ad298db97e8990becf85f

Add fadst8

Change-Id: Ida4f292b824a29b4ffac8cad6e4042867f427979

Add fadst4

Change-Id: I320a1cf82d1705e5ec7fe1870327f70ce8493489

Add fdct32

Change-Id: Ifc709b62313cca0101638ed85ddb5c82e5f84fac

Add fdct16

Change-Id: Id155b76d6694ba3fe5184ed2c20d57db4951ebf8

Add fdct8

Change-Id: I66b884bc831324b5295c7874aa23f62042157834

Merge "Add fdct4" into nextgenv2

Merge "Support per transform block skip coding" into nextgenv2

Support per transform block skip coding

Allow the encoder to drop individual transform block coding.

Change-Id: I2c2b2985254cb92baf891f03daa33f067279373b

Merge branch 'master' into nextgenv2

Merge changes I3b89e7a6,I8ef772a0

* changes:
  vp9_dx_iface: move struct defs to separate header
  vp9_decodeframe.h: add missing include

Merge "Reset txfm context condition for skip coded blocks" into nextgenv2

Reset txfm context condition for skip coded blocks

If a block has all coefficients quantized to zero, the codec will
assume that it uses largest transform block size.

Change-Id: Icd4e8e7cdc4b6af6974f87169e50b040ebfe9020

vp9_dx_iface: move struct defs to separate header

this avoids redefining vpx_codec_vp9_dx, vpx_codec_vp9_dx_algo in
vp9_encoder_parms_get_to_decoder.cc

Change-Id: I3b89e7a62497227ee32419f1a7d30e4c10a13c05

Merge "Make the zero handling in extend_to_full_distribution more explicit."

vp9_decodeframe.h: add missing include

Change-Id: I8ef772a016a79cab88bee8e9739530aa030baaa9

Specify feasible parameter values for lossless mode

Change-Id: I53d9719dcb81fa83fe3c920a552db5a0f1cacefa

Make the zero handling in extend_to_full_distribution more explicit.

The old workaround "p = 0 ? 0 : p -1" is misleading.

?: happens before =
assigning back to p truncates to one byte.

Therefore it is equivalent to (p - 1) & 0xFF, but the check just exists
to work around a first pass bug, so let's make the work around more
clear.

https://bugs.chromium.org/p/webm/issues/detail?id=1089

Change-Id: I587c44dd61c1f3767543c0126376f881889935af

Turn off fixed tx size in frame header

Temporarily turn off the fixed transform size at frame level.

Change-Id: I94a6a3b18893909d33fb7fa91e73ee3568b537b2

Add fdct4

Change-Id: Ic4539cb6c2d421ddffa44f58d3ce21bd797b57c6

Merge "VP9_resizing: add limitation to the downsacling resolution."

Merge "Shrink probability remap tables."

Enable entropy coding of recursive transform block partition

This commit enables the entropy coding of the recursive transform
block partition syntax.

Change-Id: I0c2509fb7b9822d12a721f9ebf9327fac83c777e

Merge "Refactoring tx-types to add more flexibility" into nextgenv2

VP9_resizing: add limitation to the downsacling resolution.

Width and height of downscaling resolution should not be lower
than min_width and min_height which can be set as needed, both
are 180 for now.

Change-Id: I34d06704ea51affbdd814246e22ee8d41d991f00

Merge "VP9 decoder: Add more test vectors for resizing."

Update to vp9_spatial_svc_encoder.

Some fixes for rate control stats and bypass mode.

Change-Id: I28bed5467a681b8867cca55852d5d3a25d850f39

Merge branch 'master' into nextgenv2

Refactoring tx-types to add more flexibility

Allows inter and intra tx_types to have different sets of
transforms for different tx_size/sb_type combinations.

Change-Id: Ic0ac1daef7a9fb15c4210271e4d04cd36e5cec8e

VP9 decoder: Add more test vectors for resizing.

Refer to doc "vp9-test-vectors".

BUG=https://code.google.com/p/webm/issues/detail?id=1086

Change-Id: I523d1f39141a3a86f113604cbdb9cd41cc2d6470

Merge "VP9-SVC: Allow frame dropping due to overshoot for spatial layers."

Merge "Revert "Replace the zero handling in extend_to_full_distribution.""

Merge "Skip AS detection when using --enable-external-build"

Merge "Only set sysroot when alt_libc finds a directory"

Revert "Replace the zero handling in extend_to_full_distribution."

This reverts commit 7f56cb29787b187c8cb1b778918ca3b80184c804.

It causes uninitialized reads in the first pass setting up later cost tables.

Change-Id: I2df498df3f5c03eff359f79edf045aed0c618dc9

Use precise distortion metric

Rework the rate distortion optimization pipeline. Use precise
distortion metric that accounts for the forward and inverse
transform rounding effect.

Change-Id: Ibe19ce9791ec3547739294cc3012dd9e11f4ea49

Account for variable txfm sizes in coeff token packing

This commit makes the coefficient token packtization process account
for variable transform block sizes supported in a single processing
block. It fixes an enc/dec mismatch issue when var-tx, ext-tx, and
misc-fixes experiments are all turned on.

Change-Id: I2e8946e6f72de567603a568debbadad11196430c

Add more resize test videos that with larger resolution change intervals.

These videos change resolution every 10 frames versus every 3 frames in current
test sets.

Change-Id: Ic33f449fc9b6d2f480825d4715b8f63e70801232

Convert motion search config from AoS to SoA

This is a prerequisite for vectorizing vp9_diamond_search_sad_c.

Change-Id: I49cd9148782410ca8b16e8a468ca9e7c6d088410

Merge branch 'master' into nextgenv2

Change-Id: I63dc39d1ec9ad2e2454da6f5956dcd4367b87190

Merge "Add several new test vectors with small resolution."

Add several new test vectors with small resolution.

Change-Id: I70b1b8162a0c9b8501358ba7d32fecd1dc020ab5

Add tx_type counts in key frame

Properly update the transform type counts in key frame coding at
decoder. It fixes an enc/dec mismatch issue when both ext-tx and
misc-fixes are turned on.

Change-Id: I1e40a77c8d8157d5ff254b072ce474d8dfbaa3ae

Update to vp9-denoising.

Set increase_denoising parameter for temporal filter.

Change-Id: Id98bf160db98dfa9aedf76e20b43e6f7c783fb1c

Only set sysroot when alt_libc finds a directory

Change-Id: Idc0a9adb4fb371272d6c8c98737f66c6cf209e37

VP9-SVC: Allow frame dropping due to overshoot for spatial layers.

For 1 pass CBR mode.

Change-Id: I8bceb489a850ec26f05382eecb5c0c32a1bb8883

misc fixes: Remove a wasted value.

Remove delta index 254 from probability remapping and subexp coding.
Saves 1-bit when the delta index is 129.

Change-Id: I88aba565fc766b1769165be458d2efd3ce45817e

Merge "Adjustments to vp9-denoising."

Shrink probability remap tables.

Saves 2288 bytes in vp8+vp9 libvpx.a.

Change-Id: Iaa5712e59a9693ed58cea63de63781a96827e44e

Merge "Accumulate EXT_TX counts for multithread" into nextgenv2

Adjustments to vp9-denoising.

Adjust variance threshold, delta-qp, and intra penalty cost,
based on estimated noise level in source.

Replace denoising_on with a level value=L/M/H.

Change-Id: I0c017dae75a5d897367d2c42dec26f2f37e447c1

Merge "Reorder code to be consistent accross branches"

Merge "Replace the zero handling in extend_to_full_distribution."

Accumulate EXT_TX counts for multithread

EXT_TX introduces some new symbols to be decoded.
The encoder counts how many times these are used.
In multithreaded mode, the counts from the worker threads
need to be accumulated into the main thread.

This change means that VP10/VPxEncoderThreadTest now works
with more choices of cpu-used and number of passes.

Change-Id: Ibe7e6a3c58145265f4ead155ff98fb4cb37c3513