Added more LAST2 modes for INTERINTRA

Turning on all the other experiments, compared the RD performance
between with and without the use of LAST2_FRAME, on derflr testset,
on Average PSNR:

8-bit: +0.653% (All positive except one,
max: mobile_cif: 2.019%; min: paris_cif: -0.081%)
12-bit HBD: +0.735% (All positive,
max: bridge_far_cif: 2.416%; min: bowing_cif: 0.132%)

Change-Id: Ia0a375667e228c8ba3d2e223abff608206f2f545

Added MACRO for reference frame encoding

This CL introduces a few macros plus code cleaning on the encoding of
the reference frames. Coding performance remains unchanged.

For the encoding of either the compound reference or the single reference
case, since each bit has different contexts, the tree structure may not
be applied to treat the combined bits as one symbol. It is possible we may
explore the sharing of the same context for all the bits to introduce
the use of tree structure for the next step.

Change-Id: I6916ae53c66be1a0b23e6273811c0139515484df

Added one more reference frame LAST2_FRAME

Under the experiment CONFIG_MULTI_REF. Current version shows
LAST2 vs base in nextgen on the testset of derflr:

(1) 8-bit: Average PSNR +0.53%
(worst: students_cif: -0.247%; best: mobile_cif: 1.902%)
(2) 12-bit HBD: Average PSNR +0.63%
(worst: pamphlet_cif: -0.213%, best: mobile_cif: 2.101%)

More tuning on the reference frame context design and default
probs are being conducted. This version does not guarantee to
work with other experiments in nextgen. A separate CL will address
the working with all other experiments.

Change-Id: I7f40d2522517afc26ca389c995bad56989587f65

Super resolution mode (+CONFIG_SR_MODE)

CONFIG_SR_MODE=1, enable SR mode
USE_POST_F=1, enable SR post filter
SR_USE_MULTI_F=1, enable SR post filter family
Not compatible with other experiments yet

Change-Id: I116f1d898cc2ff7dd114d7379664304907afe0ec

Add transform size rate for intra skip mode in rdopt

Change-Id: I81fedd99cd39c12b66b93b786cb43234c867b84b

Make tests work with new configurations

Disables some test vector tests when Vp8/Vp9 decoders are disabled
in configuration. Also moves some macros to the vpx level in
line with recent refactoring on the master branch.

Change-Id: Iaac8008992110398ae096c36b9726f723164c207

Some tweaks to probabilities for ext-tx with dst1

derflr: up to 1.429% from a little less than 1.3% when
--enable-dst1 is also enabled with --enable-ext-tx.

Change-Id: I301229f2239b18acb96accc4fc44b64fa6927ace

code cleanup in encode_block_intra

Change-Id: I376b7e9b243178d79141a96e0aeafcbc15758e97

Resolve bug of DST1 in ext_tx experiment.

Change-Id: I828569e3596f9b9e8487aec7c4056e66cf1fc1f2

Adds support for DST1 transforms for inter blocks

Adds an additional transform in the ext_tx experiment that
is a 2d DST1-DST1 combination.

To enable use --enable-ext-tx --enable-dst1.

This needs to be later extended to combine DST1 with DCT
or ADST.

Change-Id: I6d29f1b778ef8294bcfb6a512a78fc5eda20723b

Speed up of supertx

Limited the prediction extension to 8 pixels at each edge
Fixed a bug in the combination of wedge prediction and supertx

~10% speed up in decoder
derflr:     -0.004
derflr+hbd: +0.002
hevcmr:     +0.015

Change-Id: I777518896894a612c9704d3de0e7902bf498b0ea

Add extended transforms for 32x32 and 64x64

Framework for alternate transforms for inter 32x32 and larger based
on dwt-dct hybrid is implemented.
Further experiments are to be condcuted with different
variations of hybrid dct/dwt or plain dwt, as well as super-resolution
mode.

Change-Id: I9a2bf49ba317e7668002cf1499211d7da6fa14ad

Nextgen branch cleanup: remove elevate_newmv_thresh feature

Code cleanup.

Change-Id: Idf00d5359e5f3d943ee39b4a00f8d40325c0f8b3

Nextgen branch cleanup: remove real-time speed features

Removed inter_mode_mask and max_intra_bsize.

Change-Id: I835d31f95af64a524b2fdb685d1d09a6b0ad5c9f

Merge "Nextgen branch cleanup: add back some SVC functions" into nextgen

Nextgen branch cleanup: add back some SVC functions

Several SVC functions were added back to ensure Borg test build.

Change-Id: I2cff676407fa74e2255606094ff12bd840287b6d

A small code cleanup for the encoder workflow.

Change-Id: I543a69ad5a34cd9a0671b57131cafc541d595d9a

Merge "intrabc: Allow odd pel displacement for non-444" into nextgen

Merge "Optimize bilateral filter to improve speed" into nextgen

Nextgen branch cleanup: remove svc code

Spatial/temporal svc code was removed.

Change-Id: Ie25c7a58ee5feb662d4de526406d8cd834d19977

Nextgen branch cleanup: remove unused functions

Removed unused real-time functions.

Change-Id: I0cbcee67fb8f495f87c6330e04ed6d56ed8e2625

Nextgen branch cleanup: remove nonrd code

Code cleanup.

Change-Id: I4d8d7fa2fc61a58b819c9a18bf25cda53e3fd88c

intrabc: Allow odd pel displacement for non-444

intrabc:
screen_content: -0.618 derflr: +0.015

intrabc+tx_skip+palette:
screen_content: -0.124 derflr: -0.048

Change-Id: Iabea4be19dce2f6fdab8f639e585a424c90c81b4

Optimize bilateral filter to improve speed

Optimization of bilateral filter:
1) Pre-calculate the bilateral filters at all the
levels at the initialization.
2) Convert 1D matrix to 2D matrix, avoid too many
multiplications in the bilateral filter loop.
3) Fix a bug in "loop_bilateral_filter_highbd".
The right-shifted range index can be larger than 255.

Change-Id: I42f6177e896706948e2403bd9edce46e3eb5cbf8

Merge "intrabc: displacement vector prediction" into nextgen

intrabc: displacement vector prediction

Predict displacement vector with the same logic as NEARESTMV. If no
neighbors are available fall back to the current one block left or up
prediction.

vp9+intrabc+tx_skip+palette: -0.489
vp9+intrabc: -0.771

Change-Id: If67d08b54f1a3b847cf7ab8c7b800c55baa1a86b

Fix for copy-mode with segmentation

Change-Id: Icfc97826e494b856aa80fbefe4811dff99f3a0b4

Merge "Removing some compiler warnings" into nextgen

Added support for extended partitions with copy_mode

Change-Id: I815374bd89e3faf2bac1b4155dbbe7366f0a1d29

Merge "Fix a bug induced by qctx-tprobs experiment" into nextgen

Merge "Bug fix in tx-skip" into nextgen

Fix a bug induced by qctx-tprobs experiment

Change-Id: I8d31b8e6037464c36b514fddccd5d7edee024a47

Removing some compiler warnings

Change-Id: I572594a9c00ba5a2b8000d3b4c86ec5757aa586c

Added palette support to extended partitions

Change-Id: Ide11bd3fcc9fb26b27ae39cdf216a2c32b853348

Palette high bit depth functionality

Changes to allow high bit depth and palette to be enabled at the
same time by using a 16 bit (instead of 8bit) palette when high
bit depth is enabled and modifying related functions accordingly.

Change-Id: I97d30b4d9338d3a51db02c94bc568eba60a8905d

Merge "Add q-index as context for initial token probs" into nextgen

Merge "Fix for supertx decode with segments" into nextgen

Merge "Fix supertx HORZ and VERT partitioning." into nextgen

Bug fix in tx-skip

This patch avoids using tx_size larger than 16x16 in lossless mode.
Big block quantization (32x32 or larger) is not lossless.

Change-Id: I69cd84d4f3fd06d641048d6096da1bfde18ad24e

Add q-index as context for initial token probs

There are 4 entropy tables to select for initial entropy table,
depending on the frame base q-index. The entropy tables are
trained with derf, yt, and stdhd sets. About 0.2% gain on
the following test sets:

derflr       0.227%
yt           0.277%
stdhd        0.233%
hevclr       0.221%
hevcmr       0.155%
hevchr       0.182%

Change-Id: I3fde846c47fc020e80c814897690b4cda1da569c

Change-Id: I460408372586c823974f945ed9fd8dcb0360fbaf

Fix for supertx decode with segments

Change-Id: I5e07b0b9fafd2578ecfacf20fb70b07fd6977d98

Fix supertx HORZ and VERT partitioning.

Change-Id: I9a44d70dc2514baf679025335badc2744eeb4b88

Added ext_partitions to supertx

Change-Id: I0e2a0253e5a8dcdb5b765836a3301299409e9d0a

Fix seg fault in count_segs_sb with ext_partitions

Change-Id: I609f429006e7d2b849fe0a509f5d9f5123ecf0ec

Fixing skip simplifcation with SuperTX experiment

Combination of MISC_ENTROPY and SUPERTX resulted in compilation error

Change-Id: Ibcf28216712d93f00f38f3786fce8fcdca3f835e

Merge "Fix tx-skip warnings on Windows" into nextgen

Merge changes I9d80152b,I4e13da4b into nextgen

* changes:
  intrabc: Add a frame level flag
  intrabc: Remove NEWDV from the intra mode tree.

Merge "Added tests for high bit depth quantize functions" into nextgen

Bug fix in highbd psnr computation with postproc

Change-Id: I6944a5fc38d6a89e1bb739938c6ecae7ec731b8d

Allow extended partition support to encode

Change-Id: I75246e2ee35a1b7c1ad46669c464e582e3a9961c

Merge "Add extended partition support to decode" into nextgen

Fix tx-skip warnings on Windows

Change-Id: I2a515abe20e6989de233fc8ae2c31d8ee462add2

Merge "Fix palette build on windows" into nextgen

Fix palette build on windows

Change-Id: I2a90e235ab5bdf95eb83f684e46ef844553ba629

Add extended partition support to decode

Change-Id: I65f7aed37d65dbba76999d2b9585129c48e70b11

Added extended partition experiment

Change-Id: Ife89c95f04212e9dceb4c4e663280a85b5718c13

Merge "Fix copy mode bug: searches made outside of the current tile" into nextgen

Fix copy mode bug: searches made outside of the current tile

Change-Id: Ib3cf4bf4da0a575053493609956e133d1ce028a1

Merge "Fix to loopfilter tests" into nextgen

Merge "Fix cost array overrun bug in search_bilateral_level()" into nextgen

intrabc: Add a frame level flag

For the combination of this and removing NEWDV from the tree:
derflr: -0.101 screen_content: +0.053

The bulk of the decline in screen content effecincy is from the liquify
clip. These should be recoverable by further entropy tweaks.

Change-Id: I9d80152b8492e60a0367c31797fb6932fb09bba9

Merge "Fix masked_variance overflow for non-highbitdepth" into nextgen

Fix cost array overrun bug in search_bilateral_level()

Change-Id: I9b7b727cb45328040a82477a2ce8eb3d15feec77

Fix to loopfilter tests

Ensuring the random numbers used by the loopfilter tests
are in a valid range

Change-Id: If8130145c413dbe7e29180046eca3e4f7d941706

Adds wavelet transforms + hybrid dct/dwt variants

The wavelets implemented are 2/6, 5/3 and 9/7 each with
a lifting based scheme for even block sizes. The 9/7
one is a double implementation currently.

This is to start experiments with:
1. Replacing large transforms (32x32 and 64x64) with wavelets
or wavelet-dct hybrids that can hopefully localize errors better
spatially. (Will also need alternate entropy coder)
2. Super-resolution modes where the higher sub-bands may be
selectively skipped from being conveyed, while a smart
reconstruction recovers the lost frequencies.

The current patch includes two types of 32x32 and 64x64
transforms: one where only wavelets are used, and another
where a single level wavelet decomposition is followed
by a lower resolution dct on the low-low band.

Change-Id: I2d6755c4e6c8ec9386a04633dacbe0de3b0043ec

Fix masked_variance overflow for non-highbitdepth

Change-Id: I668b034111ccc877c70cf65035a9c748fe00aeba

Merge "Windows build fix" into nextgen

Windows build fix

Change-Id: I663e0d61c4115a5297baeb25f39743e1eea95fbf

Fix lossless mode in tx-skip experiment

Change-Id: I205fa8614a9079ce7e6ca87d7b08fe3602bbd376

Added tests for high bit depth quantize functions

This was originally part of change-id:Idef18f90b111a0d0c9546543d3347e551908fd78
but the rest of that patch has previously been incorporated into nextgen
without these tests.

Change-Id: I6ac491ed1cfc153e0ed3cb999c76feac9d5e74e3

Fix lossless mode with new_quant experiment

Change-Id: Ia0b00746e3f7aacf8d9488db3522ab72d9dc22fd

intrabc: Remove NEWDV from the intra mode tree.

Change-Id: I4e13da4bf70386f6f70ea733fb9adeb41682c735

intrabc: Fix mismatch introduced by 85a7485.

Change-Id: I1ea51ebbd1e3cb60a13a30e3252253493c28baec

Merge "intrabc: Include NEWDV in mode_2_counter" into nextgen

Merge "Implied skip is 0 for intra blocks" into nextgen

Merge "intrabc: Add odd-pel support for 444." into nextgen

intrabc: Include NEWDV in mode_2_counter

This fixes a failure to decode as VP9 with frame level signalling
patched in and removed to implictly force it off.

This is primarily a correctness fix, but there were small coding gains.
0.074% smaller on derlf
0.180% smaller on screen_content

Change-Id: I4cc264bf4d9016201924be198a0c5b8374020fd9

Implied skip is 0 for intra blocks

Skip flag is removed from the bitstream for all blocks coded in intra
mode. Very minor coding gain in derf and stdhd sets (0.048 and 0.1)

Change-Id: I79f03300f16d6fa84ce54405cafecab8a021cd7d

Fix the upper limit of row/column tile index

If the decoder is configured to decode a tile indexed above the
upper limit, the internal codec will clip the index to the upper
limits.

Change-Id: Icbc1bb7b14069ac009e0a2042dd66a46d6f76679

Allow vpxdec to produce target tile reconstruction

This commit allows the vpxdec to produce the target tile
reconstruction as its output. When the provided tile index is -1,
the entire corresponding row/column tiles will be reconstructed.
If the tile index is over the upper limit, the decoder will decode
left-most/bottom tile.

Change-Id: I4c18bdb32099f736f99b8842f7f177a32b3fee09

Enable selective key frame tile decoding

This commit allows the decoder to decode selective tiles according
to decoder configuration settings. To decode a single tile out of
the provided key frame bit-stream (test_kf.webm), set compiler
configuration:

--enable-experimental --enable-row-tile --enable-key-frame-tile

use the command:

vpxdec -o test_dec.y4m test_kf.webm --tile-row=1 --tile-column=2

where the tile's row and column indexes are 1 and 2, respectively.

To decode all row tiles inside a provided column index, use:
--tile-row=-1 --tile-column=2

To decode all column tiles inside a provided row index, use:
--tile-row=2 --tile-column=-1

Change-Id: Ib73c266414dcee7eaab5d741b90d0058970dae56

intrabc: Add odd-pel support for 444.

Odd pel still needs more testing on 4:2:0.

0.2% smaller on the PNG set. 4095 better, 1324 worse.

Change-Id: Idf2f108a96462c7696e63d533605e4a926a8b203

Merge "Intrabc high bit depth functionality" into nextgen

Merge "Turn on global rotation-zoom warping prediction" into nextgen

Intrabc high bit depth functionality

Fixing compile errors when intrabc and vp9_highbitdepth are both enabled.
Error arose because intrabc uses vp9_setup_scale_factors_for_frame()
which takes an additional argument (use_highbitdepth) when
vp9_highbitdepth is enabled.

Change-Id: I6a15b09dcea0d35525f4c25efb6848804ae5cfab

Merge "palette: don't repeat calc_dist for j = 0" into nextgen

Merge "Fix a memory overflow issue in large scale tile use case" into nextgen

Merge "Configure selective tile decoding" into nextgen

palette: don't repeat calc_dist for j = 0

Change-Id: I043c3b9696dbfa76436763ef871600cb54ade212

Turn on global rotation-zoom warping prediction

With this patch, the ZEROMV mode is overloaded to represent
a single global dominant motion using one of three models:
1. True zero translation motion (as before)
2. A translation motion different from 0
3. A Rotation-zoom affine model where the predictor is warped
The actual model used is indicated at the frame level for
each reference frame.
A metric that computes the ratio of the error with a global
non-zero model to the error for zero motion, is used to
determine on the encoder side whether to use one of the two
non-zero models or not.

Change-Id: I1f3d235b8860e543191237024a89041ff3aad689

Fix a memory overflow issue in large scale tile use case

Increase the tok_count array size defined in VP9_COMP to avoid
out of boundary memory access.

Change-Id: Ib277c1102cb5f8355b1d69991532a94e24a2242e

Merge "Fixed a bug in palette expt for 444 video format" into nextgen

Fixed a bug in palette expt for 444 video format

The bug was that palette color map was not correctly recorded.

Change-Id: I237494d1d6449c53c5d24eed8c25dcf2f8d21e66

Merge "Make the tile coding syntax support large scale tile decoding" into nextgen

Configure selective tile decoding

Add decoder control to extract single tile from key frame.

Change-Id: Id018bf267d748bfd96a6261055de4194f632190c

Merge "intrabc: Fix probs of illegal modes." into nextgen

Make the tile coding syntax support large scale tile decoding

This commit makes the bit-stream syntax support fast selective tile
decoding in a large scale tile array. It reduces the computational
complexity of computing the target tile offset in the bit-stream
from quadratic to linear scale, while maintaining relatively small
stack space requirement (in the order of 1024 bytes instead of 1M
bytes). The overhead cost due to tile separation remains identical.

Change-Id: Id60c6915733d33a627f49e167c57d2534e70aa96

intrabc: Fix probs of illegal modes.

ibc: derflr -0.069 screen_content -0.085
ibc+tx+pal: derflr +0.017 screen_content -0.029

Change-Id: I79c0ca0a5c38c53afd209286dbcd78873e070098

Fix assertion conditions for tile coding

Allow up to 1024 row/col tiles instead of 4 for row tile and 64 for
column tile.

Change-Id: I1702254e241401821f3aaab1645f6df6dbc48b8d

Merge "Loop_postfilter high bit depth functionality" into nextgen