Merge "SSSE3 optimisations of high bit depth masked variance functions" into nextgen

Fix to avoid overflow in highbd_masked_variance64.

Change-Id: I98731c5f50c4821c604f53480f43110a75205d25

SSSE3 optimisations of high bit depth masked variance functions

Includes tests which compare output of new SSSE3 functions with
their C equivalents, and fixes to the C code to ensure these tests
pass.

Change-Id: Iec3980cce95a8ee6bf9421fa4793130e92c162e3

Code refactoring to remove duplication in masked sub pixel var fns

Change-Id: Idcc93ff94ed2c68367225b6bebfcae0b7952f074

Merge "Reduce the memset call in tile decoding" into nextgen

Adding SSSE3 accelerations of masked SAD functions

Includes tests of masked SAD function optimisations against C
versions

Change-Id: I42f198767a113b58ae9456841f4ec71075591720

SSSE3 optimisations of masked variance function (8bit ONLY)

Includes test which compares output of new SSSE3 functions with their
C equivalents

Change-Id: I4488cd7672cdb57efff93c0b3b8bff07f07ec544

Changes so other expts work with 128x128 coding unit size expt

Changes ensure wedge_partition, interintra and palette expts all
work alongside the ext_coding_unit_size experiment.

Change-Id: I18f17acb29071f6fc6784e815661c73cc21144d6

Reduce the memset call in tile decoding

When the error resilient mode is on, the decoder resets mode info structure
to zero once per frame. This makes decoder about 10x slower if we decode
a single tile at a time. This patch resolves the issue by only memset mode
info of those decoded tiles. Currently, to decode a frame, tile decoding is
less than 2x slower than frame decoding.

Change-Id: Ia3fd88d91a4e74e7bbbc6547d87c24d085a1533e

Changes to allow 128x128 to work with copy_mode

Change-Id: I1fff46e7733e5e1d15c012d6a204536243c6e090

Bug fix for high bitdepth using flipped transforms.

Fixes mismatch and performance drop.

Change-Id: Ib99711eb3b78257a8105073e2b6d7031459357bb

Flip the result of the inv transform for FLIPADST.

This is a port of 4f5108090a6047d5d4d9ce1df302da23b2ef4bc5

This commit also fixes a bug where FLIPADST transforms when combined
with a DST (that is FLIPADST_DST and DST_FLIPADST) did not actually did
a flipped transform but a straight ADST instead. This was due to the C
implementation that it fell back on not implementing flipping.  This is
now fixed as well and FLIPADST_DST and DST_FLIPADST does what it is
supposed to do.

There are 3 functions in the SR_MODE experiment that should be updated,
but given that the build of SR_MODE is broken at the upstream tip of
nextgen, I could not test these, so I have put in assertions and FIXME
notes at the problematic places.

Change-Id: I5b8175b85f944f2369b183a26256e08d97f4bdef

Increase extension for ext-coding-unti-size expt

Change-Id: Ifc7fe5df6831cb7190b9b6e84125de13b9e0146f

Remove last4-ref config option

Change-Id: I12ab2f8b039e328210ae8eadc663f751e19c0c09

Merge last4_ref with multi-ref experiment

Change-Id: I9778670ff6d02fb021099b17f292edadf87603e6

Merge "Remove dst1 config option and merge with ext-tx" into nextgen

Remove dst1 config option and merge with ext-tx

Change-Id: I0152ed352ae2a0a725a508b5c209ef2c1dc2302d

SSE2 optim of vp9_subtract_block for 128x128 units

Extending the SSE2 implementation of vp9_subtract_block to work
with the 128x128 coding unit experiment

Change-Id: Ib3cc16bf5801ef2c7eecc19d3cc07a8c50631580

Merge "Adding encoder support for 128x128 coding units" into nextgen

Merge "Eliminate copying for FLIPADST in fwd transforms." into nextgen

Eliminate copying for FLIPADST in fwd transforms.

This is a port of 01bb4a318dc0f9069264b7fd5641bc3014f47f32

This commit also fixes a bug where FLIPADST transforms when combined
with a DST (that is FLIPADST_DST and DST_FLIPADST) did not actually did
a flipped transform but a straight ADST instead. This was due to the C
implementation that it fell back on not implementing flipping.  This is
now fixed as well and FLIPADST_DST and DST_FLIPADST does what it is
supposed to do.

Change-Id: I89c67ca1d5e06808a1567c51e7d6bec4998182bd

Adding encoder support for 128x128 coding units

Changes to allow the encoder to make use of 128x128 coding units.

Change-Id: I340bd38f9d9750cb6346d83885efb00443852910

Some fixes on context size for the 128x128 expt

Change-Id: I56f050502e3a750ce74b196d033b780218df2c1f

Merge "Cherry pick the rest of 661802, the important part" into nextgen

Changes to use defined constants rather than hard-coded numbers

Also fixes a valgrind error when optimizations are disabled.
Done in preparation for the work on the extended coding unit size
experiment.

Change-Id: Ib074c5a02c94ebed7dd61ff0465d26fa89834545

Cherry pick the rest of 661802, the important part

Change-Id: I85f1d2c07b89c874ea6c30df32dda9ecaa8d2c3f

Merge "Fixing issue with calculation of block_idx" into nextgen

Cherry pick 661802 to fix 64bit arm build

Remove default cortex-a8 tuning.

Probably not even the dominant platform the library is being built for.
Add --cpu= option description to help. The option already exists.

Don't allow passing just --cpu as a no-op.

BUG=826

Change-Id: Iaa3f4f693ec78b18927b159b480daafeba0549c0

Fixing issue with calculation of block_idx

For tall rectangular blocks, the block_idx of the lower transform
block was being mis-calculated.

Does not affect results the way this function is being used now.

Change-Id: I470464d19be0bf0f42003d0cc29793bc42db8f52

Added decoder support for 128x128 coding units

Change-Id: Icf3c6b64caaf8a86cd27231aa27baf5fd99c0fde

Changes to use defined constants rather than hard-coded numbers

These changes have been made in preparation for the work on the
extended coding unit size experiment.

Change-Id: I83f289812426bb9aba6c4a5fedd2b0e0a4fe17cb

Fixed final style issues

WIP.

Change-Id: Iafcbcfdc2139e77eb2c6849a52a9dc94ea498d66

Remove some unused variables

Change-Id: I3ab263b4c42cc3bfd598a1fc280fbaffba2d4461

Added extended coding unit size experiment

Change-Id: I45e2efe22c8e2f23e3305d00906bc08229a85c17

Merge "Speed up of wedge search" into nextgen

Speed up of wedge search

Speeds up wedge search by pre-calculating single predictions
before computing the wedge combination.

About 20% speed up achieved.

Change-Id: I72f76568559d1899c8ac0afaa133d433ba388e6d

Merge "tx64 prob tweaks." into nextgen

tx64 prob tweaks.

A little improvement in results on hevchd

Change-Id: Ib71a57c4bec34bf688e1d53dbf73eb4525e7805b

Reimplementatio of dst1 for speed

Encoder with --enable-ext-tx --enable-dst1 is now 4 times faster.

Change-Id: Ia750ad3516698ce94da4ceb566b1c51539537a95

Merge "64x64 idct fix." into nextgen

Merge "Merged LAST2 and LAST3 to one experiment MULTI_REF" into nextgen

64x64 idct fix.

Change-Id: If0e0cd7cbe71e9586657f5e8ffa87dcdebc686ba

Merge "tx64x64 experiment fix for high-bitdepth" into nextgen

Merged LAST2 and LAST3 to one experiment MULTI_REF

Change-Id: I220be17af317520dccb62fa6b19da5c7ce10652d

Merge "Added another reference frame LAST4_FRAME" into nextgen

tx64x64 experiment fix for high-bitdepth

Change-Id: Ia8d769b43bad0f9ad0684ecf6925e580339c7397

Added another reference frame LAST4_FRAME

Under the experiment of CONFIG_LAST4_REF. On derflr testset, using
highbitdepth (HBD), in average PSNR,

(1) LAST2+LAST3+LAST4 obtained +0.361% against LAST2+LAST3;
(2) LAST2+LAST3+LAST4 obtained +1.567% against baesline.

Change-Id: Ic8b14272de6a569df2b54418fa72b505e1ed3aad

Adjust rd calculation in choose_tx_size_from_rd

Change-Id: I3649f28196a87663b116b9fe6446b1fbe6eeab4a

Improved LAST3's single ref prob context design a little

On derflr testset, using 12-bit HightBitDepth mode, this CL obtained a
small gain of +0.031% by turning on LAST2+LAST3.

Change-Id: Ib6c9d595e56269634bf29d684eabcd806fc08cc9

Fixed a couple of bugs for LAST3

Change-Id: I63126a844c255df4a447aac7f630ba54cc7d7d7a

Added a 3rd reference frame LAST3_FRAME

Under experiment CONFIG_LAST3_REF, which can only be turned on when
the experiment of CONFIG_MULTI_REF is on, i.e. LAST3_FRAME can only
be used when LAST2_FRAME is used. CONFIG_LAST3_REF would most likely
be combined with CONFIG_MULTI_REF once the performance improvement
is further confirmed.

On the testset of derflr, using Average PSNR metrics, with HighBitDepth
(HBD) on:

(1) LAST2 HBD obtained +0.579% against base HBD;
(2) LAST2 + LAST3 HBD obtained +0.591% against LAST2 HBD;
(3) LAST2 + LAST3 HBD obtained +1.173% against base HBD.

Change-Id: I1aa2b2e2d2c9834e5f8e61bf2d8818c7b1516669

ext-tx extension to intra blocks

derflr: improves to 1.692%

Change-Id: Idf583216b40ed02526b9b39031eaf2fb72fed11d

Merge "Redo DST1 in the ext-tx experiment" into nextgen

Redo DST1 in the ext-tx experiment

Moved from nextgenv2 branch to test with other experiments.

derflr: +1.629%

Change-Id: Ie7c720053ed8b628177679c4351bb31b54716a71

Fixed a bug on the number of MAX_MODES in baseline

All the numbers of MAX_MODES have been changed assuming
CONFIG_MULTI_REF. Now correct numbers have been put in for both with and
without the enabling of the experiment MULTI_REF.

Change-Id: I70ffe2f1a89fa572d612dd3d311d3af19fe3a632

Added more LAST2 modes for INTERINTRA

Turning on all the other experiments, compared the RD performance
between with and without the use of LAST2_FRAME, on derflr testset,
on Average PSNR:

8-bit: +0.653% (All positive except one,
max: mobile_cif: 2.019%; min: paris_cif: -0.081%)
12-bit HBD: +0.735% (All positive,
max: bridge_far_cif: 2.416%; min: bowing_cif: 0.132%)

Change-Id: Ia0a375667e228c8ba3d2e223abff608206f2f545

Added MACRO for reference frame encoding

This CL introduces a few macros plus code cleaning on the encoding of
the reference frames. Coding performance remains unchanged.

For the encoding of either the compound reference or the single reference
case, since each bit has different contexts, the tree structure may not
be applied to treat the combined bits as one symbol. It is possible we may
explore the sharing of the same context for all the bits to introduce
the use of tree structure for the next step.

Change-Id: I6916ae53c66be1a0b23e6273811c0139515484df

Added one more reference frame LAST2_FRAME

Under the experiment CONFIG_MULTI_REF. Current version shows
LAST2 vs base in nextgen on the testset of derflr:

(1) 8-bit: Average PSNR +0.53%
(worst: students_cif: -0.247%; best: mobile_cif: 1.902%)
(2) 12-bit HBD: Average PSNR +0.63%
(worst: pamphlet_cif: -0.213%, best: mobile_cif: 2.101%)

More tuning on the reference frame context design and default
probs are being conducted. This version does not guarantee to
work with other experiments in nextgen. A separate CL will address
the working with all other experiments.

Change-Id: I7f40d2522517afc26ca389c995bad56989587f65

Super resolution mode (+CONFIG_SR_MODE)

CONFIG_SR_MODE=1, enable SR mode
USE_POST_F=1, enable SR post filter
SR_USE_MULTI_F=1, enable SR post filter family
Not compatible with other experiments yet

Change-Id: I116f1d898cc2ff7dd114d7379664304907afe0ec

Add transform size rate for intra skip mode in rdopt

Change-Id: I81fedd99cd39c12b66b93b786cb43234c867b84b

Make tests work with new configurations

Disables some test vector tests when Vp8/Vp9 decoders are disabled
in configuration. Also moves some macros to the vpx level in
line with recent refactoring on the master branch.

Change-Id: Iaac8008992110398ae096c36b9726f723164c207

Some tweaks to probabilities for ext-tx with dst1

derflr: up to 1.429% from a little less than 1.3% when
--enable-dst1 is also enabled with --enable-ext-tx.

Change-Id: I301229f2239b18acb96accc4fc44b64fa6927ace

code cleanup in encode_block_intra

Change-Id: I376b7e9b243178d79141a96e0aeafcbc15758e97

Resolve bug of DST1 in ext_tx experiment.

Change-Id: I828569e3596f9b9e8487aec7c4056e66cf1fc1f2

Adds support for DST1 transforms for inter blocks

Adds an additional transform in the ext_tx experiment that
is a 2d DST1-DST1 combination.

To enable use --enable-ext-tx --enable-dst1.

This needs to be later extended to combine DST1 with DCT
or ADST.

Change-Id: I6d29f1b778ef8294bcfb6a512a78fc5eda20723b

Speed up of supertx

Limited the prediction extension to 8 pixels at each edge
Fixed a bug in the combination of wedge prediction and supertx

~10% speed up in decoder
derflr:     -0.004
derflr+hbd: +0.002
hevcmr:     +0.015

Change-Id: I777518896894a612c9704d3de0e7902bf498b0ea

Add extended transforms for 32x32 and 64x64

Framework for alternate transforms for inter 32x32 and larger based
on dwt-dct hybrid is implemented.
Further experiments are to be condcuted with different
variations of hybrid dct/dwt or plain dwt, as well as super-resolution
mode.

Change-Id: I9a2bf49ba317e7668002cf1499211d7da6fa14ad

Nextgen branch cleanup: remove elevate_newmv_thresh feature

Code cleanup.

Change-Id: Idf00d5359e5f3d943ee39b4a00f8d40325c0f8b3

Nextgen branch cleanup: remove real-time speed features

Removed inter_mode_mask and max_intra_bsize.

Change-Id: I835d31f95af64a524b2fdb685d1d09a6b0ad5c9f

Merge "Nextgen branch cleanup: add back some SVC functions" into nextgen

Nextgen branch cleanup: add back some SVC functions

Several SVC functions were added back to ensure Borg test build.

Change-Id: I2cff676407fa74e2255606094ff12bd840287b6d

A small code cleanup for the encoder workflow.

Change-Id: I543a69ad5a34cd9a0671b57131cafc541d595d9a

Merge "intrabc: Allow odd pel displacement for non-444" into nextgen

Merge "Optimize bilateral filter to improve speed" into nextgen

Nextgen branch cleanup: remove svc code

Spatial/temporal svc code was removed.

Change-Id: Ie25c7a58ee5feb662d4de526406d8cd834d19977

Nextgen branch cleanup: remove unused functions

Removed unused real-time functions.

Change-Id: I0cbcee67fb8f495f87c6330e04ed6d56ed8e2625

Nextgen branch cleanup: remove nonrd code

Code cleanup.

Change-Id: I4d8d7fa2fc61a58b819c9a18bf25cda53e3fd88c

intrabc: Allow odd pel displacement for non-444

intrabc:
screen_content: -0.618 derflr: +0.015

intrabc+tx_skip+palette:
screen_content: -0.124 derflr: -0.048

Change-Id: Iabea4be19dce2f6fdab8f639e585a424c90c81b4

Optimize bilateral filter to improve speed

Optimization of bilateral filter:
1) Pre-calculate the bilateral filters at all the
levels at the initialization.
2) Convert 1D matrix to 2D matrix, avoid too many
multiplications in the bilateral filter loop.
3) Fix a bug in "loop_bilateral_filter_highbd".
The right-shifted range index can be larger than 255.

Change-Id: I42f6177e896706948e2403bd9edce46e3eb5cbf8

Merge "intrabc: displacement vector prediction" into nextgen

intrabc: displacement vector prediction

Predict displacement vector with the same logic as NEARESTMV. If no
neighbors are available fall back to the current one block left or up
prediction.

vp9+intrabc+tx_skip+palette: -0.489
vp9+intrabc: -0.771

Change-Id: If67d08b54f1a3b847cf7ab8c7b800c55baa1a86b

Fix for copy-mode with segmentation

Change-Id: Icfc97826e494b856aa80fbefe4811dff99f3a0b4

Merge "Removing some compiler warnings" into nextgen

Added support for extended partitions with copy_mode

Change-Id: I815374bd89e3faf2bac1b4155dbbe7366f0a1d29

Merge "Fix a bug induced by qctx-tprobs experiment" into nextgen

Merge "Bug fix in tx-skip" into nextgen

Fix a bug induced by qctx-tprobs experiment

Change-Id: I8d31b8e6037464c36b514fddccd5d7edee024a47

Removing some compiler warnings

Change-Id: I572594a9c00ba5a2b8000d3b4c86ec5757aa586c

Added palette support to extended partitions

Change-Id: Ide11bd3fcc9fb26b27ae39cdf216a2c32b853348

Palette high bit depth functionality

Changes to allow high bit depth and palette to be enabled at the
same time by using a 16 bit (instead of 8bit) palette when high
bit depth is enabled and modifying related functions accordingly.

Change-Id: I97d30b4d9338d3a51db02c94bc568eba60a8905d

Merge "Add q-index as context for initial token probs" into nextgen

Merge "Fix for supertx decode with segments" into nextgen

Merge "Fix supertx HORZ and VERT partitioning." into nextgen

Bug fix in tx-skip

This patch avoids using tx_size larger than 16x16 in lossless mode.
Big block quantization (32x32 or larger) is not lossless.

Change-Id: I69cd84d4f3fd06d641048d6096da1bfde18ad24e

Add q-index as context for initial token probs

There are 4 entropy tables to select for initial entropy table,
depending on the frame base q-index. The entropy tables are
trained with derf, yt, and stdhd sets. About 0.2% gain on
the following test sets:

derflr       0.227%
yt           0.277%
stdhd        0.233%
hevclr       0.221%
hevcmr       0.155%
hevchr       0.182%

Change-Id: I3fde846c47fc020e80c814897690b4cda1da569c

Change-Id: I460408372586c823974f945ed9fd8dcb0360fbaf

Fix for supertx decode with segments

Change-Id: I5e07b0b9fafd2578ecfacf20fb70b07fd6977d98

Fix supertx HORZ and VERT partitioning.

Change-Id: I9a44d70dc2514baf679025335badc2744eeb4b88

Added ext_partitions to supertx

Change-Id: I0e2a0253e5a8dcdb5b765836a3301299409e9d0a

Fix seg fault in count_segs_sb with ext_partitions

Change-Id: I609f429006e7d2b849fe0a509f5d9f5123ecf0ec

Fixing skip simplifcation with SuperTX experiment

Combination of MISC_ENTROPY and SUPERTX resulted in compilation error

Change-Id: Ibcf28216712d93f00f38f3786fce8fcdca3f835e