Adjust optimize_b RD parameters

Coding gain
lowres 0.51%
midres 0.36%

Change-Id: I1e9f2f9341bad12d9023f97c73d0e991ae5ec7f0

Enable optimize_b for intra blocks

Coding gain
lowres 0.13%
midres 0.36%

Change-Id: Ia65d2d7513685dfcffbe3939fea473fb6d7036b9

Configure tiles in tests when using row-tile.

With row-tile enabled, the encoder test driver needs to configure the
decoder in order to decode all tiles correctly.

Change-Id: I8b00a766cf5e41255625846f92fd71915c614ec1

Merge "Quantization Profiles Strictly on Entropy Context" into nextgen

Quantization Profiles Strictly on Entropy Context

Allow for 3 quant profiles from entropy context

Refactored dq_offset bands to allow for re-optimization based on number
of quantization profiles

Change-Id: Ib8d7e8854ad4e0bf8745038df28833d91efcfbea

Merge "Search parameter space around gm parameters" into nextgen

Merge "Make feature based motion estimation the default" into nextgen

Make feature based motion estimation the default

Optical flow parameters still need to be tweaked and is much slower
so feature based should be the default for now.

Change-Id: Id6cafb5a245e329f728e9c66c89c0ed1018c347c

Increase precision for gm parameters

Change-Id: I151ca8ec9b0c8a920745f4b1665d369a258f6ccb

Fix comipler warnings in opticalflow.c

Change-Id: I4561c2676d8a7793ade47e1995e026ba9d521fdd

Fix for libwebm upgrade

To allow runborgs to run on the nextgen branch

Change-Id: Icbd425c5e65dd4bcb061a3a1ed4dbe0393dc2c5d

Search parameter space around gm parameters

For each global motion parameter, search some step
size to the left and right to try and minimize warp
mse and correct for error.

Change-Id: I1f0b464b0924d56b15460e509f89736af9b7e78f

Fix error with cumbins to allow multiple profiles

Change-Id: I23aadc8f7551771197b55465a3264250b40838ff

Adds function to return superblock entropy context

For use with switchable quant profiles.

Change-Id: I2a4aa93204f086094457860d1646707d71f33f5e

Merge "Framework to incorporate switchable dequant levels" into nextgen

Framework to incorporate switchable dequant levels

Changed experiment to allow switchable QUANT_PROFILES

Change-Id: I8e5e76239a4103273e9ef759d46400104ef55599

Make vpxenc --test-decode work with --enable-row-tile

Change-Id: I352c8ccdaa5faa4fd345f0cb0f7e614af669f0bc

Remove key_frame_tile config option

Change-Id: I8ae22e9f706727ee258dc24780644b99087c8d23

Merge key_frame_tile experiment with row_tile

Since they are used together no need to keep them separate.

Change-Id: Ia7b4bec06ca6924fffd806f772638224292fddb2

Merge "Implement a tile copying method in large-scale tile coding" into nextgen

Implement a tile copying method in large-scale tile coding

A tile copy mode is introduced, while allows a tile to use
another tile's coded data directly at bitstream level. This
largely reduces the bit rate in this use case. Our tests
showed that 10% - 20% bit rate reduction was achieved.

Change-Id: Icf5ae00320e27193b15ce95297720f8b6f5e7fd9

Merge "Optical flow for computing global motion params" into nextgen

Merge "Make set_reference control API work in VP9" into nextgen

Make set_reference control API work in VP9

1. Made VP8_SET_REFERENCE vpx_codec_control API work in VP9 based
on Ryan Overbeck's patch. (Thanks.)
2. Added vp9cx_set_ref example, which demonstrated how to set
VP8_SET_REFERENCE vpx_codec_control in encoder and decoder. If
we only set_reference in the encoder, the encoder/decoder
mismatch would be observed.
3. Also updated test/cx_set_ref.sh.

Change-Id: I433a6220616947ca8c73e65a5fb3694751ea84b6

Optical flow for computing global motion params

Addressing comments, fixing style issues

Change-Id: I91b72ab5cdf80d68476858f442616ab3af41e709

Merge "Changes to CONFIG_NEW_QUANT experiment." into nextgen

Changes to CONFIG_NEW_QUANT experiment.

Added dq_off_index attribute to mbmi to allow for switching between
dequantization modes.
Reduced number of different dequantization modes from 5 to 3.
Changed dequant_val_nuq to be allow for 3 dequant levels instead of 1.
Fixed lint errors

Change-Id: I7aee3548011aa4eee18adb09d835051c3108d2ee

Merge "Rework wedge experiment to improve speed." into nextgen

Merge "Simplify new_quant experiment" into nextgen

Rework wedge experiment to improve speed.

Implements wedge mask generation by pre-computing arrays.
Improves encode speed by 15-20%.

Also consolidates the mask generation code for inter-inter
and inter-intra.

Change-Id: If1d4ae2babb2c05bd50cc30affce22785fd59f95

Adaptively determine the number of bytes used for tile-data size transmission

In large-scale tile coding, when the number of tiles is large and the tile
size is small, using a fixed number of bytes in the tile header to store
tile-data size information as done in current VP9 codec would bring high
overhead for each tile. This patch implemented 2 ways to lower that overhead
and adaptively determine the number of bytes needed for tile-data size
transmission.

The test on a test clip having the tile size of 64x64 showed that the number
of bytes used for storing tile-data size was reduced from 4 to 1, which
substantially improved the compression ratio in large-scale tile coding.

Change-Id: Ia02fc43eda67fa252fbc2554321957790f53f6fd

Simplify new_quant experiment

Changes number of non-uniform bins from 5 to 3.
Changed all references to 'KNOTES' to 'KNOTS'.

Change-Id: If39d7cef00dbe07307035e44cb29194d0783b475

Replace DST1 with DST2 for ext-tx experiment

A small gain (0.1 - 0.2%) with this experiment on derflr/hevcmr.

The DST2 can be implemened very efficiently using sign flipping
of odd indexed inputs, followed by DCT, followed by reversal of
the output. This is how it is implemented in this patch.
SIMD optimization is pending.

Change-Id: Ic2fc211ce0e6b7c6702974d76d6573f55cc4da0e

Merge "SSSE3 optimisations of high bit depth masked variance functions" into nextgen

Fix to avoid overflow in highbd_masked_variance64.

Change-Id: I98731c5f50c4821c604f53480f43110a75205d25

SSSE3 optimisations of high bit depth masked variance functions

Includes tests which compare output of new SSSE3 functions with
their C equivalents, and fixes to the C code to ensure these tests
pass.

Change-Id: Iec3980cce95a8ee6bf9421fa4793130e92c162e3

Code refactoring to remove duplication in masked sub pixel var fns

Change-Id: Idcc93ff94ed2c68367225b6bebfcae0b7952f074

Merge "Reduce the memset call in tile decoding" into nextgen

Adding SSSE3 accelerations of masked SAD functions

Includes tests of masked SAD function optimisations against C
versions

Change-Id: I42f198767a113b58ae9456841f4ec71075591720

SSSE3 optimisations of masked variance function (8bit ONLY)

Includes test which compares output of new SSSE3 functions with their
C equivalents

Change-Id: I4488cd7672cdb57efff93c0b3b8bff07f07ec544

Changes so other expts work with 128x128 coding unit size expt

Changes ensure wedge_partition, interintra and palette expts all
work alongside the ext_coding_unit_size experiment.

Change-Id: I18f17acb29071f6fc6784e815661c73cc21144d6

Reduce the memset call in tile decoding

When the error resilient mode is on, the decoder resets mode info structure
to zero once per frame. This makes decoder about 10x slower if we decode
a single tile at a time. This patch resolves the issue by only memset mode
info of those decoded tiles. Currently, to decode a frame, tile decoding is
less than 2x slower than frame decoding.

Change-Id: Ia3fd88d91a4e74e7bbbc6547d87c24d085a1533e

Changes to allow 128x128 to work with copy_mode

Change-Id: I1fff46e7733e5e1d15c012d6a204536243c6e090

Bug fix for high bitdepth using flipped transforms.

Fixes mismatch and performance drop.

Change-Id: Ib99711eb3b78257a8105073e2b6d7031459357bb

Flip the result of the inv transform for FLIPADST.

This is a port of 4f5108090a6047d5d4d9ce1df302da23b2ef4bc5

This commit also fixes a bug where FLIPADST transforms when combined
with a DST (that is FLIPADST_DST and DST_FLIPADST) did not actually did
a flipped transform but a straight ADST instead. This was due to the C
implementation that it fell back on not implementing flipping.  This is
now fixed as well and FLIPADST_DST and DST_FLIPADST does what it is
supposed to do.

There are 3 functions in the SR_MODE experiment that should be updated,
but given that the build of SR_MODE is broken at the upstream tip of
nextgen, I could not test these, so I have put in assertions and FIXME
notes at the problematic places.

Change-Id: I5b8175b85f944f2369b183a26256e08d97f4bdef

Increase extension for ext-coding-unti-size expt

Change-Id: Ifc7fe5df6831cb7190b9b6e84125de13b9e0146f

Remove last4-ref config option

Change-Id: I12ab2f8b039e328210ae8eadc663f751e19c0c09

Merge last4_ref with multi-ref experiment

Change-Id: I9778670ff6d02fb021099b17f292edadf87603e6

Merge "Remove dst1 config option and merge with ext-tx" into nextgen

Remove dst1 config option and merge with ext-tx

Change-Id: I0152ed352ae2a0a725a508b5c209ef2c1dc2302d

SSE2 optim of vp9_subtract_block for 128x128 units

Extending the SSE2 implementation of vp9_subtract_block to work
with the 128x128 coding unit experiment

Change-Id: Ib3cc16bf5801ef2c7eecc19d3cc07a8c50631580

Merge "Adding encoder support for 128x128 coding units" into nextgen

Merge "Eliminate copying for FLIPADST in fwd transforms." into nextgen

Eliminate copying for FLIPADST in fwd transforms.

This is a port of 01bb4a318dc0f9069264b7fd5641bc3014f47f32

This commit also fixes a bug where FLIPADST transforms when combined
with a DST (that is FLIPADST_DST and DST_FLIPADST) did not actually did
a flipped transform but a straight ADST instead. This was due to the C
implementation that it fell back on not implementing flipping.  This is
now fixed as well and FLIPADST_DST and DST_FLIPADST does what it is
supposed to do.

Change-Id: I89c67ca1d5e06808a1567c51e7d6bec4998182bd

Adding encoder support for 128x128 coding units

Changes to allow the encoder to make use of 128x128 coding units.

Change-Id: I340bd38f9d9750cb6346d83885efb00443852910

Some fixes on context size for the 128x128 expt

Change-Id: I56f050502e3a750ce74b196d033b780218df2c1f

Merge "Cherry pick the rest of 661802, the important part" into nextgen

Changes to use defined constants rather than hard-coded numbers

Also fixes a valgrind error when optimizations are disabled.
Done in preparation for the work on the extended coding unit size
experiment.

Change-Id: Ib074c5a02c94ebed7dd61ff0465d26fa89834545

Cherry pick the rest of 661802, the important part

Change-Id: I85f1d2c07b89c874ea6c30df32dda9ecaa8d2c3f

Merge "Fixing issue with calculation of block_idx" into nextgen

Cherry pick 661802 to fix 64bit arm build

Remove default cortex-a8 tuning.

Probably not even the dominant platform the library is being built for.
Add --cpu= option description to help. The option already exists.

Don't allow passing just --cpu as a no-op.

BUG=826

Change-Id: Iaa3f4f693ec78b18927b159b480daafeba0549c0

Fixing issue with calculation of block_idx

For tall rectangular blocks, the block_idx of the lower transform
block was being mis-calculated.

Does not affect results the way this function is being used now.

Change-Id: I470464d19be0bf0f42003d0cc29793bc42db8f52

Added decoder support for 128x128 coding units

Change-Id: Icf3c6b64caaf8a86cd27231aa27baf5fd99c0fde

Changes to use defined constants rather than hard-coded numbers

These changes have been made in preparation for the work on the
extended coding unit size experiment.

Change-Id: I83f289812426bb9aba6c4a5fedd2b0e0a4fe17cb

Fixed final style issues

WIP.

Change-Id: Iafcbcfdc2139e77eb2c6849a52a9dc94ea498d66

Remove some unused variables

Change-Id: I3ab263b4c42cc3bfd598a1fc280fbaffba2d4461

Added extended coding unit size experiment

Change-Id: I45e2efe22c8e2f23e3305d00906bc08229a85c17

Merge "Speed up of wedge search" into nextgen

Speed up of wedge search

Speeds up wedge search by pre-calculating single predictions
before computing the wedge combination.

About 20% speed up achieved.

Change-Id: I72f76568559d1899c8ac0afaa133d433ba388e6d

Merge "tx64 prob tweaks." into nextgen

tx64 prob tweaks.

A little improvement in results on hevchd

Change-Id: Ib71a57c4bec34bf688e1d53dbf73eb4525e7805b

Reimplementatio of dst1 for speed

Encoder with --enable-ext-tx --enable-dst1 is now 4 times faster.

Change-Id: Ia750ad3516698ce94da4ceb566b1c51539537a95

Merge "64x64 idct fix." into nextgen

Merge "Merged LAST2 and LAST3 to one experiment MULTI_REF" into nextgen

64x64 idct fix.

Change-Id: If0e0cd7cbe71e9586657f5e8ffa87dcdebc686ba

Merge "tx64x64 experiment fix for high-bitdepth" into nextgen

Merged LAST2 and LAST3 to one experiment MULTI_REF

Change-Id: I220be17af317520dccb62fa6b19da5c7ce10652d

Merge "Added another reference frame LAST4_FRAME" into nextgen

tx64x64 experiment fix for high-bitdepth

Change-Id: Ia8d769b43bad0f9ad0684ecf6925e580339c7397

Added another reference frame LAST4_FRAME

Under the experiment of CONFIG_LAST4_REF. On derflr testset, using
highbitdepth (HBD), in average PSNR,

(1) LAST2+LAST3+LAST4 obtained +0.361% against LAST2+LAST3;
(2) LAST2+LAST3+LAST4 obtained +1.567% against baesline.

Change-Id: Ic8b14272de6a569df2b54418fa72b505e1ed3aad

Adjust rd calculation in choose_tx_size_from_rd

Change-Id: I3649f28196a87663b116b9fe6446b1fbe6eeab4a

Improved LAST3's single ref prob context design a little

On derflr testset, using 12-bit HightBitDepth mode, this CL obtained a
small gain of +0.031% by turning on LAST2+LAST3.

Change-Id: Ib6c9d595e56269634bf29d684eabcd806fc08cc9

Fixed a couple of bugs for LAST3

Change-Id: I63126a844c255df4a447aac7f630ba54cc7d7d7a

Added a 3rd reference frame LAST3_FRAME

Under experiment CONFIG_LAST3_REF, which can only be turned on when
the experiment of CONFIG_MULTI_REF is on, i.e. LAST3_FRAME can only
be used when LAST2_FRAME is used. CONFIG_LAST3_REF would most likely
be combined with CONFIG_MULTI_REF once the performance improvement
is further confirmed.

On the testset of derflr, using Average PSNR metrics, with HighBitDepth
(HBD) on:

(1) LAST2 HBD obtained +0.579% against base HBD;
(2) LAST2 + LAST3 HBD obtained +0.591% against LAST2 HBD;
(3) LAST2 + LAST3 HBD obtained +1.173% against base HBD.

Change-Id: I1aa2b2e2d2c9834e5f8e61bf2d8818c7b1516669

ext-tx extension to intra blocks

derflr: improves to 1.692%

Change-Id: Idf583216b40ed02526b9b39031eaf2fb72fed11d

Merge "Redo DST1 in the ext-tx experiment" into nextgen

Redo DST1 in the ext-tx experiment

Moved from nextgenv2 branch to test with other experiments.

derflr: +1.629%

Change-Id: Ie7c720053ed8b628177679c4351bb31b54716a71

Fixed a bug on the number of MAX_MODES in baseline

All the numbers of MAX_MODES have been changed assuming
CONFIG_MULTI_REF. Now correct numbers have been put in for both with and
without the enabling of the experiment MULTI_REF.

Change-Id: I70ffe2f1a89fa572d612dd3d311d3af19fe3a632

Added more LAST2 modes for INTERINTRA

Turning on all the other experiments, compared the RD performance
between with and without the use of LAST2_FRAME, on derflr testset,
on Average PSNR:

8-bit: +0.653% (All positive except one,
max: mobile_cif: 2.019%; min: paris_cif: -0.081%)
12-bit HBD: +0.735% (All positive,
max: bridge_far_cif: 2.416%; min: bowing_cif: 0.132%)

Change-Id: Ia0a375667e228c8ba3d2e223abff608206f2f545

Added MACRO for reference frame encoding

This CL introduces a few macros plus code cleaning on the encoding of
the reference frames. Coding performance remains unchanged.

For the encoding of either the compound reference or the single reference
case, since each bit has different contexts, the tree structure may not
be applied to treat the combined bits as one symbol. It is possible we may
explore the sharing of the same context for all the bits to introduce
the use of tree structure for the next step.

Change-Id: I6916ae53c66be1a0b23e6273811c0139515484df

Added one more reference frame LAST2_FRAME

Under the experiment CONFIG_MULTI_REF. Current version shows
LAST2 vs base in nextgen on the testset of derflr:

(1) 8-bit: Average PSNR +0.53%
(worst: students_cif: -0.247%; best: mobile_cif: 1.902%)
(2) 12-bit HBD: Average PSNR +0.63%
(worst: pamphlet_cif: -0.213%, best: mobile_cif: 2.101%)

More tuning on the reference frame context design and default
probs are being conducted. This version does not guarantee to
work with other experiments in nextgen. A separate CL will address
the working with all other experiments.

Change-Id: I7f40d2522517afc26ca389c995bad56989587f65

Super resolution mode (+CONFIG_SR_MODE)

CONFIG_SR_MODE=1, enable SR mode
USE_POST_F=1, enable SR post filter
SR_USE_MULTI_F=1, enable SR post filter family
Not compatible with other experiments yet

Change-Id: I116f1d898cc2ff7dd114d7379664304907afe0ec

Add transform size rate for intra skip mode in rdopt

Change-Id: I81fedd99cd39c12b66b93b786cb43234c867b84b

Make tests work with new configurations

Disables some test vector tests when Vp8/Vp9 decoders are disabled
in configuration. Also moves some macros to the vpx level in
line with recent refactoring on the master branch.

Change-Id: Iaac8008992110398ae096c36b9726f723164c207

Some tweaks to probabilities for ext-tx with dst1

derflr: up to 1.429% from a little less than 1.3% when
--enable-dst1 is also enabled with --enable-ext-tx.

Change-Id: I301229f2239b18acb96accc4fc44b64fa6927ace

code cleanup in encode_block_intra

Change-Id: I376b7e9b243178d79141a96e0aeafcbc15758e97

Resolve bug of DST1 in ext_tx experiment.

Change-Id: I828569e3596f9b9e8487aec7c4056e66cf1fc1f2

Adds support for DST1 transforms for inter blocks

Adds an additional transform in the ext_tx experiment that
is a 2d DST1-DST1 combination.

To enable use --enable-ext-tx --enable-dst1.

This needs to be later extended to combine DST1 with DCT
or ADST.

Change-Id: I6d29f1b778ef8294bcfb6a512a78fc5eda20723b

Speed up of supertx

Limited the prediction extension to 8 pixels at each edge
Fixed a bug in the combination of wedge prediction and supertx

~10% speed up in decoder
derflr:     -0.004
derflr+hbd: +0.002
hevcmr:     +0.015

Change-Id: I777518896894a612c9704d3de0e7902bf498b0ea

Add extended transforms for 32x32 and 64x64

Framework for alternate transforms for inter 32x32 and larger based
on dwt-dct hybrid is implemented.
Further experiments are to be condcuted with different
variations of hybrid dct/dwt or plain dwt, as well as super-resolution
mode.

Change-Id: I9a2bf49ba317e7668002cf1499211d7da6fa14ad