Merge "Reject ext-inter compound modes based on modelled RD." into nextgenv2

Merge "Remove unused BITDEPTH_10 definition" into nextgenv2

Merge "Fix shift value in dist_block with hbd" into nextgenv2

Merge "Various cosmetics on the new_quant experiment" into nextgenv2

Reject ext-inter compound modes based on modelled RD.

Reject ext-inter compound modes before doing full rate distortion
evaluation, if the corresponding single reference modes had a lower
modelled RD.

ext-inter speedup up to TBD.

Coding performance: TBD

Change-Id: I358bfb879c5ebe5e7afbf6f540cc784f8de14857

Remove unused BITDEPTH_10 definition

Change-Id: Ic11f32db352e1ff7b3ed140654ee1a6016ba516f

Fix shift value in dist_block with hbd

This offset value related to the bit depth has been taken care of
inside the function vp10_highbd_block_error.

Change-Id: I58dd8a53380ba4529d59837e56a951bc81a2962e

Remove use_quant_fp speed feature

Change-Id: I22f1299545d4c75d80e72d479be66f66ea142ef1

Various cosmetics on the new_quant experiment

Also extends quant profiles to include quality range.

Change-Id: Ia96e45b6425e1d42ca61fc401f63d4fd7214e448

Merge "Remove skip_txfm optimization." into nextgenv2

Merge "Fix compiler warnings in yv12extend.c" into nextgenv2

Merge "Fix compiler warnings in vp10_convolve_optimz_test.cc" into nextgenv2

Fix compiler warnings in yv12extend.c

Change-Id: I1f6f5b8861c4081b1f4b85c531c5d7ef0cb67bab

Fix compiler warnings in vp10_convolve_optimz_test.cc

Change-Id: I11b717e1652dff440a54f6977527d544b0c5ed29

ethread_test: Remove vp10 as test parameter.

Change-Id: I043418cde5a2562520ff37cdf81436abc2c9821a

Remove skip_txfm optimization.

Commit 0d6980d7a1caa592058f8d5d618b012c160772f7 removed some use
of the skip_txfm optimization, and the rest are not productive.

The current use of this optimization is only used with --good
and --cpu-used >= 3, however the overhead of this is higher than the
speedup it yields.

Removing this, and subsequently simplifying model_rd_for_sb yields
a net encoder speedup:
--cpu-used=0    ~1.5% faster
--cpu-used=3    ~2.0% faster

The code simplification is also significant.

Change-Id: I1dd668c32de15a2e912c59c42379d0f9e1032ff8

Merge "Quantization fix for new-quant/var-tx" into nextgenv2

Merge "Rename the initial MV search candidate" into nextgenv2

Merge "Refactor vp10_pattern_search" into nextgenv2

Quantization fix for new-quant/var-tx

Also use the fp quantizer consistently

lowres: -0.07 BDRATE improvement

Change-Id: I9174f6ad54a74d38541004b99cb3689d0c09be55

Merge "Fix a bug in vp10_pattern_search()" into nextgenv2

Merge "Disable trellis optimized quantization in the first-pass" into nextgenv2

Merge "Fix bugs in convolution filter optimization" into nextgenv2

Disable trellis optimized quantization in the first-pass

This resolves the use of uninitialized value in the first-pass
encoding.

Change-Id: I78bc19214a1bfde5c5641424550cbbe4e52cae99

Merge "Add multiple quantization profiles to new_quant experiment" into nextgenv2

Fix bugs in convolution filter optimization

- Fix the over-writing bug in horizontal filtering as width = 2.
- Fix 10-tap vertical filtering which no longer reads one row of
  pixel above the block.
- Fix 10-tap filter zero padding.
- Encoder speed slow down ~4.0%, compared to,
  81ad953 Convolution vertical filter SSSE3 optimization

Change-Id: I9bb294a4529300081c29bf284e6bc6eb081cc536

Rename the initial MV search candidate

Its old name "ref_mv" is confusing.

Change-Id: I7ac8f346c468bcf3c0e7692582d423fb7a1f113a

Refactor vp10_pattern_search

Combine it with vp10_pattern_search_sad

Change-Id: I47a3b34dfefad9fc8abd23fcc197f6aea3419873

Fix a bug in vp10_pattern_search()

Should use sub-pel MV instead of full-pixel MV as input parameter
to calc_int_cost_list().

Change-Id: I054d94220a090ca54c8d24df265193ee345cd439

Merge "Turn on ActiveMapRefreshTest for Vp10" into nextgenv2

Add multiple quantization profiles to new_quant experiment

Add the ability to pick between 3 quantization profiles.
The profile is chosen based on the entropy context at the
block level.

Change-Id: Iaea0485798441b7d635962c2563f3a477f582dac

Turn on ActiveMapRefreshTest for Vp10

Also reduce number of frames coded for VP10.

Change-Id: I7de908861620b6f4f08513516110fd584660d994

Merge "Change register loading to fix stack overflow issue" into nextgenv2

Change register loading to fix stack overflow issue

- Use _mm_loadl_epi64 instead of _mm_loadu_si128 for
  uint16_t temp2[4 * 4] buffer.
- Refer to:
  d0de89a remove vpx_highbd_1[02]_sub_pixel_variance4x4_sse4_1
BUG=webm:1242

Change-Id: Ieff555c8dd8070937f27f4ec8535b77e1ed5b8b2

Merge "Use uniform quantizer for sub8x8 block coding" into nextgenv2

Merge "Refactor sub8x8 block transform and quantization process" into nextgenv2

Merge "Make recursive txfm partitioning use uniform quantizer" into nextgenv2

Use uniform quantizer for sub8x8 block coding

Use the trellis optimization based uniform quantizer to encode the
sub8x8 block coding.

Change-Id: Ibbf7791b0aa430b7c67ef38eac3af6379578f56d

Refactor sub8x8 block transform and quantization process

This commit refactors the transform and quantization process for
sub8x8 blocks and unifies the related functions.

Change-Id: I005f61f3eb49eec44f947b906c4e308cab9935a2

Make recursive txfm partitioning use uniform quantizer

Replace the expanded zero-bin quantizer with uniform quantizer in
the recursive transform block partitioning scheme. This improves
the compression performance by 0.4% for lowres.

Change-Id: I1c32ce9ebba0f0760e36a2c5bd20f2f5887ea5b4

Merge "Convolution vertical filter SSSE3 optimization" into nextgenv2

Merge "Enforce trellis optimization for 1-pass encoding" into nextgenv2

Convolution vertical filter SSSE3 optimization

- Apply 8-pixel vertical filtering direction parallelism.
- Add unit tests to verify bit exact.
- Encoder speed improves ~29% (enable EXT_INTERP) on Xeon E5-2680.
- Combinational cycle count of vp10_convolve() drops from 26.06%
  to 6.73%.

Change-Id: Ic1ae48f8fb1909991577947a8c00d07832737e57

Enforce trellis optimization for 1-pass encoding

This fixes the unit test failure in the 1-pass settings of
EndToEndTestLarge.EndtoEndPSNRTest

bug=webm:1243

Change-Id: I7667c341f7c063f7ffb83786446bbbd1e498c1aa

Merge "Fix input buffer initialization in convolution filter test" into nextgenv2

Merge "Refactor reference frame type defs" into nextgenv2

Merge "Reject sub8x8 partitions with SEG_LVL_SKIP." into nextgenv2

Reject sub8x8 partitions with SEG_LVL_SKIP.

Change-Id: I2503f163464862dc3a7a3141d43d3f07c81b33d2

Force SIMPLE_TRANSLATION motion for SEG_LVL_SKIP blocks.

Change-Id: Ib8ac19f25d06351b8aabed742aa0be66e28ec4d4

Refactor reference frame type defs

Move the reference frame type definitions to common/enums.h file.
Replace hard coded numbers.
Combine repeated definitions.

Change-Id: I288e079a03e448014cc181bcdb3f88ee8ec8d139

Fix input buffer initialization in convolution filter test

Change-Id: I70c0da96a81463d752e88b134b6fde012bd5823d

Remove unnecessary macros

Change-Id: Id0975947b4e7b76b2c2464905f3b9a29245946c2

Merge "(Cosmetics) Remove unnecessary new parameters in obmc experiment" into nextgenv2

Merge "Reinstate "Optimize wedge partition selection." without tests." into nextgenv2

(Cosmetics) Remove unnecessary new parameters in obmc experiment

pred_variance in obmc experiment is equivalant to recon_variance in
baseline

Change-Id: Iba8fb9bd973898be5a0d87a507ceaf65c75bdc51

Merge "Fix uninitialized context use case in supertx and var-tx" into nextgenv2

Merge "Make drl support bi-directional reference frames" into nextgenv2

Merge "Remove an unnecessary if()" into nextgenv2

Merge "Skip optimizing larger coefficients in trellis quant module" into nextgenv2

Merge "remove vpx_highbd_1[02]_sub_pixel_variance4x4_sse4_1" into nextgenv2

Fix uninitialized context use case in supertx and var-tx

This commit fixes the use of uninitialized context values in the
combination of supertx and var-tx.

Change-Id: I2d36badf5c9806ea402ce3e19515cc299e6b79e8

Make drl support bi-directional reference frames

This commit refactors the reference frame structure used in the
dynamic motion vector referencing system, and makes it support
the bi-directional reference frames. This resolves unit test
failure (enc/dec mismatch) when both are turned on.

The compression performance (ref-mv + ext-refs) is improved by
0.2% for lowres.

Change-Id: I233624d8fccc1f69e82295f94de984ff056365dc

Merge "Add 1D version of vpx_sum_squares_i16" into nextgenv2

Merge "Cleanup dist_block()" into nextgenv2

Remove an unnecessary if()

The condition of this if() is always true.

Change-Id: I251715d519414d1a3d0a78eb3d025df11d913298

Skip optimizing larger coefficients in trellis quant module

This achieves a few percent speed increase without hurting
compression performance.

Change-Id: I040e9bb69274f7de843bdd15926a5c924b30a731

Reinstate "Optimize wedge partition selection." without tests.

This reinstates commit efda2831e5f758b4f350679b5c55c0b9282449b0
without the tests and with fixes for 32 bit x86 builds.

Change-Id: I34be4fe1e8a67686d26ba256fd7efe0eb6a569e8

Add 1D version of vpx_sum_squares_i16

Change-Id: I1829f931749a26aec38c896b609c5a2640d6dfaf

Merge "Always respect tile bounds in calc_target_weighted_pred." into nextgenv2

Merge "Fix false uninitialized warnings (GCC 5+)." into nextgenv2

Always respect tile bounds in calc_target_weighted_pred.

The tile boundaries should now be respected even between tile rows.
regardless of whether ext-tile is used or not.

Change-Id: I5a39fd274451114a4264215f97f12be2c908016d

Merge "Handle two identical states in the trellis chain" into nextgenv2

Fix false uninitialized warnings (GCC 5+).

Change-Id: Ia00c754ddaf22bb7f1dfcd20106db6293bf4b070

Handle two identical states in the trellis chain

When the next two states are identical, skip repeated cost table
fetch and multiplication operations. This makes the trellis unit
about 5% faster.

Change-Id: I0dbf7ad0a5732044e4e45dd59e9431a251c678f2

Merge "Fix RDO issue of obmc + speed feature fast_inter_tx_type_search" into nextgenv2

Merge "Convolution horizontal filter SSSE3 optimization" into nextgenv2

Convolution horizontal filter SSSE3 optimization

- Apply signal direction/4-pixel vertical/8-pixel vertical
  parallelism.
- Add unit test to verify the bit exact result.
- Overall encoding time improves ~24% on Xeon E5-2680 CPU.

Change-Id: I104dcbfd43451476fee1f94cd16ca5f965878e59

Merge "Use precise rate estimate for zero_token" into nextgenv2

Merge "Optimize the use case of token_cost table" into nextgenv2

Merge "Turn on AqSegment tests for VP10" into nextgenv2

Fix RDO issue of obmc + speed feature fast_inter_tx_type_search

Change-Id: I86a967ad2d824ca7877626eed9eb11f0e057b22d

Merge "Re-enable ActiveMapTest for VP10" into nextgenv2

Merge "Fix unit test failure in obmc exp" into nextgenv2

remove vpx_highbd_1[02]_sub_pixel_variance4x4_sse4_1

these cause ASan errors VP10/EndToEndTestLarge.EndtoEndPSNRTest

BUG=webm:1242

Change-Id: I0334e3b255b14e18f61970c3721ae748dc79727b

Fix unit test failure in obmc exp

Properly restore the rate cost in the inner search loop of obmc
prediction. This avoids unexpected encoding behavior. It fixes
the unit test failure in obmc experiment:

AltRefForcedKeyTestLarge.Frame1IsKey/2

Change-Id: I667b219dfcf2f2c63d9d984900ed3cfd10c354bd

Merge "Make variance based partitioning compatible with SEG_LVL_SKIP" into nextgenv2

Merge "Skip restore token_cache value" into nextgenv2

Merge "Fix warnings from gtest under GCC 5 or newer." into nextgenv2

Merge bi-predictive frames to EXT_REFS

This patch removed the experiment of BIDIR_PRED and merged the feature
into the experiment of EXT_REFS:

(1) Each frame now has up to 6 reference frames, namely
    LAST_FRAME, LAST2_FRAME, LAST3_FRAME, GOLDEN_FRAME, (forward) and
    BWDREF_FRAME, ALTREF_FRAME (backward);
    LAST4_FRAME has been removed;
(2) First pass still keeps the 8 updates:
    KF_UPDATE, LF_UPDATE, GF_UPDATE, ARF_UPDATE, OVERLAY_UPDATE, and
    BRF_UPDATE, LAST_BIPRED_UPDATE, BI_PRED_UPDATE;
(3) show_existing_frame==1 is supported in the experiment of EXT_REFS;
(4) New encoding modes are added for both single-ref and compound cases,
    through the use of the 2 extra forward references (LAST2 & LAST3)
    and the 1 extra backward reference (BWDREF).

RD performance wise, using Overall PSNR: Avg/BDRate
        Bipred only      Prev EXT_REFS    Current EXT_REFS with bipred
lowres: -3.474/-3.324    -1.748/-1.586    -4.613/-4.387
derflr: -2.097/-1.353    -1.439/-1.215    -3.120/-2.252
midres: -2.129/-1.901    -1.345/-1.185    -2.898/-2.636

If in vp10/encoder/firstpass.h, change BFG_INTERVAL from 2 to 3, i.e. to
use 2 bi-predictive frames than 1, a further improvement may be
obtained:
                 Current EXT_REFS with bipred
        1 bi-predictive frame    2 bi-predictive frames
lowres: -4.613/-4.387            -4.675/-4.465
derflr: -3.120/-2.252            -3.333/-2.516
midres: -2.898/-2.636            -3.406/-3.095

Change-Id: Ib06fe9ea0a5cfd7418a1d79b978ee9d80bf191cb

Re-enable ActiveMapTest for VP10

Change-Id: I030fdde966b9911712eca131d095015afd9b0d8a

Make variance based partitioning compatible with SEG_LVL_SKIP

Inter blocks that have SEG_LVL_SKIP active must be at least 8x8 in
size for bitstream conformance (see read_inter_block_mode_info in
decodemv.c).

This patch makes the variance based partitioning scheme stop at 8x8
blocks in inter frames. This satisfies the SEG_LVL_SKIP constraint
and is more in line with the original implementation of this function
(before it got extended for 128x128 superblocks).

BUG=webm:1234

Change-Id: I1fdd894569a9c0817713a77daabe4c8b8e1d00c0

Use precise rate estimate for zero_token

This commit takes the precise rate estimate for zero_token rate
cost update. It improves the compression performance:

lowres 0.15%
midres 0.23%

Change-Id: I36761079f75ce43c814f8c663667e359d4ac2cd4

Optimize the use case of token_cost table

Reduce the cache footprint of the token_costs table.

Change-Id: Ie989e60c6479ac3251cadaac9c7e795ccba52f4e

Fix warnings from gtest under GCC 5 or newer.

Change-Id: I9661f2fe9d315dccae69caa70d929b5d9d93b7db

Merge "Rework table access operations in vp10_optimize_b function" into nextgenv2

Cleanup dist_block()

Change-Id: Iff0c0548924efd5a01c3a301cc5b4cdfda42e87e

Skip restore token_cache value

The trellis optimization is going backward. Hence there is no need
to restore the token_cache values that is behind the current node
in the scan order.

Change-Id: I4da8a2e3f78bf9630e6667c85d8c387c5d94de9a

Merge "Make supertx skip bits observe segment level coding." into nextgenv2

Rework table access operations in vp10_optimize_b function

Localize table access. This provides another 10% speed-up to
the unit.

Change-Id: Ib902121f412f78e2bd501b9799c8c64462f803b5

Merge "Change supertx syntax order." into nextgenv2