Refactor supertx rd search

General code cleanup, but also use the same supertx condition for
ext-partition-types as for conventional partitions.

Change-Id: If86eb18b3c07b9c60434eec2c98b97ce93665b67

Merge "Fix vp10_accumulate_frame_counts once and for all." into nextgenv2

Merge "Change to call build_masked_compound_highbd()" into nextgenv2

Merge "Refactor intra filter type context fetch function" into nextgenv2

Change to call build_masked_compound_highbd()

from combine_interintra_highbd(). This fixes a crash in encoder in
highbitdepth build.

Change-Id: I0aa4cc30200703ff21e9990163bb26ace41aabbc

Refactor intra filter type context fetch function

Factor out common codes from vp10_get_pred_context_intra_interp().
This prevents a potential invalid access of pointers xd->left_mbmi
and xd->above_mbmi.

The coding statistics are identical.

Change-Id: I72dbf9380da7359b997bbe925010faab8e9e7f8d

Remove the use of non-declared "plane"

The variable is not defined, it is not needed by the called function
either.

Change-Id: Ia601c03231afc0ae68a10ae1f35e8fc4121c3d28

Change to use proper type in vp10_token_state

"qc" in vp10_token_state is used to save quantized coefficients, this
commit changes the type from short to tran_low_t to properly reflect
the value range for highbitdepth build.

This fixes an out-of-range bug when optimize_b is used in highbitdepth
build.

Change-Id: I914c6fd3d3f4b9d061f9ed7cc5f08a883ab59dcd

Fix vp10_accumulate_frame_counts once and for all.

This ensures the multi-threaded and single-threaded encoder/decoder
always uses the same probability contexts.

Change-Id: I6f1e7c6bd8808c390c1dc0a628ae97db3acedf6d

Merge "Compute end of frame data precisely with ext-tile." into nextgenv2

Merge "Refactoring and uv fix for wedge" into nextgenv2

Merge "Test tile row independence." into nextgenv2

Merge "Configure tiles in tests when using ext-tile." into nextgenv2

Merge "Replace hard coded values in mv_has_subpel" into nextgenv2

Compute end of frame data precisely with ext-tile.

Decoding superframes correctly requires computing the end of the
frame contents in the bitstream precisely. This patch enables
ext-tile to do so.

Also extended superframe_test to test with multiple tiles if using
ext-tile.

Change-Id: I04bb8cde8755a3d764ee3c36aa8b7a6c5c9db742

Test tile row independence.

Tile rows should now be independent, so make pbi->inv_tile_order
invert the decoding order of tile rows as well as tile columns.
This should improve test coverage. Also added more tile configurations
to the tile_independence_tests.

Change-Id: I14b0f2fa9241c1acaf9e2a07071952cb33feca77

Configure tiles in tests when using ext-tile.

With ext-tile enabled, the encoder test driver needs to configure the
tile sizes wit different values to encode using a single tile, and to
decode all tiles. This should fix most unit test failures.

Change-Id: I0a0d26737414669791f3bd8d80c537db09f06072

Merge "Add dual_filter into the experimental flag list" into nextgenv2

Merge "Enable VP10 HBD PSNR checking unit test" into nextgenv2

Add dual_filter into the experimental flag list

Change-Id: I3f240fb46716b70e7c0ddd40660f55e1285875cd

Replace hard coded values in mv_has_subpel

Change-Id: Id437740c2db1a3a56c1ad29d8b51bb763c044c1d

Refactoring and uv fix for wedge

lowres: -1.72%

Change-Id: I4c883097caac72fab8e01945454579891617145e

Merge "Fix vp10 highbd psnr calculation" into nextgenv2

Merge "Add the 64-bit CPU cycle count utility function" into nextgenv2

Add the 64-bit CPU cycle count utility function

Change-Id: Ie87245bbdf5735bc9729199eeb07899d81dbf267
(cherry picked from commit b547a2f38cfab81f6cbe392b9eb48ab0c12b80cf)

Fix vp10 highbd psnr calculation

BUG=https://bugs.chromium.org/p/webm/issues/detail?id=1209
Change-Id: Ia189ec4c1cc9bbcb79a45d1904567d943e2b3bb6

Enable VP10 HBD PSNR checking unit test

We enable this unit test to protect the high bit depth picture
quality from degrading under VP10 optimization and new experimental
tools.

Change-Id: I6297a44cf01954773e06549ab2a68c319fc848a8

Merge "Bug fixes for obmc/ext-inter/ext-tile experiment" into nextgenv2

Merge "HBD hybrid transform 8x8 SSE4.1 optimization" into nextgenv2

Merge "Fix encoder failure in segmentation mode" into nextgenv2

Bug fixes for obmc/ext-inter/ext-tile experiment

Fix 1: in ext-inter + obmc config, properly identify if the left
predictor used for obmc is a compound one in the case that the
neighbor uses wedgeinterinter pred and we will dump the ALTREF part.
This will fix the seg fault in unit test:
VP10/AltRefForcedKeyTestLarge.Frame1IsKey/0

Fix 2: in ext-tile + obmc experiment, handle the case that the
above block does not fit in the same row tile with the current one,
so as to prevent potential crashes.

Change-Id: I1c177d4f4ad15e10d11d8756e146496437753eea

Fix encoder failure in segmentation mode

This commit fixes an encoder segment fault in the codebase, when
the segmentation feature is turned on. The issue was introduced in

5cce322 Porting ext_partition experiment from nextgen

Change-Id: Ifb4c06c5a6976114a8bd061d40d0338a136abaaf

HBD hybrid transform 8x8 SSE4.1 optimization

- Tx_type: DCT_DCT, DCT_ADST, ADST_DCT, ADST_ADST.
- Update bit-exact unit test against current C version.
- HBD encoder speed improves ~3.8%.

Change-Id: Ie13925ba11214eef2b5326814940638507bf68ec

Refactor wedge generation

Change-Id: I2ec4f562e28a4673477e20186f9d6167b24b76b8

Merge "Make the backward updates work with bitshifts" into nextgenv2

Make the backward updates work with bitshifts

Removes integer divides from backward updates for VP10.
Currently this is put in as part of the entropy experiment.
Coding efficiency change is in the noise level.

Change-Id: I5b3c0ab6169ee6d82d0ca1778e264fd4577cdd32

Brings back near-near compound mode into ext-inter

lowres: improves by 0.1%

Change-Id: I245019916bf47c6e24bc8c3953b86715ab0193c9

Fix some mismatches when using ext-interp.

With ext interp, write_switchable_interp_filter calls
vp10_is_interp_needed, which needs access to the reference frame
buffers to check if they are scaled, the ref frame buffer pointer
at this point used to be uninitialized in the encoder resulting in
bitstream syntax mismatch when the encoder/decoder did not read/write
the interp filter element consistently.

Change-Id: Ie0be2a19cbfcb5639a751aa857458e91c23b8fe3

Merge changes Ia2dd6bb1,Id1220b03 into nextgenv2

* changes:
  transform tests: Avoid #if inside INSTANTIATE_TEST_CASE_P
  variance_test: Avoid #if inside INSTANTIATE_TEST_CASE_P

Merge "convolve_test: Avoid #if inside INSTANTIATE_TEST_CASE_P" into nextgenv2

Merge "buf_ans: Misc cleanup." into nextgenv2

Merge "ext-intra: completely remove floating point operations" into nextgenv2

transform tests: Avoid #if inside INSTANTIATE_TEST_CASE_P

BUG=https://bugs.chromium.org/p/webm/issues/detail?id=1200

Change-Id: Ia2dd6bb1ca2dff4422753af4a00156a12e488ed0

variance_test: Avoid #if inside INSTANTIATE_TEST_CASE_P

BUG=https://bugs.chromium.org/p/webm/issues/detail?id=1200

Change-Id: Id1220b03e7be931e298848de381fdbce911e4a73

convolve_test: Avoid #if inside INSTANTIATE_TEST_CASE_P

BUG=https://bugs.chromium.org/p/webm/issues/detail?id=1200

Change-Id: I7f7754e7d1288b103a4510303d10afc68a7d8ca8

Merge "Fix vp10 txfm on MSVC 2015." into nextgenv2

buf_ans: Misc cleanup.

Change-Id: I18a3ef2ee6cdda57abcd27683b30b4e3136182c0

Merge "Turn skip recode off temporarily for ref-mv" into nextgenv2

Fix vp10 txfm on MSVC 2015.

BUG=https://bugs.chromium.org/p/webm/issues/detail?id=1187

Change-Id: Ied6d3d003ed6ab9cf4f03cdd1d0037ae755254f4

ext-intra: completely remove floating point operations

No performance changes

Change-Id: Ia489041253423ddf8ebc7e2d41fbfb9e138109f0

Merge "Fix compound mv costing for ref-mv." into nextgenv2

Turn skip recode off temporarily for ref-mv

To fix tests in VP10/AltRefForcedKeyTestLarge.Frame1IsKey/*

Change-Id: I2f4f9fea515c9935d57006b709a9dd524f174b25

Merge "Initialize dummy variables." into nextgenv2

Fix compound mv costing for ref-mv.

I believe this is necessary for computing the correct rate,
when not doing joint_motion_search.

Change-Id: I7634d6d7a5e6f0a6998edb4d577dd047d80df3c8

Initialize dummy variables.

Valgrind flags these up as needed by handle_inter_mode.
Initializing fixes some assertion failures in the unit tests with
only ref-mv enabled.

Change-Id: I4d56c356692745dbecd9f790cdbb8dbfbaf72d55

Fix ext-tile without ext-partition.

Default case (when ext-partition was not configured) was incorrect
in encoder tile size initialization.

BUG=https://bugs.chromium.org/p/webm/issues/detail?id=1197

Change-Id: Ibe57cb1dc16b9fa300573816fc16d2d2f6849fc6

Merge "Optimization for EXT_INTER + OBMC" into nextgenv2

Optimization for EXT_INTER + OBMC

Remove the restriction that the neighboring predictor cannot be
used in obmc prediction if it is an interintra or wedgeinterinter
block. The inter predictor of the interintra block, or the first
inter predictor(using LAST or GOLDEN frame) of the wedgeinterinter
block will be exploited in obmc prediction.

Coding gain: 0.248% (2.833%->3.081%) lowres

Change-Id: I4ac0368b9d2f2956f266b30c1ac97db8bafa0742

Merge "Reduce intra transform set" into nextgenv2

Merge "Remove double counting for mv costs" into nextgenv2

Merge "Rework motion vector precision limit" into nextgenv2

Remove double counting for mv costs

The bug is introduced by commit 1a0352d, in which mv costs are
counted twice in joint_motion_search() in ext_inter experiment.

Change-Id: Ibace453df999d3c2e781d73f1f0912038fee2d4e

Merge "ext-intra: get rid of some floating operations." into nextgenv2

Rework motion vector precision limit

This commit enables 1/8 luma component motion vector precision
for all motion vector cases. It improves the compression performance
of lowres by 0.13% and hdres by 0.49%.

Change-Id: Iccfc85e8ee1c0154dfbd18f060344f1e3db5dc18

Reduce intra transform set

Reduce transform set for intra for 8x8 and smalller to 7 from 12.
Also fixes an issue with prob updates.

Enocder Speed-up about 8-10%

Coding efficiency very little change.
lowres: -2.996 (from -3.055 before)
midres: -2.482 (from -2.552 before)

Change-Id: I4ba50ff967521b33c748fe423bd92f7cf4105ebc

Merge "Keep track of zcoeff_blk in tx size/type search" into nextgenv2

ext-intra: get rid of some floating operations.

No performance changes.

Change-Id: Idd4043090fec09e57520bc970ed2e39e6f7e1a5e

Merge "Clear X87 register state before using double." into nextgenv2

Merge "HBD hybrid transform 4x4 SSE4.1 optimization" into nextgenv2

Clear X87 register state before using double.

MMX and X87 floating point instructions cannot be mixed freely on
the 32 bit x86 architecture.

This fixes a lot of unit tests in the 32bit build with
--enable-ext-intra.

BUG=https://bugs.chromium.org/p/webm/issues/detail?id=1196

Change-Id: I0e1c3565f4b9cb4fc2d716e94d9c40e68b36fac8

Merge "Raise the probability resolution for rANS tokens to 10-bits per symbol" into nextgenv2

HBD hybrid transform 4x4 SSE4.1 optimization

- Optimization on tx_type: DCT_DCT, DCT_ADST, ADST_DCT, ADST_ADST.
- Overall encoder speed improves ~4.5%-6%.
- Update bit-exact unit test against current C version.

Change-Id: If751c030612245b1c2470200c9570cf40d655504

Merge "Fix out-of-bound memory access in loop filter" into nextgenv2

Merge "Refactor sub-pixel motion search" into nextgenv2

vp10/rdopt: quiet unused variable warning

when CONFIG_REF_MV and CONFIG_EXT_INTER are enabled

Change-Id: I17fa2b5fe0e1878333099cc5fa2b1ee36636b4d3

Merge "Fix EXT_INTER unit test failure in 32-bit builds" into nextgenv2

Fix out-of-bound memory access in loop filter

This commit fixes an out-of-bound memory access case in the
loop filter mask setting. This issue was introduced in

10232ed Refactor loopfilter level arrays to 2D.
https://chromium-review.googlesource.com/#/c/336645/

Change-Id: I7101a4a79b9ecfdd8ec5ef13a0b314cc95f48d12

Fix EXT_INTER unit test failure in 32-bit builds

Align new buffers that are used in interintra and wedgeinterinter prediction.
BUG=https://bugs.chromium.org/p/webm/issues/detail?id=1196

Change-Id: I1ef49fdf13c79a22cf8a1737e3d3052da0a92dfe

Silence compiler above-boundary warnings

Change-Id: I6d806f92e8d38d5b0b01bc8e0fd97bd8839c84df

Raise the probability resolution for rANS tokens to 10-bits per symbol

Change-Id: I397b5a9371c85d1df401d261143c985623e9def6

Refactor sub-pixel motion search

Unify the rate cost used in the motion estimation process.

Change-Id: I8e52ca9f29eee3469553433302b62fb02a038919

Replace left shift with multiplications

This avoids the potential risk in left shift of negative numbers.

Change-Id: I7aecb499ee6ce7342b172adc4741de5c6c107a24

Fix an enc/dec mismatch issue in ext-inter experiment

This commit fixes an encoding decision process issue that could
trigger enc/dec mismatch in the ext-inter experiment.

Change-Id: I6f10d1fd2fd1aa04e51df04c39a65cf72ac66c42

Change hybrid transform function argument from TXFM_2D_CFG* to int

  Unit test shows manually developed SSE4.1 code would performs ~30%
  better if TXFM_2D_CFG configuration is set in lower level. This
  change only updates function signature. There is no performance
  impact.

Change-Id: I62692bd50a21ffc8a944bbd6c155c0a2020ad77b

Unbreak the non-var_tx build.

Change-Id: I76cc3d88122de42f035fbf6508bdf3fd7c995012

Merge "Fix uninitialized blk_skip for VAR TX." into nextgenv2

Merge "Move ZERO_TOKEN into the ANS coef tokenset." into nextgenv2

Merge "relax txfm test error constraint" into nextgenv2

Merge "Store ANS token CDFs in the FRAME_CONTEXT rather than in a global table." into nextgenv2

Move ZERO_TOKEN into the ANS coef tokenset.

Change-Id: I87943e027437543ab31fa3ae1aa8b2de3a063ae5

Merge "Handle zero motion vector residual" into nextgenv2

Merge "Adjust optimize_b RD parameters" into nextgenv2

Merge "Enable optimize_b for intra blocks" into nextgenv2

Merge "Change the naming of txfm#d_test" into nextgenv2

Change the naming of txfm#d_test

Change-Id: I151b18b38f7a000fb6e431cd42675ac4e7e9e3ca

Keep track of zcoeff_blk in tx size/type search

Prevent potential problems when per transform block
zero forcing is re-enabled (a To-Do).

Change-Id: I03b0ab2a86d88058441f2ca18994cfd2e6329898

Merge "Remove an unsuccessful adaption of overlap sizes in obmc experiment" into nextgenv2

Adjust optimize_b RD parameters

Coding gain:
lowres  0.44%
midres  0.24%
hdres   0.32%

Change-Id: Ie558203b2b2bf5c16cd49b114df3d696c4f35049

Enable optimize_b for intra blocks

Coding gain:
lowres  0.05%
midres  0.10%
hdres   0.18%

Change-Id: I508b150c02588f911a8ddddfe73c770f0819fe10

Store ANS token CDFs in the FRAME_CONTEXT rather than in a global table.

This will facilitate bringing the zero node into the token set while
allowing its probability to vary independently.

Change-Id: I57b44c0fce44debb8e612021e44713b229d1b3cf