Merge "convolve_test: Avoid #if inside INSTANTIATE_TEST_CASE_P" into nextgenv2

Merge "buf_ans: Misc cleanup." into nextgenv2

Merge "ext-intra: completely remove floating point operations" into nextgenv2

convolve_test: Avoid #if inside INSTANTIATE_TEST_CASE_P

BUG=https://bugs.chromium.org/p/webm/issues/detail?id=1200

Change-Id: I7f7754e7d1288b103a4510303d10afc68a7d8ca8

Merge "Fix vp10 txfm on MSVC 2015." into nextgenv2

buf_ans: Misc cleanup.

Change-Id: I18a3ef2ee6cdda57abcd27683b30b4e3136182c0

Merge "Turn skip recode off temporarily for ref-mv" into nextgenv2

Fix vp10 txfm on MSVC 2015.

BUG=https://bugs.chromium.org/p/webm/issues/detail?id=1187

Change-Id: Ied6d3d003ed6ab9cf4f03cdd1d0037ae755254f4

ext-intra: completely remove floating point operations

No performance changes

Change-Id: Ia489041253423ddf8ebc7e2d41fbfb9e138109f0

Merge "Fix compound mv costing for ref-mv." into nextgenv2

Turn skip recode off temporarily for ref-mv

To fix tests in VP10/AltRefForcedKeyTestLarge.Frame1IsKey/*

Change-Id: I2f4f9fea515c9935d57006b709a9dd524f174b25

Merge "Initialize dummy variables." into nextgenv2

Fix compound mv costing for ref-mv.

I believe this is necessary for computing the correct rate,
when not doing joint_motion_search.

Change-Id: I7634d6d7a5e6f0a6998edb4d577dd047d80df3c8

Initialize dummy variables.

Valgrind flags these up as needed by handle_inter_mode.
Initializing fixes some assertion failures in the unit tests with
only ref-mv enabled.

Change-Id: I4d56c356692745dbecd9f790cdbb8dbfbaf72d55

Fix ext-tile without ext-partition.

Default case (when ext-partition was not configured) was incorrect
in encoder tile size initialization.

BUG=https://bugs.chromium.org/p/webm/issues/detail?id=1197

Change-Id: Ibe57cb1dc16b9fa300573816fc16d2d2f6849fc6

Merge "Optimization for EXT_INTER + OBMC" into nextgenv2

Optimization for EXT_INTER + OBMC

Remove the restriction that the neighboring predictor cannot be
used in obmc prediction if it is an interintra or wedgeinterinter
block. The inter predictor of the interintra block, or the first
inter predictor(using LAST or GOLDEN frame) of the wedgeinterinter
block will be exploited in obmc prediction.

Coding gain: 0.248% (2.833%->3.081%) lowres

Change-Id: I4ac0368b9d2f2956f266b30c1ac97db8bafa0742

Merge "Reduce intra transform set" into nextgenv2

Merge "Remove double counting for mv costs" into nextgenv2

Merge "Rework motion vector precision limit" into nextgenv2

Remove double counting for mv costs

The bug is introduced by commit 1a0352d, in which mv costs are
counted twice in joint_motion_search() in ext_inter experiment.

Change-Id: Ibace453df999d3c2e781d73f1f0912038fee2d4e

Merge "ext-intra: get rid of some floating operations." into nextgenv2

Rework motion vector precision limit

This commit enables 1/8 luma component motion vector precision
for all motion vector cases. It improves the compression performance
of lowres by 0.13% and hdres by 0.49%.

Change-Id: Iccfc85e8ee1c0154dfbd18f060344f1e3db5dc18

Reduce intra transform set

Reduce transform set for intra for 8x8 and smalller to 7 from 12.
Also fixes an issue with prob updates.

Enocder Speed-up about 8-10%

Coding efficiency very little change.
lowres: -2.996 (from -3.055 before)
midres: -2.482 (from -2.552 before)

Change-Id: I4ba50ff967521b33c748fe423bd92f7cf4105ebc

Merge "Keep track of zcoeff_blk in tx size/type search" into nextgenv2

ext-intra: get rid of some floating operations.

No performance changes.

Change-Id: Idd4043090fec09e57520bc970ed2e39e6f7e1a5e

Merge "Clear X87 register state before using double." into nextgenv2

Merge "HBD hybrid transform 4x4 SSE4.1 optimization" into nextgenv2

Clear X87 register state before using double.

MMX and X87 floating point instructions cannot be mixed freely on
the 32 bit x86 architecture.

This fixes a lot of unit tests in the 32bit build with
--enable-ext-intra.

BUG=https://bugs.chromium.org/p/webm/issues/detail?id=1196

Change-Id: I0e1c3565f4b9cb4fc2d716e94d9c40e68b36fac8

Merge "Raise the probability resolution for rANS tokens to 10-bits per symbol" into nextgenv2

HBD hybrid transform 4x4 SSE4.1 optimization

- Optimization on tx_type: DCT_DCT, DCT_ADST, ADST_DCT, ADST_ADST.
- Overall encoder speed improves ~4.5%-6%.
- Update bit-exact unit test against current C version.

Change-Id: If751c030612245b1c2470200c9570cf40d655504

Merge "Fix out-of-bound memory access in loop filter" into nextgenv2

Merge "Refactor sub-pixel motion search" into nextgenv2

vp10/rdopt: quiet unused variable warning

when CONFIG_REF_MV and CONFIG_EXT_INTER are enabled

Change-Id: I17fa2b5fe0e1878333099cc5fa2b1ee36636b4d3

Merge "Fix EXT_INTER unit test failure in 32-bit builds" into nextgenv2

Fix out-of-bound memory access in loop filter

This commit fixes an out-of-bound memory access case in the
loop filter mask setting. This issue was introduced in

10232ed Refactor loopfilter level arrays to 2D.
https://chromium-review.googlesource.com/#/c/336645/

Change-Id: I7101a4a79b9ecfdd8ec5ef13a0b314cc95f48d12

Fix EXT_INTER unit test failure in 32-bit builds

Align new buffers that are used in interintra and wedgeinterinter prediction.
BUG=https://bugs.chromium.org/p/webm/issues/detail?id=1196

Change-Id: I1ef49fdf13c79a22cf8a1737e3d3052da0a92dfe

Silence compiler above-boundary warnings

Change-Id: I6d806f92e8d38d5b0b01bc8e0fd97bd8839c84df

Raise the probability resolution for rANS tokens to 10-bits per symbol

Change-Id: I397b5a9371c85d1df401d261143c985623e9def6

Refactor sub-pixel motion search

Unify the rate cost used in the motion estimation process.

Change-Id: I8e52ca9f29eee3469553433302b62fb02a038919

Replace left shift with multiplications

This avoids the potential risk in left shift of negative numbers.

Change-Id: I7aecb499ee6ce7342b172adc4741de5c6c107a24

Fix an enc/dec mismatch issue in ext-inter experiment

This commit fixes an encoding decision process issue that could
trigger enc/dec mismatch in the ext-inter experiment.

Change-Id: I6f10d1fd2fd1aa04e51df04c39a65cf72ac66c42

Change hybrid transform function argument from TXFM_2D_CFG* to int

  Unit test shows manually developed SSE4.1 code would performs ~30%
  better if TXFM_2D_CFG configuration is set in lower level. This
  change only updates function signature. There is no performance
  impact.

Change-Id: I62692bd50a21ffc8a944bbd6c155c0a2020ad77b

Unbreak the non-var_tx build.

Change-Id: I76cc3d88122de42f035fbf6508bdf3fd7c995012

Merge "Fix uninitialized blk_skip for VAR TX." into nextgenv2

Merge "Move ZERO_TOKEN into the ANS coef tokenset." into nextgenv2

Merge "relax txfm test error constraint" into nextgenv2

Merge "Store ANS token CDFs in the FRAME_CONTEXT rather than in a global table." into nextgenv2

Move ZERO_TOKEN into the ANS coef tokenset.

Change-Id: I87943e027437543ab31fa3ae1aa8b2de3a063ae5

Merge "Handle zero motion vector residual" into nextgenv2

Merge "Adjust optimize_b RD parameters" into nextgenv2

Merge "Enable optimize_b for intra blocks" into nextgenv2

Merge "Change the naming of txfm#d_test" into nextgenv2

Change the naming of txfm#d_test

Change-Id: I151b18b38f7a000fb6e431cd42675ac4e7e9e3ca

Keep track of zcoeff_blk in tx size/type search

Prevent potential problems when per transform block
zero forcing is re-enabled (a To-Do).

Change-Id: I03b0ab2a86d88058441f2ca18994cfd2e6329898

Merge "Remove an unsuccessful adaption of overlap sizes in obmc experiment" into nextgenv2

Adjust optimize_b RD parameters

Coding gain:
lowres  0.44%
midres  0.24%
hdres   0.32%

Change-Id: Ie558203b2b2bf5c16cd49b114df3d696c4f35049

Enable optimize_b for intra blocks

Coding gain:
lowres  0.05%
midres  0.10%
hdres   0.18%

Change-Id: I508b150c02588f911a8ddddfe73c770f0819fe10

Store ANS token CDFs in the FRAME_CONTEXT rather than in a global table.

This will facilitate bringing the zero node into the token set while
allowing its probability to vary independently.

Change-Id: I57b44c0fce44debb8e612021e44713b229d1b3cf

Merge "Use an exponential growth approach for the ANS reversal buffer." into nextgenv2

Fix uninitialized blk_skip for VAR TX.

x->blk_skip used to be uninitialized (leftover from encoding the
previous block), if cm->tx_mode != TX_MODE_SELECT (which is used with
higher --cpu-used or --rt options). This resulted in degraded coding
performance when using cm->tx_mode != TX_MODE_SELECT.

This fixes the VP10/EndToEndTestLarge.EndtoEndPSNRTest/40 unit test.

Also fixed an edge effect where encode_block in encodemb.c used the
formal width of the block (without cropping at the right edge), to
look up blk_skip, while select_tx_block in rdopt.c used the cropped
width to set blk_skip.

Change-Id: I76d0f49ac5ab3ab54203573e0d7fcfcc1c6aa10d

Merge "Merge branch 'master' into nextgenv2" into nextgenv2

Revert "Fix uninitialized blk_skip for VAR TX."

This reverts commit e7b89d88354708790211ff3949fdc705a4fa1672.

Fix uninitialized blk_skip for VAR TX.

x->blk_skip used to be uninitialzied (leftover from encoding the
previous block), if cm->tx_mode != TX_MODE_SELECT (which is used with
higher --cpu-used or --rt options). This resulted in degraded coding
performance when uning cm->tx_mode != TX_MODE_SELECT.

This fixes the VP10/EndToEndTestLarge.EndtoEndPSNRTest/40 unit test.

Change-Id: If39062927446798c626fc93694b4e6a4f35fa5da

Handle zero motion vector residual

This commit handles the zero motion vector residuals for single
and compound reference modes, respectively. It improves the coding
performance by 0.13% with no additional encoding complexity.

Change-Id: I16075a836025bd2746da2ff4698fb9261e4b08c1

Merge "Disable HBD 4x4 DCT_DCT HT test" into nextgenv2

Remove an unsuccessful adaption of overlap sizes in obmc experiment

We removed this adaption, which intended to reduce the size of
overlapped region if the neighboring block is a non-skip one. Thus,
now the width/height of the overlapping region is fixed as a half of
the current block.

Performance improvement (lowres/midres): 0.111%/0.102%

Change-Id: Ife75dad9d4eb355c78a05178b50cc015c442884f

Merge branch 'master' into nextgenv2

Conflicts:
vp10/common/scan.c
vp9/common/vp9_pred_common.c
vp9/decoder/vp9_decoder.c

Change-Id: Id559d98ea676da15d60ed464ddb6c48d3eed1111

Refactor transform selection process

This commit re-arranges the transform type and size selectio
process. It removes an unnecessary rate-distortion cost computation
step. Local experiments show that this speeds up the encoding
process by 6% for both the baseline and the ext-intra experiment.

Change-Id: Iab3b86a63a1e9e55548466791ed5d29a0575c1e7

Merge "Refactor rd_variance_adjustment function" into nextgenv2

Merge changes I67543d36,I763f2924 into nextgenv2

* changes:
  Reduce shift in txfm8x8
  Let txfm's constant bit be the same for each stage

Disable HBD 4x4 DCT_DCT HT test

- HBD HT unit tests will be modified to test against new algorithm.

Change-Id: Iba58eeb21a45612685c93c98d7c846dab25e6638

Merge "Adjustment to prediction decay."

Merge "Fit adst/dct's stage range into 32-bit in bd12" into nextgenv2

Merge "Remove double operation from tx_size selection" into nextgenv2

Merge "Improvement on hybrid transform 4x4 DCT_DCT SSE4.1 optimization" into nextgenv2

Remove double operation from tx_size selection

This CL fix the bug
rdopt.c:1687: choose_tx_size_from_rd: Assertion
`mbmi->tx_type == DCT_DCT' failed

It is caused by
1) mms register access before double operation
2) different compiler behaviors
code:
  int64_t a = INT64_MAX;
  double b = 1. * INT64_MAX;
  printf("a < b: %d\n", a < b);
result:
  a < b: 0

code:
  --target=x86-linux-gcc
  int64_t a = INT64_MAX;
  double b = 1. * INT64_MAX;
  printf("a < b: %d\n", a < b);
result:
  a < b: 1

I remove the double operation and test it with EXT_TX experiment.
The psnr change is around 0.05%, which is considered as noise level.

Change-Id: If8935c70c8603617fcfa8571accd30ccdda786a0

Refactor rd_variance_adjustment function

Compute the reconstruction variance in the prediction mode search.

Change-Id: Id9c7635a9c9f5383e61c0e427e95234211834301

Merge "Optimization for EXT_INTER + OBMC combination" into nextgenv2

Optimization for EXT_INTER + OBMC combination

In the rd loop, check the perf of obmc, whose mv is copied from regular
inter predictor, when wedge interinter is better than regular inter
(previously it will force allow_obmc = 0). The condition of the early
termination before this step is relaxed to avoid skipping too many obmc
predictions. The rates of the overhead are properly calculated for these tools.

The logic of the bitstream syntax:
(a single ref) the interintra flag is sent first, only if it is 0, we
send the obmc flag;
(compound refs) the obmc flag is sent first, only if it is 0, we send
the wedge interinter flag

Coding gain
lowres: 0.428% (2.287%->2.715%)

Change-Id: I5f3a34640b398e313cbf84235c9fe2073eb2173f

Merge "Fix an unaligned memory allocation in HT 4x4 speed test" into nextgenv2

Merge "remove redundant header" into nextgenv2

remove redundant header

Change-Id: Ib0e880c341adebb238f43a6caeb661e2094e7a93

relax txfm test error constraint

The error is increases because we reduce the const bit
of txfm

Change-Id: I0235a3fdb7dc6a4c0cd1c8cebb369df2a5071b94

Fix an unaligned memory allocation in HT 4x4 speed test

- Allocate 16-byte aligned memory.
- Disable speed test in unit tests.

Change-Id: Ibef734f4b9d39ad50e9b2e8e0a5d74565d57b409

Improvement on hybrid transform 4x4 DCT_DCT SSE4.1 optimization

- Implemented Angie's new fwd txfm algorithm.
- Improve ~100% than last 64-bit version; 3 times faster than
  original C code.
- Passed bit-exact unit test.

Change-Id: Ica30b9768706604a6d69fe42da778441f0f5f02e

Merge "VP9: inline vp9_get_intra_inter_context()"

Remove duplicated TxfmFunc declarations

Change-Id: If3876610a1fbce0988cc21ea917596bbb467df93

Merge "Fix segfault with --cpu-used >= 3 and ext-refs." into nextgenv2

Merge "Enable vpx_idct32x32_1024_add_neon for neon as well, not only for neon_asm"

VP9: inline vp9_get_intra_inter_context()

Change-Id: I71366140799b9b39474b9b459082cdb250bd1905

Fix segfault with --cpu-used >= 3 and ext-refs.

With ext-ref enabled, it is possible that when trying to encode the
first true ALTREF frame after a keyframe, the previous ALTREF frame
(alias for the keyframe) is the same as one of the new LAST{2,3,4}
reference frames, and hence cpi->ref_frame_flags will have the ALTREF
bit clear, as computed by get_ref_frame_flags in encoder.c.

sf->alt_ref_search_fp forces the previous ALTREF frame to
be used as the only possible  reference when encoding a new ALTREF
frame, but due to cpi->ref_frame_flags, some buffers will not be
initialized (see rdopt.c:7689 yv12_mb), leading to a segfault.

get_ref_frame_flags in encoder.c has been changed to prefer to keep
the  LAST frame, then the ALTREF frame, then any of the LAST{2,3,4}
frames and then the GOLDEN frame in that order of preference in case
any of them are the same. This avoids the segfault and behaves the
same for the baseline.

Change-Id: I4da1991667614009da5d3061a6316c0d5dbc6c0c

Enable vpx_idct32x32_1024_add_neon for neon as well, not only for neon_asm

This was never hooked up for the 32x32_34 case as the neon_asm version
in 3f7c12da, when the intrinsics version was added.

Change-Id: Ic7db4ce5850c637315f9fe9e2de93a4f8cf9e320

Reduce shift in txfm8x8

Change-Id: I67543d365cbef3c3e113f01660ae8cb744cc556d

Let txfm's constant bit be the same for each stage

Change-Id: I763f2924afca526db371231bca18b38879bdf793

Fit adst/dct's stage range into 32-bit in bd12

Change-Id: Ie428c6f0655873de3e77e844a2f2e4203cf47dff

Apply 'const' to data not pointer

Change-Id: Ic6b695442e319f7582a7ee8e52a47ae3e38c7298

Merge "Clean up motion vector precision check in the encoding process" into nextgenv2

Merge "Apply motion vector precision check to candidate mv" into nextgenv2

Merge "Enable mode conversion in sub8x8 block" into nextgenv2