Allow precise classification for refmv mode context

Combine the nearest ref mv count and the total ref mv count for
mode context.

Change-Id: I342a2b126bf7d2d30c344911260d9769a923026b

Re-design motion compensated prediction mode entropy coding system

This commit re-works the entropy coding scheme of the motion
compensated prediction modes. It allows more flexible hyperplane
partition for precise classification.

Change-Id: Iba5035c76691946cf1386b6c495e399c3d9c8fc5

Merge "Fix for crash when using high bitdepth and var-tx" into nextgenv2

Merge "Bring palette back to nextgenv2" into nextgenv2

Fix for crash when using high bitdepth and var-tx

Change-Id: Ide48fa4312f7828f99290f7a2be878f5673fa716

Bring palette back to nextgenv2

It was removed by the master branch merge.

Change-Id: I4b2a524c9e052e41063359afcb4ba22bf78344cf

Miscellaneous changes in reconintra.c

Fix a bug in vp10_has_right;
Some cosmetic changes.

Tiny performance improvement (0.02%~0.04%) on derflr and hevcmr.

Change-Id: Iee829003a20f32d6185a08bab2bd4201806be2b3

Merge branch 'master' into nextgenv2

Conflicts:
vp10/common/blockd.h
vp10/common/entropymode.h
vp10/common/reconintra.c
vp10/decoder/decodemv.c
vp10/encoder/bitstream.c
vp10/encoder/encoder.h
vp10/encoder/rd.c
vp10/encoder/rdopt.c
vp10/encoder/tokenize.h

Change-Id: Ic4891839b6f0474026d6d69821e38edec9632df1

Fix bug when overlaying middle arfs in multi-arf groups.

Fix copied over from VP9 master to VP10 master.
Do not reset the alt ref active flag when overlaying the middle
arf(s) of a multi arf group.

Change-Id: I1b7392107e7c675640d5ee1624012f39cc374c58

Revert "MMX in intra 4x4 prediction replaced with SSE2"

This reverts commit 89a1efa4c436c58c101c8b3de866e3014be7d77a.

This causes a segfault when decoding vp8, in both 32 and 64-bit

Change-Id: Idbb9bb28ab897e1d055340497c47b49a12231367

Merge "Adjust variance threshold based on source noise level."

Merge "comment out range_check of fdct in dct.c"

Adjust variance threshold based on source noise level.

For non-rd variance partition: Adjust variance threhsold based
on noise level estimate. This change allows the adjustment to be
updated more frequently.

Change-Id: Ie2abf63bf3f1ee54d0bc4ff497298801fdb92b0d

Merge changes Ie48229c2,Ib9f18468,I0c90e7c1

* changes:
  Speed up h_predictor_16x16
  Speed up h_predictor_8x8
  MMX in intra 8x8 prediction replaced with SSE2

Speed up h_predictor_16x16

Relocate the function from SSSE3 to SSE2, Unroll loop from 8 to 4,
and reduce mem access to left.
Speed up by >20% in ./test_intra_pred_speed.

Change-Id: Ie48229c2e32404706b722442942c84983bda74cc

Speed up h_predictor_8x8

Relocate the function from SSSE3 to SSE2, Unroll loop from 4 to 2,
and reduce mem access to left.
Speed up by >20% in ./test_intra_pred_speed.

Change-Id: Ib9f1846819783b6e05e2a310c930eb844b2b4d2e

Merge "Non-rd partition: Use force split on 16x16 for low resolutions."

comment out range_check of fdct in dct.c

The range_check is not used because the bit range
in fdct# is not correct. Since we are going to merge in a new version
of fdct# from nextgenv2, we won't fix the incorrect bit range now.

Change-Id: I54f27a6507f27bf475af302b4dbedc71c5385118

Merge "MMX in intra 4x4 prediction replaced with SSE2"

Non-rd partition: Use force split on 16x16 for low resolutions.

For low resolutions, whem 4x4downsample is used for variance,
use the same force split (that is used for 8x8downsample) for 16x16 blocks.

No change in metrics. Small improvement visually.

Change-Id: I915b9895902d0b9a41e75d37fee1bf3714d2366d

Merge "Fix bug when overlaying middle arfs in multi-arf groups."

Merge "Extend reference motion vector candidate range" into nextgenv2

MMX in intra 8x8 prediction replaced with SSE2

8x8 Intra predictor implemented with MMX is replaced with SSE2.

Change-Id: I0c90e7c1e1e6942489ac2bfe58903b728aac7a52

MMX in intra 4x4 prediction replaced with SSE2

4x4 Intra predictor implemented with MMX is replaced with SSE2.

Change-Id: Id57da2a7c38832d0356bc998790fc1989d39eafc

Merge "vp9-noise estimate: Move level setting to a function."

Merge "vp9-denoiser: Increase threshold for mode re-evaluation."

Merge changes Iea45fd22,If174d8dd,I9f539491 into nextgenv2

* changes:
  Add facade to inverse txfm
  Create hybrid_fwd_txfm.c
  merge txfm_#x#_1 into txfm_#x#

vp9-denoiser: Increase threshold for mode re-evaluation.

Change-Id: I57a15aec1cb2d6638f5211d30c2c9f15fb62494f

vp9-noise estimate: Move level setting to a function.

This is so we may update level at any time (e.g., to be used
for setting thresholds in variance-based partition).

Change-Id: I32caad2271b8e03017a531f9ea456a6dbb9d49c7

Remove palette from VP10

Store it in nextgenv2 for now.

Change-Id: Iab0af0e15246758e3b6e8bde4a74b13c410576fc

Extend reference motion vector candidate range

This commit adds top-right corner and collocated block into the
reference motion vector candidate check list.

Change-Id: I892a4c7fb04ddda44e0f9dfe769471252d40c42b

Fix bug when overlaying middle arfs in multi-arf groups.

Do not reset the alt ref active flag when overlaying the middle
arf(s) of a multi arf group.

Change-Id: Ia55a55a376973f3fd17161429fd2afb07b4df31f

Merge branch 'master' into nextgenv2

Merge "SSE2 speed up of  h_predictor_4x4"

Merge branch 'master' into nextgenv2

Fix a spatial svc test crash

Fixes crash in 2pass spatial svc test that was introduced in:
https://chromium-review.googlesource.com/#/c/313571/6

Change-Id: Iab3e8225a8d159cd33f5849dffe6802e25038047

Fix a spatial svc assert failure

Fixes spatial svc rc assert failure introdcued in:
https://chromium-review.googlesource.com/#/c/312959/1

Change-Id: I6096bfbc484859d71a5fb55e6a3248a31885af61

Merge "Spatial SVC crash fix"

Speed up angle search in intra mode selection

Estimate angle histogram using gradient analysis, then skip those
angles that are unlikely to be chosen.

On ext-intra experiment, turning off filter-intra modes:
for all-key-frame setting, computation overhead is reduced
by about 40%, coding gain dropped from +2.08% to +1.96% (derflr);
with kf-max-dist=150, computation overhead is reduced
by about 60%, coding gain dropped from +0.58% to +0.49% (derflr).

Change-Id: I36687410fb10561b8e1a8eebb1528cf17755bd5b

Fix a spatial svc bug related to scaling

Fixes bug introduced in
https://chromium-review.googlesource.com/#/c/299482/5

Change-Id: If542c1a917380465dd9bc4ce5e32b0adbb20e340

Merge branch 'master' into nextgenv2

Condition use of minmax in variance partition on speed setting.

For non-rd variance partition: only allow minmax computation
(which currently has no arm-neon optimization) for speeds < 8.

Performance loss is small: On RTC set with speed 8, few clips lose ~2/3%,
average loss is < 1%.

Change-Id: Ia9414f4d0b77dc83c3e73ca8de5d903f64b425ce

Merge "VPX: x86 asm version of vpx_idct32x32_1024_add()"

Merge "vp9 denoiser: Fix to re-evaluate mode selection."

SSE2 speed up of  h_predictor_4x4

Relocate h_predictor_4x4 from SSSE3 to SSE2 with XMM registers.
Speed up by ~25% in ./test_intra_pred_speed.

Change-Id: I64e14c13b482a471449be3559bfb0da45cf88d9d

vp9: Update to noise estimation for denoising.

Change initial state of noise level, and only update
denoiser with noise level when estimate is done.

Change-Id: If44090d29949d3e4927e855d88241634cdb395dc

vp9 denoiser: Fix to re-evaluate mode selection.

This fix allows to enable reuse_inter_pred.

Change-Id: I53f2bf1163bb0036ffb6df92117a86debdca11d1

Add facade to inverse txfm

Add inv_txfm and highbd_inv_txfm as facades of inverse transform
such that the code flow in encodemb.c can be simpler

Change-Id: Iea45fd22dd8b173f8eb3919ca6502636f7bcfcf7

Refactor sub8x8 ref motion vector search

Take out an unnecessary use of the mode context array.

Change-Id: I4032ed18464e5ec49a2160bea964bad9b716ee54

Create hybrid_fwd_txfm.c

Move txfm functions from encodemb to hybrid_twd_txfm.c
to make encodemb's code flow clear

Change-Id: If174d8ddb490d149c103e5127d30ef19adfbed13

VPX: x86 asm version of vpx_idct32x32_1024_add()

Change-Id: I3ba4ede553e068bf116dce59d1317347988b3542

Merge "Fix ext-tx experiment for highbitdepth" into nextgenv2

Merge "Make sub8x8 block ref mv search consistent to regular blocks" into nextgenv2

Merge branch 'master' into nextgenv2

Make sub8x8 block ref mv search consistent to regular blocks

Check all motion vectors in the immediate above and left blocks if
the reference conditions matched.

Change-Id: I8bf33bfcee99e8150232c7681fdeade307024272

Merge "vp9 denoiser: Re-evaluate ZEROMV after denoiser filtering."

Merge "Speed up tm_predictor_8x8"

Remove a redundant argument in setup_ref_mv_list

Change-Id: I215071bff55f8ba6347fa985414b40723b4986f5

Merge "Integrate motion vector stack into codec" into nextgenv2

merge txfm_#x#_1 into txfm_#x#

Change-Id: I9f539491fe676898246976c91d5ac4804a155803

Merge "configure: simplify x86 asm dependencies"

Merge changes Iaf8cbe95,I6748183d,I2a49811d

* changes:
  add vp9_satd_neon
  fix vp9_satd_sse2
  vp9_satd: return an int

vp9 denoiser: Re-evaluate ZEROMV after denoiser filtering.

For denoising, and for noise level above threshold, re-evaluate
ZEROMV for mode selection after denoising.
Current change only does this check if selected best mode (before denoising)
was intra.

Change-Id: I4b1435b68d26c78f7597b995ee7bff0ddd5f9511

Merge "Refactor tokenization coding tree" into nextgenv2

Integrate motion vector stack into codec

This commit ports the motion vector stack from motion field
analyzer to the encoding and decoding pipeline.

Change-Id: Ie283c1e1a15b4c17a1c7c175ce322bf053bb7840

Merge "Analyze motion field to produce reference motion vectors" into nextgenv2

Spatial SVC crash fix

Fixes a spatial_svc breakage introduced in
https://chromium-review.googlesource.com/#/c/305228/3.

Change-Id: I7f2cecbdca980addb85d5e58b58b5454f4730ada

add vp9_satd_neon

~60-65% faster at the function level across block sizes

Change-Id: Iaf8cbe95731c43fdcbf68256e44284ba51a93893

Speed up tm_predictor_8x8

Left neighbor read from memory only once.
Speed up by ~20% in ./test_intra_pred_speed.

Change-Id: Ia1388630df6fed0dce9a6eeded6cb855bbc43505

Refactor tokenization coding tree

Expand the tokenization tree writing to support per transform block
type coding in next CLs.

Change-Id: I3560e658f89cc500eb49603f95dd2b4e99045f5b

vp9-denoiser: Fix to reset frame_stats.

zeromv_lastref_sse was not reset.

Change-Id: I23c12e804d63dc7dc18514f6efe71de1d1acbd6a

Analyze motion field to produce reference motion vectors

This commit allows the codec to analyze the motion field in the
avaiable above and left neighboring area to produce a set of
reference motion vectors for each reference frame. These reference
motion vectors are ranked according to the likelihood that it will
be picked.

Change-Id: I82e6cd990a7716848bb7b6f5f2b1829966ff2483

Merge "Reduce transform options for ext-tx experiment" into nextgenv2

Merge "Added 3 more reference frames for inter prediction." into nextgenv2

Merge "vp9 non-rd pickmode: Fix logic in reference masking."

Fix ext-tx experiment for highbitdepth

Change-Id: I610e18f150d73378283882ae81f5f77c367d2956

Merge "bitreader/writer: Change shift to signed"

Merge "Deduplicate some high bit depth tables"

vp9 non-rd pickmode: Fix logic in reference masking.

This change makes sure last reference with zero mv
is always checked for mode selection.

No change in metrics.

Change-Id: Iaf01877bf34272b966c78bfe18daad882a0a419e

Merge branch 'master' into nextgenv2

Merge "VPX: Removed unnecessary pmulhrsw in IDCT32X32_34"

Merge "VP9: Only zero counts when !frame_parallel_decoding_mode (2)"

VP9: Only zero counts when !frame_parallel_decoding_mode (2)

The counts are never used when frame_parallel_decoding_mode
is set.

Change-Id: I293aa68abadcdd30973adacb9f5f5a3aecf8daa2

Reduce transform options for ext-tx experiment

Reduces the transform optons for INTRA as well as INTER when
transform size is 16x16 to not use any of the DSTs.
Thus, a total of 10 options are used for 16x16, while 4x4
and 8x8 still uses 17 options.

derflr/hevchd actually improves a little, while hevcmr drops
a little.

About 10% speed improvement.

Change-Id: I920a182231e052cdd622f8bb67085c16c572cb1e

vp9-svc: Fix to allow setting qp-max/min per spatial and temporal layer.

Change-Id: Ic0ec32c1d7f7c08c9f956592dccbfd9060b1f624

VPX: Removed unnecessary pmulhrsw in IDCT32X32_34

and fixed macro name.

Change-Id: I306b98a2b4ec80b130ae80290b4cd9c7a5363311

Move n8_w and n8_h out of experiment flag

These primitive variables are commonly required by many other
experiments as well. The use of n4_w and n4_h was originally
introduced in the vp9 decoder implementation.

Change-Id: I93d701d891e3860f31150031e3b9a2b29a3993d2

Merge branch 'master' into nextgenv2

Revert "Speed up h_predictor_4x4"

This reverts commit d76032ae87e535be5b924d9e88bbd67189380534.

breaks 32-bit builds

Change-Id: If6266ec2a405b5a21d615112f0f37e8a71193858

Merge "Use Interlocked calls in win32 once() implementation."

Merge "Speed up h_predictor_4x4"

Added 3 more reference frames for inter prediction.

Under the experiment of EXT_REFS: LAST2_FRAME, LAST3_FRAME, and
LAST4_FRAME.

Coding efficiency: derflr +1.601%; hevchr +1.895%
Speed: Encoder slowed down by ~75%

Change-Id: Ifeee5f049c2c1f7cb29bc897622ef88897082ecf

vp9 denoiser: Bias to last reference for temporal filter.

Change-Id: I6a360a12e8da8cdcb8a779647512591612d64f31

fix vp9_satd_sse2

accumulate satd in 32-bits
+ add unit test

Change-Id: I6748183df3662ddb9d635f9641f9586f2fd38ad5

vp9_satd: return an int

the final sum may use up to 26 bits

+ add a unit test
+ disable the sse2 as the result will rollover; this will be fixed in a
future commit

Change-Id: I2a49811dfaa06abfd9fa1e1e65ed7cd68e4c97ce

Merge "vp9-svc: Fix the setting of is_key_frame."

Merge "Add vp10_inv_txfm2d" into nextgenv2

Merge "Fix a signed shift overflow in vpx_rb_read_inv_signed_literal."

Merge "Fix unsigned overflow in rd_variance_adjustment."

vp9-svc: Fix the setting of is_key_frame.

Change on affects 1 pass CBR.
On key frame, temporal layer_id is reset to 0 for 1 pass CBR,
but since "layer" is reset, the svc.layer_context[layer].is_key_frame
was not correspondingly set properly.

Change-Id: I08f6da0a55ac7429ccfbaddfb7be14479e43543b