Properly restore transform block skip flag in RD search

This commit fixes an encoding issue related to var-tx and ref-mv
experiments that causes the codec to use random values for transform
block skip flag.

Change-Id: I8daa6d6b88ea45b5bbeb81b43dd0eeff545c8e5a

Merge "Adds masked variance and sad functions for wedge" into nextgenv2

Adds masked variance and sad functions for wedge

Adds masked variance and sad functions needed for wedge
prediction modes to come.

Change-Id: I25b231bbc345e6a494316abb0a7d5cd5586a3a54

Merge "Fix a unused function warning with var_tx on" into nextgenv2

Merge "Fix a couple of minor bugs in vp10_has_right and vp10_has_bottom" into nextgenv2

Minor fix in header files

Move functions to be included in extern "C".

Change-Id: If57fa5eb7955763cf99e6839dde4d7221fad75ea

Merge "Fix an overflow issue for HBD" into nextgenv2

Fix a unused function warning with var_tx on

Change-Id: I1e65d7e1586d8c7c65bb150b1a928cf3adf97366

Fix a couple of minor bugs in vp10_has_right and vp10_has_bottom

The above-right and left-bottom pixels were sometimes not used even
though they are available. Results on lowres_all and hdres_all are
mostly neutral.

Change-Id: Ic13533dd498442ad5592b83bb5fabf053cc8e8f0

Fix an overflow issue for HBD

The sum of squared value of a block can overflow 32bit, this commit
changes to use int64_t to avoid the overflow issue.

Change-Id: I78fcd6999634f186f86d649cfce85d97a993d040

Update obmc counts in multithread mode

Change-Id: I0743e00dad9d36a87870c480922f5ae904bd5c9d

Do sub-pixel motion search in up-sampled reference frames

Up-sampled the reference frames to 8 times in each dimension using
the 8-tap interpolation filter. In sub-pixel motion search, use the
up-sampled reference frames to find the best matching blocks. This
largely improved the motion search precision, and thus, improved
the compression quality. There was no change in decoder side.

Borg test and speed test results:
1. On derflr set,
Overall PSNR gain: 1.306%, and SSIM gain: 1.512%.
Average speed loss on derf set was 6.0%.
2. On stdhd set,
Overall PSNR gain: 0.754%, and SSIM gain: 0.814%.
On hevchd set,
Overall PSNR gain: 0.465%, and SSIM gain: 0.527%.
Speed loss on HD clips was 3.5%.

Change-Id: I300ebaafff57e88914f3dedc8784cb21d316b04f

A build fix and some other cosmetic changes

Fixes some issues introduced by a merge of two patches.
Also decouples the temporal interpolation filter from the switchable
filters for now for ease of experimentation with both separately.

Change-Id: If1c7c08adf00e0cf818fe8d0d3656c26ea65eb32

Merge "Some refactoring and cleanups of interp filter" into nextgenv2

Merge "Fix compiler warnings" into nextgenv2

Merge "Enable improved temporal filter in ext-interp experiment" into nextgenv2

Merge "Unify frame border extension operation" into nextgenv2

Some refactoring and cleanups of interp filter

Includes various cosmetic changes and refactoring including
naming the sharp filters differently (since they are no longer
8-tap).

Change-Id: Ida5a19ca0daa9f6a64a6734394c685b2a4a2564a

Enable improved temporal filter in ext-interp experiment

It improves the coding performance by 0.3%.

Change-Id: I9703abd705ceacdf9e7424428e5120253cadcc18

Unify frame border extension operation

This commit unifies the encoder and decoder border extension and
motion compensated prediction process. Remove the decoder specific
flow to simplify the development flow.

Change-Id: I9c43bbe6d7c017e6da2db6a62c5bf3d0af7ccfce

Fix compiler warnings

Change-Id: Id7240260cec471a3f8d0986b9c8df06efda925f9

Port interintra experiment from nextgen.

The interintra experiment, which combines an inter prediction and an
inter prediction have been ported from the nextgen branch. The
experiment is merged into ext_inter, so there is no separate configure
option to enable it.

Change-Id: I0cc20cefd29e9b77ab7bbbb709abc11512320325

Merge "Hooks to use 32x32 masked transforms for ext-tx" into nextgenv2

Merge "Implemented DST 8x8 with SSE2 intrinsics." into nextgenv2

Merge "Use sharp filter for alter reference frame generation" into nextgenv2

Merge "Enable context based motion vector entropy coding" into nextgenv2

Merge "Extend vpxssim to handle more HBD combinations" into nextgenv2

Use sharp filter for alter reference frame generation

This commit uses 12-tap sharp filter to generate alter reference
frame. It improves the compression performance by
derf    0.45%
hevcmr  0.35%
stdhd   0.79%

No encoding time change is observed.

Change-Id: Ia5dc26d5aae6b9b0cb782e5a28dc5066eeeb2ec8

Merge "Add test for screen content coding tools in end to end test" into nextgenv2

Add test for screen content coding tools in end to end test

Test screen content coding tools (currently only palette) at
speed 1 and two-pass.

Change-Id: I3c467aee1cd9c366c65a3abfdccfafa0416b59b7

Implemented DST 8x8 with SSE2 intrinsics.

Implemented fdst8_sse2() function against C version: fdst8().
Added seven DST related hybrid transform types in vp10_fht8x8_sse2().
Replaced vp10_fht8x8_c() with vp10_fht8x8_sse2() in fwd_txfm_8x8().
Speedup: 18.1%, 11.5%, 22.0% based on speed test from
city_cif.y4m, garden_sif.y4m, mobile_cif.y4m.

Change-Id: Ia4aa1ea44c7a33e494f64ce843037f8703f975e3

Hooks to use 32x32 masked transforms for ext-tx

Adds hooks to use 32x32 ext-tx. Also adds scan orders for the masked
transforms for 32x32.
Make macro USE_MSKTX_FOR_32X32 1 in blockd.h to support 32x32 masked
transforms for ext-tx.

Change-Id: Ie6564830266651fcafae2d536c274dafd664ce17

Adds an utility macro ROUNDZ_POWER_OF_TWO

This macro works for the shift parameter being 0.
The ROUND_POWER_OF_TWO macro does not.

Change-Id: I8434d2933892e09bbc0d2dafc934d0c3637df347

Merge "Fix some compiler warnings." into nextgenv2

Merge "Some fixes in reconintra" into nextgenv2

Fix some compiler warnings.

"taking the absolute value of unsigned type 'unsigned int' has no effect"

Change-Id: Iea1f67c2a3171a98ca89d5dc7192a5508d086c16

Merge remote-tracking branch 'webm/master' into nextgenv2

Some fixes in reconintra

Change-Id: I0b0fa7c9853ce12d39ee21829686b308154b2c61

Merge "Rename above and left offset variables." into nextgenv2

Merge "Experiment to use image domain dist in baseline." into nextgenv2

Rename above and left offset variables.

These variable names were legacy from a previous version of this
function and in the current version they were confusingly backwards.

Change-Id: I4f6c1628f296fd5b650fd9c5e2d56d7daf66a3f6

Enable context based motion vector entropy coding

This commit enables a context based motion vector entropy coding
conditioned on dynamic reference motion vector list. This (along with
the previous CL) imporves the coding gains due to dynamic motion
vector referencing based entropy coding:
derf   0.1%
hevcmr 0.2%
stdhd  0.7%
hevchr 0.4%

No encoding time change was observed.

Change-Id: I179c723844079195f6952a12582996a3ca9e9914

Merge "Optimizing obmc rd decision by checking the real rd cost" into nextgenv2

Optimizing obmc rd decision by checking the real rd cost

Instead of using model_rd_for_sb() to estimate the cost and make the
decision on bmc/obmc, we use super_block_yrd/uvrd() to calculate and
compare the real rd costs of bmc and obmc.

Average bit-rate reduction(%) of obmc experiment:
derflr/derfhd/hevcmr/hevchd
2.353/TBD/TBD/TBD
Before the optimization, the coding gain was:
1.582/1.109/1.600/1.164

Note: there is still some mysterious bug because that compared to
the previous version, the performance at low bit rate drops a lot.

Change-Id: I8dbee04a272190f10516a3953c1ae690f8136766

Fix palette mode

It was broken by commit 3787b17439d00d3684646e97c18d231860dae8b9

Change-Id: I2be0f6243e8716b9ca4c0321de381419108d1abe

Merge "Port "Better workaround for Bug 1089." to vp10 (nextgenv2)." into nextgenv2

Experiment to use image domain dist in baseline.

Change-Id: Ib29f510289716b5ab5c7d74d32a450c190308a83

Merge "Cleanup psnr.h" into nextgenv2

Merge "Merge 12sharp filter into ext-interp" into nextgenv2

Merge "Add shift stage in FASTSSIM computation" into nextgenv2

Merge 12sharp filter into ext-interp

Change-Id: I7df48e7f3b57f212798ef4be86f28aed928fc3e0

Extend vpxssim to handle more HBD combinations

Change-Id: I38426d946b74c9090a265d34b89e2db6693927c2

Cleanup psnr.h

Change-Id: Id026e72ee655ee5bd645a89e378da0d462be367d

Merge "sync dec/enc mv clamp behavior in prediction" into nextgenv2

Add shift stage in FASTSSIM computation

This commits adds a shift stage for FASTSSIM computaton when source
bit depth is different from working bit depth, to make sure metric
results are calculated in bit_depth consistent with source.

Change-Id: I997799634076ef7b00fd051710544681ed536185

Merge "Add shift stage for PSNRHVS computation" into nextgenv2

sync dec/enc mv clamp behavior in prediction

Change-Id: I12ce1da18b3db7bd2f36e0424a264b3c36fbed61

Merge "Fix 12 TAP convolution bug" into nextgenv2

Merge "Move psnrhvs function declaration to psnr.h" into nextgenv2

Merge "Extend HBDMetricTest" into nextgenv2

Add shift stage for PSNRHVS computation

This commit adds the ability to shift down the working buffer when
source bit_depth is different than working bit_depth. It does so
by shift down to be consistent with source bit_depth.

Change-Id: Idfdbfc614d73fe445d62e35e642cc7d75e9dc4ff

Port "Better workaround for Bug 1089." to vp10 (nextgenv2).

Don't initialize first pass costs for a number of symbols where first
pass probabilities aren't initialized.

As a side effect, an illegal read in the ANS experiment is fixed.

https://bugs.chromium.org/p/webm/issues/detail?id=1089

Change-Id: I97438c357bd88f52f5a15c697031cf0c3cc8f510

Merge "Unify motion vector cost system" into nextgenv2

Merge "Account context based prob model for motion vector cost estimate" into nextgenv2

Merge "Vectorize motion vector probability models" into nextgenv2

Merge "Store predicted motion vectors" into nextgenv2

Move psnrhvs function declaration to psnr.h

From "ssim.h"

Change-Id: Ie53378794149ef8a844b4eb47ad4f08579de4b60

Unify motion vector cost system

This commit unifies the motion vector cost buffers for full pixel
and sub-pixel motion search. The new motion vector coding system
provides 0.5% coding gains for 720p and above sequences and 0.2%
for lower resolution sets.

Change-Id: I927ec81eadc39d11a3c12b375221a1ddd2e8bf24

Extend HBDMetricTest

This commit extends the HBDMetricTests to handle testing for metric
computation where input source depth is different from working bit
depth.

Change-Id: I5d11101cc9603a3fd09e8439816bb982a0f1b654

Fix 12 TAP convolution bug

Priviously, we do 12-tap interpolation even there is no sub pixel,
This could cause a bug becuase decoder doesn't extend border when there
is no sub pixel. In this situation, if we still do interpolation, we
will access the border extension which doesn't exist and cause a
memory error

Change-Id: I55b879722f0a10c5d13261bd9617a75c826a2418

Account context based prob model for motion vector cost estimate

This commit accounts for the context based probability model for
motion vector cost estimate in rate-distortion optimization.

Change-Id: Ia068a9395dcb4ecc348f128b17b8d24734660b83

Merge "Initial SSE2 function fdst4_sse2()." into nextgenv2

Vectorize motion vector probability models

This commit converts the scalar motion vector probability model
into vector format for later precise estimate.

Change-Id: I7008d047ecc1b9577aa8442b4db2df312be869dc

Store predicted motion vectors

Change-Id: I51307a217eeba14dbdaa2522be474530316a4faa

Initial SSE2 function fdst4_sse2().

Applied DST sse2 to 4x4 transform.

Fixed DST coefficient packing to satisfy 4x4 transpose requirement.

Change-Id: I9164714c77049523dbbc9e145ebb10d7911fba9d

Merge "Properly normalize HBD sse computation" into nextgenv2

Properly normalize HBD sse computation

This fixes a bug in HBD sum of squared error computation introduced
in  #abd00505d1c658cc106bad51369197270a299f92.

Change-Id: I9d4e8627eb8ea491bac44794c40c7f1e6ba135dc

Merge "Speed-up for ext-intra" into nextgenv2

Merge "cost_coeff speed improvements" into nextgenv2

Merge changes from topic 'vp10-missing-alloc-checks'

* changes:
  vp10/resize: add missing alloc checks
  vp10/encoder: add missing alloc checks
  vp10/decoder,resize_mv_buffer: add missing alloc check
  vp10_cyclic_refresh_alloc: correct cleanup on error

Merge changes from topic 'vp9-missing-alloc-checks'

* changes:
  vp9_svc_layercontext: add missing alloc checks
  vp9_resize: add missing alloc checks
  vp9_encoder: add missing alloc checks
  vp9/decoder,resize_mv_buffer: add missing alloc check
  vp9_cyclic_refresh_alloc: correct cleanup on error

Merge changes from topic 'vp8-missing-alloc-checks'

* changes:
  vp8_dx_iface: add missing alloc checks
  vp8/onyx_if: add missing alloc checks
  vp8/denoising: add missing alloc check

Speed-up for ext-intra

-Avoid unnecessary calculations
-Use SIMD when possible

Encoder is about 5% faster with the extra intra prediction angles
enabled.

Change-Id: I131056befe327cedab217ad4a40d5f2a11318acc

Merge changes from topic 'rm-loopfilter-count-param'

* changes:
  lpf_8_test: remove unneeded function wrapper
  remove loopfilter 'count' param TODOs
  split vpx_highbd_lpf_horizontal_16 in two
  split vpx_lpf_horizontal_16 in two
  vpx_highbd_lpf_horizontal_4: remove unused count param
  vpx_highbd_lpf_horizontal_8: remove unused count param
  vpx_highbd_lpf_vertical_4: remove unused count param
  vpx_highbd_lpf_vertical_8: remove unused count param
  vpx_lpf_horizontal_4: remove unused count param
  vpx_lpf_horizontal_8: remove unused count param
  vpx_lpf_vertical_4: remove unused count param
  vpx_lpf_vertical_8: remove unused count param
  lpf_8_test: add missing dspr2 tests
  lpf_8_test: add missing vpx_lpf_horizontal_4 tests
  lpf_8_test: add missing vpx_lpf_vertical_4 tests
  lpf_8_test: simplify function wrapper generation

cost_coeff speed improvements

Preliminary tests indicated that these changes make cost_coeffs
approximately 20% faster which is a 2% improvement overall

Change-Id: Iaf013ba75884415cd824e98349f654ffb1c3ef33

vp8_dx_iface: add missing alloc checks

Change-Id: Id9f4022b0cb4b5d0b3dd8759fd491da4e2ba5cb1

vp8/onyx_if: add missing alloc checks

Change-Id: I9b0aa340518f45e16fa9754afd87347aabf968d7

Merge "Add tests for Highbitdepth PSNR metric computations" into nextgenv2

Merge "Move PSNR related functions into vpx_dsp/psnr.c" into nextgenv2

vp8/denoising: add missing alloc check

Change-Id: I51ede902cd9d7bafa41f7caa3f9adf77f9df5903

vp10/resize: add missing alloc checks

Change-Id: I96669ddbcdda508a295c68ecf103d10f364e0ad5

vp9_svc_layercontext: add missing alloc checks

Change-Id: Ieb305c178c64b3864f0e8fc1a13c29799e1ae8f5

vp9_resize: add missing alloc checks

Change-Id: I87ef6dec7cd2e8f9a40135e5ca11b13520ebd6d7

Better workaround for Bug 1089.

Don't initialize first pass costs for a number of symbols where first
pass probabilities aren't initialized.

This brings a 1.22x first pass speedup.

https://bugs.chromium.org/p/webm/issues/detail?id=1089

Change-Id: I97438c357bd88f52f5a15c697031cf0c3cc8f510

vp10/encoder: add missing alloc checks

Change-Id: I5f81250d054bfd1cc69308a491b8fd21b77e4ee1

vp10/decoder,resize_mv_buffer: add missing alloc check

Change-Id: I8eef989847fcf3c4b9a16b02db477e1007625145

vp10_cyclic_refresh_alloc: correct cleanup on error

previously only the CYCLIC_REFRESH allocation was being freed

Change-Id: I600eb496ec4b62accf1a6483c8170eabb046787d

vp9_encoder: add missing alloc checks

Change-Id: I08939ab22446b86fae884daaebd1f14c49b21897

Add tests for Highbitdepth PSNR metric computations

Change-Id: I07324155f73bbdbe25bb7a7ccd587ebf9010ac7a

Move PSNR related functions into vpx_dsp/psnr.c

This makes all metric computation to locate at some place, also gets
rid of duplicate code between vp9 and vp10.

Change-Id: I24a2707d183a2419cd18a8343010adae185ffcd4