Fix some compiler warnings.

"taking the absolute value of unsigned type 'unsigned int' has no effect"

Change-Id: Iea1f67c2a3171a98ca89d5dc7192a5508d086c16

Merge remote-tracking branch 'webm/master' into nextgenv2

Merge "Rename above and left offset variables." into nextgenv2

Merge "Experiment to use image domain dist in baseline." into nextgenv2

Rename above and left offset variables.

These variable names were legacy from a previous version of this
function and in the current version they were confusingly backwards.

Change-Id: I4f6c1628f296fd5b650fd9c5e2d56d7daf66a3f6

Merge "Optimizing obmc rd decision by checking the real rd cost" into nextgenv2

Optimizing obmc rd decision by checking the real rd cost

Instead of using model_rd_for_sb() to estimate the cost and make the
decision on bmc/obmc, we use super_block_yrd/uvrd() to calculate and
compare the real rd costs of bmc and obmc.

Average bit-rate reduction(%) of obmc experiment:
derflr/derfhd/hevcmr/hevchd
2.353/TBD/TBD/TBD
Before the optimization, the coding gain was:
1.582/1.109/1.600/1.164

Note: there is still some mysterious bug because that compared to
the previous version, the performance at low bit rate drops a lot.

Change-Id: I8dbee04a272190f10516a3953c1ae690f8136766

Fix palette mode

It was broken by commit 3787b17439d00d3684646e97c18d231860dae8b9

Change-Id: I2be0f6243e8716b9ca4c0321de381419108d1abe

Merge "Port "Better workaround for Bug 1089." to vp10 (nextgenv2)." into nextgenv2

Experiment to use image domain dist in baseline.

Change-Id: Ib29f510289716b5ab5c7d74d32a450c190308a83

Merge "Cleanup psnr.h" into nextgenv2

Merge "Merge 12sharp filter into ext-interp" into nextgenv2

Merge "Add shift stage in FASTSSIM computation" into nextgenv2

Merge 12sharp filter into ext-interp

Change-Id: I7df48e7f3b57f212798ef4be86f28aed928fc3e0

Cleanup psnr.h

Change-Id: Id026e72ee655ee5bd645a89e378da0d462be367d

Merge "sync dec/enc mv clamp behavior in prediction" into nextgenv2

Add shift stage in FASTSSIM computation

This commits adds a shift stage for FASTSSIM computaton when source
bit depth is different from working bit depth, to make sure metric
results are calculated in bit_depth consistent with source.

Change-Id: I997799634076ef7b00fd051710544681ed536185

Merge "Add shift stage for PSNRHVS computation" into nextgenv2

sync dec/enc mv clamp behavior in prediction

Change-Id: I12ce1da18b3db7bd2f36e0424a264b3c36fbed61

Merge "Fix 12 TAP convolution bug" into nextgenv2

Merge "Move psnrhvs function declaration to psnr.h" into nextgenv2

Merge "Extend HBDMetricTest" into nextgenv2

Add shift stage for PSNRHVS computation

This commit adds the ability to shift down the working buffer when
source bit_depth is different than working bit_depth. It does so
by shift down to be consistent with source bit_depth.

Change-Id: Idfdbfc614d73fe445d62e35e642cc7d75e9dc4ff

Port "Better workaround for Bug 1089." to vp10 (nextgenv2).

Don't initialize first pass costs for a number of symbols where first
pass probabilities aren't initialized.

As a side effect, an illegal read in the ANS experiment is fixed.

https://bugs.chromium.org/p/webm/issues/detail?id=1089

Change-Id: I97438c357bd88f52f5a15c697031cf0c3cc8f510

Merge "Unify motion vector cost system" into nextgenv2

Merge "Account context based prob model for motion vector cost estimate" into nextgenv2

Merge "Vectorize motion vector probability models" into nextgenv2

Merge "Store predicted motion vectors" into nextgenv2

Move psnrhvs function declaration to psnr.h

From "ssim.h"

Change-Id: Ie53378794149ef8a844b4eb47ad4f08579de4b60

Unify motion vector cost system

This commit unifies the motion vector cost buffers for full pixel
and sub-pixel motion search. The new motion vector coding system
provides 0.5% coding gains for 720p and above sequences and 0.2%
for lower resolution sets.

Change-Id: I927ec81eadc39d11a3c12b375221a1ddd2e8bf24

Extend HBDMetricTest

This commit extends the HBDMetricTests to handle testing for metric
computation where input source depth is different from working bit
depth.

Change-Id: I5d11101cc9603a3fd09e8439816bb982a0f1b654

Fix 12 TAP convolution bug

Priviously, we do 12-tap interpolation even there is no sub pixel,
This could cause a bug becuase decoder doesn't extend border when there
is no sub pixel. In this situation, if we still do interpolation, we
will access the border extension which doesn't exist and cause a
memory error

Change-Id: I55b879722f0a10c5d13261bd9617a75c826a2418

Account context based prob model for motion vector cost estimate

This commit accounts for the context based probability model for
motion vector cost estimate in rate-distortion optimization.

Change-Id: Ia068a9395dcb4ecc348f128b17b8d24734660b83

Merge "Initial SSE2 function fdst4_sse2()." into nextgenv2

Vectorize motion vector probability models

This commit converts the scalar motion vector probability model
into vector format for later precise estimate.

Change-Id: I7008d047ecc1b9577aa8442b4db2df312be869dc

Store predicted motion vectors

Change-Id: I51307a217eeba14dbdaa2522be474530316a4faa

Initial SSE2 function fdst4_sse2().

Applied DST sse2 to 4x4 transform.

Fixed DST coefficient packing to satisfy 4x4 transpose requirement.

Change-Id: I9164714c77049523dbbc9e145ebb10d7911fba9d

Merge "Properly normalize HBD sse computation" into nextgenv2

Properly normalize HBD sse computation

This fixes a bug in HBD sum of squared error computation introduced
in  #abd00505d1c658cc106bad51369197270a299f92.

Change-Id: I9d4e8627eb8ea491bac44794c40c7f1e6ba135dc

Merge "Speed-up for ext-intra" into nextgenv2

Merge "cost_coeff speed improvements" into nextgenv2

Merge changes from topic 'vp10-missing-alloc-checks'

* changes:
  vp10/resize: add missing alloc checks
  vp10/encoder: add missing alloc checks
  vp10/decoder,resize_mv_buffer: add missing alloc check
  vp10_cyclic_refresh_alloc: correct cleanup on error

Merge changes from topic 'vp9-missing-alloc-checks'

* changes:
  vp9_svc_layercontext: add missing alloc checks
  vp9_resize: add missing alloc checks
  vp9_encoder: add missing alloc checks
  vp9/decoder,resize_mv_buffer: add missing alloc check
  vp9_cyclic_refresh_alloc: correct cleanup on error

Merge changes from topic 'vp8-missing-alloc-checks'

* changes:
  vp8_dx_iface: add missing alloc checks
  vp8/onyx_if: add missing alloc checks
  vp8/denoising: add missing alloc check

Speed-up for ext-intra

-Avoid unnecessary calculations
-Use SIMD when possible

Encoder is about 5% faster with the extra intra prediction angles
enabled.

Change-Id: I131056befe327cedab217ad4a40d5f2a11318acc

Merge changes from topic 'rm-loopfilter-count-param'

* changes:
  lpf_8_test: remove unneeded function wrapper
  remove loopfilter 'count' param TODOs
  split vpx_highbd_lpf_horizontal_16 in two
  split vpx_lpf_horizontal_16 in two
  vpx_highbd_lpf_horizontal_4: remove unused count param
  vpx_highbd_lpf_horizontal_8: remove unused count param
  vpx_highbd_lpf_vertical_4: remove unused count param
  vpx_highbd_lpf_vertical_8: remove unused count param
  vpx_lpf_horizontal_4: remove unused count param
  vpx_lpf_horizontal_8: remove unused count param
  vpx_lpf_vertical_4: remove unused count param
  vpx_lpf_vertical_8: remove unused count param
  lpf_8_test: add missing dspr2 tests
  lpf_8_test: add missing vpx_lpf_horizontal_4 tests
  lpf_8_test: add missing vpx_lpf_vertical_4 tests
  lpf_8_test: simplify function wrapper generation

cost_coeff speed improvements

Preliminary tests indicated that these changes make cost_coeffs
approximately 20% faster which is a 2% improvement overall

Change-Id: Iaf013ba75884415cd824e98349f654ffb1c3ef33

vp8_dx_iface: add missing alloc checks

Change-Id: Id9f4022b0cb4b5d0b3dd8759fd491da4e2ba5cb1

vp8/onyx_if: add missing alloc checks

Change-Id: I9b0aa340518f45e16fa9754afd87347aabf968d7

Merge "Add tests for Highbitdepth PSNR metric computations" into nextgenv2

Merge "Move PSNR related functions into vpx_dsp/psnr.c" into nextgenv2

vp8/denoising: add missing alloc check

Change-Id: I51ede902cd9d7bafa41f7caa3f9adf77f9df5903

vp10/resize: add missing alloc checks

Change-Id: I96669ddbcdda508a295c68ecf103d10f364e0ad5

vp9_svc_layercontext: add missing alloc checks

Change-Id: Ieb305c178c64b3864f0e8fc1a13c29799e1ae8f5

vp9_resize: add missing alloc checks

Change-Id: I87ef6dec7cd2e8f9a40135e5ca11b13520ebd6d7

Better workaround for Bug 1089.

Don't initialize first pass costs for a number of symbols where first
pass probabilities aren't initialized.

This brings a 1.22x first pass speedup.

https://bugs.chromium.org/p/webm/issues/detail?id=1089

Change-Id: I97438c357bd88f52f5a15c697031cf0c3cc8f510

vp10/encoder: add missing alloc checks

Change-Id: I5f81250d054bfd1cc69308a491b8fd21b77e4ee1

vp10/decoder,resize_mv_buffer: add missing alloc check

Change-Id: I8eef989847fcf3c4b9a16b02db477e1007625145

vp10_cyclic_refresh_alloc: correct cleanup on error

previously only the CYCLIC_REFRESH allocation was being freed

Change-Id: I600eb496ec4b62accf1a6483c8170eabb046787d

vp9_encoder: add missing alloc checks

Change-Id: I08939ab22446b86fae884daaebd1f14c49b21897

Add tests for Highbitdepth PSNR metric computations

Change-Id: I07324155f73bbdbe25bb7a7ccd587ebf9010ac7a

Move PSNR related functions into vpx_dsp/psnr.c

This makes all metric computation to locate at some place, also gets
rid of duplicate code between vp9 and vp10.

Change-Id: I24a2707d183a2419cd18a8343010adae185ffcd4

vp9/decoder,resize_mv_buffer: add missing alloc check

Change-Id: I3bc92175b07d5ef495bd75128638c340f3c2238f

vp9_cyclic_refresh_alloc: correct cleanup on error

previously only the CYCLIC_REFRESH allocation was being freed

Change-Id: I6e1783d077c5ca83c8d62ea9642f1fb03f2e5bf3

Merge "Fix enc/dec mismatch in dynamic mv referenceing experiment" into nextgenv2

Merge "Extends ext-tx to support 32x32 masked transforms" into nextgenv2

Extends ext-tx to support 32x32 masked transforms

Adds new 32x32 masked 1-d transforms that combine 1-D length-16
DCT with length-16 identity transforms.

To be continued in subsequent patches.

Change-Id: I0b4f66492d44c079b3c3b531ba48a97201de1484

Fix enc/dec mismatch in dynamic mv referenceing experiment

This commit fixes an enc/dec mismatch in the dynamic motion vector
referencing experiment introduced in 837ef00.

Change-Id: I9fbe116fce118a80ef0f96bf41ce1f802547c2ee

Merge branch 'master' into nextgenv2

lpf_8_test: remove unneeded function wrapper

the count parameter has been removed from all loopfilter functions

Change-Id: I87ba72006b59c65c46ca40bcb1c29171dfe0598a

remove loopfilter 'count' param TODOs

Change-Id: I25ce7314372ce2f521526ea7864ffc4ab62e4519

split vpx_highbd_lpf_horizontal_16 in two

replace with vpx_highbd_lpf_horizontal_edge_16 and
vpx_highbd_lpf_horizontal_edge_8 to avoid passing a count parameter

Change-Id: I551f8cec0fce57032cb2652584bb802e2248644d

split vpx_lpf_horizontal_16 in two

replace with vpx_lpf_horizontal_edge_16 and vpx_lpf_horizontal_edge_8 to
avoid passing a count parameter

Change-Id: I848c95c02a3c6ebaa6c2bdf0983dce05cd645271

vpx_highbd_lpf_horizontal_4: remove unused count param

Change-Id: I655a771e1b1a8753be5669ef9348a312ba6cfdbc

vpx_highbd_lpf_horizontal_8: remove unused count param

Change-Id: Iaca71ea3796115d4c2d43563b4e6f3914e21f1bf

vpx_highbd_lpf_vertical_4: remove unused count param

Change-Id: Ic6da723c5cf3cd8127db1f476c3e46ea134cb774

vpx_highbd_lpf_vertical_8: remove unused count param

Change-Id: Id16f7259897654831d31642c2d5e0bbe5e13416c

vpx_lpf_horizontal_4: remove unused count param

Change-Id: Iec7d8eda343991f7d7d46931dca17af23c821d11

vpx_lpf_horizontal_8: remove unused count param

Change-Id: I48741e167a7b09b7c9ad3bfc1c4b88ef1029ae46

vp10,encoder: relocate setjmp

move to encoder_encode() as vp10_get_compressed_data() allocates data and
would require some modification to make its error return meaningful.

Change-Id: Ia5267c35d16ccd42b6da6d2136402b13e28f9159

vp9,encoder: relocate setjmp

move to encoder_encode() as vp9_get_compressed_data() allocates data and
would require some modification to make its error return meaningful.

Change-Id: I8ddc390a1441afd0ff937842fa4ad1053c956133

vp10_cx_iface,encode: remove redundant cpi check

this is allocated in init(), a NULL pointer on encode() should be
treated as a failure.

Change-Id: I09c206f088982716fd5acc39949ceb25576313fc

vp9_cx_iface,encode: remove redundant cpi check

this is allocated in init(), a NULL pointer on encode() should be
treated as a failure.

Change-Id: I3f55ea4a98be616bb5ab74d95ce4a3d6262e734a

vpx_lpf_vertical_4: remove unused count param

Change-Id: I43a191cb3d42e51e7bca266adfa11c6239a8064c

vpx_lpf_vertical_8: remove unused count param

Change-Id: Ic69406da00afb0f06588e8c0deb2b043952b078c

lpf_8_test: add missing dspr2 tests

Change-Id: I3954ff86ec1965cd6d4eec570c2d1993538d9c11

lpf_8_test: add missing vpx_lpf_horizontal_4 tests

mmx, msa

Change-Id: Ia9604adcdcc77411f383e081e01a18d232c9d992

lpf_8_test: add missing vpx_lpf_vertical_4 tests

mmx, msa

Change-Id: I113ce0ec144ee673d5dcde4c03fe7670f9f4c369

lpf_8_test: simplify function wrapper generation

Change-Id: Ie4d3e80a4e43dd4ada78d073e308e10db4ea3239

Fixing a bug in obmc prediction in the rd loop

This bug made the rd loop use one-side obmc (compound of the current
predictor and the predictors of the left mi's, while the above ones
are ignored by mistake) to determine whether to use obmc. This fix
improved the compression performance by ~0.6% on different test sets.

Coding gain (%) of obmc experiment on derflr/derfhd/hevcmr/hevchd:
1.568/TBD/1.628/TBD

Change-Id: I43b239bedf9a8eebfd02315b1b036e140a998140

Merge "Tweak encoding flags for supertx." into nextgenv2

vp9-real-time mode: Fix condition for allowing reference masking.

Add frame-level condition for reference masking: under external or
internal dynamic resize, allow for reference masking if none of
the references have been scaled.
Peviously, reference masking was turned off for the stream if dynamic
resize feature was enabled or an external resize event occurred.

reference_masking gives speed up with little/no loss in compression.
For speed 7 on rtc set: encoding time decreases by about 5-7%,
avgPSNR/SSIM goes down ~0.2%.

Change-Id: Ie4444577451ef954414d8fb4b2c99d65cadf1746

Merge "Fix tsan error in VP9 sub8x8 intra mode search"

Merge "Code cleanup: remove redundant DST1 code" into nextgenv2

Tweak encoding flags for supertx.

Change-Id: I46f69d3a176897294d33c3f6d30b23c75b6267a8

Fix tsan error in VP9 sub8x8 intra mode search

This commit fixes issue 1141. The issue was triggered in multi-tile
encoding. The change properly saves and restores the block context
information in the real-time mode selection process. It removes
several redundant memcpy operations in sub8x8 intra block mode search.

Change-Id: I35c9ad197f4bd500ec39b5fc833f052f19eee010

Code cleanup: remove redundant DST1 code

Removes the USE_DST2 flag that was on by default. DST2 performs
slightly better that DST1 and is faster to compute.

Change-Id: Ifb788f3f0a0e1995d7625230cec144b876f01206

Merge "Add a speed feature to skip transform type selection" into nextgenv2

Merge "Further supertx costing fixes." into nextgenv2

Merge "Fix double counting of compound reference bit cost." into nextgenv2