Enable computing of FastSSIM for HBD build

This commit adds the computation of fastSSIM for highbitdepth build,
it also modifies the hbdmetric test to be more generic and applicable
for fastSSIM.

The 255 used for calculating ssim constants c1 and c2 is not exactly
scaled by 4x and 16x to 1023 and 4095, therefore requries the metric
test to have a thresold more tolerant than 0, currently at 0.03dB.

Change-Id: I631829da7773de400e77fc36004156e5e126c7e0

Add a test for VPXSSIM computation for HBD inputs

Change-Id: I61dc0f43d073b62d0eab8cd7471c2d76e03379bf

Merge "A variety of fixes for supertx/var-tx rd costing" into nextgenv2

A variety of fixes for supertx/var-tx rd costing

Change-Id: I8a3d59378abb1dfa4e614b2975c2db05d4224bd5

Merge "Fix a bug in HBD buffer size computation" into nextgenv2

Fix a bug in HBD buffer size computation

The value of use_highbitdepth flag is used for compute the size for
high bit depth buffer allocation, which should take value 0 or 1
depending on if the buffer is used for high bit depth or not.
Previously, the values is set to 8 or 0, this commit fixes the issue
and properly set the value for this flag to 1 or 0.

This cuts the size of highbitdepth buffer memory allocation to 2/9 of
the size prior to the fix.

Change-Id: I401518b5a6147e5d8a973e54f7ca6bc1892065e0

Explicitly set tx_type for sub8x8 blocks

Fixes an issue where the tx_type was not set correctly for
sub8x8 inter and intra blocks. In the current syntax, for
sub8x8 blocks, there is still a single tx_type that is
transmitted. Ideally, this should be searched for the best
rd performance, albeit at the expense of encode speed.
For now, we just set it to DCT_DCT. Previously it was left
incorrectly as what was used for the previous non sub8x8
block.

derflr: BDRATE -0.277%

Change-Id: If76ba903bfbfd4d374cf1ac7d1daee50e92f0edd

Merge "Enable dynamic ref motion vector mode for compound inter block" into nextgenv2

Merge "Change to use local variables consistently" into nextgenv2

Merge "Remove a flavor of SSIM that is never really used." into nextgenv2

Merge "Set a max dB value for PSNR_HVS and FAST_SSIM" into nextgenv2

Merge "Fix msvc compiler warnings" into nextgenv2

Merge "Normalize fdct8x8 in psnrhvs computation" into nextgenv2

Change to use local variables consistently

This commit does not change the computation, nor results.

Change-Id: I1a7bb47050220d970f075458b507c5e55d93b22e

Enable dynamic ref motion vector mode for compound inter block

This commit enables the dynamic reference motion vector coding mode
for the compound inter blocks.

Change-Id: Ibe78fd8de6989db392cd67a9d81a69d680345ba1

Remove a flavor of SSIM that is never really used.

Change-Id: I61ea7f63acbcfeecd3f7dba5a5a38b980efc802b

Set a max dB value for PSNR_HVS and FAST_SSIM

Now set at 100.0 instead of infinite

Change-Id: I41bae0c4bd95a26f9819584e7311b7945df1271a

Merge "Experiment: use 12 taps for sharp filter" into nextgenv2

Merge "add convolution function with adjustable length" into nextgenv2

Merge "Fixed warnings of unused functions" into nextgenv2

Fix msvc compiler warnings

There were a number of compiler warnings:
1. int16_t to uint8_t in recon_intra.c;
2. double to float conversions in psnrhvs.c
3. intptr_t to int in quantize.c
4. size_t to int32_t in decoder.c

Change-Id: Id95423b17779dcfa6cf39d9a90fe8cb8b910f5df

Merge "Fix bad merge artifacts" into nextgenv2

Normalize fdct8x8 in psnrhvs computation

This is to match the scale to the fdct8x8 used in original daala
psnrhvs computation.

Change-Id: Ic30b50747ba9c340bcb679f7439640046c69f90a

Experiment: use 12 taps for sharp filter

Set USE_12_SHARP_FILTER to 1 to turn on the experiment
The psnr percentages increase
       derf   stdhd
lowbd  +0.332 +0.318
highbd +0.476 +0.507

Change-Id: I783c0fc764ee8541645e100453c9b2073924e209

add convolution function with adjustable length

Change-Id: I1a5b1e15a188ef11594d0c6ac0dbd42aac59cfca

Fixed warnings of unused functions

And enabled the warning flag in configure for vp10.

Change-Id: If556d6fac65755af3d6ed7fe71b8eca0ef1b1965

Merge "Add a speed feature for intra filter search" into nextgenv2

Fix bad merge artifacts

Temporaly disable warning for unused function for vp10, needs clean
out the warnings before re-enable the flag for vp10.

Change-Id: I5636f8cd607423f6ea6963db9c2cbd688e30b495

Merge branch 'master' into nextgenv2

Merge "configure: enable -Wunused-function by default"

Merge "Vidyo patch: Optimization for 1-to-2 downsampling and upsampling."

Merge "Add 8-tap interpolation filter options for intra prediction" into nextgenv2

Vidyo patch: Optimization for 1-to-2 downsampling and upsampling.

Change-Id: I9cc9780f506e025aea57485a9e21f0835faf173c

Merge "Generalize the dynamic reference motion vector coding mode" into nextgenv2

merge per-segment lossless feature in misc_fixes

Change-Id: I56d56781d371c99aa5cdd2db1cbc0a17437723e9

Define a macro to replace hardcoded values

The definition is for the number of frames to check to determine the
recent decay rate, further to determine the next key frame in the
first pass of the encoder.

Change-Id: Ic696d6eb518a86fa296842273cf8767ef0b0e27a

configure: enable -Wunused-function by default

when INLINE is defined and mips is not being targeted. otherwise keep
the old --enable-extra-warnings behavior

Change-Id: Iba576edbe5fca03efa56ce99eee11f9cafc573ad

fdct8x8_test:: quiet unused-function warning

in non-x86 builds

Change-Id: I9f6fa40d27f95a4afe92444f71c23dc9a15db466

Merge changes from topic 'dead-code'

* changes:
  yv12config.c: remove dead CONFIG_ALPHA code
  vp9_encoder.c: remove unused macro
  vpx_mem.c: remove unused macro
  vp9_svc_layercontext.c: relocate a macro definition
  vp9_encoder.c: protect SNPRINT* macros w/CONFIG check
  vp9_aq_360.c: remove some unused macros
  vp9_diamond_search_sad_avx.c: rename (un)likely macros
  vp9_resize.c: add missing include
  vp9_aq_complexity.c: remove unused macros
  vp9_detokenize.c: remove unused macros

Merge "Fix for supertx: ignore skip_txfm optimization" into nextgenv2

Merge changes I1171e9c7,I77292e11,I1678ab48,Id7a2c345

* changes:
  dct16x16_test: quiet unused-function warning
  intrapred: protect functions w/CONFIG check x2
  dct32x32_test: remove unused function
  tests: quiet some warnings w/--disable-webm-io

Merge "vp9-skinmap. Some adjustments for model=1."

Add a speed feature for intra filter search

Seperate the prediction angle search and fitler search.
It can reduce the computation overhead of filter search by as much
as 85%, while keeping more than 50% of the coding gain.

Change-Id: Id152f71e20ebcaca8b429bdd4ca1fbeb646fc6bf

Merge "Merge branch 'master' into nextgenv2" into nextgenv2

vp9-skinmap. Some adjustments for model=1.

-use larger threshold on y (as in vp8).
-add distance threshold for each cluster
-use larger skin distance threshold for first cluster
-add some early exist checks.

Keep default setting to model=0.

Change-Id: I1044b99ade4bb1f215a860a019a4d84cee2f7715

Add 8-tap interpolation filter options for intra prediction

BD-rate performance improvement (on top of ext-intra):
derflr  0.22%
hevclr  0.36%
hevcmr  0.48%
hevchr  0.37%
stdhd   0.19%

Average speed impact on some derf clips is about 40% slower (on
top of ext-intra). Speed improvment is a to-do.

Change-Id: I8fe3fe8c5e4f60d0462778adbcc15c84dfbe7a25

Merge "Use precise rate cost estimate for skip block mode"

Generalize the dynamic reference motion vector coding mode

This commit generalizes dynamic reference motion vector coding mode
to support multiple candidate modes in the rate-distortion
optimization scheme and to support the selection in the bit-stream
syntax. The maximum number of modes allowed is currently limited to
4. The syntax elements for the dynamic reference motion vector
modes are using binary codes. The scheme supports single reference
frame.

It improves the compression performance
derf   0.135%
hevcmr 0.098%

Change-Id: Id053d6ce76e8365e52727bd0d12d28ce3de2e0e8

Use precise rate cost estimate for skip block mode

It improves the compression performance of VP9 by 0.1% across all
test sets. No speed change is observed.

Change-Id: I59338c5c9e67bae22188f35fc3afbfe2a6bba6b0

Merge "Account for zero-forcing operation in selective ref mv mode" into nextgenv2

Merge "Fix some interger overflow errors"

Account for zero-forcing operation in selective ref mv mode

It makes the encoder accounts for the block zero-forcing operation
when optimizing the mode decisions.

Change-Id: I2c8e243756080b446b8a53a9679f75c4c47148cf

Merge branch 'master' into nextgenv2

Change-Id: Ib050607fa5c0288360ff224fd048445d16568520

Merge "Supertx fix for 422 colour subsampling" into nextgenv2

Fix for supertx: ignore skip_txfm optimization

Change-Id: I80eedb548c449ec43c6b5b88c5493b665606906e

Supertx fix for 422 colour subsampling

Fixes assertion for football_422_4sif.y4m when supertx, var_tx and
ext_tx are all enabled. Problem was after subsampling, the u and v
blocks being encoded were no longer square.

Change-Id: Ie626f30a2e64538d33343a26d5124a79a6f2b985

Merge "Add high bit depth args to arg list"

dct16x16_test: quiet unused-function warning

in non-x86 builds

Change-Id: I1171e9c7e7ea5bcdea70bf5e3d28b07d6bb5578f

intrapred: protect functions w/CONFIG check x2

high-bitdepth version
d207e, d63e, d45e are only used with CONFIG_MISC_FIXES

Change-Id: I77292e11f51fd76d4127fd0027f876866bcf8675

dct32x32_test: remove unused function

idct32x32_8

Change-Id: I1678ab48639cc54be4c9294479de01beced9e1e9

tests: quiet some warnings w/--disable-webm-io

unused-functions/variables

Change-Id: Id7a2c345442129d84ec1482e38fcdc4bc9eaad7d

Add high bit depth args to arg list

So that their usage info. will show up with --help.

Change-Id: I8542240dcc98e8be29ac63d081f5abb932627cbf

yv12config.c: remove dead CONFIG_ALPHA code

the rest was removed with:
5926e7c Remove unfinished VP9 alpha channel.

Change-Id: I0c1d92765e5334e1380ad027b069b401e4ae9b8f

vp9_encoder.c: remove unused macro

SHARP_FILTER_QTHRESH

unused since:
5373119 Merging in the Switchable interp experiment

Change-Id: I9ccc1883828babffd1886810b59aa16aca4766bf

vpx_mem.c: remove unused macro

__VPX_MEM_C__

unused since:
f58011a vpx_mem: remove vpx_memset

Change-Id: I820c972c4165275ddf21c1687748409818a7f2af

vp9_svc_layercontext.c: relocate a macro definition

move SMALL_FRAME_FB_IDX closer to its first use. this is only used with
CONFIG_SPATIAL_SVC.

Change-Id: Ibf2b3e59a3aab2be2c3b3f89b4380ebe272e0ed6

vp9_encoder.c: protect SNPRINT* macros w/CONFIG check

these are only used with CONFIG_INTERNAL_STATS

Change-Id: Ibbcefbdc1db79d93f75e5865289f9960a8c2358a

vp9_aq_360.c: remove some unused macros

ENERGY_MIN
ENERGY_MAX
ENERGY_SPAN
ENERGY_IN_BOUNDS

unused since first commit

Change-Id: I5507d36487aaee3e64f7a5fba582791ef9a533b0

vp9_diamond_search_sad_avx.c: rename (un)likely macros

avoid using '__' this is a reserved namespace for the compiler

Change-Id: I7d2be4dba2bdddc6f1010a16ad9e59a2e211b064

vp9_resize.c: add missing include

Change-Id: I429e3c80216102ed0a85ce348ecac0bf1e1e28eb

vp9_aq_complexity.c: remove unused macros

DEFAULT_COMPLEXITY
VAR_STRENGTH_STEP

unused since first commit

Change-Id: I4a47544098caf0d72e571633b7776146be88237c

vp9_detokenize.c: remove unused macros

LOW_VAL_CONTEXT_NODE
TWO_CONTEXT_NODE
THREE_CONTEXT_NODE
HIGH_LOW_CONTEXT_NODE
CAT_ONE_CONTEXT_NODE
CAT_THREEFOUR_CONTEXT_NODE
CAT_THREE_CONTEXT_NODE
CAT_FIVE_CONTEXT_NODE

unused since:
adaec4d Speeding up decode_coeffs().

Change-Id: Id07d2b0b76ff0ee6ef40d1b7a8e085e5e9e4aa8d

Fix some interger overflow errors

Change-Id: I7e44bd952f28ce9925e8bdf6ee8ca2bb13de1b49

Merge changes I4a365757,I14a3b328

* changes:
  vp10: remove unused (read|write)_uniform
  vp9_denoiser: mark total_adj_strong_thresh inline

Enable adaptive motion vector referencing mode

This commit allows an adaptive motion vector referencing mode
approach. It checks the available reference motion vector candidate
list and decides the amount of motion vector referencing modes. The
current implementation assumes simple binary coding for the syntax.

The compression performance is improved by
derf   0.11%
hevcmr 0.38%
stdhd  0.09%
hevchr 0.23%

The coding gains due to the new reference motion vector system are
derf   1.0%
hevcmr 1.7%
stdhd  1.4%
hevchr 1.3%

Change-Id: Idf932fc373546fe59c8741f1b933ff656e8dbc3f

Merge "Fix a signed overflow in vp9 motion cost."

Merge "Fixing a issue of calculating tx cost for SUPERTX+VAR_TX" into nextgenv2

Merge "Loop filter search resets on overlay frame."

Merge branch 'master' into nextgenv2

vp10: remove unused (read|write)_uniform

dead code since:
5d3327e Remove palette from VP10

Change-Id: I4a36575706ea6fffefe5bc778595112ef6ff37d8

vp9_denoiser: mark total_adj_strong_thresh inline

avoids -Wunused-function warnings when INLINE is set

Change-Id: I14a3b32837d358516b7702a2fb804bec010bb5c6

Merge "Pass filter type instead of filter array" into nextgenv2

Pass filter type instead of filter array

Change-Id: I25f2149ddaa332722f7ab82e8f832a253c4b6ab3

Merge "Refactor to separate restoration from loop filter" into nextgenv2

Fix a signed overflow in vp9 motion cost.

Change-Id: I5975e3aede62202d8ee6ced33889350c0a56554a

Fix automerge errors

Change-Id: I24d415bafe617eac894427088d7b2fbe0b7e04d7

vp9: Add flag to control usage of skin detection.

Set off as default; on for 1 pass cbr mode, speed >=5, non-screen-content.

Change-Id: I03f2497e4028b354fd83b8a7d0e072c2a6bec878

Merge "vp9 non-rd partition: Update condition on force_split for skin area."

vp9 non-rd partition: Update condition on force_split for skin area.

Avoid low resolutions for now.

Change-Id: Ib3a7bb8716a033449b2afb216edd70897a280df9

vp9-denoiser bugfix: Disable postproc-denoiser under temporal denoising.

The postproc vp9_denoise() is a spatial denoise/blur function.
It was not intended to be used if temporal denoising is enabled.

Change-Id: I97d2dcb941e7cc49bbafce99d9286beb2693249d

Merge "vp9-noise estimate: Put check to avoid possible out of bounds."

Merge branch 'master' into nextgenv2

Merge "VP9: Refactor read_inter_block_mode_info()"

vp9-noise estimate: Put check to avoid possible out of bounds.

Put check to avoid possible out of bounds when looping
over the blocks to estimate noise level.
No change in behavior.

Change-Id: I4b7b19b7edee0ae1c35b9dc0700b1bf9b304d7f5

Merge branch 'master' into nextgenv2

Merge "Enable sse2 version of inverse wht for hbd build"

Merge branch 'master' into nextgenv2

Merge changes I51d42a50,Id8aaf820,I6af91959

* changes:
  configure: extend armv7 hf target autodetect
  configure: remove default CROSS for arm targets
  configure: avoid default when CROSS is set to null

Merge changes If13946e4,I61a1814d,I2ca9aa3c,I44d91eaa

* changes:
  intrapred: protect functions w/CONFIG check
  vp9_noise_estimate: protect copy_frame w/CONFIG check
  vp8_cx_iface: delete 3 unused functions
  vp8: mark intra_prediction_down_copy inline

Merge "Refactor prob_diff_update_savings_search_model"