Merge "Enable computing PSNRHVS for hbd build" into nextgenv2

Merge "Complete high bitdepth VAR_TX implementation." into nextgenv2

Merge "Refactor: add predict_interp_filter() to simplify the flow in handle_inter_mode" into nextgenv2

Enable computing PSNRHVS for hbd build

This commit adds computation of PSNRHVS for highbitdepth build, it
also adds tests to make sure the calculation of psnrhvs metric for
10 and 12 bit correct.

Change-Id: Iac8a8073d2b3e3ba5d368829d770793212fa63b6

Remove redundant parameters from vp10_txfm_rd_in_plane_supertx()

Change-Id: Icb164403239f88f18fd64de75d4881d33d3ab1cc

Align rate-distortion cost metric for chroma compoments

This commit aligns the rate-distortion metrics for both luma and
chroma components in super transform rate-distortion optimization.
It improves the coding gains due to var-tx and supertx experiments
by 0.2% for high resolution test sets.

Change-Id: Ib89d99e29cb5ee27b1f867e301954d4164d8b364

Format clean-ups in transform experiments

Change-Id: Ib2843cb03ae452ce9fec3a94c709431ea0202d8b

Complete high bitdepth VAR_TX implementation.

VAR_TX now works in the high bitdepth configuration.

Change-Id: I4114d7d9ed59c598f1e4d35b8e75876c07074ba7

Merge "Enable computing of FastSSIM for HBD build" into nextgenv2

Merge "Refactor rd_pick_intra_angle_" into nextgenv2

Enable computing of FastSSIM for HBD build

This commit adds the computation of fastSSIM for highbitdepth build,
it also modifies the hbdmetric test to be more generic and applicable
for fastSSIM.

The 255 used for calculating ssim constants c1 and c2 is not exactly
scaled by 4x and 16x to 1023 and 4095, therefore requries the metric
test to have a thresold more tolerant than 0, currently at 0.03dB.

Change-Id: I631829da7773de400e77fc36004156e5e126c7e0

Adding the config tag for the OBMC experiment

obmc: We add an obmc prediction mode at superblock level.
When it is enabled, predictors of the above and left blocks
are used to refine the regular block-based motion compensation.

Change-Id: I6310104ea3dfece16d736351e368861471dd1c9b

Refactor rd_pick_intra_angle_

Change-Id: I6c78188bdedb52655678c63f6a767567b256a880

Refactor: add predict_interp_filter() to
simplify the flow in handle_inter_mode

Change-Id: Ic7934c0a5d0a79bdf546b4d2d106035449b475a6

Merge "Add a test for VPXSSIM computation for HBD inputs" into nextgenv2

Merge "fix range_check error in vp10_[fwd/inv]_txfm1d.c" into nextgenv2

Add a test for VPXSSIM computation for HBD inputs

Change-Id: I61dc0f43d073b62d0eab8cd7471c2d76e03379bf

Merge "Resolve conflict between var-tx and super-tx" into nextgenv2

Resolve conflict between var-tx and super-tx

This commit aligns the rate-distortion metric for the recursive
transform block partitioning and the super transform. It resolves
the conflicts between these two experiments. The coding performance
gains of the combined experiments (var-tx + super-tx) has been
improved:

derf   0.89%  ->  1.9%
hevcmr 1.06%  ->  1.8%
stdhd  0.29%  ->  1.4%
hevchr 0.80%  ->  2.3%

Change-Id: I7e33994ad70c1b2751435620815f867d82172f41

Merge "Remove redundant void statement" into nextgenv2

Merge "Replace arbitrary number with defs" into nextgenv2

Merge "Entropy coding for dynamic ref mv modes" into nextgenv2

Remove redundant void statement

Change-Id: Ia9ccba156a8a3ada6928be53eb6258fb68b6c9f1

Replace arbitrary number with defs

Change-Id: Ia5a68f26c67d13d3f2dd3b3f8afabb781e2c8f73

fix range_check error in vp10_[fwd/inv]_txfm1d.c

Change-Id: I7a810323fc33fb6d373c3f5bb4d5d0d33170948c

Remove C99 struct init syle in fwd/inv config

Change-Id: Ieeb458353af6c903445518eef60328c62ca5c741

Merge "Fix partition type costing." into nextgenv2

Merge "A variety of fixes for supertx/var-tx rd costing" into nextgenv2

Fix partition type costing.

This patch makes rd optimization use the same context for computing
the rate cost of coding the partitioning as the packer actually uses
when emitting it in write_modes_sb.

Change-Id: Idb1427bb2f9c37ab80c6aa182f7ff754ef0595cb

A variety of fixes for supertx/var-tx rd costing

Change-Id: I8a3d59378abb1dfa4e614b2975c2db05d4224bd5

Merge "Fix a bug in HBD buffer size computation" into nextgenv2

Fix a bug in HBD buffer size computation

The value of use_highbitdepth flag is used for compute the size for
high bit depth buffer allocation, which should take value 0 or 1
depending on if the buffer is used for high bit depth or not.
Previously, the values is set to 8 or 0, this commit fixes the issue
and properly set the value for this flag to 1 or 0.

This cuts the size of highbitdepth buffer memory allocation to 2/9 of
the size prior to the fix.

Change-Id: I401518b5a6147e5d8a973e54f7ca6bc1892065e0

Entropy coding for dynamic ref mv modes

This commit enables entropy coding for dynamic reference motion
vector modes. The probability model is contexted on the ranking
categories of the reference motion vector candidates.

Change-Id: I09b58d98a409d63ec1a407331e29f8945b7ef17d

Explicitly set tx_type for sub8x8 blocks

Fixes an issue where the tx_type was not set correctly for
sub8x8 inter and intra blocks. In the current syntax, for
sub8x8 blocks, there is still a single tx_type that is
transmitted. Ideally, this should be searched for the best
rd performance, albeit at the expense of encode speed.
For now, we just set it to DCT_DCT. Previously it was left
incorrectly as what was used for the previous non sub8x8
block.

derflr: BDRATE -0.277%

Change-Id: If76ba903bfbfd4d374cf1ac7d1daee50e92f0edd

Merge "Enable dynamic ref motion vector mode for compound inter block" into nextgenv2

Merge "Change to use local variables consistently" into nextgenv2

Merge "Remove a flavor of SSIM that is never really used." into nextgenv2

Merge "Set a max dB value for PSNR_HVS and FAST_SSIM" into nextgenv2

Merge "Fix msvc compiler warnings" into nextgenv2

Merge "Normalize fdct8x8 in psnrhvs computation" into nextgenv2

Change to use local variables consistently

This commit does not change the computation, nor results.

Change-Id: I1a7bb47050220d970f075458b507c5e55d93b22e

Enable dynamic ref motion vector mode for compound inter block

This commit enables the dynamic reference motion vector coding mode
for the compound inter blocks.

Change-Id: Ibe78fd8de6989db392cd67a9d81a69d680345ba1

Remove a flavor of SSIM that is never really used.

Change-Id: I61ea7f63acbcfeecd3f7dba5a5a38b980efc802b

Set a max dB value for PSNR_HVS and FAST_SSIM

Now set at 100.0 instead of infinite

Change-Id: I41bae0c4bd95a26f9819584e7311b7945df1271a

Merge "Experiment: use 12 taps for sharp filter" into nextgenv2

Merge "add convolution function with adjustable length" into nextgenv2

Merge "Fixed warnings of unused functions" into nextgenv2

Fix msvc compiler warnings

There were a number of compiler warnings:
1. int16_t to uint8_t in recon_intra.c;
2. double to float conversions in psnrhvs.c
3. intptr_t to int in quantize.c
4. size_t to int32_t in decoder.c

Change-Id: Id95423b17779dcfa6cf39d9a90fe8cb8b910f5df

Merge "Fix bad merge artifacts" into nextgenv2

Normalize fdct8x8 in psnrhvs computation

This is to match the scale to the fdct8x8 used in original daala
psnrhvs computation.

Change-Id: Ic30b50747ba9c340bcb679f7439640046c69f90a

Experiment: use 12 taps for sharp filter

Set USE_12_SHARP_FILTER to 1 to turn on the experiment
The psnr percentages increase
       derf   stdhd
lowbd  +0.332 +0.318
highbd +0.476 +0.507

Change-Id: I783c0fc764ee8541645e100453c9b2073924e209

add convolution function with adjustable length

Change-Id: I1a5b1e15a188ef11594d0c6ac0dbd42aac59cfca

Fixed warnings of unused functions

And enabled the warning flag in configure for vp10.

Change-Id: If556d6fac65755af3d6ed7fe71b8eca0ef1b1965

Merge "Add a speed feature for intra filter search" into nextgenv2

Fix bad merge artifacts

Temporaly disable warning for unused function for vp10, needs clean
out the warnings before re-enable the flag for vp10.

Change-Id: I5636f8cd607423f6ea6963db9c2cbd688e30b495

Merge branch 'master' into nextgenv2

Merge "configure: enable -Wunused-function by default"

Merge "Vidyo patch: Optimization for 1-to-2 downsampling and upsampling."

Merge "Add 8-tap interpolation filter options for intra prediction" into nextgenv2

Vidyo patch: Optimization for 1-to-2 downsampling and upsampling.

Change-Id: I9cc9780f506e025aea57485a9e21f0835faf173c

Merge "Generalize the dynamic reference motion vector coding mode" into nextgenv2

merge per-segment lossless feature in misc_fixes

Change-Id: I56d56781d371c99aa5cdd2db1cbc0a17437723e9

Define a macro to replace hardcoded values

The definition is for the number of frames to check to determine the
recent decay rate, further to determine the next key frame in the
first pass of the encoder.

Change-Id: Ic696d6eb518a86fa296842273cf8767ef0b0e27a

configure: enable -Wunused-function by default

when INLINE is defined and mips is not being targeted. otherwise keep
the old --enable-extra-warnings behavior

Change-Id: Iba576edbe5fca03efa56ce99eee11f9cafc573ad

fdct8x8_test:: quiet unused-function warning

in non-x86 builds

Change-Id: I9f6fa40d27f95a4afe92444f71c23dc9a15db466

Merge changes from topic 'dead-code'

* changes:
  yv12config.c: remove dead CONFIG_ALPHA code
  vp9_encoder.c: remove unused macro
  vpx_mem.c: remove unused macro
  vp9_svc_layercontext.c: relocate a macro definition
  vp9_encoder.c: protect SNPRINT* macros w/CONFIG check
  vp9_aq_360.c: remove some unused macros
  vp9_diamond_search_sad_avx.c: rename (un)likely macros
  vp9_resize.c: add missing include
  vp9_aq_complexity.c: remove unused macros
  vp9_detokenize.c: remove unused macros

Merge "Fix for supertx: ignore skip_txfm optimization" into nextgenv2

Merge changes I1171e9c7,I77292e11,I1678ab48,Id7a2c345

* changes:
  dct16x16_test: quiet unused-function warning
  intrapred: protect functions w/CONFIG check x2
  dct32x32_test: remove unused function
  tests: quiet some warnings w/--disable-webm-io

Merge "vp9-skinmap. Some adjustments for model=1."

Add a speed feature for intra filter search

Seperate the prediction angle search and fitler search.
It can reduce the computation overhead of filter search by as much
as 85%, while keeping more than 50% of the coding gain.

Change-Id: Id152f71e20ebcaca8b429bdd4ca1fbeb646fc6bf

Merge "Merge branch 'master' into nextgenv2" into nextgenv2

vp9-skinmap. Some adjustments for model=1.

-use larger threshold on y (as in vp8).
-add distance threshold for each cluster
-use larger skin distance threshold for first cluster
-add some early exist checks.

Keep default setting to model=0.

Change-Id: I1044b99ade4bb1f215a860a019a4d84cee2f7715

Add 8-tap interpolation filter options for intra prediction

BD-rate performance improvement (on top of ext-intra):
derflr  0.22%
hevclr  0.36%
hevcmr  0.48%
hevchr  0.37%
stdhd   0.19%

Average speed impact on some derf clips is about 40% slower (on
top of ext-intra). Speed improvment is a to-do.

Change-Id: I8fe3fe8c5e4f60d0462778adbcc15c84dfbe7a25

Merge "Use precise rate cost estimate for skip block mode"

Generalize the dynamic reference motion vector coding mode

This commit generalizes dynamic reference motion vector coding mode
to support multiple candidate modes in the rate-distortion
optimization scheme and to support the selection in the bit-stream
syntax. The maximum number of modes allowed is currently limited to
4. The syntax elements for the dynamic reference motion vector
modes are using binary codes. The scheme supports single reference
frame.

It improves the compression performance
derf   0.135%
hevcmr 0.098%

Change-Id: Id053d6ce76e8365e52727bd0d12d28ce3de2e0e8

Use precise rate cost estimate for skip block mode

It improves the compression performance of VP9 by 0.1% across all
test sets. No speed change is observed.

Change-Id: I59338c5c9e67bae22188f35fc3afbfe2a6bba6b0

Merge "Account for zero-forcing operation in selective ref mv mode" into nextgenv2

Merge "Fix some interger overflow errors"

Account for zero-forcing operation in selective ref mv mode

It makes the encoder accounts for the block zero-forcing operation
when optimizing the mode decisions.

Change-Id: I2c8e243756080b446b8a53a9679f75c4c47148cf

Merge branch 'master' into nextgenv2

Change-Id: Ib050607fa5c0288360ff224fd048445d16568520

Merge "Supertx fix for 422 colour subsampling" into nextgenv2

Fix for supertx: ignore skip_txfm optimization

Change-Id: I80eedb548c449ec43c6b5b88c5493b665606906e

Supertx fix for 422 colour subsampling

Fixes assertion for football_422_4sif.y4m when supertx, var_tx and
ext_tx are all enabled. Problem was after subsampling, the u and v
blocks being encoded were no longer square.

Change-Id: Ie626f30a2e64538d33343a26d5124a79a6f2b985

Merge "Add high bit depth args to arg list"

dct16x16_test: quiet unused-function warning

in non-x86 builds

Change-Id: I1171e9c7e7ea5bcdea70bf5e3d28b07d6bb5578f

intrapred: protect functions w/CONFIG check x2

high-bitdepth version
d207e, d63e, d45e are only used with CONFIG_MISC_FIXES

Change-Id: I77292e11f51fd76d4127fd0027f876866bcf8675

dct32x32_test: remove unused function

idct32x32_8

Change-Id: I1678ab48639cc54be4c9294479de01beced9e1e9

tests: quiet some warnings w/--disable-webm-io

unused-functions/variables

Change-Id: Id7a2c345442129d84ec1482e38fcdc4bc9eaad7d

Add high bit depth args to arg list

So that their usage info. will show up with --help.

Change-Id: I8542240dcc98e8be29ac63d081f5abb932627cbf

yv12config.c: remove dead CONFIG_ALPHA code

the rest was removed with:
5926e7c Remove unfinished VP9 alpha channel.

Change-Id: I0c1d92765e5334e1380ad027b069b401e4ae9b8f

vp9_encoder.c: remove unused macro

SHARP_FILTER_QTHRESH

unused since:
5373119 Merging in the Switchable interp experiment

Change-Id: I9ccc1883828babffd1886810b59aa16aca4766bf

vpx_mem.c: remove unused macro

__VPX_MEM_C__

unused since:
f58011a vpx_mem: remove vpx_memset

Change-Id: I820c972c4165275ddf21c1687748409818a7f2af

vp9_svc_layercontext.c: relocate a macro definition

move SMALL_FRAME_FB_IDX closer to its first use. this is only used with
CONFIG_SPATIAL_SVC.

Change-Id: Ibf2b3e59a3aab2be2c3b3f89b4380ebe272e0ed6

vp9_encoder.c: protect SNPRINT* macros w/CONFIG check

these are only used with CONFIG_INTERNAL_STATS

Change-Id: Ibbcefbdc1db79d93f75e5865289f9960a8c2358a

vp9_aq_360.c: remove some unused macros

ENERGY_MIN
ENERGY_MAX
ENERGY_SPAN
ENERGY_IN_BOUNDS

unused since first commit

Change-Id: I5507d36487aaee3e64f7a5fba582791ef9a533b0

vp9_diamond_search_sad_avx.c: rename (un)likely macros

avoid using '__' this is a reserved namespace for the compiler

Change-Id: I7d2be4dba2bdddc6f1010a16ad9e59a2e211b064

vp9_resize.c: add missing include

Change-Id: I429e3c80216102ed0a85ce348ecac0bf1e1e28eb

vp9_aq_complexity.c: remove unused macros

DEFAULT_COMPLEXITY
VAR_STRENGTH_STEP

unused since first commit

Change-Id: I4a47544098caf0d72e571633b7776146be88237c

vp9_detokenize.c: remove unused macros

LOW_VAL_CONTEXT_NODE
TWO_CONTEXT_NODE
THREE_CONTEXT_NODE
HIGH_LOW_CONTEXT_NODE
CAT_ONE_CONTEXT_NODE
CAT_THREEFOUR_CONTEXT_NODE
CAT_THREE_CONTEXT_NODE
CAT_FIVE_CONTEXT_NODE

unused since:
adaec4d Speeding up decode_coeffs().

Change-Id: Id07d2b0b76ff0ee6ef40d1b7a8e085e5e9e4aa8d

Fix some interger overflow errors

Change-Id: I7e44bd952f28ce9925e8bdf6ee8ca2bb13de1b49