Add PSNR_AQ mode

Placeholder to support adaptive quantizer for PSNR and SSIM coding
quality improvement.

Change-Id: Id967c9914bb1d72a6f480ef1ba9d6650914dd658

Merge "Make the use of tpl model controlled by the encoder params"

Make the use of tpl model controlled by the encoder params

The control has been exposed to the vpxenc input parameter. Remove
the internal hard coded control that disables it at speed 1 and
above settings.

Change-Id: Ib17772cb895f24da5a7d0487e748cc1a9c6740b3

Merge "update libwebm to libwebm-1.0.0.27-352-g6ab9fcf"

update libwebm to libwebm-1.0.0.27-352-g6ab9fcf

https://chromium.googlesource.com/webm/libwebm/+log/af81f26..6ab9fcf

Change-Id: I9d56e1fbaba9b96404b4fbabefddc1a85b79c25d

Merge "Replace mv_arr by pyramid_mv_arr"

Replace mv_arr by pyramid_mv_arr

We plan to compute mv field in different scale.

Change-Id: I49a92d948f8b5dbab78e38c61f5f4f879bbe269f

Merge changes I44da4884,I36e3bcae

* changes:
  Change interface of motion_compensated_prediction
  Move prepare_nb_full_mvs to vp9_mcomp.c

vp8: Fix to enabling MFQE

Remove the unused *_DEBUG_* enum values in vpx/vp8.h

This fixes issue with enabling MFQE, which was
caused in 4807f15, where the unused DEBUG flags
were removed from common/ppflags.h but not in vp8.h.

BUG=913246

Change-Id: I47f114ef20adc084cb4883add5ac3ebf58ae9f1d

Merge "Rescale arf bit budget calculation"

Merge "Use undamped adjustment for rate correction factors"

Merge "test/svc_end_to_end_test: fix SetConfig() signature"

Change interface of motion_compensated_prediction

Change-Id: I44da4884eea26f0feb7b17f4100db7e5bddd14b4

Move prepare_nb_full_mvs to vp9_mcomp.c

Change-Id: I36e3bcae60751a9caeac03a3c94cb752b73a010b

Merge "Refactor svc_*_test.cc"

Merge "Fix intra_count_low calculation in first pass"

Use undamped adjustment for rate correction factors

Undamped adjustment is used for the first frame
of each frame type while updating the rate
correction factors.

Change-Id: I42f80daa123c4cd4e45c18c6960cc7a67e7df7e6

test/svc_end_to_end_test: fix SetConfig() signature

make the parameter constant to match the base class and mark the
function virtual. virtual is used to match the rest of the code base,
but now that c++11 is required all such functions could be changed to
override.

since:
bb3a82ec3 vp9 svc: add test for scaling partition on 1080p crash.

Change-Id: I4717f0116a231ea954b34da9cfec69c462c21699

Merge "Clean up condition logics in rc_pick_q_and_bounds_two_pass()"

Clean up condition logics in rc_pick_q_and_bounds_two_pass()

Factor out common conditions for better readability.

Change-Id: I2a2b576e7d3e5cf036e9e355fc7ce0509ecb3d7e

Merge "Remove redundant code about motion vector test"

Refactor svc_*_test.cc

Put test classes into svc_test namespace.
Make num_nonref_frames_ and mismatched_nframes private, as they're
computed by encoder/decoder hooks which shouldn't be modified outside
the class.
Add accessor to num_nonref_frames_.

Change-Id: I3836a45426796ba6a8c98dd31e21b5aec4b8abf4

Merge "test/svc_*_test: fix SetConfig() signature"

Remove redundant code about motion vector test

Only need to set find_fractional_mv_step once.

Change-Id: Ib59dd1e3bb8bc973f2e0f3fc436738bfaf2fad81

Merge "Add enum definition for subpel search precision"

Merge "apply -Wextra to third_party/"

Merge "vp9 screen: Update motion search offset when set to NSTEP."

Merge "vp9 svc: add test for scaling partition on 1080p crash."

test/svc_*_test: fix SetConfig() signature

make the parameter constant to match the base class and mark the
function virtual. virtual is used to match the rest of the code base,
but now that c++11 is required all such functions could be changed to
override.

Change-Id: I551a05bbd9d05a9eddb653f42eaad68880c88141

Merge "Add satd avx2 implementation"

vp9 svc: add test for scaling partition on 1080p crash.

BUG=webm:1578
Change-Id: Ie03ed454394933fa89f751edc6928651393f3f12

vp9 screen: Update motion search offset when set to NSTEP.

Search method and step parameter might be changed in speed settings.
In this case, we should update the search area offset due to the change
of search method.

Change-Id: I51dc584bbf35e998757da326355dd4b8a4d0093f

Merge "test/*: use std::*tuple"

test/*: use std::*tuple

since:
77fa51003 Replace deprecated scoped_ptr with unique_ptr

c++11 has been required so <tuple> is safe to use

Change-Id: I873cb953104b361a8503b5839a3372ce2b99e73c

Add enum definition for subpel search precision

To improve readability.

Change-Id: Idc08b2068c7d8ba9dadc0d559a3b4d61c2a88c94

Merge "Optimize RDMult"

Merge changes Id10f72b3,Icde1b01e,I391aa322

* changes:
  Implement find_prev_nb_full_mvs
  Implement get_full_mv()
  Pass mv_num into vp9_nb_mvs_inconsistency()

apply -Wextra to third_party/

googletest builds cleanly with -Wextra

Remove comments about webm:1069. The vp8 issue is tracked in webm:1246.

Change-Id: I8bbb01d34503cc9c342f5c3aa78e9476f72b94c2

Add high bit Hadamard 32x32 avx2 implementation

Speed test:
[ RUN      ] C/HadamardHighbdTest.DISABLED_Speed/2
Hadamard32x32[          10 runs]: 9 us
Hadamard32x32[       10000 runs]: 8914 us
Hadamard32x32[    10000000 runs]: 8991776 us

[ RUN      ] AVX2/HadamardHighbdTest.DISABLED_Speed/2
Hadamard32x32[          10 runs]: 5 us
Hadamard32x32[       10000 runs]: 4582 us
Hadamard32x32[    10000000 runs]: 4548203 us

Change-Id: Ied1b38b510bd033299f05869216d394e3b7f70f1

Merge "Add high bit Hadamard 16x16 avx2 implementation"

Add satd avx2 implementation

Speed Test:
C/SatdHighbdTest
blocksize:   16 time:  138 us
blocksize:   64 time:  315 us
blocksize:  256 time: 1120 us
blocksize: 1024 time: 3955 us

AVX2/SatdHighbdTest
blocksize:   16 time:   89 us
blocksize:   64 time:  189 us
blocksize:  256 time:  590 us
blocksize: 1024 time: 1912 us

Change-Id: I6357174462fccd589a475b13d8114b853cab5383

Merge "vp9 decoder: cleanup on exit if no available frame buffer."

vp9 decoder: cleanup on exit if no available frame buffer.

There was no setjmp on vpx_internal_error when there is no available
frame buffer, ready_for_new_data is not reset to 1.

BUG=webm:1571

Change-Id: I4f8efffb7d6fed3085b1f0229d0d1071a056b6c6

Implement find_prev_nb_full_mvs

In single_motion_search, we use prev coded nb full mvs to compute
mv inconsistency.

lambda is set to block_area / 4.

This is a draft. Will to experiments to figure out the impact on
coding efficiency and visual quality.

Change-Id: Id10f72b3c7e6085bfbe1a6156b9fd6917843d001

Implement get_full_mv()

Change-Id: Icde1b01ea7f64e2c43dcd039cc37fd306e43030f

Pass mv_num into vp9_nb_mvs_inconsistency()

This allow av1_nb_mvs_inconsistency to cope with variant number of
motion vectors.

Change-Id: I391aa322d458cfefaf640e7b07d5ad5ce2d3375c

Merge "configure: test -std=c++11 before enabling unit tests"

Merge "Fix DoS in Error Streams"

Optimize RDMult

This commit introduces the optimized RDMult values for both key
and non-key frames. For key frames, the commit gets values back
from commit#b13f6154df9c0834d74f7e3d41e41c4208f56d18. For impact
on key frame only encodings, see commit message for that commit.

For inter frames, the values get optimzied by running encoding tests
in Q mode with the following range using 150 frames:
2 6 10 14 18 22 26 30 34 38 42 46 50 54 58 62

The impact of current set of RDMULT values:
           PSNR     SSIM     PSNR-HVS
lowres:  -0.325%   0.422%    -0.228%
midres:  -0.377%   0.158%    -0.376%
hdres:   -0.309%   0.522%    -0.322%

Test baseline is on commit#35617458

Overall, the values help PSNR based metrics, but hurt SSIM metric
slightly.

Change-Id: I7eba37a6524cb36b8498a1d104d2667781bc2089

Add high bit Hadamard 16x16 avx2 implementation

Speed test:
[ RUN      ] C/HadamardHighbdTest.DISABLED_Speed/1
Hadamard16x16[          10 runs]: 2 us
Hadamard16x16[       10000 runs]: 1836 us
Hadamard16x16[    10000000 runs]: 1829451 us

[ RUN      ] AVX2/HadamardHighbdTest.DISABLED_Speed/1
Hadamard16x16[          10 runs]: 1 us
Hadamard16x16[       10000 runs]: 1009 us
Hadamard16x16[    10000000 runs]: 984856 us

Change-Id: I89b9cdbe19350815576d66e627df87e5025ed0a4

Merge "remove old visual studio support"

Merge "Refactor datarate svc test."

Merge "quantize neon: fix hbd builds"

remove old visual studio support

Change-Id: I86682ef1aac1991e1ef6965e7aa298f6619bee13

Merge "Fix overflow in calculating highbd SSIM"

Merge "Add Parse and Recon Split functions"

Rescale arf bit budget calculation

To compute the total budget for a depth layer, exclude the count of
frames in the current layer.

Change-Id: I9ffd1f63ea597de3ea95e0832b13f5b1f35cb086

Refactor datarate svc test.

Bring some repeated test set up into a function.

Change-Id: I6acc545a349dc16581a23baf848c91ec36a2e83f

Fix overflow in calculating highbd SSIM

Example internal stats
Before the fix:
Bitrate AVGPsnr GLBPsnr AVPsnrP GLPsnrP VPXSSIM VPSSIMP FASTSIM PSNRHVS WstPsnr WstSsim WstFast WstHVS AVPsnrY APsnrCb APsnrCr   Block WstBlck Consist WstCons     Time RcErr AbsErr
 153.39  37.131  36.420  37.151  36.437 716.077 817.445  10.422  34.347  32.980   0.916   9.281  30.208  36.024  41.830  40.581   0.000   0.000 100.000 100.000    55006    2.26    2.26
No mismatch detected in recon buffers

After the fix:
Bitrate AVGPsnr GLBPsnr AVPsnrP GLPsnrP VPXSSIM VPSSIMP FASTSIM PSNRHVS WstPsnr WstSsim WstFast WstHVS AVPsnrY APsnrCb APsnrCr   Block WstBlck Consist WstCons     Time RcErr AbsErr
 153.39  37.131  36.420  37.151  36.437  69.808  70.023  10.422  34.347  32.980   0.910   9.281  30.208  36.024  41.830  40.581   0.000   0.000 100.000 100.000    55067    2.26    2.26
No mismatch detected in recon buffers

Change-Id: I820abc498c1543548f193874046582b50afd0238

configure: test -std=c++11 before enabling unit tests

since:
77fa51003 Replace deprecated scoped_ptr with unique_ptr

the unit tests require a c++11 capable compiler; future versions of
googletest (1.9.x) will as well, so this change was inevitable if we
wanted to keep the snapshot up to date.

Change-Id: Id5c646bd10fae09e7b705b7d5fad1344f2216282

Fix the parameter of vp9_full_pixel_diamond_new

Change-Id: I36b970953c960fde65d7b7705ccfa575c8741c43

Merge "Reland "third_party/googletest: update to v1.8.1""

Merge "vp9: force refresh of long term ref when denoiser reset."

vp9: force refresh of long term ref when denoiser reset.

This will allocate extra frame buffer if long term temporal reference is
used and denoiser is enabled on non-key frame.

Add test.

Change-Id: I0e8d1fdb9a2d697a8eed7fe6206bcb362e69f1c8

Merge "Clean up rc_pick_q_and_bounds_two_pass()"

Fix intra_count_low calculation in first pass

In first pass, scaled_low_intra_thresh should not be
compared with motion_error, as scaled_low_intra_thresh
accounts for bit-depth, whereas motion_error does not.
In addition, mv_cost is excluded for comparison.

Change-Id: Id2fa02d364c086876c71ffebb2dd763eaa647e4a

Merge "Add high bit Hadamard 8x8 avx2 implementation"

vp9-svc: Fix to postencode drop for layers.

Postencode drop is only checked on base spatial
layers, and if set, whole superframe is dropped and
and next superframe is encoded at max-q.

Fix here is to make sure all layers are encoded at
max-q on a postencode dropped frame.

Change-Id: I2313d83ee29a382465bcec1085d8c73c37ce26d6

Merge "vp9: Rename post_encode drop function."

vp9: Overshoot detection for skipped base layer.

If scene/slide change is detected on current
superframe and max-q set because of high overshoot:
then if the lower/base spatial layer are skipped on
the current superframe, max-q is forced on the
next encoded base/lower spatial layers.

Change-Id: Id61efda86ee545395012e19476d19845e3932678

vp9: Rename post_encode drop function.

Feature works also for non-screen content mode,
so rename it.

Change-Id: I665362d50cf9a4017f114973586ad0eead066ddd

quantize neon: fix hbd builds

BUG=webm:1448

Change-Id: I2140fb9b6ce92716d2d9509f3031244088a62127

Add high bit Hadamard 8x8 avx2 implementation

Speed tests:
[ RUN      ] C/HadamardHighbdTest.DISABLED_Speed/0
Hadamard8x8[          10 runs]: 0 us
Hadamard8x8[       10000 runs]: 316 us
Hadamard8x8[    10000000 runs]: 311749 us
[       OK ] C/HadamardHighbdTest.DISABLED_Speed/0 (371 ms)

[ RUN      ] AVX2/HadamardHighbdTest.DISABLED_Speed/0
Hadamard8x8[          10 runs]: 0 us
Hadamard8x8[       10000 runs]: 161 us
Hadamard8x8[    10000000 runs]: 156910 us
[       OK ] AVX2/HadamardHighbdTest.DISABLED_Speed/0 (160 ms)

Change-Id: I94f7324be20405ff55f8a02ad4651c4ab4c10202

Fix DoS in Error Streams

This fixes an issue where, in very rare error cases, one row of LPF
could be waiting infinitely for its previous row's LPF to complete.

With LPF optimization, the second row's LPF could be triggered before
the first row's LPF. In this case, the second row's LPF will wait for
LPF of n-sync number of SBs of the first row to finish. In error
streams, depending on when the error was detected, the LPF job of the
first row may then never be triggered. This puts the thread doing the
second row's LPF in an infinite wait.

The issue is reproduceable once in approximately 500 runs of the clip in
bug 1562.

BUG=webm:1562

Change-Id: I265d7df5ceeff0410334f5b9a4181f895bb54cab

Add Parse and Recon Split functions

Add functions that will do only parse or only recon. These are
duplicated and modified from decode_partition and decode_block.

Change-Id: I2201e235bf491e823ae63d27b2586bbb43b48929

quantize 32x32: saturate dqcoeff on x86

This slows down low bitdepth builds but is necessary to obtain correct
values.

BUG=webm:1448

Change-Id: I4ca9145f576089bb8496fcfeedeb556dc8fe6574

Merge "Simplify constant q mode qp selection"

Clean up rc_pick_q_and_bounds_two_pass()

Remove unneeded VPX_Q condition check.

Change-Id: I46b09ae522caa47fa7ea4441b6a6ac2840315d1c

Merge "Use 16 bit ints in Hadamard highbd col8 first pass"

Merge changes Ic80def57,I61a2f8bf

* changes:
  quantize 32x32: fix dqcoeff
  quantize: fix x86 hbd builds

Merge changes I18680413,Iebe38092

* changes:
  Consider mv inconsistency in single_motion_search
  Change the interface of vp9_full_pixel_diamond_new

Simplify constant q mode qp selection

Decouple the constant q mode qp selection from vbr/cbr/cq modes.
Skip vp9_frame_type_qdelta() adjustment for non-ARF inter frames,
instead keep using the cq-level. It improves the compresson
performance:

         avg PSNR       overall PSNR     SSIM
lowres   -0.17%         -0.20%           -0.1%
midres   -0.21%         -0.24%           -0.08%
hdres    -0.15%         -0.19%           -0.04%

Change-Id: I52fd5f8edbd3fdcbeda31ee3a6d6eb016091a7e3

Factor key frame qp selection from two-pass qp and bound decision

Factor out this common code needed all rate control modes.

Change-Id: If17850fbebcdce7ff24afb211aa2e6054486b814

Consider mv inconsistency in single_motion_search

This is still a work-in-process.
nb_full_mvs and lambda are set to zero for now, which means
mv inconsistency penalty is zero while doing the mv search.

Change-Id: I18680413d748fbdb9a33621f92f83e021036a3ab

Change the interface of vp9_full_pixel_diamond_new

Avoid passing in tpl_stats because this function will be called in
motion search, where tpl_stats should be fixed at the point.

Let further_steps becomes internal variable in the function.

Change-Id: Iebe380925eb1891c19e0b78163dab8e6bfafccdb

Use 16 bit ints in Hadamard highbd col8 first pass

Change-Id: I2f04937d8a4e171d42b25ee6c6555ccad29eb192

Revert "Optimize RDMULT values for key frames"

This reverts commit b13f6154df9c0834d74f7e3d41e41c4208f56d18.

Temporarily revert this change due to interactions with rate control at very low target bit-rate.

Original change's description:
> Optimize RDMULT values for key frames
>
> Encoding of 5 frames of each sequence using key frames only, the new
> values help the metrics by:
>
>          PSNR     SSIM       PSNR-HVS
> lowres:  -0.870%  -0.140%    -0.892%
> midres:  -0.899%  -0.146%    -1.052%
> hdres:   -0.944%  -0.115%    -1.028%
>
> Tested q range:
> 2 6 10 14 18 22 26 30 34 38 42 46 50 54 58 62
>
> Change-Id: I5b0dda366d589f52987c5bad11a1f95c4e6dc1a5

TBR=yaowu@google.com,paulwilkins@google.com,jingning@google.com,builds@webmproject.org

# Not skipping CQ checks because original CL landed > 1 day ago.

Change-Id: Ie1e4cf21308d69699a65a393a83884882682ea8e

vp9-svc: Add num_encoded_top layer counter

Useful for noise estimation when top layer
is skipped encoded.

Change-Id: I18cbe6119bac6c21514941b1e3b530a05a42df14

Merge "vp9: Fix condition for disabling noise estimation"

vp9: Fix condition for disabling noise estimation

Fix condition for turning off denoiser due to high
motion: use proper superframe counter and
frames_since_key counter so this condition won't
take effect on key (super)frame.

Change-Id: Ic502bf5ebfa32a921f611a78e8e963eb62b5bc79

vp9 denoiser: force copy block when last not a reference.

Last reference doesn't always exist when SVC layers changed dynamically.

When last is not a reference for current layer, copy block directly on
denoiser.

Change-Id: I9d98c4d6fdcfa25ba707db3333712761b5cf9ab8

Merge "Remove ineffective condition from rc_pick_q_and_bounds"

quantize 32x32: fix dqcoeff

Calculate the high bits of dqcoeff and store them appropriately in high
bit depth builds.

Low bit depth builds still do not pass. C truncates the results after
division. X86 only supports packing with saturation at this step.

BUG=webm:1448

Change-Id: Ic80def575136c7ca37edf18d21e26925b475da98

quantize: fix x86 hbd builds

Calculate the high bits of dqcoeff in high bit depth builds and store
them appropriately.

BUG=webm:1448

Change-Id: I61a2f8bfcf2e30765f10a94073c4d58321d2fa24

Merge "vp9-svc: Add check/reset for long term reference."

vp9-svc: Add check/reset for long term reference.

Add check and reset (turn off) usage of long term
reference if some conditons (layer id of reference vs
current frame) are not met.

Change-Id: Ie3a84e3618f4fc4d5f8da4e67316cfbefb8bae78

vp9 svc: copy block if ref buffer in denoiser is NULL.

BUG=b/119097707

Change-Id: I6569306e897da46a44f9d8f2fb28a2a355dd4c2c

Reland "third_party/googletest: update to v1.8.1"

This is a reland of 7d777ce6136d7325a102524b6d80c19bd420e4b6

Previous attempt was reverted due to build issues with older
versions of Visual Studio. We no longer support VS <= 13.

Original change's description:
> third_party/googletest: update to v1.8.1
>
> BUG=webm:1559
>
> Change-Id: I7a0b16c7bf3f97db2d8650a190b93aae7e12a948

Bug: webm:1559
Change-Id: I9cb39988286cc56125879222ef0bd952d61b7c1d

Merge "Replace deprecated scoped_ptr with unique_ptr"

Merge "rename quantize_x86.h"