Add error handling for frame parallel decode and unit test for that.

Change-Id: I6e309e11f1641618d2424b7a2c0fe744b8974dec

Fix a bug in frame parallel decode and add a unit test for that.

A flush bug is discovered during putting frame parallel decoder
into Android. This test will expose that bug.

Change-Id: Ia047f27972f4da0471649f79f1f91e7695297473

Merge "Add two test vectors to test frame parallel decode." into frame_parallel

Add two test vectors to test frame parallel decode.

The added vectors are mainly used to test the output cache
mechanism in frame parallel decode.

Change-Id: I3d413d060daa5abf72358f6350bd1d16d71adc5a

Add key frame seeking to webmdec and webm_video_source.

This is for the frame parallel's pause/seek/resume unit test.

Change-Id: Ie235f86ca5f3d525896222766f6d610e6682fd76

Implement frame parallel decode for VP9.

Using 4 threads, frame parallel decode is ~3x faster than single thread
decode and around 30% faster than tile parallel decode for frame parallel
encoded video on both Android and desktop with 4 threads. Decode speed is
scalable to threads too which means decode could be even faster with more threads.

Change-Id: Ia0a549aaa3e83b5a17b31d8299aa496ea4f21e3e

Increase the thread test range to cover 5, 6, 7, 8 threads.

Change-Id: Id25c294720551bb5153987d8758668befaa57929

Fix a bug in adding frame parallel unit test.

There are two CreateDecoder functions and decode_test_driver is not
calling the right function now. This bug is discovered during really
enable the frame parallel flag inside libvpx. This bug does not affect
any existing unit test though.

Change-Id: Icd9633c4b66d50e422a09c4310ff791082878936

Merge "Add VP9 frame-parallel unit test." into frame_parallel

Add VP9 frame-parallel unit test.

Make sure VP9 frame-parallel decode passes all the standard
test vectors. Only test running with 2,3,4 threads now.

Also refactor the video decode test driver to support passing
in decode flags which is used to enable frame-parallel decode.

Change-Id: I6a712464232c2e13681634951c7e176312522e1e

Manually pick "Make the api behavior conform to api spec." from
master branch.

Change-Id: I7323ec4cf8b8b7841e37f2bf90548cefa9de9795

Move vp9_dec_build_inter_predictors_* to decoder folder.

Change-Id: Ibe9fa28440cc79ba9f3504d78c7dca7bb01a23e1

Add segmentation map array for current and last frame segmentation.

The original implementation only allocates one segmentation map and this
works fine for serial decode. But for frame parallel decode,  each thread
need to have its own segmentation map and the last frame segmentation map
should be provided from last frame decoding thread.

After finishing decoding a frame, thread need to serve the old segmentation
map that associate with the previous decoded frame. The thread also need to
use another segmentation map for decoding the current frame.

Change-Id: I442ddff36b5de9cb8a7eb59e225744c78f4492d8

Merge "Include the right header for VP9 worker thread." into frame_parallel

Include the right header for VP9 worker thread.

pthread.h is not supported in windows. vp9_thread.h includes
the emulation layer for pthread in windows.

Change-Id: I2b1c8ec299928472faca7ebeea998170c9f4d744

Move vp9_thread.* to common.

Prepare for frame parallel decoding, the reference count buffers
need to be protected by mutex. Move vp9_thread.* to common
folder so that those buffers could use cross-platform mutex
from vp9_thread.*.

(cherry picked from commit 337e8015c9deaf8ab7e8d0c3c132160a77dd1590)

Change-Id: I0587a08447925f4554d7788686a31483c2ae3f37

ctrl_get_reference does not need user_priv.

The relationship of the user private data at runtime
is not preserved from decode() to this call which may
occur at an unknown point in the future

Change-Id: Ia7eb25365c805147614574c3af87aedbe0305fc6

Seperate the frame buffers from VP9 encoder/decoder structure.

Prepare for frame parallel decoding, the frame buffers must be
separated from the encoder and decoder structure, while the encoder
and decoder will hold the pointer of the BufferPool.

Change-Id: I172c78f876e41fb5aea11be5f632adadf2a6f466

Revert "Revert "Revert "Revert 3 patches from Hangyu to get Chrome to build:"""

This reverts commit 749e0c7b2883139afa14b4886bbd6a940d021f4f.

Change-Id: I0c63a152baf94d38496dd925a40040366153bf4f

Merge "Adapt strength of AQ2."

Merge "Store/read 16x16 block statistics obtained from the first pass"

Adapt strength of AQ2.

Adapt the use of segmentation in AQ mode 2 based on
the ambient kf/arf/gf Q.

Disable segmentation where the rate per SB is very
low and overheads are likely to outweigh the benefits.

This patch reduces the -ve average metrics impact
of AQ mode 2 while allowing stronger 3 segment AQ
in some cases. Average improvement ~0.5-1.0%.

Change-Id: I5892dfcc7507c5cc6444531cc7fe17554cf8d0c7

Adds support for reading and writing 10/12-bit y4m

The y4m extension used is the same as the one used in ffmpeg/x264.
The patch is adapted from the highbitdepth branch.

Also adds unit tests for y4m header parsing and md5 check
of the raw frame data, as well as y4m writing.

Change-Id: Ie2794daf6dbafd2f128464f9b9da520fc54c0dd6

Merge "VP9 denoiser used s/int/enum where appropriate"

Merge "Denoised output is now grayscale"

Merge "vp8/bitstream.h: quiet warnings in EDSP builds"

Merge changes I875ac5a7,I2b13369d,I9ceb47a9

* changes:
  update vp9_thread.[hc]
  vp9_thread_test: remove unnecessary c_str()'s
  vp9_thread_test: factorize decode loop

Merge "Re-design quantization process"

Re-design quantization process

This commit re-designs the quantization process for transform
coefficient blocks of size 4x4 to 16x16. It improves compression
performance for speed 7 by 3.85%. The SSSE3 version for the
new quantization process is included.

The average runtime of the 8x8 block quantization is reduced
from 285 cycles -> 255 cycles, i.e., over 10% faster.

Change-Id: I61278aa02efc70599b962d3314671db5b0446a50

Merge "Add a test that tests invalid partitions for profile 1"

Merge "validate uv block size when reading partition"

Store/read 16x16 block statistics obtained from the first pass

Add a conditional compile flag for this feature. Also add a
switch to enable the encoder to use these statistics in the
second pass. Currently, the switch is turned off.

Change-Id: Ia1c858c35ec90e36f19f5cffe156b97ddaa04922

Merge "Elevate NEWMV mode checking threshold in real time"

Add a test that tests invalid partitions for profile 1

Change-Id: I3d95fbe9a8098256582b5386881d5b7bbdb317ed

Merge "vp9_thread_test: add 'Thread' to test names"

Elevate NEWMV mode checking threshold in real time

The current threshold is knid of low, and in many cases NEWMV
mode is checked but not picked as the best mode. This patch
added a speed feature to increase NEWMV threshold, so that
less partition mode checking goes to check NEWMV. This feature
is enabled for speed 6 and 7.

Rtc set borg tests showed:
1. Speed 6, overall psnr: -0.088%, ssim: -1.339%;
   Average speedup on rtc set is 11.1%.
2. Speed 7, overall psnr: -0.505%, ssim: -2.320%
   Average speedup on rtc set is 12.9%.

Change-Id: I953b849eeb6e0d5a1f13eacba30c14204472c5be

VP9 denoiser used s/int/enum where appropriate

Change-Id: Id52a7869fd1f31bb060de170e3295da7435adb9e

Denoised output is now grayscale

Grayscale is conditionally compiled.

Change-Id: I482ab237560d0bae8d397fd9999e78d38104f2a1

Add a new yuv444 testvector.

This refelects the profile 1 bitstream change in 6c54dbc.

Change-Id: I39625d88f236a79b7f2955d79c5a451e3753da16

Merge "Fix visual studio build issue"

validate uv block size when reading partition

Change-Id: I74fc5f1a7bab3128cdd49441b83ec3a25aee65ca

Fix visual studio build issue

Fixed the signed/unsigned mismatch.

Change-Id: Id83d603b8f1745b71f4cf695a0751e55518b1316

update vp9_thread.[hc]

pull the latest from WebP, which adds a worker interface abstraction
allowing an application to override init/reset/sync/launch/execute/end

this has the side effect of removing a harmless, but annoying, TSan
warning.

Original source:
 http://git.chromium.org/webm/libwebp.git
  100644 blob 08ad4e1fecba302bf1247645e84a7d2779956bc3 src/utils/thread.c
  100644 blob 7bd451b124ae3b81596abfbcc823e3cb129d3a38 src/utils/thread.h

Local modifications:
 - s/WebP/VP9/g
 - camelcase functions -> lower with _'s
 - associate '*' with the variable, not the type

Change-Id: I875ac5a74ed873cbcb19a3a100b5e0ca6fcd9aed

vp9_thread_test: remove unnecessary c_str()'s

EXPECT_EQ() works with strings

Change-Id: I2b13369d2aa7ff305ee516e6cb73bd099f8dead9

vp9_thread_test: factorize decode loop

+ add a SCOPED_TRACE with the current filename

Change-Id: I9ceb47a9154bc0d9f9878a83b707e8ed935790f9

vp9_thread_test: add 'Thread' to test names

s/VP9DecodeMTTest/VP9DecodeMultiThreadedTest/

this enables simpler test filtering

Change-Id: I010a451cf32fa5a95db6734cc22f331f0a0d515a

vp8/bitstream.h: quiet warnings in EDSP builds

fixes:
vp8\encoder\bitstream.h: same type qualifier used more than once

Change-Id: I62b99342131fdaedb1f7cc8d2dcd13ab34637cd7

Merge "libs.mk: don't include x86inc.asm in codec src list"

Merge "Revert "Fix a bug in VP9Worker which leads to unit test hang.""

Merge "BITSTREAM: Handle transform size and motion vectors more logically for non-420."

Revert "Fix a bug in VP9Worker which leads to unit test hang."

The caller should reset the state instead of letting worker
to reset.

This reverts commit 34b2ce15f95ee0944ebe6d569e7a9179a7e4cc5b.

Change-Id: Idb546ea6386cffc44e98dee772900d21ab79710f

Merge "Encode_breakout code refactoring"

Merge "change to not force interp_type as SWITCHABLE"

change to not force interp_type as SWITCHABLE

Encoder still uses SWITCHABLE as default via DEFAULT_INTERP_FILTER,
but does not override the default if it is not SWITCHABLE.

Change-Id: I3c0f6653bd228381a623a026c66599b0a87d01d5

Merge "Remove unused set_mode_info function"

Merge "Fix a bug in VP9Worker which leads to unit test hang."

Encode_breakout code refactoring

Moved the encode_breakout_test out of vp9_pick_inter_mode().

Change-Id: I6966d0293ae5210a5a28b0e8debacb24d1c0d2d4

Remove unused set_mode_info function

When the frame is intra coded only, the encoder takes the RD
coding flow. Hence the function set_mode_info is not practically
in use. This commit removes it and the associated conditional
branches.

Change-Id: I1e42659ceb55b771ba712d1cdecacb446aa6460d

Fix a bug in VP9Worker which leads to unit test hang.

This fixes the hang in VP9/InvalidFileTest.ReturnCode/3
due to worker->had_error has not been reset after getting
error.

Change-Id: Ia3608225094758a2bd88f6ae4dd9dfd93bbaad27

Enable encode breakout in real time

For real time speed 7, once encode breakout is on(i.e. encoding
setting --static-thresh=1), a proper encode breakout threshold
is set to speed up the encoder.

Set --static-thresh=1, RTC set borg test showed a slight overall
psnr loss of 0.162%, but ssim gain of 0.287%. The average speedup
on RTC set is 6%, and for some clips, the speedup can be 10+%.

Change-Id: Id522d9ce779ff7c699936d13d0c47083de4afb85

Decide the partitioning threshold from the variance histogram

Before encoding a frame, calculate and store each 16x16 block's
variance of source difference between last and current frame.
Find partitioning threshold T for the frame from its variance
histogram, and then use T to make partition decisions.

Comparing with fixed 16x16 partitioning, rtc set test showed an
overall psnr gain of 3.242%, and ssim gain of 3.751%. The best
psnr gain is 8.653%.

The overall encoding speed didn't change much. It got faster for
some clips(for example, 12% speedup for vidyo1), and a little
slower for others.

Also, a minor modification was made in datarate unit test.

Change-Id: Ie290743aa3814e83607b93831b667a2a49d0932c

Merge "initialize bit buffer structure to avoid warning error"

Merge "vp8 denoiser fix: free memory of denoiser->denoiser_state."

Merge "Implemented motion compensation for VP9 denoiser"

Merge "silence unused parm warning for worker thread in loop filter"

Merge "remove unused parms from rd_pick_inter_mode_sb_seg_skip"

initialize bit buffer structure to avoid warning error

Change-Id: I38bb2801ad3f059d5e2eb6513eec92397c67abcd

vp8 denoiser fix: free memory of denoiser->denoiser_state.

Change-Id: I86451ddfa90d871e46e5b4c97794dbef65293c6c

silence unused parm warning for worker thread in loop filter

Change-Id: Id51468f99f8970b8795ce2d254344f4b8d7817d0

remove unused parms from rd_pick_inter_mode_sb_seg_skip

Change-Id: I7f989d197444d166133ad91eb23ac1033109f58d

Merge "vp9: disable postproc buffer alloc when unnecessary"

Merge "Add a test using VP9E_SET_LOSSLESS"

libs.mk: don't include x86inc.asm in codec src list

this file is an include and doesn't need to be built on its own.
fixes:
ranlib: file: libvpx_g.a(x86inc.asm.o) has no symbols

Change-Id: I89504e37ff0a4488489af7b9b7e09fb32acc4853

Add a test using VP9E_SET_LOSSLESS

Change-Id: Ia9ac079d65fbd0a134e8d69c1f4ce171fe94bf64

configure: defer x32 check until post toolchain setup

x32 would never be detected unless an explicit CC= was used
fixes:
...: -E: command not found

Change-Id: I465fd7b0979f782053bdda240ad68edbca5658e5

vp9: disable postproc buffer alloc when unnecessary

the buffer is only used in encoding and only when
CONFIG_INTERNAL_STATS or CONFIG_VP9_POSTPROC is enabled.
a future change should decouple this from the frame buffer allocation
and make it conditional based on runtime flags when the above config
options are enabled.
reduces decode heap usage by at least 12%

Change-Id: Id0b97620d4936afefa538d3aadf32106743d9caf

Merge "Revert "Revert "Revert 3 patches from Hangyu to get Chrome to build:"""

Revert "Revert "Revert 3 patches from Hangyu to get Chrome to build:""

This reverts commit b336356198b8ada50fbb59f04f11cefceaf5ff95.

This causes a hang in:
VP9/InvalidFileTest.ReturnCode/3

the change to test/user_priv_test.cc remains with a minor update

Change-Id: I4a8a272ca37ea329b0f413f0b1cd827a238bd9fd

Merge "Allow encoder to set lpf level to 0"

Merge "Added a new speed 7 in rt mode"

Merge "Add a CPU speed test with screen content."

Merge "iosbuild.sh Add arm64 support to VPX.framework."

Merge "configure.sh: Tweak default of use_x86inc for 64-bit, non-pic, and Darwin."

Merge "fix: Only do spatial SVC when there are > 1 layers"

Merge "VP9 denoiser: implemented update_frame_stats()"

Allow encoder to set lpf level to 0

As a way to speed-up rtc encoding at speed 7.

Change-Id: Ie36a010392cf7b741dc130df21a4e733622a75b7

Added a new speed 7 in rt mode

To experiment with different speed/quality compromises.

Change-Id: Ia9d4b85243554d620498a327da37c356e752b07f

Merge "[spatial svc] Remove encoding modes since we only need one mode at this time."

Merge "[spatial svc]Remove key frame quantizer settings since key frame is decided by rate control"

Merge "Verify that the ouput of q0 is lossless in cpu speed test."

Merge "Better validation of invalid files"

Add a CPU speed test with screen content.

Encoding screen content exercises various fast skip paths that are
missed by natural video content.

Change-Id: Ie359884ef9be89cbe5dda6d82f1f79360604a090

Verify that the ouput of q0 is lossless in cpu speed test.

Change-Id: Ib94ee638eb486f1368f2e3098d25c1d3d28fc265

Merge "vp8: bugfix in postproc vp8_de_noise."

Merge "Add realtime coverage to cpu speed test"

Merge "Use UV prediction when deciding to skip in for lossless."

Better validation of invalid files

This patch checks that a decoder never tries to reference frame that's
outside the range of 2x to 1/16th the size of this frame.  Any attempt
to do so causes a failure.

Change-Id: I5c98fa7bb95ac4f29146f29dd92b62fe96164e4c

vp8: bugfix in postproc vp8_de_noise.

Set the proper number of mb_rows/cols.
Also remove warnings (unused variable) when configured with temporal-denoising disabled.

Change-Id: I8abd2372394ee55295feb87a66efd294ea6989d0

Implemented motion compensation for VP9 denoiser

Change-Id: Iee21eb0ecc5a1fe2c56fb3df0cee0ead6d139ed1

fix: Only do spatial SVC when there are > 1 layers

Bug introduced in I930dced169c9d53f8044d2754a04332138347409. If
svc.number_temporal_layers == 1 and svc.number_spatial_layers == 1, the system
attempt to do spatial SVC. It no longer does that.

Change-Id: Ie6b130a72b1eea40c547c9a64447e40695f811c5