Merge "Fixed calling of highbd transform." into highbitdepth

Merge "Tidy up of highbitdepth loopfilter and convolution" into highbitdepth

Tidy up of highbitdepth loopfilter and convolution

Change-Id: I65531cc55d3d6949e164e2e26f92ee44a1921f7e

Fixed calling of highbd transform.

This patch does not change behaviour because
vp9_fwht4x4 is identical to vp9_highbd_fwht4x4,
but it becomes important when accelerations are made
to vp9_highbd_fwht4x4 in a later patch.

Change-Id: I2b790316cdd498727c4951a9e591edb291de3ac8

Merge "Added highbitdepth sse2 SAD acceleration and tests" into highbitdepth

Added highbitdepth sse2 SAD acceleration and tests

Change-Id: I9f09e404e3136951e5cc15bf40b915c1fe10b620

Merge "Add highbitdepth function for vp9_avg_8x8" into highbitdepth

Add highbitdepth function for vp9_avg_8x8

Change-Id: I6903e4e4cb57d90590725c8a1c64c23da7ae65e8

Fix in bit-shift operation for highbitdepth decode

Fixes a bug introduced in a previous refactoring patch.

Change-Id: I243e74637cfd7a997c7a1fef03b06c290dd0dee6

Merge 'origin/master' into highbitdepth

Conflicts:
examples/vp9_spatial_svc_encoder.c
examples/vpx_temporal_svc_encoder.c
test/convolve_test.cc
test/dct16x16_test.cc
test/dct32x32_test.cc
test/fdct4x4_test.cc
test/fdct8x8_test.cc
test/lpf_8_test.cc
test/partial_idct_test.cc
test/test.mk
test/vp9_intrapred_test.cc
tools_common.c
vp8/vp8_cx_iface.c
vp9/common/vp9_alloccommon.c
vp9/common/vp9_common.h
vp9/common/vp9_convolve.c
vp9/common/vp9_convolve.h
vp9/common/vp9_entropy.c
vp9/common/vp9_entropy.h
vp9/common/vp9_idct.c
vp9/common/vp9_idct.h
vp9/common/vp9_loopfilter.c
vp9/common/vp9_loopfilter_filters.c
vp9/common/vp9_onyxc_int.h
vp9/common/vp9_postproc.c
vp9/common/vp9_quant_common.c
vp9/common/vp9_quant_common.h
vp9/common/vp9_reconinter.c
vp9/common/vp9_reconinter.h
vp9/common/vp9_reconintra.c
vp9/common/vp9_rtcd_defs.pl
vp9/common/vp9_scale.c
vp9/common/vp9_scale.h
vp9/common/x86/vp9_asm_stubs.c
vp9/common/x86/vp9_high_intrapred_sse2.asm
vp9/common/x86/vp9_high_loopfilter_intrin_sse2.c
vp9/common/x86/vp9_high_subpixel_8t_sse2.asm
vp9/common/x86/vp9_high_subpixel_bilinear_sse2.asm
vp9/decoder/vp9_decodeframe.c
vp9/decoder/vp9_detokenize.c
vp9/encoder/vp9_aq_complexity.c
vp9/encoder/vp9_aq_cyclicrefresh.c
vp9/encoder/vp9_aq_variance.c
vp9/encoder/vp9_bitstream.c
vp9/encoder/vp9_block.h
vp9/encoder/vp9_context_tree.h
vp9/encoder/vp9_dct.c
vp9/encoder/vp9_encodeframe.c
vp9/encoder/vp9_encodemb.c
vp9/encoder/vp9_encoder.c
vp9/encoder/vp9_encoder.h
vp9/encoder/vp9_extend.c
vp9/encoder/vp9_firstpass.c
vp9/encoder/vp9_lookahead.c
vp9/encoder/vp9_lookahead.h
vp9/encoder/vp9_mcomp.c
vp9/encoder/vp9_picklpf.c
vp9/encoder/vp9_pickmode.c
vp9/encoder/vp9_quantize.c
vp9/encoder/vp9_quantize.h
vp9/encoder/vp9_ratectrl.c
vp9/encoder/vp9_rd.c
vp9/encoder/vp9_rdopt.c
vp9/encoder/vp9_resize.c
vp9/encoder/vp9_resize.h
vp9/encoder/vp9_sad.c
vp9/encoder/vp9_ssim.c
vp9/encoder/vp9_ssim.h
vp9/encoder/vp9_temporal_filter.c
vp9/encoder/vp9_tokenize.c
vp9/encoder/vp9_tokenize.h
vp9/encoder/vp9_variance.c
vp9/encoder/vp9_variance.h
vp9/vp9_common.mk
vp9/vp9_cx_iface.c
vp9/vp9_dx_iface.c
vp9/vp9_iface_common.h
vpx/src/svc_encodeframe.c
vpx/src/vpx_image.c
vpx/vp8dx.h
vpx/vpx_codec.h
vpx/vpx_encoder.h
vpx/vpx_image.h
vpx_mem/vpx_mem.c
vpx_mem/vpx_mem.h
vpx_scale/generic/yv12config.c
vpx_scale/generic/yv12extend.c
vpx_scale/yv12config.h
vpxdec.c
vpxenc.c

Change-Id: I699c833f7da96569d2581af7e045ce523bf72d3b

Merge "Resolves some lint errors"

Merge "Add a seg map preservation test vector."

Resolves some lint errors

And also fixes some style consistency issues.

Change-Id: I3dc6d44e17d2d6075dc9b02c4255a7395046c5e0

Merge "Use pre increment."

Use pre increment.

Change-Id: I016b4e77d8268e189473f4c382603afe1ae1750f

Add a seg map preservation test vector.

Add a test vector to show the cases where segmentation map is preserved
from frome to frame as outlined in the inquiry in issue 761.

Change-Id: I630c6aba27d0d0b109cc7fd7c6fcd008222a0cf3

Merge "Add adaptation option for VBR."

Merge "args.h: add arg_parse_enum prototype"

Merge "vp9_spatial_svc_encoder: fix -bit-depth arg parsing"

Merge "yv12config: fix highbitdepth build"

Add adaptation option for VBR.

Allow min and maxQ to creep when the undershoot
or overshoot exceeds thresholds controlled by the
command line under_shoot_pct and over_shoot_pct
values.

Default is 100%,100% which ~disables adaptation.

Derf results for example undershoot% / overshoot%:-

Head:- Mean abs (%rate error) = 14.4%

This check in:-
25%/25% - Mean abs (%rate error) = 6.7%
                  PSNR hit -1% SSIM -0.1%

5% / 5%  - Mean abs (%rate error) = 2.2%
                 PSNR hit -3.3% SSIM - 1.1%

Most of the remaining error and most of the quality hit is
at extreme data rates. The adaptation code still has an
exception for material that is in effect static so that we
don't over adjust and over spend on YT slide show type
content.

(Rebase of If25a2449a415449c150acff23df713e9598d64c9
to resolve a auto-merge error)

Change-Id: Iec4e1613ef0d067454751d8220edb7058dfbd816

Fix ActiveMapTest valgrind warning

This fixes a valgrind warning in the ActiveMapTest unit test
reported in issue 870.

Change-Id: Idf172ab0244ebefe630c3577e649bc9ba7c43d10

args.h: add arg_parse_enum prototype

Change-Id: I64d6e7c2d3f76528ab409ce381267fc5cef13ab1

vp9_spatial_svc_encoder: fix -bit-depth arg parsing

use arg_parse_enum_or_int like vpxenc. this also fixes a warning as
arg_parse_enum is not currently declared in args.h.

Change-Id: If9ce258d6adb6286eb86f529083929d5fe2b3a56

yv12config: fix highbitdepth build

Change-Id: Ie8a4caae19fb514d5bd22e0ae35ca0edcd3484ae

Revert "Add adaptation option for VBR."

This reverts commit 869d4ca51957614dcf5093ebb9e322cc8a8405ca.

This breaks the build via conflict with
e18edd5eb651f9b7563cbd829744807402bfe0d8.

Change-Id: If544b99e367a449452834eb8cce600f58c34ec0d

Merge "Optimize the code to set the refernce frame right after reading the header."

Merge "Correct the code format."

Merge "Add adaptation option for VBR."

Merge "vp9/choose_partitioning: add missing clear_system_state"

vp9/choose_partitioning: add missing clear_system_state

set_vt_partitioning does double math

Change-Id: I8e9d73d5c89b937a5326abf04164d24d9d88c5ef

Merge changes Ib5030373,Id614cfe6

* changes:
  test-data.mk: add some sectional comments
  add test-data.mk

Add adaptation option for VBR.

Allow min and maxQ to creep when the undershoot
or overshoot exceeds thresholds controlled by the
command line under_shoot_pct and over_shoot_pct
values.

Default is 100%,100% which ~disables adaptation.

Derf results for example undershoot% / overshoot%:-

Head:- Mean abs (%rate error) = 14.4%

This check in:-
25%/25% - Mean abs (%rate error) = 6.7%
                  PSNR hit -1% SSIM -0.1%

5% / 5%  - Mean abs (%rate error) = 2.2%
                 PSNR hit -3.3% SSIM - 1.1%

Most of the remaining error and most of the quality hit is
at extreme data rates. The adaptation code still has an
exception for material that is in effect static so that we
don't over adjust and over spend on YT slide show type
content.

Change-Id: If25a2449a415449c150acff23df713e9598d64c9

vp9_avg_intrin_sse2: correct intrinsics include

immintrin.h -> emmintrin.h
fixes build where newer intrinsics are unavailable

Change-Id: I79311b39bfa782fc2abeb45884ecb417050cb9f8

Correct the code format.

Change-Id: If2de420f8123a4e8bf635dd29205dd74ee174eee

Optimize the code to set the refernce frame right after reading the header.

Change-Id: I495cf4a366e06e3220ed132500b1ba1c8448f708

Merge "Remove unnecessary code."

Merge "Remove unnecessary scale check in set_ref."

Merge "Rename highbitdepth functions to use highbd prefix"

Remove unnecessary code.

Function will jump to error handler when ref buffer is corrupted.
So "xd->corrupted |= ref_buffer->buf->corrupted;" is useless.

Change-Id: I35353a0637ad0dbb682454e040ef69fa68280bfa

Rename highbitdepth functions to use highbd prefix

Uses highbd_ prefix convention consistently.

Change-Id: I58f7f799a7ff8e32701bcd71c955bcf1cdd4581e

Remove unnecessary scale check in set_ref.

Scale check has been done in read_inter_block_mode_info.

Change-Id: I6c86f93bd579109ed30ff13a04a30e35f5ae6fc5

Merge "Remove sub8x8 block index from rd_pick_partition argument"

Merge "Subpel search cleanups and enhancements"

Merge "Move the high freq coeff check outside store_coding_context"

Remove sub8x8 block index from rd_pick_partition argument

This parameter is deprecated. Its function is replaced with
other explicit condition check.

Change-Id: I61337e350ba8ca9eb50382db8b4d4acbf45cb7eb

Merge "vp8: Suppress denoising with respect to old reference frames."

Merge "Fix src frame buffer copy and extend"

test-data.mk: add some sectional comments

+ sort

Change-Id: Ib503037376368cec0cf57cbedeb215ab0eac8304

add test-data.mk

splits the test sources (test.mk) and the test data.

Change-Id: Id614cfe68bfbc09b0e429a37a21ec7a9dcdfadc6

Merge "set_vt_partitioning: fix type conversion warning"

set_vt_partitioning: fix type conversion warning

double -> int64
+ make threshold_multiplier an int

Change-Id: I6d3607fdf13d670f57c9d9b04a80acb2be1346a0

vp9_rtcd_defs: fix vp9_avg_8x8 declaration

vp9_avg_8x8 does not depend on x86inc, fixes 32-bit OS X build

Change-Id: I709b874ea84bf57c8cdb5ac7d43eecc6b8c1a2dd

Subpel search cleanups and enhancements

- Some fixes to surface fit.
- Returns variance function as cost rather than sad in the
  pattern search and diamond search functions. Only
  vp9_pattern_search_sad function used in bigdia search
  uses sad as integer 1-away costs.
- Deploys SUBPEL_TREE_PRUNED_MORE for speed 4+.

Results:
derf [Speed 3]: About +0.036% in coding efficiency without any
discernible speed loss.
derf [Speed 4]: About 2-3% faster at -0.199% loss in coding efficiency.
derf [Speed 5]: About 3-4% faster at -0.149% loss in coding efficiency.

Change-Id: I8462f94f6adb46966ca964f2bd0400977357fd63

Merge "Allow mode search breakout at very low prediction errors"

Allow mode search breakout at very low prediction errors

In model_rd_for_sb function, the spatial domain SSE and variance
are checked to see if transform coefficients are quantized to 0.
Besides that, this patch adds another set of thresholds that are
much more strict. These thresholds are used to conduct a partition
block level check to measure if all its TX blocks are skippable
for YUV planes. If it is true, x->skip is set for this partition
block, and thus its mode search is terminated.

This speeds up the encoding at very low prediction error case,
such as screen sharing application. This patch covers what
rd_encode_breakout_test() does, so that function is removed.

Borg test at speed 3 shows:
For stdhd set, psnr: +0.008%, ssim: +0.014%;
For derf set, psnr: +0.018%, ssim: +0.025%.
No noticeable speed change.

Change-Id: I4e5f15cf10016a282a68e35175ff854b28195944

Move the high freq coeff check outside store_coding_context

This fixes valgrind message issue 870.

Change-Id: Ibbc2481923a2995029ab05de30c9e8a6e9f0f9a8

Use local variable in vp9_rd_pick_inter_mode_sb

Change-Id: Ie35a965a6b8de536ccaf61ff61498620d22db205

Merge "Clean up header files in vp9_blockd.h and related files"

Merge "Use #define statement for MAX_MB_PLANE"

vp8: Suppress denoising with respect to old reference frames.

If the GOLDEN or ALTREF frame was last updated > x frames in the past,
don't use them for denoising (only consider LAST). Using an old reference
frame for denoising, e.g., if it is a long-term reference or the last key frame,
can cause some visible artifacts, in particular in the aggressive denoising mode.

Change-Id: I239c9fbb092c36cba7e95328f1fa67a58d6a7ed9

Fixes naming bug from previous highbitdepth patch

Change-Id: Ife939930309ceea730dd5df594b8f36e6644bf36

Merge "Refactoring of highbitdepth bitshift operations"

Merge "Add unit test for VP8 denoiser."

Fix src frame buffer copy and extend

For input source with size that is not multiple of 8, the size is
rounded to 8 and saved in width or height, the original source sizes
are saved in crop_width and crop_height. This commit corrects the
computation of bottom and right extension amounts to use the orignal
sizes, hence crop_width and crop_height.

In addition, this commit also adds the missed initialization for
uv_crop_width and uv_crop_height.

This addresses issue #834

Change-Id: I084543ca7645a4964b88f7cf8ff668f517d3a39b

Refactoring of highbitdepth bitshift operations

Moves the high bitdepth bit-shift operations to tools_common.c

Change-Id: Ifab91574362609cd224d2d6bae5fde00652eb3e4

Add unit test for VP8 denoiser.

The unit test is to check the bitexactness of SSE2 code with C code.

Change-Id: I13cc08a557b02357e5d6c2db7a49e93ce0d8e16f

Merge "experimental : partition using 1/8 x 1/8 image"

Merge "Force better lower quantizer keyframe in case of high quantizer."

Revert "Change the y4m buffer allocation size"

This reverts commit 72ef1949388c4c0d82769ef06c6db0195b124b13.

Change-Id: Ic1906bcc6da05d2e6529152b92df809c8e5a2406

Merge "Improve two pass VBR accuracy."

Merge "Two pass rc changes."

experimental : partition using 1/8 x 1/8 image

The concept:

There's too much noise in source pixels for variance and at low bitrate
the reconstructed looks nothing like the source so we have problems
getting good partitionings with either.   This skirts the issue by using
a box blur scaled down version for variance calculations.  To compare
against source_var_ moved keyframe to be rd based like source_var.

Change-Id: Ie3babdbfadae324b7b5a76bea192893af27f0624

Force better lower quantizer keyframe in case of high quantizer.

Change-Id: Ie69a164bc166b6a8819777038d65a7d9f9c3361f

Merge "Remove extra empty line"

Merge "Remove vp9_blockd.h from vp9_common_data.c"

Merge "Replace mi_width_log2() with mi_width_log2_lookup table"

Merge "Take out repeated block width/height lookup functions"

Clean up header files in vp9_blockd.h and related files

This commit breaks the overly broad header files into more
targeted and smaller ones, to help better structure the system
layout.

Change-Id: I7b24559d3ea6e582cf5d9bbe8f71459f9824d71b

Merge "Fix skip_txfm issue in rdopt code"

Use #define statement for MAX_MB_PLANE

Change-Id: I3a7f83ab1dbfcedc8a82fe798c2fa30dd9c7d696

Remove extra empty line

Change-Id: I6f2865bb8ba9295f5c45a4cad065aecbe1e63c32

Merge "Move inter filter defs to vp9_filter.h"

Merge "Reduce the scope of the header file used in vp9_context_tree.h"

Merge "Remove redundant header file from vp9_encoder.h"

Remove vp9_blockd.h from vp9_common_data.c

The basic data defs should be above block operation level.

Change-Id: I7dd9836d01120ab75e0c472baac9f15495ed0db5

Fix skip_txfm issue in rdopt code

Fixed an encoder crash. Set skip_txfm to 0 for cases that skip_txfm
isn't calculated. Put memcpy of skip_txfm at right place.

Change-Id: Ib3b6afc1b251a85b2a853c8138fb3393f48cfef6

Replace mi_width_log2() with mi_width_log2_lookup table

Change-Id: If0ea98aa139d14d40cd924114e18396aff36b5a5

Merge "Add range checking for decoded coefficients."

Take out repeated block width/height lookup functions

The functions b_width_log2 and b_height_log2 only do direct
table fetch. This commit unifies such use cases by using the
table directly and removes these functions.

Change-Id: I3103fc6ba959c1182886a2799d21b8b77c8a7b6b

Move inter filter defs to vp9_filter.h

Add comments on the use case of these definitions. Further reduce
the scope of header file in vp9_context_tree.h.

Change-Id: Ic4a7638e838d0ac441b64abfc56e57354c059d75

Merge "Resolves some static analysis / undefined warnings"

Add range checking for decoded coefficients.

The coefficient range checking is enabled when configured with
--enable-debug --enable-coefficient-range-checking
for vpxdec to detect ill-formed input stream. This addresses the
problem raised by issue #792.

Change-Id: I3f9ea541de4dc742dd64389d6c5f543fb1c4f052

Resolves some static analysis / undefined warnings

Also fixes a case of distortion becoming negative and messing
up the RDCOST computation.

Change-Id: Id345af9e8dfff31ade622be5756e51f2cdface53

Reduce the scope of the header file used in vp9_context_tree.h

Change-Id: I264ee35044a5973c7725daba7af870968353a3c1

Merge "Add SSE2 code and unit test for VP9 denoiser."

Remove redundant header file from vp9_encoder.h

Change-Id: Ia212390cf8d36db5436bb0f0e1b696f70066341a

Fix eobs buffer pointer mis-use

This commit fixes a buffer pointer mis-use in store_coding_context.
The compression performance for stdhd set of speed 3 is improved by
0.097%. It fixes issue 869.

Change-Id: Idc59e22035eaf39f7133ca04174894374d647ff7

Add SSE2 code and unit test for VP9 denoiser.

This SSE2 is based on VP8 denoiser's SSE2 code. In VP8, there are
only 16x16 blocks in denoiser, while in VP9, there are 13 different
block sizes.

By adding this SSE2 code, the improvement of encoder speed is around
20%(using C code vs using SSE2 code), vary for different clips.

The unit test for VP9 denoiser is to confirm that the SSE2 code is
bit-exact with the C code. The unit test covers all block size.

Change-Id: Ic8d8ac26db4ea40a5f146b5678a065af07eaaa3d

Add range check in inverse ADST 16x16

Bit-stream clarification related to Issue 868.

Change-Id: I92a7bc5b7782c9ea5c3f6cceec761742183c9514