Adapt mode based rd_threshold for similar block size

The rd_thresholds are adaptively changed based on best mode tested.
It was only changed for the same block size, this commit makes the
adaptation for similar block sizes too. The commit also made minor
adjustment and code cleanups.

The impact on encoding time for _ped:
118089 ms -> 111927 ms

The impact on compression:
derf:  -0.339%
stdhd: -0.303%

Change-Id: I8817fed1102350497f2ec631849e43f753878e5d

Fix an IOC

Change-Id: I0ca6746696d81657c035b0f6523c9af370da3c95

Merge "Remove code duplication"

Merge "Simplify rd_pick_intra_sby_mode()"

Merge "invalid_file_test.cc is only for VP9 decoder"

Remove code duplication

Change-Id: I453b3e0d946951665d5919248445fc4f3222d2ad

Simplify rd_pick_intra_sby_mode()

Change-Id: Ifb0915c94c2db48827ddbd446314cb6e3155b99c

invalid_file_test.cc is only for VP9 decoder

Fix --disable-vp9 build

https://code.google.com/p/webm/issues/detail?id=857

Change-Id: I98eacab5aa4aa9a657647acadd8ce2bd1a4590c0

Merge "[spatial svc] Remove vpx_svc_parameters_t and the loop that sets it for each layer"

Merge "[spatial svc]Remove quantizers option. Use max/min quantizers for each layer."

Merge "[spatial svc] Use string for quantizers and scale-factors option in the test app"

Merge "Remove unnecessary local variable declaration"

Merge "Adaptive mode search scheduling"

Merge "Fix compile warning."

Remove unnecessary local variable declaration

This commit removes a repetitive local variable declaration in
vp9_rd_pick_inter_mode_sb.

Change-Id: I1b0afa98ff1ecbfb46e17d3d1cee95d32c4309db

Adaptive mode search scheduling

This commit enables an adaptive mode search order scheduling scheme
in the rate-distortion optimization. It changes the compression
performance by -0.433% and -0.420% for derf and stdhd respectively.
It provides speed improvement for speed 3:

bus CIF 1000 kbps
24590 b/f, 35.513 dB, 7864 ms ->
24696 b/f, 35.491 dB, 7408 ms (6% speed-up)

stockholm 720p 1000 kbps
8983 b/f, 35.078 dB, 65698 ms ->
8962 b/f, 35.054 dB, 60298 ms (8%)

old_town_cross 720p 1000 kbps
11804 b/f, 35.666 dB, 62492 ms ->
11778 b/f, 35.609 dB, 56040 ms (10%)

blue_sky 1080p 1500 kbps
57173 b/f, 36.179 dB, 77879 ms ->
57199 b/f, 36.131 dB, 69821 ms (10%)

pedestrian_area 1080p 2000 kbps
74241 b/f, 41.105 dB, 144031 ms ->
74271 b/f, 41.091 dB, 133614 ms (8%)

Change-Id: Iaad28cbc99399030fc5f9951eb5aa7fa633f320e

Fix compile warning.

warning: comparison between signed and unsigned integer expressions.

Change-Id: Ib6ee7500fe910983f290fc321ad89c0ab9989455

Merge "Remove mi_grid_* structures."

Remove mi_grid_* structures.

mi_grid_* are arrays of pointer to pointer. They save the pointers that point
to the MIs in cm->mi. But they are unnecessary and complicated. The original
goal was to remove MODE_INFO_t copy. But with an extra MODE_INFO_t pointer
inside MODE_INFO_t, same goal could be achieved.

This commit totally removes the mi_grid_* structures. But there are still
many dummy MODE_INFO_t inside cm->mi which are a waste of memory. Next commit
will do on-demand MODE_INFO_t allocation in order to save these memories.

Change-Id: I3a05cf1610679fed26e0b2eadd315a9ae91afdd6

Merge "test/tools_common.sh: Add support for dumping list of tests."

Merge "High bit-depth coefficient coding functions"

test/tools_common.sh: Add support for dumping list of tests.

Via new command line argument --list-tests.

Change-Id: I0f12d10b49c14f5f68aafd5bc45362b1ea4f361f

High bit-depth coefficient coding functions

Tokenization and Detokenization enhancements for 10/12 bit

Change-Id: I3c269ec30f8eb160ee024905638a193975237559

Merge "build/make/iosbuild.sh: Support extra configure args."

Merge "build/make/rtcd.pl: Add missing arm64 support."

build/make/iosbuild.sh: Support extra configure args.

Change-Id: I9860ac1bb0180315e26987c5fc53d814ea1f0283

Merge "rtcd: relocate 'extern "C" {' declaration"

build/make/rtcd.pl: Add missing arm64 support.

Treats arm64 the same as armv8.

Change-Id: Ia5029f7bbff251d5aa0836bcccdf20fa0a693891

Merge "vp8: Update to the adaptive denoising mode."

vp8: Update to the adaptive denoising mode.

Allow for option to apply spatial blur for temporal
denoising, under the aggressive denoising mode.

Change-Id: I41c5fdc0b6cf32d8f8d1d4236b25fa5aa406e89e

rtcd: relocate 'extern "C" {' declaration

Place after pulling in forward declarations from the codec. This fixes
compilation of the tests under vs9.

Since
10783d4 Adds high bitdepth transform functions and tests
where vp9_idct.h was added to vp9_rtcd.h the tests are pulling in
vp9_systemdependent.h, which under visual studio include intrin.h. With
VS9 these include headers which define helper classes for intel
intrinsics. When including it in the tests (via vp9_rtcd.h) __cplusplus
is defined but vp9_rtcd.h would wrap declarations in 'extern "C" {'
causing a mismatch in linkage which resulted in compilation failure.

Change-Id: I475e50198b71320e8606bc95c9454876d8799ede

Merge "Add a conditional compilation macro to VP8 unit test."

[spatial svc] Remove vpx_svc_parameters_t and the loop that sets it for each layer

vpx_svc_parameters_t contains id, resolution and min/max qp for each spatial layer.

In this change we will use extra config to send min/max qp and scaling factors, then calculate layer resolution inside encoder.

Change-Id: Ib673303266605fe803c3b067284aae5f7a25514a

Add a conditional compilation macro to VP8 unit test.

In many tests in VP8, the denoiser is disabled. By adding this
conditional comilation macro, the unit test will not be included
when denoiser is not enabled.

Change-Id: I6edec85c996acca22aacd11161c52408be2660a3

Merge "FIX: vp9_loopfilter_intrin_sse2.c"

FIX: vp9_loopfilter_intrin_sse2.c

Fixes Visual Studio build failures

Change-Id: I233719cd63b3ad0db16e2834bf1d7ea1df805880

Merge "Add unit test for VP9 denoiser."

Merge "[spatial svc] Use same golden frame for all temporal layers"

Add unit test for VP9 denoiser.

Check basic datarate targeting for a single bitrate
when the denoiser is on.

Change-Id: Iad0e664859ffeb4ae6dd5f6dfb71a121e917e3fb

[spatial svc] Use same golden frame for all temporal layers

Overhead goes down from 8% to 3% for 1080 60p

Change-Id: Idf3e5ca8712402a914a8cb79df17d3cdab63b163

[spatial svc]Remove quantizers option. Use max/min quantizers for each layer.

Change-Id: I214bc4169f6c5eaee4957cd308a74d309e999005

Merge "Adds high bitdepth convolve, interpred & scaling"

Adds high bitdepth convolve, interpred & scaling

Change-Id: Ie51c352a6b250547207cbc1ebba833a01ed053e3

Substantial reworking of code for arf and kf groups.

Substantial restructuring of the way we estimate
the rate of decay in prediction quality and determine
the arf interval and amount of boost used.

Also other changes to support moving to a lower first pass
Q which exposes some new features and allows us to better
distinguish genuinely static blocks from low motion or noisy
blocks.

Net gains now visible on all the test sets with std-hd PSNR up
1.87%. There are still some bad outlier cases but most of these
are low motion or slide show type content where the metrics
are already high at any given rate. The best + case is up by
more than 10%.

Change-Id: I18e25170053bdf3188f493ff8062f48a74515815

Merge "Improved mb_lpf_horizontal_edge_w_sse2_16() #2"

[spatial svc] Use string for quantizers and scale-factors option in the test app

1. This is to align with the ffmpeg implementation
2. Remove APIs for setting quantizers and scale-factors

Change-Id: I6e238d71db790a9fb3254baaeb61e2a5aac58f48

Improved mb_lpf_horizontal_edge_w_sse2_16() #2

The decoder performance improved up to 1% for the
test clips used.

Change-Id: I4621112bdccfba01640322facfa4ba8da8290ea5

Merge "Resolves a few gcc warnings"

Merge "vp8: common: postproc: fix signed overflow of statement of (X +c) >= X when '-Werror=strict-overflow' is set."

Resolves a few gcc warnings

clang is fine.

Change-Id: Ia4e9ff17ea3b86bc87dca35828ee7ce45bea6994

Merge "arm: Fix building vp8_mse16x16_neon.c with MSVC"

Merge "Adding high-bitdepth intra prediction functions"

Merge "Remove memset of every external frame buffer."

Merge "Speeding up decode_coeffs()."

Adding high-bitdepth intra prediction functions

Change-Id: I6f5cb101e2dc57c3d3f4d7e0ffb4ddbed027d111

Adds high bitdepth quantization functions

Adds various high bitdepth quantization functions.

Change-Id: I36fc0bf75a1bd15128ed271df8723de0ac134b0c

Merge "Use non-zero mode threshold for NEARESTMV modes"

Merge "Fix a performance regression"

arm: Fix building vp8_mse16x16_neon.c with MSVC

Use the right return values - vadd_s64 returns int64x1_t, not
a normal int64_t.

Change-Id: Ife17213087c1dfb5faaa647f804d2fd140f3a0eb

Merge "Fix ARF construction when scaling"

Speeding up decode_coeffs().

1080p decoding speedup -- 1.25%, 4K decoding speedup -- 2.5%.

Change-Id: I5f02f521cbf7758d4d1886a93bc5b074abdff03d

Merge "Move call to vp9_rc_get_second_pass_params()."

Fix a performance regression

This commit adds back sse2 or ssse3 optimized versio of a couple of
functions, fixes a ~10% performance regression.

Change-Id: I049786906e5a641224dced63c6492aec9d86d183

Fix ARF construction when scaling

The ARF frame should always be the same size as the
native resolution of the input frames.

It will be scaled to the required resolution at
encode time.

Change-Id: I0afe858129aa6ef65b1648f43476331715346896

Merge "build/make/iosbuild.sh: Be more explicit about armv7."

Use non-zero mode threshold for NEARESTMV modes

This commit makes the encoder to use non-zero mode threshold for
NEARESTMV modes. The runtime for test clips of speed 3 is reduced
by about 1%.

pedestrian 1080p 2000 kbps, 143239 ms -> 141989 ms
bus CIF 1000 kbps, 7835 ms -> 7749 ms

The compression performance change is about -0.02% for both derf
and stdhd.

Change-Id: Ib71808922c41ae2997100cb7c561f68dcebfa08e

Merge "Add ARF validation for compound inter mode check"

Merge "Remove redundant reference frame check in sub8x8 RD search"

Merge "Replace best_ref_index table fetch with best_mbmode"

Merge "Simplify the skip flag cost code"

Merge "Set the skip flag to 1 for skippable blocks"

Simplify the skip flag cost code

Code refactoring.

Change-Id: Idad53cb80497d13551a142a642f7529fc305b0bc

Set the skip flag to 1 for skippable blocks

If the partition block is skippable, which means no coefficients
for Y, U, and V planes, its skip flag is set to 1. No quality
change (verified by borg tests), and no noticeable speed change.

Change-Id: I9231f720f8dd6364384cf05aa148ca24d75450f1

Merge "vp8/vp9: neon: msvc: move the 'ifdef _MSC_VER' bit to vpx_ports/mem.h.                      fix compiling warning."

Remove memset of every external frame buffer.

Libvpx was memseting every external frame buffer before decode. This
was to work around a valgrind issue in our C loop filter. Most of
the time this was not needed and we have noticed some significant
performance loss on some platforms. Now we require the application to
zero out the buffers if it is using external frame buffers.

Change-Id: I7330d00a315e65137ed30edd5f813e8929b76242

Merge "Fix format in vp9_rd_pick_inter_mode_sub8x8"

Add ARF validation for compound inter mode check

This commit enforces ARF validation check for compound inter modes.
It avoids potential access to ARF in the encoding process if it
is not allowed.

Change-Id: I055fec946b5d19d97937dc9001e1e564923e2439

Remove redundant reference frame check in sub8x8 RD search

The valid reference frame check in sub8x8 rate-distortion
optimization search has been included in the ref_frame_skip_mask
scheme. This commit removes the later further validation checks
that are not in effect.

Change-Id: I853b477c44037d3dc0afec6cbfce08a96c597a75

VP8 encoder for ARMv8 by using NEON intrinsics 1

Add vp8_mse16x16_neon.c
- vp8_mse16x16_neon
- vp8_get4x4sse_cs_neon

Change-Id: I108952f60a9ae50613f0ce3903c2c81df19d99d0
Signed-off-by: James Yu <james.yu@linaro.org>

Replace best_ref_index table fetch with best_mbmode

This commit replaces the best_ref_index table fetch with the use
of best_mbmode in vp9_rd_pick_inter_mode_sub8x8.

Change-Id: I882ee9ee6a8c0e61befcca1f4dba6d2ea8de8f13

Merge "Visual Studio build (warning) fix"

Fix format in vp9_rd_pick_inter_mode_sub8x8

Change-Id: I9b6a74bdf003b39235f14f8b5b7f3b861f6bf131

Merge "Refactor encode_superblock function"

Move call to vp9_rc_get_second_pass_params().

Call to vp9_rc_get_second_pass_params() moved from
Pass2Encode() to earlier in vp9_get_compressed_data(),
to ensure that two pass stats and parameters are
available before decisions such as frame scaling.

Change-Id: If21537f0073919b04696a7d5e9aac78e23d76f39

Visual Studio build (warning) fix

Explicit type casting to prevent warning.

Change-Id: Ib5be4ad6d4126d88f7c67d246bb085df1e813329

Merge "Remove redundant reference frame threshold settings"

vp8/vp9: neon: msvc: move the 'ifdef _MSC_VER' bit to vpx_ports/mem.h.
                     fix compiling warning.

Change-Id: If8706a9046436f704c597e4275a6810c76ba7daa

Merge "Refactor reference frame control in sub8x8 block RD search"

Merge "Format fixes in vp9_rd_pick_inter_mode_sb"

Merge "Remove unused best_inter_rd variable"

Merge "Remove unused speed feature"

Merge "Add a note for enum values of MV_REFERENCE_FRAME"

vp8: common: postproc: fix signed overflow of statement of (X +c) >= X when '-Werror=strict-overflow' is set.

Change-Id: I2f78417cc100973c732426f7b6bd10d7304a1a5f

Merge "Change the control function of VP9 denoiser."

Merge "Use bigdia search with pruned subpel search"

Change the control function of VP9 denoiser.

Change from VP8E_SET_NOISE_SENSITIVITY to VP9E_SET_NOISE_SENSITIVITY

Change-Id: Ia210a7029b26924e30973f0f9798a338e0412407

Merge "[spatial svc] Remove useless APIs and variables"

Merge "Remove unused vp8_strict_quantize"

Merge "Remove unused vp8 quantize functions"

Refactor encode_superblock function

The code covers both x->skip=0 & x->skip=1 cases.

Change-Id: I09745c10e5994dc700ae4c01b4b62979cdaf3306