Refactor reference frame control in sub8x8 block RD search

This commit unifies the reference frame control in the rate-
distortion optimization search loop of sub8x8 block size to remove
the control dependency on mode search order.

Change-Id: I3a174099f71a7cc176ede9fd60e2374243ae9232

Format fixes in vp9_rd_pick_inter_mode_sb

Change-Id: Ie45687405dcaa34ba465dce2aa14f76017d3a794

Remove unused best_inter_rd variable

The variable best_inter_rd is effectively not in use in the rate-
distortion mode search loops of both regular block sizes and sub8x8
block sizes.

Change-Id: I178f909f8c9629772e13adc6257908653b2adf31

Remove unused speed feature

The speed feature that skips compound inter prediction modes was
subsumed by other speed features and effectively was not in use.
This commit removes it.

Change-Id: I22b0c71a8ddd15d93b25d86fa63a1dce2ba6a1a9

Add a note for enum values of MV_REFERENCE_FRAME

Change-Id: Ifaf6738f26e86ded6eb6ea1465bad7a229612999

Unify intra mode mask into mode_skip_mask scheme

Integrate intra mode mask speed feature with the mode_skip_mask
scheme. Move it outside the mode search loop in the
vp9_rd_pick_inter_mode_sb function.

Change-Id: I7738fea749bfdc08ad05d7f2524feb8ff67568d9

Remove inter_mode_mask from rate-distortion search loop

This speed feature is used in real-time setting only. Remove the
related condition check in the rate-distortion optimization search
loop.

Change-Id: Iaacc1e268214634e6f95c5048c28a60cec6c42fc

Move intra block size skip outside mode search loop

Unify this speed feature in the ref_frame_skip_mask scheme.

Change-Id: I7ea5646da02d3ea643680c22d50dabd448d55a27

Fix format in vp9_rd_pick_inter_mode_sub8x8

Change-Id: I0da29c858c6c1eb5ef07cee8f599329f5a002da9

Move overlay frame speed feature setting out of mode search loop

Refactor overlay frame speed-up related function. Make it unified
with the ref_frame_skip_mask system and Move it out of the mode
search loop.

Change-Id: I0dde9baf44354f6ba00b4679cba02fa6a30c7316

Refactor to remove speed feature dependency on mode search order

This commit refactor the rate-distortion optimization search for
regular block sizes to remove the speed feature dependency on mode
search order.

Change-Id: Ied033ee484c2957e17baa7b6450b720fe7dd0e7d

Fix a bug in vp9_rd_pick_inter_mode_sb

This commit fixes a bug related to skipping intra mode checking, by
using a separate variable to store the best prediction error from
inter mode. It avoids unintentionally overwriting intra mode
rate-distortion cost, and hence affecting other speed features.

Change-Id: I99e12993339c84c8b4f597996b372012e5858fae

Remove redundant ref frame pointer assignment

Assigning selected reference frame pointer is done in the
encode_superblock function. No need to do this at the end of
rate-distortion optimization search.

Change-Id: I33fcede0fd304b4a4c4deef2d126d79546a9c070

Remove dependency of intra mode search skip check on mode order

This commit refactors the vp9_rd_pick_inter_mode_sb function to
remove the intra mode early termination dependency on the mode
search order.

Change-Id: If6ac49aa7c530c7b9a5bd31b0ab84db83e192bec

Replace best_mode_index table retrieve with fetching best_mbmode

This commit allows the encoder to find current best prediction mode
state using best_mbmode, instead of fetching from the static mode
search table via best_mode_index.

Change-Id: Ibefeab83aed33a49c2be03e83f09153856ca4271

Merge "vp8: Updates for adaptive denoiser mode."

vp8: Updates for adaptive denoiser mode.

Add qp/bitrate condition, update some settings.

Change-Id: I1af0f102823a886393be063ad9d17d7564753cc7

Move vp8_variance_halfpixvar16x16_*_neon definitions

These functions moved from 'neon_asm' to 'neon' in
9293d267d22def752366c9512be98f2d51fd2c15

Change-Id: I9cb5626c3eec96876a73fb18f2bfc982a5858edb

Merge changes I4c74dcab,Ifbfc1422,I2450b485,Ibdb07f6d,I3737772f,Ic3be55ed

* changes:
  vp9_pick_inter_mode: normalize some types
  vp9_pick_inter_mode: cosmetics: localize var. defs
  vp9_pick_inter_mode: cosmetics: add const
  vp9_pick_inter_mode: cosmetics: fix indent
  vp9_pickmode: move PRED_BUFFER definition to .c
  vp9_pickmode: make vp9_pick_inter_mode() void

Merge "No longer use use_lastframe_partitioning speed feature"

Fix VS build issue.

Compile fails when CONFIG_INTERNAL_STATS
flag is set.

Change-Id: Iba7701c058169ca3fc0b9008619ac55a1fe1a8b6

Merge "[spatial svc]Add layer bitrates options and clean up parsing options from string"

Merge "Fixing Mac OS build."

Merge "vp8 encoder: remove vp8_yv12_copy_partial_frame_neon"

Merge "Fix a visual studio warning"

vp8 encoder: remove vp8_yv12_copy_partial_frame_neon

Use generic C implementation instead of neon-specific code

Change-Id: Ib322b4ece9cdbd4de76a9eed3d2e9fd1d8542406

Fixing Mac OS build.

Change-Id: Ifae8906185a868a07685eb7a7da2484af95e70a7

Merge "Enable adaptive motion search for ARF coding"

Merge "Replacing vp9_get_mb_ss_sse2 asm implementation with intrinsics."

libyuv: cherry-pick MSVC arm build fix

Issue 24479004: Fix building with MSVC for arm
https://webrtc-codereview.appspot.com/24479004/

Change-Id: I758b33a21f46e46af6e58d83b7c045262ac9c7d9

Replacing vp9_get_mb_ss_sse2 asm implementation with intrinsics.

Change-Id: Ib4f5dd733eb2939b108070a01e83da5d9990bac0

vp9_pick_inter_mode: normalize some types

Change-Id: I4c74dcab6358817f03d3bc4d526006d241f0c10e

vp9_pick_inter_mode: cosmetics: localize var. defs

Change-Id: Ifbfc142291697a1847ef85ced0b0eb4d6dab161e

vp9_pick_inter_mode: cosmetics: add const

Change-Id: I2450b4856e48dbc4d5b938b2edcea0704f756c8e

vp9_pick_inter_mode: cosmetics: fix indent

+ delete a dead comment

Change-Id: Ibdb07f6dbdb30fc7888f6115ddc326fcec1157a7

vp9_pickmode: move PRED_BUFFER definition to .c

Change-Id: I3737772fe53f9885c82e2ac4c1af478ab951c16c

vp9_pickmode: make vp9_pick_inter_mode() void

the previous return value was constant and unused.

Change-Id: Ic3be55edb4a884448c7bb07977a80dfb58b7b940

Merge "Removing postproc mmx code."

No longer use use_lastframe_partitioning speed feature

The speedup in rd_pick_partition() function makes it possible
to drop use_lastframe_partitioning feature. By doing that, we
achieve good PSNR gain with small speed loss. Also, this makes
encoding loop less complicated. The code cleanup patch will
follow.

Borg tests showed:
1. At speed 2,
   stdhd set: 0.201% PSNR gain, 0.133% SSIM gain;
   derf set:  0.262% PSNR gain, 0.276% SSIM gain.
2. At speed 3,
   stdhd set: 0.139% PSNR gain, 0.109% SSIM gain;
   derf set:  0.447% PSNR gain, 0.442% SSIM gain.

The average speed loss over selected test clips is within 1%
with the worst case of 4%.

Change-Id: Icfd2ded7869372b585a6972855d933b3d0280d90

Merge "Correct the mode decisions in special cases"

[spatial svc]Add layer bitrates options and clean up parsing options from string

Change-Id: I6e8d3f08c8a8ce3555a498feba471ba9fec411c6

Merge "Initializing intra modes without vpx_once()."

Merge changes I7b9f40dc,I76e74f2e

* changes:
  vp9: correct context buffer resize check
  vp9: fail decode if block/frame refs are corrupt

Correct the mode decisions in special cases

The rate costs calculated for inter modes are not precise in some
cases, which causes NEWMV is chosen instead of NEARESTMV, NEARMV,
and ZEROMV. This patch added checks for these cases, and corrected
the mode decisions.

Borg tests at speed 3 showed:
1. stdhd set: 0.102% PSNR gain and 0.088% SSIM gain.
2. derf set:  0.147% PSNR gain and 0.132% SSIM gain.
No speed change.

Change-Id: I35d17684b89ad4734fb610942d707899146426db

Merge "fix x86-darwin* build"

Merge "vp9: skip loopfilter when the frame is corrupt"

Removing postproc mmx code.

Removed functions:
* vp9_post_proc_down_and_across_mmx
* vp9_mbpost_proc_down_mmx
* vp9_plane_add_noise_mmx

They all have sse2 equivalent.

Change-Id: I59c1fac12b7c96ca4538d455e4400c2b7875feff

Merge "Adding temp cpi var."

vp8 common: change 'HAVE_NEON_ASM' to 'HAVE_NEON' for compiling functions of NEON intrinsics.

Change-Id: I975e5eac16f8b623ff589f0ec072cdaff2183b04

fix x86-darwin* build

vp9_variance_sse2.c contains a mix of intrinsics and references to
assembly which uses x86inc.asm; it's conditionally included as a result.

Change-Id: I254451483a65881c0b8e18e27bf0c3ddef60c4ec

bilinearpredict_neon: fix type conversion warnings

make bifilter4_coeff[][] uint8_t, no values exceed this range and
they're loaded with vdup_n_u8().

Change-Id: I921983e9edd828d29820e40ac30a7801dbe0fb4f

vp9: correct context buffer resize check

allocations within vp9_alloc_context_buffers() rely on mi_rows/mi_cols
individually, use those to determine whether to realloc rather than
stride and stride * rows. this fixes a crash with some fuzzed files for
invalid accesses into last_frame_seg_map and above_context.

Change-Id: I7b9f40dcf170d443890f3bd2acd285507943c7d4

vp9: fail decode if block/frame refs are corrupt

proceeding using a corrupt (incompletely decoded) frame reference may
lead to incorrect assumptions about allocation sizes leading to a crash.

Change-Id: I76e74f2e1be127c2e2c7e1174bb3307497dfd23d

Merge "Removing sz member from vpx_codec_priv. "

Merge "Removing unused function prototypes."

Fix a visual studio warning

Change-Id: I7f935e61c8c0ade7893a5212701f07bb346d78cb

Merge "Map motion magnitude in VP9 denoiser."

Enable adaptive motion search for ARF coding

This commit turns on adaptive motion search for ARF coding, in
addition to other normal inter frame coding. It improves the
average compression efficiency:

stdhd 0.1%
derf  0.04%

For the test sequences, the speed 3 runtime is reduced:

pedestrian 1080p 2000 kbps, 149932 ms -> 144580 ms, (3.3% speed-up)
bus CIF 1000 kbps, 8050 ms -> 7895 ms, (1.9%)
highway CIF 100 bkps, 45033 ms -> 44078 ms, (2.2%)

Change-Id: I5228565b609f99e8ae04f6140a2bf2b64a831d21

Merge "Speed up compound inter prediction mode check"

Merge "Update the condition when COPY_BLOCK is chosen."

Merge "Removing local set_speed_features() function."

Map motion magnitude in VP9 denoiser.

This is to keep the same with VP8 denoiser.
If motion magnitude is small,
make denoiser more aggressive.

Change-Id: I942a6e2f2ed9aec6f0c4c1f9e5fa47066cadcc0c

Adding temp cpi var.

Change-Id: Ifa3c1cc2317c1bc21d1042b9662b35056d1e9ed0

Removing sz member from vpx_codec_priv.

Change-Id: I811526a9ee9f237604f72abe7fc677e39e0f457f

Update the condition when COPY_BLOCK is chosen.

The change is just to keep the condition the same with VP8.

Change-Id: I9662b40996126605945dd853c0cbe8916c1ce578

Merge "Actually resetting random generator for all variance test cases."

Removing unused function prototypes.

Change-Id: Ia5e383e2cf18052f6f1eacf8b9495ab8e4d58878

Merge "Fix a bug in VP9 denoiser."

Merge "Adding sse2 variant for vp9_mse{8x8, 8x16, 16x8}."

Actually resetting random generator for all variance test cases.

Calling Reset(int) method instead of overloaded operator()(int).
Adding underscore at the end of class member name.

Change-Id: I01934e7bc056d4b594e5d05d693328febd34ac3c

Fix a bug in VP9 denoiser.

When the first try of denoising turns out to be too much,
we will use a softer filter by adopting an adjustment to
make the result closer to original pixel (as in VP8 denoiser).
The old code made the adjustment in the wrong direction.

Change-Id: I84e28fa9e01eef47c5a37d5a2e6d3d378a06786b

Merge "arm: Fix building vp8_subpixelvariance_neon.c with MSVC"

Revert "Revert "VP8 for ARMv8 by using NEON intrinsics 10""

This reverts commit 677fb5123e0ece1d6c30be9d0282e1e1f594a56d

Compiles with 4.6.

Change-Id: I7f87048911b6bc28a61741d95501fa45ee97b819

vp8 common: change 'HAVE_NEON_ASM' to 'HAVE_NEON' for compiling idct_blk_neon.c.

Change-Id: Ib89107fb824b5fe58afef6841104d5a27b2e0f2d

arm: Fix building vp8_subpixelvariance_neon.c with MSVC

Use the right return values - vget_low_s64 returns int64x1_t, not
a normal int64_t.

Also make __builtin_prefetch a no-op on MSVC for this file.

Change-Id: I4d2fce01d0ba106b98d3d53b137803119c2c2c08

Merge "Consistent allocation of vpx_codec_alg_priv_t."

Adding sse2 variant for vp9_mse{8x8, 8x16, 16x8}.

Change-Id: I6786d25ce4f32b8d8912f2d239a45ca15b310c4b

Merge "Replacing asm 16x16 variance calculation with intrinsics."

Merge "Small cleanup: reusing existing code."

Merge "Add a more complex SEG_LVL_SKIP test vector."

Speed up compound inter prediction mode check

This commit allows the encoder to store outcomes of single reference
frame modes and compares them to decide if the inter prediction
filter, forward transform, and quantization can be skipped.

The compression performance of speed 3 is down
derf  -0.364%
stdhd -0.198%

For test sequences, the speed 3 runtime is reduced
highway CIF 100 kbps, 51976 ms -> 45033 ms, 13% speed-up
stockholm 720p 1000 kbps, 71826 ms -> 67838 ms, 5.5% speed-up
pedestrian 1080p 2000 kbps, 154924 ms -> 150702 ms, 2.6% speed-up

Change-Id: I5aa26f918d2b4b5197a2c0afa2779319f1c88e44

Add a more complex SEG_LVL_SKIP test vector.

This file changes the segmentation map, deactivates the map, and
reactivates the map.

Change-Id: I1c8b8949887257b9f4c49a1a9ba9a7c74666ef2e

Merge "Change last_partition_redo_frequency for speed 3"

Merge "Remove redundant code"

Merge "Make process_denoise_mode_change function cond-compiled."

Neon version of vp8_build_intra_predictors_mby_s() and

vp8_build_intra_predictors_mbuv_s().

This patch replaces the assembly version with an intrinsic
version.

On a Nexus 7, vpxenc (in realtime mode, speed -12)
reported a performance improvement of ~2.6%.

Change-Id: I9ef65bad929450c0215253fdae1c16c8b4a8f26f

VP8 for ARMv8 by using NEON intrinsics 17

Add vp8_subpixelvariance_neon.c
- vp8_sub_pixel_variance16x16_neon_func
- vp8_variance_halfpixvar16x16_h_neon
- vp8_variance_halfpixvar16x16_v_neon
- vp8_variance_halfpixvar16x16_hv_neon
- vp8_sub_pixel_variance8x8_neon

Change-Id: I3e5d85b2eafc26be0eef6a777789b80e4579257b
Signed-off-by: James Yu <james.yu@linaro.org>

Merge "Revert "Revert "VP8 for ARMv8 by using NEON intrinsics 06" This reverts commit 81ad047ee57ecb0e2c1ee4dcebda54a44ea54ae9. Revert "VP8 for ARMv8 by using NEON intrinsics 15" This reverts commit 727af7cebe3698b8493ba6c1360b0a6606c310fb.""

Merge "Cleaning up vp9_variance_avx2.c."

Merge "Merge two similar functions into one"

Small cleanup: reusing existing code.

Change-Id: Iac4775ad98e988f2b9cf5bd0dc91ab994d0262ce

Merge "Removing duplicated code."

Merge "select_tx_mode(): remove special case for key frame"

Make process_denoise_mode_change function cond-compiled.

This function is called only when temporal denoising is enabled.

Change-Id: I25a036e3d628edd34410d6e6fe1f9e68a90a8e56

Initializing intra modes without vpx_once().

Change-Id: I0a9d52432f2500f1bd8f43f229e70e38bb9a0343

Merge two similar functions into one

intra_super_block_yrd() and inter_super_block_yrd() are largely same,
this commit merges them into one to reduce code duplication.

Change-Id: I64d7042a5b099345627cf55663010c185b25ec37

Merge "Removing clear_system_state() call from update_coef_probs()."

Consistent allocation of vpx_codec_alg_priv_t.

Change-Id: I5a03496de035fbcf31e4527cd25fcae4627a57a0

Merge "[svc] Temporal svc with two pass rate control"

Change last_partition_redo_frequency for speed 3

From 3 to 2, which seems to be slightly positive on compression for
all test sets, also reduces encoding time by 2%-5%, varying on the
test clips.

Change-Id: If045417bd27311700c919b4a335eff0dc1130ae0