Enable adaptive pred filter type for sub8x8

This commit enables an adaptive prediction filter type selection
for sub8x8 block sizes. In speed 1, it re-uses the filter type of
collocated 8x8 block if it is tested in the rate-distortion optimization
loop, for the sub8x8 blocks. Otherwise, it runs the normal test
over all the three filter types. In speed 2, it re-uses the 8x8
block's prediction filter type, if available. Otherwise, force it
to be EIGHTTAP.

Compression and speed performance wise:
speed 1
derf -0.266%
yt   -0.138%

bus at 2000 kbps: 33766ms -> 30451ms (10% speed-up)
football at 600 kbps: 48173ms -> 43786ms (9% speed-up)

speed 2
derf -0.026%
yt   +0.134%

bus at 2000 kbps: 18973ms -> 17698ms (6% speed-up)
football at 600 kbps: 26748ms -> 25096ms (6% speed-up)

Change-Id: I77e097533b969fd3472147225fa79fc98095d342

Merge "Changes interfaces to vp9_get_compressed_data fn"

Merge "Rename clamp_mv_min_max to set_mv_search_range"

Merge "Renames for consistency in vp9_pred_common.{c, h} files."

Merge "Reduce the number of frames used in lossless test"

Changes interfaces to vp9_get_compressed_data fn

Silences some lint warnings in previous patches

Change-Id: I04bf47ebe7e63a95fd322719a3154e589c115d78

Rename clamp_mv_min_max to set_mv_search_range

This function sets the motion search range limit. Rename it to be
more informative.

Change-Id: I2e8e01073dcb99c9bea9c9acd0a61d672d615444

Merge "Enforce motion search range clamp for sub8x8"

Reduce the number of frames used in lossless test

Change-Id: I976f70b640b06f20533ad29578a5b2acca134fd4

Merge "Fix valgrind error."

Fix valgrind error.

Temporarily change memcpy to memmove.

Change-Id: I700a197bc1ce496be1ddad7118429c5da465b0ca

Merge "vp8: remove 2 unused tables"

Merge "Fix the printf format string"

Enforce motion search range clamp for sub8x8

This commit constrains the maximal motion search range for sub8x8
blocks to be [-1023, 1023], in the unit of full pixel.

Change-Id: I955b60649364ab410f2453cafd46a496f2fcb43e

Fix the printf format string

There were two problems with the format string in
the conditionally compiled print statement. It referred
to a variable that is no longer available and it used
incorrect format specifiers.

Change-Id: I315e22bea2691bb535a2e33f5ca206fc55287a37

vp8: remove 2 unused tables

Change-Id: Ib5ba4e0b438107741efa28251848306322fd7f89

vp9 mt decode: reorder tile decode

reorder the tiles based on size and their presumed complexity. this
minimizes the cases where the main thread is waiting on a worker to
complete.

Change-Id: Ie80642c6a1d64ece884f41683d23a3708ab38e0c

Renames for consistency in vp9_pred_common.{c, h} files.

Change-Id: Icba06e84ca55c419abbacedf5825eeb394a1b140

Merge "Fix a bug"

Merge "Cleaning up skip context calculation."

Merge "Cleaning up read_inter_block_mode_info() function."

Merge "avoid crash when using --best on cpus with SSE3 (but not SSE4) support"

Fix a bug

In evaluating partition split case, Wrong partition size is used in
calling partition_plane_context(). This commit change to use the
correct sub partition size. The incorrect partition size used were
causing an ASAN error in unit test.

Change-Id: Iab695b764bc51cc61580075f2ae4001421132362

Cleaning up skip context calculation.

Renames:
  vp9_get_pred_context_mbskip => vp9_get_skip_context
  vp9_get_pred_prob_mbskip    => vp9_get_skip_prob

Change-Id: I2af499848ef73f3f5cd8cdb27852d0bcdfe31d09

Merge "Removing unused vp9_get_pred_flag_mbskip() function."

Merge "Refactor inter_predictor function."

Removing unused vp9_get_pred_flag_mbskip() function.

Change-Id: Ib46a97d8ff9f2915b9fa2abba3cd18b6711fcb0c

Merge "Renaming comp_pred_mode to reference_mode."

Refactor inter_predictor function.

Change-Id: Ic429b2f16462e926f30efb3af4da3080026359d8

avoid crash when using --best on cpus with SSE3 (but not SSE4) support

Change-Id: Ie100114a01b8b4da7248603c40676792cd06b32a

Merge "Cleaning up vp9_get_pred_context_switchable_interp() functuion."

Merge "Add include guards to setupintrarecon.h and vpx_once.h"

Merge "Implenment on demand border extension. In place extend the border now. Next commit will totally remove the border."

Cleaning up vp9_get_pred_context_switchable_interp() functuion.

Change-Id: I67a45a41312ca0efd8fe00ccd8bdc0f97675d09f

Implenment on demand border extension. In place extend
the border now. Next commit will totally remove the border.

Change-Id: Ic1e1ca9cc34f81c688715b3948689b47df63a151

Merge "Clean-ups in diamond_search_sad"

Merge "Full range motion search for regular block sizes"

Merge "Further clean up of estimate_max_q."

Renaming comp_pred_mode to reference_mode.

Change-Id: I83ffed2b1878a35ac35f07f9ee74309adc9c7b11

Merge "Renaming vp9_get_pred_context_tx_size() function."

Cleaning up read_inter_block_mode_info() function.

Change-Id: Ib4e215a80f00e342d857a54a4ca1b2dc82b6db1d

Removing max_uv_txsize_lookup lookup table.

Adding get_uv_tx_size_impl() with tx size selection logic, rewriting
get_uv_tx_size().

Change-Id: I3ecb108059a41be227a8c89a0710bd174f508951

Add include guards to setupintrarecon.h and vpx_once.h

Change-Id: Ife17fc6369ce32f36d5c7f8a2ef5a3b7724d81b9

Further clean up of estimate_max_q.

Clean up and simplification of both estimate_max_q
variants and only call once per clip/section.

This leads to a more constrained range of Q values
across a clip / section.

Average gains across all 4 test sets:-

PSNR ~0.5%  SSIM ~0.3%

Change-Id: If77d5f7bb50939a464e117724f4da5b001c62d70

Merge "Removing BLOCK_TYPES and adding PLANE_TYPES constant instead."

Renaming vp9_get_pred_context_tx_size() function.

Change-Id: Ia6d6f4dfb1fd1ec0f8ba53796b59a802e9d7881d

Disable warning for intentional lossless coding

For VP9, lossless coding is enabled by passing 0 for both min_q and
max_q. This is a valid configuration, and should not be warned.

Change-Id: Idd117579cd89cd14c0723b1d7e482067ac12b401

Merge "Disable early exit based on distortion in lossless"

Clean-ups in diamond_search_sad

Use the pre-fetched stride value.

Change-Id: I8d4aaedab7a83a4870be51c110da27e55ca3bc85

Merge "Renaming reference mode context calculation function."

Merge "Replacing b_width_log2 with num_4x4_blocks_wide_lookup."

Disable early exit based on distortion in lossless

In lossless coding, distortion is always 0. Early exit based on this
metric was incorrect.

This CL also changed to use best_rd instead of distortion as the metric
for easly exit as requested by Jim.

Change-Id: I8ef3e407ac03b4abc3283b273f936a68fad5c2ab

Merge "add tile test vectors"

Full range motion search for regular block sizes

Add a full range motion search for regular block sizes. This runs
exhaustive search within the given reference area. This commit further
optimizes the search process by combining 4 points test into one
pipeline, which gives 30% speed-up as compared to run each individual
point at a time.

This full range search serves as a best possible motion search reference.
When replacing the diamond search with full range search, the speed 0
runtime of bus CIF at 2000 kbps goes from 153872ms to 623051ms. The
compression performance compared to speed 0 setting gains 0.585% for
derf set.

Change-Id: Ieef1225216b0b86b4ac4872fa7fb9e18bf2eabb3

Merge "Removing duplicated C code from vp9_loopfilter_filters.c file."

Replacing b_width_log2 with num_4x4_blocks_wide_lookup.

Change-Id: I8ab9bbe2595ed1743f35223b6a6ce6d023b9a20e

Renaming reference mode context calculation function.

Renames:
  vp9_get_pred_context_comp_inter_inter => vp9_get_reference_mode_context
  vp9_get_pred_prob_comp_inter_inter    => vp9_get_reference_mode_prob

Change-Id: I3bbb69481e6b0c848028667c9269f567f293d3bd

Removing BLOCK_TYPES and adding PLANE_TYPES constant instead.

Change-Id: Ic3bb862e93aedf6a489a33ea6f7e5097d96855ee

Merge "Remove rate correction factor."

Merge "Moving vp9_tree_probs_from_distribution() to encoder."

Merge "Renaming constants."

Merge "vp9_get_pred_context_intra_inter() clean up."

Merge "Remove redundant calls to vp9_update_mode_info_border"

Merge "Remove redundant bsize mapping in motion search"

Remove rate correction factor.

Removed an adaptive rate correction factor that was having
a negative impact on quality in many clips. This factor
was influencing the Q range available to each frame
independently of the bits allocated to each.

Average results with DISABLE_RC_LONG_TERM_MEM.

derf +0.199, -0.059.
yt +3.957, +3.798
std hd +1.577, +2.140
yt hd +4.127, +4.513

Average results without  DISABLE_RC_LONG_TERM_MEM

derf -0.628, -0.665
yt +3.432, +3.015
std hd -0.105, +0.153
yt hd +3.432, +3.015

Change-Id: I45bab6b606f49a442e7b27a6d631f3ffd843bbce

add tile test vectors

3840x2160

vp90-2-08-tile_1x8_frame_parallel.webm
vp90-2-08-tile_1x8.webm

vpxenc crowd_run_2160p50.y4m \
  --codec=vp9 -p 2 \
  --frame-parallel=${fpm} \
  --tile-columns=${tc} \
  --limit=10 \
  --auto-alt-ref=1 \
  --lag-in-frames=5 \
  --target-bitrate=2500

Change-Id: I6dc19b4fca483d03ef9a897a843bf9037d095c8e

Merge "Fix bug with put slice cb function."

Moving vp9_tree_probs_from_distribution() to encoder.

Writing custom coeff branch count calculation (which is much clearer) in
adapt_coef_probs() function. Removing vp9_treecoder.c file.

Change-Id: I8880fb7a39996c8bcf6cd0acf9898a8c712ba91f

Merge "Renaming PREV_COEF_CONTEXTS to COEFF_CONTEXTS."

Renaming PREV_COEF_CONTEXTS to COEFF_CONTEXTS.

Also adding BAND_COEFF_CONTEXTS macro to simplify for loop logic.

Change-Id: I12a78a49cf1addf81e6b3fe2a3736ec2b79bd79e

vp9_get_pred_context_intra_inter() clean up.

Renaming:
 vp9_get_pred_context_intra_inter => vp9_get_intra_inter_context
 vp9_get_pred_prob_intra_inter    => vp9_get_intra_inter_prob

Change-Id: I2c1affea2e84f4e616137c6df82adb11c7845781

Merge "Further rate control cleanups"

Merge "Cleaning up vp9_detokenize.c file."

Merge "Removing vp9_default_coef_probs.h file."

Further rate control cleanups

Includes various cleanups.
Streamlines the interfaces so that all rate control state
updates happen in the vp9_rc_postencode_update() function.
This will hopefully make it easier to support multiple
rate control schemes.
Removes some unnecessary code, which in rare cases can casue
a difference in the constrained quality mode output, but
other than that there is no bitstream change yet.

Change-Id: I3198cc37249932feea1e3691c0b2650e7b0c22fc

Renaming constants.

NUM_YV12_BUFFERS        => FRAME_BUFFERS
ALLOWED_REFS_PER_FRAME  => REFS_PER_FRAME
NUM_REF_FRAMES_LOG2     => REF_FRAMES_LOG2
NUM_REF_FRAMES          => REF_FRAMES
NUM_FRAME_CONTEXTS_LOG2 => FRAME_CONTEXTS_LOG2
NUM_FRAME_CONTEXTS      => FRAME_CONTEXTS

Change-Id: I4e1ada08f25d8fa30fdf03aebe1b1c9df0f87e63

Removing duplicated C code from vp9_loopfilter_filters.c file.

Change-Id: I299b621fca1c8ff5d296afde9698cdcccfecaf3f

Fix bug with put slice cb function.

Change-Id: Idfbd87d0a4bebdce7dd587c8446e7fa75b030d91

Remove redundant calls to vp9_update_mode_info_border

Removed calls to vp9_update_mode_info_border since
they immediately followed code that initialized the
entire buffer to 0.

Change-Id: Ife06794daa20439a0b607a83a87f88df59afac40

Using lookup to determine tx_size in encode_superblock().

Change-Id: I68d6217db6f67da15380cd59ec5eda0c44da7d34

Merge "Cleaning up vp9_get_pred_context_tx_size() function."

Merge "Disable --tune=ssim for vp9"

Fix ref count decrement code.

Buffer 0 would never be decremented, so it could only be used
once.

Change-Id: I605d99fa2a513eadae6a0e230161729880653282

Cleaning up vp9_get_pred_context_tx_size() function.

Change-Id: Ia6ef876e3d1e66b2182a9c0bce3fd758691cd381

Moving vp9_token from common to encoder.

Change-Id: I40a070c353663e82c59e174d7c92eb84f72ed808

Merge "Fix the initial references to frame buffers."

Remove redundant bsize mapping in motion search

Both single frame and compound inter motion search run with luma
component only. Hence removing the block size mapping therein.

Change-Id: I217488e702432ae9fa0e95bf6f516ebb36b5c79b

Cleaning up vp9_detokenize.c file.

Using consistent names (block_idx => block, dqcoeff_ptr => dqcoeff,
pt => ctx), inlining get_tx_eob() call.

Change-Id: I05208e57df81bbb8f25b8274684a48192e9de464

Merge "Add a test vector for loopfilter"

Removing vp9_default_coef_probs.h file.

Moving all probability tables from removed file to vp9_entropy.c.

Change-Id: I12846f1da778c3016d96b82e53384d4634883430

Merge "Cleaning up vp9_dec_build_inter_predictors_sb function."

Fix the initial references to frame buffers.

The old code would start in a mixed state, where all the reference
frames were pointing to frame buffer 0, but the reference counts
were 0. This is why we needed special code for the first frame.

Change-Id: I734961012917654ff8c0c8b317aac00ab75ded1a

Merge "Cleaning up vp9_entropy.h file."

Merge "Removing old code."

Merge "Compact formatting default_coef_probs_{4x4, 8x8, 16x16, 32x32}."

Merge "Modified spatial scalable encoder & unit tests"

Compact formatting default_coef_probs_{4x4, 8x8, 16x16, 32x32}.

Change-Id: If40b930431766d5179b9769509b5e4ca1628e9cc

Add a test vector for loopfilter

The test vector exercises the loopfilter behavior at frame boundary.

blue_sky_1080p25.y4m --good --cpu-used=2 --threads=0 --profile=0
--lag-in-frames=25 --limit=300 --min-q=0 --max-q=63 --cq-level=20
--end-usage=0 --auto-alt-ref=1 -p 2 --kf-max-dist=9999 --kf-min-dist=0
--drop-frame=0 --static-thresh=0 --bias-pct=50 --minsection-pct=0
--maxsection-pct=2000 --arnr-maxframes=7 --arnr-strength=5
--arnr-type=3 --sharpness=0 --undershoot-pct=100 --target-bitrate=6000

Change-Id: Ibd0807395d2fe87f24f81f990369678df3de7c23

Disable --tune=ssim for vp9

The feature is not yet supported.

Change-Id: If46382302d2077b20670391b4a03017045a104f5

Merge "Formatting vp9_pareto8_full array."