Adjustments to key frame sizing.

Adjustments take heavier account of the frame near a kf
in deciding boost and limit the total number that can contribute.
Also adjusted the minq calculations such that in most cases we
generate a smaller key frame.
Modified the code that accounts for how static the sequence is and
added some adjustment based on image size. This is still very
crude but smaller images tend to behave better with a larger
delta between KF Q and other frames than larger image formats.
Changes give sizable gains in overall PSNR  on all the test sets but the
biggest gains (~3%) were on the std-hd set.
The gains were smaller for SSIM but still significant.
Average PSNR results are mixed because this metric can very easily
be altered by having a very good / lossless coding of one or two frames.
Some of the YT and YT-HD clips in particular have blank lead ins and
allowing lossless coding of these appears to make a big difference to
average PSNR but it reality does not help much at all.

Change-Id: I6bfe485a1d330b47c783832f1717c95c535464ec

Merge "Use BLOCK_SIZE_TYPE in foreach_ walker" into experimental

Merge "Fix edge bug in recent merge of 64x64 and 32x32 inter predictors." into experimental

Fix edge bug in recent merge of 64x64 and 32x32 inter predictors.

Change-Id: I83aa188d414922db19cccb210c4001c02d5a404c

Merge "Remove skip_recon_sb" into experimental

Remove skip_recon_sb

Removed skip_recon_sb(). Cleanup code so that we could combine
decode_sb and decode_mb later.

Change-Id: I24d1dd5283e2565072838a03c344938b88bfd35c

Use BLOCK_SIZE_TYPE in foreach_ walker

Change-Id: I655305c9e22bdd9abc893d3c40d4bc6616aa1d35

Merge "clean out experiments" into experimental

Merge "make lf_deltas dependent on filter_lvl" into experimental

Merge "Make alt_extra_bits a local variable" into experimental

Merge "Remove unused file vp9_context.c." into experimental

Remove unused file vp9_context.c.

Change-Id: Id268ccaf1aefee6a3ed3e31486d4370f1c25e8cb

Merge "Remove BLOCK_SIZE_LG2." into experimental

Merge "Add SSE2 versions for rectangular sad and sad4d functions." into experimental

Merge "replace hev_thr_lut[][] with simpler logic" into experimental

Make alt_extra_bits a local variable

alt_extra_bits is now only used in a local context so
remove it from the twopass_rc structure.

Change-Id: I5bbf0a3dba9712a3da45760f7bb865243705b53e

clean out experiments

that are related to using reconstructed pixel for selecting reference
motion vectors.

Change-Id: I048dfae39ca7385e344b57d46347ecc6e753e1bb

Remove BLOCK_SIZE_LG2.

It is unused.

Change-Id: Ied3269ffacf9b6303bc9d85f996384c3575ef812

make lf_deltas dependent on filter_lvl

Change-Id: Idb0d11e3ae9afabe667a9f327bf4d3aa84f63649

replace hev_thr_lut[][] with simpler logic

Using filter_level/16 instead.

Change-Id: I73a7e83a785d6aa6f9b5d22cf66e22f0a39ed078

Merge "Fairly basic integration of rectangular blocks in encoding RD loop." into experimental

Merge "Change to do LPF in SB64 order" into experimental

Add SSE2 versions for rectangular sad and sad4d functions.

About 11% overall encoder speedup with the sbsegment experiment enabled.

Change-Id: Iffb1bdba6932d9f11a6c791cda8697ccf9327183

Change to do LPF in SB64 order

Change-Id: I41b3f5932ecd6256e8207369ad19aa81e7987be1

Merge "Move configure_arnr_filter function" into experimental

Merge "Fixed overflow test on boost calculation" into experimental

Fairly basic integration of rectangular blocks in encoding RD loop.

Adds RD integration for 32x16, 16x32, 64x32 and 32x64 rectangular blocks.
Derf almost +0.6%, HD a little over +1.0%, STDHD +1.3%.

Change-Id: Id651fdb6a655fdbb5c47009757e63317acfb88a5

Recursive partition syntax coding

Enable recursive partition information coding from SB64X64 down to
MB16X16. The bit-stream syntax is now supporting rectangular block
sizes. It starts from SB64X64 and recursively describes the partition
type of the current block. If the partition type is PARTITION_NONE,
the block is coded as a single unit; if it is PARTITION_HORZ or
PARTITION_VERT, the block is segmented into two independently coded
rectangular units, with no further partition needed; otherwise, the
block is segmented into 4 square blocks. i.e., PARTITION_SPLIT case,
each can be potentially further partitioned.

Forward adaptive probability modeling is used for the partition
information coding, conditioned on the current block size.

Change-Id: I499365fb547839d555498e3bcc0387d8a3587d87

Merge "Replacing BOOL_DECODER with vp9_reader inside vp9_decodemv." into experimental

Merge "Adding vp9_write_prob function (macro for now)." into experimental

Replacing BOOL_DECODER with vp9_reader inside vp9_decodemv.

Also a little bit of code cleanup: replacing pbi->common with cm,
pbi->mb with xd.

Change-Id: I2f70a005704a2833d644dfaafc4cd354e6e8532b

Merge "Adding write_le16 and write_le32 functions." into experimental

Merge "Slightly hackish workaround to support rectangles in directional intra predictors." into experimental

Merge "Faster vp9_short_fdct4x4 and vp9_short_fdct8x4." into experimental

Adding write_le16 and write_le32 functions.

Change-Id: I7057ed8e2a13a3c5367e2923eb4b3260bd7cf546

Adding vp9_write_prob function (macro for now).

Change-Id: Ic795cf6fc202bf32c9b5b0b3cef9ac422af53cd0

Faster vp9_short_fdct4x4 and vp9_short_fdct8x4.

Scalar path is about 1.3x faster (2.1% overall encoder speedup).
SSE2 path is about 5.0x faster (8.4% overall encoder speedup).

Change-Id: I360d167b5ad6f387bba00406129323e2fe6e7dda

Move configure_arnr_filter function

This function is now called from configures the ARNR
filter so it belongs with the other temporal filter
functions.

Change-Id: I64211875918364b5b8edfb97743e573c6def1663

Fixed overflow test on boost calculation

Normalization of the frame boost value was being done
when it reached the value 1028. The intention was to
keep to a range of 10 bits, so it should have been
clipped above 1023.

Change-Id: I0afdddc1d2eb9e7822ec4578903cbe6ec0b33b91

Slightly hackish workaround to support rectangles in directional intra predictors.

Change-Id: I8a4da6925f2d58a426c4d122df8b97bb69452e49

Merge "Moving tx_type == DCT_DCT checks inside iht_add functions." into experimental

Remove the mb_no_coeff_skip flag

This flag was added to VP8 to allow a mode where MB-level skipping
was not allowed, saving a bit per mb. It was never used in practice,
and hasn't been tested in VP9, so remove it.

Change-Id: Id450ec6904c6d06c1919508e7efc52d05cde5631

Moving tx_type == DCT_DCT checks inside iht_add functions.

tx_type == DCT_DCT check is an implementation detail of iht_add. Also
adding dequant_add_y function with explicit DCT_DCT check inside.

Change-Id: Ia3cb0225601752cdef0ff6f0acd3a09d9dbd8938

Merge "Code cleanup inside vp9_reconintra4x4.c file." into experimental

Merge "Adding mv_joint_vertical and mv_joint_horizontal functions." into experimental

Merge "Optimize the scaling calculation" into experimental

Merge "Removing extra params from x_add_residual() functions" into experimental

Optimize the scaling calculation

In decoder, the scaling calculation, such as (mv * x_num / x_den),
is fairly time-consuming. In this patch, we check if the scaling
happens or not at frame level, and then decide which function to
call to skip scaling calculation when no scaling is needed. Tests
showed a 3% decoder performance gain.

Change-Id: I270901dd0331048e50368cfd51ce273dd82b8733

Merge "Replacing vp9_read, vp9_read_literal, vp9_read_bit macros with functions." into experimental

Removing extra params from x_add_residual() functions

Now that the predictor is the dest, we do not need the
extra parameters.

Change-Id: I31e2c3d2015f4a1cd12e7f04536d8db478582a0a

Merge "Removing TRUE and FALSE macro definitions." into experimental

Merge "Removing extra params in dequant functions" into experimental

Removing TRUE and FALSE macro definitions.

Using regular 0 and 1 constants now.

Change-Id: Ie763503cbb727847cc8f1d6506cd6f2ee607f056

Replacing vp9_read, vp9_read_literal, vp9_read_bit macros with functions.

This is the first CL with vp9_reader changes. All another macro
definitions will be replaced after.

Change-Id: I1c6bd9c9a612ec1663d484d6adb4fb720af54063

Merge "Fix lingering x->skip settings if static_threshold is used." into experimental

Merge "Add rectangular block size variance/sad functions." into experimental

Merge "Make filter RD code and encode breakout variance size-independent." into experimental

Fix lingering x->skip settings if static_threshold is used.

Keyframes don't set this variable, so it would use the last set
values from inter frames.

Change-Id: Ie1ef45ece2c44b21b5d55f6cea9f7d6e7a445692

Add rectangular block size variance/sad functions.

With this, the RD loop properly supports rectangular blocks.

Change-Id: Iece79048fb4e84741ee1ada982da129a7bf00470

Make filter RD code and encode breakout variance size-independent.

Static threshold results slightly up (+0.1% on derf), probably b/c
we now take the filter (sharp/lowpass) into account for the breakout
decision.

Change-Id: I9f597601da434205142afd05f32690e7ba8fd690

Adding mv_joint_vertical and mv_joint_horizontal functions.

Change-Id: Ieaec2c48f3752b8558ba051caaf4ba2ab0e9e84d

Merge "Motion vector decoder cleanup." into experimental

Code cleanup inside vp9_reconintra4x4.c file.

Using ROUND_POWER_OF_TWO macro, using array initialization syntax for
less code.

Change-Id: I661453a6b29a9046fcff0a3f18fccb452b5eb39d

Removing extra params in dequant functions

Now that the predictor is the dest, we do not need the
extra parameters.

Change-Id: I78db73d39b5aff62f15303f3d51ad2797eae74b6

Merge "Reorder enum i4X4 predcition modes" into experimental

Merge "Fix width/height switch-up in U/V SB quantize code." into experimental

Merge "Removed unused structs in vp9_onyx_int.h." into experimental

Fix width/height switch-up in U/V SB quantize code.

Change-Id: I697514efd6024e1b4153bbde58ae5e323b030981

Removed unused structs in vp9_onyx_int.h.

Change-Id: I1f2dbf04a0140a7cc2060b0a9efb4ed8e5270d3d

Merge "Initial addition of multiple ARF frames" into experimental

Initial addition of multiple ARF frames

This is work-in-progress, it implements multiple ARF
encoding behind an experimental flag.

It adds the ability to insert multiple ARF frames into a
single ARF group. This patch implements the reordering
of the coded frames, and implements a fixed-length coding
pattern. It applies a fixed quantizer strategy based on
where the frame is in the coding sequence.

Further work to modify the rate control strategy is
ongoing and will be submitted via a set of future patches.

In this first step, each ARF group is recursively
bisected and an ARF frame added at that position in the
sequence. The recursion continues until ARF frames are
within MIN_GF_INTERVAL frames.

The code sits behind the "multiple-arf" experimental
flag ("CONFIG_MULTIPLE_ARF"). The experimental flag
"oneshotq" ("CONFIG_ONESHOTQ") also needs to be enabled
for this patch to work correctly.

Change-Id: Ie473b05ebb43ac473c0cfb659b2b8042823085e2

Merge "Encoder code cleanup." into experimental

Merge "Adding vp9_read_and_apply_sign function." into experimental

Merge "Intra code cleanup." into experimental

Merge "Renaming vp9_token_struct to vp9_token and removing previous typedef." into experimental

Intra code cleanup.

Removing redundant code.

Change-Id: I71bfc40a1fb06d8e3149ed5400aa4dfd87a51aac

Motion vector decoder cleanup.

Change-Id: I7d3b2ef26aba3dfb1d5c83309aab2024e04ee819

Merge "Enable inter predictor for rectangular block size" into experimental

Enable inter predictor for rectangular block size

Combine superblock inter predictors into a unified function that
allows configurable block width and height. The inter predictions
of block sizes smaller than 16x16 are handled differently. To be
continued on merging them later.

Change-Id: I14075959dd5e221f00c205c99ca35c1c31ef728e

Removed unnecessary copy from vp9_dequant_iht_add_8x8_c

Change-Id: I8fff2216c169c872f7073e66357e400f78a3445d

Merge changes I196814c0,I896fdfa0 into experimental

* changes:
  Move prediction hit counting to update_state().
  Merge loop over all macroblock modes into encode_sb_row().

Reorder enum i4X4 predcition modes

To match the order of  directional intra prediction modes for larger
blocks, also renamed the i4x4 prediction modes to mirror the larger
variants.

Change-Id: I77cea4d0add6c7758460bf9c7a2fe59aca601f0b

Rename B_PRED to I4X4_PRED

So it is consistent with I8x8_PRED.

Change-Id: Iefa65124b2419690d83e526c611129c0ede29d11

Merge "Remove unnecessary vp9_copy_memNxN() calls" into experimental

Move prediction hit counting to update_state().

The probabilities derived from these statistics are used in bitstream
writing; therefore, we should only do this when we actually decide to
use macroblock coding (over superblock coding). Derf gains +0.15%.

Change-Id: I196814c070a7c79889590658ce10a6eb07454389

Remove unnecessary vp9_copy_memNxN() calls

The build predictors now output directly to the dest.  These
copies are no longer required.

Change-Id: I8e91eda6b49993e6c16cfadc705d82a7e80f19b2

Make intra predictor support rectangular blocks

The intra predictor supports configurable block sizes. It can handle
intra prediction down to 4x4 sizes, when enabled in BLOCK_SIZE_TYPE.

Change-Id: I7399ec2512393aa98aadda9813ca0c83e19af854

Merge loop over all macroblock modes into encode_sb_row().

Rename pick_mb_modes to pick_mb_mode, since it now handles only a
single macroblock. This is consistent with pick_sb_mode handling a
single non-macroblock.

Change-Id: I896fdfa06436b2d8c24d6474718cc74420df6b3b

Merge "Remove unused vp9_recon_mb{y,uv}_s" into experimental

Merge "Remove subtract_mb* functions." into experimental

Adding vp9_read_and_apply_sign function.

Change-Id: I9951a06dbe4514cc1cf69ff4349c4e12cb4a318c

Merge "WIP: removing predictor buffer usage from decoder" into experimental

Merge "Remove unused macroblock versions of reconstruction functions." into experimental

Merge "Remove "tplist" from VP9_COMP." into experimental

Merge "Merge pick_sb_modes and pick_sb64_modes." into experimental

Merge "Turning model-based updates on with modelcoefprob" into experimental

Turning model-based updates on with modelcoefprob

This patch changes the default with the modecoefprob expt
to use mode-based forward updates with one-node pegged
modeling.

The maximum difference with fully trained tables is now
less that 0.1%.

Change-Id: I06b44322e10c6703f93f3c1d48d973b1136a0618

Merge "Remove unused vp9 ppc files" into experimental

Remove unused vp9_recon_mb{y,uv}_s

These functions now are handled through the common superblock code.

Change-Id: Ib6688971bae297896dcec42fae1d3c79af7a611c

WIP: removing predictor buffer usage from decoder

This patch will use the dest buffer instead of the
predictor buffer.  This will allow us in future commits
to remove the extra mem copy that occurs in the dequant
functions when eob == 0.  We should also be able to remove
extra params that are passed into the dequant functions.

Change-Id: I7241bc1ab797a430418b1f3a95b5476db7455f6a