Optimize add_constant_residual function

Optimized adding constant diff to predictor, which gave about
2% decoder performance gain.

Change-Id: I47db20c31428e8c4a8f16214a85cbe386a6e9303

Merge "Allocate 16-byte aligned diff buffer" into experimental

Allocate 16-byte aligned diff buffer

This was done based on John's suggestion.

Change-Id: I62516a513c31fe3dbea0d6cd063df79d9e819ec8

Update ADST selection if tx_size < block_size.

Change-Id: Ic9b336486774c95ffbb92adcb110cc0fc2a83cc5

Re-add support for ADST in superblocks.

This also changes the RD search to take account of the correct block
index when searching (this is required for ADST positioning to work
correctly in combination with tx_select).

Change-Id: Ie50d05b3a024a64ecd0b376887aa38ac5f7b6af6

Fix issue in add_residual intrinsic function

Yaowu found this function had a compiling issue with MSVC because
of using _mm_storel_pi((__m64 *)(dest + 0 * stride), (__m128)p0).
To be safe, changed back to use integer store instruction.

Also, for some build, diff could not always be 16-byte aligned.
Changed that in the code.

Change-Id: I9995e5446af15dad18f3c5c0bad1ae68abef6c0d

Coding con-zero count rather than EOB for coeffs

This patch revamps the entropy coding of coefficients to code first
a non-zero count per coded block and correspondingly remove the EOB
token from the token set.

STATUS:
Main encode/decode code achieving encode/decode sync - done.
Forward and backward probability updates to the nzcs - done.
Rd costing updates for nzcs - done.
Note: The dynamic progrmaming apporach used in trellis quantization
is not exactly compatible with nzcs. A suboptimal approach has been
used instead where branch costs are updated to account for changes
in the nzcs.

TODO:
Training the default probs/counts for nzcs

Change-Id: I951bc1e22f47885077a7453a09b0493daa77883d

Merge "Code cleanup." into experimental

Merge "Added stricter Q control flag." into experimental

Added stricter Q control flag.

Added a variant of the one shot maxQ flag
for two pass that forces a fixed Q for the
normal inter frames. Disabled by default.
Also small adjustment to the Bits per MB
estimation.
Change-Id: I87efdfb2d094fe1340ca9ddae37470d7b278c8b8

Merge "Optimize add_residual function" into experimental

Optimize add_residual function

Optimized adding diff to predictor, which gave 0.8% decoder
performance gain.

Change-Id: Ic920f0baa8cbd13a73fa77b7f9da83b58749f0f8

Code cleanup.

Removing redundant 'extern' keywords, fixing formatting and #include order,
code simplification.

Change-Id: I0e5fdc8009010f3f885f13b5d76859b9da511758

Merge changes Ifacbf5a0,Ibad7c3dd into experimental

* changes:
  vpxenc: actually report mismatch on stderr.
  Make superblocks independent of macroblock code and data.

Merge "Code cleanup and simplification of build_4x4uvmvs function." into experimental

vpxenc: actually report mismatch on stderr.

Because ctx->err is not set in that case, it will not report the error
on stderr.

Change-Id: Ifacbf5a03e676fd56522b03c0281d6c723c563ee

Make superblocks independent of macroblock code and data.

Split macroblock and superblock tokenization and detokenization
functions and coefficient-related data structs so that the bitstream
layout and related code of superblock coefficients looks less like it's
a hack to fit macroblocks in superblocks.

In addition, unify chroma transform size selection from luma transform
size (i.e. always use the same size, as long as it fits the predictor);
in practice, this means 32x32 and 64x64 superblocks using the 16x16 luma
transform will now use the 16x16 (instead of the 8x8) chroma transform,
and 64x64 superblocks using the 32x32 luma transform will now use the
32x32 (instead of the 16x16) chroma transform.

Lastly, add a trellis optimize function for 32x32 transform blocks.

HD gains about 0.3%, STDHD about 0.15% and derf about 0.1%. There's
a few negative points here and there that I might want to analyze
a little closer.

Change-Id: Ibad7c3ddfe1acfc52771dfc27c03e9783e054430

Merge "Code cleanup." into experimental

Merge "Optimize vp9_short_idct4x4llm function" into experimental

Merge "Rename quantize_sse2.c to quantize_sse2_intrinsics.c to avoid collision." into experimental

Rename quantize_sse2.c to quantize_sse2_intrinsics.c to avoid collision.

Change-Id: I5637d491eb6a9b7633f72e03fd9df72131eeb121

Optimize vp9_short_idct4x4llm function

Wrote a SSE2 vp9_short_idct4x4llm to improve the decoder
performance.

Change-Id: I90b9d48c4bf37aaf47995bffe7e584e6d4a2c000

Support 16K sequence coding

Fixed a couple of variable/function definitions, as well as header
handling to support 16K sequence coding at high bit-rates.

The width and height are each specified by two bytes in the header.
Use an extra byte to explicitly indicate the scaling factors in
both directions, each ranging from 0 to 15.

Tested coding up to 16400x16400 dimension.

Change-Id: Ibc2225c6036620270f2c0cf5172d1760aaec10ec

Merge changes If5896507,I06b5ba5c,I2712f99e into experimental

* changes:
  Add unit test for x4 multi-SAD functions
  Add VP9 1 block SAD functions to unit test
  Merge master branch into experimental

Add unit test for x4 multi-SAD functions

Update the function prototypes to match between VP9 and VP8.

Change-Id: If58965073989e87df3b62b67a030ec6ce23ca04f

Add VP9 1 block SAD functions to unit test

Change-Id: I06b5ba5c457944cfa4cd9f53c3bd8cda132439c2

Code cleanup and simplification of build_4x4uvmvs function.

Change-Id: Iab0176f058045181821ded95ff1cf423af1625f9

Code cleanup.

Removing redundant 'extern' keyword, lowercase variable names.

Change-Id: I608e8d8579aba8981f5fac3493f77b4481b13808

Initialize pass variable in tile test.

Change-Id: I7977694223521404fc69f29ae2cff03e36e87299

Merge master branch into experimental

Picks up some build system changes, compiler warning fixes, etc.

Change-Id: I2712f99e653502818a101a72696ad54018152d4e

Merge "Adjust the max_gf_interval initialization" into experimental

Merge "Add eob<=10 case in idct32x32" into experimental

Adjust the max_gf_interval initialization

to be a fixed value of 15.

Test results:
cif:  .124%, .068%, .081%
std-hd: 2.809%, 3.174%, 2.705%

Change-Id: I380c8152c973506094da15eab59e3aa22b75a983

Merge "Code cleanup." into experimental

Add eob<=10 case in idct32x32

Simplified idct32x32 calculation when there are only 10 or less
non-zero coefficients in 32x32 block. This helps the decoder
performance.

Change-Id: If7f8893d27b64a9892b4b2621a37fdf4ac0c2a6d

Merge changes I9be9c990,Ic3b97339 into experimental

* changes:
  Ignoring test video sequences in the source tree.
  Code cleanup.

firstpass.c: correct casting around gf_group_bits

gf_group_bits is int64_t remove casts to int.

Change-Id: I3b4225905041fac9af9fdfcbcb6f1c357ea4b593

Merge "Fix use of uninitialized memory in CONFIG_ABOVESPREFMV" into experimental

Merge "mv dct_sse2.c dct_sse2_intrinsics.c to avoid collision" into experimental

Ignoring test video sequences in the source tree.

Adding /*.ivf and /*.ivf.md5 filename patterns to .gitignore.

Change-Id: I9be9c99023e6b59bcc9cfbb6c9d6cdc8e500fc4f

Code cleanup.

Lower case variable names, converting while loops to for loops.

Change-Id: Ic3b973391eef7472a99d18d02fe79cfef5e04e62

Merge "Refactor vp9_dequant_idct_add function" into experimental

Refactor vp9_dequant_idct_add function

Provided a wrapper and removed duplicate code.

Change-Id: Iaef842226ec348422e459202793b001d0983ea30

Removed vp9_dequantize_b

Change-Id: Ie89bd00d58e30bf4094cb748a282f1dfa81a31d8

mv dct_sse2.c dct_sse2_intrinsics.c to avoid collision

Change-Id: Id786be31da3c91d95d2955aa569ecdc6e66650df

Fix use of uninitialized memory in CONFIG_ABOVESPREFMV

The ABOVESPREFMV experiment uses four pixels to the left of the
current block, which don't exist for the left-most column.

Change-Id: I4cf0b42ae8f54c0b3e7b1ed8755704b74fafc39c

Merge "Dequantization code cleanup." into experimental

Dequantization code cleanup.

Removing redundant variables, using x *= y instead x = x * y, moving
variable declarations into inner blocks.

Change-Id: I884f95c755f55d51b7c1c6585f10296919063e41

Code cleanup.

Removing redundant 'extern' keyword, better formatting, code
simplification.

Change-Id: I132fea14f08c706ee9ea147d19464d03f833f25b

Fix incorrect comparison of frame size

The width and height stored in the reference frames are padded out to
a multiple of 16. The Width and Height variables in common are the
displayed size, which may be smaller. The incorrect comparison was
causing scaling related code to be called when it shouldn't have
been. A notable case where this happens is 1080p, since 1088 != 1080.

Change-Id: I55f743eeeeaefbf2e777e193bc9a77ff726e16b5

Merge "vp8 fast quantizer with intrinsics"

this commit converts all sad ptrs to uint32

sse4_1 code used uint16_t for returning sad, but that
won't work for 32x32 or 64x64.   This code fixes the
assembly for those and also reenables sse4_1 on linux

Change-Id: I5ce7288d581db870a148e5f7c5092826f59edd81

fix to parameters to match rtcd

Change-Id: I919e2dd72292fe44f2e53ada56bd42287d50cdeb
Signed-off-by: Jim Bankoski <jimbankoski@google.com>

Merge "Faster vp9_short_fdct8x8." into experimental

Merge "Fix rollover and pass 1 time estimate" into experimental

Faster vp9_short_fdct8x8.

Scalar path is about 1.4x faster (4% overall encoder speedup).
SSE2 path is about 7x faster (13% overall encoder speedup).

Change-Id: I7e85d8225a914a74c61ea370210414696560094d

Merge "Code cleanup." into experimental

Code cleanup.

Fixing code style, using array lookup instead of switch statements for
forward hybrid transforms (in the same way as for their inverses).
Consistent usage of ROUND_POWER_OF_TWO macro in appropriate places.

Change-Id: I0d3822ae11f928905fdbfbe4158f91d97c71015f

Merge changes Idc1c490f,I6b5fe1a4 into experimental

* changes:
  convolve test: validate 1D filters are 1D
  Run all filters through convolve test

Merge "Motion vectors code cleanup." into experimental

Merge "Remove unused file" into experimental

Fix rollover and pass 1 time estimate

Fixes a rollover of the cx_time variable for encodes that take
over ~4200 seconds. Also enable the time estimate in first pass.

Change-Id: Ib5a98ee71bccd79a804d709cec7260651d0b7141

Merge "Remove unused vp9_copy32xn" into experimental

Merge "Remove unused file" into experimental

Motion vectors code cleanup.

Fixing indentation, removing redundant parenthesis, deciphering single
letter variable names, better spacing.

Change-Id: I1d447a7d69eddbf1e94e0820423615f40ea2d591

Merge "Move eob from BLOCKD to MACROBLOCKD." into experimental

Merge "Optimize vp9_dc_only_idct_add_c function" into experimental

Merge "vp8/encoder/mcomp.c: remove an unused variable"

Merge "add vp8 variance test"

Merge "give vp9 variance struct a unique name"

Merge "rtcd: make include guard unique"

convolve test: validate 1D filters are 1D

Since the 8-tap lowpass filter is non-interpolating, the results are
different between applying it at whole-pel values and not. This
means that 1D-only versions are requried to be implemented, as
opposed to being an optimization of the 2D case. Calling the 2D
filter instead of the horizontal-only filter is not equivalent
in this case. Update the test to pass invalid filters to the
unused stage of the 1D-only calls, to verify they're unused.

Change-Id: Idc1c490f059adadd4cc80dbe770c1ccefe628b0a

Run all filters through convolve test

Updates the convolve test to verify that all filters match the
reference implementation. This verifies commit 30f866f, which
fixed some problems with the SSE3 version of the filters for
the vp9_sub_pel_filters_8s and vp9_sub_pel_filters_8lp banks
due to overflow and order of operations.

Change-Id: I6b5fe1a41bc20062e2e64633b1355ae58c9c592c

Remove unused file

Removed vp9/decoder/x86/vp9_idct_blk_mmx.c

Change-Id: I07ab06382a394cf556fa5a8e3c98b91f6e4f9ce8

Merge "vpxdec: support scaling output" into experimental

Remove unused file

Removed vp9_idctllm_mmx.asm

Change-Id: I7152756f23a5a09ed69e8fb40edb2ab3237290fe

Move eob from BLOCKD to MACROBLOCKD.

Consistent with VP8.

Change-Id: I8c316ee49f072e15abbb033a80e9c36617891f07

Merge "vpxenc: support scaling prior to encoding" into experimental

Merge "Use ref_frame_map vice active_ref_idx on the encoder" into experimental

Merge "Test upscaling as well as downscaling" into experimental

Remove unused vp9_copy32xn

This function was part of an optimization used in VP8 that required
caching two macroblocks. This is unused in VP9, and might not
survive refactoring to support superblocks, so removing it for now.

Change-Id: I744e585206ccc1ef9a402665c33863fc9fb46f0d

Merge changes I922f8602,I0ac3343d into experimental

* changes:
  Use 256-byte aligned filter tables
  Set scale factors consistently for SPLITMV

Fix --as=nasm compatibility for new asm code.

s/movd/movq/

Change-Id: Id1a56de91551f8dc796f14f1056c565dfc1ba626

Merge "Combined motion compensation with scaled predictors" into experimental

vpxdec: support scaling output

Adds an option, --scale, that will rescale any frames produced by
the decoder that don't match the resolution of the first frame to
that resolution. This is useful for playback of files that use
spatial resampling.

Change-Id: I867adc650d535df7ec5b107549359712ea3aaaa0

vpxenc: support scaling prior to encoding

Scales the input of the encoder using libyuv's "box filter". Each stream
may have a different width and height specified. If the width (or
height) parameter is missing (or is explicitly set to 0) then the value
will be calculated based on the specified height (or width) and the
input file's dimensions, preserving its aspect ratio. Leaving the height
unspecified behaves similarly.

Change-Id: Ic7026810b13be030826be80dc6f7fc4aaf0c35d0

Use ref_frame_map vice active_ref_idx on the encoder

This patch makes the encoder's use of ref_frame_map and active_ref_idx
consistent with the decoder. ref_frame_map[] maps a reference buffer
index to its actual location in the yv12_fb array, since many
references may share an underlying buffer. active_ref_idx[] mirrors
cpi->{lst,gld,alt}_fb_idx, holding the active references in each
slot.

This also fixes a bug in setup_buffer_inter() where the incorrect
reference was used to populate the scaling factors.

Change-Id: Id3728f6d77cffcd27c248903bf51f9c3e594287e

Test upscaling as well as downscaling

Fixes a bug in vp9_set_internal_size() that prevented returning to
the unscaled state. Updated the ResizeInternalTest to scale both
down and up. Added a check that all frames are within 2.5% of the
quality of the initial keyframe.

Change-Id: I3b7ef17cdac144ed05b9148dce6badfa75cff5c8

Use 256-byte aligned filter tables

This avoids duplicating all the filters twice. Includes fixups to the
convolve routines and associated tests to make this work.

Change-Id: I922f86021594e55072ddb63b42b2313605db6e00

Combined motion compensation with scaled predictors

This patch extends the previous support for using references of a
different resolution in ZEROMV mode to all inter prediction modes.
Subpixel based best-mv scoring is disabled when the reference frame
differs in resolution from the current frame.

Change-Id: Id4dc3e5e6692de98d9857fd56bfad3ac57e944ac

Set scale factors consistently for SPLITMV

This commit updates the 4x4 prediction to consistently use the
build_2x1_inter_predictor() method. That function is updated to
calculate the scale offset, rather than relying on the caller
to calculate it. In the case that the 2x1 prediction can not
be used, the scale offset is recalculated for each 1x1 block.
The idea here is that the offsets are calculated before each
call to vp9_build_scaled_inter_predictor().

Change-Id: I0ac3343dd54e2846efa3c4195fcd328b709ca04d

Merge "Enable 32x32 dct tests" into experimental

Merge "Improve 32x32 forward dct" into experimental

Spatial resamping of ZEROMV predictors

This patch allows coding frames using references of different
resolution, in ZEROMV mode. For compound prediction, either
reference may be scaled.

To test, I use the resize_test and enable WRITE_RECON_BUFFER
in vp9_onyxd_if.c. It's also useful to apply this patch to
test/i420_video_source.h:

  --- a/test/i420_video_source.h
  +++ b/test/i420_video_source.h
  @@ -93,6 +93,7 @@ class I420VideoSource : public VideoSource {

     virtual void FillFrame() {
       // Read a frame from input_file.
  +    if (frame_ != 3)
       if (fread(img_->img_data, raw_sz_, 1, input_file_) == 0) {
         limit_ = frame_;
       }

This forces the frame that the resolution changes on to be coded
with no motion, only scaling, and improves the quality of the
result.

Change-Id: I1ee75d19a437ff801192f767fd02a36bcbd1d496

Merge "Removing redundant 'extern' keyword from function declarations." into experimental

Merge "Merge cnvcontext experiment." into experimental

Merge "Fix modes.stt output printf format string." into experimental

Merge "Minor cosmetics in rdopt." into experimental

Optimize vp9_dc_only_idct_add_c function

Wrote SSE2 version of vp9_dc_only_idct_add_c function. In order to
improve performance, clipped the absolute diff values to [0, 255].
This allowed us to keep the additions/subtractions in 8 bits.
Test showed an over 2% decoder performance increase.

Change-Id: Ie1a236d23d207e4ffcd1fc9f3d77462a9c7fe09d

Merge "vp9: promote gf_group_bits calculation to 64-bit" into experimental