Refactor:Merge inverse_transform_block_inter/intra

Merge inverse_transform_block_inter inverse_transform_block_intra
to inverse_transform_block

Change-Id: I0f561830e639e3bf8d831c28a7c784cb0c4c8b09

Merge "add dct 64x64 transform" into nextgenv2

Merge "Properly save and restore skip related variables" into nextgenv2

add dct 64x64 transform

Change-Id: I131c4d1216cd156e520b8a91c4438c2d3c6602cb

Merge "Optimize HBD up-sampled prediction functions" into nextgenv2

Properly save and restore skip related variables

Change-Id: Id52744e140585c08d047fb395b75ac9318a0b4c3

Merge "remove filter_cache" into nextgenv2

Factor out zeroing above and left context.

Change-Id: I6e5d8cff869c7415a924f845c9e6ccaabe2b7a9b

Fix build without supertx.

Change-Id: Ib60821487710f6cf06aaa8ddcbdd5487ba1cbe4f

Merge "Properly set the estimate of rate_nocoef" into nextgenv2

Properly set the estimate of rate_nocoef

This commit fixes the computation of rate_nocoef for situation when
rate_y is uninitialized at INT_MAX for  x->skip is true.

Change-Id: If3dde4e4ee16667f4408067d3bb3084f916272f1

remove filter_cache

PSNR test
        lowres  hdres
lowbd   -0.013  0.067
highbd  -0.044  0.039

Change-Id: Iefdb1e966bd004b2027456778185b675e8fb9b81

Merge "Add "entropy" experiment flag" into nextgenv2

Merge "Refactor 1D transforms" into nextgenv2

Add "entropy" experiment flag

For experiments to improve compression efficiency of entropy coding.

Change-Id: Idf30dc554bd7eea3a79d21d18515c3e6b8f64b26

Merge "Fix copy/zero macros." into nextgenv2

Merge "Turn off 32x32 transform type selection" into nextgenv2

Fix copy/zero macros.

Change-Id: I2df3b6ecd35406ee05c2aa4e49be779e73e1bdc6

Refactor 1D transforms

In preparation for adding more 1D variants with ADST/FlipADST/etc.

BDRATE actually improves by 0.21% on lowres.

Change-Id: I2fa4720c69fe001fa666119a284dfc6b17fffab2

Optimize HBD up-sampled prediction functions

Optimized 2 up-sampled reference prediction functions in high-bit
depth case. This reduced the HBD encoding time by 3%.

Change-Id: I8663ffb5234f5e70168c0fc9ca676309fe8e98f2

Merge "Fix typos in unit tests" into nextgenv2

Merge "Speed up rd selection in OBMC experiment" into nextgenv2

Fix typos in unit tests

Change-Id: Idff52b337ab2d494c0c26e0d2c71ab3ee8208691

Speed up rd selection in OBMC experiment

Instead of testing all interpfilter-BMC/OBMC combinations, we choose
the best interpolation filter based on regular inter prediction.

Reduction in encoding time: ~10%
Drop in performance gain: 0.08% lowres, 0.04% midres

Change-Id: Ifc19097a918ac76b529db9af4c60e2c70e93f7ad

Turn off 32x32 transform type selection

Temporarily disable transform type selection for 32x32 transform
block size. This speeds up the encoding process. For bus at CIF
150 frames, the encoding time goes from 896s -> 762s (11% faster).
The compression performance for lowres set is improved by 0.15%,
and -0.029% for hdres.

Change-Id: If239b272970eb302150bec13b8cf192fbe045332

Merge "Add high-precision sub-pixel search as a speed feature" into nextgenv2

Merge "Fix sub8x8 interpolation full pixel bug" into nextgenv2

Add high-precision sub-pixel search as a speed feature

Using the up-sampled reference frames in sub-pixel motion search is
enabled as a speed feature for good-quality mode speed 0 and speed 1.

Change-Id: Ieb454bf8c646ddb99e87bd64c8e74dbd78d84a50

Merge "Fix an overflow in highbitdepth loop restoration" into nextgenv2

Merge "convolve8 sse2 test" into nextgenv2

Merge "Complete (mostly) migration of palette mode" into nextgenv2

Merge "Fix a bug in ext-intra experiment" into nextgenv2

Fix an overflow in highbitdepth loop restoration

Change-Id: Ie20cd35a4c96443c0de234d2cf097187a70ec8dd

Merge "Fix compiler warnings" into nextgenv2

Fix a bug in ext-intra experiment

Change-Id: I6fab352eb1f7d9c5dc783a4d4d878b6b42838ca2

Fix compiler warnings

Change-Id: I00314ec296e8368f1239a556b3a55feac9cec7ae

Merge "Enable hybrid 1-D/2-D transform coding for highbd setting" into nextgenv2

Complete (mostly) migration of palette mode

Coding gain on screen_content is 12.2% (was 6.6%).

Some features such as frame-level color buffer, adaptive
entropy coding, are coming in future patches.

Change-Id: I2658cf5ec0cbb02cff685475759f3b68c9807697

Filling in speed feature functions for ext tx search

Filled in prune one and prune two. Prune three is still
being experimented with.

Change-Id: Ic07f828c448e86cacb0369aa3a9a0feb2edae054

Merge "Adds compound wedge prediction modes" into nextgenv2

Enable hybrid 1-D/2-D transform coding for highbd setting

This commit enables the hybrid 1-D/2-D transform coding scheme for
high bit-depth setting. It improves the compression performance of
ext-tx experiment by 0.98% for lowres_all set.

Change-Id: Ic27f5037f2c36b095a93b9f15dbae34bdcdf00aa

Adds compound wedge prediction modes

Incorporates wedge compound prediction modes.

Change-Id: Ie73b54b629105b9dcc5f3763be87f35b09ad2ec7

Merge "Fix an assertion condition in transform type search" into nextgenv2

Merge "Implemented DST 16x16 SSE2 intrinsics optimization" into nextgenv2

Merge "Add horizontal and vertical scan order for 1-D transform" into nextgenv2

Fix sub8x8 interpolation full pixel bug

Change-Id: I5df744dc6b21ed9dbbf6ddf38004f2a9e88b7d00

Fix an assertion condition in transform type search

Change-Id: I442475e559be2acdc1c2a3e5ca021b3de77adda5

Add horizontal and vertical scan order for 1-D transform

This commit enables the 1-D transform to use Manhattan grid vertical
and horizontal scan order for transform coefficient entropy coding.

Enabled in inter prediction mode, the hybrid 1D/2D transform coding
scheme outperforms the 2D-DCT based coding system used in VP9 by
lowres_all  1.7%
hdres_all   1.4%

As one coding option, in addition to the existing 17 other transform
types in ext-tx experiment, the 1D/2D hybrid transform improves
the coding gains:
lowres_all  2.2% -> 3.0%

Change-Id: I9cefa9d9e38224546d0afd67feecd9f8d4a16ab0

Refactor entropy coding of transform size

No performance change.

Change-Id: If35125fed909d89235b303514f77a33183bb36b3

Implemented DST 16x16 SSE2 intrinsics optimization

- Implemented fdst16_sse2(), fdst16_8col() against C version: fdst16().
- Turned on 7 DST related hybrid txfm types in vp10_fht16x16_sse2().
- Replaced vp10_fht10x10_c() with vp10_fht16x16_sse2() in
  fwd_txfm_16x16().
- Added vp10_fht16x16_sse2() unit test against C version:
  vp10_fht16x16_c() (--gtest_filter=*VP10Trans16x16*).
- Unit test passed.
- Speed improvement: 2.4%, 3.2%, 3.2%, for city_cif.y4m, garden_sif.y4m,
  and mobile_cif.y4m.

Change-Id: Ib30a67ce5d5964bef143d588d0f8fa438be8901f

Merge "Adds an ext-tile config flag to host new tiling" into nextgenv2

Merge "Fix several MSVC compiler warning/errors" into nextgenv2

Adds an ext-tile config flag to host new tiling

Change-Id: I6c3bf5545c42030b484a8aaf434b63bd409a0487

Fix several MSVC compiler warning/errors

Change-Id: Iccaacee9b7a66b016b5747a3902c236888ad4ba1

Merge "Added vp10_fht8x8_sse2() unit test" into nextgenv2

Merge "Calculate the distortion in pixel domain for sub8x8 rd selection" into nextgenv2

Calculate the distortion in pixel domain for sub8x8 rd selection

Pixel domain distortion calculation is enabled for the rd loop of
inter sub8x8 and intra 4x4 cases.

Coding gain: 0.124% derflr, 0.122% derfhd

Change-Id: I43b47fe81b4f5ccc1c66bc626bd310c413a1ed87

Added vp10_fht8x8_sse2() unit test

- Inherited base class TransformTestBase to derived class VP10Trans8x8HT.
- Employed RunCoeffCheck() to test vp10_fht8x8_sse2() against C reference
  function vp10_fht8x8_c().
- fdst8_sse2() related seven hybrid transform cases are covered in this
  test.
- Test passed (4 test cases w/o EXT_TX; 16 test cases with EXT_TX).

Change-Id: Id9a9b308c707164a120d9ceb2c30e572026fb1d0

Merge "ANS: Switch from PDFs to CDFs." into nextgenv2

Merge "Extend convolution functions to 128x128 for ext-partition." into nextgenv2

Merge "Make sharp filter 10 tap and makes sharp2 sharper" into nextgenv2

Merge "Added vp10_fht4x4_sse2() unit test" into nextgenv2

Merge "Hybrid 1-D/2-D transform coding" into nextgenv2

Hybrid 1-D/2-D transform coding

This commit enables a hybrid 1-D/2-D transform coding scheme and
the accompany entropy coding system. It currently uses hybrid
1-D/2-D DCT transform coding. It provides coding performance gains:

lowres_all  0.55%
hdres_all   0.43%

Change-Id: I2b30dcafd21eb2bb3371f6e854cbab440a4dfa78

Merge "Adding speed feature interface for ext tx search" into nextgenv2

Merge "Add 128 pixel variance and SAD functions" into nextgenv2

Extend convolution functions to 128x128 for ext-partition.

Change-Id: I7f7e26cd1d58eb38417200550c6fbf4108c9f942

Merge "Cleanup in get_uv_tx_size" into nextgenv2

Cleanup in get_uv_tx_size

Change-Id: Ia2aa7558f9f53da7dff970b30fe0a94958159ffb

Fix a bug in obmc prediction

For left side obmc, the input of the mask function is corrected as
the column coordinate.
Also, minor fixes for a compiler warning.

Change-Id: Ia981ef443d5b0285a93d73e5c7ab83f8c3a23464

Added vp10_fht4x4_sse2() unit test

Inherited class TransformTestBase to derived class VP10Trans4x4HT.
Employed RunCoeffCheck() to test vp10_fht4x4_sse2() against
C reference vp10_fht4x4_c().
fdst4_sse2() related seven hybrid transform cases are covered
 in this test.
Wrote a header file for test base class. Some modification to
make sure the base class can be used for 8x8, 16x16, 32x32 cases.
All related tests passed.

Change-Id: I6b19a39d3ea30b657847781e78e73b829998a57a

Adding speed feature interface for ext tx search

This sets up the interface for 3 speed features that progressively
eliminate a greater number of transforms in ext tx using
pre-trained support vector machines.
Each speed feature still needs to be implemented.

Change-Id: Ia508aeadc0cffdc080fb227f357a5d1dfbca08e2

Merge "Apply mv precision check to reference mv candidate" into nextgenv2

Merge "Properly restore transform block skip flag in RD search" into nextgenv2

Properly restore transform block skip flag in RD search

This commit fixes an encoding issue related to var-tx and ref-mv
experiments that causes the codec to use random values for transform
block skip flag.

Change-Id: I8daa6d6b88ea45b5bbeb81b43dd0eeff545c8e5a

Merge "Fixed a computation bug in fdct16_sse2()" into nextgenv2

Make sharp filter 10 tap and makes sharp2 sharper

There is a ~0.1% gain.

Various experiments with different kinds of windowing functions to
follow.

Change-Id: I0787fddca53607ab39e53f919066839301938e68

Add 128 pixel variance and SAD functions

Change-Id: I8fde245b32c9e586683a28aa6925da0b83850b39

ANS: Switch from PDFs to CDFs.

Make the RANS implementation operate on cumulative distribution
functions rather than individual probability distribution functions.
CDFs have shown themselves more flexible to work with.

Reduces decoding memory usage from scaling O(num_distributions *
symbol_resolution) to O(num_distributions).

No bitstream change. This is an purely implementation change.

Change-Id: I4e18d3a0a3d37a36a61487c3d778f9d088b0b374

Apply mv precision check to reference mv candidate

This allows the codec to use effective motion vector as the candidate
to produce the reference motion vector list.

Change-Id: Ib90be705fe28200c13376d6d7741800a61f13043

Fixed a computation bug in fdct16_sse2()

fdct16_sse2() was not bit-exact with C reference, fdct16().
The inconsistency was found by writing a unit test for
vp10_fht16x16_sse2().  Since the unit test needs a pending
change on the inherited base class.  I will commit this unit
test after making a header file for this base class.
Passed the uncommitted unit test: vp10_fht16x16_test.cc.

Change-Id: If2b617883c633a3ea90c19e1d018240c8007102b

Fix a bug in vp10_predict_intra_block

Avoid mistakenly setting "have_right" as 0 for UV channel in blocks
of width no larger than 8.

Change-Id: Ic2b031e32f967a23fd118a052bf9edd7d5a3abe6

Merge "Adds masked variance and sad functions for wedge" into nextgenv2

Adds masked variance and sad functions for wedge

Adds masked variance and sad functions needed for wedge
prediction modes to come.

Change-Id: I25b231bbc345e6a494316abb0a7d5cd5586a3a54

Merge "Fix a unused function warning with var_tx on" into nextgenv2

Merge "Fix a couple of minor bugs in vp10_has_right and vp10_has_bottom" into nextgenv2

Minor fix in header files

Move functions to be included in extern "C".

Change-Id: If57fa5eb7955763cf99e6839dde4d7221fad75ea

Merge "Fix an overflow issue for HBD" into nextgenv2

Fix a unused function warning with var_tx on

Change-Id: I1e65d7e1586d8c7c65bb150b1a928cf3adf97366

Fix a couple of minor bugs in vp10_has_right and vp10_has_bottom

The above-right and left-bottom pixels were sometimes not used even
though they are available. Results on lowres_all and hdres_all are
mostly neutral.

Change-Id: Ic13533dd498442ad5592b83bb5fabf053cc8e8f0

Fix an overflow issue for HBD

The sum of squared value of a block can overflow 32bit, this commit
changes to use int64_t to avoid the overflow issue.

Change-Id: I78fcd6999634f186f86d649cfce85d97a993d040

Update obmc counts in multithread mode

Change-Id: I0743e00dad9d36a87870c480922f5ae904bd5c9d

Do sub-pixel motion search in up-sampled reference frames

Up-sampled the reference frames to 8 times in each dimension using
the 8-tap interpolation filter. In sub-pixel motion search, use the
up-sampled reference frames to find the best matching blocks. This
largely improved the motion search precision, and thus, improved
the compression quality. There was no change in decoder side.

Borg test and speed test results:
1. On derflr set,
Overall PSNR gain: 1.306%, and SSIM gain: 1.512%.
Average speed loss on derf set was 6.0%.
2. On stdhd set,
Overall PSNR gain: 0.754%, and SSIM gain: 0.814%.
On hevchd set,
Overall PSNR gain: 0.465%, and SSIM gain: 0.527%.
Speed loss on HD clips was 3.5%.

Change-Id: I300ebaafff57e88914f3dedc8784cb21d316b04f

A build fix and some other cosmetic changes

Fixes some issues introduced by a merge of two patches.
Also decouples the temporal interpolation filter from the switchable
filters for now for ease of experimentation with both separately.

Change-Id: If1c7c08adf00e0cf818fe8d0d3656c26ea65eb32

Merge "Some refactoring and cleanups of interp filter" into nextgenv2

Merge "Fix compiler warnings" into nextgenv2

Merge "Enable improved temporal filter in ext-interp experiment" into nextgenv2

Merge "Unify frame border extension operation" into nextgenv2

Some refactoring and cleanups of interp filter

Includes various cosmetic changes and refactoring including
naming the sharp filters differently (since they are no longer
8-tap).

Change-Id: Ida5a19ca0daa9f6a64a6734394c685b2a4a2564a

Enable improved temporal filter in ext-interp experiment

It improves the coding performance by 0.3%.

Change-Id: I9703abd705ceacdf9e7424428e5120253cadcc18