Properly set rate_nocoef when pallete mode is used

Change-Id: Iff04c82b3d3b5cf2c7700717c3c3d678bbbb9f9b

Merge "Enable dynamic motion vector referencing for newmv mode" into nextgenv2

Merge "Add ext_partition_types config option" into nextgenv2

Merge "Refactor bsse and skip_txfm in MACROBLOCK." into nextgenv2

Merge "Refactor save_context restore_context in rd_pick_partition." into nextgenv2

Merge "Refactor mbmi->inter_tx_size to 2D array." into nextgenv2

Merge "Remove prune three from speed features" into nextgenv2

Remove prune three from speed features

Not getting good results for this feature, will try again
when transforms are frozen.

Change-Id: Id12396786cb9369ad34d0bd845f7beba3a037726

Two minor logic fixes

Change-Id: I1d5624fb2f34f87a55613036851034ec7c2d0b76

Enable dynamic motion vector referencing for newmv mode

This commit enables the dynamic motion vector predictor for NEWMV
mode. It allows the codec to select the best motion vector predictor
in a rate-distortion optimization framework for motion vector
residual coding. The compression performance is improved:
lowres  0.14%
midres  0.27%
hdres   0.24%

Change-Id: I6a601c74eb6cb0b71a613336d40363359f2edecd

Refactor bsse and skip_txfm in MACROBLOCK.

Simple refactoring to 2 dimensional arrays, in preparation for 128
wide superblocks.

Change-Id: I40d447bd9fbd4f755534ea3cc82fc8f4676cea07

Refactor mbmi->inter_tx_size to 2D array.

This is in preparation of increasing the superblock size.

Change-Id: I9197e397399fbe8aec1178a45ea0337dd90412d7

Add ext_partition_types config option

Change-Id: I91d280a64d1da77be31004ea91d08d1a70529e42

Merge "Minor bug fix in ex-intra experiment" into nextgenv2

Minor bug fix in ex-intra experiment

No performance change observed from borg tests.

Change-Id: I20c232c5dde8cfc84452a4c7185389bd8b812ffd

Merge "Fix hbd segfault for prune_one and prune_two" into nextgenv2

Refactor: call inv_txfm_add

Change-Id: I52c209a5db1b4a6525c04b70291a08ab5a68c6fe

Refactor:Merge inverse_transform_block_inter/intra

Merge inverse_transform_block_inter inverse_transform_block_intra
to inverse_transform_block

Change-Id: I0f561830e639e3bf8d831c28a7c784cb0c4c8b09

Merge "add dct 64x64 transform" into nextgenv2

Fix hbd segfault for prune_one and prune_two

Change-Id: I71da102550aa7d81961e5f10c71058d5fa8dc6c4

Refactor save_context restore_context in rd_pick_partition.

This is a cosmetic patch that removes a great deal of conditional
compilation around CONFIG_VAR_TX from the partition search function.

Change-Id: I9dcef9d4fe6847b793c77bdf565a5cacbdfacd59

Merge "Properly save and restore skip related variables" into nextgenv2

add dct 64x64 transform

Change-Id: I131c4d1216cd156e520b8a91c4438c2d3c6602cb

Merge "Optimize HBD up-sampled prediction functions" into nextgenv2

Properly save and restore skip related variables

Change-Id: Id52744e140585c08d047fb395b75ac9318a0b4c3

Merge "remove filter_cache" into nextgenv2

Factor out zeroing above and left context.

Change-Id: I6e5d8cff869c7415a924f845c9e6ccaabe2b7a9b

Fix build without supertx.

Change-Id: Ib60821487710f6cf06aaa8ddcbdd5487ba1cbe4f

Merge "Properly set the estimate of rate_nocoef" into nextgenv2

Properly set the estimate of rate_nocoef

This commit fixes the computation of rate_nocoef for situation when
rate_y is uninitialized at INT_MAX for  x->skip is true.

Change-Id: If3dde4e4ee16667f4408067d3bb3084f916272f1

remove filter_cache

PSNR test
        lowres  hdres
lowbd   -0.013  0.067
highbd  -0.044  0.039

Change-Id: Iefdb1e966bd004b2027456778185b675e8fb9b81

Merge "Add "entropy" experiment flag" into nextgenv2

Merge "Refactor 1D transforms" into nextgenv2

Add "entropy" experiment flag

For experiments to improve compression efficiency of entropy coding.

Change-Id: Idf30dc554bd7eea3a79d21d18515c3e6b8f64b26

Merge "Fix copy/zero macros." into nextgenv2

Merge "Turn off 32x32 transform type selection" into nextgenv2

Fix copy/zero macros.

Change-Id: I2df3b6ecd35406ee05c2aa4e49be779e73e1bdc6

Refactor 1D transforms

In preparation for adding more 1D variants with ADST/FlipADST/etc.

BDRATE actually improves by 0.21% on lowres.

Change-Id: I2fa4720c69fe001fa666119a284dfc6b17fffab2

Optimize HBD up-sampled prediction functions

Optimized 2 up-sampled reference prediction functions in high-bit
depth case. This reduced the HBD encoding time by 3%.

Change-Id: I8663ffb5234f5e70168c0fc9ca676309fe8e98f2

Merge "Fix typos in unit tests" into nextgenv2

Merge "Speed up rd selection in OBMC experiment" into nextgenv2

Fix typos in unit tests

Change-Id: Idff52b337ab2d494c0c26e0d2c71ab3ee8208691

Speed up rd selection in OBMC experiment

Instead of testing all interpfilter-BMC/OBMC combinations, we choose
the best interpolation filter based on regular inter prediction.

Reduction in encoding time: ~10%
Drop in performance gain: 0.08% lowres, 0.04% midres

Change-Id: Ifc19097a918ac76b529db9af4c60e2c70e93f7ad

Turn off 32x32 transform type selection

Temporarily disable transform type selection for 32x32 transform
block size. This speeds up the encoding process. For bus at CIF
150 frames, the encoding time goes from 896s -> 762s (11% faster).
The compression performance for lowres set is improved by 0.15%,
and -0.029% for hdres.

Change-Id: If239b272970eb302150bec13b8cf192fbe045332

Merge "Add high-precision sub-pixel search as a speed feature" into nextgenv2

Merge "Fix sub8x8 interpolation full pixel bug" into nextgenv2

Add high-precision sub-pixel search as a speed feature

Using the up-sampled reference frames in sub-pixel motion search is
enabled as a speed feature for good-quality mode speed 0 and speed 1.

Change-Id: Ieb454bf8c646ddb99e87bd64c8e74dbd78d84a50

Merge "Fix an overflow in highbitdepth loop restoration" into nextgenv2

Merge "convolve8 sse2 test" into nextgenv2

Merge "Complete (mostly) migration of palette mode" into nextgenv2

Merge "Fix a bug in ext-intra experiment" into nextgenv2

Fix an overflow in highbitdepth loop restoration

Change-Id: Ie20cd35a4c96443c0de234d2cf097187a70ec8dd

Merge "Fix compiler warnings" into nextgenv2

Fix a bug in ext-intra experiment

Change-Id: I6fab352eb1f7d9c5dc783a4d4d878b6b42838ca2

Fix compiler warnings

Change-Id: I00314ec296e8368f1239a556b3a55feac9cec7ae

Merge "Enable hybrid 1-D/2-D transform coding for highbd setting" into nextgenv2

Complete (mostly) migration of palette mode

Coding gain on screen_content is 12.2% (was 6.6%).

Some features such as frame-level color buffer, adaptive
entropy coding, are coming in future patches.

Change-Id: I2658cf5ec0cbb02cff685475759f3b68c9807697

Filling in speed feature functions for ext tx search

Filled in prune one and prune two. Prune three is still
being experimented with.

Change-Id: Ic07f828c448e86cacb0369aa3a9a0feb2edae054

Merge "Adds compound wedge prediction modes" into nextgenv2

Enable hybrid 1-D/2-D transform coding for highbd setting

This commit enables the hybrid 1-D/2-D transform coding scheme for
high bit-depth setting. It improves the compression performance of
ext-tx experiment by 0.98% for lowres_all set.

Change-Id: Ic27f5037f2c36b095a93b9f15dbae34bdcdf00aa

Adds compound wedge prediction modes

Incorporates wedge compound prediction modes.

Change-Id: Ie73b54b629105b9dcc5f3763be87f35b09ad2ec7

Merge "Fix an assertion condition in transform type search" into nextgenv2

Merge "Implemented DST 16x16 SSE2 intrinsics optimization" into nextgenv2

Merge "Add horizontal and vertical scan order for 1-D transform" into nextgenv2

Fix sub8x8 interpolation full pixel bug

Change-Id: I5df744dc6b21ed9dbbf6ddf38004f2a9e88b7d00

Fix an assertion condition in transform type search

Change-Id: I442475e559be2acdc1c2a3e5ca021b3de77adda5

Add horizontal and vertical scan order for 1-D transform

This commit enables the 1-D transform to use Manhattan grid vertical
and horizontal scan order for transform coefficient entropy coding.

Enabled in inter prediction mode, the hybrid 1D/2D transform coding
scheme outperforms the 2D-DCT based coding system used in VP9 by
lowres_all  1.7%
hdres_all   1.4%

As one coding option, in addition to the existing 17 other transform
types in ext-tx experiment, the 1D/2D hybrid transform improves
the coding gains:
lowres_all  2.2% -> 3.0%

Change-Id: I9cefa9d9e38224546d0afd67feecd9f8d4a16ab0

Refactor entropy coding of transform size

No performance change.

Change-Id: If35125fed909d89235b303514f77a33183bb36b3

Implemented DST 16x16 SSE2 intrinsics optimization

- Implemented fdst16_sse2(), fdst16_8col() against C version: fdst16().
- Turned on 7 DST related hybrid txfm types in vp10_fht16x16_sse2().
- Replaced vp10_fht10x10_c() with vp10_fht16x16_sse2() in
  fwd_txfm_16x16().
- Added vp10_fht16x16_sse2() unit test against C version:
  vp10_fht16x16_c() (--gtest_filter=*VP10Trans16x16*).
- Unit test passed.
- Speed improvement: 2.4%, 3.2%, 3.2%, for city_cif.y4m, garden_sif.y4m,
  and mobile_cif.y4m.

Change-Id: Ib30a67ce5d5964bef143d588d0f8fa438be8901f

Merge "Adds an ext-tile config flag to host new tiling" into nextgenv2

Merge "Fix several MSVC compiler warning/errors" into nextgenv2

Adds an ext-tile config flag to host new tiling

Change-Id: I6c3bf5545c42030b484a8aaf434b63bd409a0487

Fix several MSVC compiler warning/errors

Change-Id: Iccaacee9b7a66b016b5747a3902c236888ad4ba1

Merge "Added vp10_fht8x8_sse2() unit test" into nextgenv2

Merge "Calculate the distortion in pixel domain for sub8x8 rd selection" into nextgenv2

Calculate the distortion in pixel domain for sub8x8 rd selection

Pixel domain distortion calculation is enabled for the rd loop of
inter sub8x8 and intra 4x4 cases.

Coding gain: 0.124% derflr, 0.122% derfhd

Change-Id: I43b47fe81b4f5ccc1c66bc626bd310c413a1ed87

Added vp10_fht8x8_sse2() unit test

- Inherited base class TransformTestBase to derived class VP10Trans8x8HT.
- Employed RunCoeffCheck() to test vp10_fht8x8_sse2() against C reference
  function vp10_fht8x8_c().
- fdst8_sse2() related seven hybrid transform cases are covered in this
  test.
- Test passed (4 test cases w/o EXT_TX; 16 test cases with EXT_TX).

Change-Id: Id9a9b308c707164a120d9ceb2c30e572026fb1d0

Merge "ANS: Switch from PDFs to CDFs." into nextgenv2

Merge "Extend convolution functions to 128x128 for ext-partition." into nextgenv2

Merge "Make sharp filter 10 tap and makes sharp2 sharper" into nextgenv2

Merge "Added vp10_fht4x4_sse2() unit test" into nextgenv2

Merge "Hybrid 1-D/2-D transform coding" into nextgenv2

Hybrid 1-D/2-D transform coding

This commit enables a hybrid 1-D/2-D transform coding scheme and
the accompany entropy coding system. It currently uses hybrid
1-D/2-D DCT transform coding. It provides coding performance gains:

lowres_all  0.55%
hdres_all   0.43%

Change-Id: I2b30dcafd21eb2bb3371f6e854cbab440a4dfa78

Merge "Adding speed feature interface for ext tx search" into nextgenv2

Merge "Add 128 pixel variance and SAD functions" into nextgenv2

Extend convolution functions to 128x128 for ext-partition.

Change-Id: I7f7e26cd1d58eb38417200550c6fbf4108c9f942

Merge "Cleanup in get_uv_tx_size" into nextgenv2

Cleanup in get_uv_tx_size

Change-Id: Ia2aa7558f9f53da7dff970b30fe0a94958159ffb

Fix a bug in obmc prediction

For left side obmc, the input of the mask function is corrected as
the column coordinate.
Also, minor fixes for a compiler warning.

Change-Id: Ia981ef443d5b0285a93d73e5c7ab83f8c3a23464

Added vp10_fht4x4_sse2() unit test

Inherited class TransformTestBase to derived class VP10Trans4x4HT.
Employed RunCoeffCheck() to test vp10_fht4x4_sse2() against
C reference vp10_fht4x4_c().
fdst4_sse2() related seven hybrid transform cases are covered
 in this test.
Wrote a header file for test base class. Some modification to
make sure the base class can be used for 8x8, 16x16, 32x32 cases.
All related tests passed.

Change-Id: I6b19a39d3ea30b657847781e78e73b829998a57a

Adding speed feature interface for ext tx search

This sets up the interface for 3 speed features that progressively
eliminate a greater number of transforms in ext tx using
pre-trained support vector machines.
Each speed feature still needs to be implemented.

Change-Id: Ia508aeadc0cffdc080fb227f357a5d1dfbca08e2

Merge "Apply mv precision check to reference mv candidate" into nextgenv2

Merge "Properly restore transform block skip flag in RD search" into nextgenv2

Properly restore transform block skip flag in RD search

This commit fixes an encoding issue related to var-tx and ref-mv
experiments that causes the codec to use random values for transform
block skip flag.

Change-Id: I8daa6d6b88ea45b5bbeb81b43dd0eeff545c8e5a

Merge "Fixed a computation bug in fdct16_sse2()" into nextgenv2

Make sharp filter 10 tap and makes sharp2 sharper

There is a ~0.1% gain.

Various experiments with different kinds of windowing functions to
follow.

Change-Id: I0787fddca53607ab39e53f919066839301938e68

Add 128 pixel variance and SAD functions

Change-Id: I8fde245b32c9e586683a28aa6925da0b83850b39

ANS: Switch from PDFs to CDFs.

Make the RANS implementation operate on cumulative distribution
functions rather than individual probability distribution functions.
CDFs have shown themselves more flexible to work with.

Reduces decoding memory usage from scaling O(num_distributions *
symbol_resolution) to O(num_distributions).

No bitstream change. This is an purely implementation change.

Change-Id: I4e18d3a0a3d37a36a61487c3d778f9d088b0b374

Apply mv precision check to reference mv candidate

This allows the codec to use effective motion vector as the candidate
to produce the reference motion vector list.

Change-Id: Ib90be705fe28200c13376d6d7741800a61f13043

Fixed a computation bug in fdct16_sse2()

fdct16_sse2() was not bit-exact with C reference, fdct16().
The inconsistency was found by writing a unit test for
vp10_fht16x16_sse2().  Since the unit test needs a pending
change on the inherited base class.  I will commit this unit
test after making a header file for this base class.
Passed the uncommitted unit test: vp10_fht16x16_test.cc.

Change-Id: If2b617883c633a3ea90c19e1d018240c8007102b