Call vp10_fwd_txfm_4x4 in encode_inter_mb_segment

Change-Id: Ieabe5534e5f4fb3f2d751a3cfc682208b3913715

Merge "Highbd fht4x4 SSE4.1 optimization for DCT_DCT mode - Setup function vp10_highbd_fht4x4_sse4_1 for highbd SSE4.1   intrinsics optimization. - Wrote SSE4.1 functions: load_buffer_4x4(), write_buffer_4x4(),   and fdct4x4_sse4_1(). - Used logic right shift to avoid coeff memory write/read. - Turned on vp10_highbd_fht4x4_sse4_1 for DCT_DCT mode only. - Improved overall encoding performance >2.3% for 50 frames   sequence, park_joy_1080p_12.y4m, in which, --input-bit-depth=12,   --bit-depth=12, 50 frames. - Unit test passed." into nextgenv2

Merge "Add "entropy" experiment" into nextgenv2

Merge "Add buf_ans.h to the Makefile." into nextgenv2

Merge "Add some ANS helpers needed to replace the vpx bool coder with pure ANS." into nextgenv2

Merge "Small speed up for super_block_uvrd" into nextgenv2

Highbd fht4x4 SSE4.1 optimization for DCT_DCT mode
- Setup function vp10_highbd_fht4x4_sse4_1 for highbd SSE4.1
  intrinsics optimization.
- Wrote SSE4.1 functions: load_buffer_4x4(), write_buffer_4x4(),
  and fdct4x4_sse4_1().
- Used logic right shift to avoid coeff memory write/read.
- Turned on vp10_highbd_fht4x4_sse4_1 for DCT_DCT mode only.
- Improved overall encoding performance >2.3% for 50 frames
  sequence, park_joy_1080p_12.y4m, in which, --input-bit-depth=12,
  --bit-depth=12, 50 frames.
- Unit test passed.

Change-Id: Idd6dc6e472cbbf235f0ade4f66fbe859a860a004

Merge "Porting ext_partition experiment from nextgen" into nextgenv2

Make the tile independence test shorter

Uses 15 frames instead of 30. Also only test speed 0 for VP10.

Change-Id: Icace050edd974622d83bdf843058f63bd8d3a84b

Add some ANS helpers needed to replace the vpx bool coder with pure ANS.

Change-Id: I32b63fca020c410cef16e93379b4e6e281ccbccd

Merge "Refactor prediction functions of OBMC" into nextgenv2

Porting ext_partition experiment from nextgen

This has been ported under ext_partition_types because it is due
to be combined with the coding_unit_size experiment which is
already being ported under ext_partition

Change-Id: I47af869ae123ddf0aa99160dac644059d14266ee

Wrap write_modes functions with macros to avoid ifdefs at all the callsites.

Change-Id: I5a960bf63ec404f0fbfe6a404f436ef4122a219d

Merge "mv vp10_fwd_txfm2d_#x# into vp10_rtcd.h" into nextgenv2

Merge "Passing TXFM_TYPE instead of func pointer" into nextgenv2

Merge "Refactor transform type-size search function" into nextgenv2

Merge "Refactor sub8x8 reference motion vector search function" into nextgenv2

Merge "Rework the DRL syntax entropy coding system" into nextgenv2

Refactor prediction functions of OBMC

Merge the functions that generate prediction by above/left predictors
for the encoder and the decoder.

Change-Id: I57e53a8f2eb8d3028c4ed0c9abdcbf00503f95a0

Refactor transform type-size search function

Decompose choose_tx_size_from_rd into three functions that determine
the transform coding rd at different stages. Besides the original
function, txfm_yrd() calculates the rd for fixed size and type.
choose_tx_size_fix_type() fixes the type and searches for the size.
It can enable other experiments to do restricted tx searches so as to
reduce the impact on speed.
Similar refactoring is done for select_tx_type_yrd() in VAR_TX.

Performance change in baseline is trivial:
0.014/0.001/-0.020 for lowres/midres/hdres.

Change-Id: I2ecbf6066329be088ec1bfb69013b657b14b8afe

Add buf_ans.h to the Makefile.

Change-Id: I6339912d240a1c2c3aa2f7303e7ca4d9721a29f4

Merge "Properly set rate_nocoef when pallete mode is used" into nextgenv2

Merge "Adds 1D transforms for ADST/FlipADST to make 16" into nextgenv2

Write MB tokens using the forward buffered ANS writer.

This allows sharing more code paths with the rest of the code an allows
for easier compatibility with the other experiments.

Change-Id: Id288b533805a4d0657ec2f17542f2e6ad23ebdb4

Merge "Add a placeholder forward buffered ANS coder." into nextgenv2

Adds 1D transforms for ADST/FlipADST to make 16

Makes a set of 16 transforms total, adding all 1D
combinations of ADST and FlipADST, and removng all DST
transforms.

lowres, midres both improve by about 0.1% and hdres by
-0.378% in BDRATE but with fewer transforms that are also
simpler.

Further experiments to continue later.

Change-Id: I7348a4c0e12078fdea5ae3a2d36a89a319ffcc6e

Properly set rate_nocoef when pallete mode is used

Change-Id: Iff04c82b3d3b5cf2c7700717c3c3d678bbbb9f9b

mv vp10_fwd_txfm2d_#x# into vp10_rtcd.h

Change-Id: Iad7352698786791b0fd7c005a7edfd1724b71599

Passing TXFM_TYPE instead of func pointer

This is to facilitate sse2 implementation

Change-Id: Id2f53e83c5508c4445d9b1bba00a649cb4da6b74

Refactor sub8x8 reference motion vector search function

Rework the interface to allow codec store the reference motion
vector list information for coding process.

Change-Id: I47e26587f6c0808655e4626f316ec7614a7ad8ed

Rework the DRL syntax entropy coding system

This commit re-designs the probability model for the syntax elements
of the dynamic motion vector referencing system.

Change-Id: Icfb8203c7e8f64e10e99f5890e25e6f6b15fe5d1

Merge "Enable dynamic motion vector referencing for newmv mode" into nextgenv2

Merge "Add ext_partition_types config option" into nextgenv2

Merge "Refactor bsse and skip_txfm in MACROBLOCK." into nextgenv2

Merge "Refactor save_context restore_context in rd_pick_partition." into nextgenv2

Merge "Refactor mbmi->inter_tx_size to 2D array." into nextgenv2

Merge "Remove prune three from speed features" into nextgenv2

Remove prune three from speed features

Not getting good results for this feature, will try again
when transforms are frozen.

Change-Id: Id12396786cb9369ad34d0bd845f7beba3a037726

Add a placeholder forward buffered ANS coder.

This buffered ANS coder supports coding the symbols in forward (decode)
order. Rather than windowing or growing the buffer, right now this
coder merely asserts that the buffer will never overflow.

This approach should allow ANS to be used as a drop in replacement for
other entropy coders rather than requiring complicated reversal logic
throughout the codebase.

Change-Id: I6689271233d0e22fea94c51950415dad5af96598

Two minor logic fixes

Change-Id: I1d5624fb2f34f87a55613036851034ec7c2d0b76

Enable dynamic motion vector referencing for newmv mode

This commit enables the dynamic motion vector predictor for NEWMV
mode. It allows the codec to select the best motion vector predictor
in a rate-distortion optimization framework for motion vector
residual coding. The compression performance is improved:
lowres  0.14%
midres  0.27%
hdres   0.24%

Change-Id: I6a601c74eb6cb0b71a613336d40363359f2edecd

Small speed up for super_block_uvrd

Eearly termination if U plane RD cost is large enough.

No notable compression performance changes.

Change-Id: Ieeefc5859cb55d94391b502b4bd840bc8bcb2578

Refactor bsse and skip_txfm in MACROBLOCK.

Simple refactoring to 2 dimensional arrays, in preparation for 128
wide superblocks.

Change-Id: I40d447bd9fbd4f755534ea3cc82fc8f4676cea07

Refactor mbmi->inter_tx_size to 2D array.

This is in preparation of increasing the superblock size.

Change-Id: I9197e397399fbe8aec1178a45ea0337dd90412d7

Add ext_partition_types config option

Change-Id: I91d280a64d1da77be31004ea91d08d1a70529e42

Merge "Minor bug fix in ex-intra experiment" into nextgenv2

Minor bug fix in ex-intra experiment

No performance change observed from borg tests.

Change-Id: I20c232c5dde8cfc84452a4c7185389bd8b812ffd

Merge "Fix hbd segfault for prune_one and prune_two" into nextgenv2

Refactor: call inv_txfm_add

Change-Id: I52c209a5db1b4a6525c04b70291a08ab5a68c6fe

Refactor:Merge inverse_transform_block_inter/intra

Merge inverse_transform_block_inter inverse_transform_block_intra
to inverse_transform_block

Change-Id: I0f561830e639e3bf8d831c28a7c784cb0c4c8b09

Merge "add dct 64x64 transform" into nextgenv2

Fix hbd segfault for prune_one and prune_two

Change-Id: I71da102550aa7d81961e5f10c71058d5fa8dc6c4

Refactor save_context restore_context in rd_pick_partition.

This is a cosmetic patch that removes a great deal of conditional
compilation around CONFIG_VAR_TX from the partition search function.

Change-Id: I9dcef9d4fe6847b793c77bdf565a5cacbdfacd59

Merge "Properly save and restore skip related variables" into nextgenv2

add dct 64x64 transform

Change-Id: I131c4d1216cd156e520b8a91c4438c2d3c6602cb

Merge "Optimize HBD up-sampled prediction functions" into nextgenv2

Properly save and restore skip related variables

Change-Id: Id52744e140585c08d047fb395b75ac9318a0b4c3

Add "entropy" experiment

This patch added two features to improve entropy coding efficiency
for coefficient tokens.

1. Choose 1 of 4 default probability tables based on q-index for
key-frames.
It is ported from nextgen branch:
https://chromium-review.googlesource.com/#/c/280586/

2. Do backward update after each superblock (64X64) row using
subframe token counts.

Coding gain: 0.1% on lowres; 0.42% on midres; 0.36% on hdres.
Much larger gain for key-frames: 2.6%, 2.3%, 1.7%.

Design doc: go/huisu-entropy

Change-Id: Ia3b6a615636be09247d70e4c520405637561532b

Merge "remove filter_cache" into nextgenv2

Factor out zeroing above and left context.

Change-Id: I6e5d8cff869c7415a924f845c9e6ccaabe2b7a9b

Fix build without supertx.

Change-Id: Ib60821487710f6cf06aaa8ddcbdd5487ba1cbe4f

Merge "Properly set the estimate of rate_nocoef" into nextgenv2

Properly set the estimate of rate_nocoef

This commit fixes the computation of rate_nocoef for situation when
rate_y is uninitialized at INT_MAX for  x->skip is true.

Change-Id: If3dde4e4ee16667f4408067d3bb3084f916272f1

remove filter_cache

PSNR test
        lowres  hdres
lowbd   -0.013  0.067
highbd  -0.044  0.039

Change-Id: Iefdb1e966bd004b2027456778185b675e8fb9b81

Merge "Add "entropy" experiment flag" into nextgenv2

Merge "Refactor 1D transforms" into nextgenv2

Add "entropy" experiment flag

For experiments to improve compression efficiency of entropy coding.

Change-Id: Idf30dc554bd7eea3a79d21d18515c3e6b8f64b26

Merge "Fix copy/zero macros." into nextgenv2

Merge "Turn off 32x32 transform type selection" into nextgenv2

Fix copy/zero macros.

Change-Id: I2df3b6ecd35406ee05c2aa4e49be779e73e1bdc6

Refactor 1D transforms

In preparation for adding more 1D variants with ADST/FlipADST/etc.

BDRATE actually improves by 0.21% on lowres.

Change-Id: I2fa4720c69fe001fa666119a284dfc6b17fffab2

Optimize HBD up-sampled prediction functions

Optimized 2 up-sampled reference prediction functions in high-bit
depth case. This reduced the HBD encoding time by 3%.

Change-Id: I8663ffb5234f5e70168c0fc9ca676309fe8e98f2

Merge "Fix typos in unit tests" into nextgenv2

Merge "Speed up rd selection in OBMC experiment" into nextgenv2

Fix typos in unit tests

Change-Id: Idff52b337ab2d494c0c26e0d2c71ab3ee8208691

Speed up rd selection in OBMC experiment

Instead of testing all interpfilter-BMC/OBMC combinations, we choose
the best interpolation filter based on regular inter prediction.

Reduction in encoding time: ~10%
Drop in performance gain: 0.08% lowres, 0.04% midres

Change-Id: Ifc19097a918ac76b529db9af4c60e2c70e93f7ad

Turn off 32x32 transform type selection

Temporarily disable transform type selection for 32x32 transform
block size. This speeds up the encoding process. For bus at CIF
150 frames, the encoding time goes from 896s -> 762s (11% faster).
The compression performance for lowres set is improved by 0.15%,
and -0.029% for hdres.

Change-Id: If239b272970eb302150bec13b8cf192fbe045332

Merge "Add high-precision sub-pixel search as a speed feature" into nextgenv2

Merge "Fix sub8x8 interpolation full pixel bug" into nextgenv2

Add high-precision sub-pixel search as a speed feature

Using the up-sampled reference frames in sub-pixel motion search is
enabled as a speed feature for good-quality mode speed 0 and speed 1.

Change-Id: Ieb454bf8c646ddb99e87bd64c8e74dbd78d84a50

Merge "Fix an overflow in highbitdepth loop restoration" into nextgenv2

Merge "convolve8 sse2 test" into nextgenv2

Merge "Complete (mostly) migration of palette mode" into nextgenv2

Merge "Fix a bug in ext-intra experiment" into nextgenv2

Fix an overflow in highbitdepth loop restoration

Change-Id: Ie20cd35a4c96443c0de234d2cf097187a70ec8dd

Merge "Fix compiler warnings" into nextgenv2

Fix a bug in ext-intra experiment

Change-Id: I6fab352eb1f7d9c5dc783a4d4d878b6b42838ca2

Fix compiler warnings

Change-Id: I00314ec296e8368f1239a556b3a55feac9cec7ae

Merge "Enable hybrid 1-D/2-D transform coding for highbd setting" into nextgenv2

Complete (mostly) migration of palette mode

Coding gain on screen_content is 12.2% (was 6.6%).

Some features such as frame-level color buffer, adaptive
entropy coding, are coming in future patches.

Change-Id: I2658cf5ec0cbb02cff685475759f3b68c9807697

Filling in speed feature functions for ext tx search

Filled in prune one and prune two. Prune three is still
being experimented with.

Change-Id: Ic07f828c448e86cacb0369aa3a9a0feb2edae054

Merge "Adds compound wedge prediction modes" into nextgenv2

Enable hybrid 1-D/2-D transform coding for highbd setting

This commit enables the hybrid 1-D/2-D transform coding scheme for
high bit-depth setting. It improves the compression performance of
ext-tx experiment by 0.98% for lowres_all set.

Change-Id: Ic27f5037f2c36b095a93b9f15dbae34bdcdf00aa

Adds compound wedge prediction modes

Incorporates wedge compound prediction modes.

Change-Id: Ie73b54b629105b9dcc5f3763be87f35b09ad2ec7

Merge "Fix an assertion condition in transform type search" into nextgenv2

Merge "Implemented DST 16x16 SSE2 intrinsics optimization" into nextgenv2

Merge "Add horizontal and vertical scan order for 1-D transform" into nextgenv2

Fix sub8x8 interpolation full pixel bug

Change-Id: I5df744dc6b21ed9dbbf6ddf38004f2a9e88b7d00

Fix an assertion condition in transform type search

Change-Id: I442475e559be2acdc1c2a3e5ca021b3de77adda5

Add horizontal and vertical scan order for 1-D transform

This commit enables the 1-D transform to use Manhattan grid vertical
and horizontal scan order for transform coefficient entropy coding.

Enabled in inter prediction mode, the hybrid 1D/2D transform coding
scheme outperforms the 2D-DCT based coding system used in VP9 by
lowres_all  1.7%
hdres_all   1.4%

As one coding option, in addition to the existing 17 other transform
types in ext-tx experiment, the 1D/2D hybrid transform improves
the coding gains:
lowres_all  2.2% -> 3.0%

Change-Id: I9cefa9d9e38224546d0afd67feecd9f8d4a16ab0