Separate coefficient cost of U/V planes in write_modes_b()

Change-Id: Ie3082db5b0fead8c322b2aeede4eff7cd723ea12

Add av1_ prefix on ###_rd_stats functions

Change-Id: I3bc782d68bcd9b52b38210eec9eecb21146fde75

Use init_rd_stats() in encodeframe.c

Change-Id: I8359e8498efd301ff81eea1d7466d0f3fec5e006

Add transform block coefficient cost in RD_STATS for debugging

Change-Id: Iae50d0b0c4f8f383ab4f91d2c1c2fa4e799c7250

Add helper functions to modify RD_STATS

Those functions includes
init_rd_stats()
invalid_rd_stats()
merge_rd_stats()

This CL help simplify the code.

Change-Id: Id1704d883bd21a039b0478a940994ca14184ae1c

Add mi_row and mi_col into mbmi to facilitate rd_debug process

Change-Id: Ia69f13c47f2dd34fabd220652691049166a06a68

Add token cost comparison in write_modes_b()

This is just partial implementation
Compare token cost of pack_mb_tokens/pack_txb_tokens with token cost
from rate-distortion loop. If there is any difference, dump out mode
info.

Change-Id: I46b373ee2522c5047f799f36baf7cec5fbc06f06

Merge "Properly schedule the transform block recursion order" into nextgenv2

Merge "Remove duplicated variables in EXT_INTER" into nextgenv2

Properly schedule the transform block recursion order

This commit replaces the offset based block index calculation with
incremental based one. It does not change the coding statistics.

Change-Id: I3789294eb45416bd0823e773ec30f05ed41ba0dc

Fix format issue in handle_inter_mode()

Change-Id: I681fd799cf46991de419cc867ccb649a6990c19d

Merge "Further work on 64x64 fwd/inv transform support" into nextgenv2

Merge "Refactor: Replace rate dist sse skip by RD_STATS in VAR_TX" into nextgenv2

Merge "Fix bilateral filter asan error for highbitdepth" into nextgenv2

Merge "warped_motion: Fix ubsan warning for signed integer overflow" into nextgenv2

Merge "Fix ubsan divide by zero warning in ransac" into nextgenv2

warped_motion: Fix ubsan warning for signed integer overflow

Change-Id: Ie698aa02ef56128759c71079e9bfa1af25149644

Refactor: Replace rate dist sse skip by RD_STATS in VAR_TX

This is to facilitate implementation of rd_debug tool; it doesn't change
coding behavior.

Change-Id: I0eb82b31473883ba6652ed11dca09b9ec4530183

Fix bilateral filter asan error for highbitdepth

BUG=webm:1334

Change-Id: I5886eec0a22a8cc056e1bdb493d2faf183816656

Merge "rdopt,global-motion: Fix -1 indexing ubsan warning" into nextgenv2

rdopt,global-motion: Fix -1 indexing ubsan warning

Change-Id: I1b3caf3543ab385f39f5f253c9949ad89ea5af7d

Merge "Use TX_SIZES in intra_high_pred_fn declarations" into nextgenv2

Remove duplicated variables in EXT_INTER

Introduced by merge commit 141f7a9

Change-Id: Idd68e09a6cd925d97466eabebe0e4905b5031340

Merge "Make inline function static to fix clang compile error" into nextgenv2

Merge "Don't use a TX_SIZE as a TX_TYPE" into nextgenv2

Further work on 64x64 fwd/inv transform support

For higher level fwd and inv transform functions.

Change-Id: I91518250a0be7d94aada7519f6c9e7ed024574fb

Fix ubsan divide by zero warning in ransac

Change-Id: I8c736ff665a27ce8307fd62571b9728333756d7e

Merge "Replace hard coded numbers with TX_SIZES macro" into nextgenv2

Merge "Fix txb_w/h use case in av1_tx_block_rd_b()" into nextgenv2

Merge "fix build issue with --enable-delta-q" into nextgenv2

Make inline function static to fix clang compile error

Change-Id: I0432b8274a2764ba978dd6c4ed532fb7e4b7b519

Use TX_SIZES in intra_high_pred_fn declarations

Change-Id: I078bb5244dbff153bcfab226206540ca6cebdad0

Don't use a TX_SIZE as a TX_TYPE

Change-Id: I26b02e6578ad2d82aadfe1df2aeb84e6c11a747b

Add rd_debug flag

rd_debug is a debug tool aim at finding discrepancy between rate-distortion
loop and bitstream packing.

Change-Id: I751c4121516c5e6368668229c77778880a9dcb9d

Fix txb_w/h use case in av1_tx_block_rd_b()

Match them with block_row/col index.

Change-Id: Idf0f924a093e5312b0a36b765d295e52d033eb5a

fix build issue with --enable-delta-q

BUG=webm:1330

Change-Id: I120ce8ea3581018b232b19ca7ffbb07d3e99d8d0

Replace hard coded numbers with TX_SIZES macro

Replaces a couple of hard coded numbers with TX_SIZES macro
in common/reconiontra.c

Change-Id: I8a2a53ca16bc3ab51409cec340bea55292ff2dee

Merge "Refactor recursive transform block partition search" into nextgenv2

Merge "Make bit-stream support rectangular tx_size" into nextgenv2

Merge changes from topic 'update_dering' into nextgenv2

* changes:
  Reformatting the deringing code
  Introducing OD_DERING_SIZE_LOG2 constant (3)
  Renaming deringing blockwise write-back functions to make code clearer
  Deringing refactoring: replace last_sbc with simpler dering_left flag
  Getting rid of the od_dering_in type

Merge "Refactoring deringed block list code" into nextgenv2

Merge "Deringing line buffer no longer depends on holding OD_DERING_VERY_LARGE" into nextgenv2

Merge "Make recursive txfm encoding process support rectangular tx_size" into nextgenv2

Merge "Fix a merge bug between dual_filter and sub8x8mc" into nextgenv2

Merge "Remove redundant experimental flags from common_data.h" into nextgenv2

Refactor recursive transform block partition search

This commit refactors the recursive transform block partition
search process to make it support rectangular transform block size
coding.

Change-Id: I0207ae40d83c7eae3cb5d460e403f470747590d3

Make bit-stream support rectangular tx_size

Allow the transform size writing, reading, and the reconstruction
process to support rectangular transform block size coding.

Change-Id: I57393c73ec60835a088d785ca838d7e3d7eb29a4

Reformatting the deringing code

Manally removed the "clang-format off" lines. The rest is done by clang

Change-Id: I88a2028b55a541729b4e8896cdf66b544e9898bb

Refactoring deringed block list code

Using a struct named dlist rather than an array named bskip. Simplified some
code.

No change in output

Change-Id: Id40d40b19b5d8f2ebafe347590fa1bb8cb80e6e1

Deringing line buffer no longer depends on holding OD_DERING_VERY_LARGE

The OD_DERING_VERY_LARGE values are now explicitly copied to the buffer instead
of being read from the line buffer when we're on the edge of the frame. This
will make it possible to make the line buffer 8-bit for non-high-bitdepth.

No change in output

Change-Id: I1a4134d67ac7f8c239f08d73941405c56f01050b

Introducing OD_DERING_SIZE_LOG2 constant (3)

Also cleans up the size of the deringing destination buffer.

No change in output.

Change-Id: I7fc50d862d3906ce809c1031bf0789acdf39cf34

Renaming deringing blockwise write-back functions to make code clearer

No change in output.

Change-Id: Ifa5df3adce9f24ef6dcd89a5f33a744bfb57194d

Deringing refactoring: replace last_sbc with simpler dering_left flag

No change in output.

Change-Id: I1cc2e14b2bb6c343baa7f88348c875085e5863af

Getting rid of the od_dering_in type

We no longer need the deringing code to be generic wrt the input depth.

No change in output.

Change-Id: I2db2beb82f1816e611cd2c0438dff217d363de33

Merge "Remove unused get_intra/inter_scan() from scan.h" into nextgenv2

Merge "Remove redundant config flags from get_entropy_context" into nextgenv2

Now using a single line buffer

No change in output.

Change-Id: I4701a5517fb97889f970acfb0b44cee51c34fd95

Only copy data from deringed blocks to the line buffer

No change in output

Change-Id: I6ec4a8c635337562170153585e427afd6f9d9a0f

Splitting out 8->16 block copy code into copy_sb8_16()

No change in output.

Change-Id: I4f0e37a879432e2647b3debe6a2c0c670a79dd6f

Eliminate the big superblock row buffer.

Now only buffering three lines across the entire frame and four lines
over the height of one superblock.

No change in output.

Change-Id: I6b99399974e197dc02f2e4ff2e60cdd7fdaa2e43

Making deringing buffer only one row of superblocks at a time

This introduces a line buffer that hold the last three lines of each original
row so that the next row can be deringed with the original input of the upper
row.

No change in output

Change-Id: I8fad3bc48745e9ce3e440289f453477a0c5442c0

Make recursive txfm encoding process support rectangular tx_size

This commit makes the encoding process of the recursive transform
block partition support both rectangular and square transform block
sizes as the starting point. If the coding block size is rectangular,
it would allow the transform block size to start from the largest
rectangular transform size, and recursive parse to the selected
coding sizes.

Change-Id: I576628b9166565bada6a918f0a1e67849dfef4cd

Duplicating deringing input superblock copy to make upcoming changes easier

No change in output

Change-Id: Iaa06043dcc31308c83f667424e5a83c2db50ed24

Using a uniform definition for "bsize" in deringing filter

No change in output

Change-Id: Ia3a1679aa75cb58f4bc6459791e061176eeafd52

Using the copied input for od_dir_find8()

No change in output

Change-Id: Iec1411c35bf175a462eade34e89a4c60eb2a1da4

Merge "Increase deringing horizontal padding to 4 pixels on each side" into nextgenv2

Increase deringing horizontal padding to 4 pixels on each side

This makes vectorization easier by having buffer lines be a multiple of 4.

No change in output

Change-Id: I7ec06e03a49554206af0a55aab03daccc411b50f

Merge "De-sparsifying the deringing output buffer" into nextgenv2

De-sparsifying the deringing output buffer

No change in output

Change-Id: I940203975564aedca8734d6f74b013edb513f517

Merge "No need to store the deringing filter direction variance in an array" into nextgenv2

Fix a merge bug between dual_filter and sub8x8mc

The function module in inter_predictor() has been changed to
universally support arbitrary block size inter prediction. Hence
sub8x8mc can be a standalone experiment now.

Change-Id: Ie9d87f61fc317b1d114edb4e0bf5544f918ed08e

Remove redundant experimental flags from common_data.h

No coding statistics change.

Change-Id: I88cbb828308b5796a2e87079c2f1bf0dabd99a11

Merge "Support rectangular tx_size in the common lib" into nextgenv2

Merge "Support rectangular transform block units in the codebase" into nextgenv2

Merge "Make highbd rectangular transform block available in the common lib" into nextgenv2

No need to store the deringing filter direction variance in an array

No change in output

Change-Id: Ifa5c5d4ed33ff11ea3c56ee5d559c7a40599b3dc

Merge "Fix ubsan left shift warnings in warped motion library" into nextgenv2

Remove unused get_intra/inter_scan() from scan.h

Change-Id: I96fc1da1ce56593ae35ebbc93a668e4ba241234a

Remove redundant config flags from get_entropy_context

The rectangular transform syntax is by default supported, hence
no need to put it under the experimental flag. This does not change
the coding statistics.

Change-Id: I3a147503d973a03400f8a86e11f07c7d754e6234

Support rectangular tx_size in the common lib

Change-Id: I4128ab932a967a3d657bb1f95f0fa2af20a06469

Support rectangular transform block units in the codebase

Change-Id: I9183851258478a36dc5a4ad2d4faa3d3c8b18bd3

Make highbd rectangular transform block available in the common lib

Change-Id: Ief08b23b30b78d640f6d7c702145e5bcf1b37b57

Merge "Adding 64x64 forward and inverse transforms" into nextgenv2

Merge changes I313bde67,I2ddc2d70,Ifb9094c3,I9051ed6e,I5681e332, ... into nextgenv2

* changes:
  Avoid the "initial copy" in the deringing filter
  Only copy the deringed blocks back into the buffer
  Reducing copies in deringing filter
  sb_all_skip_out() now computes a list of deringed blocks
  compute bskip as we go
  Revert "Fix dering filter when using 4:2:2 or 4:4:0 subsampling"

Adding 64x64 forward and inverse transforms

Change-Id: I213f3111fc0656aecd1303a8b871ecded2b92bc2

Merge "Make a small code clean on handle_inter_mode()" into nextgenv2

Merge "Make rectangular transform block available in the common lib" into nextgenv2

Merge "Simplify tx_size enums" into nextgenv2

Avoid the "initial copy" in the deringing filter

No change in output

Change-Id: I313bde67e59835f88e3b2e6079b0df2d7ed1a903

Only copy the deringed blocks back into the buffer

No change in output

Change-Id: I2ddc2d70c6534e7cfd315d66e838410677f91356

Reducing copies in deringing filter

Only copy the modified pixels from the first filter back into the input of the
second filter.

Change-Id: Ifb9094c33c876a8c6caa0f68771fc7ef59c78b53

sb_all_skip_out() now computes a list of deringed blocks

No change in output

Change-Id: I9051ed6e1fbca7d80412ba2b53f7aacbc3ef70eb

compute bskip as we go

Change-Id: I5681e3329ad3677296161de59f5ff1236a14f086

Revert "Fix dering filter when using 4:2:2 or 4:4:0 subsampling"

This reverts commit 401204a50bea8b21e5fcd721cd5db513b8f70e72.

Change-Id: Id27eadf679b0df2d2ccfab61155be29979b0b6ba

Make rectangular transform block available in the common lib

This prepares the integration of rectangular transform block size
with recursive transform block partition system.

Change-Id: Id96aa3790dace15619c665f438241938992d1730

Merge "Disable upsampled references for resolutions above 1080p." into nextgenv2

Simplify tx_size enums

Remove redundant experimental flag. This does not change the coding
statistics.

Change-Id: I35b3cb04025c5c2d2744312e5efc00d0473c990d

Merge "Remove unused copies of transform related source code" into nextgenv2

Merge "Hybrid inverse transforms 16x16 AVX2 optimization" into nextgenv2

Merge "Change TXFM_CONTEXT from TX_SIZE to uint8_t" into nextgenv2