Make bit-stream support rectangular tx_size

Allow the transform size writing, reading, and the reconstruction
process to support rectangular transform block size coding.

Change-Id: I57393c73ec60835a088d785ca838d7e3d7eb29a4

Make recursive txfm encoding process support rectangular tx_size

This commit makes the encoding process of the recursive transform
block partition support both rectangular and square transform block
sizes as the starting point. If the coding block size is rectangular,
it would allow the transform block size to start from the largest
rectangular transform size, and recursive parse to the selected
coding sizes.

Change-Id: I576628b9166565bada6a918f0a1e67849dfef4cd

Fix a merge bug between dual_filter and sub8x8mc

The function module in inter_predictor() has been changed to
universally support arbitrary block size inter prediction. Hence
sub8x8mc can be a standalone experiment now.

Change-Id: Ie9d87f61fc317b1d114edb4e0bf5544f918ed08e

Remove redundant experimental flags from common_data.h

No coding statistics change.

Change-Id: I88cbb828308b5796a2e87079c2f1bf0dabd99a11

Remove unused get_intra/inter_scan() from scan.h

Change-Id: I96fc1da1ce56593ae35ebbc93a668e4ba241234a

Remove redundant config flags from get_entropy_context

The rectangular transform syntax is by default supported, hence
no need to put it under the experimental flag. This does not change
the coding statistics.

Change-Id: I3a147503d973a03400f8a86e11f07c7d754e6234

Support rectangular tx_size in the common lib

Change-Id: I4128ab932a967a3d657bb1f95f0fa2af20a06469

Support rectangular transform block units in the codebase

Change-Id: I9183851258478a36dc5a4ad2d4faa3d3c8b18bd3

Make highbd rectangular transform block available in the common lib

Change-Id: Ief08b23b30b78d640f6d7c702145e5bcf1b37b57

Merge "Adding 64x64 forward and inverse transforms" into nextgenv2

Merge changes I313bde67,I2ddc2d70,Ifb9094c3,I9051ed6e,I5681e332, ... into nextgenv2

* changes:
  Avoid the "initial copy" in the deringing filter
  Only copy the deringed blocks back into the buffer
  Reducing copies in deringing filter
  sb_all_skip_out() now computes a list of deringed blocks
  compute bskip as we go
  Revert "Fix dering filter when using 4:2:2 or 4:4:0 subsampling"

Adding 64x64 forward and inverse transforms

Change-Id: I213f3111fc0656aecd1303a8b871ecded2b92bc2

Merge "Make a small code clean on handle_inter_mode()" into nextgenv2

Merge "Make rectangular transform block available in the common lib" into nextgenv2

Merge "Simplify tx_size enums" into nextgenv2

Avoid the "initial copy" in the deringing filter

No change in output

Change-Id: I313bde67e59835f88e3b2e6079b0df2d7ed1a903

Only copy the deringed blocks back into the buffer

No change in output

Change-Id: I2ddc2d70c6534e7cfd315d66e838410677f91356

Reducing copies in deringing filter

Only copy the modified pixels from the first filter back into the input of the
second filter.

Change-Id: Ifb9094c33c876a8c6caa0f68771fc7ef59c78b53

sb_all_skip_out() now computes a list of deringed blocks

No change in output

Change-Id: I9051ed6e1fbca7d80412ba2b53f7aacbc3ef70eb

compute bskip as we go

Change-Id: I5681e3329ad3677296161de59f5ff1236a14f086

Revert "Fix dering filter when using 4:2:2 or 4:4:0 subsampling"

This reverts commit 401204a50bea8b21e5fcd721cd5db513b8f70e72.

Change-Id: Id27eadf679b0df2d2ccfab61155be29979b0b6ba

Make rectangular transform block available in the common lib

This prepares the integration of rectangular transform block size
with recursive transform block partition system.

Change-Id: Id96aa3790dace15619c665f438241938992d1730

Merge "Disable upsampled references for resolutions above 1080p." into nextgenv2

Simplify tx_size enums

Remove redundant experimental flag. This does not change the coding
statistics.

Change-Id: I35b3cb04025c5c2d2744312e5efc00d0473c990d

Merge "Remove unused copies of transform related source code" into nextgenv2

Merge "Hybrid inverse transforms 16x16 AVX2 optimization" into nextgenv2

Merge "Change TXFM_CONTEXT from TX_SIZE to uint8_t" into nextgenv2

Merge "Rework transform block partition context model" into nextgenv2

Disable upsampled references for resolutions above 1080p.

Upsampled references currently increase the size of references by
64 times. This patch limits the memory used by the encoder to
about 3GB when encoding high bit depth content.

This should be re-evaluated in the future, if doing 8-tap
resampling in the motion search becomes reasonably fast, or if
the upsampled references are reduced in size (by omitting some
subpel positions and interpolating them instead).

Change-Id: I6d84ff0d6202ec46f4fa53e268e68aa808e5df85

Merge "Revert of "Mark bogus palette color probabilities as zero"." into nextgenv2

Change TXFM_CONTEXT from TX_SIZE to uint8_t

Count the transform block partition context in the unit of pixels.

Change-Id: Ibb66f053526ed347ad0274b78db7ac35cc086b0e

Revert of "Mark bogus palette color probabilities as zero".

Reverted commit: f8306bfdc (with some changes).

Reason: This was triggering an assert in debug build because of zero
probability values. So, using an "UNUSED_PROB" macro to replace these to
retain clarity.

Assertion failure can be reproduced as follows:

$ make clean; extra_cflags='-O0 -g -fno-inline' ../../configure
--enable-debug --enable-experimental --enable-palette && make -j 16

$ ./aomenc -D --codec=av1 ~/videos/screen_content_set/gimp.y4m -o
/tmp/foo.webm --tune-content=screen --limit=50

Pass 1/2 frame   50/51      8976B    1436b/f   86169b/s 2902620 us
(17.23 fps)
Pass 2/2 frame   25/0          0B 2933053 us 8.52 fps [ETA  unknown]
aomenc: ../../av1/encoder/cost.c:46: cost: Assertion `prob != 0' failed.
Aborted (core dumped)

Change-Id: I47a76b8f415060909bc8448fae3002857eb61d8e

Remove unused copies of transform related source code

- Library size reduces: 165 kB, 292 kB (HBD).

Change-Id: I50cb630dde326bd2a28c0db4b7e2d53c2fd94a2a

Rework transform block partition context model

This commit allows the partition context model to account for the
maximum transform block size of the coding block.

Change-Id: I22b91e85fff70faa974afd362ce327d3f2eda81d

Make a small code clean on handle_inter_mode()

Change-Id: I5fb4898045a481f7996c2ad019d2f741aab08fc7

Merge "Fix merge issues related  --enable-ec-adapt" into nextgenv2

Merge "Change to use correct variable in for-loop" into nextgenv2

Hybrid inverse transforms 16x16 AVX2 optimization

- Add unit tests to verify the bit-exact result.
- User level time reduction (EXT_TX):
    encoder: 3.63%
    decoder: 2.36%
- Also add tx_type=V_DCT...H_FLIPADST SSE2 for 16x16 inv txfm.

Change-Id: Idc6d9e8254aa536e5f18a87fa0d37c6bd551c083

Fix merge issues related  --enable-ec-adapt

1. Avoid compiler warnings.
2. Enable prob_diff_update() required by update_txfm_probs().

Change-Id: I9081b645c55a8432bdaeb600e9ba901c0d0d96f5

Merge "Fix a compiler warning with --enable-adapt-scan" into nextgenv2

Merge "Resolve build issue --enable-aom-qm" into nextgenv2

Change to use correct variable in for-loop

Change-Id: I252c2f06dfe256d2d33fd1abc42aaadf50273cc8

Merge "Make txfm_partition_update support rectangular tx_size" into nextgenv2

Merge "Use get_entropy_context() in select_tx_block" into nextgenv2

Fix a compiler warning with --enable-adapt-scan

Change-Id: I93b191a522ed3e3ca9a363beab4292f64e869610

Resolve build issue --enable-aom-qm

Change-Id: I9f52ddb53b39cefd2e0ee7144203e1f3958d01aa

Merge "Rename av1_convolve.[hc] to convolve.[hc]" into nextgenv2

Merge "cmake support: A starting point." into nextgenv2

Merge "decodemv.c: relocate a function" into nextgenv2

Merge "Fix a bad merge" into nextgenv2

Rename av1_convolve.[hc] to convolve.[hc]

Change-Id: I2047adc4c147201ce0ce3c533fe2861cbff1002c

Make txfm_partition_update support rectangular tx_size

Change-Id: I7d2414a8766141d5109b599271179bc505c772d3

cmake support: A starting point.

Start adding cmake build support. This is based on the generic-gnu
target and will not build anything. It simply produces a project file
(when generating for a IDE) that can be loaded and that allows for
interaction with (most of) the aom sources used in a generic-gnu
build.

Notable missing pieces:
- flag testing
- config generation
- experiment configuration
- enable/disable encoder/decoder
- aomenc/aomdec
- all third party library build integration
- all tests

Change-Id: Iaeda0b03d58591a26a8fb54f63a2aa3b5354e3a6

decodemv.c: relocate a function

Change-Id: I932dd9c8b43a20d248c00847b19dff88e6eb11be

Merge "Refactor scan_test.cc" into nextgenv2

Use get_entropy_context() in select_tx_block

Replace redundant separate handling to retrieve the context value.

Change-Id: I18dde4599cd08ffe33a78694ec377487609de1b1

Fix a bad merge

Change-Id: I4615e8e64d75b1f4277d2221ec94c5d4f1830aa4

Merge "Refactor max_blocks_wide/high computation" into nextgenv2

Merge "Remove unused tx_size tables" into nextgenv2

Merge "Replace get_tx2d_size() with direct tx_size_2d[] table access" into nextgenv2

Merge "Support rectangular tx_size in recursive txfm syntax coding" into nextgenv2

Merge changes from topic 'fix_ec_adapt' into nextgenv2

* changes:
  Reverse order of CLPF and dering
  Refactor: read_tx_size_probs()
  Fix compiling issues with --enable-ec-adapt
  Fixes compilation error on Windows/Visual Studio

Refactor scan_test.cc

Change-Id: I546a955a95d6d43182631ad5e8d1c137c36e9a0c

Reverse order of CLPF and dering

Low latency:
PSNR YCbCr:     -0.15%      0.11%      0.12%
   PSNRHVS:     -0.25%
      SSIM:     -0.26%
    MSSSIM:     -0.26%
 CIEDE2000:     -0.03%

High latency:
PSNR YCbCr:     -0.18%      0.18%      0.07%
   PSNRHVS:     -0.20%
      SSIM:     -0.21%
    MSSSIM:     -0.21%
 CIEDE2000:     -0.03%

Change-Id: Ieb86d9ba353220de6454bdc15cea825944b6385b

Refactor max_blocks_wide/high computation

Factor common codes that show up in multiple places.

Change-Id: I0a72213a151f74bdad926d59f86f0a28d00968fc

Remove unused tx_size tables

Change-Id: I04367fb68e8fd027f4b9d945f4001e5ab346d098

Replace get_tx2d_size() with direct tx_size_2d[] table access

Change-Id: I20040cdb5d9fdbf6c50082e5e17b4cfbd1926b13

Support rectangular tx_size in recursive txfm syntax coding

Change-Id: I40aa342ffa5b6effe8b124b94783e5f0bd2f2a81

Merge "Use the actual transform block size for loop filter selection" into nextgenv2

Refactor: read_tx_size_probs()

Change-Id: Ibdedd9b8e0b6646b882bc159856ac7c7e7073149

mvref_common.c: apply clang-format

Change-Id: I755bfb11a57e92e3a68855a53e95efe526f198fd

Fix compiling issues with --enable-ec-adapt

Change-Id: I52e2c84ce43d36f78806c54b214f9e5b07c5f0f5

Fixes compilation error on Windows/Visual Studio

Change-Id: I32377deb5f1e882370c70449cb8f68f2fdafcbef

Merge "simp-mv-pred integration with ref-mv" into nextgenv2

Merge "Fix the top-right reference block location" into nextgenv2

Merge "Upsample reference frames after size dependent speed features are calculated." into nextgenv2

Merge "Let is_interp_needed always return 1" into nextgenv2

Merge "Centralize EC_MULTISYMBOL error checking." into nextgenv2

Merge "EC_ADAPT: disable tests requiring tiles." into nextgenv2

Merge "EC_ADAPT: refactor and fix MinArfFreq unit tests." into nextgenv2

Merge "Only build aom_read/write_symbol if CONFIG_EC_MULTISYMBOL" into nextgenv2

Merge "EC_ADAPT: improved symbol adaptation." into nextgenv2

Merge "EC_ADAPT: send updates for the correct nodes." into nextgenv2

Merge "Add ec_multisymbol for common daala_ec and rans code" into nextgenv2

Merge "Handle entropy coder experiment dependencies" into nextgenv2

Merge "Disable the SuperframeTest with --enable-daala_ec." into nextgenv2

Merge "Fix ec_adapt+daala_ec test failure" into nextgenv2

Merge "Add EC_ADAPT experiment for symbol-adaptive entropy coding." into nextgenv2

simp-mv-pred integration with ref-mv

This commit adds simp-mv-pred experiment. The experiment is to work on
top of ref-mv experiment to save memory bandwidth and reduce the size
of line buffer needed in ref-mv experiment.

When compared to ref-mv, this experiment showed:
low-delay BDR gain: 0.03%
High-delay BDR gain: 0.01%
memory/memory bandwidth saving: 40%
local memory/gate count saving: 20%

Change-Id: Ic4006e041fc58ede411da83d0d730c464ebe1749

Fix the top-right reference block location

This commit fixes the top-right reference block location for block
sizes above 8x8. It improves the coding performance of ref-mv:

lowres 0.08%
midres 0.15%

Thanks to jiafeng@ for finding this issue.

Change-Id: I70750fc7b18bf0126d3e07abc1b63ca5a160193e

Upsample reference frames after size dependent speed features are calculated.

This prevents a crash if the upsample_refs speed feature is
changed as part of set_size_dependent_vars, when the recode
loop is enabled.

Change-Id: I645e389bfe961879dd2001439a34fde2993868d9

Let is_interp_needed always return 1

This CL will cause
0.122% PSNR drop on lowres dataset
0.059% PSNR drop on midres dataset

However, it will facilitate hardware implementation.

Change-Id: I0a0713acacbfd571509a721337711c021915dd3c

Centralize EC_MULTISYMBOL error checking.

The EC_ADAPT experiment cannot work unless EC_MULTISYMBOL is also
 enabled.
This patch replaces all individual checks with a centralized check in
 both the bitreader.h and bitwriter.h.

Change-Id: I418852d95c5012cc074ed65cd24997e08bc2aadd

EC_ADAPT: disable tests requiring tiles.

EC_ADAPT is currently not compatible with tiles.

Change-Id: Idd000f0ff23c28e7e4952024eadb55ba0a1da13d

EC_ADAPT: refactor and fix MinArfFreq unit tests.

Ensure that cdfs are synced with pdfs after every
forward update.

Change-Id: I5677f78300156c8622f1728d7a343ff6c3a4ea64

Only build aom_read/write_symbol if CONFIG_EC_MULTISYMBOL

Change-Id: If86c7220ac9199a59e605dc43d42cc3db26cf8bd

EC_ADAPT: improved symbol adaptation.

Place a floor under symbol probabilities and
modify adaptation rate.

Change-Id: Ic9cf6d9fadfc3bf1f3027bc3d2bb198526441591

EC_ADAPT: send updates for the correct nodes.

EOB and ZERO token are not currently adapted.

Change-Id: Ie7d657b71fcb157b09e40874fb06a8b7cd95cc70

Add ec_multisymbol for common daala_ec and rans code

The new ec_multisymbol experiment supersedes the rans experiment and is
used for multisymbol features that can be backed by either daala_ec or
rans.

This experiment is automatically enabled by ec_adapt and will try to
enable daala_ec or ans (in that order).

Change-Id: Ie75b4002b7a9d7f5f7b4d130c1aacb3dbe97e54f

Handle entropy coder experiment dependencies

Change-Id: I854c53d9379f820b5a78fcb53f9ef09bc6f9d9e7