adapt_scan experiment

Performance improvement
        BDRate
lowres  0.921%
midres  0.730%
hdres   1.019%

Change-Id: I26208d6c0531937bff44de505b4ea355c7852802

Merge "Align frame contexts." into nextgenv2

Merge "Limit the transform block partition depth" into nextgenv2

Merge "Allow frame level tx_mode switch" into nextgenv2

Merge "Separate intra and inter tx_size counting" into nextgenv2

Make set context function aware of rectangular transform block size

Account for the rectangular transform block size in setting the
context data.

Change-Id: Ic30a6a3eaaca4c945e0aab3acbaeb99aa48b0064

Merge "Add a runtime flag to enable bit accounting." into nextgenv2

Merge "Add a decoder control to retrieve accounting data." into nextgenv2

Merge "Fix comment typo in common_data.h" into nextgenv2

Merge "Refactor tx_size to pixel number mapping in reconintra.c" into nextgenv2

Merge "Refactor tx_size step use cases in decoder" into nextgenv2

Merge "Replace tx_size_1d with tx_size_wide/high" into nextgenv2

Merge "Fix avx2 16x16/32x32 fwd txfm coeff output on HBD" into nextgenv2

Merge "Fix compiler warning when CONFIG_ACCOUNTING enabled." into nextgenv2

Merge "Refactor decoder side qcoeff reset" into nextgenv2

Align frame contexts.

This will allow for aligned cdfs and scan orders inside.

Change-Id: I8ebcd64d55e41da20f518a39ae6ef192def70109

Run clang-format on entropymv.c

Change-Id: Ic9f34e32e51f8a8a4426543bae0b92f5fab0792e

Fix comment typo in common_data.h

"varios" -> "various"

Change-Id: If91a462dc009f701c48c2cfd7965cd71f61f2970

Add a runtime flag to enable bit accounting.

By default, when building with --enable-accounting the bit accounting
 code will collect statistics for every frame while decoding.
Collecting statistics can slow down decode time and we would eventually
 like to enable the CONFIG_ACCOUNTING flag by default.
This patch adds a runtime flag so that bit accounting statistics are
 only collected when actually needed.

Change-Id: I25d9eaf26ea132d61ace95b952872158c9ac29e7

Add a decoder control to retrieve accounting data.

This decoder control requires AV1 to be compiled with --enable-accounting.
Note that bit accounting data is only available after a frame has been
 decoded.

Change-Id: I8a15213d9f2587638e0edb62932738e985160e03

Fix compiler warning when CONFIG_ACCOUNTING enabled.

ISO C90 forbids mixed declarations and code and the function
 aom_accounting_set_context() was being called before the MB_MODE_INFO
 declaration.

Change-Id: I8619525b1b2fd37753891bd310d9d59c881b8807

Update class0_fp_cdf and fp_cdf tables once per frame.

Move computing the class0_fp_cdf and fp_cdf tables per coded mv
 symbol to computing it only when the probabilities are updated.

Change-Id: Ib4957c8ab21e6189bcc3817a07b7681dfb343223

Update class_cdf table once per frame.

Move computing the class_cdf table per coded mv class symbol to
 computing it only when the probabilities are updated.

Change-Id: I6c4a9075817e8ba2e251f0e82436995f08f2ec5c

Update joint_cdf table once per frame.

Move computing the joint_cdf table per coded mv joint symbol to
 computing it only when the probabilities are updated.

Change-Id: If5d195f70e6fad7b60f69606c8386ad5e69657d2

Update inter_mode_cdf tables once per frame.

Move computing the inter_mode_cdf tables per coded inter mode symbol to
 computing them only when the probabilities are updated.

Change-Id: I7a7b059ee75723cb6f278ed82a20cf34c27915d8

Merge "Update uv_mode_cdf tables once per frame." into nextgenv2

Limit the transform block partition depth

Limit the recursive transform block partition depth to 2. For a
32x32 transform block unit, one can maximally go down to 8x8 transform
block size.

Change-Id: I2caa92bb2eee64762b7ecca8920259f7c50fb0aa

Merge "Update y_mode_cdf tables once per frame." into nextgenv2

Merge "Update kf_y_mode_cdf tables once per frame." into nextgenv2

Allow frame level tx_mode switch

Check the encoding statistics. If all the coding blocks use the
max transform size, skip transform size coding in the frame header.

Change-Id: I31cb16314e87f945d7e95a34a90a5536b3ed82d5

Separate intra and inter tx_size counting

Skip counting the inter transform block size distribution for
the intra transform block size coding.

Change-Id: Ifad9d843f57d069d0619a54d66ca18101e1b69f1

Refactor tx_size to pixel number mapping in reconintra.c

Change-Id: I1e4a43f5f08b76867240a207c60d7e85a8ffbb74

Refactor tx_size step use cases in decoder

Use lookup table to replace the arithmetic computation for transform
block step.

Change-Id: I1318d81bda9d7ffaf9d550acd19354b0615ede36

Replace tx_size_1d with tx_size_wide/high

This prepares the support to both rectangular and 2x2 transform
block sizes.

Change-Id: I3c2d4e317f6b627bb45d2273c278331bd976ee92

Refactor decoder side qcoeff reset

Allow the decoder to memset partial dequantized coefficient line
to zero.

Change-Id: I1f07dc7bf802958754502c1b5c819cc81e7a08cb

Merge "Pass AV1_COMMON into get_scan" into nextgenv2

Merge "Decoder performance improvement with daala_ec." into nextgenv2

Merge "Fix logical vs bitwise & bug" into nextgenv2

Fix avx2 16x16/32x32 fwd txfm coeff output on HBD

Change-Id: Ida036defe5688894a63007a31aa2dd0b3f0b5d59

Merge "Fix unused variable error in intrapred.c" into nextgenv2

Merge "Refactor tx_size to pixel number in decodeframe.c" into nextgenv2

Update uv_mode_cdf tables once per frame.

Move computing the uv_mode_cdf tables per coded intra mode symbol to
 computing them only when the probabilities are updated.

Change-Id: I627b59d30726c913f5d7ba7753cb0446a12655bb

Update y_mode_cdf tables once per frame.

Move computing the y_mode_cdf tables per coded intra mode symbol to
 computing them only when the probabilities are updated.

Change-Id: I8c43d09b8ef5febe2a3ec64bd51d28bd78ea73ed

Update kf_y_mode_cdf tables once per frame.

Move computing the kf_y_mode_cdf tables per coded intra mode symbol to
 computing them only when the probabilities are updated.

Change-Id: I5999447050c2f7d5dbccde80bee05ecd1c5440ab

Decoder performance improvement with daala_ec.

Cherry-pick Daala b5020bee:
 Remove redundant test in od_ec_decode_bool_q15().
Using a test that decodes 100M random binary symbols, making this change
 produced a speed up of 8.81% with gcc-4.9.3 and 3.71% with clang-3.7.1,
 both compiled with -O2.

Change-Id: If6d0077a56121a575ae53bcd4d1d9b7d800a317d

Merge "Use divide by multiply in the ans writer." into nextgenv2

Pass AV1_COMMON into get_scan

This CL will facilitate adapt_scan experiment.
In adapt_scan experiment, dynamic scan order will be stored in
AV1_COMMON

Change-Id: I4763ea931b5e1af54d4f173971befeb01a4db335

Merge "Sub8x8 block chroma component inter prediction" into nextgenv2

Fix unused variable error in intrapred.c

Change-Id: Icda975cd9b264c1752c3057bce8031791f91c08a

Merge "Remove the has_no_coeffs corner case" into nextgenv2

Merge "Unify set_contexts() function for encoder and decoder" into nextgenv2

Merge "Add support for v256 intrinsics" into nextgenv2

Refactor tx_size to pixel number in decodeframe.c

Use the table access to retrieve pixel numbers from tx_size.

Change-Id: I9459f2c3292c2f9ddf963f16b79e142de7432031

Merge changes Icfc16070,Ied47a248,I8af087d9,I322a1366,If04580af into nextgenv2

* changes:
  Palette: Use inverse_color_order to find color index faster.
  Rewrite some loops to avoid -Wunsafe-loop-optimizations warnings.
  Remove some useless casts
  Add compiler warning flag -Wextra and fix related warnings.
  Declare some array sizes to be constants (known at compile time).

Merge changes I027a4f2a,Ide91d76f into nextgenv2

* changes:
  Add complier warning -wunused.
  angle estimation: Some renames/tweaks to sync with aomedia code.

Merge "Code class0 using aom_read() / aom_write()." into nextgenv2

Merge "Use intra_ext_tx_cdf when coding tx_type." into nextgenv2

Merge "Use MV_FP_SIZE based constant instead of 3." into nextgenv2

Use divide by multiply in the ans writer.

Change-Id: Ide4e9b3a605571ec41c265347217e103df8d0821

Sub8x8 block chroma component inter prediction

Handle the sub8x8 chroma component at the unit of 2x2/4x2/2x4 level
and use the motion vector inherited from the luma component. This
improves the coding performance:

lowres 0.4%
midres 0.25%
hdres  0.15%

Change-Id: I34dff4218cfa3e5d55e7ed0341f36f4719389f7e

Merge "Remove duplicate code" into nextgenv2

Unify set_contexts() function for encoder and decoder

Remove the separate implementations of set_contexts() in encoder
and decoder.

Change-Id: I9f6e9b075532faae0f74f885d9443589254258a7

Merge "Fix the overflow of av1_fht32x32() in 2D DCT_DCT" into nextgenv2

Add support for v256 intrinsics

Change-Id: I1da08afaa945ca1aaf4bf9f50cf649a7feef2e60

Code class0 using aom_read() / aom_write().

The av1_mv_class0_tree is a balanced tree with two leafs and can
 simply be coded as a boolean with probability class0[0].
If CLASS0_SIZE is ever changed from 1, this change will need to be
 reverted.

Change-Id: If294dac825a5f945371092c74aa8e3f84cd962b6

Use intra_ext_tx_cdf when coding tx_type.

When building with --enable-daala_ec, the tx_type for intra blocks can be
 coded using the CDFs that are updated once per frame.
This patch converts a tx_type symbol to be coded with aom_write_symbol()
 and aom_read_symbol() that was missed in f3e8e267.

Change-Id: I34f8fef7525f88e156bbcb78dfc48994367610ce

Use MV_FP_SIZE based constant instead of 3.

Change-Id: I90ef3b49b499c2ac9c24797467cb4eb194fdf23b

Remove duplicate code

The duplicate breaks build.

Change-Id: I0f16761c4bcb8563402a664013429403b883c2e1

Merge "Fix typos" into nextgenv2

Merge "Fix encoder crash when --enable-daala-ec" into nextgenv2

Merge "Pass AV1_COMMON into av1_cost_coeffs" into nextgenv2

Merge "Add adapt_scan APIs and some helping functions" into nextgenv2

Merge "Compute all token encodings from symbol trees." into nextgenv2

Merge "decodeframe.c: aom_read_tree_cdf->aom_read_symbol" into nextgenv2

Merge "Encoder/Decoder mismatch fix: need a separate copy of eob_counts." into nextgenv2

Fix typos

In a previous commit: 5db9743fbbe500bb802b5e5f5eb4e495621e29f7, two
changes that appeared to be typos are breaking build when experiments
are enabled:

../../libvpx/configure --enable-experimental --enable-ref-mv
--enable-ext-intra --enable-ext-refs --enable-ext-interp
--enable-supertx --enable-var-tx --enable-entropy --enable-ext-inter
--enable-ext-tx  --enable-motion-var --enable-dual-filter
--enable-ext-partition --enable-ext-partition-types
--enable-loop-restoration --enable-rect-tx --enable-palette
--enable-aom-highbitdepth --enable-filter-intra --enable-internal-stats
&& make clean && make -j16

This commit fixes the issue.

Change-Id: I9ce5bbc96df326214202868cb0669bd334c86851

Fix encoder crash when --enable-daala-ec

Change-Id: I6855e18d92f693a9789eda7c91a3430566469bdd

Pass AV1_COMMON into av1_cost_coeffs

Change-Id: I2043d635e2a7f50f84a541501f28179b797ca326

Merge changes I163874ee,I1424690f into nextgenv2

* changes:
  Add data structure of adpat_scan experiment
  Add adapt_scan experimental flag

Merge "Sync with aom branch for ext-refs" into nextgenv2

Palette: Use inverse_color_order to find color index faster.

Cherry-picked from aomedia/master: b1c3bb5

Change-Id: Icfc16070160fd9763abb1dbf5545103e62b4b9ff

Rewrite some loops to avoid -Wunsafe-loop-optimizations warnings.

For example, loops of the form:
"for (i = 0; i < 1 + max_value; ++i) ..." or
"for (i = 0; i <= max_value; ++i) ..." are possibly infinite loops,
theoretically speaking (even if practically, they aren't).
So, compiler cannot optimize those loops.

When possible, I rewrote such loops to be finite even theoretically.

Cherry-picked from aomedia/master: 4e69284

Change-Id: Ied47a24833b689c0ec011f8645cf1c01856f7c59

Remove some useless casts

Cherry-picked from aomedia/master: 6796e7f

Change-Id: I8af087d97cadb0c2a9e37a4e4723246cdd397995

Add compiler warning flag -Wextra and fix related warnings.

Note: some of these warnings are enabled by a combination of -Wunused
(added earlier) and -Wextra.

Cherry-picked from aomedia/master: 4790a69

Change-Id: I322a1366bd4fd6c0dec9e758c2d5e88e003b1cbf

Compute all token encodings from symbol trees.

The av1_token encodings must match the contents of the aom_tree_index
 structures so generate all encodings from the symbol trees.

Change-Id: I37be9f12c86a02693ae3c3c1d24b00f2abb29bfb

decodeframe.c: aom_read_tree_cdf->aom_read_symbol

This was a missed replacement from cherry-pick of:
9ac7a9dc8ced90a28f5b83801a50597dc12e50a7

Change-Id: I9e01d9d7a39bed397500a293bf68dca2746aa917

Merge changes I7d6394e4,Ia8ce1464,If20e8637,Ia9adc46b,I651db25b into nextgenv2

* changes:
  Define SIMD_INLINE using AOM_FORCE_INLINE
  AOM_FORCE_INLINE: fix always_inline attribute
  Free memory allocated by daala_ec encoder.
  Move clpf_sse4_1.c to clpf_sse4.c in agreement with convention
  sync avg_test.cc with aom/master

Merge "Fix Visual Studio build." into nextgenv2

Merge "Offset speed feature setting index" into nextgenv2

Merge "Add tx_size to pixel number map" into nextgenv2

Merge "Add 2x2 directional intra predictors" into nextgenv2

Merge "Fix for AV1.TestTell" into nextgenv2

Declare some array sizes to be constants (known at compile time).

This reduces some memcpys and callocs.

Cherry-picked from aomedia/master: 4081013

Change-Id: If04580af4c63892c8af8ac5b405c7d6aabe5af89

Add complier warning -wunused.

Cherry-picked from aomedia/master: 953f086c

Note: related fixes were already part of webm/nextgenv2.

Change-Id: I027a4f2a540af5a304b358ddbf293965b4211b9e

angle estimation: Some renames/tweaks to sync with aomedia code.

Change-Id: Ide91d76fafe79b2b310ffd5afb7cd5b26b681f78

Encoder/Decoder mismatch fix: need a separate copy of eob_counts.

The bug was introduced here:
https://chromium-review.googlesource.com/#/c/399975/4/av1/encoder/bitstream.c
In that patch, I had removed 2nd declaration of a variable of the same
name. But it turns out that the two variables actually had a different
type (even though the name was same).

Now, we keep both variables, but rename one of them -- that fixes the
mismatch. While we are at it, made both variables local as well.

The fix can be verified as follows:
../../libvpx/configure --enable-experimental --enable-supertx
--enable-var-tx --enable-entropy --enable-internal-stats && make clean
&& make -j16

aomenc -o soccer_cif_1000_av1_b8.webm ../soccer_cif.y4m --codec=av1
--limit=50 --skip=0 -p 2 --pass=1 --fpf=soccer_cif_av1.fpf --good
--cpu-used=0 --target-bitrate=1000 --lag-in-frames=25 --min-q=0
--max-q=63 --auto-alt-ref=1 --kf-max-dist=150 --kf-min-dist=0
--drop-frame=0 --static-thresh=0 --bias-pct=50 --minsection-pct=0
--maxsection-pct=2000 --arnr-maxframes=7 --arnr-strength=5 --sharpness=0
--undershoot-pct=100 --overshoot-pct=100 --frame-parallel=0
--tile-columns=0 --profile=0 --test-decode=warn

aomenc -o soccer_cif_1000_av1_b8.webm ../soccer_cif.y4m --codec=av1
--limit=50 --skip=0 -p 2 --pass=2 --fpf=soccer_cif_av1.fpf --good
--cpu-used=0 --target-bitrate=1000 --lag-in-frames=25 --min-q=0
--max-q=63 --auto-alt-ref=1 --kf-max-dist=150 --kf-min-dist=0
--drop-frame=0 --static-thresh=0 --bias-pct=50 --minsection-pct=0
--maxsection-pct=2000 --arnr-maxframes=7 --arnr-strength=5 --sharpness=0
--undershoot-pct=100 --overshoot-pct=100 --frame-parallel=0
--tile-columns=0 --profile=0 --test-decode=warn -v --psnr

Change-Id: Ibd72dbe1f620e6de231513220ee4e190606613ae

Merge "Renaming in filter-intra sse4 code" into nextgenv2

Merge "Remove av1/common/intra_filters.h" into nextgenv2

Merge "Seperate FILTER_INTRA from EXT_INTRA experiment" into nextgenv2

Merge "Add matching brace in aomenc.c" into nextgenv2