Limit the transform block partition depth

Limit the recursive transform block partition depth to 2. For a
32x32 transform block unit, one can maximally go down to 8x8 transform
block size.

Change-Id: I2caa92bb2eee64762b7ecca8920259f7c50fb0aa

Allow frame level tx_mode switch

Check the encoding statistics. If all the coding blocks use the
max transform size, skip transform size coding in the frame header.

Change-Id: I31cb16314e87f945d7e95a34a90a5536b3ed82d5

Separate intra and inter tx_size counting

Skip counting the inter transform block size distribution for
the intra transform block size coding.

Change-Id: Ifad9d843f57d069d0619a54d66ca18101e1b69f1

Merge "Pass AV1_COMMON into get_scan" into nextgenv2

Merge "Decoder performance improvement with daala_ec." into nextgenv2

Merge "Fix logical vs bitwise & bug" into nextgenv2

Merge "Fix unused variable error in intrapred.c" into nextgenv2

Merge "Refactor tx_size to pixel number in decodeframe.c" into nextgenv2

Decoder performance improvement with daala_ec.

Cherry-pick Daala b5020bee:
 Remove redundant test in od_ec_decode_bool_q15().
Using a test that decodes 100M random binary symbols, making this change
 produced a speed up of 8.81% with gcc-4.9.3 and 3.71% with clang-3.7.1,
 both compiled with -O2.

Change-Id: If6d0077a56121a575ae53bcd4d1d9b7d800a317d

Merge "Use divide by multiply in the ans writer." into nextgenv2

Pass AV1_COMMON into get_scan

This CL will facilitate adapt_scan experiment.
In adapt_scan experiment, dynamic scan order will be stored in
AV1_COMMON

Change-Id: I4763ea931b5e1af54d4f173971befeb01a4db335

Merge "Sub8x8 block chroma component inter prediction" into nextgenv2

Fix unused variable error in intrapred.c

Change-Id: Icda975cd9b264c1752c3057bce8031791f91c08a

Merge "Remove the has_no_coeffs corner case" into nextgenv2

Merge "Unify set_contexts() function for encoder and decoder" into nextgenv2

Merge "Add support for v256 intrinsics" into nextgenv2

Refactor tx_size to pixel number in decodeframe.c

Use the table access to retrieve pixel numbers from tx_size.

Change-Id: I9459f2c3292c2f9ddf963f16b79e142de7432031

Merge changes Icfc16070,Ied47a248,I8af087d9,I322a1366,If04580af into nextgenv2

* changes:
  Palette: Use inverse_color_order to find color index faster.
  Rewrite some loops to avoid -Wunsafe-loop-optimizations warnings.
  Remove some useless casts
  Add compiler warning flag -Wextra and fix related warnings.
  Declare some array sizes to be constants (known at compile time).

Merge changes I027a4f2a,Ide91d76f into nextgenv2

* changes:
  Add complier warning -wunused.
  angle estimation: Some renames/tweaks to sync with aomedia code.

Merge "Code class0 using aom_read() / aom_write()." into nextgenv2

Merge "Use intra_ext_tx_cdf when coding tx_type." into nextgenv2

Merge "Use MV_FP_SIZE based constant instead of 3." into nextgenv2

Use divide by multiply in the ans writer.

Change-Id: Ide4e9b3a605571ec41c265347217e103df8d0821

Sub8x8 block chroma component inter prediction

Handle the sub8x8 chroma component at the unit of 2x2/4x2/2x4 level
and use the motion vector inherited from the luma component. This
improves the coding performance:

lowres 0.4%
midres 0.25%
hdres  0.15%

Change-Id: I34dff4218cfa3e5d55e7ed0341f36f4719389f7e

Merge "Remove duplicate code" into nextgenv2

Unify set_contexts() function for encoder and decoder

Remove the separate implementations of set_contexts() in encoder
and decoder.

Change-Id: I9f6e9b075532faae0f74f885d9443589254258a7

Merge "Fix the overflow of av1_fht32x32() in 2D DCT_DCT" into nextgenv2

Add support for v256 intrinsics

Change-Id: I1da08afaa945ca1aaf4bf9f50cf649a7feef2e60

Code class0 using aom_read() / aom_write().

The av1_mv_class0_tree is a balanced tree with two leafs and can
 simply be coded as a boolean with probability class0[0].
If CLASS0_SIZE is ever changed from 1, this change will need to be
 reverted.

Change-Id: If294dac825a5f945371092c74aa8e3f84cd962b6

Use intra_ext_tx_cdf when coding tx_type.

When building with --enable-daala_ec, the tx_type for intra blocks can be
 coded using the CDFs that are updated once per frame.
This patch converts a tx_type symbol to be coded with aom_write_symbol()
 and aom_read_symbol() that was missed in f3e8e267.

Change-Id: I34f8fef7525f88e156bbcb78dfc48994367610ce

Use MV_FP_SIZE based constant instead of 3.

Change-Id: I90ef3b49b499c2ac9c24797467cb4eb194fdf23b

Remove duplicate code

The duplicate breaks build.

Change-Id: I0f16761c4bcb8563402a664013429403b883c2e1

Merge "Fix typos" into nextgenv2

Merge "Fix encoder crash when --enable-daala-ec" into nextgenv2

Merge "Pass AV1_COMMON into av1_cost_coeffs" into nextgenv2

Merge "Add adapt_scan APIs and some helping functions" into nextgenv2

Merge "Compute all token encodings from symbol trees." into nextgenv2

Merge "decodeframe.c: aom_read_tree_cdf->aom_read_symbol" into nextgenv2

Merge "Encoder/Decoder mismatch fix: need a separate copy of eob_counts." into nextgenv2

Fix typos

In a previous commit: 5db9743fbbe500bb802b5e5f5eb4e495621e29f7, two
changes that appeared to be typos are breaking build when experiments
are enabled:

../../libvpx/configure --enable-experimental --enable-ref-mv
--enable-ext-intra --enable-ext-refs --enable-ext-interp
--enable-supertx --enable-var-tx --enable-entropy --enable-ext-inter
--enable-ext-tx  --enable-motion-var --enable-dual-filter
--enable-ext-partition --enable-ext-partition-types
--enable-loop-restoration --enable-rect-tx --enable-palette
--enable-aom-highbitdepth --enable-filter-intra --enable-internal-stats
&& make clean && make -j16

This commit fixes the issue.

Change-Id: I9ce5bbc96df326214202868cb0669bd334c86851

Fix encoder crash when --enable-daala-ec

Change-Id: I6855e18d92f693a9789eda7c91a3430566469bdd

Pass AV1_COMMON into av1_cost_coeffs

Change-Id: I2043d635e2a7f50f84a541501f28179b797ca326

Merge changes I163874ee,I1424690f into nextgenv2

* changes:
  Add data structure of adpat_scan experiment
  Add adapt_scan experimental flag

Merge "Sync with aom branch for ext-refs" into nextgenv2

Palette: Use inverse_color_order to find color index faster.

Cherry-picked from aomedia/master: b1c3bb5

Change-Id: Icfc16070160fd9763abb1dbf5545103e62b4b9ff

Rewrite some loops to avoid -Wunsafe-loop-optimizations warnings.

For example, loops of the form:
"for (i = 0; i < 1 + max_value; ++i) ..." or
"for (i = 0; i <= max_value; ++i) ..." are possibly infinite loops,
theoretically speaking (even if practically, they aren't).
So, compiler cannot optimize those loops.

When possible, I rewrote such loops to be finite even theoretically.

Cherry-picked from aomedia/master: 4e69284

Change-Id: Ied47a24833b689c0ec011f8645cf1c01856f7c59

Remove some useless casts

Cherry-picked from aomedia/master: 6796e7f

Change-Id: I8af087d97cadb0c2a9e37a4e4723246cdd397995

Add compiler warning flag -Wextra and fix related warnings.

Note: some of these warnings are enabled by a combination of -Wunused
(added earlier) and -Wextra.

Cherry-picked from aomedia/master: 4790a69

Change-Id: I322a1366bd4fd6c0dec9e758c2d5e88e003b1cbf

Compute all token encodings from symbol trees.

The av1_token encodings must match the contents of the aom_tree_index
 structures so generate all encodings from the symbol trees.

Change-Id: I37be9f12c86a02693ae3c3c1d24b00f2abb29bfb

decodeframe.c: aom_read_tree_cdf->aom_read_symbol

This was a missed replacement from cherry-pick of:
9ac7a9dc8ced90a28f5b83801a50597dc12e50a7

Change-Id: I9e01d9d7a39bed397500a293bf68dca2746aa917

Merge changes I7d6394e4,Ia8ce1464,If20e8637,Ia9adc46b,I651db25b into nextgenv2

* changes:
  Define SIMD_INLINE using AOM_FORCE_INLINE
  AOM_FORCE_INLINE: fix always_inline attribute
  Free memory allocated by daala_ec encoder.
  Move clpf_sse4_1.c to clpf_sse4.c in agreement with convention
  sync avg_test.cc with aom/master

Merge "Fix Visual Studio build." into nextgenv2

Merge "Offset speed feature setting index" into nextgenv2

Merge "Add tx_size to pixel number map" into nextgenv2

Merge "Add 2x2 directional intra predictors" into nextgenv2

Merge "Fix for AV1.TestTell" into nextgenv2

Declare some array sizes to be constants (known at compile time).

This reduces some memcpys and callocs.

Cherry-picked from aomedia/master: 4081013

Change-Id: If04580af4c63892c8af8ac5b405c7d6aabe5af89

Add complier warning -wunused.

Cherry-picked from aomedia/master: 953f086c

Note: related fixes were already part of webm/nextgenv2.

Change-Id: I027a4f2a540af5a304b358ddbf293965b4211b9e

angle estimation: Some renames/tweaks to sync with aomedia code.

Change-Id: Ide91d76fafe79b2b310ffd5afb7cd5b26b681f78

Encoder/Decoder mismatch fix: need a separate copy of eob_counts.

The bug was introduced here:
https://chromium-review.googlesource.com/#/c/399975/4/av1/encoder/bitstream.c
In that patch, I had removed 2nd declaration of a variable of the same
name. But it turns out that the two variables actually had a different
type (even though the name was same).

Now, we keep both variables, but rename one of them -- that fixes the
mismatch. While we are at it, made both variables local as well.

The fix can be verified as follows:
../../libvpx/configure --enable-experimental --enable-supertx
--enable-var-tx --enable-entropy --enable-internal-stats && make clean
&& make -j16

aomenc -o soccer_cif_1000_av1_b8.webm ../soccer_cif.y4m --codec=av1
--limit=50 --skip=0 -p 2 --pass=1 --fpf=soccer_cif_av1.fpf --good
--cpu-used=0 --target-bitrate=1000 --lag-in-frames=25 --min-q=0
--max-q=63 --auto-alt-ref=1 --kf-max-dist=150 --kf-min-dist=0
--drop-frame=0 --static-thresh=0 --bias-pct=50 --minsection-pct=0
--maxsection-pct=2000 --arnr-maxframes=7 --arnr-strength=5 --sharpness=0
--undershoot-pct=100 --overshoot-pct=100 --frame-parallel=0
--tile-columns=0 --profile=0 --test-decode=warn

aomenc -o soccer_cif_1000_av1_b8.webm ../soccer_cif.y4m --codec=av1
--limit=50 --skip=0 -p 2 --pass=2 --fpf=soccer_cif_av1.fpf --good
--cpu-used=0 --target-bitrate=1000 --lag-in-frames=25 --min-q=0
--max-q=63 --auto-alt-ref=1 --kf-max-dist=150 --kf-min-dist=0
--drop-frame=0 --static-thresh=0 --bias-pct=50 --minsection-pct=0
--maxsection-pct=2000 --arnr-maxframes=7 --arnr-strength=5 --sharpness=0
--undershoot-pct=100 --overshoot-pct=100 --frame-parallel=0
--tile-columns=0 --profile=0 --test-decode=warn -v --psnr

Change-Id: Ibd72dbe1f620e6de231513220ee4e190606613ae

Merge "Renaming in filter-intra sse4 code" into nextgenv2

Merge "Remove av1/common/intra_filters.h" into nextgenv2

Merge "Seperate FILTER_INTRA from EXT_INTRA experiment" into nextgenv2

Merge "Add matching brace in aomenc.c" into nextgenv2

Fix logical vs bitwise & bug

This was causing one of the global motion parameters to not
be centered at 0.

Change-Id: Ide32e3d177bed5613ab768a19b4e33b37692463a

Remove the has_no_coeffs corner case

BUG=webm:1277

Change-Id: I052239e8a6c468da8704bdbbb663b59533c01be2

Add adapt_scan APIs and some helping functions

av1_init_scan_order
initialize data structures related to adaptive scan order

av1_update_scan_prob
update nonzero probabilities from nonzero counts

av1_augment_prob
embed r + c and coeff_idx info with nonzero probabilities.
When sorting the nonzero probabilities, if there is a tie,
the coefficient with smaller r + c will be scanned first

av1_update_sort_order
apply quick sort on nonzero probabilities to obtain a sort order

av1_update_scan_order
apply topological sort on the nonzero probabilities sorting order to
guarantee each to-be-scanned coefficient's upper and left coefficient
will be scanned before the to-be-scanned coefficient.

av1_update_neighbors
For each coeff_idx in scan[], update its above and left neighbors in
neighbors[] accordingly.

Change-Id: I64c4938057daf8e30e48609a00ecc08d2e3062f4

Sync with aom branch for ext-refs

Plus a small code clean up. The experiment of EXT_REFS, compared against
the baseline, using Overall PSNR, now obtains a gain on lowres as:
Avg: -5.818; BDRate: -5.653

Compared against the previous EXT_REFS results on lowres, a tiny gain is
obtained as:
Avg: -0.047, BDRate: -0.063

(1) 780952 Add encoder first pass support to bi-prediction in EXT_REFS
(2) f91498 Add pred prob handling for new references in EXT_REFS
(3) e91472 Add decoder support for bi-direct prediction in EXT_REFS
(4) 0dbac9 Add encoder support to new references in EXT_REFS
(5) ad70cc Remove hard-coded number for EXT_REFS
(6) 9c1e2f Add the use of new reference frames at encoder in EXT_REFS
(7) 6d4fde Add the experiment flag of EXT_REFS

Change-Id: I26f7ca45b9ede7579fdb9d0d6a1a91f4334599bd

Add data structure of adpat_scan experiment

Change-Id: I163874ee64b9c348de2c7cc8e7b2852308734b0e

Fix the overflow of av1_fht32x32() in 2D DCT_DCT

- Use range check function to avoid DCT_DCT overflow.
  We need to re-develop the column txfm side scaling/rounding. Now,
  we prefer to maintain the current BDRate level.
- Encoder user level time reduction <1% owing to av1_fht32x32_avx2.
- Add MemCheck unit test and fdct32() unit test.

Change-Id: I1e67030f67bc637859798ebe2f6698afffb8531c

Add adapt_scan experimental flag

Change-Id: I1424690fa792b960a1cfb78bbcb37da6b9899ee6

Fix for AV1.TestTell

The tell functions return an unsigned integer.
This causes the AV1.TestTell test case to fail because
-1 is greater than 20 when treated as an unsigned integer.

Change-Id: I9dd1d7eb61260d30d1713a4917159fc6fe8eee42

Renaming in filter-intra sse4 code

Change-Id: Iff1786a92d164e6b9cfaf4a59ece79819494276f

Remove av1/common/intra_filters.h

Use a single header reconintra.h for all intra prediction
related codes.

Change-Id: Ib869447f8c482b534c890eab673e81ff830e8d85

Seperate FILTER_INTRA from EXT_INTRA experiment

Prepare for the av1/nextgenv2 merge.

Coding gain (%):

               lowres     midres
ext-intra       0.69       0.97
filter-intra    0.67       0.83
both            1.05       1.48

Change-Id: Ia24d6fafb3e484c4f92192e0b7eee5e39f4f4ee6

Merge "Partition the ans experiment into 'ans' and 'rans'" into nextgenv2

Offset speed feature setting index

Change-Id: If201cbd4175842f68e6dcfb0414ff16ca07e0881

Add matching brace in aomenc.c

Change-Id: Iccb75d5204f0f52f2c7d6e18d1f8223ce10f68ba

Define SIMD_INLINE using AOM_FORCE_INLINE

Change-Id: I7d6394e48e9b6093e5b523387ed250f371ee7fb9

Fix Visual Studio build.

Change-Id: I01608dfd597cc1d2bd4e73918aa29cf9251edb08

Step size and arithmetic coding for delta quantization.

Example performance: 1.8% bit rate savings using
the AQ test mode aq-mode=4 :
./aomenc --codec=av1 --ivf --tile-columns=1 --tile-rows=1 \
                 --kf-max-dist=1000 --kf-min-dist=1000 --cpu-used=0 \
                 --passes=1 --threads=1 --lag-in-frames=0 \
                 --end-usage=q --limit=600 --cq-level=42 \
                 --aq-mode=4 --error-resilient=1 out.bits FourPeople_1280x720_60.y4m

Change-Id: Iba01cf2732a57f3c27481ac2a3c8fc37bb9e5533

AOM_FORCE_INLINE: fix always_inline attribute

Change-Id: Ia8ce146489713e137004ccf41faf35aa5645b8ae

Support for delta-q at superblock level

Change-Id: I4128af44776d1f361bddc1fdffb75ed2224dbfa5

Free memory allocated by daala_ec encoder.

Free the two memory buffers allocated by the daala_ec encoder when
 calling od_ec_enc_clear() from aom_daala_stop_encode().

Change-Id: If20e86374ea29e51ee59111012905e56039dd4cc

Move clpf_sse4_1.c to clpf_sse4.c in agreement with convention

Change-Id: Ia9adc46b8a4d08c5b8e0089ea1a1526df4f1e1dc

sync avg_test.cc with aom/master

Change-Id: I651db25bee8f83a9fc6dcd35db5007a002f171c0

Merge "Always send frame size explicitly" into nextgenv2

Add 2x2 directional intra predictors

Change-Id: Iaa25269a15231dadeaba0f4836c864fc10e858df

Merge "Fix build issues when --enable-aom-qm" into nextgenv2

Add tx_size to pixel number map

Change-Id: I789fa11638f155f1092a1e9260d26c7855d18e37

Merge "Fix decodeframe.c format" into nextgenv2

Merge "Remove OBMC from the experimental configure list" into nextgenv2

Merge "Add unit test for delta-q (aq-mode=4)" into nextgenv2

Fix decodeframe.c format

Change-Id: I2228a3d1778917ac760582fbec3c868be5d9ba1c

Always send frame size explicitly

This commit changes to send frame size explicitly when
error_resilient_mode=1. Purpose is to allow parsing of bitstream
after a packet loss.

Change-Id: I7d1c010a465aa18914762cc1a3e61db377304c08

Fix build issues when --enable-aom-qm

Change-Id: I1a462675c06c4b2a5f8b4b347f23fec67feccdd0

Partition the ans experiment into 'ans' and 'rans'

The (new) ans experiment replaces the bool coder with uABS bools. The
'rans' experiment adds multisymbol coding.

This matches the setup in aom/master.

Change-Id: Ida8372ccabf1e1e9afc45fe66362cda35a491222

Merge "Fix failing TestBitIO test with --enable-daala_ec." into nextgenv2

Merge "Change return type of tell and tell_frac to uint32_t." into nextgenv2

Remove OBMC from the experimental configure list

It was replaced by MOTION_VAR in commit cb60b18

Change-Id: I7ab625eef4dbae2e5585d9fa3b6873aa78b2c254