Add Daala entropy coder.

Change-Id: I2849a50163268d58cc5d80aacfec1fd02299ca43

Merge "Switch rANS to 15 bit precision, and adjust L_BASE." into nextgenv2

Switch rANS to 15 bit precision, and adjust L_BASE.

This causes rANS to operate at the same precision as the Daala EC.

aom/master stats: rans10uabs8lbase12 → rans15uabs8lbase15

objective-1-fast
PSNR YCbCr:      0.01%      0.01%      0.01%
   PSNRHVS:      0.01%
      SSIM:      0.01%
    MSSSIM:      0.01%
 CIEDE2000:      0.01%

subset1
PSNR YCbCr:     -0.01%     -0.00%     -0.00%
   PSNRHVS:     -0.01%
      SSIM:     -0.01%
    MSSSIM:     -0.01%
 CIEDE2000:     -0.01%

(cherry picked from aom/master commit ddbc2e2a68bfc997dc61fca5bcaac3a75245e965)

Change-Id: I6ef0a4f6198784b3712a61af9f105d560a22eaea

Wrap palette code inside CONFIG_PALETTE flag.

This flag was already added to aomedia/master, so bringing it back to
webm/nextgenv2, as part of an effort to get the two codebases in sync.

Change-Id: I2b933a6a160e4210d1411a9e7978149eb8553205

Merge changes I4850b36e,Ic4d7128a into nextgenv2

* changes:
  variance_avx2: sync variance functions with c-code
  Resolve -Wshorten-64-to-32 in variance.

Use "av1" as codec name

Change-Id: I7650f1e96df0bcd53b1733c7967aae52dccf836a

Merge "Revert "Revert "Move CLPF block signals from frame to SB level.""" into nextgenv2

Merge "Delete some redundant function declarations in aom_dsp_rtcd_defs.pl" into nextgenv2

Revert "Revert "Move CLPF block signals from frame to SB level.""

This reverts commit 9b25f3067485b32442e13964df098903736c3fd8 to
reinstate the reverted commit with fixes that solved the build issues
when --enalbe-clpf is used in configure.

Change-Id: I15447cae7fa9b3deb27976345dc3db230a4a7a60

Merge "Revert "Move CLPF block signals from frame to SB level."" into nextgenv2

Revert "Move CLPF block signals from frame to SB level."

This reverts commit 975350387ce0b55bf5af8cb944f6a242b72251ff.

Change-Id: I9f8e891739352ca2bde4b294e37c85a668f416e0

variance_avx2: sync variance functions with c-code

add missing int64 -> uint32 cast; quiets -Wshorten-64-to-32 warnings

Change-Id: I4850b36e18dc8b399108342be4bfe0b684aefb78
(cherry picked from commit 6acd061aad8cf62000cc9117390d0c94581a8591)

Resolve -Wshorten-64-to-32 in variance.

The subtrahend is small enough to fit into uint32_t.

Change-Id: Ic4d7128aaa665eaf6b25d562610ba8942c46137f
(cherry picked from commit c0241664aac3a1805db9bd8e09e071ac326531e0)

Merge "Simplify 8x16 and 16x8 inverse transform tests" into nextgenv2

Merge "Enable test system to detect transforms misusing 'stride' parameter" into nextgenv2

Merge "Add sse2 forward and inverse 16x32 and 32x16 transforms" into nextgenv2

Merge "Renamings for OBMC experiment" into nextgenv2

Delete some redundant function declarations in aom_dsp_rtcd_defs.pl

Change-Id: I4df57a7faba5800c048b2dc469ec31545406f55c

Move CLPF block signals from frame to SB level.

These signals were in the uncompressed frame header (as a temporary
hack), which caused two problems:

* We don't want that header to be duplicated in the slice header
* It was necessary to signal the number of bits to transmit up front

However, the filter size can be 128x128 which is greater than the SB
size, and a decoder wouldn't be able to know whether to read a bit or
not until the final SB of that 128x128 block has been decoded
(depending on whether the 128x128 is all skip or not).  Therefore the
signalling was changed for 128x128 blocks so that every top left SB of
a 128x128 filter block contains a signal regardless of whether the
block is all skip or not.  Also, all the MB's of 128x128 block are
filtered even if they are skip MB's.  This gives the signal a purpose
even when the 128x128 block is all skip, and it also gives a slight
coding gain as it leaves a way to filter skip blocks, which was
previously forbidden.

Low latency:
PSNR YCbCr:     -0.19%     -0.14%     -0.06%
   PSNRHVS:     -0.15%
      SSIM:     -0.13%
    MSSSIM:     -0.15%
 CIEDE2000:     -0.19%

High latency:
PSNR YCbCr:     -0.03%     -0.01%     -0.09%
   PSNRHVS:      0.04%
      SSIM:      0.00%
    MSSSIM:      0.02%
 CIEDE2000:     -0.02%

Change-Id: I69ba7144d07d388b4f0968f6a53558f480979171

Renamings for OBMC experiment

To get ready for pulling AV1 to nextgenv2
Replace the experimental flag by MOTION_VAR. Rename major variables.

Change-Id: If6cf4f37b9319c46d8f90df551cc7295d66ca205

Don't use _mm_cvtsi128_si64 on 32 bit systems

Change-Id: I332afb8d9e35cd60f05915160a5b2e1dc8757de5

Fix formatting in a few files

Change-Id: Ia5175afe82b142d9e18c01c546610202c630588e

Removing some useless loops in deringing filter

No change in the output

Change-Id: I1627feaa163d65da0df90e9dacbc5e39ee755de8

Fix deringing level choice for 10-bit and 12-bit

Making sure we never exceed a base level of 63

Change-Id: I821254b8d970446bd40fdd6e4d7073c69760a86d

Don't dering superblocks that have deringing disabled

Doesn't change the output, but avoids useless deringing with threshold=0

Change-Id: I69f3e54abad2d2493cfbc76c188ad7d190f0aeff

Merge "Add SSE4.1 code for deringing functions." into nextgenv2

Add SSE4.1 code for deringing functions.

Change-Id: I363f7fb610a5c86ea9f417e34b57c6373af877e5

Merge "Simpler threshold calculation for the second filter" into nextgenv2

Merge "Make 4x4 deringing (chroma) use shorter filters" into nextgenv2

Merge "Removing Daala-specific deringing code" into nextgenv2

Merge "Clean code a bit and fix a couple of small bugs in ext-refs" into nextgenv2

Merge "Use a quantizer-based threshold rather than full search for deringing" into nextgenv2

Merge changes Ic3a68557,Ib1dbe41a,I0da09270,Ibdbd720d into nextgenv2

* changes:
  Deringing cleanup: remove DERING_REFINEMENT (always on now)
  Don't run the deringing filter on skipped blocks within a superblock
  Don't dering skipped superblocks
  On x86 use _mm_set_epi32 when _mm_cvtsi64_si128 isn't available

Clean code a bit and fix a couple of small bugs in ext-refs

Currently the patch does not have any impact on the RD performance. The
fix could however potentially help on the next step of work, especially
when the extra altref frames allow non-zero temporal filtering strength
and their corresponding OVERLAY frames, i.e. the INTNL_OVERLAY frames
are being added.

Change-Id: I2e07fb3d0aa547a0b5dd05bb4ba865cd46309076

Merge "Sync 2x2 intra predictors" into nextgenv2

Simplify 8x16 and 16x8 inverse transform tests

Change-Id: Ie86aedfb1f3e0d9c0cf58d7183861a0ed0e8ccc8

Enable test system to detect transforms misusing 'stride' parameter

This would have caught the bug introduced in patch set 1 of
https://chromium-review.googlesource.com/#/c/397378/

Change-Id: I9c6d5d9c4c98aed5ac48c4fb1c4ff4131b0df1d5

AnsTest: Replace the dummy distribution

Use constrained token table row 65/256 instead.

Change-Id: I8b442d4c82af8fa9d36ac2de0d73179ed040478d
(cherry picked from commit 47eb9a2ca46821b468903514cd34eaaca2533d45)

Merge changes Ic74d9d88,Ie93b474e,I544989ea,Ic273f7d9,Idfd2d2b3, ... into nextgenv2

* changes:
  Remove custom rans types
  Remove add_token_no_extra.
  Remove unused aom_rans_build_cdf_from_pdf
  Add the tool used to generate the constrained tokenset.
  Remove the starting zero from ANS CDFs.
  Import the aom_read/write_symbol abstractions from aom/master

Add sse2 forward and inverse 16x32 and 32x16 transforms

Change-Id: I1241257430f1e08ead1ce0f31db8272b50783102

Merge "Fix a bug in inverse halfright 32x32 transform" into nextgenv2

Remove custom rans types

(cherry picked from aom/master commit 11206c60d930be9d29100567aa67f2a65463852a)

Includes renames in a bunch of places not handled by the original
due to differing tree states.

Change-Id: Ic74d9d8850b8c80a51e55e425bbf472a67e2653f

Sync 2x2 intra predictors

Add 2x2 DC, V, H, TM intra predictors.

Change-Id: I2a614adde553f821c45bc5a9bf09800a9f0aaa26

Simpler threshold calculation for the second filter

PSNR YCbCr:      0.03%     -0.00%      0.07%
   PSNRHVS:      0.06%
      SSIM:      0.12%
    MSSSIM:      0.09%
 CIEDE2000:      0.05%

Change-Id: I15ef9598a08f6713bc28ab98b0182310433e97ef

Make 4x4 deringing (chroma) use shorter filters

Avoids blurring chroma for 4:2:0

PSNR YCbCr:      0.03%     -0.31%     -0.29%
   PSNRHVS:      0.02%
      SSIM:      0.03%
    MSSSIM:      0.02%
 CIEDE2000:      0.01%

Change-Id: If744fb902b5f24404479def22b9ca8a19baec722

Removing Daala-specific deringing code

No point in keeping them in sync now that all the code is reformatted

Change-Id: I8a062253ed6a5f86028cd5a2a922b3c760def6fb

Use a quantizer-based threshold rather than full search for deringing

objective-1-short results (with deringing enabled):
PSNR YCbCr:      0.08%      0.03%      0.11%
   PSNRHVS:      0.06%
      SSIM:      0.12%
    MSSSIM:      0.08%
 CIEDE2000:      0.05%

Change-Id: Ifcfc42c14c33650dcf879c4d0ddd8688d4d07da1

Remove add_token_no_extra.

It was a fairly small production optimization for VP9.

Change-Id: Ie93b474ea5b7e63384a7c0b3a56b135462d1471b
(cherry picked from aom/master commit df9bb76b1330de42fe13827df4c72010adb51429)

Remove unused aom_rans_build_cdf_from_pdf

Change-Id: I544989eae45b7dda04250365c3de99f50110a76b
(cherry picked from aom/master commit 06cce842caa5212826d51c2a317de0bdfae74349)

Add the tool used to generate the constrained tokenset.

The code that generates the raw distribution is based on a MATLAB
program by Debargha Mukherjee, and the algorithm used to quantize the
distribution comes from the ANS Toolkit by Jarek Duda.

Change-Id: Ic273f7d9e43e3ecd999e9e7e04cde57e8559375a
(cherry picked from aom/master commit ef446026aeafa318f9bee182b8c80eb4f1ef5a0a)

Remove the starting zero from ANS CDFs.

This brings it in line with the Daala CDFs and will make it easier to
share code.

Change-Id: Idfd2d2b33c3b9b2c4e72ce72fb3d8039013448b9
(cherry picked from aom/master commit af98507ca928afe33e9f88fdd2ca168379528d6a)

Import the aom_read/write_symbol abstractions from aom/master

Change-Id: I0b255c05108c3b97e74df1b59c34111c9e9a5770

Deringing cleanup: remove DERING_REFINEMENT (always on now)

Change-Id: Ic3a6855799be010e69aeab924b013679282ab191

Don't run the deringing filter on skipped blocks within a superblock

No change in metrics

Change-Id: Ib1dbe41a9e1a564dd9a63a33e2a5315ad6bca70c

Don't dering skipped superblocks

No change in metrics

Change-Id: I0da09270d78c3caf78a32a3157f02c87f2232e3e

Merge "Hybrid forward transform 32x32 AVX2 optimization" into nextgenv2

On x86 use _mm_set_epi32 when _mm_cvtsi64_si128 isn't available

Change-Id: Ibdbd720d4f68892da6164a9849e212e759305005

Merge changes I3ca2b674,I78afc587,I3ae62181,I5ed91556 into nextgenv2

* changes:
  Unfork ANS decode_coefs
  Remove ZERO_TOKEN from the ANS tokenset
  Drop costing ANS tokens from derived probabilities
  Unfork ANS pack_mb_tokens

Fix a bug in inverse halfright 32x32 transform

Fix a bug in the C implementation of the ihalfright32
transform, in the case that its input and output buffers are the same.
This occurs when it is called by av1_iht32x16_512_add_c.

Change-Id: I61c652e2662178520c0639a2879ae128a9c7ec3f

Hybrid forward transform 32x32 AVX2 optimization

- av1_fht32x32 AVX2 function level time reduction ~89% compared to C.

- av1_fht32x32_avx2() on DCT_DCT improves 42.62% over aom_fdct32x32_avx2()
  But function replacement must go with the corresponding inverse txfm.

- No obvious user level time reduction due to 32x32 TX_TYPE selection.

- Zero high 128b YMM to avoid AVX-SSE transition penalties
  (fix 16x16 case).

- Added 32x32 AVX2 unit tests to verify bitexact.

- AVX2 optimization summary:
  On CPU i7-6700, based on 16x16/32x32 fwd txfm optimization results:
  C to AVX2: function level time reduction, ~86-89%.
  SSE2 to AVX2: function level time reduction, ~51%.

Change-Id: Idd0cd8bf066a61c7117140ef15ab6c1f8eb4b036

Merge "Send allow_screen_content flag for both key and intra only frames" into nextgenv2

Merge "Refactor expand dry_run types to return coef rate" into nextgenv2

Unfork ANS decode_coefs

This is less code and more like what we have in aom/master.

Change-Id: I3ca2b674e4ad9e2e211d08bb51d78549e8b63a54

Remove ZERO_TOKEN from the ANS tokenset

This can be re-added after aligning AOM's ANS with nextgenv2's ANS.

This partially reverts commit 3829cd2f2f9904572019aa047d068baeee843767.

Change-Id: I78afc587f1abfe33ffcd53b3262910cfae135534

Drop costing ANS tokens from derived probabilities

This mimics what's currently done in aom/master. This can be re-added
after aligning AOM's ANS with nextgenv2's ANS.

Change-Id: I3ae62181dd4803694204a234c717a86a15ca8a40

Unfork ANS pack_mb_tokens

This is less code and more like what we have in aom/master.

Change-Id: I5ed915563cbfbc6281113c1eb31455f50710ba9f

AUTHORS regenerated

script changed to remove extra entities and clang-format bot.

Change-Id: I102cd80fdf4b240e6e4d5172943e49146a601a72

Merge "minor updates" into nextgenv2

Send allow_screen_content flag for both key and intra only frames

BUG=webm:1311

Change-Id: I03c1043d17ed4e4ea22002473779a9612884c6c6

Merge "Include fix: use aom_integer.h" into nextgenv2

Merge "Add compiler flag -Wsign-compare" into nextgenv2

Merge "LIBVPX_TEST_DATA_PATH -> LIBAOM_TEST_DATA_PATH" into nextgenv2

minor updates

1. vp8->aom
2. removed no-effect statements and spaces

Change-Id: I367d05ff9bf1b9f3c71c517c45d8049d9d4236ec

Merge "Fix inconsistency in gm parameter write to bitstream" into nextgenv2

Include fix: use aom_integer.h

Change-Id: I98919a04bead417379e555461f67978501f922e7

Add compiler flag -Wsign-compare

Also, fix the warnings generated by this flag.

Conflicts:
examples/aom_cx_set_ref.c

Change-Id: I0451e119c52000aa7c1c55027d53f1da5a02a11f

LIBVPX_TEST_DATA_PATH -> LIBAOM_TEST_DATA_PATH

This commit renames LIBVPX_TEST_DATA_PATH to LIBAOM_TEST_DATA_PATH,
with a work around for working with jenkins environmnet variables.

Change-Id: If664ce57e25ad2af8121d1b578bf64043f0baa2a

Merge "y4m_test: fix segfault if test files are missing" into nextgenv2

Merge "Remove two files not in use" into nextgenv2

Fix inconsistency in gm parameter write to bitstream

Before this change, gm parameters were being written to the
bitstream for all frames, but only read for inter only frames,
causing a bitstream error.

Change-Id: I63b8e2fdf6358e07cc00718de04cc399809bde37

y4m_test: fix segfault if test files are missing

Change-Id: I7a04beb83095e5c0821048909f81f45be8b5eee3

Merge "Remove -fno-strict-aliasing flag" into nextgenv2

Remove two files not in use

test/cx_set_ref.sh: replaced by test/aomcx_set_ref.sh
test/vpxdec.sh: replaced by aomdec.sh

Change-Id: I74136d311eee7666e08ed8f573a17f810992fc52

Merge "change to use aomedia copyright notice" into nextgenv2

Merge "Fix missing parentheses in v64_align()" into nextgenv2

Merge "Improve v128 and v64 8 bit shifts for x86" into nextgenv2

Merge "Clean up and speed up CLPF clipping" into nextgenv2

Merge "Fix typos in CLPF unit test" into nextgenv2

Merge "Make generic SIMD code compile if no native support" into nextgenv2

Refactor expand dry_run types to return coef rate

Adds the functionality to return the rate cost due to
coefficients without doing full search of all modes.
This will be subsequently used in various experiments,
including in new_quant experiment to search quantization
profiles at the superblock level without repeating the
full mode/partition search.

Change-Id: I4aad3f3f0c8b8dfdea38f8f4f094a98283f47f08

Merge "Bugfix in CLPF RDO.  Prevented selection of enable_fb_flag=0." into nextgenv2

Merge "Bugfix in the CLPF RDO." into nextgenv2

Merge "Read mode to mi->bmi for sub 8x8 blocks" into nextgenv2

change to use aomedia copyright notice

Change-Id: Idb2cf2555bcbe04a6650c492a3a714d7d5836b67

Fix missing parentheses in v64_align()

Change-Id: I16469062853c101965f56002be30ebc5823975b1

Improve v128 and v64 8 bit shifts for x86

Change-Id: I25dc61bab46895d425ce49f89fceb164bee36906

Clean up and speed up CLPF clipping

* Move clipping tests from inside to outside loops
* Let sizex and sizey to clpf_block() be the clipped block size rather
  than both just bs
* Make fallback tests to C more accurate

Change-Id: Icdc57540ce21b41a95403fdcc37988a4ebf546c7

Fix typos in CLPF unit test

Change-Id: Ia69bad44e47509208e3b9d306165d0872d4e92f3

Make generic SIMD code compile if no native support

Change-Id: I7f691a0ae27f06ef3d727764829a60a8ffc509eb

Bugfix in CLPF RDO.  Prevented selection of enable_fb_flag=0.

PSNR YCbCr:     -0.01%     -0.06%     -0.17%
   PSNRHVS:      0.01%
      SSIM:      0.03%
    MSSSIM:      0.00%
 CIEDE2000:     -0.05%

Change-Id: I1205c021bfc5cee6f80344fec92aabb529af9bd1