Fix deringing level choice for 10-bit and 12-bit

Making sure we never exceed a base level of 63

Change-Id: I821254b8d970446bd40fdd6e4d7073c69760a86d

Don't dering superblocks that have deringing disabled

Doesn't change the output, but avoids useless deringing with threshold=0

Change-Id: I69f3e54abad2d2493cfbc76c188ad7d190f0aeff

Merge "Add SSE4.1 code for deringing functions." into nextgenv2

Add SSE4.1 code for deringing functions.

Change-Id: I363f7fb610a5c86ea9f417e34b57c6373af877e5

Merge "Simpler threshold calculation for the second filter" into nextgenv2

Merge "Make 4x4 deringing (chroma) use shorter filters" into nextgenv2

Merge "Removing Daala-specific deringing code" into nextgenv2

Merge "Clean code a bit and fix a couple of small bugs in ext-refs" into nextgenv2

Merge "Use a quantizer-based threshold rather than full search for deringing" into nextgenv2

Merge changes Ic3a68557,Ib1dbe41a,I0da09270,Ibdbd720d into nextgenv2

* changes:
  Deringing cleanup: remove DERING_REFINEMENT (always on now)
  Don't run the deringing filter on skipped blocks within a superblock
  Don't dering skipped superblocks
  On x86 use _mm_set_epi32 when _mm_cvtsi64_si128 isn't available

Clean code a bit and fix a couple of small bugs in ext-refs

Currently the patch does not have any impact on the RD performance. The
fix could however potentially help on the next step of work, especially
when the extra altref frames allow non-zero temporal filtering strength
and their corresponding OVERLAY frames, i.e. the INTNL_OVERLAY frames
are being added.

Change-Id: I2e07fb3d0aa547a0b5dd05bb4ba865cd46309076

Merge "Sync 2x2 intra predictors" into nextgenv2

AnsTest: Replace the dummy distribution

Use constrained token table row 65/256 instead.

Change-Id: I8b442d4c82af8fa9d36ac2de0d73179ed040478d
(cherry picked from commit 47eb9a2ca46821b468903514cd34eaaca2533d45)

Merge changes Ic74d9d88,Ie93b474e,I544989ea,Ic273f7d9,Idfd2d2b3, ... into nextgenv2

* changes:
  Remove custom rans types
  Remove add_token_no_extra.
  Remove unused aom_rans_build_cdf_from_pdf
  Add the tool used to generate the constrained tokenset.
  Remove the starting zero from ANS CDFs.
  Import the aom_read/write_symbol abstractions from aom/master

Merge "Fix a bug in inverse halfright 32x32 transform" into nextgenv2

Remove custom rans types

(cherry picked from aom/master commit 11206c60d930be9d29100567aa67f2a65463852a)

Includes renames in a bunch of places not handled by the original
due to differing tree states.

Change-Id: Ic74d9d8850b8c80a51e55e425bbf472a67e2653f

Sync 2x2 intra predictors

Add 2x2 DC, V, H, TM intra predictors.

Change-Id: I2a614adde553f821c45bc5a9bf09800a9f0aaa26

Simpler threshold calculation for the second filter

PSNR YCbCr:      0.03%     -0.00%      0.07%
   PSNRHVS:      0.06%
      SSIM:      0.12%
    MSSSIM:      0.09%
 CIEDE2000:      0.05%

Change-Id: I15ef9598a08f6713bc28ab98b0182310433e97ef

Make 4x4 deringing (chroma) use shorter filters

Avoids blurring chroma for 4:2:0

PSNR YCbCr:      0.03%     -0.31%     -0.29%
   PSNRHVS:      0.02%
      SSIM:      0.03%
    MSSSIM:      0.02%
 CIEDE2000:      0.01%

Change-Id: If744fb902b5f24404479def22b9ca8a19baec722

Removing Daala-specific deringing code

No point in keeping them in sync now that all the code is reformatted

Change-Id: I8a062253ed6a5f86028cd5a2a922b3c760def6fb

Use a quantizer-based threshold rather than full search for deringing

objective-1-short results (with deringing enabled):
PSNR YCbCr:      0.08%      0.03%      0.11%
   PSNRHVS:      0.06%
      SSIM:      0.12%
    MSSSIM:      0.08%
 CIEDE2000:      0.05%

Change-Id: Ifcfc42c14c33650dcf879c4d0ddd8688d4d07da1

Remove add_token_no_extra.

It was a fairly small production optimization for VP9.

Change-Id: Ie93b474ea5b7e63384a7c0b3a56b135462d1471b
(cherry picked from aom/master commit df9bb76b1330de42fe13827df4c72010adb51429)

Remove unused aom_rans_build_cdf_from_pdf

Change-Id: I544989eae45b7dda04250365c3de99f50110a76b
(cherry picked from aom/master commit 06cce842caa5212826d51c2a317de0bdfae74349)

Add the tool used to generate the constrained tokenset.

The code that generates the raw distribution is based on a MATLAB
program by Debargha Mukherjee, and the algorithm used to quantize the
distribution comes from the ANS Toolkit by Jarek Duda.

Change-Id: Ic273f7d9e43e3ecd999e9e7e04cde57e8559375a
(cherry picked from aom/master commit ef446026aeafa318f9bee182b8c80eb4f1ef5a0a)

Remove the starting zero from ANS CDFs.

This brings it in line with the Daala CDFs and will make it easier to
share code.

Change-Id: Idfd2d2b33c3b9b2c4e72ce72fb3d8039013448b9
(cherry picked from aom/master commit af98507ca928afe33e9f88fdd2ca168379528d6a)

Import the aom_read/write_symbol abstractions from aom/master

Change-Id: I0b255c05108c3b97e74df1b59c34111c9e9a5770

Deringing cleanup: remove DERING_REFINEMENT (always on now)

Change-Id: Ic3a6855799be010e69aeab924b013679282ab191

Don't run the deringing filter on skipped blocks within a superblock

No change in metrics

Change-Id: Ib1dbe41a9e1a564dd9a63a33e2a5315ad6bca70c

Don't dering skipped superblocks

No change in metrics

Change-Id: I0da09270d78c3caf78a32a3157f02c87f2232e3e

Merge "Hybrid forward transform 32x32 AVX2 optimization" into nextgenv2

On x86 use _mm_set_epi32 when _mm_cvtsi64_si128 isn't available

Change-Id: Ibdbd720d4f68892da6164a9849e212e759305005

Merge changes I3ca2b674,I78afc587,I3ae62181,I5ed91556 into nextgenv2

* changes:
  Unfork ANS decode_coefs
  Remove ZERO_TOKEN from the ANS tokenset
  Drop costing ANS tokens from derived probabilities
  Unfork ANS pack_mb_tokens

Fix a bug in inverse halfright 32x32 transform

Fix a bug in the C implementation of the ihalfright32
transform, in the case that its input and output buffers are the same.
This occurs when it is called by av1_iht32x16_512_add_c.

Change-Id: I61c652e2662178520c0639a2879ae128a9c7ec3f

Hybrid forward transform 32x32 AVX2 optimization

- av1_fht32x32 AVX2 function level time reduction ~89% compared to C.

- av1_fht32x32_avx2() on DCT_DCT improves 42.62% over aom_fdct32x32_avx2()
  But function replacement must go with the corresponding inverse txfm.

- No obvious user level time reduction due to 32x32 TX_TYPE selection.

- Zero high 128b YMM to avoid AVX-SSE transition penalties
  (fix 16x16 case).

- Added 32x32 AVX2 unit tests to verify bitexact.

- AVX2 optimization summary:
  On CPU i7-6700, based on 16x16/32x32 fwd txfm optimization results:
  C to AVX2: function level time reduction, ~86-89%.
  SSE2 to AVX2: function level time reduction, ~51%.

Change-Id: Idd0cd8bf066a61c7117140ef15ab6c1f8eb4b036

Merge "Send allow_screen_content flag for both key and intra only frames" into nextgenv2

Merge "Refactor expand dry_run types to return coef rate" into nextgenv2

Unfork ANS decode_coefs

This is less code and more like what we have in aom/master.

Change-Id: I3ca2b674e4ad9e2e211d08bb51d78549e8b63a54

Remove ZERO_TOKEN from the ANS tokenset

This can be re-added after aligning AOM's ANS with nextgenv2's ANS.

This partially reverts commit 3829cd2f2f9904572019aa047d068baeee843767.

Change-Id: I78afc587f1abfe33ffcd53b3262910cfae135534

Drop costing ANS tokens from derived probabilities

This mimics what's currently done in aom/master. This can be re-added
after aligning AOM's ANS with nextgenv2's ANS.

Change-Id: I3ae62181dd4803694204a234c717a86a15ca8a40

Unfork ANS pack_mb_tokens

This is less code and more like what we have in aom/master.

Change-Id: I5ed915563cbfbc6281113c1eb31455f50710ba9f

AUTHORS regenerated

script changed to remove extra entities and clang-format bot.

Change-Id: I102cd80fdf4b240e6e4d5172943e49146a601a72

Merge "minor updates" into nextgenv2

Send allow_screen_content flag for both key and intra only frames

BUG=webm:1311

Change-Id: I03c1043d17ed4e4ea22002473779a9612884c6c6

Merge "Include fix: use aom_integer.h" into nextgenv2

Merge "Add compiler flag -Wsign-compare" into nextgenv2

Merge "LIBVPX_TEST_DATA_PATH -> LIBAOM_TEST_DATA_PATH" into nextgenv2

minor updates

1. vp8->aom
2. removed no-effect statements and spaces

Change-Id: I367d05ff9bf1b9f3c71c517c45d8049d9d4236ec

Merge "Fix inconsistency in gm parameter write to bitstream" into nextgenv2

Include fix: use aom_integer.h

Change-Id: I98919a04bead417379e555461f67978501f922e7

Add compiler flag -Wsign-compare

Also, fix the warnings generated by this flag.

Conflicts:
examples/aom_cx_set_ref.c

Change-Id: I0451e119c52000aa7c1c55027d53f1da5a02a11f

LIBVPX_TEST_DATA_PATH -> LIBAOM_TEST_DATA_PATH

This commit renames LIBVPX_TEST_DATA_PATH to LIBAOM_TEST_DATA_PATH,
with a work around for working with jenkins environmnet variables.

Change-Id: If664ce57e25ad2af8121d1b578bf64043f0baa2a

Merge "y4m_test: fix segfault if test files are missing" into nextgenv2

Merge "Remove two files not in use" into nextgenv2

Fix inconsistency in gm parameter write to bitstream

Before this change, gm parameters were being written to the
bitstream for all frames, but only read for inter only frames,
causing a bitstream error.

Change-Id: I63b8e2fdf6358e07cc00718de04cc399809bde37

y4m_test: fix segfault if test files are missing

Change-Id: I7a04beb83095e5c0821048909f81f45be8b5eee3

Merge "Remove -fno-strict-aliasing flag" into nextgenv2

Remove two files not in use

test/cx_set_ref.sh: replaced by test/aomcx_set_ref.sh
test/vpxdec.sh: replaced by aomdec.sh

Change-Id: I74136d311eee7666e08ed8f573a17f810992fc52

Merge "change to use aomedia copyright notice" into nextgenv2

Merge "Fix missing parentheses in v64_align()" into nextgenv2

Merge "Improve v128 and v64 8 bit shifts for x86" into nextgenv2

Merge "Clean up and speed up CLPF clipping" into nextgenv2

Merge "Fix typos in CLPF unit test" into nextgenv2

Merge "Make generic SIMD code compile if no native support" into nextgenv2

Refactor expand dry_run types to return coef rate

Adds the functionality to return the rate cost due to
coefficients without doing full search of all modes.
This will be subsequently used in various experiments,
including in new_quant experiment to search quantization
profiles at the superblock level without repeating the
full mode/partition search.

Change-Id: I4aad3f3f0c8b8dfdea38f8f4f094a98283f47f08

Merge "Bugfix in CLPF RDO.  Prevented selection of enable_fb_flag=0." into nextgenv2

Merge "Bugfix in the CLPF RDO." into nextgenv2

Merge "Read mode to mi->bmi for sub 8x8 blocks" into nextgenv2

change to use aomedia copyright notice

Change-Id: Idb2cf2555bcbe04a6650c492a3a714d7d5836b67

Fix missing parentheses in v64_align()

Change-Id: I16469062853c101965f56002be30ebc5823975b1

Improve v128 and v64 8 bit shifts for x86

Change-Id: I25dc61bab46895d425ce49f89fceb164bee36906

Clean up and speed up CLPF clipping

* Move clipping tests from inside to outside loops
* Let sizex and sizey to clpf_block() be the clipped block size rather
  than both just bs
* Make fallback tests to C more accurate

Change-Id: Icdc57540ce21b41a95403fdcc37988a4ebf546c7

Fix typos in CLPF unit test

Change-Id: Ia69bad44e47509208e3b9d306165d0872d4e92f3

Make generic SIMD code compile if no native support

Change-Id: I7f691a0ae27f06ef3d727764829a60a8ffc509eb

Bugfix in CLPF RDO.  Prevented selection of enable_fb_flag=0.

PSNR YCbCr:     -0.01%     -0.06%     -0.17%
   PSNRHVS:      0.01%
      SSIM:      0.03%
    MSSSIM:      0.00%
 CIEDE2000:     -0.05%

Change-Id: I1205c021bfc5cee6f80344fec92aabb529af9bd1

Bugfix in the CLPF RDO.

When CLPF was extended to chroma, the chroma RDO accidentally
discarded the optimal block size found in the luma RDO.

PSNR YCbCr:     -0.25%      0.05%      0.06%
   PSNRHVS:     -0.19%
      SSIM:     -0.36%
    MSSSIM:     -0.23%

Conflicts:
av1/common/clpf.c

Change-Id: Ie49cd30f9276a311ada88cb2f13d14757617f030

Merge "Move tree writing code into bitwriter.h." into nextgenv2

Merge "Remove unused color_sensitivity member from MACROBLOCK." into nextgenv2

Read mode to mi->bmi for sub 8x8 blocks

Previously, only the motion vectors were being stored. This caused
a mismatch in the global motion experiment, which needs this
mode information to decide whether or not to use the gm parameters
in reconstruction.

Change-Id: I58cde750ec06587dbfb8d65b07c15a67b7d6b1f6

Merge "CLPF: Remove redundant function argument." into nextgenv2

Merge "Extend CLPF to chroma." into nextgenv2

Merge "Remove some dead code in CLPF." into nextgenv2

Merge "Print correct info if CLPF unit tests fail." into nextgenv2

Merge "Reduce memory footprint for CLPF encoding." into nextgenv2

Merge "Make generic SIMD work with clang." into nextgenv2

Merge "Fix clang-format warnings in aom_dsp/simd/v64_intrinsics_arm.h" into nextgenv2

Merge "Non-normative quality improvements to CLPF." into nextgenv2

Merge "Added high bit-depth support in CLPF." into nextgenv2

Merge "Fix a memleak in CLPF." into nextgenv2

Merge "Reduce memory footprint for CLPF decoding." into nextgenv2

Merge "Make CLPF handle frame widths and heights not divisible by 8." into nextgenv2

Merge "CLPF: Don't assume sb size=64 and w&h multiple of 8 + valgrind fix." into nextgenv2

Merge "Silence some harmless compiler warnings in CLPF." into nextgenv2

Merge "Add a small code clean for show_existing_frame" into nextgenv2

Move tree writing code into bitwriter.h.

Rename av1_write_tree() to aom_write_tree() and move it into bitwriter.h
 to match aom_read_tree() in bitreader.h.

Manually cherry-picked from aom/master:
33a143fa7ac42d62080bfc20468cb76ad26045db

Change-Id: I6c686cdd3e0f179d7e95c5bc6984558b62d46d67

Remove unused color_sensitivity member from MACROBLOCK.

Conflicts:
av1/encoder/block.h
av1/encoder/encodeframe.c

Change-Id: I941e7b9e76380f262b173928d3c5132c5613b3ce

Merge "Use derived variable size for memcpy" into nextgenv2

Merge "Added generic SIMD support for CLPF." into nextgenv2

Merge "Add sse2 forward / inverse 4x8 and 8x4 transforms" into nextgenv2

Use derived variable size for memcpy

Manually cherry-picked from aom/master:
bf2ad75a1723d223c376b93295aa06dd23226937

Change-Id: I99f05e79ec8ad35a49bc124e6dd829ccc7d9cc36

Add a small code clean for show_existing_frame

Change-Id: I42dc9f0fdecd3cf3398ab82d6e01dde06bdf7b24