Use a quantizer-based threshold rather than full search for deringing

objective-1-short results (with deringing enabled):
PSNR YCbCr:      0.08%      0.03%      0.11%
   PSNRHVS:      0.06%
      SSIM:      0.12%
    MSSSIM:      0.08%
 CIEDE2000:      0.05%

Change-Id: Ifcfc42c14c33650dcf879c4d0ddd8688d4d07da1

Deringing cleanup: remove DERING_REFINEMENT (always on now)

Change-Id: Ic3a6855799be010e69aeab924b013679282ab191

Don't run the deringing filter on skipped blocks within a superblock

No change in metrics

Change-Id: Ib1dbe41a9e1a564dd9a63a33e2a5315ad6bca70c

Don't dering skipped superblocks

No change in metrics

Change-Id: I0da09270d78c3caf78a32a3157f02c87f2232e3e

On x86 use _mm_set_epi32 when _mm_cvtsi64_si128 isn't available

Change-Id: Ibdbd720d4f68892da6164a9849e212e759305005

Merge changes I3ca2b674,I78afc587,I3ae62181,I5ed91556 into nextgenv2

* changes:
  Unfork ANS decode_coefs
  Remove ZERO_TOKEN from the ANS tokenset
  Drop costing ANS tokens from derived probabilities
  Unfork ANS pack_mb_tokens

Merge "Send allow_screen_content flag for both key and intra only frames" into nextgenv2

Merge "Refactor expand dry_run types to return coef rate" into nextgenv2

Unfork ANS decode_coefs

This is less code and more like what we have in aom/master.

Change-Id: I3ca2b674e4ad9e2e211d08bb51d78549e8b63a54

Remove ZERO_TOKEN from the ANS tokenset

This can be re-added after aligning AOM's ANS with nextgenv2's ANS.

This partially reverts commit 3829cd2f2f9904572019aa047d068baeee843767.

Change-Id: I78afc587f1abfe33ffcd53b3262910cfae135534

Drop costing ANS tokens from derived probabilities

This mimics what's currently done in aom/master. This can be re-added
after aligning AOM's ANS with nextgenv2's ANS.

Change-Id: I3ae62181dd4803694204a234c717a86a15ca8a40

Unfork ANS pack_mb_tokens

This is less code and more like what we have in aom/master.

Change-Id: I5ed915563cbfbc6281113c1eb31455f50710ba9f

AUTHORS regenerated

script changed to remove extra entities and clang-format bot.

Change-Id: I102cd80fdf4b240e6e4d5172943e49146a601a72

Merge "minor updates" into nextgenv2

Send allow_screen_content flag for both key and intra only frames

BUG=webm:1311

Change-Id: I03c1043d17ed4e4ea22002473779a9612884c6c6

Merge "Include fix: use aom_integer.h" into nextgenv2

Merge "Add compiler flag -Wsign-compare" into nextgenv2

Merge "LIBVPX_TEST_DATA_PATH -> LIBAOM_TEST_DATA_PATH" into nextgenv2

minor updates

1. vp8->aom
2. removed no-effect statements and spaces

Change-Id: I367d05ff9bf1b9f3c71c517c45d8049d9d4236ec

Merge "Fix inconsistency in gm parameter write to bitstream" into nextgenv2

Include fix: use aom_integer.h

Change-Id: I98919a04bead417379e555461f67978501f922e7

Add compiler flag -Wsign-compare

Also, fix the warnings generated by this flag.

Conflicts:
examples/aom_cx_set_ref.c

Change-Id: I0451e119c52000aa7c1c55027d53f1da5a02a11f

LIBVPX_TEST_DATA_PATH -> LIBAOM_TEST_DATA_PATH

This commit renames LIBVPX_TEST_DATA_PATH to LIBAOM_TEST_DATA_PATH,
with a work around for working with jenkins environmnet variables.

Change-Id: If664ce57e25ad2af8121d1b578bf64043f0baa2a

Merge "y4m_test: fix segfault if test files are missing" into nextgenv2

Merge "Remove two files not in use" into nextgenv2

Fix inconsistency in gm parameter write to bitstream

Before this change, gm parameters were being written to the
bitstream for all frames, but only read for inter only frames,
causing a bitstream error.

Change-Id: I63b8e2fdf6358e07cc00718de04cc399809bde37

y4m_test: fix segfault if test files are missing

Change-Id: I7a04beb83095e5c0821048909f81f45be8b5eee3

Merge "Remove -fno-strict-aliasing flag" into nextgenv2

Remove two files not in use

test/cx_set_ref.sh: replaced by test/aomcx_set_ref.sh
test/vpxdec.sh: replaced by aomdec.sh

Change-Id: I74136d311eee7666e08ed8f573a17f810992fc52

Merge "change to use aomedia copyright notice" into nextgenv2

Merge "Fix missing parentheses in v64_align()" into nextgenv2

Merge "Improve v128 and v64 8 bit shifts for x86" into nextgenv2

Merge "Clean up and speed up CLPF clipping" into nextgenv2

Merge "Fix typos in CLPF unit test" into nextgenv2

Merge "Make generic SIMD code compile if no native support" into nextgenv2

Refactor expand dry_run types to return coef rate

Adds the functionality to return the rate cost due to
coefficients without doing full search of all modes.
This will be subsequently used in various experiments,
including in new_quant experiment to search quantization
profiles at the superblock level without repeating the
full mode/partition search.

Change-Id: I4aad3f3f0c8b8dfdea38f8f4f094a98283f47f08

Merge "Bugfix in CLPF RDO.  Prevented selection of enable_fb_flag=0." into nextgenv2

Merge "Bugfix in the CLPF RDO." into nextgenv2

Merge "Read mode to mi->bmi for sub 8x8 blocks" into nextgenv2

change to use aomedia copyright notice

Change-Id: Idb2cf2555bcbe04a6650c492a3a714d7d5836b67

Fix missing parentheses in v64_align()

Change-Id: I16469062853c101965f56002be30ebc5823975b1

Improve v128 and v64 8 bit shifts for x86

Change-Id: I25dc61bab46895d425ce49f89fceb164bee36906

Clean up and speed up CLPF clipping

* Move clipping tests from inside to outside loops
* Let sizex and sizey to clpf_block() be the clipped block size rather
  than both just bs
* Make fallback tests to C more accurate

Change-Id: Icdc57540ce21b41a95403fdcc37988a4ebf546c7

Fix typos in CLPF unit test

Change-Id: Ia69bad44e47509208e3b9d306165d0872d4e92f3

Make generic SIMD code compile if no native support

Change-Id: I7f691a0ae27f06ef3d727764829a60a8ffc509eb

Bugfix in CLPF RDO.  Prevented selection of enable_fb_flag=0.

PSNR YCbCr:     -0.01%     -0.06%     -0.17%
   PSNRHVS:      0.01%
      SSIM:      0.03%
    MSSSIM:      0.00%
 CIEDE2000:     -0.05%

Change-Id: I1205c021bfc5cee6f80344fec92aabb529af9bd1

Bugfix in the CLPF RDO.

When CLPF was extended to chroma, the chroma RDO accidentally
discarded the optimal block size found in the luma RDO.

PSNR YCbCr:     -0.25%      0.05%      0.06%
   PSNRHVS:     -0.19%
      SSIM:     -0.36%
    MSSSIM:     -0.23%

Conflicts:
av1/common/clpf.c

Change-Id: Ie49cd30f9276a311ada88cb2f13d14757617f030

Merge "Move tree writing code into bitwriter.h." into nextgenv2

Merge "Remove unused color_sensitivity member from MACROBLOCK." into nextgenv2

Read mode to mi->bmi for sub 8x8 blocks

Previously, only the motion vectors were being stored. This caused
a mismatch in the global motion experiment, which needs this
mode information to decide whether or not to use the gm parameters
in reconstruction.

Change-Id: I58cde750ec06587dbfb8d65b07c15a67b7d6b1f6

Merge "CLPF: Remove redundant function argument." into nextgenv2

Merge "Extend CLPF to chroma." into nextgenv2

Merge "Remove some dead code in CLPF." into nextgenv2

Merge "Print correct info if CLPF unit tests fail." into nextgenv2

Merge "Reduce memory footprint for CLPF encoding." into nextgenv2

Merge "Make generic SIMD work with clang." into nextgenv2

Merge "Fix clang-format warnings in aom_dsp/simd/v64_intrinsics_arm.h" into nextgenv2

Merge "Non-normative quality improvements to CLPF." into nextgenv2

Merge "Added high bit-depth support in CLPF." into nextgenv2

Merge "Fix a memleak in CLPF." into nextgenv2

Merge "Reduce memory footprint for CLPF decoding." into nextgenv2

Merge "Make CLPF handle frame widths and heights not divisible by 8." into nextgenv2

Merge "CLPF: Don't assume sb size=64 and w&h multiple of 8 + valgrind fix." into nextgenv2

Merge "Silence some harmless compiler warnings in CLPF." into nextgenv2

Merge "Add a small code clean for show_existing_frame" into nextgenv2

Move tree writing code into bitwriter.h.

Rename av1_write_tree() to aom_write_tree() and move it into bitwriter.h
 to match aom_read_tree() in bitreader.h.

Manually cherry-picked from aom/master:
33a143fa7ac42d62080bfc20468cb76ad26045db

Change-Id: I6c686cdd3e0f179d7e95c5bc6984558b62d46d67

Remove unused color_sensitivity member from MACROBLOCK.

Conflicts:
av1/encoder/block.h
av1/encoder/encodeframe.c

Change-Id: I941e7b9e76380f262b173928d3c5132c5613b3ce

Merge "Use derived variable size for memcpy" into nextgenv2

Merge "Added generic SIMD support for CLPF." into nextgenv2

Merge "Add sse2 forward / inverse 4x8 and 8x4 transforms" into nextgenv2

Use derived variable size for memcpy

Manually cherry-picked from aom/master:
bf2ad75a1723d223c376b93295aa06dd23226937

Change-Id: I99f05e79ec8ad35a49bc124e6dd829ccc7d9cc36

Add a small code clean for show_existing_frame

Change-Id: I42dc9f0fdecd3cf3398ab82d6e01dde06bdf7b24

CLPF: Remove redundant function argument.

Change-Id: I31bea3b1f76493060edd7e1bd616a223841d5f77

Extend CLPF to chroma.

Objective quality impact (low latency):

PSNR YCbCr:      0.13%     -1.37%     -1.79%
   PSNRHVS:      0.03%
      SSIM:      0.24%
    MSSSIM:      0.10%
 CIEDE2000:     -0.83%

Change-Id: I8ddf0def569286775f0f9d4d4005932766a7fc27

Remove some dead code in CLPF.

av1_clpf_frame() was always called with the same src and dst,
so we only need one argument and the code supporting different
src and dst was removed.

Change-Id: I70919f50e5cfb19c22eb4dff9ee7c0fa2697fad3

Print correct info if CLPF unit tests fail.

Change-Id: Ieac27194f342d8ef9ef98c96ebea9d0c444658cf

Reduce memory footprint for CLPF encoding.

Use in-place filtering, like in the decoder
(see eb5794da1659f87597291d84c2fbdfd89280065d).

Change-Id: If037ead45f5cb3461347a63e0e415954d5dcba8b

Make generic SIMD work with clang.

Change-Id: I2c504a078a7137bea6ba50c5768c1295878e9ea1

Fix clang-format warnings in aom_dsp/simd/v64_intrinsics_arm.h

Change-Id: I221bf4520d7030133e3b2fea883a995b3d6f6282

Non-normative quality improvements to CLPF.

BDR improvements:
     PSNR  PSNRHVS SSIM  MSSSIM CIEDE2000 PSNR Cb  PSNR Cr
LL: -0.17% -0.13% -0.11% -0.12%   -0.18%   -0.19%   -0.21%
HL: -0.21% -0.14% -0.15% -0.11%   -0.37%   -0.39%   -0.52%

Change-Id: I58c00a1cc0ddfc3376644f66345e99472482a613

Added high bit-depth support in CLPF.

Change-Id: Ic5eadb323227a820ad876c32d4dc296e05db6ece

Fix a memleak in CLPF.

The memleak appeared in eb5794da1659f87597291d84c2fbdfd89280065d.

Change-Id: Ifdd6d64aafa0d0ce4dfaf1844f594d5f843bf2e0

Reduce memory footprint for CLPF decoding.

Instead of having CLPF write to an entire new frame and
copy the result back into the original frame, make the
filter able to work in-place by keeping a buffer of size
frame_width*filter_block_size and delay the write-back
by one filter_block_size row.

This reduces the cycles spent in the filter to ~75%.

Change-Id: I78ca74380c45492daa8935d08d766851edb5fbc1

Make CLPF handle frame widths and heights not divisible by 8.

Change-Id: If5eb33b6b090f43ba64c82468576b89eddd872c3

CLPF: Don't assume sb size=64 and w&h multiple of 8 + valgrind fix.

Change-Id: I518ad9c58973910eb0bdcb377f2d90138208c570

Silence some harmless compiler warnings in CLPF.

Change-Id: I4a6d84007bc17b89cfd8d8f2440bf2968505bd6a

Added generic SIMD support for CLPF.

Change-Id: Ie03f9a5b0a4c708a586532198d755a1e7509f149

Merge "Added generic SIMD library supporting x86 SSE2+ and ARM NEON." into nextgenv2

Merge "New CLPF: New kernel and RDO for strength and block size" into nextgenv2

Add sse2 forward / inverse 4x8 and 8x4 transforms

Change-Id: I89ed93fb20cf975c2b463cff58879521ceaa4163

Merge "Hybrid forward transforms 16x16 AVX2 optimization" into nextgenv2

Merge "Added sse2 inverse 8x16 and 16x8 transforms" into nextgenv2

Merge "A bug fix for var-tx" into nextgenv2

Remove -fno-strict-aliasing flag

The referenced bug was fixed by saving neon registers. That this had any
effect was coincidental.

Both chromium and Android build with clang and neither uses this flag.

Change-Id: I470247d6fd9226fc207b42a187105581a94badc3
(cherry picked from commit fad70a358b9ab832f5f2ece1609936b80b649c71)

Hybrid forward transforms 16x16 AVX2 optimization

- Unit tests are added for AVX2 SIMD.
- Encoder speed improvement:
  AV1 baseline and EXT_TX, three 1080p sequences at bitrate:
  800 Kbps, 2 Mbps, 6 Mbps, on i7-6700 CPU, average
  user level time reduction: 3.86%.

Change-Id: Ibbd7837ee3a831c6b1e4e471bf6c8d3fa3a19ff4

Fix left shift of negative integer in hbd directional predictors

Change-Id: Id78139ae2dfa2d521bd50618b4a81cf24e09e391

Added sse2 inverse 8x16 and 16x8 transforms

Change-Id: I43628407b11e5c8e6af4df69f2acdc67ac827834

Merge "Silence some warnings" into nextgenv2

A bug fix for var-tx

Fixes a crash with supertx, ext-tx and rect-tx

Change-Id: I6b5f4cfd6e209558541a791be685b55156aa0138

Added generic SIMD library supporting x86 SSE2+ and ARM NEON.

Change-Id: I037f4c44f621a7e909b82ccb6a299d41bcbf8607