Release v1.8.0 Northern Shoveler

BUG=webm:1573

Change-Id: I2884d0d8198f937a9d14428cc9f5f7e86f4ec450

vp9: fix definition for VP9E_SET_POSTENCODE_DROP

(cherry picked from commit 24614dd9cb1ec6d5c946909ff17adf53d6aa2e54)

Change-Id: Ie763cf801107639ad11ad625408670d8d70b7628

Fix segmentation fault in hbd path

When CONFIG_VP9_HIGHBITDEPTH is enabled,
lowbd modules were called in the hbd path.
This patch fixes the issue.

(cherry picked from commit 797ec1cd66c04fd335adba8ecc01dc93eab1898e)

BUG=webm:1589

Change-Id: I1caf701514dbf80eb75b953f40b1e7238f265a2c

vp8 dec: Add flag to bring up threads.

Instead of creating a new decoder instance when restarting all threads
after they were shut down, re-create threads on the new flag.

BUG=webm:1577

(cherry picked from commit 7be8d2df6c1c224a96b75d8f2ed66df7cbd0bb48)

Change-Id: I80211d47e8d4beaa361416b58e99dd65d8da39c4

Merge "vp8 idct dequant: resolve missing declarations"

Merge "vp8 blend: resolve missing declarations"

Merge "vp8 overlaps: resolve missing declaration"

vp8 idct dequant: resolve missing declarations

BUG=webm:1584

Change-Id: Iecd2a0154c523fa61349c456befdf6c37d980efc

vp8 overlaps: resolve missing declaration

BUG=webm:1584

Change-Id: I67fa7460cb90b9bbe8583b60340d7bbf615a11f2

vp9_get_blockiness: resolve missing declaration

BUG=webm:1584

Change-Id: I719c64734f4eae07def2d700006834a2420891a7

vp8 blend: resolve missing declarations

Remove unused functions.

BUG=webm:1584

Change-Id: If7a49e920e12f7fca0541190b87e6dae510df05c

Merge "vp8 multi dimensional search: resolve missing declarations"

Merge "vp8_copy32xn: resolve missing declaration"

Merge "vpx_filter: resolve missing declarations"

Merge "vpx_clear_system_state: resolve missing declaration"

Merge "vp9 intra pred test: resolve -Wuninitialized warning"

Merge "arm neon: resolve missing declarations"

vp8_copy32xn: resolve missing declaration

BUG=webm:1584

Change-Id: I8279e099fb9595edad858bf7332bf2b40fecae02

arm neon: resolve missing declarations

BUG=webm:1584

Change-Id: I2dcf39f2327b72b58be72c27f952ea781a790dd3

vpx_filter: resolve missing declarations

BUG=webm:1584

Change-Id: I1be768446b9304123da7b1ea0aed0db056db31c5

vpx_clear_system_state: resolve missing declaration

BUG=webm:1584

Change-Id: I0770fc97055b98cdf9ff7bd7a93ae3a5e19b8180

Merge "Fix OOB memory access on fuzzed data"

vp9 intra pred test: resolve -Wuninitialized warning

BUG=webm:1584

Change-Id: I58505e04bd248697047d4957cebe495dada670a0

vp8 multi dimensional search: resolve missing declarations

BUG=webm:1584

Change-Id: I5c3fb5ab00bff66a8e8f4b8d27cbcea4946eced0

Fix OOB memory access on fuzzed data

vp8_norm table has 256 elements while index to it can be higher on
fuzzed data. Typecasting it to unsigned char will ensure valid range and
will trigger proper error later. Also declaring "shift" as unsigned char to
avoid UB sanitizer warning

BUG=b/122373286,b/122373822,b/122371119

Change-Id: I3cef1d07f107f061b1504976a405fa0865afe9f5

fix vp9 fdct_quant

Values in [q]coeff1 were not correctly stored. This caused a segfault
in the sse2 libvpx__nightly_optimization jobs.

Broken in:
commit 85032bac388917916f7a149173db8b34e93e8f6e
Author: Johann <johannkoenig@google.com>
Date:   Fri Dec 21 00:27:00 2018 +0000

    fdct_quant: resolve missing declarations

BUG=webm:1584

Change-Id: I5f5fad34ec5e32023f5b40ff3691125754c11ced

Merge "VP9 firstpass: Bugfix when mi_col_start/end is odd"

VP9 firstpass: Bugfix when mi_col_start/end is odd

Before this patch, if mi_col_end was odd, then the for loop for 'mb_col'
was looping once LESS than it should have been.

For example, if mi_col_end = 47, then the loop was terminating when
mb_col == 23. However, the correct behavior would be to terminate  when
mb_col == 24.

The issue was introduced in:
https://chromium-review.googlesource.com/c/webm/libvpx/+/423279

This can lead to many of the stats being inaccurate, for such videos
(with mi_col_start/end having an odd value).

As an example:
Even for very static content, fp_acc_data->intercount can never reach the
same value as num_mbs. And in turn, pcnt_inter can never reach the value 1
(that is, 100%). This would lead to very static videos NOT being marked
static, and encoded like regular videos.

Note: this is just one possible effect based on observation. Other
issues are also possible based on other stats.

Improvement on some test clips:
-------------------------------
- One test clip saw a gain of -2.580% in VBR mode (and -3.153% in Q
mode). The reason for improvement: a wrongly detected scene cut was
avoided due to corrected value in 'this_frame->pcnt_inter'.
- Some very static clips correctly marked as having 100% zero motion.
This avoided addition of unncecessary alt-refs, thereby reducing the
bitrate.

BDRate (PSNR) on regular sets (VBR mode):
-----------------------------------------
lowres: 0.0
midres: -0.027 (some clips were better/worse, but I double checked that
changes were as expected, given correction in stats calculation).
hdres: 0.0

STATS_CHANGED for the types of videos described above.

Change-Id: Ifbc2c0c0815d23ec4015475680bdf8886f158dcc

Increase memory size in non-greedy-mv

The smallest block size of motion field is 4x4, but the mi_unit
size is 8x8, therefore the number of units of motion field is
"mi_rows * mi_cols * 4".

Change-Id: I95292904d757705d39b78af5d0cf2d25f376c642

Build pyramid motion field

Change-Id: I43fd61f7946a8a96d444dab5e94a9b01483ffab7

vp9: psnr diff thres for single vs multi threading.

Change the threshold from 0.1 to 0.2.

BUG=webm:1588

Change-Id: I1ca20b360bcae66d09dc898c3266c9f5ac346561

Adaptively choose block sizes in temporal filtering

Use variable block sizes in temporal filtering. Based on prediction
errors of 32x32 or 16x16 blocks, choose the block size adaptively.
This improves the coding performance, especially for HD resolutions.

Speed 1 borg test result:
        avg_psnr:  ovr_psnr:    ssim:
lowres:  -0.090     -0.075      -0.112
midres:  -0.120     -0.107      -0.168
hdres:   -0.506     -0.512      -0.547

Change-Id: I8f774e29ecb2e0dd372b32b60c32d8fa30c013a8

Merge "fwd_dct32x32 avx2: resolve missing declarations"

Merge "Revert "Add Tile-SB-Row based Multi-threading in Decoder""

test-data: add missing test data entries

invalid-bug-1443-v2.ivf{,.res}
invalid-vp80-00-comprehensive-s17661_r01-05_b6-.v2.ivf{,.res}

missed in:
6dbf738a4 vp8: kill all threads on corrupted frame.

Change-Id: I6481f4ad7544ecc069d0e0442888e97e9638fdd3

Revert "Add Tile-SB-Row based Multi-threading in Decoder"

This reverts commit 02b3ef7faee5be5ee519856fbb3523d3ab49f6e7.

Reason for revert: fails to build under visual studio

Original change's description:
> Add Tile-SB-Row based Multi-threading in Decoder
>
> Add the multi-thread function that decodes a video row by row instead
> of a tile at a time. Create a job queue for queueing all parse and recon jobs.
> Each SB row of a tile is a job.
>
> Performance Improvement:
>
> Platform        Resolution      3 Threads       4 Threads
> ARM             720p            36.81%          18.37%
>                 1080p           32.27%          14.76%
>
> ARM Improvement measured on Nexus 6 Snapdragon 805 Quad-core  @ 2.65 GHz
>
> Change-Id: I3d4dd7a932fc2904c90d9546b2de99c809afd29e

BUG=webm:1587

Change-Id: Ia4c8f5128922a205cd9fd83aaef8a2e73764d4a7

Merge "Bound the total allocated memory of frame buffer"

Merge "fwd_dct32x32 sse2: resolve missing declarations"

Bound the total allocated memory of frame buffer

This CL allows to limit memory consumption of the frame buffer pool. As
the result if compiled with VPX_MAX_ALLOCABLE_MEMORY set codec will fail
if frame resolution requires more memory
This is backported CL aae2183cb58b60d01b8e4e15269ee9f48dd72908 from
aomedia

Tested:
configure --extra-cflags="-DVPX_MAX_ALLOCABLE_MEMORY=536870912"
make
./test_libvpx

BUG=webm:1579

Change-Id: Ic62213b600a7562917d5a339a344ad8db4b6f481

Merge "vp9_decodeframe.c: resolve missing declarations"

Merge "vp9_highbd_block_error_sse2: resolve missing declarations"

Merge "convolve avx2: resolve missing declarations"

Merge "Improve accuracy of benchmarking"

fwd_dct32x32 avx2: resolve missing declarations

BUG=webm:1584

Change-Id: Iaba854952534a95e710a985acfcab46e093872c2

fwd_dct32x32 sse2: resolve missing declarations

BUG=webm:1584

Change-Id: Ia2d9fcbccbad0c2142a3759e610670b86af0fef4

vp9_highbd_block_error_sse2: resolve missing declarations

BUG=webm:1584

Change-Id: I43d051c538bf4a6f6210eefa398dc0901ab8d157

vp9_decodeframe.c: resolve missing declarations

BUG=webm:1584

Change-Id: Ie0d26b745ab1f5907a6a2dc10fbc5083f3fb0b8d

convolve avx2: resolve missing declarations

BUG=webm:1584

Change-Id: I5990c0100af83d13f7a4800147473bc997f5e5d1

Merge "subpixel_8t sse2: resolve missing declarations"

Merge "vpx{dec,enc}: resolve missing declarations"

Merge changes I48b9a9cd,I92504ed4

* changes:
  subpixel_8t ssse3: resolve missing declarations
  subpixel_8t avx2: resolve missing declarations

Improve accuracy of benchmarking

For small code regions, readtsc can give inaccurate results because it does
not account for out-of-order execution. Add x86_tsc_start and x86_tsc_end
that account for this, according to the white paper at

https://www.intel.com/content/dam/www/public/us/en/documents/white-papers/ia-32-ia-64-benchmark-code-execution-paper.pdf

Using x86_tsc_start/end will also add in several more instructions; I imagine
this is negligible.

Change-Id: I54a1c8fa7977c34bf91b422369c96f036c93a08a

subpixel_8t ssse3: resolve missing declarations

BUG=webm:1584

Change-Id: I48b9a9cdcfe52536f685c41fb2d3c0f3e9192d34

Merge "Refactor temporal filtering"

subpixel_8t sse2: resolve missing declarations

vpx_asm_stubs.c only references these sse2 functions. Combine the files
similar to the way the ssse3/avx2 files are set up.

Mark the intrinsics as static because they are only used within the
macros here. It is unfortunate that the assembly functions can not be
marked static as well.

BUG=webm:1584

Change-Id: I342687a1046ae6ca46ae58644a7c170440de1dfb

Merge "vp8: kill all threads on corrupted frame."

subpixel_8t avx2: resolve missing declarations

BUG=webm:1584

Change-Id: I92504ed4a2e54129c981b7380249962afb7966df

vpx{dec,enc}: resolve missing declarations

BUG=webm:1584

Change-Id: I81e53e579e6fd22b7b21f432256abbe91bf77b15

Merge "highbd quantize: resolve missing declarations"

Merge "fdct_quant: resolve missing declarations"

Merge "highbd variance: resolve missing declarations"

vp8: kill all threads on corrupted frame.

If decoder keeps going, threads will be brought up.

BUG=902650,webm:1577

Change-Id: I7765ba134aeed76ec0f58bd05e3a35383e6861c3

Merge "Add Tile-SB-Row based Multi-threading in Decoder"

Merge "vpx/{vp8,vpx_encoder}.h: fix some typos"

Merge "vp9: limit lpf workers to min(threads,tiles,sb_rows)"

Merge "vpx_integer.h: remove VPX_EMULATE_INTTYPES"

Merge "svc examples: resolve missing declarations"

fdct_quant: resolve missing declarations

Store outputs using store_tran_low()

BUG=webm:1584

Change-Id: I213abe047e14625c5ef80df7fa6fdc2a31e40fb6

vpx_integer.h: remove VPX_EMULATE_INTTYPES

platforms supported by the library all offer stdint.h

BUG=webm:1573

Change-Id: I2ad95dfbcfc2d1890c1b7e503340fda8a9849635

svc examples: resolve missing declarations

BUG=webm:1584

Change-Id: Icb7ba5bb5a6d460c4d0419b76ee54af461ca4a52

highbd quantize: resolve missing declarations

BUG=webm:1584

Change-Id: Ia3f152bf2a37f8a1ea4178eeb1a6a262ea034a8d

Merge "tiny_ssim.c: resolve missing declarations"

highbd variance: resolve missing declarations

The optimizations were accidentally disabled during the move from vp9

commit  c3bdffb0a508ad08d5dfa613c029f368d4293d4c
author  Johann <johannkoenig@google.com>        Fri May 15 18:52:03 2015
Move variance functions to vpx_dsp

subpel functions will be moved in another patch.

BUG=webm:1584

Change-Id: Ia7899ee0cfad13a0e1516b89756552064846e81c

Refactor temporal filtering

Refactored temporal filtering, so that it was not hard-coded to
16x16 block size.

Change-Id: I06d0787660ff6eee6a8f02a846ad0e26c6825f54

Merge "vp9/encoder: resolve missing declarations"

tiny_ssim.c: resolve missing declarations

-Wmissing-declarations exposed several unused functions.

BUG=webm:1584

Change-Id: I88dfeb8ffa31253a0fb7674f6fe5fcd496179f96

vp9/encoder: resolve missing declarations

Mark local functions as 'static.' Found with -Wmissing-declarations

BUG=webm:1584

Change-Id: Icbdb0ceca3dbf3005ca29bfda05d533d241577d0

Merge "Remove a special case"

vp9: limit lpf workers to min(threads,tiles,sb_rows)

this implementation does not scale well beyond that. this restores the
performance in v1.7.0.

BUG=webm:1574

Change-Id: I8f3464cfe871988fa06ebefe9954811fd002584e

Merge "Unify AQ mode rdmult update interface"

Merge "Add control interface to PSNR_AQ mode"

Merge "vpxenc : fix misleading documentation about sharpness."

Remove a special case

The special case was put in to prevent a lossless test failure, the
issue has been dealt with by a recent fix of skip condition in
lossless mode.

Change-Id: Ia25d2bf6beead2208841b4f012171dffac15f411

Merge "Refactor aq mode segment_id assignment"

vpxenc : fix misleading documentation about sharpness.

Change-Id: I792c178736a9fc02a84aa83f351e12b7227259b0

Merge "vpx/*.h: rm some deprecated defines/enum vals/typedefs"

Merge "vpx/vp8cx.h: fix some typos"

Merge "vpx_integer.h: drop VS2010 workaround"

vpx_integer.h: drop VS2010 workaround

visual studio 2015 is the current minimum

BUG=webm:1573

Change-Id: I22139925c0a322b1da214c38d8f74fadbc34d2de

vpx/{vp8,vpx_encoder}.h: fix some typos

BUG=webm:1573

Change-Id: I5cbb29c89955aa1548ea2a2b3da5763bd38dd978

Merge "Correct condition for skip"

Unify AQ mode rdmult update interface

Handle the rdmult update for all AQ modes in a single function
call.

Change-Id: Ia0dfce637cf70d646bd3cd0abe3064e9491b81b8

Add control interface to PSNR_AQ mode

Change-Id: I760c69189fb8d8d85b5daffc86064c66913c0220

vpx/vp8cx.h: fix some typos

BUG=webm:1573

Change-Id: I46faa216a4a8278a363a8111237342f73e8467eb

vpx/*.h: rm some deprecated defines/enum vals/typedefs

most predate 1.4.0 the DBG enums were deprecated in 1.6.1. VPX_KF_FIXED
is left as it's still fairly widely used

BUG=webm:1573

Change-Id: Iacaad28a6fe7251f042a2b45507b00fc5b7a0eac

Correct condition for skip

Do not skip without check when lossless is requested.

Change-Id: Iceda428e7bf5ab19202b1dcb598e389fcaf6978d

Merge "Rework set_offsets() for rd search"

Merge "Improve rd_variance_adjustment() for low variance blocks."

Refactor aq mode segment_id assignment

Factor out the segment_id assignment for various AQ modes.

Change-Id: I34a86524048621cd369baf4bafbdfac621994563

No need to shift in SSIM calculations

We only need to shift in the encoder when the input bit depth
does not equal to the encoder internal bit depth.

Change-Id: If9af62382ac6824f33dc7dcdd3d3ff7802b92e9a