Use longer test clips in y4m_test

Used 20-frame clips to replace 10-frame clips in y4m_test. Also, removed
unused 10-frame clips.

Change-Id: Ib82ad2c3718f1f5f31478957b9ee970593536940

Use longer videos in end-to-end tests

Used 20-frame clips got from Deb in end-to-end unit tests to improve
the test coverage.

TODO: remove 10-frame clips.

Change-Id: I06ec2d35f5c5c47263d3be61623c80f52fd18ffe

Merge "Fix segmentation fault in hbd path"

Merge "highbd idct: resolve missing declarations"

Fix segmentation fault in hbd path

When CONFIG_VP9_HIGHBITDEPTH is enabled,
lowbd modules were called in the hbd path.
This patch fixes the issue.

Change-Id: I59820180fbed120697b6ef1fc1a02be0d35ac1d5

Merge "vp8 dec: Add flag to bring up threads."

vp8 dec: Add flag to bring up threads.

Instead of creating a new decoder instance when restarting all threads
after they were shut down, re-create threads on the new flag.

BUG=webm:1577

Change-Id: I6272ecaa1b586afdaa5ed8d6eab80aff8f5eb673

highbd idct: resolve missing declarations

BUG=webm:1584

Change-Id: I596f5f0e1a1c152493cd8177b32d416cc79937e0

Merge changes Icec98e6f,I63614e65,I25ea05f4

* changes:
  Add full_pixel_exhaustive_new
  Add sse cost in vp9_full_pixel_diamond_new
  Use motion field for mv inconsistency in mv search

Merge "ppc: resolve missing declarations"

ppc: resolve missing declarations

Add rtcd headers and make local functions static.

BUG=webm:1584

Change-Id: Ic19aec1dc90703b0b89d1092baee487d0fd0cb4e

vp8 arm loopfilter: resolve missing declarations

BUG=webm:1584

Change-Id: I3270e6efe79fe9728e8d11f4c352deefc3cea00b

Merge "vp8 idct: remove return"

Merge "vp8_copy32xn: resolve missing declaration"

vp8 idct: remove return

Change-Id: Ib1648e1f6559e65ddf11cb54266c7eeff37a6ea6

Merge "vp8 idct dequant: resolve missing declarations"

Merge "vp8 blend: resolve missing declarations"

Merge "vp8 overlaps: resolve missing declaration"

vp8 idct dequant: resolve missing declarations

BUG=webm:1584

Change-Id: Iecd2a0154c523fa61349c456befdf6c37d980efc

vp8_copy32xn: resolve missing declaration

BUG=webm:1584

Change-Id: I9898a6e2f977acd4e26b09222a1eb2ab4f37f0af

vp8 overlaps: resolve missing declaration

BUG=webm:1584

Change-Id: I67fa7460cb90b9bbe8583b60340d7bbf615a11f2

vp9_get_blockiness: resolve missing declaration

BUG=webm:1584

Change-Id: I719c64734f4eae07def2d700006834a2420891a7

vp8 blend: resolve missing declarations

Remove unused functions.

BUG=webm:1584

Change-Id: If7a49e920e12f7fca0541190b87e6dae510df05c

Merge "vp8 multi dimensional search: resolve missing declarations"

Merge "vp8_copy32xn: resolve missing declaration"

Merge "vpx_filter: resolve missing declarations"

Merge "vpx_clear_system_state: resolve missing declaration"

Merge "vp9 intra pred test: resolve -Wuninitialized warning"

Merge "arm neon: resolve missing declarations"

vp8_copy32xn: resolve missing declaration

BUG=webm:1584

Change-Id: I8279e099fb9595edad858bf7332bf2b40fecae02

arm neon: resolve missing declarations

BUG=webm:1584

Change-Id: I2dcf39f2327b72b58be72c27f952ea781a790dd3

vpx_filter: resolve missing declarations

BUG=webm:1584

Change-Id: I1be768446b9304123da7b1ea0aed0db056db31c5

vpx_clear_system_state: resolve missing declaration

BUG=webm:1584

Change-Id: I0770fc97055b98cdf9ff7bd7a93ae3a5e19b8180

Merge "Fix OOB memory access on fuzzed data"

vp9 intra pred test: resolve -Wuninitialized warning

BUG=webm:1584

Change-Id: I58505e04bd248697047d4957cebe495dada670a0

vp8 multi dimensional search: resolve missing declarations

BUG=webm:1584

Change-Id: I5c3fb5ab00bff66a8e8f4b8d27cbcea4946eced0

Fix OOB memory access on fuzzed data

vp8_norm table has 256 elements while index to it can be higher on
fuzzed data. Typecasting it to unsigned char will ensure valid range and
will trigger proper error later. Also declaring "shift" as unsigned char to
avoid UB sanitizer warning

BUG=b/122373286,b/122373822,b/122371119

Change-Id: I3cef1d07f107f061b1504976a405fa0865afe9f5

fix vp9 fdct_quant

Values in [q]coeff1 were not correctly stored. This caused a segfault
in the sse2 libvpx__nightly_optimization jobs.

Broken in:
commit 85032bac388917916f7a149173db8b34e93e8f6e
Author: Johann <johannkoenig@google.com>
Date:   Fri Dec 21 00:27:00 2018 +0000

    fdct_quant: resolve missing declarations

BUG=webm:1584

Change-Id: I5f5fad34ec5e32023f5b40ff3691125754c11ced

Merge "VP9 firstpass: Bugfix when mi_col_start/end is odd"

VP9 firstpass: Bugfix when mi_col_start/end is odd

Before this patch, if mi_col_end was odd, then the for loop for 'mb_col'
was looping once LESS than it should have been.

For example, if mi_col_end = 47, then the loop was terminating when
mb_col == 23. However, the correct behavior would be to terminate  when
mb_col == 24.

The issue was introduced in:
https://chromium-review.googlesource.com/c/webm/libvpx/+/423279

This can lead to many of the stats being inaccurate, for such videos
(with mi_col_start/end having an odd value).

As an example:
Even for very static content, fp_acc_data->intercount can never reach the
same value as num_mbs. And in turn, pcnt_inter can never reach the value 1
(that is, 100%). This would lead to very static videos NOT being marked
static, and encoded like regular videos.

Note: this is just one possible effect based on observation. Other
issues are also possible based on other stats.

Improvement on some test clips:
-------------------------------
- One test clip saw a gain of -2.580% in VBR mode (and -3.153% in Q
mode). The reason for improvement: a wrongly detected scene cut was
avoided due to corrected value in 'this_frame->pcnt_inter'.
- Some very static clips correctly marked as having 100% zero motion.
This avoided addition of unncecessary alt-refs, thereby reducing the
bitrate.

BDRate (PSNR) on regular sets (VBR mode):
-----------------------------------------
lowres: 0.0
midres: -0.027 (some clips were better/worse, but I double checked that
changes were as expected, given correction in stats calculation).
hdres: 0.0

STATS_CHANGED for the types of videos described above.

Change-Id: Ifbc2c0c0815d23ec4015475680bdf8886f158dcc

Add full_pixel_exhaustive_new

Add full_pixel_exhaustive_new() and exhuastive_mesh_search_new().
The two functions are variants from full_pixel_exhaustive() and
exhuastive_mesh_search().

In the new versions, we use mv inconsistency in place of
mv entropy cost.

Change-Id: Icec98e6fae24f2771806a3e78276734624ec0303

Add sse cost in vp9_full_pixel_diamond_new

Change-Id: I63614e652686557652985bde882889eea9ecbcad

Use motion field for mv inconsistency in mv search

Change-Id: I25ea05f4bfe3c6f420e967c33763909c979a0d1b

Increase memory size in non-greedy-mv

The smallest block size of motion field is 4x4, but the mi_unit
size is 8x8, therefore the number of units of motion field is
"mi_rows * mi_cols * 4".

Change-Id: I95292904d757705d39b78af5d0cf2d25f376c642

Build pyramid motion field

Change-Id: I43fd61f7946a8a96d444dab5e94a9b01483ffab7

vp9: psnr diff thres for single vs multi threading.

Change the threshold from 0.1 to 0.2.

BUG=webm:1588

Change-Id: I1ca20b360bcae66d09dc898c3266c9f5ac346561

Adaptively choose block sizes in temporal filtering

Use variable block sizes in temporal filtering. Based on prediction
errors of 32x32 or 16x16 blocks, choose the block size adaptively.
This improves the coding performance, especially for HD resolutions.

Speed 1 borg test result:
        avg_psnr:  ovr_psnr:    ssim:
lowres:  -0.090     -0.075      -0.112
midres:  -0.120     -0.107      -0.168
hdres:   -0.506     -0.512      -0.547

Change-Id: I8f774e29ecb2e0dd372b32b60c32d8fa30c013a8

Merge "fwd_dct32x32 avx2: resolve missing declarations"

Merge "Revert "Add Tile-SB-Row based Multi-threading in Decoder""

test-data: add missing test data entries

invalid-bug-1443-v2.ivf{,.res}
invalid-vp80-00-comprehensive-s17661_r01-05_b6-.v2.ivf{,.res}

missed in:
6dbf738a4 vp8: kill all threads on corrupted frame.

Change-Id: I6481f4ad7544ecc069d0e0442888e97e9638fdd3

Revert "Add Tile-SB-Row based Multi-threading in Decoder"

This reverts commit 02b3ef7faee5be5ee519856fbb3523d3ab49f6e7.

Reason for revert: fails to build under visual studio

Original change's description:
> Add Tile-SB-Row based Multi-threading in Decoder
>
> Add the multi-thread function that decodes a video row by row instead
> of a tile at a time. Create a job queue for queueing all parse and recon jobs.
> Each SB row of a tile is a job.
>
> Performance Improvement:
>
> Platform        Resolution      3 Threads       4 Threads
> ARM             720p            36.81%          18.37%
>                 1080p           32.27%          14.76%
>
> ARM Improvement measured on Nexus 6 Snapdragon 805 Quad-core  @ 2.65 GHz
>
> Change-Id: I3d4dd7a932fc2904c90d9546b2de99c809afd29e

BUG=webm:1587

Change-Id: Ia4c8f5128922a205cd9fd83aaef8a2e73764d4a7

Merge "Bound the total allocated memory of frame buffer"

Merge "fwd_dct32x32 sse2: resolve missing declarations"

Bound the total allocated memory of frame buffer

This CL allows to limit memory consumption of the frame buffer pool. As
the result if compiled with VPX_MAX_ALLOCABLE_MEMORY set codec will fail
if frame resolution requires more memory
This is backported CL aae2183cb58b60d01b8e4e15269ee9f48dd72908 from
aomedia

Tested:
configure --extra-cflags="-DVPX_MAX_ALLOCABLE_MEMORY=536870912"
make
./test_libvpx

BUG=webm:1579

Change-Id: Ic62213b600a7562917d5a339a344ad8db4b6f481

Merge "vp9_decodeframe.c: resolve missing declarations"

Merge "vp9_highbd_block_error_sse2: resolve missing declarations"

Merge "convolve avx2: resolve missing declarations"

Merge "Improve accuracy of benchmarking"

fwd_dct32x32 avx2: resolve missing declarations

BUG=webm:1584

Change-Id: Iaba854952534a95e710a985acfcab46e093872c2

fwd_dct32x32 sse2: resolve missing declarations

BUG=webm:1584

Change-Id: Ia2d9fcbccbad0c2142a3759e610670b86af0fef4

vp9_highbd_block_error_sse2: resolve missing declarations

BUG=webm:1584

Change-Id: I43d051c538bf4a6f6210eefa398dc0901ab8d157

vp9_decodeframe.c: resolve missing declarations

BUG=webm:1584

Change-Id: Ie0d26b745ab1f5907a6a2dc10fbc5083f3fb0b8d

convolve avx2: resolve missing declarations

BUG=webm:1584

Change-Id: I5990c0100af83d13f7a4800147473bc997f5e5d1

Merge "subpixel_8t sse2: resolve missing declarations"

Merge "vpx{dec,enc}: resolve missing declarations"

Merge changes I48b9a9cd,I92504ed4

* changes:
  subpixel_8t ssse3: resolve missing declarations
  subpixel_8t avx2: resolve missing declarations

Improve accuracy of benchmarking

For small code regions, readtsc can give inaccurate results because it does
not account for out-of-order execution. Add x86_tsc_start and x86_tsc_end
that account for this, according to the white paper at

https://www.intel.com/content/dam/www/public/us/en/documents/white-papers/ia-32-ia-64-benchmark-code-execution-paper.pdf

Using x86_tsc_start/end will also add in several more instructions; I imagine
this is negligible.

Change-Id: I54a1c8fa7977c34bf91b422369c96f036c93a08a

subpixel_8t ssse3: resolve missing declarations

BUG=webm:1584

Change-Id: I48b9a9cdcfe52536f685c41fb2d3c0f3e9192d34

Merge "Refactor temporal filtering"

subpixel_8t sse2: resolve missing declarations

vpx_asm_stubs.c only references these sse2 functions. Combine the files
similar to the way the ssse3/avx2 files are set up.

Mark the intrinsics as static because they are only used within the
macros here. It is unfortunate that the assembly functions can not be
marked static as well.

BUG=webm:1584

Change-Id: I342687a1046ae6ca46ae58644a7c170440de1dfb

Merge "vp8: kill all threads on corrupted frame."

subpixel_8t avx2: resolve missing declarations

BUG=webm:1584

Change-Id: I92504ed4a2e54129c981b7380249962afb7966df

vpx{dec,enc}: resolve missing declarations

BUG=webm:1584

Change-Id: I81e53e579e6fd22b7b21f432256abbe91bf77b15

Merge "highbd quantize: resolve missing declarations"

Merge "fdct_quant: resolve missing declarations"

Merge "highbd variance: resolve missing declarations"

vp8: kill all threads on corrupted frame.

If decoder keeps going, threads will be brought up.

BUG=902650,webm:1577

Change-Id: I7765ba134aeed76ec0f58bd05e3a35383e6861c3

Merge "Add Tile-SB-Row based Multi-threading in Decoder"

Merge "vpx/{vp8,vpx_encoder}.h: fix some typos"

Merge "vp9: limit lpf workers to min(threads,tiles,sb_rows)"

Merge "vpx_integer.h: remove VPX_EMULATE_INTTYPES"

Merge "svc examples: resolve missing declarations"

fdct_quant: resolve missing declarations

Store outputs using store_tran_low()

BUG=webm:1584

Change-Id: I213abe047e14625c5ef80df7fa6fdc2a31e40fb6

vpx_integer.h: remove VPX_EMULATE_INTTYPES

platforms supported by the library all offer stdint.h

BUG=webm:1573

Change-Id: I2ad95dfbcfc2d1890c1b7e503340fda8a9849635

svc examples: resolve missing declarations

BUG=webm:1584

Change-Id: Icb7ba5bb5a6d460c4d0419b76ee54af461ca4a52

highbd quantize: resolve missing declarations

BUG=webm:1584

Change-Id: Ia3f152bf2a37f8a1ea4178eeb1a6a262ea034a8d

Merge "tiny_ssim.c: resolve missing declarations"

highbd variance: resolve missing declarations

The optimizations were accidentally disabled during the move from vp9

commit  c3bdffb0a508ad08d5dfa613c029f368d4293d4c
author  Johann <johannkoenig@google.com>        Fri May 15 18:52:03 2015
Move variance functions to vpx_dsp

subpel functions will be moved in another patch.

BUG=webm:1584

Change-Id: Ia7899ee0cfad13a0e1516b89756552064846e81c

Refactor temporal filtering

Refactored temporal filtering, so that it was not hard-coded to
16x16 block size.

Change-Id: I06d0787660ff6eee6a8f02a846ad0e26c6825f54

Merge "vp9/encoder: resolve missing declarations"

tiny_ssim.c: resolve missing declarations

-Wmissing-declarations exposed several unused functions.

BUG=webm:1584

Change-Id: I88dfeb8ffa31253a0fb7674f6fe5fcd496179f96

vp9/encoder: resolve missing declarations

Mark local functions as 'static.' Found with -Wmissing-declarations

BUG=webm:1584

Change-Id: Icbdb0ceca3dbf3005ca29bfda05d533d241577d0

Merge "Remove a special case"

vp9: limit lpf workers to min(threads,tiles,sb_rows)

this implementation does not scale well beyond that. this restores the
performance in v1.7.0.

BUG=webm:1574

Change-Id: I8f3464cfe871988fa06ebefe9954811fd002584e

Merge "Unify AQ mode rdmult update interface"

Merge "Add control interface to PSNR_AQ mode"

Merge "vpxenc : fix misleading documentation about sharpness."

Remove a special case

The special case was put in to prevent a lossless test failure, the
issue has been dealt with by a recent fix of skip condition in
lossless mode.

Change-Id: Ia25d2bf6beead2208841b4f012171dffac15f411

Merge "Refactor aq mode segment_id assignment"

vpxenc : fix misleading documentation about sharpness.

Change-Id: I792c178736a9fc02a84aa83f351e12b7227259b0