test/vp[89]_boolcoder_test: quiet msan warnings

the bitreaders may fill beyond what was written to the buffer as an
optimization. the data isn't used meaningfully, but it may trigger a
msan warning.

BUG=b/140939146

Change-Id: Id03cd203b8ee7ecaf6fdfe3f3c9f2ccfec527129

remove unused vp8dx_receive_compressed_data parameters

BUG=webm:1612

Change-Id: If2dc8a77c8f8bca86ee4b8349091dd1117b42dce

ensure ctx is used

Rather that (void)ing ctx, document the case where it might not be used.

BUG=webm:1612

Change-Id: I1f1ba9a3d52b43a6987dbe3afec96fa17101e3bf

remove unused mbmi parameter

BUG=webm:1612

Change-Id: I0f982d8269ec50a767efc222d958d37a55d5c77f

remove unused simple loopfilter parameters

The simple filter only processes the Y plane.

BUG=webm:1612

Change-Id: I9886ff43ea7f621d8915846cb65f609a9298566d

remove unused postproc parameters

BUG=webm:1612

Change-Id: I92937417403af2c943e903ba66799609ef6ab635

configure.sh,darwin: fix external_build check

disabled external_build will return an incorrect result for a value not
explicitly set on the command line; use ! enabled instead.

fixes ios build

Change-Id: I48dda3a06731bc9809c2266880797e1779e4c01c

darwin: disable compiler checks

When configuring with --enable-external-build the .mk files
are not expected to work. This avoids some spurious warnings
when configuring for darwin targets on other platforms.

Fixed: webm:1535
Change-Id: Idac2b397db1b595ba7ea9231c4eb835b6013abdc

Merge changes I7dd2b487,I6db5b053

* changes:
  support visual studio 2019 (vs16)
  remove old visual studio remnants

Merge changes Ibde94f52,Iae804fcc,I94f3b93a

* changes:
  Add get_arf_layers()
  Use RANGE in get_gop_coding_frame_num
  Add get_gf_interval_active_range()

always use lf for shell scripts

Ensure scripts do not get crlf endings when checking out
on Windows.

Fixed: webm:1651

Change-Id: I7cb6039c6d600bb57e7fbdb2fdbb84f4040803f5

remove .gitattributes

None of these file patterns match any existing files.

Change-Id: I069bab91fe43887b094d02e6328b00da62706d94

remove .gitattributes filters

These only appear to exist in this repository. Based
on the name they may have been intended to manage
tabs vs spaces.

Change-Id: I2ac1a858f75cb0e5714964cb68e49082c4eb3ca5

support visual studio 2019 (vs16)

Fixed: 1633
Change-Id: I7dd2b4873aeb548c7f9ebf7025baf15a8e65c68f

remove old visual studio remnants

The oldest supported Visual Studio version has been vs14
since 539dc7649f67ec10097b3c8eb2c0073f0d0571ce.

Clean up scripts and remove dead code.

Change-Id: I6db5b053a55d7656275d3d48e35d672c8ce22067

Add get_arf_layers()

Change-Id: Ibde94f52235a37e122e6a548d71cb230e7b28368

Use RANGE in get_gop_coding_frame_num

Change-Id: Iae804fccd7cca180eef9e6664de70f0930ee2e94

Add get_gf_interval_active_range()

Change-Id: I94f3b93a932f351b6c9743932238d7ede2938462

Merge "remove clang flag for integer sanitizer testing"

Merge changes I309357fd,I0d170956,I5c7fc771,I6ebb023a,I1f6ef8c6, ...

* changes:
  Make gop size independent from kf_zeromotion_pct
  Add get_frames_to_next_key()
  Rename i by frames_to_key in find_next_key_frame
  Remove input_stats when decide frames_to_key
  Remove twopass param from test_candidate_kf
  Pass first_pass_info/show_idx to test_candidate_kf
  Refactor test_candidate_kf()
  Decide the key frame directly when auto_key is off
  Remove detect_transition_to_still()
  Change the interface of find_next_key_frame

remove clang flag for integer sanitizer testing

BUG=webm:1615

Change-Id: Idfc86722e744d0c71ad47e284afb9cf9b8474473

Merge "vpx_dsp/x86/avg_intrin_sse2: fix int sanitizer warnings"

Merge "vpx_int_pro_col_sse2: use unaligned loads"

vpx_dsp/x86/avg_intrin_sse2: fix int sanitizer warnings

Unit Test: VP9/AqSegmentTest. VP9/CpuSpeedTest, AVX2/Loop8Test6Param

implicit conversion from type 'int' of value 59741 (32-bit, signed) to
type 'int16_t' (aka 'short') changed the value to -5795 (16-bit, signed)

BUG=webm:1615

Change-Id: I2e5b688a97c3caa29d4b8a817b95a4986b81a562

Merge "simplify darwin autodetection"

Merge "add darwin18 target"

simplify darwin autodetection

Use sed to extract tgt_os

Change-Id: I2f7cd290102a2b591c6ae6e40766918b55abff10

add darwin18 target

Fix autodetection on MacOS 10.14. Without this it defaults
to generic-gnu

Change-Id: I19cd4a9f2fb106dff16ab5e38821a5f374add59c

use a compile time constant for kDataAlignment

const or constexpr should be sufficient for this use but older
versions of gcc fail to expand DECLARE_ALIGNED correctly. Work
around this by using an enum.

Fixed: webm:1660
Change-Id: Ifa4f7585417760f90f9fb28332152019de9f8169

vpx_int_pro_col_sse2: use unaligned loads

this fixes a segfault when scaling is enabled; in some cases depending
on the ratio offsets may become odd.

vpx_int_pro_row_sse2 was updated previously, though the reason wasn't
listed:
54eda13f8 Apply fast motion search to golden reference frame

BUG=webm:1600

Change-Id: I8d5e105d876d8cf917919da301fce362adffab95

Make gop size independent from kf_zeromotion_pct

Change-Id: I309357fd0e008d10b974c9d2603d0712e1aa0bcd

Add get_frames_to_next_key()

Change-Id: I0d1709562bf96648fbaf2a0dce2dc23b9d2b81f1

Rename i by frames_to_key in find_next_key_frame

Change-Id: I5c7fc771f0852d3b9e8b30be34097b13dfbc2513

Merge "vpx_dsp/inv_txfm: fix int sanitizer warnings"

Remove input_stats when decide frames_to_key

Also remove the corresponding reset_fpf_position

Change-Id: I6ebb023a38627785ff19e161bfe7bbef797fc710

Merge changes I00697e9a,I9dfc2ba3,I73619051,Ib4d37667

* changes:
  Refactor kf_group_err in find_next_key_frame
  Simplify the logics in find_next_key_frame
  Add get_gop_coding_frame_num()
  Localize zero_motion_accumulator

Remove twopass param from test_candidate_kf

Change-Id: I1f6ef8c6d453177e3b48c95434b66480ee19f91d

Pass first_pass_info/show_idx to test_candidate_kf

Change-Id: I5c18de464be9981236f95c62391258c4963e469b

Refactor test_candidate_kf()

Replace detect_flash() by detect_flash_from_frame_stats()

Change-Id: Ia4eca1ca553fdb2f4f63ff6f683c79d92fc52556

Decide the key frame directly when auto_key is off

Change-Id: I41d107558a8b1d31ef3b263ecc0ec1e1d91c8f7e

Remove detect_transition_to_still()

Change-Id: I877f55355fc85d67f46bb76e521a19d35d76df09

Change the interface of find_next_key_frame

Change-Id: I9c25cbac2953755efa9fd72f59149f26513d1977

Refactor kf_group_err in find_next_key_frame

Move the computation out of the while loop.

Change-Id: I00697e9a16d5d597c63e5d9895e4ae00efc7a2df

Simplify the logics in find_next_key_frame

Since the while loop's condition already check
rc->frames_to_key < cpi->oxcf.key_freq,
it impossible to have "frames_to_key >= 2 * cpi->oxcf.key_freq"
and "frames_to_key > cpi->oxcf.key_freq".

Hence, these logics are removed.

Change-Id: I9dfc2ba36e1012718c857fc710036e2d30acd3b8

Add get_gop_coding_frame_num()

This function will decide number of coding frames and whether to
use altref

Change-Id: I736190512ea92ce5387600712bd0e250ad7cb44c

Merge "Fix AVX-512 capability detection"

Merge changes I2acc7d6b,I560dccfc,I3fb23f5c,Ifa24a501

* changes:
  Rename num_show_frames by num_coding_frames
  Use compute_arf_boost() in define_gf_group()
  Localize av_err mean_mod_score in define_gf_group
  Move code of deciding gop size into brackets

Fix AVX-512 capability detection

When Checking for AVX Support, only the CPU's Capabilities and YMM
Register support by the OS were queried. In case of AVX-512, that is
insufficient, and ZMM Register support by the OS needs querying,
otherwise the OS will raise an Illegal Operation Exception if the CPU
is capable of AVX-512 but the OS is not.

Change-Id: I3444b19156d5743841de96cecbdaac19cc3f2b3f

Localize zero_motion_accumulator

Change-Id: Ib4d37667c217cb06e6941de7b3204ba71b880396

Rename num_show_frames by num_coding_frames

Change-Id: I2acc7d6bde2ec2fae4460869663db1e8f6c576fe

Use compute_arf_boost() in define_gf_group()

Remove reset_fpf_position() because
compute_arf_boost does not count on twopass->stats_in

Change-Id: I560dccfcc4a2cbaa8e78a493a070a416465db4a9

Merge changes I1d71908a,Id1b41c3b,I07722c81,I31cf7889

* changes:
  Localize last_loop_decay_rate
  Make get_zero_mtion_factor avoid using cpi
  Add check_transition_to_still()
  Add compute_arf_boost()

Localize av_err mean_mod_score in define_gf_group

Change-Id: I3fb23f5c8df1c3276b663a32556ca800b7ba2ade

Localize last_loop_decay_rate

Change-Id: I1d71908a79ff494c4fb32dab0dc881f7a70bd519

Move code of deciding gop size into brackets

Identify the internal params used for deciding gop size

Change-Id: Ifa24a501952e06e5779a4fd2050dd486083cfa4c

Make get_zero_mtion_factor avoid using cpi

Change-Id: Id1b41c3b77a7eae6c2934efbff2608094ee7b3c5

Add check_transition_to_still()

The behavior is the same as that of detect_transition_still,
only we void using cpi and twopass->stats_in

Change-Id: I07722c817d98d8e4991a0a883235a582db8b5c3c

Add compute_arf_boost()

It's behavior is the same as that of calc_arf_boost()
But, we avoid using cpi and twopass->stats_in

Change-Id: I31cf7889abf43effcca9004a9d55f4b424ce388a

Merge "vp8/decoder/decodeframe: fix int sanitizer warnings"

Correct the num_frams of fps_init_first_pass_info

Note the last packet is cumulative first pass stats.
So the number of frames is packet number minus one

Change-Id: I5f617e7eeb63d17204beaaeb6422902ec076caeb

Simplify the logics of computing gf_group_err etc

Move the logics of computing
gf_group_err, gf_group_raw_error, gf_group_noise,
gf_group_skip_pct, gf_group_inactive_zone_rowsa,
gf_group_inter, gf_group_motion
into one for loop

The behavior stays the same.

Change-Id: Idbc338a88469bf7a2786c831880e8aba8ed4feb5

Add calc_norm_frame_score()

The behavior is the same as calculate_norm_frame_score(),
but we avoid use cpi.

Change-Id: I3400abcdd02e041eb3b1ebf402b40b97df00d6f4

Remove mod_frame_err in define_gf_group

Change-Id: I3cefcc797e8756c9d3256321679784a356fc1946

Simplify the if clause in define_gf_group

Change-Id: I70a06a4f48c5a215831d8b6e918eebc3041ef65a

Refactor calc_frame_boost()

Replace detect_flash() by detect_flash_from_frame_stats()

Change-Id: I31862820926b5167ff70cebe2009c04aa745a019

Add first_pass_info in TWO_PASS

This is part of the change aims at replacing
stats_in/stats_in_start/stats_in_end by first_pass_info.

Change-Id: Ibcd2a08e57cb749fe68996f33fe3a5e7f92b1758

Refactor get_prediction_decay_rate()

Replace cpi by frame_info
Rename next_frame by frame_stats

Change-Id: I909f01ce724aac13030931970fba8b7b3f4d0080

Replace cpi by frame_info in get_sr_decay_rate()

Change-Id: I8ed925edb12345042cf3e446095b4ad4acfa11c4

Change the interface of calc_frame_boost

Replace cpi by frame_info and avg_frame_qindex

Change-Id: Ie63526ac9942acf75cc416fcaa0a169838b23322

Use frame_info in calculate_active_area

Change-Id: I16049bef4aee54c915dc5cf181111c5a334b5eaf

Add FRAME_INFO into VP9_COMP

Change-Id: Ibc804f2420113010013c04dc005b02dfebdfda8a

Add detect_flash_from_frame_stats()

Change-Id: I06a64b45045334cf9563d27e154a3b8095ad80a3

vp9: fix non bitexact when reuse_inter_pred is 0.

when the best filter selected is not EIGHTTAP_SMOOTH, and
reuse_inter_pred is 0, pred buffer was not pointing to the right place.

Change-Id: I5b519fedd2d892bf140879faa74b463a161e253b

vpx_dsp/inv_txfm: fix int sanitizer warnings

with vp9-highbitdepth off.
Unit Test:  SSE2/Trans16x16DCT , VP9/LevelTest.TestTargetLevel20Large, VP9/CpuSpeedTest

implicit conversion from type 'int32_t' (aka 'int') of value -32851
(32-bit, signed) to type 'tran_low_t' (aka 'short') changed the value to
32685 (16-bit, signed)

BUG=webm:1615
BUG=webm:1647

Change-Id: I9ef064dc9ac734379628565ff6505b0876984123

Merge "vp9/common/vp9_reconinter: fix int sanitizer warnings"

vp8/decoder/decodeframe: fix int sanitizer warnings

Unit test: VP8/InvalidFileTest
implicit conversion from type 'int' of value -45844 (32-bit, signed) to
type 'short' changed the value to 19692 (16-bit, signed)

 BUG=webm:1615
 BUG=webm:1644

Change-Id: Id5d470f706d68e24f7a1e689526c9ecd3a8e8db8

Merge "vpx_dsp/quantize: fix int sanitizer warnings"

vp9/common/vp9_reconinter: fix int sanitizer warnings

Unit Test: VP9/InvalidFileTest
implicit conversion from type 'int' of value -65536 (32-bit, signed) to
type 'int16_t' (aka 'short') changed the value to 0 (16-bit, signed)

BUG=webm:1615
BUG=webm:1645

Change-Id: I4ce0c6abf8b5bf43ee43e958ad75d9fa28b23eee

vpx_dsp/quantize: fix int sanitizer warnings

From unit test: AVX/VP9QuantizeTest; SSSE3/VP9QuantizeTest ...
implicit conversion from type 'int' of value -139812 (32-bit, signed)
to type 'tran_low_t' (aka 'short') changed the value to -8740 (16-bit,
 signed)

BUG=webm:1615

Change-Id: I730946ac6c7a250dcbcfd8a2712c0f1150ddb4fd

vp9/decoder/vp9_detokenize: fix int sanitizer warnings

From unit test: VP9MultiThreaded/InvalidFileTest
implicit conversion from type 'int' of value 83144 (32-bit, signed) to
type 'tran_low_t' (aka 'short') changed the value to 17608 (16-bit,
 signed)

 BUG=webm:1615
 BUG=webm:1648

Change-Id: I4170494c328596ace66432c8563c55f31745cf76

Merge "namespace ARCH_* defines"

namespace ARCH_* defines

this prevents redefinition warnings if a toolchain sets one

BUG=b/117240165

Change-Id: Ib5d8c303cd05b4dbcc8d42c71ecfcba8f6d7b90c

Fix python3 format issue

Change-Id: If0fed04c8682baee82efbdf5b4f90bcc8e8ac102

Merge "vp9-rtc: Fix to speed 4 for real-time mode"

vp9-rtc: Fix to speed 4 for real-time mode

Fix some speed feature settings for speed 4
in real-time mode.

Use rd pickmode (i.e.,nonrd_pick_mode=0), but
use variance partitioning. Allow aq-mode=3 to
work at speed 4 and modify some other speed settings.
This makes it much faster than the current speed 4,
and still better quality than speed 5.

Change-Id: I94ec43ccac022030a75b5a528703be0c37f9a35c

Merge "Remove USE_PQSORT and CHANGE_MV_SEARCH_ORDER"

Remove USE_PQSORT and CHANGE_MV_SEARCH_ORDER

Remove the feature_score related code to simplify the code.
The feature_score is incorporated in get_local_structure and will
be integrated in later.
The current non_greedy_mv performances are
lowres: -0.239% midres: -0.569% hdres: -0.365%

Change-Id: Ida28bb1baff6932f1c28b24d371a35a1546fa7e9

vp9-svc: Fix to forced key frame for spatial layers

Condition to disallow key frames on spatial
enhancement layers should be based on the
first_spatial_layer_to_encode, which need not be
layer 0.

Change-Id: If6bc67568151c38c9c98290e5838a23b3ab18e8a

Merge "Remove redundant comment"

Remove redundant comment

Change-Id: I2020d21701ec7a7b018c4063918232098124d033

Merge "Move vp9_alloc_motion_field_info"

Move vp9_alloc_motion_field_info

Move vp9_alloc_motion_field_info out of init_tpl_buffer, so that
vp9_alloc_motion_field_info will be called even though there is
not alternate reference frame.

This fix the crash with shields_720p50 at bitrate 2000

Change-Id: If2877e8d0b8a834556be12d239b7b58ad1fc8c73

Fix msan on svc tests.

BUG=b/140939146

Change-Id: Ib3e714f01c58fc0452c7e1adfc8fd3f1d9f8e0a0

Merge "vp9_quantize_sse2: quiet clang-7 integer sanitizer warning"

vpx_clear_system_state after drop due to overshoot

BUG=999780

Change-Id: I096fdc22812eab22a38a33135c0cbe60a6e64add

vp9_quantize_sse2: quiet clang-7 integer sanitizer warning

nzflag is used as a boolean, it doesn't need to be a sized type, int is
enough (and _mm_movemask_epi8 returns one)

fixes:
vp9_quantize_sse2.c:136:16: implicit conversion from type
'int' of value 65535 (32-bit, signed) to type 'int16_t' (aka 'short')
changed the value to -1 (16-bit, signed)

BUG=webm:1649

Change-Id: I0e3f5278af49d84760f3dfb607f28099cf02f21d

vp9-svc: Add new frame drop mode for SVC

add SVC framedrop mode: Lower spatial layers
are constrained to drop if current spatial layer
needs to drop.

No change in behavior to other existing modes.

Change-Id: I2d37959caf8c4b453b405904831b550367f716ba

Merge "Don't generate mv refs that won't be used"

Merge "Upload Motion Field Estimation Unit Test Files"

Report failure of vp9_alloc_motion_field_info

Change-Id: I87f2a8dbf4e89b1cc8526307e82812aea6ac137e