vp8_dx_iface.c: make vp8_ctf_maps[] static

Change-Id: I6c19745a392681733c6deaaacc7e3540bc72fd4d

test/*.sh: add explicit error checks/returns

there was an assumption that function calls would terminate early with
an error given 'set -e' was being used. this is true, but only when the
function is part of a simple command otherwise it won't inherit the
behavior. many of the call sites use 'func || return 1' syntax meaning
the function would continue to completion return with the status of the
last command executed. this hid errors with e.g., eval statements. inner
calls within the functions are now explicitly tested for failure.

BUG=aomedia:2669

Change-Id: Ie33a5ac4023dcc800bd302cb8cc54c6c3f2282f5

Update a comment on nonexistent vpx_codec_init

Update a comment on the nonexistent vpx_codec_init() function. Replace it
with vpx_codec_dec_init() and vpx_codec_enc_init().

I missed this comment in the last commit.

Change-Id: I1d3614b3bb3aa4330ac6bd49e4d2e1f4e627b6b0

Merge "Update comments on nonexistent vpx_codec_init"

Merge "vp9-rtc: Some speedups to speed 5 real-time mode"

Update comments on nonexistent vpx_codec_init

Update comments on the nonexistent vpx_codec_init() function. Replace it
with vpx_codec_dec_init() and vpx_codec_enc_init().

based on the change in libaom:
b1b8c68e8 Update comments on nonexistent aom_codec_init

Change-Id: I63d3f6c87706a98f631457b5f6ce51e8b0c5cfb1

Merge "Revert "Revert "Remove RD code for CONFIG_REALTIME_ONLY in vp9."""

vp9-rtc: Some speedups to speed 5 real-time mode

Disable checking rectangular partitions in
nonrd_pick_partition, and enable use_source_sad.

~3-4% speedup for HD clip on x86.
bdrate loss of ~0.2% on rtc set.

Change-Id: Ibef8f100f1f623482d47510cb4ec9278ba777d7c

Revert "Revert "Remove RD code for CONFIG_REALTIME_ONLY in vp9.""

Under CONFIG_REALTIME_ONLY flag, map speed < 5 to speed 5.

Bug: webm:1684

This reverts commit 85cb983682fe9ca14fd302b50d27d762da05d665.

Change-Id: I67b7ed37e8b74417db310ea0c817d3c5a5de9e44

vp9-rtc: Allow simulcast mode for flexible/bypass mode

Change-Id: I0252d06c4f21d7c700c81d387bef89646229a63c

Merge "Move index check before array access"

Merge "Revert "vp9-rtc: Some speedups to speed 5 real-time mode""

Revert "vp9-rtc: Some speedups to speed 5 real-time mode"

This reverts commit 62af22b5e57ed1e382ef0994183824a03f698797.

Reason for revert: causes crash in chromium test

Change-Id: I27792e05ece84c79739638b8cce634ffeaef3ba1

Merge "realtime_test: add IntegerOverflow test"

realtime_test: add IntegerOverflow test

use an extreme bitrate to cover rate control calculations.
this is disabled by default as there are a mix of
-fsanitize=undefined/integer warnings for vp9 and -fsanitize=integer
warnings for vp8.

this is a follow-up to:
5e065cf9d vp8/{ratectrl,onyx_if}: fix some signed integer overflows
5eab093a7 vp9_ratectrl: fix some signed integer overflows

BUG=webm:1685

Change-Id: I24d223e33471217528a79b0088965ba51d0399ba

Revert "Remove RD code for CONFIG_REALTIME_ONLY in vp9."

This reverts commit da24d35132e80422dc2c33e7c92462f4db7cd83d.

BUG=webm:1684

Change-Id: I552c37c7bdc844610879a65cc02038d76a5d32b1

vp9-rtc: Some speedups to speed 5 real-time mode

Enable use_source_sad at speed 5 and use it to
condition min_partition_size in nonrd_select_partition.
Also disable checking rectangular partitions in
nonrd_pick_partition for speed >= 5.

~5-8% speedup for HD clip on x86.
bdrate loss of ~1% on rtc set.

Change-Id: Ia643b34a51191e3929a443de77e271561e7c877d

Move index check before array access

This lets us run code with -fsanitize=bounds.

Bug: b/15471229

Change-Id: I5961ef43d21f04a0dc9e8bf7280dc27eb0a62094

simplify x86_abi_support.asm symbol declaration

Define LIBVPX_{ELF,MACHO} to simplify blocks.

Create new globalsym macro and include logic for PRIVATE.

BUG=webm:1679

Change-Id: I303ba1492a2813f685de51155ccef7e4831e1881

Merge "transpose_sse2.h,cosmetics: fix some comments"

vp9-rtc: Fix to disable_16x16part speed feature

Condition on current_video_frame count, as the
avg_frame_qindex needs some time to settle.

Fixes psnr test failures.

Change-Id: I462c45250becb55b72b6ffe2b7087094d6d58a01

Merge "vp9-rtc: Disable nonrd_keyframe for SVC, speed >=8"

vp9-rtc: Disable nonrd_keyframe for SVC, speed >=8

For speed >= 8: disable nonrd_keyframe SVC with
spatial_layers > 1. In this case having base
spatial layer key frame with higher quality
(hybrid mode search) is beneficial, without too
much cpu cost (since its on lowest spatial layer).

Change-Id: Iff7c43aed4e808603d8abdedb6eb5d2c9c8ecb8d

vp9-rtc: Set disable_16x16part for low-resoln high Q

Only affects variance partition at low-resoln,
speed 6,7 real-time mode. At very high Q better to
save bits from the split to 8x8.

bdrate gain ~3% on rtc_derf at very low bitrates

Change-Id: I94ee58e67d5ba6277cbab8f8dd9ea45b035c82b5

Merge "vp9: add rate control interface for RTC"

vp9: add rate control interface for RTC

Add vp9 RTC rate control without creating encoder,
to allow external codecs to use vp9 rate control.

A new library (libvp9rc.a) will be built. Applications using this
interface must be linked with the library.

BUG=1060775

Change-Id: Ib3e597256725a37d2d104e1e1a1733c469991b03

x86_abi_support: do not decorate coff functions

:private_extern only applies to macho. Match x86inc.asm logic:
%if FORMAT_ELF
  global %2:function hidden
%elif FORMAT_MACHO
  global %2:private_extern
%else
  global %2
%endif

May fix a build issue on windows:
vp8/encoder/x86/block_error_sse2.asm:18: error:
  COFF format does not support any special symbol types

BUG=webm:1679

Change-Id: I7e1f4043b064a04752d1cedd030cbe7f5461fe40

Merge changes I24997420,Ie4ca7435,I36011727,Ibb01b09c,Ifb17acbe, ...

* changes:
  x86inc.asm: update to 3e5aed95c
  x86inc.asm: namespace ARCH_* defines
  x86inc.asm: only set visibility for chromium builds
  x86inc.asm: do not align .text for aout
  x86inc.asm: use .text on march32
  x86inc.asm: copy PIC macros from x86_abi_support.asm
  x86inc.asm: set PREFIX from libvpx defines
  x86inc.asm: pull settings from libvpx
  x86inc.asm: update to 3e5aed95

transpose_sse2.h,cosmetics: fix some comments

Change-Id: Idae90838012c78605f20f1d7a3125b71683f6f44

Return VPX_CODEC_INCAPABLE on capability failure

All decoder functions should return the VPX_CODEC_INCAPABLE error code
if the algorithm does not have the requested capability.

Move the definitions of VPX_CODEC_CAP_FRAME_THREADING and
VPX_CODEC_CAP_EXTERNAL_FRAME_BUFFER to the VPX_CODEC_CAP_* section.

Change "PUT_SLICE and PUT_FRAME events are posted" to "put_slice and
put_frame callbacks are invoked".

Also fix some other minor comment errors.

This carries back to libvpx the following libaom CL:
https://aomedia-review.googlesource.com/c/aom/+/108405

Change-Id: If67a271c9abbb3eebc2359719cc7d9f235b690d2

x86inc.asm: update to 3e5aed95c

BUG=webm:1679

Change-Id: I24997420b7b43cac3c674300c667eb493794893e

x86inc.asm: namespace ARCH_* defines

Reapply fad865c54 to prevent redefinition warnings.

BUG=webm:1679

Change-Id: Ie4ca7435b1f84711d0231e7957129580b05b3918

x86inc.asm: only set visibility for chromium builds

Reapply and update a4b47b89f. This restores the previous version's
behavior avoiding issues with builds that may split sources on
directory boundaries; protected visibility may work in this case.

BUG=webm:1679

Change-Id: I36011727485847dd11f06782bc6beddedc39019c

x86inc.asm: do not align .text for aout

Reapply a97c83f7a. Only use .text sections for aout and do not specify
an alignment.

BUG=webm:1679

Change-Id: Ibb01b09c205f9e0ecd4bfa0241e3d5e01ae5a55e

x86inc.asm: use .text on march32

Reapply 9679be4bc. The read only sections are getting stripped on some
OS X builds. As a result, random data is used in place of the intended
tables.

BUG=webm:1679

Change-Id: Ifb17acbed73df4b9949a8badae2d9305a3073b83

x86inc.asm: copy PIC macros from x86_abi_support.asm

Reapply 7e065cd57. x86inc.asm always defines PIC for x86_64. We undefine
it for x32.

Incorporate e56f96394 as well to ensure GET_GOT_DEFINED is defined.

BUG=webm:1679

Change-Id: I1535d57bcb4223327ca63b4fd11bffcda1009332

x86inc.asm: set PREFIX from libvpx defines

Reapply 4de9641f1

BUG=webm:1679

Change-Id: I70b2224121f8f997fcd04c38a07a8126c2855ec6

x86inc.asm: pull settings from libvpx

Reapply 1be46ef6b. Include vpx_config.asm and prefix functions with vpx.

BUG=webm:1679

Change-Id: I5fba3154203822a829bc88ad0e302adf2ce3bbee

x86inc.asm: update to 3e5aed95

Pull a clean copy in and name it _new. Will apply the libvpx
patches and then move it over.

BUG=webm:1679

Change-Id: I48d3d4ab7911340c0997dd79a0dbadccf5697682

x86_abi_support: use correct hidden syntax

Chromium needs :function hidden and the space between the symbol and the
colon removed, at least for nasm. This matches x86inc.asm.

BUG=webm:1679

Change-Id: Ie47bb75d44d3130791639cbf4e2ebe019e2d686e

Merge "nasm: require 2.14 with -DCHROMIUM"

Merge "auto-detect darwin19"

vp9-rtc: Refactor postencode for 1 pass

Move some code for 1 pass, that is not
directly related to rate control, out of
the postencode.

This avoids the need of extra flag for the
RC interface in:
https://chromium-review.googlesource.com/c/webm/libvpx/+/2118915

Change-Id: I3992ea8255196a762c1174c35dd7dcc9b01d317e

auto-detect darwin19

Change-Id: I3912c79d0f0f7a65fc753ae29bb10cdcac76878a

nasm: require 2.14 with -DCHROMIUM

BUG=webm:1679

Change-Id: I75b1f860d111febf0aabe38b89d845ef296728a4

rtc: Increase resize limit resoln for rtc

Increase resize limit to avoid resized frame
from going below 320x180.

Change-Id: If736ac3fac4731b47844e4d8c771ecf5c66550de

vp9-rtc: Increase resize down limit to 320x180

For RTC dynamic resize: don't allow resize for
resoln <= 320x180.

Change-Id: I9109e9e1338e5420e72436a57d266ae46e9f2d60

Init frames_to_key in vp9_rc_init()

Change-Id: Ic667c77ff58672212fc2e9dd5066c650b0152226

Merge "Optimize vp9_get_sub_block_energy."

vp8/{ratectrl,onyx_if}: fix some signed integer overflows

in calculations involving bitrate in encode_frame_to_data_rate() and
vp8_compute_frame_size_bounds()

note this isn't exhaustive, it's just the result of a vpxenc run with:
-w 800 -h 480 --cpu-used=8 --rt --target-bitrate=1400000000

Bug: b/151945689
Change-Id: I3a4f878046fcf80e87482761588c977c283ae917

vp9_ratectrl: fix some signed integer overflows

in calculations involving bitrate in vp9_rc_postencode_update() and
calc_pframe_target_size_one_pass_vbr()

note this isn't exhaustive, it's just the result of a vpxenc run with:
-w 800 -h 480 --cpu-used=8 --rt --target-bitrate=1400000000

Bug: b/151945689
Change-Id: I941a77340fd44b09fc965dd182d7aeab9f1f3da0

Optimize vp9_get_sub_block_energy.

Because energy scaling is non-decreasing, we can work on the variance
and scale after the loop. This avoids costly computations (in
particular, log()) within the loop.
We've measured that we spend 0.8% of our total time computing the log.

Change-Id: I302fc0ecd9fd8cf96ee9f31b8673e82de1b2b3e2

Merge changes I8a14fcad,Iad7ca261,I2063c592,I9c5c74ab

* changes:
  Correct time_base of ivf header in SimpleEncode
  Add detail comments on valid_list in SimpleEncode
  Add missing Copyright to python files
  Move member functions up in simple_encode.h

Correct time_base of ivf header in SimpleEncode

Change-Id: I8a14fcad3e7b4c4689f4e7387414e59ba9c4c20a

Add detail comments on valid_list in SimpleEncode

Change-Id: Iad7ca261a99c7b5f082cf3cc6504f4af438bf409

Add missing Copyright to python files

BUG=webm:1655,webm:1654

Change-Id: I2063c59218e082f40958dddbdcb1c105d5440199

vpx_codec_enc_config_default: rm unnecessary loop

quiets -Wunreachable-code-loop-increment, present since:
e57f388bc vpx_codec_enc_config_default: disable 'usage'

as g_usage was never supported for vp8/9 this was always a single
iteration. if additional usages are added in the future similar to av1
this can be restored.

Bug: b/150166387
Change-Id: Ic6f0985829e87694de8b5e0340cffa6c451ed1c2

Move member functions up in simple_encode.h

Change-Id: I9c5c74ab52361bcd73aef110729c6e332066c2af

fix minor spelling errors

Change-Id: I929fec66d541705fe94365b56a5bdd8cf5ee7c37

Merge changes Ie7c70a1d,I2c5abbe2,If41a1ea6,Id6ba4664,I156308bc

* changes:
  Add unit test for ref_frame_info
  Add key frame group info to SimpleEncode
  Add ref_frame_info to encode_frame_result
  Add init/update_frame_indexes()
  Add GetVectorData()

rtc: Update svc test for resize

Add count on expected number of resizes,
and use the speed_setting_ for base layer.

Also allow AQ_MODE=3 for the tests with
dynamic layer disabling/enabling.

Change-Id: I03fb0789a2210ba00b8b153941bf79fb774d51bf

vp9-svc: Allow for dynamic resize for single layer SVC

Make internal dynamic resize work for SVC mode
when single layer SVC is running (i.e, other layers
are dropped due to 0 bitrate).

Added unittest.

Change-Id: Icf03e1f276d9c4ba2734c87c927f7881c6b0a116

Add unit test for ref_frame_info

Fix several bugs to make the test pass.
1) Move update_frame_indexes() out of show_frame check.
2) Init coding_indexes[i] to -1 when key frame appears
3) Fix a bug in PostUpdateRefFrameInfo()

Change-Id: Ie7c70a1d460e5b89475a1aef77416fc9a88387e1

Add key frame group info to SimpleEncode

Change-Id: I2c5abbe23c84c6d794e06ed6429136b10fb18683

Add ref_frame_info to encode_frame_result

Change-Id: If41a1ea6ce0a2b8db3811f2fa8efcf16f97fa0bd

Add init/update_frame_indexes()

We will init and update current_video_frame and
current_frame_coding_index in the functions.

So it's easier to keep track of when the frame indexes are updated.

Change-Id: Id6ba46643f8923348bb4f81c5dd9ace553244057

Add GetVectorData()

It's necessary to get data pointer from a vector sometimes.
This function will guarantee that the data pointer is nullptr
if the vector is empty.

Change-Id: I156308bcb193fe404452d3cd3b24b3f80c3c3727

Add RefFrameInfo

RefFrameInfo contains the coding_indexes and valid_list of
three reference frame types.

Note that I will add unit test in the follow-up CLs.

Change-Id: Ia055df1f8a5537b2bdd02c78991df9bbf48e951a

Keep ref frame coding indexes in SimpleEncode

Change-Id: Id76aeb54ef93b11ca9a582f76289da0e60368e56

Make external arf consistent with vp9

Add a test to ensure that encoding with the external arfs gets the
same result as long as the arfs are the same as the vp9 baseline.

Change-Id: I92c79001018f4df3bc16e9fc56c733509bebb9dc

Allow external arf to determine gop size

When "rate_ctrl" experiment is on, we allow the external arf
passed from outside to determine group of picture size
in define_gf_group().

Change-Id: I0b8c3e1bf3087f21a4e484354168df4967d35bba

Add interface for external arf indexes.

Pass in external arf indexes to encode command.

Change-Id: Ifea5a7d835643760fc5effc594bb448848f6d639

Rename values in RefFrameType and FrameType

Replace golden and altref by past and future in RefFrameType.
So that we don't get confused with FrameType and RefFrameType.

Change-Id: I1be45d49f76c68869fc4bf53ff946fee9ce7eb9d

Use ref_frame[0] to determine mv_count

The motion vector counts should be determined by whether this
block is using intra_mode or not.

Change-Id: If866c91fb8a3f2b3944e5b219a90154d2172690d

Consistency test for GroupOfPicture

Make sure frame_type, show_idx and coding_index in GroupOfPicture
match the results in EncodeFrameInfo.

Change-Id: I3b477a03b5efd651c2d174e7146a4cd4f5551604

Use ObserveGroupOfPicture() in EncodeFrame test

In the previous version, we assume the number of coding frames is
known.

Although the assumption is true for now with rate_ctrl flag on,
it's more proper to use ObserveGroupOfPicture() to get
the partial info about how many coding frames are in the group.

Because We want to keep the flexibility of changing the size of
group of pictures on the fly in the future.

Change-Id: Ibbe6ab49268c468bf1cef8344efd3a3e1eab972a

Add kGoldenFrame and kOverlayFrame to FrameType

Add coding_index to EncodeFrameInfo
Add start_coding_index to GroupOfPicture
Add frame_coding_index_ to SimpleEncode

The definition of coding index is as follows.

Each show or no show frame is assigned with a coding index based
on its coding order (starting from zero) in the coding process of
the entire video. The coding index for each frame is unique.

Change-Id: I43e18434a0dff0d1cd6f927a693d6860e4038337

Merge "x86_simd_caps: make mask value unsigned"

Merge "vp9-rtc: Increase partition threshold to 8x8 for high Q"

Merge "Cap delta_q_uv to -15..15"

vp9-rtc: Increase partition threshold to 8x8 for high Q

For low resolutions: increase the partition threshold
to split to 8x8 blocks for high Q.
Some improvement in quality for low bitrates at low resoln.

On rtc_derf speed 7: ~1.7 bdrate gain for low bitrates.

Change-Id: I1900c32497b75da4e8b882fedc8f4b440b017480

Cap delta_q_uv to -15..15

only 4 bits in bitstream

Change-Id: I338fe54475e094ee5e556467e0b66c982bb560fa

vp9-rtc: Set enable_adaptive_subpel_force_stop to 0

Set enable_adaptive_subpel_force_stop to 0 as default
for all speeds. Its only enabled for speed >= 9.

Change-Id: I23a1c1cb9765994d2153ef401976c11a07f3fe7f

vp8_decode: add missing vpx_clear_system_state

this avoids leaving the floating point unit in an inconsistent state on
error and breaking subsequent tests on x86
the test clip invalid-bug-148271109.ivf would also result in a sanitizer
error prior to:
vp8,GetSigned: silence unsigned int overflow warning

BUG=b/148271109

Change-Id: Ia254f3892ac1eeec51db5e9d42ea071545db0cd8

vp8,GetSigned: silence unsigned int overflow warning

in non-conformant fuzzed bitstreams the calculation of br->value may
overflow. this is defined behavior and harmless in that the stream is
already corrupt.

BUG=b/148271109

Change-Id: I3668ada57e0bd68cea86b82917fb03c19ac1283d

move common attribute defs to compiler_attributes.h

BUG=b/148271109

Change-Id: I620e26ff1233fcd34ebe0723cb913e82eb58271c

x86_simd_caps: make mask value unsigned

fixes -fsanitize=integer warning:
runtime error: implicit conversion from type 'int' of value -1 (32-bit,
signed) to type 'unsigned int' changed the value to 4294967295 (32-bit,
unsigned)

Change-Id: I95d41aade78cea5e4f870a804d3f358c2cf618d7

Merge "Set mv to zero if the second ref does not exist"

Merge "Add a unit test to check partition info"

Add a unit test to check partition info

Change-Id: I397d7005961a037c9c9cb29e3ff0a3d39a501d15

Set mv to zero if the second ref does not exist

Change-Id: I94b936c2642981eccdff073fc71c12e2dccb7909

Do save/restore_encode_params when rate_ctrl is on

Change-Id: I06492a4d1511869cb243477a47295d5f82608fca

Replace NULL by nullptr in simple_encode.c/h

Change-Id: Ib68740a02be852d03a3a2ad4d9d4a7d84d537590

Sync simple_encode.h

Change-Id: I046b8c65c96e1864813f9a82649dd6b41ba0aa1f

Rename inverse_vpx_rational to invert_vpx_rational

Change-Id: I9139ebc22be74e9726eee157821faf22d44bd30f

Consistency test for motion vector info

Change-Id: Ie1d77e231b973eb16f4e9c520721b47cdf86622c

Pass motion vector info to encode frame result

Pass the motion vector info stored to the encode frame result
through the interface "update_encode_frame_result()".

Change-Id: I589affa0c4c4d0fd4d639edff9068e44a715beff

Let SimpleEncode be able to output bitstream

Add outfile_path to SimpleEncode() with default value NULL.
The encoder will only output bitstream when outfile_path is set.

Change-Id: Ic68e5358ea454358c510bb0ae214f4201cb3db39

Add coded_frame to EncodeFrameResults

This coded_frame represents the raw coded image.

Change-Id: Iea439da2f9e84c4507b082d77ebaac49bfd74fff

Merge "Store frame motion vector info"