Merge "Remove unused fb_cb related fields from VP9_COMMON"

Merge changes I3216c984,I70d40060

* changes:
  Make vp9_prepare_nb_full_mvs only return valid mvs
  Let vp9_nb_mvs_inconsistency call log2 just once

Remove unused fb_cb related fields from VP9_COMMON

Remove the cb_priv, get_fb_cb, release_fb_cb, and int_frame_buffers
fields from the VP9_COMMON struct. They are not being used.

Change-Id: I235194aa8b315cd8ec9405bbba5feb3bee69f7e0

Make vp9_prepare_nb_full_mvs only return valid mvs

In this case, vp9_nb_mvs_inconsistency doesn't need to check
whether each neighbor mv is valid or not.

non_greedy_mv encoding time is reduced by 1.5%

Change-Id: I3216c98481e777d5e0b917ea20ee39b7ca9c9d23

Let vp9_nb_mvs_inconsistency call log2 just once

The bahavior of this function is to compute log2 of mv difference,
i.e. min log2(1 + row_diff * row_diff + col_diff * col_diff)
against available neghbor mvs.
Since the log2 is monotonic increasing, we can compute
min row_diff * row_diff + col_diff * col_diff first
then apply log2 in the end

non_greedy_mv encoding time is reduced by 1.5%

Change-Id: I70d40060e2621daec27229f1f6d9fea0286aa04e

Merge "Fix comment typos."

Fix comment typos.

Fix comment typos in transpose_s16_4x4q() and transpose_u16_4x4q().

Change-Id: I21bcc1fb3fb880798e5a3927c3dbe81dd518c83b

Add vpx_sad32x32x8_c/avx2

Change-Id: I4dbb7b6c8979c39eb6ffb97750e3cca0f4b7921f

Add unit test for vpx_sadMxNx8

Change-Id: Ica85e3738708e2a6cc7388fd2cbf6a8840a540d5

Merge remote-tracking branch 'origin/orpington'

BUG=webm:1624

Change-Id: I62e7154d95b3361d6184f0448430bed951f15044

Merge "Limit active best quality of layered ARF frames"

Release v1.8.1 Orpington Duck

BUG=webm:1624

Change-Id: Ibd63b64058e52448e0916939a3f85eb23c8161b6

Merge changes I9288c88d,Ib1ac6f57,I02fac56a,Id6a8b117

* changes:
  Use sdx8f in exhaustive_mesh_search_single_step
  Sync the behavior of exhaustive_mesh_search
  Refactor exhaustive_mesh_search_new
  Simplify code in exhaustive_mesh_search_new

Merge "Revert "Set up frame contexts based on frame type""

Revert "Set up frame contexts based on frame type"

This reverts commit affd9921e405063ed7815f412b15e634c8c9cfca.

Reason for revert:  Quality regression
(VP9/EndToEndTestLarge.EndtoEndPSNRTest/195 failed)

BUG=webm:1635

Original change's description:
> Set up frame contexts based on frame type
>
> In single layer ARF case, use different frame
> contexts for KF, ARF/GF, LF, OVERLAY update types.
>
> Change-Id: Iebb7f9bb430e483dea1e75fc122b9b67645ce804

Change-Id: I98a4eaa6ec0ae6616ea5ad35d1580501b7422e1b

Use sdx8f in exhaustive_mesh_search_single_step

This speed up non_greedy_mv by 4%

Change-Id: I9288c88db56ea4201a7ec4493ca5c567d76af0f1

Sync the behavior of exhaustive_mesh_search

Change-Id: Ib1ac6f57519eb4da93e7c75b0c26a372ffc5d524

Refactor exhaustive_mesh_search_new

Add the following two functions:
exhaustive_mesh_search_multi_step
exhaustive_mesh_search_single_step

Change-Id: I02fac56a815b091beab2203afce560d7d29aad44

Simplify code in exhaustive_mesh_search_new

Change-Id: Id6a8b117b066a56e9312f528ec8f417dd4b2a2d8

Merge "Adjust the quality of boosted frames"

Merge "Set up frame contexts based on frame type"

Merge "Modify frame context index"

vp9-rtc: Reduce color artifact for speed 8

Push the reduced chroma check to speed > 8.

Change-Id: I92dd0aa9933bb5417b1dc5eef8f805ee51e04ac9

vp9: Use mb_rows/cols from VP9_COMMON in postproc.

When frame height is not divisible by 16, the calculation of mb_rows in
postproc was wrong.

Change-Id: I69d108f1b8facdd5650b5b7928a0033b268530d2

Merge "Remove android_tools deps"

Remove android_tools deps

Bug: 428426
Change-Id: Ia3c31fe2b513ac995baad15c8376c590fd1104f7

vp9_cx_iface,encoder_encode: fix -Wclobbered for pts

Change-Id: Ia7fd4fedb0dcbb626d0e7f4951360e2462b518e2
(cherry picked from commit ae3c6e9ec7dbaad8ee507b1c531c54bdc0141e9f)

Merge "vp9_cx_iface,encoder_encode: fix -Wclobbered for pts"

vp9-rtc: Fix color artifacts for speed >= 8

Fix to avoid color artifacts observed for speed >= 8.
In model_rd_large in non_rd pickmode: always do the
transform skipping test for UV plane.

BUG=b/136198713

Change-Id: Idd91322fb898fe731846d8581b21010096f87680
(cherry picked from commit c33c7ca85fa7b28658f3b086d579a7fbbcf41dea)

vp9-rtc: Fix color artifacts for speed >= 8

Fix to avoid color artifacts observed for speed >= 8.
In model_rd_large in non_rd pickmode: always do the
transform skipping test for UV plane.

BUG=b/136198713

Change-Id: Idd91322fb898fe731846d8581b21010096f87680

Adjust the quality of boosted frames

As the boosted frames, early in key frame interval,
are used as reference by many subsequent boosted frames,
boosted frames that are closer to the reference key frame
should be allocated with more target bits than the rest.
Similarly, the active best quality should be lower for
boosted frames early in the key interval and vice versa.
Hence, the bits allocation and active best quality are varied
based on their temporal position in the key frame interval.

Change-Id: I1362248560d074b9e209657a23ae73dda0b01d52

vp9_cx_iface,encoder_encode: fix -Wclobbered for pts

Change-Id: Ia7fd4fedb0dcbb626d0e7f4951360e2462b518e2

add flags for empty blocks

Change-Id: Iedf3bdd87d203db5163d3cc47fcbef1fd002218f

Merge changes I833c82fb,I05a39165,Ie044bb01,I565f477f

* changes:
  Integerize vp9_full_pixel_diamond_new
  Integerize vp9_refining_search_sad_new
  Integerize diamond_search_sad_new()
  Refactor vp9_full_pixel_diamond_new

Merge "vp9_encodeframe: quiet a few integer sanitizer warnings"

vp9_encodeframe: quiet a few integer sanitizer warnings

implicit conversion from type 'int' of value -2 (32-bit, signed) to type
'uint8_t' (aka 'unsigned char') changed the value to 254 (8-bit,
unsigned)

BUG=webm:1615

Change-Id: I9b8f5a9df3211e344e91d67a45d321e7115f5d4a

timestamp_test: enable TestMicrosecondTimebase

this doesn't cause any overflow issues after:
11de1b838 Fix timestamp overflow issues

BUG=webm:701,webm:1614

Change-Id: I7e1cbfa4264d1661eb9a5baa2b2111a0899360f2

Merge "Change parameters for highbd tune=ssim"

Integerize vp9_full_pixel_diamond_new

Change-Id: I833c82fb910c8274b5a237e26fe0dcda7def9796

Integerize vp9_refining_search_sad_new

Change-Id: I05a39165b9910262eca8fdf644ae982b80d309b4

Integerize diamond_search_sad_new()

Change-Id: Ie044bb01e26d871bace309ae1f45aa880ea1de62

Refactor vp9_full_pixel_diamond_new

Remove redundant bestsme assignments

Change-Id: I565f477f51c2a13369ebd1532eed05115e774238

Remove mv_dist/mv_cost from new mv search funcs

The functions are
diamond_search_sad_new()
vp9_full_pixel_diamond_new()
vp9_refining_search_sad_new()

Change-Id: Ied6fe98b8a1401c95f0488faf781c5cd5e8e0db6

Speed up diamond_search_sad_new

The percentage of encoding time spent on diamond_search_sad_new
reduces from 8% to 6%

Change-Id: I1be55b957475d780974cc2e721f8c2d4d266e916

Let full_pixel_exhaustive_new return int64_t

Change-Id: I2c7cd7363a1b61b7aa7c35fd9f4e6b926b67418f

script to compact frames to y4m video

Change-Id: I2d8c3ccf49c172a54181aeb2e2b8169bf5402456

add output of frame info

Change-Id: I70d750be13d9a654d1f21d7809d8d44c491ae477

Add Ray Tracing

Add braces

Change-Id: I5355ccd8f745dfbd4fe3923a81aa3c9f8fda07b3

Change parameters for highbd tune=ssim

With this CL:
             PSNR   SSIM    MS-SSIM
lowres_10bd  2.8    -5.6    -6.5
midres_10bd  2.6    -5.6    -6.3

Before this CL:
             PSNR   SSIM    MS-SSIM
lowres_10bd  6.1    -6.5    -7.7
midres_10bd  6.2    -6.0    -7.2

Change-Id: Iad0ad96d55ad140db00ce86c34ab85461cd963eb

Set up frame contexts based on frame type

In single layer ARF case, use different frame
contexts for KF, ARF/GF, LF, OVERLAY update types.

Change-Id: Iebb7f9bb430e483dea1e75fc122b9b67645ce804

Modify frame context index

Used separate frame contexts for non-boosted frames.
Adjusted the frame context index grouping for boosted
frames.

Change-Id: I7f6f83f53d46f66a83a6806c2b568bd833ce940d

Add Scene module to manage other objects

and calculation

Add interpolation in the Scene

Delete Color interpolation

Build triangle mesh

Reconstruct the code of depth interpolation

Add new data structure Node for back linking

Change-Id: Ibb1e896a2e3623d4549d628539d81d79827ba684

Integerize exhaustive_mesh_search_new()

Change-Id: Ia87ed60f46384e7bb7c5f55e9e28c406562a6f19

Make vp9_nb_mvs_inconsistency return int64_t

Change-Id: I925156ed45e13a06c449c2fbff8a3c26baf8d835

Make type of lambda int in TplDepFrame

Change-Id: I8fdf1ad4790201b1624c8408d92983aeb0b08302

Integerize log2_approximation()

Change-Id: If645bf6a90f4bfb5a51ca0a78b88d1eb5bedbec2

vsx: disable on all builds

The previous change to disable some vsx functions did not clear
the test failures. Disable vsx by default until it is investigated
and fixed.

BUG=webm:1522

Change-Id: I8ba2e7261ea3eee5022832da7e4a22bf8daa0996

Merge "vp8: Allow higher resolution to get periodic keyframe."

Merge "Change log2_fast to log2_approximation"

Merge "Start with q=active_best_quality for non-forced key frames"

Start with q=active_best_quality for non-forced key frames

Change-Id: I435d247ab4d1d160f12f5a3710e6cafb5cfd6610

vp8: Allow higher resolution to get periodic keyframe.

BUG=webm:1632

Change-Id: Ib05a010245e77f9d502c3e7b8f488fca280ea544

Change log2_fast to log2_approximation

This reduce non_greedy_mv encoding time by 8.9%

Use linear approximation for value >= 1024

BDRate increases slightly on hdres
lowres: -0.002
midres: 0.007
hdres: 0.057

Change-Id: I55fd5e0bf0ab2206a286e11974f701cc48084be8

Merge "3D reconstruction tool build by Processing"

Merge "Implement log2_fast for vp9_nb_mvs_inconsistency"

Merge "Fix timestamp overflow issues"

Implement log2_fast for vp9_nb_mvs_inconsistency

This speed up non_greedy_mv by 8.7%

Change-Id: Ia46e3e7c4d32ec364091fad26cc953c62963e526

Fix timestamp overflow issues

- Save the initial user-specified timestamp and rebase all further
timestamps by this value. This makes libvpx internal timestamps to
always start from zero, regardless of the user's timestamps.
- Calculate reduced timestamp conversion ratio and use it to convert
user's timestamps to libvpx internal timestamps and back. The effect
of this is that integer overflow due to multiplication doesn't
happen for a much longer time.

BUG=webm:701

Change-Id: Ic6f5eacd9a7c21b95707d31ee2da77dc8ac7dccf

Merge "Fix memory leak for vp8 multi-res encoder."

vpx_dec_fuzzer: Remove fmemopen dependency

fmemopen is not preferred during fuzzing.
Removed all file operations.

Removed need for allocating a different input buffer.
data buffer is appropriately incremented and passed directly to decoder
This will also test input being sent in an unaligned buffer to the library.

Removed read_frame function and did the required parsing inline.

Change-Id: I32829b0149dba9339f2e8bb4c0249a4987a630c7

3D reconstruction tool build by Processing

(a java based language for data visualization)

add MotionField module

reformat the code by using newest clang-format version

add necessary comments

add new functions

move basic settings to setup

Change-Id: I64a6b2daec06037daa9e54c6b8d1eebe58aa6de0

Fix memory leak for vp8 multi-res encoder.

BUG=webm:1630

Change-Id: I03e74e78aa0ead66eda7506e921b1774b5442ed5

Merge "Use previous ARF as GOLDEN frame for the next GOP"

Merge "ppc: disable vsx for small predictors"

ppc: disable vsx for small predictors

These functions cause test failures when running the entire suite.

BUG=webm:1522

Change-Id: I2c1dc4923e9f149464f365ef63dc59621cfabf5a

Merge "vpx_dec_fuzzer: Add -fsanitize=fuzzer-no-link"

Merge "ppc: disable vsx optimizations with hbd"

vpx_dec_fuzzer: Add -fsanitize=fuzzer-no-link

Updated build instructions for vpx_dec_fuzzer to include
-fsanitize=fuzzer-no-link while configuring library

Change-Id: Id158256aa1cfe3d847720e8558cb5998ad4fd777

Use previous ARF as GOLDEN frame for the next GOP

This patch uses ARF itself as the GOLDEN frame for the
next gf group instead of replacing it with the overlay
frame. By doing so, bits consumed by the overlay frame
will be reduced.

Change-Id: I909ceaa6d501c267d315614075913d45ad426c15

sse: remove unused HAVE_SSE files

There are no sse functions which use these files. Cleans up spurious
warnings when building with --disable-sse2

Change-Id: I04d84b8b7ecfe6da7d5d4df63840796c7b04c085

ppc: disable vsx optimizations with hbd

vsx optimizations do not support 32 bit tran_low_t values.

BUG=webm:1563

Change-Id: I9e6348078f6e4855acfd381133eb840a435b7f81

update libwebm to libwebm-1.0.0.27-361-g81de00c

81de00c Check there is only one settings per ContentCompression
5623013 Fixes a double free in ContentEncoding
93b2ba0 mkvparser: quiet static analysis warnings

Change-Id: Ieaa562ef2f10075381bd856388e6b29f97ca2746

vp8: fix leak in vp8e_mr_alloc_mem

BUG=webm:1596

Change-Id: I09ba00a7b7ad331671a7a285a2ac5630d8b62199

Merge "Update performance test results for tune=SSIM"

Merge "Fix a bug in best RD cost updating"

Update performance test results for tune=SSIM

I made a mistake (used the outdated baseline) in the CL I
submitted earlier this week:
https://chromium-review.googlesource.com/c/webm/libvpx/+/1638854

The corrected results are following:
The additional gains/loss on top of the tune=ssim are:
Data Set   Overall PSNR   SSIM       MS-SSIM
 Lowres       3.490      -3.164      -2.267
 Midres       2.245      -2.270      -2.287
 HDres        2.562      -1.804      -1.681
Lowres_10bd   3.477      -2.399      -2.689
Midres_10bd   3.467      -1.534      -1.636

The overall gains/loss comparing to tune=psnr are:
Data Set   Overall PSNR   SSIM       MS-SSIM
 Lowres       6.127      -5.818      -4.783
 Midres       4.574      -5.383      -6.242
 HDres        4.908      -6.218      -7.106
Lowres_10bd   6.115      -6.212      -7.790
Midres_10bd   6.238      -6.064      -7.249

Change-Id: Iae72482f7b30f200e5021a98c920eed841d0972a

Fix a bug in best RD cost updating

This CL fixed a bug that sometimes we calculate the best rd cost using
uninitialized rd_div. This CL also includes a small refactoring of
rd_pick_partition().

Speed change: (the smaller the better)
 Performance counter stats for './vpxenc park_joy_480p.y4m --limit=50
 -o output.webm':

with this CL:       297,086,181,136      instructions:u
without this CL:    299,285,835,104      instructions:u

Quality change: (negative is better)
          avg_psnr ovr_psnr  ssim
(low_res)  0.007     0.005  -0.002
(mid_res)  0.022     0.028   0.007
(hd_res)  -0.008    -0.003  -0.014

Change-Id: I8924d8426364304212bcef3aba13346783e6f1a8

configure: test -Wno-* flags used with libyuv

with g++ this avoids:
command line option ‘-Wno-missing-prototypes’ is valid for C/ObjC but
not for C++

the flag is necessary with clang.

BUG=webm:1584

Change-Id: I250c76483302d913999e5f9e0d09ee6449b052df

Merge changes Ib73136b2,Ie514f663

* changes:
  configure: enable -Wmissing-declarations for more files
  vp9_thread_test: quiet -Wmissing-prototypes

Merge "vp9-rtc: Use speed 5 for postencode drop tests."

vp9-rtc: Use speed 5 for postencode drop tests.

Test was running at speed 4, which is not used for real-time.
With this change all Datarate tests are now running at
(speed >= 5, 1 pass, real-time mode), which is what they
were intended for.

BUG=webm:1512

Change-Id: I47a721dadd24b73df722c44419df7cfc06c44226

Merge "Hierarchical rdmult scaling when tune=ssim"

configure: enable -Wmissing-declarations for more files

avoid using it with third_party/libyuv as that still requires some work.

BUG=webm:1584

Change-Id: Ib73136b22c89d927b112364e19d725c51768bbb7

Hierarchical rdmult scaling when tune=ssim

Use different lagrangian multiplier scaling factor for different block
size. The blocks whose sizes are less than 16x16 share the same multiplier
of their parent block.

The additional gains/loss on top of the tune=ssim are:
Data Set   Overall PSNR   SSIM    MS-SSIM
Lowres         2.918     -3.691   -2.596
Midres         1.708     -2.656   -2.624
HDres          1.619     -2.496   -2.391
Midres_10bd    1.518     -3.263   -3.561

The overall gains/loss comparing to tune=psnr are:
Data Set   Overall PSNR   SSIM    MS-SSIM
Lowres         5.583     -6.208   -4.978
Midres         4.024     -5.610   -6.411
HDres          4.102     -6.614   -7.457
Midres_10bd    4.647     -7.181   -8.614

Change-Id: I0e6c5008488734e979b2dacde9fc2a17f3aa620f

vp9_thread_test: quiet -Wmissing-prototypes

BUG=webm:1584

Change-Id: Ie514f6630acfb018a3ac4a05758c8b4119ae28fa

Merge "Remove unused func for CONFIG_REALTIME_ONLY"

Remove unused func for CONFIG_REALTIME_ONLY

Change-Id: I503e147e20e5b69b910c425d169e59821874f627

Merge changes I7b1d1482,I01588758,I6f17864e

* changes:
  Update rdcost using the rd_mult in current block
  Use distortion and rate of best_rd as the params
  Use distortion and rate recursively in rd_pick_partition()

Update rdcost using the rd_mult in current block

This CL is a preparation for implementing hierarchical SSIM rdmult scaling.
There is very little impact on metrics and speed:
       avg_psnr ovr_psnr  ssim
midres   0.009   0.009   0.015

perf stat -e instructions:u ./vpxenc park_joy_480p.y4m --limit=50
with this cl: 317,722,808,461
before:       317,700,108,619

Change-Id: I7b1d1482ac69f7bc87065a93223a0274bcbe8ce3

Use distortion and rate of best_rd as the params

Also added rd calculation for negative rates and distortions.
This CL is a preparation for implementing hierarchical SSIM rdmult scaling.

Little impact on quality and speed:
            avg_psnr  ovr_psnr   ssim
(mid_res)    -0.015    -0.009   -0.018

perf stat -e instructions:u ./vpxenc park_joy_480p.y4m --limit=50
with this cl: 317,700,108,619
before:       317,669,279,763

Change-Id: I01588758b7be2aab32236440ec0e57d7af56e920