Simplify rdmult computation

Recognizing that max dc_quant used in rdmult computation is 21387 and
21387 * 21387 * 88 / 24 is still within the range of int32_t, this
commit simplifies the computation with minor cleanups.

Change-Id: I2ac7e8315d103c0bb39b70c312c87c0fda47b4f9

Merge "Unify GOP structure layout setup"

Merge "Modified key frame detection."

Unify GOP structure layout setup

Refactor define_gf_group_structure() to unify the single-layer,
multi-layer ARF, and GF only GOP structure setup.

Change-Id: Iebbe9c3742fc58ae4e77b1072ebecb3ee7bd26b2

Merge "vp8: remove VP8_ENTROPY_STATS code"

Merge "vp9: postencode drop frame for screen content in CBR."

Merge "vp9 screen-content: Adjustments for screen content."

vp9: postencode drop frame for screen content in CBR.

Encode the next frame at max q.

For layers: post_encode_drop is only check on base
spatial layer, and if base is post-encoded-dropped,
then whole superframe is dropped.

Added API to guard postencode dropping. Turned off by default.

Added unittest.

BUG=b/112990050
Change-Id: I42fee279014aca616f7a4d9b582cb2bf5da2f2e7

Merge "vp8: Increase rate correction threshold for drop-overshoot"

Merge "Refactor Hadamard tests and add highbd tests"

vp9 screen-content: Adjustments for screen content.

Increase search area, use NSTEP, and in some cases avoid
bsize below 16x16. This for base spatial layer when many blocks
in the frame have motion (from scene detection analysis).

Improves quality for scrolling motion.

Change-Id: If77b43e738a6c43610d4727a95712667088db564

Merge "vp8 dec: only compute ref frame buffer pointer for non intra"

Refactor Hadamard tests and add highbd tests

Change-Id: I306083f233e53884ac21fb4621066713edddc8f7

Merge "Track maximum layer depth in a GOP"

Merge "Fix gf_group->frame_end assignment"

Merge "Refactor define_gf_group_structure()"

Merge "Remove redundant assignments in define_gf_group_structure()"

Merge "Refactor find_arf_order()"

Modified key frame detection.

Address poor key frame detection in some content.

This patch improves on poor key frame / scene cut detection observed
with some test content. The content in question was letter boxed film
style material and also had quite low contrast. For both 1080P and 4K
multiple genuine scene cuts were being missed.

The changes alter the conditions for marking a transition as a "flash" rather
than a scene change. The new code still deals well with genuine flashes as
observed in the "crew" test clip, without falsely flagging some of the
the scene cuts in the "film" test clip.

The new film test clip also had some "flash" frames caused by a lightning
effect and in one case a flash occurred right before a scene change. This
caused a misplacement of the key frame but has been addressed by a new
clause that requires the coded error for the next frame after a candidate
key frame to be lower than the current frame.

The patch also changes the way in which neutral blocks (similar inter and
inter error) are handled in the candidate key frame decision in a way which
hopefully handles the letter boxed format better.

During wider testing some film clips still had missed key frames but this
patch does improve things. In the case of the initial test clip the encoder
correctly marks all 3 scene cuts vs 0 before the patch.

Testing with our standard (mainly short single kf) derf and NF test clips
is neutral.

Change-Id: I3b7dcfe7b2fb13fd0816ea46acc3e69c8bc581b3

Merge "vpx_codec_enc_config_default: disable 'usage'"

vp8 dec: only compute ref frame buffer pointer for non intra

When ref frame is INTRA_FRAME, pre buffer shouldn't be used.

This CL copies behavior in single thread. That should apply to
multithreading case too.

BUG=webm:1496

Change-Id: Ibe9ab8ea9dc664151fa7ebac529d5fd1a481b4a3

Track maximum layer depth in a GOP

Track the effective maximum layer depth in a given group of
pictures. Keep it in the GF_GROUP data structure.

Change-Id: If777c4e0f4a871c7226a91e3871f445e92f18b24

Fix gf_group->frame_end assignment

The previous value was set off by 1. Use the correct value.

Change-Id: I1ce53cc99063ce31e7ab1c43c6e444cb9a1972db

Refactor define_gf_group_structure()

Make it a standalone operation unit. Refactor to cut off unnecessary
dependency between define_gf_group_structure() and
allocate_gf_group_bits().

Change-Id: I954fd4e96152471a994f2ffd38a72061ab517ddd

Merge changes I774a0711,I0b4fd670,Ia09935e5

* changes:
  Fix compilation on OS/2
  Use wcslen() instead of std::wcslen()
  Fix compilation on OS/2

Merge "clang-tidy: fix vpx_dsp parameters"

vpx_codec_enc_config_default: disable 'usage'

Found with clang-tidy. This value is unused in libvpx.

There is an existing test which ensures this is not used:
test/encode_api_test.cc:
    EXPECT_EQ(VPX_CODEC_INVALID_PARAM,
              vpx_codec_enc_config_default(kCodecs[i], &cfg, 1));

Change-Id: I94bd0663c6652b4267204c02c3921972c854d0b0

Remove redundant assignments in define_gf_group_structure()

The functionality has been covered in the above
set_gf_overlay_frame_type() call.

Change-Id: Id4049cd9a1a5a9bad7ea62c412fcb557afa9a572

clang-tidy: fix vpx_img_wrap align

This function specifically only aligns the stride and not the base buffer
like vpx_img_alloc does.

BUG=webm:1444

Change-Id: I3092827eeec3c9e16306a3973534d3a362a337e8

Refactor find_arf_order()

Make the maximum layer depth allowed a control parameter in
GF_GROUP. No coding stats would change.

Change-Id: I9d17167da322831e7013d761980e1c16375a161b

vp8: Increase rate correction threshold for drop-overshoot

For 1 pass cbr encoding mode, with frame-dropping on:
increase the rate correction threshold for drop-overshoot detection,
to better capture cases of large overshoot.

Change-Id: I1153b1b71cf106749dd985074d6bc8f37d163c7e

Merge "vpx postproc: rewrite in intrinsics"

Merge "Add highbd Hadamard transform C implementations"

Merge "fix snprintf error on windows"

Merge "clang-tidy: normalize variance functions"

fix snprintf error on windows

Include vpx_ports/msvc.h to handle snprintf on older
versions of Visual Studio

Change-Id: I06cd99b32bbae82b3df079d41ff20a9a07f6fe1c

vp8: remove VP8_ENTROPY_STATS code

Does not compile. Noticed while cleaning up un-namespaced functions

Change-Id: I4a9048e66d051397f652e7b5412606a5e234f61f

Add highbd Hadamard transform C implementations

Change-Id: Ibec078c80ca1dfe6fbbc4288db89d719dac453a7

clang-tidy: fix vpx_dsp parameters

BUG=webm:1444

Change-Id: Iee19be068afc6c81396c79218a89c469d2e66207

Merge "vp8 boolcoder: normalize to "bc""

Merge "vp8: fix to address overflow in decoder."

Merge "vp8dx_get_quantizer: normalize VP8D_COMP"

clang-tidy: normalize variance functions

Always use src/ref and _ptr/_stride suffixes.

Normalize to [xy]_offset and second_pred.

Drop some stray source/recon_strides.

BUG=webm:1444

Change-Id: I32362a50988eb84464ab78686348610ea40e5c80

Merge "clang-tidy: fix vp9/encoder parameters"

Merge "clang-tidy: fix vp9/decoder parameters"

Merge "clang-tidy: fix vp9/common parameters"

Merge "clang-tidy: fix vp8/encoder parameters"

vp8 boolcoder: normalize to "bc"

"bc" maps to BOOL_CODER better than "br"

Change-Id: Idefd03e79ccc1851a1b26f8206a159b0e5c5fb2d

Merge "clang-tidy: fix vp8/decoder parameters"

vp8dx_get_quantizer: normalize VP8D_COMP

Use "pbi" like the rest of the functions

Change-Id: I5f3036b8f8361c30353be378d83455b83b82ac9f

Merge "Add SSE2 support for hbd 4-tap interpolation filter."

vp8: fix to address overflow in decoder.

Can't call internal error from the decoder thread.

Add vpx_internal_error_info to MACROBLOCKD. When corrupted frame
detected, the decoder thread returns to its own context and signal
completion of decoding for current frame.

The main decoding thread will detect error too and return error code to
decoding API call.

Each thread will signal end of decoding of the frame. Main thread waits
for the signal of all other threads to start decoding next frame.

BUG=875626,webm:1496
Change-Id: Icd05fbc558893a4e7d8532c1e7177e7550283a64

Merge "clang-tidy: fix vp8/common parameters"

clang-tidy: fix vp9/encoder parameters

BUG=webm:1444

Change-Id: I6823635eb1a99c3fcca0a8f091878e3ab2fdd2ac

clang-tidy: fix vp9/decoder parameters

BUG=webm:1444

Change-Id: I9c7c0a4161aaf52436bd5c01d30b035b2ff5508c

Add SSE2 support for hbd 4-tap interpolation filter.

Unit test performance on bitdepth 10:
    | 4X4 | 8X8 |16X16|64X64|
 2D |1.582|1.461|1.425|1.572|
HORZ|1.643|1.247|1.346|1.345|
VERT|1.378|1.695|2.020|1.763|

Unit test performance on bitdepth 12:

    | 4X4 | 8X8 |16X16|64X64|
 2D |1.578|1.409|1.426|1.497|
HORZ|1.625|1.153|1.323|1.259|
VERT|1.392|1.707|2.030|1.787|

Change-Id: I6df85330ac33fcb17d46e4302b41415dda1219f5

clang-tidy: fix vp9/common parameters

BUG=webm:1444

Change-Id: I1a14ad119b3bcbaddcf2291a7521513cf6425635

clang-tidy: fix vp8/encoder parameters

BUG=webm:1444

Change-Id: I57a305cdab0d62b0745116272fbd5d9257c6e679

clang-tidy: fix vp8/decoder parameters

BUG=webm:1444

Change-Id: I3dfc56f7f6430d36a1c447d8999733015a001101

clang-tidy: fix vp8/common parameters

Match function definitions to declarations

BUG=webm:1444

Change-Id: Ib96d3b735eaf81cece5406c89cc5156bc2cde462

Merge "Add AVX2 support for hbd 4-tap interpolation filter."

Merge "Properly space qp in q mode for multi-layer ARF"

vpx postproc: rewrite in intrinsics

About ~10% faster on 64bit but ~10% slower on 32

Removes the assembly usage of vpx_rv.

Change-Id: I214698fb5677f615dee0a8f5f5bb8f64daf2565e

Properly space qp in q mode for multi-layer ARF

Space the quantization parameter distribution according to the
layer depth for multi-layer ARF coding structure. This allows
lower layers to have relatively smaller quantization parameters
than higher layers. It improves the compression performance
in constant q mode for multi-layer ARF system:

        avg PSNR      overall PSNR      SSIM
lowres  -0.33%         -0.31%          -1.44%
midres  -0.29%         -0.38%          -1.14%
hdres   -0.27%         -0.49%          -1.02%

Change-Id: I9cfe2f27e6c0029c30614970a46de3045840264e

Merge "vp8 bilinear: ensure non-16x16 arrays are aligned"

Add AVX2 support for hbd 4-tap interpolation filter.

Speed gain:

BIT DEPTH | 8TAP FPS | 4TAP FPS | PCT INC |
    10    |   1.69   |   1.85   |  9.46%  |
    12    |   1.64   |   1.78   |  8.54%  |

Speed test is done on jet.y4m on speed 1 profile 2 over 100 frame with
br=500.

Change-Id: I411e122553e2c466be7a26e64b4dd144efb884a9

vp8 bilinear: ensure non-16x16 arrays are aligned

The 16x16 array was changed to aligned. The 8xN and 4x4 functions
use aligned loads/stores on their internal arrays as well.

BUG=webm:1570

Change-Id: I9cfe53d7c8ed76e8854c2688eb9a509b876471d8

Merge "vp8 bilinear: ensure temp array is aligned"

Merge "Enable 10 bit tpl support"

vp8 bilinear: ensure temp array is aligned

Loads and stores to this array require 16 byte alignment.

BUG=webm:1570

Change-Id: I82c7d21c9539a108930fd030d79caaa0bcd1eeb3

Merge "remove "register" keyword"

Merge "Remove unused macros from vp9_firstpass.c"

Enable 10 bit tpl support

         lowres_bd10   midres_bd10
avg_psnr      -0.897        -1.261
ovr_psnr      -0.975        -1.349

Change-Id: Id54f2c419f4edaa91e89ffea52b4038b1d94e563

remove "register" keyword

This has been deprecated for a long time. c++17 is trying to recover the name.

Change-Id: Iade6bebce03a50b76061695f9e634a107cd989cd

Merge "Add Memory to Enable Row Decode"

Remove unused macros from vp9_firstpass.c

Change-Id: If5267a8c71113b171b7bddda5b49f0326c4266b8

vp8 bilinear: rewrite 4x4

~20% faster than the MMX. Removes the last usage of
vp8_bilinear_filters_x86_[48].

Change-Id: Iee976fab9655d0020440f26c4403ce50103af913

Merge "vp8 bilinear: rewrite 16x16"

Merge "Add AVX2 support for 4-tap interpolation filter."

vp8 bilinear: rewrite 16x16

Marginally faster. Most importantly it drops a dependency on an
external symbol (vp8_bilinear_filters_x86_8).

Change-Id: Iff022e718720f1f0eeced6201a1ad69a9c9c4f45

Merge "vp8 bilinear: rewrite in intrinsics"

Add Memory to Enable Row Decode

Row based multi-thread needs extra memory to store the parsed
co-efficients, partitions and eob. This commit adds memory for the same.

Change-Id: I13fa4a6ada2ec3048bc973e465055b832429388f

Merge "Enable tpl model to support multi-layer ARF"

Merge "Reset frame udpate flags after qp estimate in tpl"

Merge "Bypass processing on use existing frame"

Merge "Fix frame offset computation for GOP extension"

Merge "Refactor gop_length use case in tpl model"

vp8 bilinear: rewrite in intrinsics

8x8 is 15% faster than the assembly. 8x4 is 200% faster than MMX.

Remove MMX version.

Change-Id: I55642ebd276db265911f2c79616177a3a9a7e04f

Merge "Clean up vpx_dsp/x86/convolve_sse2.h"

Enable tpl model to support multi-layer ARF

Enable temporal dependency model for the base layer ARF. It
improves the multi-layer ARF compression performance (results
are tested in speed 0 vbr mode):

         avg PSNR    overall PSNR     SSIM
lowres   -0.40%       -0.46%         -0.32%
midres   -0.59%       -0.68%         -0.45%
720p     -0.55%       -0.59%         -1.07%

Change-Id: I7790b89ccfb6e61f9b7965f34d348c7440220dd0

Add AVX2 support for 4-tap interpolation filter.

Performance:
     | 4X4 | 8X8 |16X16|64X64|
2 DIM|1.491|1.902|1.772|1.479|
 HORZ|1.145|1.521|1.757|1.497|
 VERT|1.176|1.614|1.707|1.467|

Each number in the chart above is 8-tap function time / 4-tap function time.

The framerate tested on jets.y4m for 100 frames on speed 1 increased from 3.72
fps to 3.91 fps (about 5% increase).

Change-Id: Ic0ad275cf32fafeefd0a89811badd8adff2134a0

Clean up vpx_dsp/x86/convolve_sse2.h

Removes unnecesssary includes and reword some functions/comments.

Change-Id: Ied557d7faa9d845d38255e6e3e0e3fe1395276e1

Reset frame udpate flags after qp estimate in tpl

After the frame quantizer estimate run in tpl model, reset the
actual value assigned to the current coding frame. This would
avoid certain frame update flags being overwritten by different
frame types' update.

Change-Id: Idde2ba1108f1f68747b14149b211f882965c99f0

Merge "Use 8-tap interp filter in temporal filtering"

Use 8-tap interp filter in temporal filtering

Used 8-tap interp filter in temporal filtering to achieve more accurate
motion search result. Using 8-tap sharp gave slight better result than
using 8-tap regular.

Speed 0 borg test showed that
        avg_psnr:  ovr_psnr:    ssim:
hdres:  -0.160      -0.157     -0.173
midres: -0.083      -0.061     -0.183
lowres: -0.077      -0.099     -0.204

Speed test didn't see noticeable encoder time changes.

Change-Id: I97dc3c4864b5a5675a6c1e3952799b81eedd7d93

Merge "Remove empty else branch in mode_estimation"

Bypass processing on use existing frame

The use of show existing frame requries no further operation on
that coding frame. Bypass the corresponding process.

Change-Id: Ia092027a8a543be0ca54c00b4d51e453039712b8

Fix frame offset computation for GOP extension

Properly compute the extended GOP frames' buffer offsets.

Change-Id: I9aed14f4b8d623f1832e782828dce07aa546507d

Refactor gop_length use case in tpl model

Make it support both single- and multi-layer ARF GOP structure.

Change-Id: I760a95804d1b583b057120f6d6be65195a0e6c19

Remove empty else branch in mode_estimation

Change-Id: Iefa184aae80b920b054e3e922a77244c2b0d4b61