Bug in scale_sse_threshold()

The function scale_sse_threshold() returns a threshold scaled
if necessary for use with 10 and 12 bit from an 8 bit baseline.

SSE error values would be expected to rise for the 10 and 12
bit cases where there are more bits of precision.

Hence the threshold used for the test should also be scaled up.

Change-Id: I4009c98b6eecd1bf64c3c38aaa56598e0136b03d

Additional first pass stats.

Added counts that split the intra coded blocks into low and high variance.

Change-Id: Ic540144b34d5141659081bb22f7ee16fd6861f14

Merge "Aggressive VBR method."

Merge "vp9 fdct higbd neon: connect existing highbd calls"

Merge "Row based multi-threading of encoding stage"

Row based multi-threading of encoding stage

(Yunqing Wang)
This patch implements the row-based multi-threading within tiles in
the encoding pass, and substantially speeds up the multi-threaded
encoder in VP9.

Speed tests at speed 1 on STDHD(using 4 tiles) set show that the
average speedups of the encoding pass(second pass in the 2-pass
encoding) is 7% while using 2 threads, 16% while using 4 threads,
85% while using 8 threads, and 116% while using 16 threads.

Change-Id: I12e41dbc171951958af9e6d098efd6e2c82827de

Merge "Replace 14 with DCT_CONST_BITS in idct NEON functions' shifts"

vp9 fdct higbd neon: connect existing highbd calls

Change-Id: Ia8f822bd6e70b3911bc433a5a750bfb6f9a3a75c

Merge "quantize_fp highbd neon: use tran_low_t for coeff"

Replace 14 with DCT_CONST_BITS in idct NEON functions' shifts

Change-Id: I2a39a3bb87516b04d273bc1c0f4a634e3fb6f0f6

apply clang-format

Change-Id: I75e4a9e0b37bd4586f26c8d6c1fa27f3f6ff1bce

.clang-format: update to 3.9.1

Change-Id: Ia51f2201df897651067d09122075953382b59139

Merge "Replace idct32x32_34_add_ssse3 assembly with intrinsics"

Replace idct32x32_34_add_ssse3 assembly with intrinsics

- No user-level speed performance change.
- Pass unit tests.

Change-Id: Idfc598e00f354265e41f6b3219f4734216c115c6

quantize_fp highbd neon: use tran_low_t for coeff

Change-Id: I90fd815f15884490ad138f35df575a00d31e8c95

vp8 onyx_if: assert divide by zero

Clears up static clang analysis warning regarding divide by zero.

Trying to explain to the compiler how it's impossible to avoid
incrementing num_blocks at least once is difficult.

Change-Id: Ibaae43be572e5cd7a689b440dcd341c17d33443b

Merge "Remove UNINITIALIZED_IS_SAFE"

Merge "Add vpx_highbd_idct16x16_256_add_neon()"

Remove UNINITIALIZED_IS_SAFE

Where clang static analysis or gcc -Wmaybe-uninitialized warns of
uninitialized values, assign 0 to ints, MB_MODE_COUNT to
MB_PREDICTION_MODE, and B_MODE_COUNT to B_PREDICTION_MODE.

Assert that the modes have been changed from the invalid value by
the end of the function.

Change-Id: Ib11e1ffb08f0a6fe4b6c6729dc93b83b1c4b6350

Add vpx_highbd_idct16x16_256_add_neon()

BUG=webm:1301

Change-Id: I6bb755552a39bdd26eef3f449601f6a9766c65ec

Merge "fdct8x8 highbd neon: use tran_low_t for output"

fdct8x8 highbd neon: use tran_low_t for output

Change-Id: I100c4a1955d80bec4d28e82796b3e7f57e84d0ba

The bitstream bit match test in multi-threaded encoder

While the new-mt mode is enabled(namely, allowing to use row-based
multi-threading in encoder), several speed features that adaptively
adjust encoding parameters during encoding would cause mismatch
between single-thread encoded bitstream and multi-thread encoded
bitstream. This patch provides a set_control API to disable these
features, so that the bit match bitstream is obtained in the unit
test.

Change-Id: Ie9868bafdfe196296d1dd29e0dca517f6a9a4d60

Merge "Minor code style refactoring"

Merge "cosmetics,vp9_ratectrl: apply clang-format"

Merge "vpx_usec_timer_elapsed: use 64-bit math"

Minor code style refactoring

Change-Id: I20107693d0a87e08a10520bfb573ff3dcef69fdb

cosmetics,vp9_ratectrl: apply clang-format

broken since:
c3f095c8b Merge "Fix to avoid abrupt relaxation of max qindex in recode path"
5f21aba4b Fix to avoid abrupt relaxation of max qindex in recode path

the original change pre-dated the addition of .clang-format

Change-Id: If5e399d9a805bcad9147360b13b36fbc8c560a7c

Add vpx_highbd_idct{16x16,32x32}_1_add_neon()

and update vpx_highbd_idct8x8_1_add_neon()

BUG=webm:1301

Change-Id: I18d1a0cbe98ba822d5194c1b4e13a4c29c5c75f4

Aggressive VBR method.

VBR method that allows a wider Q range for the first normal frame
in each ARF group and then centers the min - max range for the rest of
the arf group on the chosen Q value for that first frame.

This allows for quite rapid adjustment of the active Q range even if the
initial estimate is poor.

In some cases where the ARF frames themselves are tending to
undershoot but the normal frames are overshooting this can still give
net undershoot. This can be corrected by allowing a larger Q delta for
arf frames but is usually is a sign that the allocation to the arfs was to
high.

Change-Id: Icec87758925d8f7aeb2dca29aac0ff9496237469

Merge "Add vpx_idct16x16_38_add_neon()"

vp9: Non-rd mode: use simple block_yrd for 8 bit high bitdepth builds

Temporary fix until optimization work for block_yrd is completed.
This essentially reverts back to the state before the change:
https://chromium-review.googlesource.com/c/433821/

Compression loss is about ~5-6% on RTC set.
Speed-up (from using this simple/model-based block_yrd) over the low
bitdepth builds (which uses more complex block_yrd) is ~5% on 720p.

Change-Id: Ie0af9eb0d111e5595f587870c44f08317403b8d8

vpx_usec_timer_elapsed: use 64-bit math

this prevents a rollover when tv_sec is a long:
signed integer overflow: 2776 * 1000000 cannot be represented in type
'long'

Change-Id: I03dc4476ee122b02e2856dad28358a20cf16a9f8

Merge "Fix to avoid abrupt relaxation of max qindex in recode path"

Merge "Fix for max qindex calculation of a gf interval"

Add vpx_idct16x16_38_add_neon()

The RunQuantCheck() test on it exposes 16-bit overflow in stage 7 of
pass 2. Change to use saturating add/sub for both
vpx_idct16x16_38_add_neon() and vpx_idct16x16_256_add_neon() for high
bitdepth.

Change-Id: Ibf4c107a887553a52852cc582e28d38a5a5a2712

Replace idct8x8_12_add_ssse3 assembly code with intrinsics

- Performance achieves the same as assembly.
- Unit tests pass.

Change-Id: I6eacfbbd826b3946c724d78fbef7948af6406ccd

Merge "Add vpx_idct16x16_38_add_c()"

Merge "block_error_fp highbd sse2: use tran_low_t for coeff"

Merge "vp9: Denoiser speed-up: increase partition and ac skip thresholds."

Merge "Row based multi-threading of ARNR filtering stage"

Merge "vp9: Adjust rate_err threshold for setting active_worst factor."

vp9: Denoiser speed-up: increase partition and ac skip thresholds.

Add factor to increase varianace partition and ac skip thresholds,
under certain conditions (noise level and sum_diff), to increase
denoiser speed.

Change-Id: I7671140ef3598bf5f114a72623d68792bcd7b77b

Add vpx_idct16x16_38_add_c()

When eob is less than or equal to 38 for 16x16 idct, call this function.

Change-Id: Ief6f3fb16a49ace3c92cebf4e220bf5bf52a6087

vp9: Adjust rate_err threshold for setting active_worst factor.

Only affects 1 pass vbr.
Small improvement on ytlive set.

Change-Id: I09a7456fe658fbea82ece1035cf683bd8bd8bd14

Merge "Update 16x16 8-bit idct NEON intrinsics"

block_error_fp highbd sse2: use tran_low_t for coeff

BUG=webm:1365

Change-Id: Id2ed3ebaaaa6a4b68628c23e08b64ea5f1341761

Row based multi-threading of ARNR filtering stage

Change-Id: Ic238d32c7e10b730342224ab56712a89a6026a8f

Merge "highbd x86: consolidate tran_low_t conversions"

vp9: speed 8: Tune threshold of ac skip and partitioning.

Threshold for partitioning only affects VGA and lower res.
0.07% quality regression is observed in borg tests on rtc_derf
and 0.2% regression on rtc.
5.6% speed up for low res and 6.8% for VGA on Nexus 6.

Change-Id: If85a2919b48c991de66059c90f32ed06980452be

highbd x86: consolidate tran_low_t conversions

Create new helper files specifically for converting tran_low_t types.

Change-Id: I7c4c458ef910f3b3d10a3cfbf9df4de7682fd905

Merge "Changes to facilitate multi-threading of encoding stage"

Fix visual studio build failure

Fixed the following issue.
..\test\vp9_ethread_test.cc(69): warning C4805: '|=' : unsafe mix of type 'bool' and type 'int' in operation [C:\src\buildbot\test-libvpx\tests\dveCPjwhBE\.build-x86_64-win64-vs10\test_libvpx.vcxproj]
..\test\vp9_ethread_test.cc(69): warning C4800: 'int' : forcing value to bool 'true' or 'false' (performance warning) [C:\src\buildbot\test-libvpx\tests\dveCPjwhBE\.build-x86_64-win64-vs10\test_libvpx.vcxproj]

Change-Id: I37f897cf12a0b7500d2fcbac9e4615f08a83fdb4

Merge "Add unit tests for vp9_block_error_fp."

Merge "Add SSSE3 intrinsic 8x8 inverse 2D-DCT"

Add unit tests for vp9_block_error_fp.

BUG=webm:1365

Change-Id: I004e5cd7ca331d14b31b7fc3edeee45fce064026

Merge "Update third_party/googletest to 1.8.0"

Update third_party/googletest to 1.8.0

Change-Id: If61137e28291f2a0911e9260eb58f234e0d8594c

Changes to facilitate multi-threading of encoding stage

Modified the encoding stage to have row level entry points with relevant
initializations and to access the token information at row level

Change-Id: Ife10e55a7c1a420ee906d711caf75002688d9e39

Merge "Add mips msa sum_squares_2d_i16 function"

Merge "Remove neon assembly for idct 16x16 and 8x8"

Merge changes I43521ad3,I013659f6

* changes:
  satd highbd neon: use tran_low_t for coeff
  satd highbd sse2: use tran_low_t for coeff

Update 16x16 8-bit idct NEON intrinsics

Remove redundant memory accesses.

Change-Id: I8049074bdba5f49eab7e735b2b377423a69cd4c8

Add SSSE3 intrinsic 8x8 inverse 2D-DCT

The intrinsic version reduces the average cycles from 183 to 175.

Change-Id: I7c1bcdb0a830266e93d8347aed38120fb3be0e03

Merge "Changes to facilitate row based multi-threading of ARNR filtering"

Merge changes I374dfc08,I7e15192e,Ica414007

* changes:
  hadamard highbd ssse3: use tran_low_t for coeff
  hadamard highbd neon: use tran_low_t for coeff
  hadamard highbd sse2: use tran_low_t for coeff

Changes to facilitate row based multi-threading of ARNR filtering

Change-Id: I2fd72af00afbbeb903e4fe364611abcc148f2fbb

Merge "vp9_rdopt: declare 'c' closer to use"

vp9_rdopt: declare 'c' closer to use

Clears up static clang analysis warning regarding a dead store. Only
declare 'c' when it will be used.

Change-Id: I1ac0fc7f94bc44da63938c63cd1efcd6b95e0eb3

Merge "deblock: annotate postproc parameters"

satd highbd neon: use tran_low_t for coeff

BUG=webm:1365

Change-Id: I43521ad32b6c96737a8ef2b8c327f901fd7eaf84

satd highbd sse2: use tran_low_t for coeff

BUG=webm:1365

Change-Id: I013659f6b9fbf9cc52ab840eae520fe0b5f883fb

hadamard highbd ssse3: use tran_low_t for coeff

BUG=webm:1365

Change-Id: I374dfc08732932382043905f128e928b08cb4f57

hadamard highbd neon: use tran_low_t for coeff

BUG=webm:1365

Change-Id: I7e15192ead3a3631755b386f102c979f06e26279

hadamard highbd sse2: use tran_low_t for coeff

BUG=webm:1365

Change-Id: Ica414007d8412ceebfffa9e58e8416226a3fe934

Merge "quantize ssse3: remove unused pxor"

Make satd unit test support all bit-depth settings

Turn on satd unit test for c function in both regular and high
bit-depth settings.

Change-Id: I4b0c56addfb84964ede0da3ab760fe0ee640cfd0

Unify the hadamard transform unit test for bit-depth settings

Unify the 8x8 and 16x16 Hadamard unit test system for both 8-bit
and high bit-depth settings.

Change-Id: I53373c1d43f3ced514ad1e53e03f0fb9b25d9ead

Fix real-time compression regression in hbd mode

This commit resolves the compression performance regression in
real-time encoding setting when high bit-depth mode is enabled.

The current solution temporarily disables the SIMD implementations
of vpx_satd, hadamard8x8, and hadamard16x16 in high bit-depth mode.

The commit makes the coding results bit-wise identical between
regular coding pipeline and high bit-depth at profile 0.

BUG=webm:1365

Change-Id: Icfb900821733749685370460a1a5a7e07f76f4bf

deblock: annotate postproc parameters

Clears a clang static analyzer warning where 'cols' is assumed to be
less than 0, preventing the for loop from executing.

The assembly already requires that the size be 8 or 16 (U/V or Y plane)
and cols is a multiple of 8.

Change-Id: Ica4612690ead1638c94cfe56b306e87f8ce644f9

Merge "Use Buffer class for post proc tests"

Add mips msa sum_squares_2d_i16 function

average improvement ~4x-5x

Change-Id: I8d91b71d0677009be52b412e4f52b40b98573a53

Add mips msa vpx_minmax_8x8 function

average improvement ~4x-5x

Change-Id: I83aee9977534fddb8a9b80d31af646c0b6b1a8c3

Merge "Add mips msa vpx_vector_var function"

quantize ssse3: remove unused pxor

Change-Id: Ifa22d77fd530827de0b32ae71810dc2213ab2937

vp9: Modify bsize condition for using model_rd_large for speed 7.

In non-rd pickmode: Allow speed 7 to also use larger block size in
model_rd. Small change in behavior for speed 7.

Change-Id: I8c5523e424308e8f0bc71b3f6324dec42a464cc8

Merge "Disable multi-threading in first pass for SVC encoding"

Add mips msa vpx_vector_var function

average improvement ~4x-5x

Change-Id: I2f63ef83d816052ca8dc42421e7e9d42f7a7af6b

Merge "vp9: Fix to pick_filter_level for highbitdepth build."

Merge "Add macOS Sierra support in configure"

vp9: Fix to pick_filter_level for highbitdepth build.

Change-Id: I53b3fa8bfc0a0717eb1b730c29f2b70060b1b1b7

Add macOS Sierra support in configure

BUG=webm:1367

Change-Id: I3000b6d9f93ec49ca86d08151348d33d86bf0034

Disable multi-threading in first pass for SVC encoding

BUG=webm:1366

Change-Id: I204ef8496884ba7c4debe64f23f50d298b4090c3

Merge "vp9: Modify bsize condition for using model_rd_large."

Merge "vp9: Fixes for usage of skin_map for high bit depth."

vp9: Modify bsize condition for using model_rd_large.

In non-rd pickmode: small change in behavior for speed 6 and 7.
Remove condition on HIGHBITDEPTH flag.

Change-Id: I360a13fcc313d72612fe9b918162ef4bb278cdea

Add mips msa vpx Integer projection row/col functions

average improvement ~4x-5x

Change-Id: I17c41383250282b39f5ecae0197ef1df7de20801

Merge "Add mips msa vpx satd function"

vp9: Fixes for usage of skin_map for high bit depth.

Also avoid noise_estimation and source_sad if use_highbitdepth is set.

Change-Id: I5fea396b8f8380ea377045d99ba22a52b92daa46

Use Buffer class for post proc tests

Add Buffer features for:
Setting the buffer to the output of an ACMRandom function.
Copying a buffer.
Comparing two buffers.
Printing two buffers.

Change-Id: Ib53fb602451a3abdcee279ea2b65b51fbc02d3df