vp9,realtime: Enable row multithreading for non-rd

Enable row level multithreading for realtime encodes where non-rd
path is used (speed >= 5).

Change-Id: I5439cb49a02171166d8e1de06c7d5e6f8e819a41

Improve idct32x32_34_add SSSE3 intrinsics performance

- Split the transform into first half and second half.
- Reschedule the instructions to avoid stack spillover.
- Function level speed improves ~16%.

Change-Id: I166889840d23aa8a273eca00f6fbdae8b4566f35

Merge "VPX_CODEC_CAP_HIGHBITDEPTH for decoder interface"

VPX_CODEC_CAP_HIGHBITDEPTH for decoder interface

Moves the def from vpx_encoder.h -> vpx_codec.h. The defined value
is changed as part of this move.

Adds the value to decoder capabilities when CONFIG_VP9_HIGHBITDEPTH.

Change-Id: I7d61fc821cda29f1e32bb9b2b9ffd3d83966e419

Revert "Fix for max qindex calculation of a gf interval"

This reverts commit d3db846cc50b1b0a9f6efcbe2b36c9c1943bc528.

This change causes a large drop in psnr (4-5db) on low framerate
difficult content (tested at 360/480p)

BUG=b/35804225

Change-Id: I8e90012d3b9c8a0cddb062ba93b01b36c0e0c0a0

vp9_ethread_test,cosmetics: s/new-mt/row-mt/

Change-Id: I8c145337adf49d30b88a17ff31501b8751ed1fa0

stress.sh: add vp9_stress_test_row_mt

vp9_stress_test now forces --row-mt=0 to cover both versions

Change-Id: I8d134879435bf1d8e76ab3fd89e698efba0e86b2

stress.sh: parameterize thread count

Change-Id: Iae45266cea86585f0935af4012335198cf93719f

stress.sh: add one pass encodes

Change-Id: I38e6c988f17c56fbfacd95378b27ef8d77c75f90

Add a comment in encoder thread test

Added a comment.

Change-Id: I82f71c72598ad6f1eaa0b57b0b8ec56ab9658e81

Set row_mt to 0 by default

Set row_mt to 0 for now.

Change-Id: I922536a6d71a765e435daeaf4d932ef14363d19a

vp9: Fix an issue with setting variance thresholds.

From commit:
https://chromium-review.googlesource.com/c/441393/

On non-segment the set_vbp_thresholds() should be called
again to adjust thresholds based on content_state of superblock.
This was the intended behavior from 441393.

Small change in RTC metrics and speed.

Change-Id: I45e5fbdc4af74db76b3cb4f13074fcae0eb2219e

vp9_ethread_test: Rename new_mt to row_mt

Rename left over occurences of new_mt.

Change-Id: Ib884e84c801fcd366ca4b57ec912ac5972023375

vp9: Rename new_mt to row_mt

new_mt is a very generic name that will get obsolete soon enough.
Since this is exposed as a codec control, renaming it to row_mt to
signify row level paralellism. Also renaming the ETHREAD_BIT_MATCH
codec control to ROW_MT_BIT_EXACT.

Change-Id: Ic7872d78bb3b12fb4cf92ba028ec8e08eb3a9558

Remove an old leftover comment

Removed an old comment that wasn't true anymore.

Change-Id: I286ad8d7cb2843070a55e45a599d26bc226d6bd7

get_prob(): rationalize int types

promote the unsigned int calculation to uint64_t rather than int64_t for
type consistency

Change-Id: Ic34dee1dc707d9faf6a3ae250bfe39b60bef3438

Merge "Improve VP9 encoder threading test for better coverage"

Improve VP9 encoder threading test for better coverage

Re-organized the encoder threading tests and grouped tests into
4 parts. Added PSNR checking test to make sure the PSNR variation
is within a small range.

BUG=webm:1376

Change-Id: I09edb990236a87a4d2b2b0e1ceaf6c6435a35eff

Merge "Make vp9_scale_and_extend_frame_ssse3 work for hbd when bitdepth = 8."

consolidate block_error functions

vp9_highbd_block_error_8bit_c was a very simple wrapper around
vp9_block_error_c. The SSE2 implemention was practically identical to
the non-HBD one. It was missing some minor improvements which only
went into the original version.

In quick speed tests, the AVX implementation showed minimal
improvement over SSE2 when it does not detect overflow. However, when
overflow is detected the function is run a second time. The
OperationCheck test seems to trigger this case and reverses any
speed benefits by running ~60% slower. AVX2 on the other hand is
always 30-40% faster.

Change-Id: I9fcb9afbcb560f234c7ae1b13ddb69eca3988ba1

Merge "block error sse2: use tran_low_t"

Make vp9_scale_and_extend_frame_ssse3 work for hbd when bitdepth = 8.

Only works for bitdepth = 8 when compiled with high bitdepth flag.
4x speed ups for handling 1:2 down/upsampling.

Validated manually for:
1) Dynamic resize for a single layer encoding
2) SVC encoding with 3 spatial layers
Results are bitexact with the patch and the speed gain (~4x) in the
scaling was verified.

BUG=webm:1371

Change-Id: I1bdb5f4d4bd0df67763fc271b6aa355e60f34712

block error sse2: use tran_low_t

Change-Id: Ib04990e4a7bda9fbf501f294da2057a2b2595deb

Merge "vp8_fdct4x4 test: fix segfault again"

Merge "vp9: 1pass CBR: modify condition for reducing loop filter."

Merge "vp9: Non-rd pickmode: use simple block_yrd under some conditons."

vp9: 1pass CBR: modify condition for reducing loop filter.

The reduction showed improvement on RTC when aq-mode=3 is on.
Add that (cyclic refresh enabled) to the condition.

Only affects 1 pass CBR.

Change-Id: I5d0843002d8e31d7c165098a62e7a71146b08664

vp9: Non-rd pickmode: use simple block_yrd under some conditons.

For speed 8 only.
3% speed up for QVGA and 6.3% for VGA on Nexus 6.
~3% avgPSNR decrease on rtc_derf and 2.9% on rtc.

Disabled for now.

Change-Id: I70133f1f6c804d663d594df437bfe7fdb0030d6a

Merge "vp9: aq-mode=3: On key frame reset cr->reduce_refresh to 0."

vp9: aq-mode=3: On key frame reset cr->reduce_refresh to 0.

This prevent possible reduction of cyclic refresh after key frame.

Change-Id: Idd4e49b69cd95476e7eccfa31b2bd8669569e9e8

vp8_fdct4x4 test: fix segfault again

The output needs to be aligned. Input is read with 'movq' not 'movqda'
so it is not expected to be aligned.

Change-Id: Ibd48a84c1785917a6a97c3689a05322abba486b4

vp9: Only compute y_sad for golden in variance partition for speed < 8.

Only affects speed 8. No obvious quality regression. Systematic speed
ups by ~1% on Nexus 6.

Change-Id: Ia904ca28ea041c3281c532911ec38fb7d7f46a17

Merge "Refactored the row based multi-threading code"

Merge "Fix segmentation fault caused by denoiser working with spatial SVC."

vp9: Incorporate source sum_diff into non-rd partition thresholds.

Increase the variance partition thresholds for superblocks that
have low sum-diff (from source analysis prior to encoding frame).
Use it for now only for speed >= 7 or for denoising on.

Small change on metrics for rtc set: less than ~0.1 avgPNSR decrease
on RTC set, for both speed 7 and 8.

Change-Id: I38325046ebd5f371f51d6e91233d68ff73561af1

Following SSSE3 intrinsics functions also work for HBD

- vpx_idct8x8_12_add_ssse3
  vpx_idct8x8_64_add_ssse3
  vpx_idct32x32_34_add_ssse3
  vpx_idct32x32_135_add_ssse3
  vpx_idct32x32_1024_add_ssse3
- turn on unit tests.

Change-Id: I788b2b3b2074a6f3ab6a0e6f469c1327a123eff7

Merge "Drop zbin_ptr and quant_shift_ptr"

Fix segmentation fault caused by denoiser working with spatial SVC.

Re-enable the affected test.
BUG=webm:1374

Change-Id: I98cd49403927123546d1d0056660b98c9cb8babb

Merge "Fix idct8x8 SSSE3 SingleExtremeCoeff unit tests"

Merge "Change to prediction decay calculation."

Merge "vp9: Fix for non-rd pickmode for high-bitdepth build."

vp9: Fix for non-rd pickmode for high-bitdepth build.

Use the simple block_yrd under certain conditions.
The optimization code is completed but the speed is still slower
(~6% on 720p) than the low-bitdepth build.

For now, use the more complex block_yrd under certain conditions
(always use it for speed <= 5, otherwise use it on key frames and for
bsize >= 32x32).

This gives about ~2-3% gain in quality for speed 7 on RTC set
(over high bitdepth build), with about the same encoder fps as the
low bitdepth build.

Change-Id: Ibe92a1945d0bd635f880befb4c815727df62d754

Refactored the row based multi-threading code

Modified the code to facilitate bit-match tests in first pass
Added unit-tests to test the row based multi-threading behavior for bit-exactness

Change-Id: Ieaf6a8f935bb1075597e0a3b52d9989c8546d7df

vp8_fdct4x4_test: align input and output buffers

fixes segfault in 32-bit builds

Change-Id: I5b3cc5a335cb236a6ec4cb11fa8feb54ae0182c7

datarate_test: disable OnePassCbrSvc2SpatialLayersDenoiserOn

segfaults

BUG=webm:1374

Change-Id: I3790c6cb8a539d13dee6a8225ef09b1575dea26c

Merge "vp8_short_fdct4x4: verify optimized functions"

Fix idct8x8 SSSE3 SingleExtremeCoeff unit tests

- In SSSE3 optimization, 16-bit addition and subtraction would
  overflow when input coefficient is 16-bit signed extreme values.
- Function-level speed becomes slower (unit ms):
  idct8x8_64: 284 -> 294
  idct8x8_12: 145 -> 158.

BUG=webm:1332

Change-Id: I1e4bf9d30a6d4112b8cac5823729565bf145e40b

Merge "Add vpx_highbd_idct16x16_10_add_neon()"

Change to prediction decay calculation.

This change subtracts out low complexity intra regions that are also low
error in the inter domain, in the calculation of the frame prediction decay.
The rationale here his that low complexity regions (such as sky) do not imply
high prediction decay in the same way as high error intra or neutral blocks.

The effect of this is small in most clips but in a few clips it can be > 10%.
(E.g. In to tree)

Change-Id: If67ac23d17fca14285cad2defa464c61c9ea861c

vp8_short_fdct4x4: verify optimized functions

Change-Id: I7c7f5dfabde65c09f111fb0ced0e3ad231ee716e

tiny_ssim: clean up on failure

Clears up clang static analysis warnings about memory leaks.

Change-Id: I60d4d0f3794735a8b81d9da4a30d19e7a9cba9cf

Replace idct32x32_1024_add_ssse3 assembly with intrinsics

- Encoding/decoding test, BQTerrace_1920x1080_60.y4m, on
  i7-6700, no obvious user-level speed performance downgrade.
- Passed unit tests.

Change-Id: I20688e0dd3731021ec8fb4404734336f1a426bfc

Merge "cosmetics: Fix spelling mistake in compile flag name."

Merge "block error avx2: use tran_low_t"

Add vpx_highbd_idct16x16_10_add_neon()

BUG=webm:1301

Change-Id: If686c8144764c4162458f0bc4bb1bbf6555c48ab

Merge "Fix mips vpx_post_proc_down_and_across_mb_row_msa function"

Merge "disable VP9MultiThreadedFrameParallel tests"

cosmetics: Fix spelling mistake in compile flag name.

agressive -> aggressive

after:
ce7b38459 Aggressive VBR method.

Change-Id: Ie0f30b1bbc77ed9f32bec047b4a9b3d0cf4853f5

Merge "correct bitdepth_conversion_sse2.h header guard"

Drop zbin_ptr and quant_shift_ptr

vp9[_highbd]_quantize]_fp[_32x32] and vp9_fdct8x8_quant do not make use
of these parameters.

scan is used for C code and iscan is used for SIMD implementations.

Change-Id: I908a0ff7d3febac33da97e0596e040ec7bc18ca5

disable VP9MultiThreadedFrameParallel tests

these are flaky and cause TSan warnings with clang-3.9.1

BUG=webm:1372

Change-Id: I8a7047552ba2ccd2d8c45f8795818c74562e5990

correct bitdepth_conversion_sse2.h header guard

Change-Id: Ic4ffd861608e67fe59bcb3a86010ce3ef11a5519

Merge "Add idct32x32_135_add SSSE3 intrinsics"

block error avx2: use tran_low_t

Change-Id: Ic5f3a1f569d6f82afeaf4fcd7235374bb460db3c

Merge changes I267050a5,Iebade0ef,Id96a8df3

* changes:
  quantize_fp_32x32 highbd ssse3: enable existing function
  quantize_fp highbd ssse3: use tran_low_t for coeff
  quantize_fp highbd sse2: use tran_low_t for coeff

Add idct32x32_135_add SSSE3 intrinsics

- Replace the corresponding assembly code.
- No user level speed performance degrade.
- Unit tests passed.

Change-Id: Idd0c5a4bad4976f1617c34100cb46e75e3b961e5

Merge "Structured the mode ordering code to avoid redundant memcpy"

quantize_fp_32x32 highbd ssse3: enable existing function

This was created as part of the quantize_fp_ssse3 change. Both
functions use the same source file with different macro parameters.

Change-Id: I267050a559426a85955d215aa0aaca270439c5ab

quantize_fp highbd ssse3: use tran_low_t for coeff

Change-Id: Iebade0efc0efbb0a80a0f3adbef4962e3a2f25e8

quantize_fp highbd sse2: use tran_low_t for coeff

Change-Id: Id96a8df33354a7987ce890a3d6798c7375ffa4aa

bitdepth conversion: really use num elements

The previous implementation confused bit/bytes/elements. It was using
'32' as the multiplier but that was mistakenly adopted because a 32x32
transform embedded the stride.

Change-Id: Ieeb867a332416b9a40580b5e7c9b20088e9e691a

Structured the mode ordering code to avoid redundant memcpy

Change-Id: I4f5d6b54018bd1928cd9e5e42619e6f55b334803

Merge "Disconnect ARF breakout from frame boost."

Merge "Remove unnecessary factor."

Merge "Bug in scale_sse_threshold()"

Merge "Additional first pass stats."

Fix mips vpx_post_proc_down_and_across_mb_row_msa function

Added fix to handle non-multiple of 16 cols case for size 16

Change-Id: If3a6d772d112077c5e0a9be9e612e1148f04338c

Merge "Use 'packssdw' for loading tran_low_t values"

Merge "vp8_dx_iface: remove unused 'else' condition"

Merge "vpx_temporal_svc_encoder.sh: remove FUNCNAME bashism"

Merge "vp9: Some code cleanup for aq-mode = 3."

vp9: Some code cleanup for aq-mode = 3.

The weight segment needs to only be computed once per frame,
so remove it from the funciton vp9_cyclic_refresh_rc_bits_per_mb(),
which is called within a loop inside vp9_rc_regulate_q.

Change-Id: Ia0e18b89abb97e42c466d4dbc47700d7f76555db

vpx_temporal_svc_encoder: Expose error resilient control to cmd line.

Change-Id: Ic74a8690b136ffbc370080f70b2d5a6b1572bf63

Merge "cosmetics,dsp/inv_txfm.c: reorder functions"

Merge "vp9. Use same source_sad threshold for all speeds."

cosmetics,dsp/inv_txfm.c: reorder functions

Change-Id: Ie0f7689ebe230c68eadb22a32b14838c1a7543a6

Merge "Add vpx_highbd_idct16x16_38_add_neon()"

vp9. Use same source_sad threshold for all speeds.

Only affects real-time mode.

Change-Id: Iba836f110c4da936f5173cc0f54424d5b6121bff

Vp9: Speed 8 aq-mode=3: Reduce computation in estimating bits per mb.

vp9_compute_qdelta_by_rate has almost 2% overhead in profiling on Nexus 6.
Reduce the calling of that function in speed 8 by estimating the delta-q.
Both rtc and rtc_derf show little/no change in avg psnr/ssim.
Encoding speed is 2~3% faster on Nexus 6.

Change-Id: If25933715783f31104a18a5092ea347b1221b5f5

Add vpx_highbd_idct16x16_38_add_neon()

BUG=webm:1301

Change-Id: Ic6cd8c1e63e1b7a997cbed221e20fff4c599e0fe

Merge "Add vpx_highbd_idct16x16_38_add_c()"

Disconnect ARF breakout from frame boost.

This small change replaces the frame boost check in the arf group
length break out clause with a test against a prediction decay value.

The boost value is in fact partly dependent on the decay value but
this change means that the per frame boost calculation can be adjusted
without influencing the group length calculation.

The value chosen gives a close match on all the test sets with the previous
code (on average) but it was noted that a lower threshold was slightly better
for 1080P and up and a slightly higher value for small image sizes.

Change-Id: I4d5b9f67d5b17b0d99ea3f796d3d6202fd61ee0c

Remove unnecessary factor.

Removed unnecessary scaling factor to simplify.

Change-Id: I3fc9c5975a2597e72f1324e09dd586dea1facfa7

Bug in scale_sse_threshold()

The function scale_sse_threshold() returns a threshold scaled
if necessary for use with 10 and 12 bit from an 8 bit baseline.

SSE error values would be expected to rise for the 10 and 12
bit cases where there are more bits of precision.

Hence the threshold used for the test should also be scaled up.

Change-Id: I4009c98b6eecd1bf64c3c38aaa56598e0136b03d

Additional first pass stats.

Added counts that split the intra coded blocks into low and high variance.

Change-Id: Ic540144b34d5141659081bb22f7ee16fd6861f14

Merge "Aggressive VBR method."

vpx_temporal_svc_encoder.sh: remove FUNCNAME bashism

replace with an explicit output file prefix that matches the function
name

Change-Id: I7f6a4105adb34327b1099a5fbf132aa8d1ad5b90

Merge "vp9 fdct higbd neon: connect existing highbd calls"

Add vpx_highbd_idct16x16_38_add_c()

When eob is less than or equal to 38 for high-bitdepth 16x16 idct,
call this function.

BUG=webm:1301

Change-Id: I09167f89d29c401f9c36710b0fd2d02644052060

Merge "Row based multi-threading of encoding stage"