Merge branch 'master' into nextgenv2

Manually resovled the following conflicts:
vp10/common/blockd.h
vp10/common/entropy.h
vp10/common/entropymode.c
vp10/common/entropymode.h
vp10/common/enums.h
vp10/common/thread_common.c
vp10/decoder/decodeframe.c
vp10/decoder/decodemv.c
vp10/encoder/bitstream.c
vp10/encoder/encodeframe.c
vp10/encoder/rd.c
vp10/encoder/rdopt.c

Change-Id: I15d20ce5292b70f0c2b4ba55c1f1318181481596

Remove experimental flag for ext_tx

Also includes a bug fix.

Change-Id: Ia49ed00f8ffd1531c10bcf89b1f497310ee7cb82

Merge "Modifies inter/intra coding to allow all tx types"

Modifies inter/intra coding to allow all tx types

The nominal tx_type for a given mode is used as a context
to encode the actual tx_type for intra.

Results:
derflr: -0.241% BDRATE
hevcmr: -0.366% BDRATE

Change-Id: Icfe7b0a58d79bc6497a06e3441779afec6e01e21

Enable context analyzer for inter mode entropy coding

It allows the codec to account for certain corner cases when
processing inter prediction mode entropy coding.

Change-Id: Ied451f4fff26ba579f6556554b8381ff2ccd0003

Merge branch 'master' into nextgenv2

Merge "Update IMAGE_ABI_VERSION which wasn't updated after color_range enum was introduced."

Merge "Enable encoder to avoid 8x4 or 4x8 partitions"

Merge "Fix a typo"

Fix 2 bugs when using both SUPERTX and EXT_TX

Change-Id: Ibcbe470a97880c294600345337054ed9af84de2b

Enable encoder to avoid 8x4 or 4x8 partitions

This commit enables encoder to avoid 8x4 and 4x8 partitions for
scaled reference frames when libvpx is configured and built with
--enable-better-hw-compatibility

Change-Id: I02ad65c386f5855f4325d72570c49164ed52f413

Fix a typo

Change-Id: I12de2dd5e5f375551804166188d76a9ad8067b41

Merge branch 'master' into nextgenv2

Merge "Change to rd costing for CONFIG_VAR_TX" into nextgenv2

vp9-svc: Fix to avoid msan unitialized value.

Move the logic for forcing zero_mode after the
(ref_frame & flag_list) check.
This was causing an memory leak under msan:
https://bugs.chromium.org/p/webrtc/issues/detail?id=5402

Change-Id: Ie9d243369f8ed7c332f46178275945331da4fd85

Merge branch 'master' into nextgenv2

Conflicts:
vp10/decoder/decodeframe.c
vp10/encoder/bitstream.c

Change-Id: I743449f49b723d2ce357832619a28b53369d0547

Assert no mv clamping for scaled references

Under --enable-better-hw-compabibility, this commit adds the asserts
that no mv clamping is applied for scaled references, so when built
with this configure option, decoder will assert if an input bitstream
triggger mv clamping for scaled reference frames.

Change-Id: I786e86a2bbbfb5bc2d2b706a31b0ffa8fe2eb0cb

Merge "Assert no 8x4/4x8 partition for scaled references"

Merge "vp9-skin detection: Refactoring."

Change to rd costing for CONFIG_VAR_TX

In select_tx_block I believe the rd cost was ignoring the bits
needed to encode the split bit.

Change-Id: Iacbf705b880db9a68967a994406ba90ecf693ab8

Super transform - ported from nextgen branch

Various additional changes were made to make the experiment
compatible with misc_fixes.

derflr: +0.979%
hevcmr: +0.865%

Speed-wise with --enable-supertx the encoder is only about 10%
slower than without. Decoding impact is about 30% slowdown.

Note this does not work with ext-tx or var-tx yet. That is
a TODO.

Change-Id: If25af4241a7a9efbd28f58eda3c4f044c7a7ef4b

Assert no 8x4/4x8 partition for scaled references

This commit adds a new configure option:

--enable-better-hw-compatibility

The purpose of the configure option is to provide information on known
hardware decoder implementation bugs, so encoder implementers may
choose to implement their encoders in a way to avoid triggering these
decoder bugs.

The WebM team were made aware of that a number of hardware decoders
have trouble in handling the combination of scaled frame reference
frame and 8x4 or 4x8 partitions. This commit added asserts to vp9
decoder, so when built with above configure option, the decoder can
assert if an input bitstream triggers such decoder bug.

Change-Id: I386204cfa80ed16b50ebde57f886121ed76200bf

Merge "vp10: only assume ONLY_4X4 if segmentation is disabled."

Merge "vp10: skip coding of txsz for lossless-segment blocks."

vp9-skin detection: Refactoring.

Add function to compute skin map for a given block, as its
used in several places (cyclic refresh, noise estimation, and denoising).

Change-Id: Ied622908df43b6927f7fafc6c019d1867f2a24eb

vp9-svc: Set initial values for ext_buffer/flag indices.

Set initial values for these parameters in the vp9_init_layer_context().

This also fixes an issue in the svc-bypass mode when frame flags are
passed via the vpx_codec_encode().

Change-Id: I0968f04672f8d3d2fe2cea6b8a23f79f80d7a8b1

vp10: only assume ONLY_4X4 if segmentation is disabled.

Otherwise, per-segment lossless might mean that some segments are not
lossless and they could still want to use another mode. The per-block
tx points remain uncoded on blocks where (per the segment id) the Q
value implies lossless.

Change-Id: If210206ab1fe3dd11976797370c77f961f13dfa0

vp10: skip coding of txsz for lossless-segment blocks.

Change-Id: Ic23c10b6d2a9fed3abe69c6bf10e910832444f2c

Update IMAGE_ABI_VERSION which wasn't updated after color_range enum was introduced.

Change-Id: I83703851f65f93573ebf7d2c0d0f056ba879c07a

Merge "Use precise rate cost for intra modes in inter frames" into nextgenv2

Use precise rate cost for intra modes in inter frames

derflr +0.021%
hevclr +0.207%
hevcmr +0.035%
stdhd  +0.042%

Change-Id: Ic750df93bcc0a261a66a9b19d939a5cd61a6b516

Replaced a hard-coded value with the macro

Change-Id: I2aec63d8a600e319d037b764b0609092bce1e483

Merge branch 'master' into nextgenv2

ext-intra experiment: exploit left-bottom bundary

ext-intra vs nextgenv2 baseline:
derflr +1.12% (was +1.06%)
hevcmr +2.26% (was +2.15%)

Change-Id: I6cc7612d0d7e81e200aa962988db1ea7680626d7

Merge "Code clean of highbd_tm_predictor_32x32"

Merge changes I0139f8e9,I7d2545fc

* changes:
  Code clean of highbd_tm_predictor_16x16
  Code clean of highbd_dc_predictor_32x32

Merge branch 'master' into nextgenv2

Merge "Fix sub8x8 motion search on scaled reference frame"

Code clean of highbd_tm_predictor_32x32

Remove the ARCH_X86_64 constraint. No performance hit on both
big core and small core.

Change-Id: I39860b62b7a0ae4acaafdca7d68f3e5820133a81

Code clean of highbd_tm_predictor_16x16

Remove the ARCH_X86_64 constraint.

Change-Id: I0139f8e998cc5525df55161c2054008d21ac24d4

Code clean of highbd_dc_predictor_32x32

Remove the ARCH_X86_64 constraint.

Change-Id: I7d2545fc4f24eb352cf3e03082fc4d48d46fbb09

Merge "aq-mode=3: Don't reset segment if block is determined to be skin."

aq-mode=3: Don't reset segment if block is determined to be skin.

For coding block sizes <=16X16, if the block is determined to be skin,
then always allow for that block to be candidate for refresh. So if that
block happens to be on the boost segment(s), segment won't get reset to 0
and delta-q will be applied.

PSNR/SSIM metrics neutral (little/no change) on RTC clips.
Speed increase small/negligible (< 1%).
Some visual improvement on faces in a few RTC clips.

Change-Id: I6bf0fce6f39d820b491ce05d7c017ad168fce7d6

Merge "Code clean of highbd_tm_predictor_4x4"

Merge "Code clean of highbd_dc_predictor_4x4"

Merge branch 'master' into nextgenv2

Merge "Cleared the EXT_REFS code to make it more legible." into nextgenv2

Merge "Code clean of highbd_v_predictor_4x4"

Merge "Fix for high bitdepth temporal filter" into nextgenv2

Merge branch 'master' into nextgenv2

Merge "Fix for issue 1114 compile error"

sad_sse2: fix sad4xN(_avg) on windows

reduce the register count by 1 to avoid xmm6 and unnecessarily
penalizing the other users of the base macro

Change-Id: I59605c9a41a31c1b74f67ec06a40d1a7f92c4699

Code clean of highbd_tm_predictor_4x4

Replace MMX with SSE2, reduce mem access to left neighbor,
loop unrolled.

Change-Id: I941be915af809025f121ecc6c6443f73c9903e70

Code clean of highbd_v_predictor_4x4

MMX replaced with SSE2, same performance.

Change-Id: I2ab8f30a71e5fadbbc172fb385093dec1e11a696

Code clean of highbd_dc_predictor_4x4

MMX replaced with SSE2, same performance.

Change-Id: Ic57855254e26757191933c948fac6aa047fadafc

Merge "Non-rd speed >=5: Include H/V intra for bsize=16x16."

Merge branch 'master' into nextgenv2

Fix for issue 1114 compile error

In 32-bit build with --enable-shared, there is a lot of
register pressure and register src_strideq is reused.
The code needs to use the stack based version of src_stride,
but this doesn't compile when used in an lea instruction.

This patch also fixes a related segmentation fault caused by the
implementation using src_strideq even though it has been
reused.

This patch also fixes the HBD subpel variance tests that fail
when compiled without disable-optimizations.
These failures were caused by local variables in the assembler
routines colliding with the caller's stack frame.

Change-Id: Ice9d4dafdcbdc6038ad5ee7c1c09a8f06deca362

Merge "Code clean of sad4xN(_avg)_sse"

Non-rd speed >=5: Include H/V intra for bsize=16x16.

H/V intra mode was only enabled for bsize < 16x16,
enable it also for bsize=16x16.

Metrics are neutral with this change:
Overall very small gain (0.1%), small visual gain on some RTC clips.

Change-Id: Ib2d7a44382433bfc11cf324aa3cc5c382ea9e088

Cleared the EXT_REFS code to make it more legible.

Change-Id: I309c4e16fd305bcfa590d14f957a9598d23c7ee6

Restore the flexibility for the new 3 references

For the experiment of EXT_REFS, removed the previous special handling
on the new last 3 references, i.e. LAST2_FRAME, LAST3_FRAME, and
LAST4_FRAME, at the decoder, so that these new last references are
treated the same way as the other 3 references (LAST_FRAME,
GOLDEN_FRAME, and ALTREF_FRAME). Encoder changes have been made
accordingly to realize this flexibility.

Change-Id: Ic6546f9443b4377bb7e7b101bfa3e70a8b8d1c65

Code clean of sad4xN(_avg)_sse

Replace MMX with SSE2, reduce psadbw ops which may help Silvermont.

Change-Id: Ic7aec15245c9e5b2f3903dc7631f38e60be7c93d

Merge "Replace DST1 in ext_tx experiment with DST2" into nextgenv2

Merge "vp9-svc: Fix to allow for 4x4 variance for low resolutions."

Merge "vpxenc: don't warn about libwebm availability if writing IVF."

vp9-svc: Fix to allow for 4x4 variance for low resolutions.

Change-Id: I3ec08e10d9ebf6d8b8a03004a320523f926e5cc4

Move bit_depth init out of setup_quantization

This also fixes a compiling error under --enable-vp9_highbitdepth.

Change-Id: I9d1dcb95d3336d797eb3c23a4702c30b04355357

vpxenc: don't warn about libwebm availability if writing IVF.

Change-Id: I1a9635a9948458e6c83f5b58764b7e720d98e2ea

Merge branch 'master' into nextgenv2

With a few manual fixes of merge conflicts.

Change-Id: I0dd65ff90f9fa8606e5563f528659e2607b12376

Merge "Non-rd variance partition: Lower the 64->32 force split threshold."

Non-rd variance partition: Lower the 64->32 force split threshold.

Change-Id: I837551bdf87197bee8a193353bb31f4cff794787

Merge "Refactor vp10_encode_block_intra" into nextgenv2

Replace DST1 in ext_tx experiment with DST2

The DST2 is implemented by input alternate sign-flip, followed
by DCT, followed by output reversal.
Results are roughly the same, but it should be easier to optimize
the DST2.
[Interestingly a mtrix multuiply implementation is about 0.1%
better].

Change-Id: If9ae5fdba87767fb0e6c163a62b77ee66a8d3afc

Merge changes Icf9b57c3,I9e12da84,Idf5ee179

* changes:
  Fixed interval, fixed Q 1 pass test patch.
  1 pass VBR mode bug fix.
  Fixed interval, fixed Q 1 pass test patch.

Merge "Revert "Add "unknown" status for noise estimation.""

Revert "Add "unknown" status for noise estimation."

This reverts commit e15fedb9258251bbb07def57e49e2bd1e0c4c538.

Change-Id: Ibf2bce008c727a9754f88814b7630095fa7b8253

Merge "SVC 1 pass mode: Constrain inter mode search within superframe."

Merge "Fix a enc/dec mismatch under CONFIG_MISC_FIXES"

Merge "1 pass VBR mode bug fix."

Fixed interval, fixed Q 1 pass test patch.

For testing implemented a fixed pattern and delta, 1 pass,
fixed Q, low delay mode.

This has not in any way been tuned or optimized.

Change-Id: Icf9b57c3bb16cc5c0726d5229009212af36eb6d9

1 pass VBR mode bug fix.

(copied from VP9)

The one pass VBR mode selects a Q range based on a
moving average of recent Q values. This calculation
should have been excluding arf overlay frames as these
are usually coded at the highest allowed value. Their
inclusion skews the average and can cause it to drift
upwards even when the clip as a whole is undershooting.

As such it can undermine correct adaptation of the allowed
Q range especially for easy content.

Change-Id: I9e12da84e12917e836b6e53ca4dfe4f150b9efb1

Fixed interval, fixed Q 1 pass test patch.

For testing implemented a fixed pattern and delta, 1 pass,
fixed Q, low delay mode.

This has not in any way been tuned or optimized.

Change-Id: Idf5ee179b277fa15d07a97f14f2ce5bbaae80a04

Merge branch 'master' into nextgenv2

1 pass VBR mode bug fix.

The one pass VBR mode selects a Q range based on a
moving average of recent Q values. This calculation
should have been excluding arf overlay frames as these
are usually coded at the highest allowed value. Their
inclusion skews the average and can cause it to drift
upwards even when the clip as a whole is undershooting.

As such it can undermine correct adaptation of the allowed
Q range especially for easy content.

Change-Id: I7d10fe4227262376aa2dc2a7aec0f1fd82bf11f9

Fix a enc/dec mismatch under CONFIG_MISC_FIXES

The culprit is on the decode side xd->lossless[i] setup was in wrong
location where segment features are not yet decoded.

Also on the encoder side, transform mode was not set consistently
between when tx_mode is selected and how tx_mode is enforced in
tx size selection.

Change-Id: I4c4c32188fda7530cadab9b46d4201f33f7ceca3

Merge "Enable adaptive prediction mode coding" into nextgenv2

Merge "move vp9_avg to vpx_dsp"

Merge "Add "unknown" status for noise estimation."

Add "unknown" status for noise estimation.

Change-Id: I0fe95332ccfa2e1ad2a01a8e7ddd631289e0f8eb

SVC 1 pass mode: Constrain inter mode search within superframe.

Keep track of frame indexes for the references, and
constrain inter mode search for reference with same
temporal alignment.

Improves speed by about ~15%, no noticeable loss in
compression performance.

Change-Id: I5c407a8acca921234060c4fcef4afd7d734201c8

Merge "Non-rd variance partition: Adjust logic for 32->16 force split."

move vp9_avg to vpx_dsp

Change-Id: I7bc991abea383db1f86c1bb0f2e849837b54d90f

Non-rd variance partition: Adjust logic for 32->16 force split.

Lower the threshold for splitting 32x32->16x16 based on average variance,
and add lower bound condition for this split to occur. This prevents
unneccassry splitting for areas with very low variance.

Change-Id: Ibeb33b3d993632c2019f296eb87ef3b7e3568189

Merge "Code clean of tm_predictor_32x32"

Merge "Non-rd variance partition: Adjustments to reduce dragging artifact."

Non-rd variance partition: Adjustments to reduce dragging artifact.

For non-rd variannce partition, speed >= 5:
Adjustments to reduce dragging artifcat of background area near
slow moving boundary.

-Decrease base threshold under low source noise conditions.
-Add condition to split 64x64/32x32 based on average variances
of lower level blocks.

PSNR/SSIM metrics go down ~0.7/0.9% on average on RTC set.
Visually helps to reduce dragging artifact on some rtc clips.

Change-Id: If1f0a1aef1ddacd67464520ca070e167abf82fac

Refactor vp10_encode_block_intra

1) Add VP10_XFORM_QUANT_SKIP_QUANT mode for vp10_xform_quant
2) Let encode_block call vp10_xform_quant so that its code flow
   is clear

Change-Id: I122d5cf6a089f444ae018f3e4bf844be847e17ee

Merge "Refactor vp10_xform_quant" into nextgenv2

Merge "Speed up tm_predictor_16x16"