vp9: Enable ml based partition for speed>=8 low res.

~10% speed up with no quality change for speed 8.
7% quality gain for speed 9 with no speed change.

Change-Id: I7eaaa4b82f7b082c9b15aa1d7624765ecc5082e7

added error messages in vpx_video_reader_open().

Change-Id: I3e521b62a2f99902c4be80fe25d3869121673e43

Fix compile warnings in non-greedy-mv

Change-Id: Ib2bd9a74473ccb00e9ad71e0b186c8ddc0ee7b3c

Only discount new mv mode when tpl model is ready

Change-Id: I3326f0912627981fd604b16ddbf668d2262d4287

Check the new mv diff in discount_newmv_test()

Change-Id: I38c5d4de93bebfd3f46bcc01716a0cc4a76af950

Use mv_mode_arr to decide the newmv discount place

Change-Id: I98c32aba4c9e81380b588dcdbfa991468487ce73

Fix the bug for feature_score computation

The visited is not set to 1 after an item is pushed into the heap.
This may cause one item being pushed into the heap multiple
times, which may incur buffer overflow and memory corruption.

Change-Id: I443f1e5693856bb4066542403f98492d4daec69d

Merge "vp9: ML var partition as speed feature & cleanup."

vp8: Limit Q change for screen content CBR mode

Add last_q[] to layer context, and add limit on
Q change from previous layer/frame. For now put
hard limit of 12 for decrease.

For 1 pass CBR sreen content mode.

Change-Id: Ifb972c9b6831440c80b1cb07a054c577ece930ec

Merge "Test decode and find mismatch in vp9 svc example encoder."

Test decode and find mismatch in vp9 svc example encoder.

Also write it to opsnr.stt when internal stats is enabled.

Removed some redundant code in vpxenc.c and vp9cx_set_ref.c

Change-Id: I3700137fff0be92a23e4ab75713db72da1dc4076

vp9: ML var partition as speed feature & cleanup.

Remove it from runtime flag.

Add new struct for rd ml partition.

BUG=webm:1599

Change-Id: I883edbba83c65b7e557b8832419e212cffc85997

vp8: Fix condition for update of last_pred_err_mb

For 1 pass cbr screen-content mode: quantity should
only be updated on delta frames.

Change-Id: I16fc47b2805c7527ab4ff25bd8b5a5bd9c2b8976

Merge "refactor vp9 svc example encoder."

refactor vp9 svc example encoder.

Put rc stats related code into a separate function.

Change-Id: I11808bb947079b5fd9e53dfa5894bf227ed0c4c6

Merge changes Ibbe12dad,I4bf9e2ad

* changes:
  Add tpl_bsize to VP9_COMP
  Compute future_rd_diff in predict_mv_mode

vp9 svc example encoder accept -o (--output) for output.

Make it same as vpxenc so easier to run on borg.

Change-Id: Ie19db6e828ced773cba9aef715c8fbd0f4715b27

Merge "Fixing ClangTidy issues reported by downstream integration"

Fixing ClangTidy issues reported by downstream integration

ClangTidy reported 16 issues. All are around typecasting and
straightforward

Change-Id: Ie8f9fc2ba7992dd44fef65b121fe65966a1a1297

Merge "Refactor the model for rect partition pruning"

Merge "vp9: Write height and width to ivf header in SVC example encoder."

vp9: Write height and width to ivf header in SVC example encoder.

Write height and width of top layer to ivf header in SVC.

vpxdec Can't decode it correctly when output is y4m.

Change-Id: I9b2f1d54696611a30e252bdfd182897d191d92b5

Refactor the model for rect partition pruning

Remove the block variance and skip flags from the input features. They
do not seem to reduce the average loss of the model. Also decrease the
number of hidden nodes. The model size is reduced significantly.

Compression quality and speed are both neutral.

Change-Id: Ic62f73c4f4c0a3148285f575747f0423ff568c64

Use wide integer to avoid overflow

BUG=webm:1270

Change-Id: I7d56667d946196bbbe355303de805422e40b0763

Add tpl_bsize to VP9_COMP

Change-Id: Ibbe12dade04b218a41de9b65bbedba0054a69d83

Compute future_rd_diff in predict_mv_mode

The future_rd_diff computes the future rd difference between
new mv mode and ref mv mode.

Change-Id: I4bf9e2ad34257ba9cfec95419c2c5eca469584e9

Merge "No vpx_img_alloc for y4m input in example encoders."

Merge "Fix VPX_KF_DISABLED."

Merge "enforce some c89 restrictions"

Fix VPX_KF_DISABLED.

VP9 encoder still inserts key frame periodically when VPX_KF_DISABLED is
set in non SVC for 1-pass CBR.
BUG=webm:1592

Change-Id: Ie99d7c5b95230d739e263a2d87879693c53f620e

Merge "Improve the partition split prediction model"

No vpx_img_alloc for y4m input in example encoders.

Y4M reader has its own allocation.

Change-Id: Ie02440a183126072ea773860f4e9dc9b412772f5

enforce some c89 restrictions

Block "for (int i;;)" style declarations.

Use --std=gnu89 to avoid enforcing c89-style comments.

Change-Id: Ia7d1405eac647d04e92513c047773695e8d7dc6e

Merge "ppc: use c89 loop declaration"

ppc: use c89 loop declaration

Change-Id: Ib8ca37f1b58e9903e7efa29689a0a49f14b4d73a

Merge "vp8: Add extra conditon for overshoot-drop"

Merge "Add dist scale in get_mv_dist"

Improve the partition split prediction model

Include the sizes of the above and left partition block as additional
features.

This affects speed 0 and 1.

Compression change is almost neutral(about 0.03% on average).

Average encoding speedup is 3~6% depending on QP and resolution.

Change-Id: I8bddfadf6072ae757c124da0819302850d8c6fe7

Fix an inline varible declaration in temporal filter

bug=webm:1595

Change-Id: I7fbb16444a8526eb9479007772fbf52b09ff8338

Merge "Add operator<< to a struct in yuv_temporal_filter_test.cc"

vp8: Add extra conditon for overshoot-drop

For drop due to large overshoot feature (in 1 pass CBR):
add additional condition that current prediction error
is larger than that of last encoded frame. This make the
drop due to sudden overshoot more robust, and improves
rate convergence for steady hard content.

Change-Id: If20027d26b4dcd290e4f788ae8e2760d95b536a5

Add operator<< to a struct in yuv_temporal_filter_test.cc

This should resolve valgrind's warning on aceessing uninitialized
values.

BUG=webm:1591

Change-Id: I678cadf448c12b598c9ea09490a7eb4e13e4118c

Some cosmetic fixes to temporal filter

BUG=webm:1591

Change-Id: I34fd7e6cbe6f3d5486a669d0895402fd21de7641

Merge remote-tracking branch 'origin/northernshoveler' into HEAD

BUG=webm:1573

Change-Id: Ie92df3adfac44d7e9c143994ef4f69cd1a04e4b8

Release v1.8.0 Northern Shoveler

BUG=webm:1573

Change-Id: I2884d0d8198f937a9d14428cc9f5f7e86f4ec450

Merge "Fix segmentation fault when num tile cols change in row-mt."

Merge "vpx_dec_fuzzer: Remove dependency on tools_common.c"

Fix segmentation fault when num tile cols change in row-mt.

Change-Id: Ifc165d76a71fcdb7c19c158c940a8d273be0d95f

vpx_dec_fuzzer: Remove dependency on tools_common.c

Instead of calling get_vpx_decoder_by_name(), derive
decoder interface directly.

This will avoid dependecy on tools_common and hence any potential
updates needed to build fuzzer, when tools_common uses functions
defined in a different file

With this dependency removed, fuzzer no longer needs to enable examples
when building vpx_dec_fuzzer binaries

Change-Id: I05753edf041b4bc742a6dc06e809a8a2929d379f

Remove old version of temporal_filter_apply

BUG=webm:1591

Change-Id: I926566ac1bf4bac8cb1ce1c6ded9ba940109283e

Add highbd test cases for apply_temporal_filter

BUG=webm:1591

Change-Id: I61dfcecc2efccdfa15b739fd6d97a24ddff05757

vp9_temporal_filter: convert blk_fw[0] || ... to |

this matches what is done to reduce the cost of the test of filter
values in convolve.

Change-Id: I692b58801a962b593b810c1d1dac42f72c78caf9

Merge "vp9: Tune qp_thresh to disable cyclic refresh for screen"

Merge "Add highbd yuv_temporal_filter"

vp9: Tune qp_thresh to disable cyclic refresh for screen

For screen-content mode, with aq-mode=3: increase the
qp thresh for disabling the cyclic refresh.
Improves bitrate convergence for content that has been
static for long period.

Change-Id: Ica63a741402923a611ab1b86c0900f75d2d5f941

Add dist scale in get_mv_dist

Add MACRO VP9_DIST_SCALE_LOG2 represents distortion's log scale

Change-Id: Ic496a31e6d3f04626510f8c4661af464a002e361

Merge changes I62702bdb,Ice6d06c5,I60204c62,Ib9fdf65e

* changes:
  Implement get_mv_cost()
  Add assertion in get_block_src_pred_buf
  Fix bug in predict_mv_mode
  Allocate memory for mv_mode_arr[]

vp9: Adjust intra check for short_circuit_flat_blocks

For non-rd pickmode: include H and V intra mode check for
spatially flat blocks when the sf->short_circuit_flat_blocks
speed feature is set.
Small improvement on screen content tests.

Change-Id: I3391d02cce6a46160be6ccc8a1e33fd8547eb467

Merge "Add y4m input to vp9 example encoder tests."

Implement get_mv_cost()

The mv_cost contains mv_mode cost and mv_diff cost.

The mv_mode cost is inferred from default_inter_mode_probs.
The mv_diff cost is estimated used the log2 function.

Change-Id: I62702bdb5c3fec018e3302765f5dd749fceebc12

Add highbd yuv_temporal_filter

This changes the highbd version of temporal filter to information from
both luma and chroma planes.

Performance:
 AVG_PSNR | OVR_PSNR |  SSIM
  -0.144% |  -0.165% | -0.150%

The performance is evaluated on lowres_bd10.

Change-Id: I89d1bd46cd60c26d658b6a53aa63835e90d8e291

vp9-svc: Fix to non-rd pickmode for screen content

For screen content mode: always force intra check
for spatially flat blocks that have moved. Also
adjust/fix condition for forcing check of
zeromv-golden for quality layers.
Reduces artifacts in screensharing tests.

Change-Id: Iafd62fb24a4e05f5b12af663dde2805fdb4c7b36

Add y4m input to vp9 example encoder tests.

Change-Id: Ie64a3ee22e6b21e5b3a0cef4734930db3144bea0

Merge "add y4m support to vp9 example encoders."

add y4m support to vp9 example encoders.

vp9_spatial_svc_encoder and vpx_temporal_svc_encoder.

Change-Id: I8dfa1dfad83c83a26ddac4e7c57b5f1ff161e588

Add assertion in get_block_src_pred_buf

Print error message and assert when ref_frame_idx is invalid

Change-Id: Ice6d06c53ddae0a77d578671b896c4e4d04d5366

Merge changes I49a760ea,I792df86e

* changes:
  Modify map read/write to sync logic in row_mt case
  Revert "Revert "Add Tile-SB-Row based Multi-threading in Decoder""

Merge "Add some const qualifiers where applicable"

Merge "Reuse simple motion search results"

Merge "Reland "Enable SSE4 version of apply temporal filter""

vp9-svc: Modify early breakout for non-rd pickmode

Modify early breakout condition for non-rd pickmode
for quality layers: when lower layer has lower QP force
test of zeromv on golden (lower layer reference) before
breakout due to skip.

Reduce artifacts, observed in cases of scrolling content.

Change-Id: Id834b1eb024a4c97f0e74d8b7f7a0351459e088f

Modify map read/write to sync logic in row_mt case

Adds conditional wait/signal instead of sched_yield.

Change-Id: I49a760eacdd6b6ac690e797ea5f10febf6a1a084

Fix bug in predict_mv_mode

Use kMvPreCheckLines in the for loops.

Change-Id: I60204c6294560d47421a8621d907dfa95c9dde18

Allocate memory for mv_mode_arr[]

Change-Id: Ib9fdf65e263dbaace8d4c86766eba2c6f35f652b

Merge "Clean up TODOs for vpx_img_* functions."

Add some const qualifiers where applicable

Change-Id: Ib820f625e0b616fd57a2722ec3614b4fccf307f8

Reuse simple motion search results

In the ML based partition search speed feature, use MV result of
previous simple motion search as the starting point for the next one.

Compression change is neutral; encoding speed becomes slightly faster.

Change-Id: Iea554f28f7966fc5b5857e12b06de58e3fa312a6

Merge changes I7dcfcdb3,Ie0b2c67b

* changes:
  Add predict_mv_mode_arr()
  Add predict_mv_mode()

Clean up TODOs for vpx_img_* functions.

They should stay in tools_common.{c,h}

Change-Id: I34bd05e8b000ce780bb1f77abcb8cbfd1e83158f

Reland "Enable SSE4 version of apply temporal filter"

This reverts commit a4d2f59b691ac57698d299430495b398a8bb682c.

Reason for revert: Re-enables SSE4_1 version of apply temporal filter now that the mismatch is fixed in fa540837aa23ae8cdd926961ddbef71998a2a525,

Original change's description:
> Revert "Enable SSE4 version of apply temporal filter"
>
> This reverts commit 4f3cd48bfe4541ca64883db51f57c1376c6d8a73.
>
> Reason for revert: Found a mismatch with c version
>
> Original change's description:
> > Enable SSE4 version of apply temporal filter
> >
> > Evaluating on 5 midres clips with 4 bitrates over 30 frames on speed 1
> > auto_alt_ref=1, there is a speed up of 1.660%.
> >
> > BUG=webm:1591
> >
> > Change-Id: Idbda58548679e6f7b8fc0d7f6144f7be057ef690
>
> TBR=yunqingwang@google.com,builds@webmproject.org,chiyotsai@google.com
>
> Change-Id: Ibca973576d72d6db4b647a08aef23389d5d6605a
> No-Presubmit: true
> No-Tree-Checks: true
> No-Try: true
> Bug: webm:1591

TBR=yunqingwang@google.com,builds@webmproject.org,chiyotsai@google.com

# Not skipping CQ checks because original CL landed > 1 day ago.

Bug: webm:1591
Change-Id: I26effdbaf4d52e4650c263b6ed9d3d80e505f5cb

Merge "Fix mismatch between SIMD/C version of vp9_apply_temporal_filter"

Merge "Refactor ml_predict_var_rd_paritioning()"

Fix mismatch between SIMD/C version of vp9_apply_temporal_filter

Change-Id: I6503ebc79beaac2947992437ac133f3ac4379019

Merge "Fix test case name for yuv_temporal_filter"

Fix test case name for yuv_temporal_filter

This should fix valgrind's failure.

BUG=webm:1591

Change-Id: Idab2d6281484c36e6de193d6f45d13f97762625e

Refactor ml_predict_var_rd_paritioning()

Refactor out code about simple motion search.

Change-Id: Ie6895db2aff3c13e7a45554d6bc1c7c0af8f2d51

Add predict_mv_mode_arr()

The function predicts the mv_mode for each prediction block in
diagonal order.

Change-Id: I7dcfcdb317ffa334cb40bb435baa71b5db62252b

Add predict_mv_mode()

This function evaluate the impact of setting NEW_MV_MODE on a
block and its neighbor blocks.

Change-Id: Ie0b2c67bdc5cd14e0efd8ebc5dc3f3f873bcf3fe

Merge "Revert "Enable SSE4 version of apply temporal filter""

Revert "Enable SSE4 version of apply temporal filter"

This reverts commit 4f3cd48bfe4541ca64883db51f57c1376c6d8a73.

Reason for revert: Found a mismatch with c version

Original change's description:
> Enable SSE4 version of apply temporal filter
>
> Evaluating on 5 midres clips with 4 bitrates over 30 frames on speed 1
> auto_alt_ref=1, there is a speed up of 1.660%.
>
> BUG=webm:1591
>
> Change-Id: Idbda58548679e6f7b8fc0d7f6144f7be057ef690

TBR=yunqingwang@google.com,builds@webmproject.org,chiyotsai@google.com

Change-Id: Ibca973576d72d6db4b647a08aef23389d5d6605a
No-Presubmit: true
No-Tree-Checks: true
No-Try: true
Bug: webm:1591

Merge "Fix a bug in tune-content film mode"

Merge changes Ia1b3ec7e,I58b8c713,Ibeb43400

* changes:
  Add find_best_ref_mv_mode()
  Add get_mv_dist
  Add get_mv_from_mv_mode()

Merge "Enable SSE4 version of apply temporal filter"

Merge "Add SSE4 version of new apply_temporal_filter"

Merge "Adjustment to noise factor in first pass."

Adjustment to noise factor in first pass.

Adjustments to the calculation and use of a noise estimate in
the first pass Q estimate and adaptation of temporal filtering.

This change was tested and gave gains for both auto-alt-ref=1
and auto-alt-ref=6 as follows:

Results are Av PSNR, Overall PSNR, SSIM  and PSNR-HVS

auto-alt-ref=1
low_res 0.007, -0.042, -0.018, 0.074
mid_res -0.142, -0.239, -0.173, -0.129
hd_res -0.322, -0.405, -0.397, -0.367
NF_2K -0.058, -0.099, -0.201, 0.028

auto-alt-ref=6
low_res  -0.058, -0.171, -0.188, -0.027
mide_res -0.149, -0.155, -0.171, -0.137
hd_res -0.252, -0.339, -0.259, -0.297
NF_2K -0.015, -0.068, -0.120, 0.092

In all sets there were some winners and losers but significantly
more winners. The biggest change was Stockholm in the
hd set with an improvement of 5-6%

Change-Id: Ieec71e1c4e3e09b76c288efa7b4d1b00015b3a11

Enable SSE4 version of apply temporal filter

Evaluating on 5 midres clips with 4 bitrates over 30 frames on speed 1
auto_alt_ref=1, there is a speed up of 1.660%.

BUG=webm:1591

Change-Id: Idbda58548679e6f7b8fc0d7f6144f7be057ef690

Add SSE4 version of new apply_temporal_filter

This adds a preliminary version of vp9_apply_temporal_filter in SSE4.1.
This patch merely adds the function and does not enable it yet.

Speed Up:
         | ss_x=1 | ss_x=0 |
  ss_y=1 | 19.80X | 19.04X |
  ss_y=0 | 21.09X | 20.21X |

BUG=webm:1591

Change-Id: If590f1ccf1d0c6c3b47410541d54f2ce37d8305b

Add find_best_ref_mv_mode()

This function compute the rd cost for each  mv_mode and return the
one with minimum rd cost.

eval_mv_mode()
Evaluate the rd cost for a given mv_mode.

Change-Id: Ia1b3ec7e1dd538e443e1bc79f2cab352408cd0a0

Add get_mv_dist

Given an mv_mode, get_mv_dist() obtains the mv and uses it
to compute distortion.

Change-Id: I58b8c7137b99c2736d651e678f0cd013dbd94877