Fix decoding Daala deringing and CLPF filters with tiling.

cherry-picked #14ed7a61 from aom/master

Change-Id: I077b0e97186bdd292f925e08966a2ca3cf8c250d

Change to use correct type

This commit changes to use int instead of unsigned for a variable used in
inverse quantization.

Change-Id: I8f0ff5f80c9e68d52425265ef177357c65ead1e2

aomenc: Remove tests unsupported in av1.

Change-Id: I9379eedd577c8bfb7b82f1c996e4ee4c62ce686b

vp8_multi_resolution_encoder.sh: remove file

Change-Id: I3be6480b98cdde4c24b6cdfbebf362072153bcca

restore vp9 and vpx in libwebm

renaming should not have been applied to third_party.

Change-Id: I95be7ec4b7558298cd49ec4c5d1ed15a17ad222b

Merge "simplify test code" into nextgenv2

Merge "Fix some var_tx related rd_costing mismatches" into nextgenv2

Merge "Swap order of affine parameters" into nextgenv2

simplify test code

Change-Id: Ib5491fb8f5dd7edf27c74abdd21b1f0a42aafd1f

Merge "Rd fixes and cleanups" into nextgenv2

Merge "aom_mem,align_addr: use ~ to create mask" into nextgenv2

aom_cx_set_ref: add example showing setting reference frame

Manually cherry-picked from AOM:
16944e59 aom_cx_set_ref: Example showing setting a reference frame
8f4c0ec8 examples.mk - Invalid comment fixed

Change-Id: Ifa87611561b089aebef2c132099baf265c845b10

variance_impl_avx2.c: align a table for better readability

Change-Id: I8cd99f9807dbfe6f70147615d2fd6775a7d98c16

s/INTERP_FILTER/InterpFilter/

this matches style guidelines and stabilizes successive runs of
clang-format across the tree. remaining types should be address in
successive commits.

Change-Id: I6ad3f69cf0a22cb9a9b895b272195f891f71170f

Rd fixes and cleanups

A minor cleanup and an enhancement to return y_skip correctly
from sub8x8 intra mode search.

Change-Id: I87256d3cc5f57a2fd7b837d461cc1a7f06e01a1b

Fix some var_tx related rd_costing mismatches

This makes the code in select_tx_size_fix_type match the
corresponding code in pack_inter_mode_mvs.

Change-Id: I69bcc0dc6fdd733091fafe9188a3f7397e1e613f

aom_mem,align_addr: use ~ to create mask

removes the need for an intermediate cast to int, which was missing in
the call added in:
73a3fd4 aom_mem: Refactor code

quiets a visual studio warning:
C4146: unary minus operator applied to unsigned type, result still
unsigned

Change-Id: I76c4003416759c6c76b78f74de7c0d2ba5071216

fix 'dist' & other decode-only builds

common/av1_fwd_txfm.[hc] are encode-only; add a TODO to relocate them

Change-Id: I28cf8d0b22632b04066bcb72f3d2252ee7eb153e

av1_inv_txfm_test: fix decode-only build

fdct's are only enabled with --enable-av1-encoder

Change-Id: Iaf1dfdf713f2ecd1d215ba7ec635f353c02fa4d0

Merge "Parameter adjustments to loop restoration" into nextgenv2

Parameter adjustments to loop restoration

Some minor adjustments to tile size and bilateral filters.

About 0.1% improvement for midres and hdres, very small change for
lowres.

Change-Id: Ia94f68a926867dfd67da1a8795fd8de0ddd8e2d6

Swap order of affine parameters

This allows for a clean subtraction of 1 along the transform
matrix diagonal and also makes the order of the parameter list
a little more intuitive.

Change-Id: I6a5d754af41b8d1292f241f9b21473160517d24f

Merge "Add parameter search to global motion computation" into nextgenv2

Fix hbd naming mistake in warped_motion.h

This changes a remaining VP9_HIGHBITDEPTH to AOM_HIGHBITDEPTH

Change-Id: I35efaf9528de660fb69104792a563dba5c41f329

Merge "Minor transform code cleanup" into nextgenv2

Merge "Harmonize and fix coeff context computation" into nextgenv2

Merge "aom_mem.c: remove unnecessary inline" into nextgenv2

aom_mem.c: remove unnecessary inline

these aren't overly speed critical, best to leave it to the compiler. as
a side-effect this fixes Visual Studio compilation (should have been
INLINE)

Change-Id: Ic81fb5ac76bc19c61efb2f1a965c0f79e9e45ebd

odintrin.h: add missing extern "C"

fixes test linkage

Change-Id: I15a7b32551fddc5e78e3035e9d2e94a57ff9f1d2

Merge "Adjust types in hbd error computation to avoid overflow" into nextgenv2

Adjust types in hbd error computation to avoid overflow

Change-Id: I8e08ebc8cbb2d1a1f97c8ef0c9237d8dfe0df208

Add parameter search to global motion computation

Change-Id: I66ea5a819ab54ecb5327eee20f798d7d7f0833d3

Merge "Fix formatting in internal stats for vp10" into nextgenv2

Merge "Use AOMedia's Patents and LICENSE files" into nextgenv2

Merge "README.libvpx -> README.libaom" into nextgenv2

sad_avx2.c: add hints for clang-foramt

Change-Id: I721c52e69395a99b3a0395dc229de1cbb32670e9

Use AOMedia's Patents and LICENSE files

Change-Id: Icb53448442a8f341af3799d873e2fd6f3db5fbe2

README.libvpx -> README.libaom

Change-Id: Ie7dd4aeee084ef9520f68663aa566ea32350e227

aom_realloc correction.

aom_realloc was allocating 1 byte more than needed every time.
Fixed this, and took this opportunity to do a small refactoring.

Change-Id: I38fcb62b698894acbbab43466c1decd12f906789

aom_mem: Refactor code

Change-Id: I2da9cd5da48ae97e770bccfd1233bcc70b484688

Merge "Move CHECK_MEM_ERROR implementation to aom/internal." into nextgenv2

Move CHECK_MEM_ERROR implementation to aom/internal.

Allow using it in aom_dsp.

Change-Id: Ide7d58b6d11f8a45d473fc13bf730ba5bccb5516

Harmonize and fix coeff context computation

Change-Id: I75740e221deb3872647bd480ae506ba68800e8c7

Make RECT_TX(>=8x8) work with VAR_TX

Bitstream syntax:
For a rectangular inter block, 'rect_tx' flag is sent to indicate if
the biggest rect tx is used. If no, continue to decode regular
recursive tx partition.

Change-Id: I127e35cc619b65acb5e9a0717f399cdcdb73fbf0

Merge "Add global motion experiment to rdopt" into nextgenv2

Merge "Enable rectangular transforms for UV" into nextgenv2

Fix a compiler warning of unused variable

Change-Id: I4a2faa32cc0847fe14dd8f40156163f4713055ca

Avoid re-use same temp variables

In highbd_quantize_intrin_sse2.c.

Change-Id: Iaf6360e456f1fb2f8ff06461afbfecfc0103dda3

quantize.c: int->uint32_t for absolute values

Change-Id: I784f32e0e86d873655e46cf68c5c124a698af361

aom_dsp: AV1_IADST8x16_1D to AOM_IADST8x16_1D

Change-Id: Iba415ab2d4adb3350b4747a58f69db7d02bbab68

Enable rectangular transforms for UV

Uses an array to map block sizes, y tx sizes, and subsampling
factors to various transform sizes for UV.

Results improve by 0.1-0.2%

Change-Id: Icb58fd96bc7c01a72cbf1332fe2be4d55a0feedc

Fix formatting in internal stats for vp10

This corrects a formatting error introduced in:
I1e9d548ce445d29002f0c59ebfd3957a6f15e702
where spaces were used as delimiters instead of tabs.

The corresponding fixes for vp9 and vp8 are in
Ibc4eb8fd82e6b926ba259a679dc98557cadba9b1.

Change-Id: Ica3d625d6672b3c47e0e208b45eede29b9004030

Removed tests and data not in use

Change-Id: If688da3089ad33f18751fa2f8c46b6f5dc708bd2

Merge "test_intra_pred_speed.cc : Fix visual studio build." into nextgenv2

Merge "Change to use AOM copyright notice" into nextgenv2

test_intra_pred_speed.cc : Fix visual studio build.

Visual studio doesn't like nested macros, apparently. This patch should
fix it.

Change-Id: Ifa56fae5be0b3dfd3fecd88a8a443e39135f96ab

Change to use AOM copyright notice

Change-Id: I2b2b70e756b7eb9611b7b33b7d5f19b3b30e0a50

Merge "Remove unused buffer allocation functions" into nextgenv2

Merge "aomcx_set_ref -> aom_cx_set_ref" into nextgenv2

Merge "Change to use aom copyright notice" into nextgenv2

Merge "Add frame info in bitstream debug tool" into nextgenv2

Remove unused buffer allocation functions

Removed unused buffer allocation functions.

Change-Id: Ib779dde9ad6a511d88b7f7cba2604902eff7aa05

aomcx_set_ref -> aom_cx_set_ref

Change-Id: I60dd645451d6d65465f099a16ac855fb0b5a57a9

Change to use aom copyright notice

This minimize code differences between AOM master and nextgenv2

Change-Id: If144865bdf3ef0818e7aac11018b9e786444c550

Minor transform code cleanup

- Localize static lookup tables in the sole functions that use them.
- Remove dead high bit-depth IDST functions.
- Apply clang-format

Change-Id: Ibbd7db4259f9ea64d695b2f13f5c118aac8f1cf9

Merge "Some cleanups for unnecessary macros" into nextgenv2

Add global motion experiment to rdopt

This patch completes the global motion experiment
implementation. It modifies the format of the motion
parameters to use the mv union to facilitate faster
copying and checks for parameters equal to 0 that occur
frequently in rdopt. The rd decisions for the global motion experiment
have also been added to rdopt.
Change-Id: Idfb9f0c6d23e538221763881099c5a2a3891f5a9

Port two daala_dering changes from AOMedia

03394bd Remove dead code from av1_dering_search.
337b23a Changing the weights of the first CRF filter in deringing

Change-Id: I1216c146dc3f72f24ceec3d3c65c4dd6cd73623e

rename two mk files to make naming consistent

av1cx.mk -> av1_cx.mk
av1dx.mk -> av1_dx.mk

Change-Id: I698bd65b933c433066d5dfeb94cee680095508e4

Merge "Add explict conversion from int64_t to int" into nextgenv2

Add frame info in bitstream debug tool

Change-Id: Iead3edd8563d7900481eb199e8b003d2d3df075b

Add explict conversion from int64_t to int

The values after right shifts should fit into 32bit int. The commit
fixes MSVC build warning when new-quant is enabled.

Change-Id: Ic89dd86fb981a1206653943658af2b6b2925a676

Merge ".gitignore: corrent entries from vpx to aom" into nextgenv2

Merge "Add ALT_INTRA experiment." into nextgenv2

.gitignore: corrent entries from vpx to aom

Change-Id: I8af6a9723c31c0f868e9bd75dcc079413a3700c4

Add ALT_INTRA experiment.

When the experiment is ON, we use Paeth predictor instead of TM
predictor.

For derf set, this gives about 0.09% improvement overall, and 0.55%
improvement if all frames are forced to be intra-only.

Also, if the EXT_INTRA experiment is also on, the improvement overall
is 0.056%, and improvement if all frames are forced to be intra-only is
0.465%.

Change-Id: Id74e107ede70a8d2107fa14fcb3f44b23a437274

add an explicit conversion from size_t to int

Function ans_read_int() takes int as parameter, this commit uses an
explicit conversion to avoid MSVC building warning.

Change-Id: Ia405e1d5a86c0f42932fa1da29417ccbf2dd58e7

Replace inline with INLINE

This fixes msvc build errors.

Change-Id: I1344685e891db61ba569d818e0f2167b2978c299

Some cleanups for unnecessary macros

Remove some macros that are no longer necessary for experimentation.

Change-Id: I959bf441c8333607df4aa1ee18841f189ade8112

Port renaming changes from AOMedia

Cherry-Picked the following commits:
0defd8f Changed "WebM" to "AOMedia" & "webm" to "aomedia"
54e6676 Replace "VPx" by "AVx"
5082a36 Change "Vpx" to "Avx"
7df44f1 Replace "Vp9" w/ "Av1"
967f722 Remove kVp9CodecId
828f30c Change "Vp8" to "AOM"
030b5ff AUTHORS regenerated
2524cae Add ref-mv experimental flag
016762b Change copyright notice to AOMedia form
81e5526 Replace vp9 w/ av1
9b94565 Add missing files
fa8ca9f Change "vp9" to "av1"
ec838b7  Convert "vp8" to "aom"
80edfa0 Change "VP9" to "AV1"
d1a11fb Change "vp8" to "aom"
7b58251 Point to WebM test data
dd1a5c8 Replace "VP8" with "AOM"
ff00fc0 Change "VPX" to "AOM"
01dee0b Change "vp10" to "av1" in source code
cebe6f0 Convert "vpx" to "aom"
17b0567 rename vp10*.mk to av1_*.mk
fe5f8a8 rename files vp10_* to av1_*

Change-Id: I6fc3d18eb11fc171e46140c836ad5339cf6c9419

Port folder renaming changes from AOM

Manually cherry-picked commits:
ceef058 libvpx->libaom part2
3d26d91 libvpx -> libaom
cfea7dd vp10/ -> av1/
3a8eff7 Fix a build issue for a test
bf4202e Rename vpx to aom

Change-Id: I1b0eb5a40796e3aaf41c58984b4229a439a597dc

Merge "Change buffer_alloc_sz and frame_size type to size_t" into nextgenv2

Change buffer_alloc_sz and frame_size type to size_t

1. Changed buffer_alloc_sz and frame_size type to size_t.
2. Added a TODO for video resolution limits. On 32 bit systems, the maximum
resolution supported in the encoder is 4k(3840x2160). The malloc() would
fail if encoding >4k video on a 32 bit system.

Change-Id: Ibd91b28fd63d1b04e8ac9a5270a17629f239188a

Merge "Fix Visual Studio build warnings" into nextgenv2

Merge "Remove unused buffer allocation functions" into nextgenv2

Fix a bug in calculating the compound ref frame cost

The previous ext-refs experiment did not consider the cost of the 2nd
reference frame on mode decision in the compound mode. With the fix,
using Overall PSNR, compared to the previous ext-refs RD performance
before the bug fix, all against the baseline, the improvements are:

"ext-refs" before fix: lowres -5.665%  midres: -4.833%
"ext-refs" after fix:  lowres -5.776%  midres: -5.000%
Improvement by the fix: lowres -0.111%  midres: -0.167%

Change-Id: I2eceedf2d4046b169514e049fd01baaf0bbb50c6

Merge "Fix a bug in deciding ref frame context in ext-refs" into nextgenv2

Make an unmeaningful change to be added into the list

Change-Id: I578589a955bd3f3d7ff61723b574361661453f67

Fix a bug in deciding ref frame context in ext-refs

Change-Id: Ie58b98baa870c5d2a5b7193f8fe4f84fd7ec6c16

Fix Visual Studio build warnings

Fixed a list of VS warnings. Warning message:
..\test\vp10_convolve_test.cc(34): warning C4244: 'initializing' : conversion
from 'ptrdiff_t' to 'int', possible loss of data

Change-Id: I9a1d3978a79fbb7b1ac028c5713ac72b6ff99172

Merge "clpf experiment build fix" into nextgenv2

Implement global motion parameter computation

This computes global motion parameters between 2 frames by
matching corresponding points using FAST feature and then
fitting a model using RANSAC.

Change-Id: Ib6664df44090e8cfa4db9f2f9e0556931ccfe5c8

Remove unused buffer allocation functions

Removed unused buffer allocation functions.

Change-Id: I5aa265a7698a2d2df736ddb89c6d93a5ee34895b

Merge "Tiling in loop restoration + cosmetics" into nextgenv2

clpf experiment build fix

Change-Id: I729e14916ecb58b5a75756078ab96a2d340bc0d6

Tiling in loop restoration + cosmetics

Frame can be split into rectangular tiles for application of separate
bilateral or Wiener filters per tile. Some variable names changed for
better readability.

Change-Id: I13ebc4d0b0baf368e524db5ce276f03ed76af9c8

Fix for supertx with rect-tx

Change-Id: I0cc3523a8992f889f8dd203449ceb55f2a422324

fix uint32_t <-> size_t mismatch in tests

Change-Id: Ifde4d57957219560e01ebd1657f1c0721f041054

Merge "vp10_alloc_context_buffers: clear cm->mi* on failure" into nextgenv2

Merge "Fix VS build warnings in blend_a64_mask_test.cc" into nextgenv2