aom_mem: Refactor code

Change-Id: I2da9cd5da48ae97e770bccfd1233bcc70b484688

Merge "Move CHECK_MEM_ERROR implementation to aom/internal." into nextgenv2

Move CHECK_MEM_ERROR implementation to aom/internal.

Allow using it in aom_dsp.

Change-Id: Ide7d58b6d11f8a45d473fc13bf730ba5bccb5516

Make RECT_TX(>=8x8) work with VAR_TX

Bitstream syntax:
For a rectangular inter block, 'rect_tx' flag is sent to indicate if
the biggest rect tx is used. If no, continue to decode regular
recursive tx partition.

Change-Id: I127e35cc619b65acb5e9a0717f399cdcdb73fbf0

Merge "Add global motion experiment to rdopt" into nextgenv2

Merge "Enable rectangular transforms for UV" into nextgenv2

Fix a compiler warning of unused variable

Change-Id: I4a2faa32cc0847fe14dd8f40156163f4713055ca

Avoid re-use same temp variables

In highbd_quantize_intrin_sse2.c.

Change-Id: Iaf6360e456f1fb2f8ff06461afbfecfc0103dda3

quantize.c: int->uint32_t for absolute values

Change-Id: I784f32e0e86d873655e46cf68c5c124a698af361

aom_dsp: AV1_IADST8x16_1D to AOM_IADST8x16_1D

Change-Id: Iba415ab2d4adb3350b4747a58f69db7d02bbab68

Enable rectangular transforms for UV

Uses an array to map block sizes, y tx sizes, and subsampling
factors to various transform sizes for UV.

Results improve by 0.1-0.2%

Change-Id: Icb58fd96bc7c01a72cbf1332fe2be4d55a0feedc

Removed tests and data not in use

Change-Id: If688da3089ad33f18751fa2f8c46b6f5dc708bd2

Merge "test_intra_pred_speed.cc : Fix visual studio build." into nextgenv2

Merge "Change to use AOM copyright notice" into nextgenv2

test_intra_pred_speed.cc : Fix visual studio build.

Visual studio doesn't like nested macros, apparently. This patch should
fix it.

Change-Id: Ifa56fae5be0b3dfd3fecd88a8a443e39135f96ab

Change to use AOM copyright notice

Change-Id: I2b2b70e756b7eb9611b7b33b7d5f19b3b30e0a50

Merge "Remove unused buffer allocation functions" into nextgenv2

Merge "aomcx_set_ref -> aom_cx_set_ref" into nextgenv2

Merge "Change to use aom copyright notice" into nextgenv2

Merge "Add frame info in bitstream debug tool" into nextgenv2

Remove unused buffer allocation functions

Removed unused buffer allocation functions.

Change-Id: Ib779dde9ad6a511d88b7f7cba2604902eff7aa05

aomcx_set_ref -> aom_cx_set_ref

Change-Id: I60dd645451d6d65465f099a16ac855fb0b5a57a9

Change to use aom copyright notice

This minimize code differences between AOM master and nextgenv2

Change-Id: If144865bdf3ef0818e7aac11018b9e786444c550

Merge "Some cleanups for unnecessary macros" into nextgenv2

Add global motion experiment to rdopt

This patch completes the global motion experiment
implementation. It modifies the format of the motion
parameters to use the mv union to facilitate faster
copying and checks for parameters equal to 0 that occur
frequently in rdopt. The rd decisions for the global motion experiment
have also been added to rdopt.
Change-Id: Idfb9f0c6d23e538221763881099c5a2a3891f5a9

Port two daala_dering changes from AOMedia

03394bd Remove dead code from av1_dering_search.
337b23a Changing the weights of the first CRF filter in deringing

Change-Id: I1216c146dc3f72f24ceec3d3c65c4dd6cd73623e

rename two mk files to make naming consistent

av1cx.mk -> av1_cx.mk
av1dx.mk -> av1_dx.mk

Change-Id: I698bd65b933c433066d5dfeb94cee680095508e4

Merge "Add explict conversion from int64_t to int" into nextgenv2

Add frame info in bitstream debug tool

Change-Id: Iead3edd8563d7900481eb199e8b003d2d3df075b

Add explict conversion from int64_t to int

The values after right shifts should fit into 32bit int. The commit
fixes MSVC build warning when new-quant is enabled.

Change-Id: Ic89dd86fb981a1206653943658af2b6b2925a676

Merge ".gitignore: corrent entries from vpx to aom" into nextgenv2

Merge "Add ALT_INTRA experiment." into nextgenv2

.gitignore: corrent entries from vpx to aom

Change-Id: I8af6a9723c31c0f868e9bd75dcc079413a3700c4

Add ALT_INTRA experiment.

When the experiment is ON, we use Paeth predictor instead of TM
predictor.

For derf set, this gives about 0.09% improvement overall, and 0.55%
improvement if all frames are forced to be intra-only.

Also, if the EXT_INTRA experiment is also on, the improvement overall
is 0.056%, and improvement if all frames are forced to be intra-only is
0.465%.

Change-Id: Id74e107ede70a8d2107fa14fcb3f44b23a437274

add an explicit conversion from size_t to int

Function ans_read_int() takes int as parameter, this commit uses an
explicit conversion to avoid MSVC building warning.

Change-Id: Ia405e1d5a86c0f42932fa1da29417ccbf2dd58e7

Replace inline with INLINE

This fixes msvc build errors.

Change-Id: I1344685e891db61ba569d818e0f2167b2978c299

Some cleanups for unnecessary macros

Remove some macros that are no longer necessary for experimentation.

Change-Id: I959bf441c8333607df4aa1ee18841f189ade8112

Port renaming changes from AOMedia

Cherry-Picked the following commits:
0defd8f Changed "WebM" to "AOMedia" & "webm" to "aomedia"
54e6676 Replace "VPx" by "AVx"
5082a36 Change "Vpx" to "Avx"
7df44f1 Replace "Vp9" w/ "Av1"
967f722 Remove kVp9CodecId
828f30c Change "Vp8" to "AOM"
030b5ff AUTHORS regenerated
2524cae Add ref-mv experimental flag
016762b Change copyright notice to AOMedia form
81e5526 Replace vp9 w/ av1
9b94565 Add missing files
fa8ca9f Change "vp9" to "av1"
ec838b7  Convert "vp8" to "aom"
80edfa0 Change "VP9" to "AV1"
d1a11fb Change "vp8" to "aom"
7b58251 Point to WebM test data
dd1a5c8 Replace "VP8" with "AOM"
ff00fc0 Change "VPX" to "AOM"
01dee0b Change "vp10" to "av1" in source code
cebe6f0 Convert "vpx" to "aom"
17b0567 rename vp10*.mk to av1_*.mk
fe5f8a8 rename files vp10_* to av1_*

Change-Id: I6fc3d18eb11fc171e46140c836ad5339cf6c9419

Port folder renaming changes from AOM

Manually cherry-picked commits:
ceef058 libvpx->libaom part2
3d26d91 libvpx -> libaom
cfea7dd vp10/ -> av1/
3a8eff7 Fix a build issue for a test
bf4202e Rename vpx to aom

Change-Id: I1b0eb5a40796e3aaf41c58984b4229a439a597dc

Merge "Change buffer_alloc_sz and frame_size type to size_t" into nextgenv2

Change buffer_alloc_sz and frame_size type to size_t

1. Changed buffer_alloc_sz and frame_size type to size_t.
2. Added a TODO for video resolution limits. On 32 bit systems, the maximum
resolution supported in the encoder is 4k(3840x2160). The malloc() would
fail if encoding >4k video on a 32 bit system.

Change-Id: Ibd91b28fd63d1b04e8ac9a5270a17629f239188a

Merge "Fix Visual Studio build warnings" into nextgenv2

Merge "Remove unused buffer allocation functions" into nextgenv2

Fix a bug in calculating the compound ref frame cost

The previous ext-refs experiment did not consider the cost of the 2nd
reference frame on mode decision in the compound mode. With the fix,
using Overall PSNR, compared to the previous ext-refs RD performance
before the bug fix, all against the baseline, the improvements are:

"ext-refs" before fix: lowres -5.665%  midres: -4.833%
"ext-refs" after fix:  lowres -5.776%  midres: -5.000%
Improvement by the fix: lowres -0.111%  midres: -0.167%

Change-Id: I2eceedf2d4046b169514e049fd01baaf0bbb50c6

Merge "Fix a bug in deciding ref frame context in ext-refs" into nextgenv2

Make an unmeaningful change to be added into the list

Change-Id: I578589a955bd3f3d7ff61723b574361661453f67

Fix a bug in deciding ref frame context in ext-refs

Change-Id: Ie58b98baa870c5d2a5b7193f8fe4f84fd7ec6c16

Fix Visual Studio build warnings

Fixed a list of VS warnings. Warning message:
..\test\vp10_convolve_test.cc(34): warning C4244: 'initializing' : conversion
from 'ptrdiff_t' to 'int', possible loss of data

Change-Id: I9a1d3978a79fbb7b1ac028c5713ac72b6ff99172

Merge "clpf experiment build fix" into nextgenv2

Implement global motion parameter computation

This computes global motion parameters between 2 frames by
matching corresponding points using FAST feature and then
fitting a model using RANSAC.

Change-Id: Ib6664df44090e8cfa4db9f2f9e0556931ccfe5c8

Remove unused buffer allocation functions

Removed unused buffer allocation functions.

Change-Id: I5aa265a7698a2d2df736ddb89c6d93a5ee34895b

Merge "Tiling in loop restoration + cosmetics" into nextgenv2

clpf experiment build fix

Change-Id: I729e14916ecb58b5a75756078ab96a2d340bc0d6

Tiling in loop restoration + cosmetics

Frame can be split into rectangular tiles for application of separate
bilateral or Wiener filters per tile. Some variable names changed for
better readability.

Change-Id: I13ebc4d0b0baf368e524db5ce276f03ed76af9c8

Fix for supertx with rect-tx

Change-Id: I0cc3523a8992f889f8dd203449ceb55f2a422324

fix uint32_t <-> size_t mismatch in tests

Change-Id: Ifde4d57957219560e01ebd1657f1c0721f041054

Merge "vp10_alloc_context_buffers: clear cm->mi* on failure" into nextgenv2

Merge "Fix VS build warnings in blend_a64_mask_test.cc" into nextgenv2

Merge "Remove unnecessary buffer pointers in PICK_MODE_CONTEXT" into nextgenv2

Fix VS build warnings in blend_a64_mask_test.cc

Change-Id: Id4c764198549a60d98e5c4a74083972b97da5b81

Fix compile error in dering

Change-Id: I56890c813de1b366e4ef482d9fc6da81034636ab

Use rectangular transforms for >= 8x8 blocks

For rectangular blocks between 8x8 and 32x32, we can now code the
transform size as one bigger than the largest square that fits in
the block (eg, for 16x8, we can code a transform size of 16x16
rather than the previous maximum of 8x8), when this oversized
transform is coded in the bitstream, the codec will use the full
size rectangular transform for that block (eg 16x8 transform in
the above example).

Also fixes a scaling bug in 16x8/8x16 transforms.

Change-Id: I62ce75f1b01c46fe2fbc727ce4abef695f4fcd43

Merge "Update VP9_PROB_COST_SHIFT to VP10_PROB_COST_SHIFT" into nextgenv2

Separate EXT_ARFs' frame context index

This commit separate the frame index of EXT_ARFs' from other frame
types in the ext-refs setting.

It improves the average RD performance by

0.206% in the lowres, and
0.173% in the midres.

The overall gains for the ext-refs compared to the baseline are

5.665% in the lowres, and
4.883% in the midres.

Change-Id: I6591ad29120880c1aef0bd0b7cf15238c3f3b8f3

Merge "Fix motion vector out of range bugs" into nextgenv2

Update VP9_PROB_COST_SHIFT to VP10_PROB_COST_SHIFT

Change-Id: Ie1416569e73e66518cdb2765d79a2fb3dd570489

Fix motion vector out of range bugs

2 bugs were fixed in VP9.
https://chromium-review.googlesource.com/#/c/366873/
https://chromium-review.googlesource.com/#/c/368440/
Fixed them in VP10 as well.

Change-Id: I2e53fabc6131ff80ba6dcfd4c73eb76c59b4c474

Merge "gitignore: add some entries" into nextgenv2

Merge "test_intra_pred_speed fix: use dspr2 version when HAVE_DSPR2" into nextgenv2

Remove unnecessary buffer pointers in PICK_MODE_CONTEXT

Change-Id: I600af6a66dc0e1310c8bfc7c16efa8a82e90856d

Merge "Make rectangular txfm in EXT_TX work with VAR_TX" into nextgenv2

Palette code: remove the use of same if condition twice.

rd_pick_palette_intra_sby() method is called only when,
cpi->common.allow_screen_content_tools is on. So, no need to check that
again. We just use an assert() instead to still be safe.

Change-Id: I19785c2aac016798c8d331bbe91971b3806b73a8

Merge "Rename CONFIG_VPX_HIGHBITDEPTH -> CONFIG_VP9_HIGHBITDEPTH" into nextgenv2

Make rectangular txfm in EXT_TX work with VAR_TX

Adapt rectangular txfm experiment to syntax/tokenization/loopfilter
framework of VAR_TX

Change-Id: Idcb005ecf5b3712de3e1cccb0d811ca16d87af24

Rename CONFIG_VPX_HIGHBITDEPTH -> CONFIG_VP9_HIGHBITDEPTH

"vpx-highbitdepth" config doesn't exist.

Change-Id: Ib6d3691454299bb381ecc75b80657fbebf9f59b2

test_intra_pred_speed fix: use dspr2 version when HAVE_DSPR2

Change-Id: Ie7c78e19e077516615c71669022f505f8b3c80ca

gitignore: add some entries

Change-Id: I65507c3d132b2b3ba90cf0a7b1c729da7d3de15f

Merge "Allow LF_UPDATE type of frames to use BWDREF" into nextgenv2

Missing fixes for rect-tx

Reintroducing some fixes that were dropped inadvertently in
course of rebasing.

Change-Id: I5f51160c586010590d4bfd5cf225fb21347b0a40

Merge "Make type conversion explicit" into nextgenv2

Merge "Various rect-tx fixes" into nextgenv2

Make type conversion explicit

This fixes two MSVC compiler warnings.

Change-Id: I55ad8833676e20c2c4a55885b99a7a9293d9623f

Merge "Apply clang-format" into nextgenv2

Allow LF_UPDATE type of frames to use BWDREF

Originally, only bi-pred type of frames can use BWDREF. When
extra alt-refs are inserted in a gf group, the closest alt-ref
serves as ALTREF for the frames within the corresponding
subgroup. Therefore, the original alt-ref can be used as BWDREF
for the LF_UPDATE type of frames.

This patch further swaps the virtual indices of BWDREF and ALTREF
for those frames whose BWDREF is farther than ALTREF. As a result,
the BWDREF is always the closet backward reference frame, and the
ALTREF is the farther one.

It improves the average RD performance by

0.132% in lowres, and
0.030% in midres.

The overall gains for the ext-refs compared to the baseline are

5.486% in lowres, and
4.666% in midres.

Change-Id: I22e4e5f378f19c4c89196a0a5e9214adb46c3428

Apply clang-format

Change-Id: Ie283af5f30324f54b4f749becdb48f937584707d

Various rect-tx fixes

Change-Id: I02f44713b99284092ecfc50ce7ab268e91d2c6f8

Add integerize function back in warped_motion.c

This function was previously unused and removed in
I6bc740e778658d6f81ca54888fc6fa822d3b5ee0. I am adding it back in
with previously suggested fixes.

Change-Id: Iee0afb39170d25895b11d07e71843eae6913efd1

Merge "Palette: count Y colors only for screen content." into nextgenv2

Merge "Handle centroid rounding inside palette.c itself." into nextgenv2

Merge "Insert extra ARFs' in a gf group" into nextgenv2

Merge "Fix compiler warnings in rdopt when warped motion is enabled" into nextgenv2

Palette: count Y colors only for screen content.

Change-Id: Id4e12708598100df54bdfcf8cdb248161ab6ef88

Handle centroid rounding inside palette.c itself.

Mostly refactoring, but a very tiny functional change:
Do all rounding in calc_centroids() itself, instead of rounding in two
places inside palette.c

This gives a slight performance improvement for screen content:
0.078% on average.

Change-Id: I7a0e007d30ebf4e59839483a167123f31a222dd4

Fix compiler warnings in rdopt when warped motion is enabled

The previous code was giving:
 unused variable ‘tmp_rate’ [-Wunused-variable]
 unused variable ‘tmp_dist’ [-Wunused-variable]
 ‘rate2_nocoeff’ may be used uninitialized in this function [-Wmaybe-uninitialized]

Change-Id: I26326d0e5ffc141ad548654356a877cd3627cea6

vp10_alloc_context_buffers: clear cm->mi* on failure

based on:
8b4c315 vp9_alloc_context_buffers: clear cm->mi* on failure

Change-Id: I3438a052721b960ff178cb647780f11bc33571fe

Merge "Don't send segment probability updates when the map isn't updated." into nextgenv2

Merge "apply clang-format" into nextgenv2

Insert extra ARFs' in a gf group

Insert multiple arfs in a gf group to emulate multi-layer backward
reference frames structure. At maximum, two extra ARF's are inserted
in a gf group.

It improves the RD performance by 0.317% in Avg in lowres dataset.

Change-Id: I62c32e1b0f25b978484dd113b319bebcd959bf60

Disable global motion experiment when incompatible experiments are enabled

This is temporary until the global motion experiment is made to work
with ext_inter and dual_filter.

Change-Id: I73624ca6f536fd98218d7e07bcd7a2c1e6f5aebd

apply clang-format

after:
253c001 Port dering experiment from aom
7208145 Adding 8x16/16x8/32x16/16x32 transforms

Change-Id: Id93e0d7b72a128701d8dec35fc2fac473944d0c1