]> granicus.if.org Git - libvpx/commitdiff
vp9_rdopt: fix integer sanitizer warnings
authorHien Ho <hienho@google.com>
Fri, 28 Jun 2019 17:49:05 +0000 (10:49 -0700)
committerHien Ho <hienho@google.com>
Tue, 30 Jul 2019 17:41:42 +0000 (17:41 +0000)
implicit conversion from type 'int' of value -9 (32-bit, signed) to type
'uint8_t' (aka 'unsigned char') changed the value to 247 (8-bit, unsigned)

BUG=webm:1615

Change-Id: Ic2254ef4312f349ee38ec6e12a56b2cd5714b101

vp9/encoder/vp9_rdopt.c

index 65b94357dd8829c2d78e3536ef43e6ba8d0348d0..0e74de41351e05bd41036ac5cfadb7666eef0e3f 100644 (file)
@@ -3450,7 +3450,7 @@ void vp9_rd_pick_inter_mode_sb(VP9_COMP *cpi, TileDataEnc *tile_data,
   if (cpi->rc.is_src_frame_alt_ref) {
     if (sf->alt_ref_search_fp) {
       mode_skip_mask[ALTREF_FRAME] = 0;
-      ref_frame_skip_mask[0] = ~(1 << ALTREF_FRAME);
+      ref_frame_skip_mask[0] = ~(1 << ALTREF_FRAME) & 0xff;
       ref_frame_skip_mask[1] = SECOND_REF_FRAME_MASK;
     }
   }