]> granicus.if.org Git - libvpx/commitdiff
vp9_encodeframe: quiet a few integer sanitizer warnings
authorJames Zern <jzern@google.com>
Thu, 27 Jun 2019 22:53:58 +0000 (15:53 -0700)
committerJames Zern <jzern@google.com>
Thu, 27 Jun 2019 23:01:11 +0000 (16:01 -0700)
implicit conversion from type 'int' of value -2 (32-bit, signed) to type
'uint8_t' (aka 'unsigned char') changed the value to 254 (8-bit,
unsigned)

BUG=webm:1615

Change-Id: I9b8f5a9df3211e344e91d67a45d321e7115f5d4a

vp9/encoder/vp9_encodeframe.c

index d47b411fa8d9a985ee4bf161d90b223af8e4f7d0..b91f4f2b3ed09914836c7778071c84b5b9a090a4 100644 (file)
@@ -4248,13 +4248,21 @@ static int rd_pick_partition(VP9_COMP *cpi, ThreadData *td,
   if (cpi->sf.prune_ref_frame_for_rect_partitions) {
     uint8_t used_frames;
     used_frames = ref_frames_used[0] | ref_frames_used[1];
-    if (used_frames) pc_tree->horizontal[0].skip_ref_frame_mask = ~used_frames;
+    if (used_frames) {
+      pc_tree->horizontal[0].skip_ref_frame_mask = ~used_frames & 0xff;
+    }
     used_frames = ref_frames_used[2] | ref_frames_used[3];
-    if (used_frames) pc_tree->horizontal[1].skip_ref_frame_mask = ~used_frames;
+    if (used_frames) {
+      pc_tree->horizontal[1].skip_ref_frame_mask = ~used_frames & 0xff;
+    }
     used_frames = ref_frames_used[0] | ref_frames_used[2];
-    if (used_frames) pc_tree->vertical[0].skip_ref_frame_mask = ~used_frames;
+    if (used_frames) {
+      pc_tree->vertical[0].skip_ref_frame_mask = ~used_frames & 0xff;
+    }
     used_frames = ref_frames_used[1] | ref_frames_used[3];
-    if (used_frames) pc_tree->vertical[1].skip_ref_frame_mask = ~used_frames;
+    if (used_frames) {
+      pc_tree->vertical[1].skip_ref_frame_mask = ~used_frames & 0xff;
+    }
   }
 
   {