]> granicus.if.org Git - libvpx/commitdiff
projects / libvpx / commitdiff
? search:
summary | shortlog | log | commit | commitdiff | tree
raw | patch | inline | side by side (parent: 02d23fb)
Let txfm's constant bit be the same for each stage
authorAngie Chiang <angiebird@google.com>
Thu, 14 Apr 2016 22:35:14 +0000 (15:35 -0700)
committerAngie Chiang <angiebird@google.com>
Thu, 14 Apr 2016 22:46:54 +0000 (15:46 -0700)
Change-Id: I763f2924afca526db371231bca18b38879bdf793

vp10/common/vp10_fwd_txfm2d_cfg.h patch | blob | history
vp10/common/vp10_inv_txfm2d_cfg.h patch | blob | history

diff --git a/vp10/common/vp10_fwd_txfm2d_cfg.h b/vp10/common/vp10_fwd_txfm2d_cfg.h
index 1b01322cf22b4f21aa00cc26984f01506440c462..c0d06bab8c33585983cab9a38145da241d63a0c4 100644 (file)
--- a/vp10/common/vp10_fwd_txfm2d_cfg.h
+++ b/vp10/common/vp10_fwd_txfm2d_cfg.h
@@ -36,7 +36,7 @@ static const int8_t fwd_shift_dct_dct_8[3] = {3, -1, -1};
 static const int8_t fwd_stage_range_col_dct_dct_8[6] = {16, 17, 18, 19, 19, 19};
 static const int8_t fwd_stage_range_row_dct_dct_8[6] = {18, 19, 20, 20, 20, 20};
 static const int8_t fwd_cos_bit_col_dct_dct_8[6] = {13, 13, 13, 13, 13, 13};
-static const int8_t fwd_cos_bit_row_dct_dct_8[6] = {13, 13, 12, 12, 12, 12};
+static const int8_t fwd_cos_bit_row_dct_dct_8[6] = {12, 12, 12, 12, 12, 12};
 
 static const TXFM_2D_CFG fwd_txfm_2d_cfg_dct_dct_8 = {
     8,  // .txfm_size
@@ -59,7 +59,7 @@ static const int8_t fwd_stage_range_row_dct_dct_16[8] = {17, 18, 19, 20,
                                                          20, 20, 20, 20};
 static const int8_t fwd_cos_bit_col_dct_dct_16[8] = {13, 13, 13, 13,
                                                      13, 13, 13, 13};
-static const int8_t fwd_cos_bit_row_dct_dct_16[8] = {13, 13, 13, 12,
+static const int8_t fwd_cos_bit_row_dct_dct_16[8] = {12, 12, 12, 12,
                                                      12, 12, 12, 12};
 
 static const TXFM_2D_CFG fwd_txfm_2d_cfg_dct_dct_16 = {
@@ -81,9 +81,9 @@ static const int8_t fwd_stage_range_col_dct_dct_32[10] = {15, 16, 17, 18, 19,
                                                           20, 20, 20, 20, 20};
 static const int8_t fwd_stage_range_row_dct_dct_32[10] = {16, 17, 18, 19, 20,
                                                           20, 20, 20, 20, 20};
-static const int8_t fwd_cos_bit_col_dct_dct_32[10] = {13, 13, 13, 13, 13,
+static const int8_t fwd_cos_bit_col_dct_dct_32[10] = {12, 12, 12, 12, 12,
                                                       12, 12, 12, 12, 12};
-static const int8_t fwd_cos_bit_row_dct_dct_32[10] = {13, 13, 13, 13, 12,
+static const int8_t fwd_cos_bit_row_dct_dct_32[10] = {12, 12, 12, 12, 12,
                                                       12, 12, 12, 12, 12};
 
 static const TXFM_2D_CFG fwd_txfm_2d_cfg_dct_dct_32 = {
@@ -150,8 +150,8 @@ static const int8_t fwd_stage_range_col_dct_adst_8[6] = {16, 17, 18,
 static const int8_t fwd_stage_range_row_dct_adst_8[8] = {18, 18, 18, 19,
                                                          19, 20, 20, 20};
 static const int8_t fwd_cos_bit_col_dct_adst_8[6] = {13, 13, 13, 13, 13, 13};
-static const int8_t fwd_cos_bit_row_dct_adst_8[8] = {13, 13, 13, 13,
-                                                     13, 12, 12, 12};
+static const int8_t fwd_cos_bit_row_dct_adst_8[8] = {12, 12, 12, 12,
+                                                     12, 12, 12, 12};
 
 static const TXFM_2D_CFG fwd_txfm_2d_cfg_dct_adst_8 = {
     8,  // .txfm_size
@@ -174,8 +174,8 @@ static const int8_t fwd_stage_range_row_dct_adst_16[10] = {17, 17, 17, 18, 18,
                                                            19, 19, 20, 20, 20};
 static const int8_t fwd_cos_bit_col_dct_adst_16[8] = {13, 13, 13, 13,
                                                       13, 13, 13, 13};
-static const int8_t fwd_cos_bit_row_dct_adst_16[10] = {13, 13, 13, 13, 13,
-                                                       13, 13, 12, 12, 12};
+static const int8_t fwd_cos_bit_row_dct_adst_16[10] = {12, 12, 12, 12, 12,
+                                                       12, 12, 12, 12, 12};
 
 static const TXFM_2D_CFG fwd_txfm_2d_cfg_dct_adst_16 = {
     16,  // .txfm_size
@@ -196,10 +196,10 @@ static const int8_t fwd_stage_range_col_dct_adst_32[10] = {15, 16, 17, 18, 19,
                                                            20, 20, 20, 20, 20};
 static const int8_t fwd_stage_range_row_dct_adst_32[12] = {
     16, 16, 16, 17, 17, 18, 18, 19, 19, 20, 20, 20};
-static const int8_t fwd_cos_bit_col_dct_adst_32[10] = {13, 13, 13, 13, 13,
+static const int8_t fwd_cos_bit_col_dct_adst_32[10] = {12, 12, 12, 12, 12,
                                                        12, 12, 12, 12, 12};
-static const int8_t fwd_cos_bit_row_dct_adst_32[12] = {13, 13, 13, 13, 13, 13,
-                                                       13, 13, 13, 12, 12, 12};
+static const int8_t fwd_cos_bit_row_dct_adst_32[12] = {12, 12, 12, 12, 12, 12,
+                                                       12, 12, 12, 12, 12, 12};
 
 static const TXFM_2D_CFG fwd_txfm_2d_cfg_dct_adst_32 = {
     32,  // .txfm_size
@@ -243,8 +243,8 @@ static const int8_t fwd_stage_range_row_adst_adst_8[8] = {18, 18, 18, 19,
                                                           19, 20, 20, 20};
 static const int8_t fwd_cos_bit_col_adst_adst_8[8] = {13, 13, 13, 13,
                                                       13, 13, 13, 13};
-static const int8_t fwd_cos_bit_row_adst_adst_8[8] = {13, 13, 13, 13,
-                                                      13, 12, 12, 12};
+static const int8_t fwd_cos_bit_row_adst_adst_8[8] = {12, 12, 12, 12,
+                                                      12, 12, 12, 12};
 
 static const TXFM_2D_CFG fwd_txfm_2d_cfg_adst_adst_8 = {
     8,  // .txfm_size
@@ -267,8 +267,8 @@ static const int8_t fwd_stage_range_row_adst_adst_16[10] = {17, 17, 17, 18, 18,
                                                             19, 19, 20, 20, 20};
 static const int8_t fwd_cos_bit_col_adst_adst_16[10] = {13, 13, 13, 13, 13,
                                                         13, 13, 13, 13, 13};
-static const int8_t fwd_cos_bit_row_adst_adst_16[10] = {13, 13, 13, 13, 13,
-                                                        13, 13, 12, 12, 12};
+static const int8_t fwd_cos_bit_row_adst_adst_16[10] = {12, 12, 12, 12, 12,
+                                                        12, 12, 12, 12, 12};
 
 static const TXFM_2D_CFG fwd_txfm_2d_cfg_adst_adst_16 = {
     16,  // .txfm_size
@@ -289,10 +289,10 @@ static const int8_t fwd_stage_range_col_adst_adst_32[12] = {
     15, 15, 16, 17, 17, 18, 18, 19, 19, 20, 20, 20};
 static const int8_t fwd_stage_range_row_adst_adst_32[12] = {
     16, 16, 16, 17, 17, 18, 18, 19, 19, 20, 20, 20};
-static const int8_t fwd_cos_bit_col_adst_adst_32[12] = {13, 13, 13, 13, 13, 13,
-                                                        13, 13, 13, 12, 12, 12};
-static const int8_t fwd_cos_bit_row_adst_adst_32[12] = {13, 13, 13, 13, 13, 13,
-                                                        13, 13, 13, 12, 12, 12};
+static const int8_t fwd_cos_bit_col_adst_adst_32[12] = {12, 12, 12, 12, 12, 12,
+                                                        12, 12, 12, 12, 12, 12};
+static const int8_t fwd_cos_bit_row_adst_adst_32[12] = {12, 12, 12, 12, 12, 12,
+                                                        12, 12, 12, 12, 12, 12};
 
 static const TXFM_2D_CFG fwd_txfm_2d_cfg_adst_adst_32 = {
     32,  // .txfm_size
@@ -336,7 +336,7 @@ static const int8_t fwd_stage_range_row_adst_dct_8[6] = {18, 19, 20,
                                                          20, 20, 20};
 static const int8_t fwd_cos_bit_col_adst_dct_8[8] = {13, 13, 13, 13,
                                                      13, 13, 13, 13};
-static const int8_t fwd_cos_bit_row_adst_dct_8[6] = {13, 13, 12, 12, 12, 12};
+static const int8_t fwd_cos_bit_row_adst_dct_8[6] = {12, 12, 12, 12, 12, 12};
 
 static const TXFM_2D_CFG fwd_txfm_2d_cfg_adst_dct_8 = {
     8,  // .txfm_size
@@ -359,7 +359,7 @@ static const int8_t fwd_stage_range_row_adst_dct_16[8] = {17, 18, 19, 20,
                                                           20, 20, 20, 20};
 static const int8_t fwd_cos_bit_col_adst_dct_16[10] = {13, 13, 13, 13, 13,
                                                        13, 13, 13, 13, 13};
-static const int8_t fwd_cos_bit_row_adst_dct_16[8] = {13, 13, 13, 12,
+static const int8_t fwd_cos_bit_row_adst_dct_16[8] = {12, 12, 12, 12,
                                                       12, 12, 12, 12};
 
 static const TXFM_2D_CFG fwd_txfm_2d_cfg_adst_dct_16 = {
@@ -381,9 +381,9 @@ static const int8_t fwd_stage_range_col_adst_dct_32[12] = {
     15, 15, 16, 17, 17, 18, 18, 19, 19, 20, 20, 20};
 static const int8_t fwd_stage_range_row_adst_dct_32[10] = {16, 17, 18, 19, 20,
                                                            20, 20, 20, 20, 20};
-static const int8_t fwd_cos_bit_col_adst_dct_32[12] = {13, 13, 13, 13, 13, 13,
-                                                       13, 13, 13, 12, 12, 12};
-static const int8_t fwd_cos_bit_row_adst_dct_32[10] = {13, 13, 13, 13, 12,
+static const int8_t fwd_cos_bit_col_adst_dct_32[12] = {12, 12, 12, 12, 12, 12,
+                                                       12, 12, 12, 12, 12, 12};
+static const int8_t fwd_cos_bit_row_adst_dct_32[10] = {12, 12, 12, 12, 12,
                                                        12, 12, 12, 12, 12};
 
 static const TXFM_2D_CFG fwd_txfm_2d_cfg_adst_dct_32 = {
diff --git a/vp10/common/vp10_inv_txfm2d_cfg.h b/vp10/common/vp10_inv_txfm2d_cfg.h
index 983220f14ae74e8145e0469a8c266c5b7ef8f328..74c8c4106033404f059c44f3e7bbcad7690dee7c 100644 (file)
--- a/vp10/common/vp10_inv_txfm2d_cfg.h
+++ b/vp10/common/vp10_inv_txfm2d_cfg.h
@@ -35,7 +35,7 @@ static const TXFM_2D_CFG inv_txfm_2d_cfg_dct_dct_4 = {
 static const int8_t inv_shift_dct_dct_8[2] = {1, -6};
 static const int8_t inv_stage_range_col_dct_dct_8[6] = {20, 20, 20, 20, 19, 19};
 static const int8_t inv_stage_range_row_dct_dct_8[6] = {19, 19, 19, 19, 19, 19};
-static const int8_t inv_cos_bit_col_dct_dct_8[6] = {12, 12, 12, 12, 12, 13};
+static const int8_t inv_cos_bit_col_dct_dct_8[6] = {12, 12, 12, 12, 12, 12};
 static const int8_t inv_cos_bit_row_dct_dct_8[6] = {13, 13, 13, 13, 13, 13};
 
 static const TXFM_2D_CFG inv_txfm_2d_cfg_dct_dct_8 = {
@@ -106,7 +106,7 @@ static const int8_t inv_stage_range_col_dct_dct_64[12] = {
 static const int8_t inv_stage_range_row_dct_dct_64[12] = {
     20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20, 20};
 static const int8_t inv_cos_bit_col_dct_dct_64[12] = {13, 13, 13, 13, 13, 13,
-                                                      13, 13, 13, 13, 13, 14};
+                                                      13, 13, 13, 13, 13, 13};
 static const int8_t inv_cos_bit_row_dct_dct_64[12] = {12, 12, 12, 12, 12, 12,
                                                       12, 12, 12, 12, 12, 12};
 
@@ -149,7 +149,7 @@ static const int8_t inv_stage_range_col_dct_adst_8[6] = {20, 20, 20,
                                                          20, 19, 19};
 static const int8_t inv_stage_range_row_dct_adst_8[8] = {19, 19, 19, 19,
                                                          19, 19, 19, 19};
-static const int8_t inv_cos_bit_col_dct_adst_8[6] = {12, 12, 12, 12, 12, 13};
+static const int8_t inv_cos_bit_col_dct_adst_8[6] = {12, 12, 12, 12, 12, 12};
 static const int8_t inv_cos_bit_row_dct_adst_8[8] = {13, 13, 13, 13,
                                                      13, 13, 13, 13};
 
@@ -243,7 +243,7 @@ static const int8_t inv_stage_range_col_adst_adst_8[8] = {20, 20, 20, 20,
 static const int8_t inv_stage_range_row_adst_adst_8[8] = {19, 19, 19, 19,
                                                           19, 19, 19, 19};
 static const int8_t inv_cos_bit_col_adst_adst_8[8] = {12, 12, 12, 12,
-                                                      12, 12, 12, 13};
+                                                      12, 12, 12, 12};
 static const int8_t inv_cos_bit_row_adst_adst_8[8] = {13, 13, 13, 13,
                                                       13, 13, 13, 13};
 
@@ -336,7 +336,7 @@ static const int8_t inv_stage_range_col_adst_dct_8[8] = {20, 20, 20, 20,
 static const int8_t inv_stage_range_row_adst_dct_8[6] = {19, 19, 19,
                                                          19, 19, 19};
 static const int8_t inv_cos_bit_col_adst_dct_8[8] = {12, 12, 12, 12,
-                                                     12, 12, 12, 13};
+                                                     12, 12, 12, 12};
 static const int8_t inv_cos_bit_row_adst_dct_8[6] = {13, 13, 13, 13, 13, 13};
 
 static const TXFM_2D_CFG inv_txfm_2d_cfg_adst_dct_8 = {
Unnamed repository; edit this file 'description' to name the repository.