granicus.if.org Git - libvpx/blob - vpx_dsp/arm/idct16x16_add_neon.c

   1 /*
   2  *  Copyright (c) 2014 The WebM project authors. All Rights Reserved.
   3  *
   4  *  Use of this source code is governed by a BSD-style license
   5  *  that can be found in the LICENSE file in the root of the source
   6  *  tree. An additional intellectual property rights grant can be found
   7  *  in the file PATENTS.  All contributing project authors may
   8  *  be found in the AUTHORS file in the root of the source tree.
   9  */
  10
  11 #include <arm_neon.h>
  12
  13 #include "./vpx_dsp_rtcd.h"
  14 #include "vpx_dsp/arm/idct_neon.h"
  15 #include "vpx_dsp/txfm_common.h"
  16
  17 static INLINE void wrap_low_4x2(const int32x4_t *const t32, int16x4_t *const d0,
  18                                 int16x4_t *const d1) {
  19   *d0 = vrshrn_n_s32(t32[0], DCT_CONST_BITS);
  20   *d1 = vrshrn_n_s32(t32[1], DCT_CONST_BITS);
  21 }
  22
  23 static INLINE void idct_cospi_8_24_d_kernel(const int16x4_t s0,
  24                                             const int16x4_t s1,
  25                                             const int16x4_t cospi_0_8_16_24,
  26                                             int32x4_t *const t32) {
  27   t32[0] = vmull_lane_s16(s0, cospi_0_8_16_24, 3);
  28   t32[1] = vmull_lane_s16(s1, cospi_0_8_16_24, 3);
  29   t32[0] = vmlsl_lane_s16(t32[0], s1, cospi_0_8_16_24, 1);
  30   t32[1] = vmlal_lane_s16(t32[1], s0, cospi_0_8_16_24, 1);
  31 }
  32
  33 static INLINE void idct_cospi_8_24_d(const int16x4_t s0, const int16x4_t s1,
  34                                      const int16x4_t cospi_0_8_16_24,
  35                                      int16x4_t *const d0, int16x4_t *const d1) {
  36   int32x4_t t32[2];
  37
  38   idct_cospi_8_24_d_kernel(s0, s1, cospi_0_8_16_24, t32);
  39   wrap_low_4x2(t32, d0, d1);
  40 }
  41
  42 static INLINE void idct_cospi_8_24_neg_d(const int16x4_t s0, const int16x4_t s1,
  43                                          const int16x4_t cospi_0_8_16_24,
  44                                          int16x4_t *const d0,
  45                                          int16x4_t *const d1) {
  46   int32x4_t t32[2];
  47
  48   idct_cospi_8_24_d_kernel(s0, s1, cospi_0_8_16_24, t32);
  49   t32[1] = vnegq_s32(t32[1]);
  50   wrap_low_4x2(t32, d0, d1);
  51 }
  52
  53 static INLINE void idct_cospi_16_16_d(const int16x4_t s0, const int16x4_t s1,
  54                                       const int16x4_t cospi_0_8_16_24,
  55                                       int16x4_t *const d0,
  56                                       int16x4_t *const d1) {
  57   int32x4_t t32[3];
  58
  59   t32[2] = vmull_lane_s16(s1, cospi_0_8_16_24, 2);
  60   t32[0] = vmlsl_lane_s16(t32[2], s0, cospi_0_8_16_24, 2);
  61   t32[1] = vmlal_lane_s16(t32[2], s0, cospi_0_8_16_24, 2);
  62   wrap_low_4x2(t32, d0, d1);
  63 }
  64
  65 static INLINE void idct16x16_add_store(const int16x8_t *const out,
  66                                        uint8_t *dest, const int stride) {
  67   // Add the result to dest
  68   idct16x16_add8x1(out[0], &dest, stride);
  69   idct16x16_add8x1(out[1], &dest, stride);
  70   idct16x16_add8x1(out[2], &dest, stride);
  71   idct16x16_add8x1(out[3], &dest, stride);
  72   idct16x16_add8x1(out[4], &dest, stride);
  73   idct16x16_add8x1(out[5], &dest, stride);
  74   idct16x16_add8x1(out[6], &dest, stride);
  75   idct16x16_add8x1(out[7], &dest, stride);
  76   idct16x16_add8x1(out[8], &dest, stride);
  77   idct16x16_add8x1(out[9], &dest, stride);
  78   idct16x16_add8x1(out[10], &dest, stride);
  79   idct16x16_add8x1(out[11], &dest, stride);
  80   idct16x16_add8x1(out[12], &dest, stride);
  81   idct16x16_add8x1(out[13], &dest, stride);
  82   idct16x16_add8x1(out[14], &dest, stride);
  83   idct16x16_add8x1(out[15], &dest, stride);
  84 }
  85
  86 static INLINE void idct16x16_add_store_bd8(int16x8_t *const out, uint16_t *dest,
  87                                            const int stride) {
  88   // Add the result to dest
  89   const int16x8_t max = vdupq_n_s16((1 << 8) - 1);
  90   out[0] = vrshrq_n_s16(out[0], 6);
  91   out[1] = vrshrq_n_s16(out[1], 6);
  92   out[2] = vrshrq_n_s16(out[2], 6);
  93   out[3] = vrshrq_n_s16(out[3], 6);
  94   out[4] = vrshrq_n_s16(out[4], 6);
  95   out[5] = vrshrq_n_s16(out[5], 6);
  96   out[6] = vrshrq_n_s16(out[6], 6);
  97   out[7] = vrshrq_n_s16(out[7], 6);
  98   out[8] = vrshrq_n_s16(out[8], 6);
  99   out[9] = vrshrq_n_s16(out[9], 6);
 100   out[10] = vrshrq_n_s16(out[10], 6);
 101   out[11] = vrshrq_n_s16(out[11], 6);
 102   out[12] = vrshrq_n_s16(out[12], 6);
 103   out[13] = vrshrq_n_s16(out[13], 6);
 104   out[14] = vrshrq_n_s16(out[14], 6);
 105   out[15] = vrshrq_n_s16(out[15], 6);
 106   highbd_idct16x16_add8x1(out[0], max, &dest, stride);
 107   highbd_idct16x16_add8x1(out[1], max, &dest, stride);
 108   highbd_idct16x16_add8x1(out[2], max, &dest, stride);
 109   highbd_idct16x16_add8x1(out[3], max, &dest, stride);
 110   highbd_idct16x16_add8x1(out[4], max, &dest, stride);
 111   highbd_idct16x16_add8x1(out[5], max, &dest, stride);
 112   highbd_idct16x16_add8x1(out[6], max, &dest, stride);
 113   highbd_idct16x16_add8x1(out[7], max, &dest, stride);
 114   highbd_idct16x16_add8x1(out[8], max, &dest, stride);
 115   highbd_idct16x16_add8x1(out[9], max, &dest, stride);
 116   highbd_idct16x16_add8x1(out[10], max, &dest, stride);
 117   highbd_idct16x16_add8x1(out[11], max, &dest, stride);
 118   highbd_idct16x16_add8x1(out[12], max, &dest, stride);
 119   highbd_idct16x16_add8x1(out[13], max, &dest, stride);
 120   highbd_idct16x16_add8x1(out[14], max, &dest, stride);
 121   highbd_idct16x16_add8x1(out[15], max, &dest, stride);
 122 }
 123
 124 void vpx_idct16x16_256_add_half1d(const void *const input, int16_t *output,
 125                                   void *const dest, const int stride,
 126                                   const int highbd_flag) {
 127   const int16x8_t cospis0 = vld1q_s16(kCospi);
 128   const int16x8_t cospis1 = vld1q_s16(kCospi + 8);
 129   const int16x4_t cospi_0_8_16_24 = vget_low_s16(cospis0);
 130   const int16x4_t cospi_4_12_20N_28 = vget_high_s16(cospis0);
 131   const int16x4_t cospi_2_30_10_22 = vget_low_s16(cospis1);
 132   const int16x4_t cospi_6_26N_14_18N = vget_high_s16(cospis1);
 133   int16x8_t in[16], step1[16], step2[16], out[16];
 134
 135   // Load input (16x8)
 136   if (output) {
 137     const tran_low_t *inputT = (const tran_low_t *)input;
 138     in[0] = load_tran_low_to_s16q(inputT);
 139     inputT += 8;
 140     in[8] = load_tran_low_to_s16q(inputT);
 141     inputT += 8;
 142     in[1] = load_tran_low_to_s16q(inputT);
 143     inputT += 8;
 144     in[9] = load_tran_low_to_s16q(inputT);
 145     inputT += 8;
 146     in[2] = load_tran_low_to_s16q(inputT);
 147     inputT += 8;
 148     in[10] = load_tran_low_to_s16q(inputT);
 149     inputT += 8;
 150     in[3] = load_tran_low_to_s16q(inputT);
 151     inputT += 8;
 152     in[11] = load_tran_low_to_s16q(inputT);
 153     inputT += 8;
 154     in[4] = load_tran_low_to_s16q(inputT);
 155     inputT += 8;
 156     in[12] = load_tran_low_to_s16q(inputT);
 157     inputT += 8;
 158     in[5] = load_tran_low_to_s16q(inputT);
 159     inputT += 8;
 160     in[13] = load_tran_low_to_s16q(inputT);
 161     inputT += 8;
 162     in[6] = load_tran_low_to_s16q(inputT);
 163     inputT += 8;
 164     in[14] = load_tran_low_to_s16q(inputT);
 165     inputT += 8;
 166     in[7] = load_tran_low_to_s16q(inputT);
 167     inputT += 8;
 168     in[15] = load_tran_low_to_s16q(inputT);
 169   } else {
 170     const int16_t *inputT = (const int16_t *)input;
 171     in[0] = vld1q_s16(inputT);
 172     inputT += 8;
 173     in[8] = vld1q_s16(inputT);
 174     inputT += 8;
 175     in[1] = vld1q_s16(inputT);
 176     inputT += 8;
 177     in[9] = vld1q_s16(inputT);
 178     inputT += 8;
 179     in[2] = vld1q_s16(inputT);
 180     inputT += 8;
 181     in[10] = vld1q_s16(inputT);
 182     inputT += 8;
 183     in[3] = vld1q_s16(inputT);
 184     inputT += 8;
 185     in[11] = vld1q_s16(inputT);
 186     inputT += 8;
 187     in[4] = vld1q_s16(inputT);
 188     inputT += 8;
 189     in[12] = vld1q_s16(inputT);
 190     inputT += 8;
 191     in[5] = vld1q_s16(inputT);
 192     inputT += 8;
 193     in[13] = vld1q_s16(inputT);
 194     inputT += 8;
 195     in[6] = vld1q_s16(inputT);
 196     inputT += 8;
 197     in[14] = vld1q_s16(inputT);
 198     inputT += 8;
 199     in[7] = vld1q_s16(inputT);
 200     inputT += 8;
 201     in[15] = vld1q_s16(inputT);
 202   }
 203
 204   // Transpose
 205   transpose_s16_8x8(&in[0], &in[1], &in[2], &in[3], &in[4], &in[5], &in[6],
 206                     &in[7]);
 207   transpose_s16_8x8(&in[8], &in[9], &in[10], &in[11], &in[12], &in[13], &in[14],
 208                     &in[15]);
 209
 210   // stage 1
 211   step1[0] = in[0 / 2];
 212   step1[1] = in[16 / 2];
 213   step1[2] = in[8 / 2];
 214   step1[3] = in[24 / 2];
 215   step1[4] = in[4 / 2];
 216   step1[5] = in[20 / 2];
 217   step1[6] = in[12 / 2];
 218   step1[7] = in[28 / 2];
 219   step1[8] = in[2 / 2];
 220   step1[9] = in[18 / 2];
 221   step1[10] = in[10 / 2];
 222   step1[11] = in[26 / 2];
 223   step1[12] = in[6 / 2];
 224   step1[13] = in[22 / 2];
 225   step1[14] = in[14 / 2];
 226   step1[15] = in[30 / 2];
 227
 228   // stage 2
 229   step2[0] = step1[0];
 230   step2[1] = step1[1];
 231   step2[2] = step1[2];
 232   step2[3] = step1[3];
 233   step2[4] = step1[4];
 234   step2[5] = step1[5];
 235   step2[6] = step1[6];
 236   step2[7] = step1[7];
 237   idct_cospi_2_30(step1[8], step1[15], cospi_2_30_10_22, &step2[8], &step2[15]);
 238   idct_cospi_14_18(step1[9], step1[14], cospi_6_26N_14_18N, &step2[9],
 239                    &step2[14]);
 240   idct_cospi_10_22(step1[10], step1[13], cospi_2_30_10_22, &step2[10],
 241                    &step2[13]);
 242   idct_cospi_6_26(step1[11], step1[12], cospi_6_26N_14_18N, &step2[11],
 243                   &step2[12]);
 244
 245   // stage 3
 246   step1[0] = step2[0];
 247   step1[1] = step2[1];
 248   step1[2] = step2[2];
 249   step1[3] = step2[3];
 250   idct_cospi_4_28(step2[4], step2[7], cospi_4_12_20N_28, &step1[4], &step1[7]);
 251   idct_cospi_12_20(step2[5], step2[6], cospi_4_12_20N_28, &step1[5], &step1[6]);
 252   step1[8] = vaddq_s16(step2[8], step2[9]);
 253   step1[9] = vsubq_s16(step2[8], step2[9]);
 254   step1[10] = vsubq_s16(step2[11], step2[10]);
 255   step1[11] = vaddq_s16(step2[11], step2[10]);
 256   step1[12] = vaddq_s16(step2[12], step2[13]);
 257   step1[13] = vsubq_s16(step2[12], step2[13]);
 258   step1[14] = vsubq_s16(step2[15], step2[14]);
 259   step1[15] = vaddq_s16(step2[15], step2[14]);
 260
 261   // stage 4
 262   idct_cospi_16_16_q(step1[1], step1[0], cospi_0_8_16_24, &step2[1], &step2[0]);
 263   idct_cospi_8_24_q(step1[2], step1[3], cospi_0_8_16_24, &step2[2], &step2[3]);
 264   step2[4] = vaddq_s16(step1[4], step1[5]);
 265   step2[5] = vsubq_s16(step1[4], step1[5]);
 266   step2[6] = vsubq_s16(step1[7], step1[6]);
 267   step2[7] = vaddq_s16(step1[7], step1[6]);
 268   step2[8] = step1[8];
 269   idct_cospi_8_24_q(step1[14], step1[9], cospi_0_8_16_24, &step2[9],
 270                     &step2[14]);
 271   idct_cospi_8_24_neg_q(step1[13], step1[10], cospi_0_8_16_24, &step2[13],
 272                         &step2[10]);
 273   step2[11] = step1[11];
 274   step2[12] = step1[12];
 275   step2[15] = step1[15];
 276
 277   // stage 5
 278   step1[0] = vaddq_s16(step2[0], step2[3]);
 279   step1[1] = vaddq_s16(step2[1], step2[2]);
 280   step1[2] = vsubq_s16(step2[1], step2[2]);
 281   step1[3] = vsubq_s16(step2[0], step2[3]);
 282   step1[4] = step2[4];
 283   idct_cospi_16_16_q(step2[5], step2[6], cospi_0_8_16_24, &step1[5], &step1[6]);
 284   step1[7] = step2[7];
 285   step1[8] = vaddq_s16(step2[8], step2[11]);
 286   step1[9] = vaddq_s16(step2[9], step2[10]);
 287   step1[10] = vsubq_s16(step2[9], step2[10]);
 288   step1[11] = vsubq_s16(step2[8], step2[11]);
 289   step1[12] = vsubq_s16(step2[15], step2[12]);
 290   step1[13] = vsubq_s16(step2[14], step2[13]);
 291   step1[14] = vaddq_s16(step2[14], step2[13]);
 292   step1[15] = vaddq_s16(step2[15], step2[12]);
 293
 294   // stage 6
 295   step2[0] = vaddq_s16(step1[0], step1[7]);
 296   step2[1] = vaddq_s16(step1[1], step1[6]);
 297   step2[2] = vaddq_s16(step1[2], step1[5]);
 298   step2[3] = vaddq_s16(step1[3], step1[4]);
 299   step2[4] = vsubq_s16(step1[3], step1[4]);
 300   step2[5] = vsubq_s16(step1[2], step1[5]);
 301   step2[6] = vsubq_s16(step1[1], step1[6]);
 302   step2[7] = vsubq_s16(step1[0], step1[7]);
 303   idct_cospi_16_16_q(step1[10], step1[13], cospi_0_8_16_24, &step2[10],
 304                      &step2[13]);
 305   idct_cospi_16_16_q(step1[11], step1[12], cospi_0_8_16_24, &step2[11],
 306                      &step2[12]);
 307   step2[8] = step1[8];
 308   step2[9] = step1[9];
 309   step2[14] = step1[14];
 310   step2[15] = step1[15];
 311
 312   // stage 7
 313   idct16x16_add_stage7(step2, out);
 314
 315   if (output) {
 316     idct16x16_store_pass1(out, output);
 317   } else {
 318     if (highbd_flag) {
 319       idct16x16_add_store_bd8(out, dest, stride);
 320     } else {
 321       idct16x16_add_store(out, dest, stride);
 322     }
 323   }
 324 }
 325
 326 void vpx_idct16x16_38_add_half1d(const void *const input, int16_t *const output,
 327                                  void *const dest, const int stride,
 328                                  const int highbd_flag) {
 329   const int16x8_t cospis0 = vld1q_s16(kCospi);
 330   const int16x8_t cospis1 = vld1q_s16(kCospi + 8);
 331   const int16x8_t cospisd0 = vaddq_s16(cospis0, cospis0);
 332   const int16x8_t cospisd1 = vaddq_s16(cospis1, cospis1);
 333   const int16x4_t cospi_0_8_16_24 = vget_low_s16(cospis0);
 334   const int16x4_t cospid_0_8_16_24 = vget_low_s16(cospisd0);
 335   const int16x4_t cospid_4_12_20N_28 = vget_high_s16(cospisd0);
 336   const int16x4_t cospid_2_30_10_22 = vget_low_s16(cospisd1);
 337   const int16x4_t cospid_6_26_14_18N = vget_high_s16(cospisd1);
 338   int16x8_t in[8], step1[16], step2[16], out[16];
 339
 340   // Load input (8x8)
 341   if (output) {
 342     const tran_low_t *inputT = (const tran_low_t *)input;
 343     in[0] = load_tran_low_to_s16q(inputT);
 344     inputT += 16;
 345     in[1] = load_tran_low_to_s16q(inputT);
 346     inputT += 16;
 347     in[2] = load_tran_low_to_s16q(inputT);
 348     inputT += 16;
 349     in[3] = load_tran_low_to_s16q(inputT);
 350     inputT += 16;
 351     in[4] = load_tran_low_to_s16q(inputT);
 352     inputT += 16;
 353     in[5] = load_tran_low_to_s16q(inputT);
 354     inputT += 16;
 355     in[6] = load_tran_low_to_s16q(inputT);
 356     inputT += 16;
 357     in[7] = load_tran_low_to_s16q(inputT);
 358   } else {
 359     const int16_t *inputT = (const int16_t *)input;
 360     in[0] = vld1q_s16(inputT);
 361     inputT += 16;
 362     in[1] = vld1q_s16(inputT);
 363     inputT += 16;
 364     in[2] = vld1q_s16(inputT);
 365     inputT += 16;
 366     in[3] = vld1q_s16(inputT);
 367     inputT += 16;
 368     in[4] = vld1q_s16(inputT);
 369     inputT += 16;
 370     in[5] = vld1q_s16(inputT);
 371     inputT += 16;
 372     in[6] = vld1q_s16(inputT);
 373     inputT += 16;
 374     in[7] = vld1q_s16(inputT);
 375   }
 376
 377   // Transpose
 378   transpose_s16_8x8(&in[0], &in[1], &in[2], &in[3], &in[4], &in[5], &in[6],
 379                     &in[7]);
 380
 381   // stage 1
 382   step1[0] = in[0 / 2];
 383   step1[2] = in[8 / 2];
 384   step1[4] = in[4 / 2];
 385   step1[6] = in[12 / 2];
 386   step1[8] = in[2 / 2];
 387   step1[10] = in[10 / 2];
 388   step1[12] = in[6 / 2];
 389   step1[14] = in[14 / 2];  // 0 in pass 1
 390
 391   // stage 2
 392   step2[0] = step1[0];
 393   step2[2] = step1[2];
 394   step2[4] = step1[4];
 395   step2[6] = step1[6];
 396   step2[8] = vqrdmulhq_lane_s16(step1[8], cospid_2_30_10_22, 1);
 397   step2[9] = vqrdmulhq_lane_s16(step1[14], cospid_6_26_14_18N, 3);
 398   step2[10] = vqrdmulhq_lane_s16(step1[10], cospid_2_30_10_22, 3);
 399   step2[11] = vqrdmulhq_lane_s16(step1[12], cospid_6_26_14_18N, 1);
 400   step2[12] = vqrdmulhq_lane_s16(step1[12], cospid_6_26_14_18N, 0);
 401   step2[13] = vqrdmulhq_lane_s16(step1[10], cospid_2_30_10_22, 2);
 402   step2[14] = vqrdmulhq_lane_s16(step1[14], cospid_6_26_14_18N, 2);
 403   step2[15] = vqrdmulhq_lane_s16(step1[8], cospid_2_30_10_22, 0);
 404
 405   // stage 3
 406   step1[0] = step2[0];
 407   step1[2] = step2[2];
 408   step1[4] = vqrdmulhq_lane_s16(step2[4], cospid_4_12_20N_28, 3);
 409   step1[5] = vqrdmulhq_lane_s16(step2[6], cospid_4_12_20N_28, 2);
 410   step1[6] = vqrdmulhq_lane_s16(step2[6], cospid_4_12_20N_28, 1);
 411   step1[7] = vqrdmulhq_lane_s16(step2[4], cospid_4_12_20N_28, 0);
 412   step1[8] = vaddq_s16(step2[8], step2[9]);
 413   step1[9] = vsubq_s16(step2[8], step2[9]);
 414   step1[10] = vsubq_s16(step2[11], step2[10]);
 415   step1[11] = vaddq_s16(step2[11], step2[10]);
 416   step1[12] = vaddq_s16(step2[12], step2[13]);
 417   step1[13] = vsubq_s16(step2[12], step2[13]);
 418   step1[14] = vsubq_s16(step2[15], step2[14]);
 419   step1[15] = vaddq_s16(step2[15], step2[14]);
 420
 421   // stage 4
 422   step2[0] = step2[1] = vqrdmulhq_lane_s16(step1[0], cospid_0_8_16_24, 2);
 423   step2[2] = vqrdmulhq_lane_s16(step1[2], cospid_0_8_16_24, 3);
 424   step2[3] = vqrdmulhq_lane_s16(step1[2], cospid_0_8_16_24, 1);
 425   step2[4] = vaddq_s16(step1[4], step1[5]);
 426   step2[5] = vsubq_s16(step1[4], step1[5]);
 427   step2[6] = vsubq_s16(step1[7], step1[6]);
 428   step2[7] = vaddq_s16(step1[7], step1[6]);
 429   step2[8] = step1[8];
 430   idct_cospi_8_24_q(step1[14], step1[9], cospi_0_8_16_24, &step2[9],
 431                     &step2[14]);
 432   idct_cospi_8_24_neg_q(step1[13], step1[10], cospi_0_8_16_24, &step2[13],
 433                         &step2[10]);
 434   step2[11] = step1[11];
 435   step2[12] = step1[12];
 436   step2[15] = step1[15];
 437
 438   // stage 5
 439   step1[0] = vaddq_s16(step2[0], step2[3]);
 440   step1[1] = vaddq_s16(step2[1], step2[2]);
 441   step1[2] = vsubq_s16(step2[1], step2[2]);
 442   step1[3] = vsubq_s16(step2[0], step2[3]);
 443   step1[4] = step2[4];
 444   idct_cospi_16_16_q(step2[5], step2[6], cospi_0_8_16_24, &step1[5], &step1[6]);
 445   step1[7] = step2[7];
 446   step1[8] = vaddq_s16(step2[8], step2[11]);
 447   step1[9] = vaddq_s16(step2[9], step2[10]);
 448   step1[10] = vsubq_s16(step2[9], step2[10]);
 449   step1[11] = vsubq_s16(step2[8], step2[11]);
 450   step1[12] = vsubq_s16(step2[15], step2[12]);
 451   step1[13] = vsubq_s16(step2[14], step2[13]);
 452   step1[14] = vaddq_s16(step2[14], step2[13]);
 453   step1[15] = vaddq_s16(step2[15], step2[12]);
 454
 455   // stage 6
 456   step2[0] = vaddq_s16(step1[0], step1[7]);
 457   step2[1] = vaddq_s16(step1[1], step1[6]);
 458   step2[2] = vaddq_s16(step1[2], step1[5]);
 459   step2[3] = vaddq_s16(step1[3], step1[4]);
 460   step2[4] = vsubq_s16(step1[3], step1[4]);
 461   step2[5] = vsubq_s16(step1[2], step1[5]);
 462   step2[6] = vsubq_s16(step1[1], step1[6]);
 463   step2[7] = vsubq_s16(step1[0], step1[7]);
 464   idct_cospi_16_16_q(step1[10], step1[13], cospi_0_8_16_24, &step2[10],
 465                      &step2[13]);
 466   idct_cospi_16_16_q(step1[11], step1[12], cospi_0_8_16_24, &step2[11],
 467                      &step2[12]);
 468   step2[8] = step1[8];
 469   step2[9] = step1[9];
 470   step2[14] = step1[14];
 471   step2[15] = step1[15];
 472
 473   // stage 7
 474   idct16x16_add_stage7(step2, out);
 475
 476   if (output) {
 477     idct16x16_store_pass1(out, output);
 478   } else {
 479     if (highbd_flag) {
 480       idct16x16_add_store_bd8(out, dest, stride);
 481     } else {
 482       idct16x16_add_store(out, dest, stride);
 483     }
 484   }
 485 }
 486
 487 void vpx_idct16x16_10_add_half1d_pass1(const tran_low_t *input,
 488                                        int16_t *output) {
 489   const int16x8_t cospis0 = vld1q_s16(kCospi);
 490   const int16x8_t cospis1 = vld1q_s16(kCospi + 8);
 491   const int16x8_t cospisd0 = vaddq_s16(cospis0, cospis0);
 492   const int16x8_t cospisd1 = vaddq_s16(cospis1, cospis1);
 493   const int16x4_t cospi_0_8_16_24 = vget_low_s16(cospis0);
 494   const int16x4_t cospid_0_8_16_24 = vget_low_s16(cospisd0);
 495   const int16x4_t cospid_4_12_20N_28 = vget_high_s16(cospisd0);
 496   const int16x4_t cospid_2_30_10_22 = vget_low_s16(cospisd1);
 497   const int16x4_t cospid_6_26_14_18N = vget_high_s16(cospisd1);
 498   int16x4_t in[4], step1[16], step2[16], out[16];
 499
 500   // Load input (4x4)
 501   in[0] = load_tran_low_to_s16d(input);
 502   input += 16;
 503   in[1] = load_tran_low_to_s16d(input);
 504   input += 16;
 505   in[2] = load_tran_low_to_s16d(input);
 506   input += 16;
 507   in[3] = load_tran_low_to_s16d(input);
 508
 509   // Transpose
 510   transpose_s16_4x4d(&in[0], &in[1], &in[2], &in[3]);
 511
 512   // stage 1
 513   step1[0] = in[0 / 2];
 514   step1[4] = in[4 / 2];
 515   step1[8] = in[2 / 2];
 516   step1[12] = in[6 / 2];
 517
 518   // stage 2
 519   step2[0] = step1[0];
 520   step2[4] = step1[4];
 521   step2[8] = vqrdmulh_lane_s16(step1[8], cospid_2_30_10_22, 1);
 522   step2[11] = vqrdmulh_lane_s16(step1[12], cospid_6_26_14_18N, 1);
 523   step2[12] = vqrdmulh_lane_s16(step1[12], cospid_6_26_14_18N, 0);
 524   step2[15] = vqrdmulh_lane_s16(step1[8], cospid_2_30_10_22, 0);
 525
 526   // stage 3
 527   step1[0] = step2[0];
 528   step1[4] = vqrdmulh_lane_s16(step2[4], cospid_4_12_20N_28, 3);
 529   step1[7] = vqrdmulh_lane_s16(step2[4], cospid_4_12_20N_28, 0);
 530   step1[8] = step2[8];
 531   step1[9] = step2[8];
 532   step1[10] = step2[11];
 533   step1[11] = step2[11];
 534   step1[12] = step2[12];
 535   step1[13] = step2[12];
 536   step1[14] = step2[15];
 537   step1[15] = step2[15];
 538
 539   // stage 4
 540   step2[0] = step2[1] = vqrdmulh_lane_s16(step1[0], cospid_0_8_16_24, 2);
 541   step2[4] = step1[4];
 542   step2[5] = step1[4];
 543   step2[6] = step1[7];
 544   step2[7] = step1[7];
 545   step2[8] = step1[8];
 546   idct_cospi_8_24_d(step1[14], step1[9], cospi_0_8_16_24, &step2[9],
 547                     &step2[14]);
 548   idct_cospi_8_24_neg_d(step1[13], step1[10], cospi_0_8_16_24, &step2[13],
 549                         &step2[10]);
 550   step2[11] = step1[11];
 551   step2[12] = step1[12];
 552   step2[15] = step1[15];
 553
 554   // stage 5
 555   step1[0] = step2[0];
 556   step1[1] = step2[1];
 557   step1[2] = step2[1];
 558   step1[3] = step2[0];
 559   step1[4] = step2[4];
 560   idct_cospi_16_16_d(step2[5], step2[6], cospi_0_8_16_24, &step1[5], &step1[6]);
 561   step1[7] = step2[7];
 562   step1[8] = vadd_s16(step2[8], step2[11]);
 563   step1[9] = vadd_s16(step2[9], step2[10]);
 564   step1[10] = vsub_s16(step2[9], step2[10]);
 565   step1[11] = vsub_s16(step2[8], step2[11]);
 566   step1[12] = vsub_s16(step2[15], step2[12]);
 567   step1[13] = vsub_s16(step2[14], step2[13]);
 568   step1[14] = vadd_s16(step2[14], step2[13]);
 569   step1[15] = vadd_s16(step2[15], step2[12]);
 570
 571   // stage 6
 572   step2[0] = vadd_s16(step1[0], step1[7]);
 573   step2[1] = vadd_s16(step1[1], step1[6]);
 574   step2[2] = vadd_s16(step1[2], step1[5]);
 575   step2[3] = vadd_s16(step1[3], step1[4]);
 576   step2[4] = vsub_s16(step1[3], step1[4]);
 577   step2[5] = vsub_s16(step1[2], step1[5]);
 578   step2[6] = vsub_s16(step1[1], step1[6]);
 579   step2[7] = vsub_s16(step1[0], step1[7]);
 580   idct_cospi_16_16_d(step1[10], step1[13], cospi_0_8_16_24, &step2[10],
 581                      &step2[13]);
 582   idct_cospi_16_16_d(step1[11], step1[12], cospi_0_8_16_24, &step2[11],
 583                      &step2[12]);
 584   step2[8] = step1[8];
 585   step2[9] = step1[9];
 586   step2[14] = step1[14];
 587   step2[15] = step1[15];
 588
 589   // stage 7
 590   out[0] = vadd_s16(step2[0], step2[15]);
 591   out[1] = vadd_s16(step2[1], step2[14]);
 592   out[2] = vadd_s16(step2[2], step2[13]);
 593   out[3] = vadd_s16(step2[3], step2[12]);
 594   out[4] = vadd_s16(step2[4], step2[11]);
 595   out[5] = vadd_s16(step2[5], step2[10]);
 596   out[6] = vadd_s16(step2[6], step2[9]);
 597   out[7] = vadd_s16(step2[7], step2[8]);
 598   out[8] = vsub_s16(step2[7], step2[8]);
 599   out[9] = vsub_s16(step2[6], step2[9]);
 600   out[10] = vsub_s16(step2[5], step2[10]);
 601   out[11] = vsub_s16(step2[4], step2[11]);
 602   out[12] = vsub_s16(step2[3], step2[12]);
 603   out[13] = vsub_s16(step2[2], step2[13]);
 604   out[14] = vsub_s16(step2[1], step2[14]);
 605   out[15] = vsub_s16(step2[0], step2[15]);
 606
 607   // pass 1: save the result into output
 608   vst1_s16(output, out[0]);
 609   output += 4;
 610   vst1_s16(output, out[1]);
 611   output += 4;
 612   vst1_s16(output, out[2]);
 613   output += 4;
 614   vst1_s16(output, out[3]);
 615   output += 4;
 616   vst1_s16(output, out[4]);
 617   output += 4;
 618   vst1_s16(output, out[5]);
 619   output += 4;
 620   vst1_s16(output, out[6]);
 621   output += 4;
 622   vst1_s16(output, out[7]);
 623   output += 4;
 624   vst1_s16(output, out[8]);
 625   output += 4;
 626   vst1_s16(output, out[9]);
 627   output += 4;
 628   vst1_s16(output, out[10]);
 629   output += 4;
 630   vst1_s16(output, out[11]);
 631   output += 4;
 632   vst1_s16(output, out[12]);
 633   output += 4;
 634   vst1_s16(output, out[13]);
 635   output += 4;
 636   vst1_s16(output, out[14]);
 637   output += 4;
 638   vst1_s16(output, out[15]);
 639 }
 640
 641 void vpx_idct16x16_10_add_half1d_pass2(const int16_t *input,
 642                                        int16_t *const output, void *const dest,
 643                                        const int stride,
 644                                        const int highbd_flag) {
 645   const int16x8_t cospis0 = vld1q_s16(kCospi);
 646   const int16x8_t cospis1 = vld1q_s16(kCospi + 8);
 647   const int16x8_t cospisd0 = vaddq_s16(cospis0, cospis0);
 648   const int16x8_t cospisd1 = vaddq_s16(cospis1, cospis1);
 649   const int16x4_t cospi_0_8_16_24 = vget_low_s16(cospis0);
 650   const int16x4_t cospid_0_8_16_24 = vget_low_s16(cospisd0);
 651   const int16x4_t cospid_4_12_20N_28 = vget_high_s16(cospisd0);
 652   const int16x4_t cospid_2_30_10_22 = vget_low_s16(cospisd1);
 653   const int16x4_t cospid_6_26_14_18N = vget_high_s16(cospisd1);
 654   int16x4_t ind[8];
 655   int16x8_t in[4], step1[16], step2[16], out[16];
 656
 657   // Load input (4x8)
 658   ind[0] = vld1_s16(input);
 659   input += 4;
 660   ind[1] = vld1_s16(input);
 661   input += 4;
 662   ind[2] = vld1_s16(input);
 663   input += 4;
 664   ind[3] = vld1_s16(input);
 665   input += 4;
 666   ind[4] = vld1_s16(input);
 667   input += 4;
 668   ind[5] = vld1_s16(input);
 669   input += 4;
 670   ind[6] = vld1_s16(input);
 671   input += 4;
 672   ind[7] = vld1_s16(input);
 673
 674   // Transpose
 675   transpose_s16_4x8(ind[0], ind[1], ind[2], ind[3], ind[4], ind[5], ind[6],
 676                     ind[7], &in[0], &in[1], &in[2], &in[3]);
 677
 678   // stage 1
 679   step1[0] = in[0 / 2];
 680   step1[4] = in[4 / 2];
 681   step1[8] = in[2 / 2];
 682   step1[12] = in[6 / 2];
 683
 684   // stage 2
 685   step2[0] = step1[0];
 686   step2[4] = step1[4];
 687   step2[8] = vqrdmulhq_lane_s16(step1[8], cospid_2_30_10_22, 1);
 688   step2[11] = vqrdmulhq_lane_s16(step1[12], cospid_6_26_14_18N, 1);
 689   step2[12] = vqrdmulhq_lane_s16(step1[12], cospid_6_26_14_18N, 0);
 690   step2[15] = vqrdmulhq_lane_s16(step1[8], cospid_2_30_10_22, 0);
 691
 692   // stage 3
 693   step1[0] = step2[0];
 694   step1[4] = vqrdmulhq_lane_s16(step2[4], cospid_4_12_20N_28, 3);
 695   step1[7] = vqrdmulhq_lane_s16(step2[4], cospid_4_12_20N_28, 0);
 696   step1[8] = step2[8];
 697   step1[9] = step2[8];
 698   step1[10] = step2[11];
 699   step1[11] = step2[11];
 700   step1[12] = step2[12];
 701   step1[13] = step2[12];
 702   step1[14] = step2[15];
 703   step1[15] = step2[15];
 704
 705   // stage 4
 706   step2[0] = step2[1] = vqrdmulhq_lane_s16(step1[0], cospid_0_8_16_24, 2);
 707   step2[4] = step1[4];
 708   step2[5] = step1[4];
 709   step2[6] = step1[7];
 710   step2[7] = step1[7];
 711   step2[8] = step1[8];
 712   idct_cospi_8_24_q(step1[14], step1[9], cospi_0_8_16_24, &step2[9],
 713                     &step2[14]);
 714   idct_cospi_8_24_neg_q(step1[13], step1[10], cospi_0_8_16_24, &step2[13],
 715                         &step2[10]);
 716   step2[11] = step1[11];
 717   step2[12] = step1[12];
 718   step2[15] = step1[15];
 719
 720   // stage 5
 721   step1[0] = step2[0];
 722   step1[1] = step2[1];
 723   step1[2] = step2[1];
 724   step1[3] = step2[0];
 725   step1[4] = step2[4];
 726   idct_cospi_16_16_q(step2[5], step2[6], cospi_0_8_16_24, &step1[5], &step1[6]);
 727   step1[7] = step2[7];
 728   step1[8] = vaddq_s16(step2[8], step2[11]);
 729   step1[9] = vaddq_s16(step2[9], step2[10]);
 730   step1[10] = vsubq_s16(step2[9], step2[10]);
 731   step1[11] = vsubq_s16(step2[8], step2[11]);
 732   step1[12] = vsubq_s16(step2[15], step2[12]);
 733   step1[13] = vsubq_s16(step2[14], step2[13]);
 734   step1[14] = vaddq_s16(step2[14], step2[13]);
 735   step1[15] = vaddq_s16(step2[15], step2[12]);
 736
 737   // stage 6
 738   step2[0] = vaddq_s16(step1[0], step1[7]);
 739   step2[1] = vaddq_s16(step1[1], step1[6]);
 740   step2[2] = vaddq_s16(step1[2], step1[5]);
 741   step2[3] = vaddq_s16(step1[3], step1[4]);
 742   step2[4] = vsubq_s16(step1[3], step1[4]);
 743   step2[5] = vsubq_s16(step1[2], step1[5]);
 744   step2[6] = vsubq_s16(step1[1], step1[6]);
 745   step2[7] = vsubq_s16(step1[0], step1[7]);
 746   idct_cospi_16_16_q(step1[10], step1[13], cospi_0_8_16_24, &step2[10],
 747                      &step2[13]);
 748   idct_cospi_16_16_q(step1[11], step1[12], cospi_0_8_16_24, &step2[11],
 749                      &step2[12]);
 750   step2[8] = step1[8];
 751   step2[9] = step1[9];
 752   step2[14] = step1[14];
 753   step2[15] = step1[15];
 754
 755   // stage 7
 756   idct16x16_add_stage7(step2, out);
 757
 758   if (output) {
 759     idct16x16_store_pass1(out, output);
 760   } else {
 761     if (highbd_flag) {
 762       idct16x16_add_store_bd8(out, dest, stride);
 763     } else {
 764       idct16x16_add_store(out, dest, stride);
 765     }
 766   }
 767 }
 768
 769 void vpx_idct16x16_256_add_neon(const tran_low_t *input, uint8_t *dest,
 770                                 int stride) {
 771   int16_t row_idct_output[16 * 16];
 772
 773   // pass 1
 774   // Parallel idct on the upper 8 rows
 775   vpx_idct16x16_256_add_half1d(input, row_idct_output, dest, stride, 0);
 776
 777   // Parallel idct on the lower 8 rows
 778   vpx_idct16x16_256_add_half1d(input + 8 * 16, row_idct_output + 8, dest,
 779                                stride, 0);
 780
 781   // pass 2
 782   // Parallel idct to get the left 8 columns
 783   vpx_idct16x16_256_add_half1d(row_idct_output, NULL, dest, stride, 0);
 784
 785   // Parallel idct to get the right 8 columns
 786   vpx_idct16x16_256_add_half1d(row_idct_output + 16 * 8, NULL, dest + 8, stride,
 787                                0);
 788 }
 789
 790 void vpx_idct16x16_38_add_neon(const tran_low_t *input, uint8_t *dest,
 791                                int stride) {
 792   int16_t row_idct_output[16 * 16];
 793
 794   // pass 1
 795   // Parallel idct on the upper 8 rows
 796   vpx_idct16x16_38_add_half1d(input, row_idct_output, dest, stride, 0);
 797
 798   // pass 2
 799   // Parallel idct to get the left 8 columns
 800   vpx_idct16x16_38_add_half1d(row_idct_output, NULL, dest, stride, 0);
 801
 802   // Parallel idct to get the right 8 columns
 803   vpx_idct16x16_38_add_half1d(row_idct_output + 16 * 8, NULL, dest + 8, stride,
 804                               0);
 805 }
 806
 807 void vpx_idct16x16_10_add_neon(const tran_low_t *input, uint8_t *dest,
 808                                int stride) {
 809   int16_t row_idct_output[4 * 16];
 810
 811   // pass 1
 812   // Parallel idct on the upper 8 rows
 813   vpx_idct16x16_10_add_half1d_pass1(input, row_idct_output);
 814
 815   // pass 2
 816   // Parallel idct to get the left 8 columns
 817   vpx_idct16x16_10_add_half1d_pass2(row_idct_output, NULL, dest, stride, 0);
 818
 819   // Parallel idct to get the right 8 columns
 820   vpx_idct16x16_10_add_half1d_pass2(row_idct_output + 4 * 8, NULL, dest + 8,
 821                                     stride, 0);
 822 }