lib/librte_eal/common/include/arch/arm/rte_vect.h

   1 /*-
   2  *   BSD LICENSE
   3  *
   4  *   Copyright(c) 2015 Cavium Networks. All rights reserved.
   5  *
   6  *   Redistribution and use in source and binary forms, with or without
   7  *   modification, are permitted provided that the following conditions
   8  *   are met:
   9  *
  10  *     * Redistributions of source code must retain the above copyright
  11  *       notice, this list of conditions and the following disclaimer.
  12  *     * Redistributions in binary form must reproduce the above copyright
  13  *       notice, this list of conditions and the following disclaimer in
  14  *       the documentation and/or other materials provided with the
  15  *       distribution.
  16  *     * Neither the name of Cavium Networks nor the names of its
  17  *       contributors may be used to endorse or promote products derived
  18  *       from this software without specific prior written permission.
  19  *
  20  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  21  *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  22  *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  23  *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  24  *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  25  *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  26  *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  27  *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  28  *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  29  *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  30  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  31  */
  32
  33 #ifndef _RTE_VECT_ARM_H_
  34 #define _RTE_VECT_ARM_H_
  35
  36 #include <stdint.h>
  37 #include "generic/rte_vect.h"
  38 #include "rte_debug.h"
  39 #include "arm_neon.h"
  40
  41 #ifdef __cplusplus
  42 extern "C" {
  43 #endif
  44
  45 typedef int32x4_t xmm_t;
  46
  47 #define XMM_SIZE        (sizeof(xmm_t))
  48 #define XMM_MASK        (XMM_SIZE - 1)
  49
  50 typedef union rte_xmm {
  51         xmm_t    x;
  52         uint8_t  u8[XMM_SIZE / sizeof(uint8_t)];
  53         uint16_t u16[XMM_SIZE / sizeof(uint16_t)];
  54         uint32_t u32[XMM_SIZE / sizeof(uint32_t)];
  55         uint64_t u64[XMM_SIZE / sizeof(uint64_t)];
  56         double   pd[XMM_SIZE / sizeof(double)];
  57 } __attribute__((aligned(16))) rte_xmm_t;
  58
  59 #ifdef RTE_ARCH_ARM
  60 /* NEON intrinsic vqtbl1q_u8() is not supported in ARMv7-A(AArch32) */
  61 static __inline uint8x16_t
  62 vqtbl1q_u8(uint8x16_t a, uint8x16_t b)
  63 {
  64         uint8_t i, pos;
  65         rte_xmm_t rte_a, rte_b, rte_ret;
  66
  67         vst1q_u8(rte_a.u8, a);
  68         vst1q_u8(rte_b.u8, b);
  69
  70         for (i = 0; i < 16; i++) {
  71                 pos = rte_b.u8[i];
  72                 if (pos < 16)
  73                         rte_ret.u8[i] = rte_a.u8[pos];
  74                 else
  75                         rte_ret.u8[i] = 0;
  76         }
  77
  78         return vld1q_u8(rte_ret.u8);
  79 }
  80 #endif
  81
  82 #if defined(RTE_ARCH_ARM64)
  83 #if defined(RTE_TOOLCHAIN_GCC) && (GCC_VERSION < 70000)
  84 /* NEON intrinsic vreinterpretq_u64_p128() is supported since GCC version 7 */
  85 static inline uint64x2_t
  86 vreinterpretq_u64_p128(poly128_t x)
  87 {
  88         return (uint64x2_t)x;
  89 }
  90
  91 /* NEON intrinsic vreinterpretq_p64_u64() is supported since GCC version 7 */
  92 static inline poly64x2_t
  93 vreinterpretq_p64_u64(uint64x2_t x)
  94 {
  95         return (poly64x2_t)x;
  96 }
  97
  98 /* NEON intrinsic vgetq_lane_p64() is supported since GCC version 7 */
  99 static inline poly64_t
 100 vgetq_lane_p64(poly64x2_t x, const int lane)
 101 {
 102         RTE_ASSERT(lane >= 0 && lane <= 1);
 103
 104         poly64_t *p = (poly64_t *)&x;
 105
 106         return p[lane];
 107 }
 108 #endif
 109 #endif
 110
 111 /*
 112  * If (0 <= index <= 15), then call the ASIMD ext intruction on the
 113  * 128 bit regs v0 and v1 with the appropriate index.
 114  *
 115  * Else returns a zero vector.
 116  */
 117 static inline uint8x16_t
 118 vextract(uint8x16_t v0, uint8x16_t v1, const int index)
 119 {
 120         switch (index) {
 121         case 0: return vextq_u8(v0, v1, 0);
 122         case 1: return vextq_u8(v0, v1, 1);
 123         case 2: return vextq_u8(v0, v1, 2);
 124         case 3: return vextq_u8(v0, v1, 3);
 125         case 4: return vextq_u8(v0, v1, 4);
 126         case 5: return vextq_u8(v0, v1, 5);
 127         case 6: return vextq_u8(v0, v1, 6);
 128         case 7: return vextq_u8(v0, v1, 7);
 129         case 8: return vextq_u8(v0, v1, 8);
 130         case 9: return vextq_u8(v0, v1, 9);
 131         case 10: return vextq_u8(v0, v1, 10);
 132         case 11: return vextq_u8(v0, v1, 11);
 133         case 12: return vextq_u8(v0, v1, 12);
 134         case 13: return vextq_u8(v0, v1, 13);
 135         case 14: return vextq_u8(v0, v1, 14);
 136         case 15: return vextq_u8(v0, v1, 15);
 137         }
 138         return vdupq_n_u8(0);
 139 }
 140
 141 /**
 142  * Shifts right 128 bit register by specified number of bytes
 143  *
 144  * Value of shift parameter must be in range 0 - 16
 145  */
 146 static inline uint64x2_t
 147 vshift_bytes_right(uint64x2_t reg, const unsigned int shift)
 148 {
 149         return vreinterpretq_u64_u8(vextract(
 150                                 vreinterpretq_u8_u64(reg),
 151                                 vdupq_n_u8(0),
 152                                 shift));
 153 }
 154
 155 /**
 156  * Shifts left 128 bit register by specified number of bytes
 157  *
 158  * Value of shift parameter must be in range 0 - 16
 159  */
 160 static inline uint64x2_t
 161 vshift_bytes_left(uint64x2_t reg, const unsigned int shift)
 162 {
 163         return vreinterpretq_u64_u8(vextract(
 164                                 vdupq_n_u8(0),
 165                                 vreinterpretq_u8_u64(reg),
 166                                 16 - shift));
 167 }
 168
 169 #ifdef __cplusplus
 170 }
 171 #endif
 172
 173 #endif