lib/librte_eal/common/include/arch/x86/rte_vect.h

   1 /*-
   2  *   BSD LICENSE
   3  *
   4  *   Copyright(c) 2010-2015 Intel Corporation. All rights reserved.
   5  *   All rights reserved.
   6  *
   7  *   Redistribution and use in source and binary forms, with or without
   8  *   modification, are permitted provided that the following conditions
   9  *   are met:
  10  *
  11  *     * Redistributions of source code must retain the above copyright
  12  *       notice, this list of conditions and the following disclaimer.
  13  *     * Redistributions in binary form must reproduce the above copyright
  14  *       notice, this list of conditions and the following disclaimer in
  15  *       the documentation and/or other materials provided with the
  16  *       distribution.
  17  *     * Neither the name of Intel Corporation nor the names of its
  18  *       contributors may be used to endorse or promote products derived
  19  *       from this software without specific prior written permission.
  20  *
  21  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  22  *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  23  *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  24  *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  25  *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  26  *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  27  *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  28  *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  29  *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  30  *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  31  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  32  */
  33
  34 #ifndef _RTE_VECT_X86_H_
  35 #define _RTE_VECT_X86_H_
  36
  37 /**
  38  * @file
  39  *
  40  * RTE SSE/AVX related header.
  41  */
  42
  43 #include <stdint.h>
  44 #include "generic/rte_vect.h"
  45
  46 #if (defined(__ICC) || (__GNUC__ == 4 &&  __GNUC_MINOR__ < 4))
  47
  48 #ifdef __SSE__
  49 #include <xmmintrin.h>
  50 #endif
  51
  52 #ifdef __SSE2__
  53 #include <emmintrin.h>
  54 #endif
  55
  56 #ifdef __SSE3__
  57 #include <tmmintrin.h>
  58 #endif
  59
  60 #if defined(__SSE4_2__) || defined(__SSE4_1__)
  61 #include <smmintrin.h>
  62 #endif
  63
  64 #if defined(__AVX__)
  65 #include <immintrin.h>
  66 #endif
  67
  68 #else
  69
  70 #include <x86intrin.h>
  71
  72 #endif
  73
  74 #ifdef __cplusplus
  75 extern "C" {
  76 #endif
  77
  78 typedef __m128i xmm_t;
  79
  80 #define XMM_SIZE        (sizeof(xmm_t))
  81 #define XMM_MASK        (XMM_SIZE - 1)
  82
  83 typedef union rte_xmm {
  84         xmm_t    x;
  85         uint8_t  u8[XMM_SIZE / sizeof(uint8_t)];
  86         uint16_t u16[XMM_SIZE / sizeof(uint16_t)];
  87         uint32_t u32[XMM_SIZE / sizeof(uint32_t)];
  88         uint64_t u64[XMM_SIZE / sizeof(uint64_t)];
  89         double   pd[XMM_SIZE / sizeof(double)];
  90 } rte_xmm_t;
  91
  92 #ifdef __AVX__
  93
  94 typedef __m256i ymm_t;
  95
  96 #define YMM_SIZE        (sizeof(ymm_t))
  97 #define YMM_MASK        (YMM_SIZE - 1)
  98
  99 typedef union rte_ymm {
 100         ymm_t    y;
 101         xmm_t    x[YMM_SIZE / sizeof(xmm_t)];
 102         uint8_t  u8[YMM_SIZE / sizeof(uint8_t)];
 103         uint16_t u16[YMM_SIZE / sizeof(uint16_t)];
 104         uint32_t u32[YMM_SIZE / sizeof(uint32_t)];
 105         uint64_t u64[YMM_SIZE / sizeof(uint64_t)];
 106         double   pd[YMM_SIZE / sizeof(double)];
 107 } rte_ymm_t;
 108
 109 #endif /* __AVX__ */
 110
 111 #ifdef RTE_ARCH_I686
 112 #define _mm_cvtsi128_si64(a)    \
 113 __extension__ ({                \
 114         rte_xmm_t m;            \
 115         m.x = (a);              \
 116         (m.u64[0]);             \
 117 })
 118 #endif
 119
 120 /*
 121  * Prior to version 12.1 icc doesn't support _mm_set_epi64x.
 122  */
 123 #if (defined(__ICC) && __ICC < 1210)
 124 #define _mm_set_epi64x(a, b)     \
 125 __extension__ ({                 \
 126         rte_xmm_t m;             \
 127         m.u64[0] = b;            \
 128         m.u64[1] = a;            \
 129         (m.x);                   \
 130 })
 131 #endif /* (defined(__ICC) && __ICC < 1210) */
 132
 133 #ifdef __cplusplus
 134 }
 135 #endif
 136
 137 #endif /* _RTE_VECT_X86_H_ */