lib/librte_eal/common/include/arch/x86_64/rte_atomic.h

   1 /*-
   2  *   BSD LICENSE
   3  *
   4  *   Copyright(c) 2010-2014 Intel Corporation. All rights reserved.
   5  *   All rights reserved.
   6  *
   7  *   Redistribution and use in source and binary forms, with or without
   8  *   modification, are permitted provided that the following conditions
   9  *   are met:
  10  *
  11  *     * Redistributions of source code must retain the above copyright
  12  *       notice, this list of conditions and the following disclaimer.
  13  *     * Redistributions in binary form must reproduce the above copyright
  14  *       notice, this list of conditions and the following disclaimer in
  15  *       the documentation and/or other materials provided with the
  16  *       distribution.
  17  *     * Neither the name of Intel Corporation nor the names of its
  18  *       contributors may be used to endorse or promote products derived
  19  *       from this software without specific prior written permission.
  20  *
  21  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  22  *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  23  *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  24  *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  25  *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  26  *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  27  *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  28  *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  29  *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  30  *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  31  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  32  */
  33
  34 /*
  35  * Inspired from FreeBSD src/sys/amd64/include/atomic.h
  36  * Copyright (c) 1998 Doug Rabson
  37  * All rights reserved.
  38  */
  39
  40 #ifndef _RTE_ATOMIC_X86_64_H_
  41 #define _RTE_ATOMIC_X86_64_H_
  42
  43 #ifdef __cplusplus
  44 extern "C" {
  45 #endif
  46
  47 #include <emmintrin.h>
  48 #include "generic/rte_atomic.h"
  49
  50 #if RTE_MAX_LCORE == 1
  51 #define MPLOCKED                        /**< No need to insert MP lock prefix. */
  52 #else
  53 #define MPLOCKED        "lock ; "       /**< Insert MP lock prefix. */
  54 #endif
  55
  56 #define rte_mb() _mm_mfence()
  57
  58 #define rte_wmb() _mm_sfence()
  59
  60 #define rte_rmb() _mm_lfence()
  61
  62 /*------------------------- 16 bit atomic operations -------------------------*/
  63
  64 #ifndef RTE_FORCE_INTRINSICS
  65 static inline int
  66 rte_atomic16_cmpset(volatile uint16_t *dst, uint16_t exp, uint16_t src)
  67 {
  68         uint8_t res;
  69
  70         asm volatile(
  71                         MPLOCKED
  72                         "cmpxchgw %[src], %[dst];"
  73                         "sete %[res];"
  74                         : [res] "=a" (res),     /* output */
  75                           [dst] "=m" (*dst)
  76                         : [src] "r" (src),      /* input */
  77                           "a" (exp),
  78                           "m" (*dst)
  79                         : "memory");            /* no-clobber list */
  80         return res;
  81 }
  82
  83 static inline int rte_atomic16_test_and_set(rte_atomic16_t *v)
  84 {
  85         return rte_atomic16_cmpset((volatile uint16_t *)&v->cnt, 0, 1);
  86 }
  87
  88 static inline void
  89 rte_atomic16_inc(rte_atomic16_t *v)
  90 {
  91         asm volatile(
  92                         MPLOCKED
  93                         "incw %[cnt]"
  94                         : [cnt] "=m" (v->cnt)   /* output */
  95                         : "m" (v->cnt)          /* input */
  96                         );
  97 }
  98
  99 static inline void
 100 rte_atomic16_dec(rte_atomic16_t *v)
 101 {
 102         asm volatile(
 103                         MPLOCKED
 104                         "decw %[cnt]"
 105                         : [cnt] "=m" (v->cnt)   /* output */
 106                         : "m" (v->cnt)          /* input */
 107                         );
 108 }
 109
 110 static inline int rte_atomic16_inc_and_test(rte_atomic16_t *v)
 111 {
 112         uint8_t ret;
 113
 114         asm volatile(
 115                         MPLOCKED
 116                         "incw %[cnt] ; "
 117                         "sete %[ret]"
 118                         : [cnt] "+m" (v->cnt),  /* output */
 119                           [ret] "=qm" (ret)
 120                         );
 121         return (ret != 0);
 122 }
 123
 124 static inline int rte_atomic16_dec_and_test(rte_atomic16_t *v)
 125 {
 126         uint8_t ret;
 127
 128         asm volatile(MPLOCKED
 129                         "decw %[cnt] ; "
 130                         "sete %[ret]"
 131                         : [cnt] "+m" (v->cnt),  /* output */
 132                           [ret] "=qm" (ret)
 133                         );
 134         return (ret != 0);
 135 }
 136
 137 /*------------------------- 32 bit atomic operations -------------------------*/
 138
 139 static inline int
 140 rte_atomic32_cmpset(volatile uint32_t *dst, uint32_t exp, uint32_t src)
 141 {
 142         uint8_t res;
 143
 144         asm volatile(
 145                         MPLOCKED
 146                         "cmpxchgl %[src], %[dst];"
 147                         "sete %[res];"
 148                         : [res] "=a" (res),     /* output */
 149                           [dst] "=m" (*dst)
 150                         : [src] "r" (src),      /* input */
 151                           "a" (exp),
 152                           "m" (*dst)
 153                         : "memory");            /* no-clobber list */
 154         return res;
 155 }
 156
 157 static inline int rte_atomic32_test_and_set(rte_atomic32_t *v)
 158 {
 159         return rte_atomic32_cmpset((volatile uint32_t *)&v->cnt, 0, 1);
 160 }
 161
 162 static inline void
 163 rte_atomic32_inc(rte_atomic32_t *v)
 164 {
 165         asm volatile(
 166                         MPLOCKED
 167                         "incl %[cnt]"
 168                         : [cnt] "=m" (v->cnt)   /* output */
 169                         : "m" (v->cnt)          /* input */
 170                         );
 171 }
 172
 173 static inline void
 174 rte_atomic32_dec(rte_atomic32_t *v)
 175 {
 176         asm volatile(
 177                         MPLOCKED
 178                         "decl %[cnt]"
 179                         : [cnt] "=m" (v->cnt)   /* output */
 180                         : "m" (v->cnt)          /* input */
 181                         );
 182 }
 183
 184 static inline int rte_atomic32_inc_and_test(rte_atomic32_t *v)
 185 {
 186         uint8_t ret;
 187
 188         asm volatile(
 189                         MPLOCKED
 190                         "incl %[cnt] ; "
 191                         "sete %[ret]"
 192                         : [cnt] "+m" (v->cnt),  /* output */
 193                           [ret] "=qm" (ret)
 194                         );
 195         return (ret != 0);
 196 }
 197
 198 static inline int rte_atomic32_dec_and_test(rte_atomic32_t *v)
 199 {
 200         uint8_t ret;
 201
 202         asm volatile(MPLOCKED
 203                         "decl %[cnt] ; "
 204                         "sete %[ret]"
 205                         : [cnt] "+m" (v->cnt),  /* output */
 206                           [ret] "=qm" (ret)
 207                         );
 208         return (ret != 0);
 209 }
 210
 211 /*------------------------- 64 bit atomic operations -------------------------*/
 212
 213 static inline int
 214 rte_atomic64_cmpset(volatile uint64_t *dst, uint64_t exp, uint64_t src)
 215 {
 216         uint8_t res;
 217
 218
 219         asm volatile(
 220                         MPLOCKED
 221                         "cmpxchgq %[src], %[dst];"
 222                         "sete %[res];"
 223                         : [res] "=a" (res),     /* output */
 224                           [dst] "=m" (*dst)
 225                         : [src] "r" (src),      /* input */
 226                           "a" (exp),
 227                           "m" (*dst)
 228                         : "memory");            /* no-clobber list */
 229
 230         return res;
 231 }
 232
 233 static inline void
 234 rte_atomic64_init(rte_atomic64_t *v)
 235 {
 236         v->cnt = 0;
 237 }
 238
 239 static inline int64_t
 240 rte_atomic64_read(rte_atomic64_t *v)
 241 {
 242         return v->cnt;
 243 }
 244
 245 static inline void
 246 rte_atomic64_set(rte_atomic64_t *v, int64_t new_value)
 247 {
 248         v->cnt = new_value;
 249 }
 250
 251 static inline void
 252 rte_atomic64_add(rte_atomic64_t *v, int64_t inc)
 253 {
 254         asm volatile(
 255                         MPLOCKED
 256                         "addq %[inc], %[cnt]"
 257                         : [cnt] "=m" (v->cnt)   /* output */
 258                         : [inc] "ir" (inc),     /* input */
 259                           "m" (v->cnt)
 260                         );
 261 }
 262
 263 static inline void
 264 rte_atomic64_sub(rte_atomic64_t *v, int64_t dec)
 265 {
 266         asm volatile(
 267                         MPLOCKED
 268                         "subq %[dec], %[cnt]"
 269                         : [cnt] "=m" (v->cnt)   /* output */
 270                         : [dec] "ir" (dec),     /* input */
 271                           "m" (v->cnt)
 272                         );
 273 }
 274
 275 static inline void
 276 rte_atomic64_inc(rte_atomic64_t *v)
 277 {
 278         asm volatile(
 279                         MPLOCKED
 280                         "incq %[cnt]"
 281                         : [cnt] "=m" (v->cnt)   /* output */
 282                         : "m" (v->cnt)          /* input */
 283                         );
 284 }
 285
 286 static inline void
 287 rte_atomic64_dec(rte_atomic64_t *v)
 288 {
 289         asm volatile(
 290                         MPLOCKED
 291                         "decq %[cnt]"
 292                         : [cnt] "=m" (v->cnt)   /* output */
 293                         : "m" (v->cnt)          /* input */
 294                         );
 295 }
 296
 297 static inline int64_t
 298 rte_atomic64_add_return(rte_atomic64_t *v, int64_t inc)
 299 {
 300         int64_t prev = inc;
 301
 302         asm volatile(
 303                         MPLOCKED
 304                         "xaddq %[prev], %[cnt]"
 305                         : [prev] "+r" (prev),   /* output */
 306                           [cnt] "=m" (v->cnt)
 307                         : "m" (v->cnt)          /* input */
 308                         );
 309         return prev + inc;
 310 }
 311
 312 static inline int64_t
 313 rte_atomic64_sub_return(rte_atomic64_t *v, int64_t dec)
 314 {
 315         return rte_atomic64_add_return(v, -dec);
 316 }
 317
 318 static inline int rte_atomic64_inc_and_test(rte_atomic64_t *v)
 319 {
 320         uint8_t ret;
 321
 322         asm volatile(
 323                         MPLOCKED
 324                         "incq %[cnt] ; "
 325                         "sete %[ret]"
 326                         : [cnt] "+m" (v->cnt), /* output */
 327                           [ret] "=qm" (ret)
 328                         );
 329
 330         return ret != 0;
 331 }
 332
 333 static inline int rte_atomic64_dec_and_test(rte_atomic64_t *v)
 334 {
 335         uint8_t ret;
 336
 337         asm volatile(
 338                         MPLOCKED
 339                         "decq %[cnt] ; "
 340                         "sete %[ret]"
 341                         : [cnt] "+m" (v->cnt),  /* output */
 342                           [ret] "=qm" (ret)
 343                         );
 344         return ret != 0;
 345 }
 346
 347 static inline int rte_atomic64_test_and_set(rte_atomic64_t *v)
 348 {
 349         return rte_atomic64_cmpset((volatile uint64_t *)&v->cnt, 0, 1);
 350 }
 351
 352 static inline void rte_atomic64_clear(rte_atomic64_t *v)
 353 {
 354         v->cnt = 0;
 355 }
 356 #endif
 357
 358 #ifdef __cplusplus
 359 }
 360 #endif
 361
 362 #endif /* _RTE_ATOMIC_X86_64_H_ */