lib/librte_eal/common/include/arch/arm/rte_atomic_64.h

   1 /*
   2  *   BSD LICENSE
   3  *
   4  *   Copyright (C) Cavium networks Ltd. 2015.
   5  *
   6  *   Redistribution and use in source and binary forms, with or without
   7  *   modification, are permitted provided that the following conditions
   8  *   are met:
   9  *
  10  *     * Redistributions of source code must retain the above copyright
  11  *       notice, this list of conditions and the following disclaimer.
  12  *     * Redistributions in binary form must reproduce the above copyright
  13  *       notice, this list of conditions and the following disclaimer in
  14  *       the documentation and/or other materials provided with the
  15  *       distribution.
  16  *     * Neither the name of Cavium networks nor the names of its
  17  *       contributors may be used to endorse or promote products derived
  18  *       from this software without specific prior written permission.
  19  *
  20  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  21  *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  22  *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  23  *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  24  *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  25  *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  26  *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  27  *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  28  *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  29  *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  30  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  31 */
  32
  33 #ifndef _RTE_ATOMIC_ARM64_H_
  34 #define _RTE_ATOMIC_ARM64_H_
  35
  36 #ifndef RTE_FORCE_INTRINSICS
  37 #  error Platform must be built with CONFIG_RTE_FORCE_INTRINSICS
  38 #endif
  39
  40 #ifdef __cplusplus
  41 extern "C" {
  42 #endif
  43
  44 #include "generic/rte_atomic.h"
  45
  46 #define dsb(opt)  { asm volatile("dsb " #opt : : : "memory"); }
  47 #define dmb(opt)  { asm volatile("dmb " #opt : : : "memory"); }
  48
  49 /**
  50  * General memory barrier.
  51  *
  52  * Guarantees that the LOAD and STORE operations generated before the
  53  * barrier occur before the LOAD and STORE operations generated after.
  54  * This function is architecture dependent.
  55  */
  56 static inline void rte_mb(void)
  57 {
  58         dsb(sy);
  59 }
  60
  61 /**
  62  * Write memory barrier.
  63  *
  64  * Guarantees that the STORE operations generated before the barrier
  65  * occur before the STORE operations generated after.
  66  * This function is architecture dependent.
  67  */
  68 static inline void rte_wmb(void)
  69 {
  70         dsb(st);
  71 }
  72
  73 /**
  74  * Read memory barrier.
  75  *
  76  * Guarantees that the LOAD operations generated before the barrier
  77  * occur before the LOAD operations generated after.
  78  * This function is architecture dependent.
  79  */
  80 static inline void rte_rmb(void)
  81 {
  82         dsb(ld);
  83 }
  84
  85 #define rte_smp_mb() dmb(ish)
  86
  87 #define rte_smp_wmb() dmb(ishst)
  88
  89 #define rte_smp_rmb() dmb(ishld)
  90
  91 #define rte_io_mb() rte_mb()
  92
  93 #define rte_io_wmb() rte_wmb()
  94
  95 #define rte_io_rmb() rte_rmb()
  96
  97 #ifdef __cplusplus
  98 }
  99 #endif
 100
 101 #endif /* _RTE_ATOMIC_ARM64_H_ */