lib/librte_eal/common/include/rte_cycles.h

   1 /*-
   2  *   BSD LICENSE
   3  *
   4  *   Copyright(c) 2010-2014 Intel Corporation. All rights reserved.
   5  *   All rights reserved.
   6  *
   7  *   Redistribution and use in source and binary forms, with or without
   8  *   modification, are permitted provided that the following conditions
   9  *   are met:
  10  *
  11  *     * Redistributions of source code must retain the above copyright
  12  *       notice, this list of conditions and the following disclaimer.
  13  *     * Redistributions in binary form must reproduce the above copyright
  14  *       notice, this list of conditions and the following disclaimer in
  15  *       the documentation and/or other materials provided with the
  16  *       distribution.
  17  *     * Neither the name of Intel Corporation nor the names of its
  18  *       contributors may be used to endorse or promote products derived
  19  *       from this software without specific prior written permission.
  20  *
  21  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  22  *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  23  *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  24  *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  25  *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  26  *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  27  *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  28  *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  29  *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  30  *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  31  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  32  */
  33 /*   BSD LICENSE
  34  *
  35  *   Copyright(c) 2013 6WIND.
  36  *
  37  *   Redistribution and use in source and binary forms, with or without
  38  *   modification, are permitted provided that the following conditions
  39  *   are met:
  40  *
  41  *     * Redistributions of source code must retain the above copyright
  42  *       notice, this list of conditions and the following disclaimer.
  43  *     * Redistributions in binary form must reproduce the above copyright
  44  *       notice, this list of conditions and the following disclaimer in
  45  *       the documentation and/or other materials provided with the
  46  *       distribution.
  47  *     * Neither the name of 6WIND S.A. nor the names of its
  48  *       contributors may be used to endorse or promote products derived
  49  *       from this software without specific prior written permission.
  50  *
  51  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  52  *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  53  *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  54  *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  55  *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  56  *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  57  *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  58  *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  59  *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  60  *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  61  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  62  */
  63
  64 #ifndef _RTE_CYCLES_H_
  65 #define _RTE_CYCLES_H_
  66
  67 /**
  68  * @file
  69  *
  70  * Simple Time Reference Functions (Cycles and HPET).
  71  */
  72
  73 #ifdef __cplusplus
  74 extern "C" {
  75 #endif
  76
  77 #include <stdint.h>
  78 #include <rte_debug.h>
  79 #include <rte_atomic.h>
  80
  81 #ifdef RTE_LIBRTE_EAL_VMWARE_TSC_MAP_SUPPORT
  82 /** Global switch to use VMWARE mapping of TSC instead of RDTSC */
  83 extern int rte_cycles_vmware_tsc_map;
  84 #include <rte_branch_prediction.h>
  85 #endif
  86
  87 #define MS_PER_S 1000
  88 #define US_PER_S 1000000
  89 #define NS_PER_S 1000000000
  90
  91 enum timer_source {
  92         EAL_TIMER_TSC = 0,
  93         EAL_TIMER_HPET
  94 };
  95 extern enum timer_source eal_timer_source;
  96
  97 /**
  98  * Read the TSC register.
  99  *
 100  * @return
 101  *   The TSC for this lcore.
 102  */
 103 static inline uint64_t
 104 rte_rdtsc(void)
 105 {
 106         union {
 107                 uint64_t tsc_64;
 108                 struct {
 109                         uint32_t lo_32;
 110                         uint32_t hi_32;
 111                 };
 112         } tsc;
 113
 114 #ifdef RTE_LIBRTE_EAL_VMWARE_TSC_MAP_SUPPORT
 115         if (unlikely(rte_cycles_vmware_tsc_map)) {
 116                 /* ecx = 0x10000 corresponds to the physical TSC for VMware */
 117                 asm volatile("rdpmc" :
 118                              "=a" (tsc.lo_32),
 119                              "=d" (tsc.hi_32) :
 120                              "c"(0x10000));
 121                 return tsc.tsc_64;
 122         }
 123 #endif
 124
 125         asm volatile("rdtsc" :
 126                      "=a" (tsc.lo_32),
 127                      "=d" (tsc.hi_32));
 128         return tsc.tsc_64;
 129 }
 130
 131 /**
 132  * Read the TSC register precisely where function is called.
 133  *
 134  * @return
 135  *   The TSC for this lcore.
 136  */
 137 static inline uint64_t
 138 rte_rdtsc_precise(void)
 139 {
 140         rte_mb();
 141         return rte_rdtsc();
 142 }
 143
 144 /**
 145  * Get the measured frequency of the RDTSC counter
 146  *
 147  * @return
 148  *   The TSC frequency for this lcore
 149  */
 150 uint64_t
 151 rte_get_tsc_hz(void);
 152
 153 /**
 154  * Return the number of TSC cycles since boot
 155  *
 156   * @return
 157  *   the number of cycles
 158  */
 159 static inline uint64_t
 160 rte_get_tsc_cycles(void) { return rte_rdtsc(); }
 161
 162 #ifdef RTE_LIBEAL_USE_HPET
 163 /**
 164  * Return the number of HPET cycles since boot
 165  *
 166  * This counter is global for all execution units. The number of
 167  * cycles in one second can be retrieved using rte_get_hpet_hz().
 168  *
 169  * @return
 170  *   the number of cycles
 171  */
 172 uint64_t
 173 rte_get_hpet_cycles(void);
 174
 175 /**
 176  * Get the number of HPET cycles in one second.
 177  *
 178  * @return
 179  *   The number of cycles in one second.
 180  */
 181 uint64_t
 182 rte_get_hpet_hz(void);
 183
 184 /**
 185  * Initialise the HPET for use. This must be called before the rte_get_hpet_hz
 186  * and rte_get_hpet_cycles APIs are called. If this function does not succeed,
 187  * then the HPET functions are unavailable and should not be called.
 188  *
 189  * @param make_default
 190  *      If set, the hpet timer becomes the default timer whose values are
 191  *      returned by the rte_get_timer_hz/cycles API calls
 192  *
 193  * @return
 194  *      0 on success,
 195  *      -1 on error, and the make_default parameter is ignored.
 196  */
 197 int rte_eal_hpet_init(int make_default);
 198
 199 #endif
 200
 201 /**
 202  * Get the number of cycles since boot from the default timer.
 203  *
 204  * @return
 205  *   The number of cycles
 206  */
 207 static inline uint64_t
 208 rte_get_timer_cycles(void)
 209 {
 210         switch(eal_timer_source) {
 211         case EAL_TIMER_TSC:
 212                 return rte_rdtsc();
 213         case EAL_TIMER_HPET:
 214 #ifdef RTE_LIBEAL_USE_HPET
 215                 return rte_get_hpet_cycles();
 216 #endif
 217         default: rte_panic("Invalid timer source specified\n");
 218         }
 219 }
 220
 221 /**
 222  * Get the number of cycles in one second for the default timer.
 223  *
 224  * @return
 225  *   The number of cycles in one second.
 226  */
 227 static inline uint64_t
 228 rte_get_timer_hz(void)
 229 {
 230         switch(eal_timer_source) {
 231         case EAL_TIMER_TSC:
 232                 return rte_get_tsc_hz();
 233         case EAL_TIMER_HPET:
 234 #ifdef RTE_LIBEAL_USE_HPET
 235                 return rte_get_hpet_hz();
 236 #endif
 237         default: rte_panic("Invalid timer source specified\n");
 238         }
 239 }
 240
 241 /**
 242  * Wait at least us microseconds.
 243  *
 244  * @param us
 245  *   The number of microseconds to wait.
 246  */
 247 void
 248 rte_delay_us(unsigned us);
 249
 250 /**
 251  * Wait at least ms milliseconds.
 252  *
 253  * @param ms
 254  *   The number of milliseconds to wait.
 255  */
 256 static inline void
 257 rte_delay_ms(unsigned ms)
 258 {
 259         rte_delay_us(ms * 1000);
 260 }
 261
 262 #ifdef __cplusplus
 263 }
 264 #endif
 265
 266 #endif /* _RTE_CYCLES_H_ */