drivers/event/sw/sw_evdev.h

   1 /*-
   2  *   BSD LICENSE
   3  *
   4  *   Copyright(c) 2016-2017 Intel Corporation. All rights reserved.
   5  *
   6  *   Redistribution and use in source and binary forms, with or without
   7  *   modification, are permitted provided that the following conditions
   8  *   are met:
   9  *
  10  *     * Redistributions of source code must retain the above copyright
  11  *       notice, this list of conditions and the following disclaimer.
  12  *     * Redistributions in binary form must reproduce the above copyright
  13  *       notice, this list of conditions and the following disclaimer in
  14  *       the documentation and/or other materials provided with the
  15  *       distribution.
  16  *     * Neither the name of Intel Corporation nor the names of its
  17  *       contributors may be used to endorse or promote products derived
  18  *       from this software without specific prior written permission.
  19  *
  20  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  21  *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  22  *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  23  *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  24  *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  25  *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  26  *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  27  *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  28  *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  29  *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  30  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  31  */
  32
  33 #ifndef _SW_EVDEV_H_
  34 #define _SW_EVDEV_H_
  35
  36 #include <rte_eventdev.h>
  37 #include <rte_eventdev_pmd.h>
  38 #include <rte_atomic.h>
  39
  40 #define SW_DEFAULT_CREDIT_QUANTA 32
  41 #define SW_DEFAULT_SCHED_QUANTA 128
  42 #define SW_QID_NUM_FIDS 16384
  43 #define SW_IQS_MAX 4
  44 #define SW_Q_PRIORITY_MAX 255
  45 #define SW_PORTS_MAX 64
  46 #define MAX_SW_CONS_Q_DEPTH 128
  47 #define SW_INFLIGHT_EVENTS_TOTAL 4096
  48 /* allow for lots of over-provisioning */
  49 #define MAX_SW_PROD_Q_DEPTH 4096
  50 #define SW_FRAGMENTS_MAX 16
  51
  52 #define EVENTDEV_NAME_SW_PMD event_sw
  53 #define SW_PMD_NAME RTE_STR(event_sw)
  54
  55 #ifdef RTE_LIBRTE_PMD_EVDEV_SW_DEBUG
  56 #define SW_LOG_INFO(fmt, args...) \
  57         RTE_LOG(INFO, EVENTDEV, "[%s] %s() line %u: " fmt "\n", \
  58                         SW_PMD_NAME, \
  59                         __func__, __LINE__, ## args)
  60
  61 #define SW_LOG_DBG(fmt, args...) \
  62         RTE_LOG(DEBUG, EVENTDEV, "[%s] %s() line %u: " fmt "\n", \
  63                         SW_PMD_NAME, \
  64                         __func__, __LINE__, ## args)
  65 #else
  66 #define SW_LOG_INFO(fmt, args...)
  67 #define SW_LOG_DBG(fmt, args...)
  68 #endif
  69
  70 #define SW_LOG_ERR(fmt, args...) \
  71         RTE_LOG(ERR, EVENTDEV, "[%s] %s() line %u: " fmt "\n", \
  72                         SW_PMD_NAME, \
  73                         __func__, __LINE__, ## args)
  74
  75 /* Records basic event stats at a given point. Used in port and qid structs */
  76 struct sw_point_stats {
  77         uint64_t rx_pkts;
  78         uint64_t rx_dropped;
  79         uint64_t tx_pkts;
  80 };
  81
  82 /* structure used to track what port a flow (FID) is pinned to */
  83 struct sw_fid_t {
  84         /* which CQ this FID is currently pinned to */
  85         int32_t cq;
  86         /* number of packets gone to the CQ with this FID */
  87         uint32_t pcount;
  88 };
  89
  90 struct reorder_buffer_entry {
  91         uint16_t num_fragments;         /**< Number of packet fragments */
  92         uint16_t fragment_index;        /**< Points to the oldest valid frag */
  93         uint8_t ready;                  /**< Entry is ready to be reordered */
  94         struct rte_event fragments[SW_FRAGMENTS_MAX];
  95 };
  96
  97 struct sw_qid {
  98         /* set when the QID has been initialized */
  99         uint8_t initialized;
 100         /* The type of this QID */
 101         int8_t type;
 102         /* Integer ID representing the queue. This is used in history lists,
 103          * to identify the stage of processing.
 104          */
 105         uint32_t id;
 106         struct sw_point_stats stats;
 107
 108         /* Internal priority rings for packets */
 109         struct iq_ring *iq[SW_IQS_MAX];
 110         uint32_t iq_pkt_mask; /* A mask to indicate packets in an IQ */
 111         uint64_t iq_pkt_count[SW_IQS_MAX];
 112
 113         /* Information on what CQs are polling this IQ */
 114         uint32_t cq_num_mapped_cqs;
 115         uint32_t cq_next_tx; /* cq to write next (non-atomic) packet */
 116         uint32_t cq_map[SW_PORTS_MAX];
 117
 118         /* Track flow ids for atomic load balancing */
 119         struct sw_fid_t fids[SW_QID_NUM_FIDS];
 120
 121         /* Track packet order for reordering when needed */
 122         struct reorder_buffer_entry *reorder_buffer; /*< pkts await reorder */
 123         struct rte_ring *reorder_buffer_freelist; /* available reorder slots */
 124         uint32_t reorder_buffer_index; /* oldest valid reorder buffer entry */
 125         uint32_t window_size;          /* Used to wrap reorder_buffer_index */
 126
 127         uint8_t priority;
 128 };
 129
 130 struct sw_evdev {
 131         struct rte_eventdev_data *data;
 132
 133         uint32_t port_count;
 134         uint32_t qid_count;
 135
 136         /*
 137          * max events in this instance. Cached here for performance.
 138          * (also available in data->conf.nb_events_limit)
 139          */
 140         uint32_t nb_events_limit;
 141
 142         int32_t sched_quanta;
 143
 144         uint32_t credit_update_quanta;
 145 };
 146
 147 static inline struct sw_evdev *
 148 sw_pmd_priv(const struct rte_eventdev *eventdev)
 149 {
 150         return eventdev->data->dev_private;
 151 }
 152
 153 static inline const struct sw_evdev *
 154 sw_pmd_priv_const(const struct rte_eventdev *eventdev)
 155 {
 156         return eventdev->data->dev_private;
 157 }
 158
 159 #endif /* _SW_EVDEV_H_ */