drivers/event/octeontx2/otx2_evdev.h

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  * Copyright(C) 2019 Marvell International Ltd.
   3  */
   4
   5 #ifndef __OTX2_EVDEV_H__
   6 #define __OTX2_EVDEV_H__
   7
   8 #include <rte_eventdev.h>
   9
  10 #include "otx2_common.h"
  11 #include "otx2_dev.h"
  12 #include "otx2_mempool.h"
  13
  14 #define EVENTDEV_NAME_OCTEONTX2_PMD otx2_eventdev
  15
  16 #define sso_func_trace otx2_sso_dbg
  17
  18 #define OTX2_SSO_MAX_VHGRP                  RTE_EVENT_MAX_QUEUES_PER_DEV
  19 #define OTX2_SSO_MAX_VHWS                   (UINT8_MAX)
  20 #define OTX2_SSO_FC_NAME                    "otx2_evdev_xaq_fc"
  21 #define OTX2_SSO_XAQ_SLACK                  (8)
  22 #define OTX2_SSO_XAQ_CACHE_CNT              (0x7)
  23
  24 /* SSO LF register offsets (BAR2) */
  25 #define SSO_LF_GGRP_OP_ADD_WORK0            (0x0ull)
  26 #define SSO_LF_GGRP_OP_ADD_WORK1            (0x8ull)
  27
  28 #define SSO_LF_GGRP_QCTL                    (0x20ull)
  29 #define SSO_LF_GGRP_EXE_DIS                 (0x80ull)
  30 #define SSO_LF_GGRP_INT                     (0x100ull)
  31 #define SSO_LF_GGRP_INT_W1S                 (0x108ull)
  32 #define SSO_LF_GGRP_INT_ENA_W1S             (0x110ull)
  33 #define SSO_LF_GGRP_INT_ENA_W1C             (0x118ull)
  34 #define SSO_LF_GGRP_INT_THR                 (0x140ull)
  35 #define SSO_LF_GGRP_INT_CNT                 (0x180ull)
  36 #define SSO_LF_GGRP_XAQ_CNT                 (0x1b0ull)
  37 #define SSO_LF_GGRP_AQ_CNT                  (0x1c0ull)
  38 #define SSO_LF_GGRP_AQ_THR                  (0x1e0ull)
  39 #define SSO_LF_GGRP_MISC_CNT                (0x200ull)
  40
  41 /* SSOW LF register offsets (BAR2) */
  42 #define SSOW_LF_GWS_LINKS                   (0x10ull)
  43 #define SSOW_LF_GWS_PENDWQP                 (0x40ull)
  44 #define SSOW_LF_GWS_PENDSTATE               (0x50ull)
  45 #define SSOW_LF_GWS_NW_TIM                  (0x70ull)
  46 #define SSOW_LF_GWS_GRPMSK_CHG              (0x80ull)
  47 #define SSOW_LF_GWS_INT                     (0x100ull)
  48 #define SSOW_LF_GWS_INT_W1S                 (0x108ull)
  49 #define SSOW_LF_GWS_INT_ENA_W1S             (0x110ull)
  50 #define SSOW_LF_GWS_INT_ENA_W1C             (0x118ull)
  51 #define SSOW_LF_GWS_TAG                     (0x200ull)
  52 #define SSOW_LF_GWS_WQP                     (0x210ull)
  53 #define SSOW_LF_GWS_SWTP                    (0x220ull)
  54 #define SSOW_LF_GWS_PENDTAG                 (0x230ull)
  55 #define SSOW_LF_GWS_OP_ALLOC_WE             (0x400ull)
  56 #define SSOW_LF_GWS_OP_GET_WORK             (0x600ull)
  57 #define SSOW_LF_GWS_OP_SWTAG_FLUSH          (0x800ull)
  58 #define SSOW_LF_GWS_OP_SWTAG_UNTAG          (0x810ull)
  59 #define SSOW_LF_GWS_OP_SWTP_CLR             (0x820ull)
  60 #define SSOW_LF_GWS_OP_UPD_WQP_GRP0         (0x830ull)
  61 #define SSOW_LF_GWS_OP_UPD_WQP_GRP1         (0x838ull)
  62 #define SSOW_LF_GWS_OP_DESCHED              (0x880ull)
  63 #define SSOW_LF_GWS_OP_DESCHED_NOSCH        (0x8c0ull)
  64 #define SSOW_LF_GWS_OP_SWTAG_DESCHED        (0x980ull)
  65 #define SSOW_LF_GWS_OP_SWTAG_NOSCHED        (0x9c0ull)
  66 #define SSOW_LF_GWS_OP_CLR_NSCHED0          (0xa00ull)
  67 #define SSOW_LF_GWS_OP_CLR_NSCHED1          (0xa08ull)
  68 #define SSOW_LF_GWS_OP_SWTP_SET             (0xc00ull)
  69 #define SSOW_LF_GWS_OP_SWTAG_NORM           (0xc10ull)
  70 #define SSOW_LF_GWS_OP_SWTAG_FULL0          (0xc20ull)
  71 #define SSOW_LF_GWS_OP_SWTAG_FULL1          (0xc28ull)
  72 #define SSOW_LF_GWS_OP_GWC_INVAL            (0xe00ull)
  73
  74 #define OTX2_SSOW_GET_BASE_ADDR(_GW)        ((_GW) - SSOW_LF_GWS_OP_GET_WORK)
  75
  76 #define NSEC2USEC(__ns)                 ((__ns) / 1E3)
  77 #define USEC2NSEC(__us)                 ((__us) * 1E3)
  78 #define NSEC2TICK(__ns, __freq)         (((__ns) * (__freq)) / 1E9)
  79 #define TICK2NSEC(__tck, __freq)        (((__tck) * 1E9) / (__freq))
  80
  81 enum otx2_sso_lf_type {
  82         SSO_LF_GGRP,
  83         SSO_LF_GWS
  84 };
  85
  86 union otx2_sso_event {
  87         uint64_t get_work0;
  88         struct {
  89                 uint32_t flow_id:20;
  90                 uint32_t sub_event_type:8;
  91                 uint32_t event_type:4;
  92                 uint8_t op:2;
  93                 uint8_t rsvd:4;
  94                 uint8_t sched_type:2;
  95                 uint8_t queue_id;
  96                 uint8_t priority;
  97                 uint8_t impl_opaque;
  98         };
  99 } __rte_aligned(64);
 100
 101 enum {
 102         SSO_SYNC_ORDERED,
 103         SSO_SYNC_ATOMIC,
 104         SSO_SYNC_UNTAGGED,
 105         SSO_SYNC_EMPTY
 106 };
 107
 108 struct otx2_sso_qos {
 109         uint8_t queue;
 110         uint8_t xaq_prcnt;
 111         uint8_t taq_prcnt;
 112         uint8_t iaq_prcnt;
 113 };
 114
 115 struct otx2_sso_evdev {
 116         OTX2_DEV; /* Base class */
 117         uint8_t max_event_queues;
 118         uint8_t max_event_ports;
 119         uint8_t is_timeout_deq;
 120         uint8_t nb_event_queues;
 121         uint8_t nb_event_ports;
 122         uint8_t configured;
 123         uint32_t deq_tmo_ns;
 124         uint32_t min_dequeue_timeout_ns;
 125         uint32_t max_dequeue_timeout_ns;
 126         int32_t max_num_events;
 127         uint64_t *fc_mem;
 128         uint64_t xaq_lmt;
 129         uint64_t nb_xaq_cfg;
 130         rte_iova_t fc_iova;
 131         struct rte_mempool *xaq_pool;
 132         uint32_t adptr_xae_cnt;
 133         /* Dev args */
 134         uint8_t dual_ws;
 135         uint8_t selftest;
 136         uint32_t xae_cnt;
 137         uint8_t qos_queue_cnt;
 138         struct otx2_sso_qos *qos_parse_data;
 139         /* HW const */
 140         uint32_t xae_waes;
 141         uint32_t xaq_buf_size;
 142         uint32_t iue;
 143         /* MSIX offsets */
 144         uint16_t sso_msixoff[OTX2_SSO_MAX_VHGRP];
 145         uint16_t ssow_msixoff[OTX2_SSO_MAX_VHWS];
 146 } __rte_cache_aligned;
 147
 148 #define OTX2_SSOGWS_OPS \
 149         /* WS ops */                    \
 150         uintptr_t getwrk_op;            \
 151         uintptr_t tag_op;               \
 152         uintptr_t wqp_op;               \
 153         uintptr_t swtp_op;              \
 154         uintptr_t swtag_norm_op;        \
 155         uintptr_t swtag_desched_op;     \
 156         uint8_t cur_tt;                 \
 157         uint8_t cur_grp
 158
 159 /* Event port aka GWS */
 160 struct otx2_ssogws {
 161         /* Get Work Fastpath data */
 162         OTX2_SSOGWS_OPS;
 163         uint8_t swtag_req;
 164         uint8_t port;
 165         /* Add Work Fastpath data */
 166         uint64_t xaq_lmt __rte_cache_aligned;
 167         uint64_t *fc_mem;
 168         uintptr_t grps_base[OTX2_SSO_MAX_VHGRP];
 169 } __rte_cache_aligned;
 170
 171 struct otx2_ssogws_state {
 172         OTX2_SSOGWS_OPS;
 173 };
 174
 175 struct otx2_ssogws_dual {
 176         /* Get Work Fastpath data */
 177         struct otx2_ssogws_state ws_state[2]; /* Ping and Pong */
 178         uint8_t swtag_req;
 179         uint8_t vws; /* Ping pong bit */
 180         uint8_t port;
 181         /* Add Work Fastpath data */
 182         uint64_t xaq_lmt __rte_cache_aligned;
 183         uint64_t *fc_mem;
 184         uintptr_t grps_base[OTX2_SSO_MAX_VHGRP];
 185 } __rte_cache_aligned;
 186
 187 static inline struct otx2_sso_evdev *
 188 sso_pmd_priv(const struct rte_eventdev *event_dev)
 189 {
 190         return event_dev->data->dev_private;
 191 }
 192
 193 static inline int
 194 parse_kvargs_flag(const char *key, const char *value, void *opaque)
 195 {
 196         RTE_SET_USED(key);
 197
 198         *(uint8_t *)opaque = !!atoi(value);
 199         return 0;
 200 }
 201
 202 static inline int
 203 parse_kvargs_value(const char *key, const char *value, void *opaque)
 204 {
 205         RTE_SET_USED(key);
 206
 207         *(uint32_t *)opaque = (uint32_t)atoi(value);
 208         return 0;
 209 }
 210
 211 /* Single WS API's */
 212 uint16_t otx2_ssogws_enq(void *port, const struct rte_event *ev);
 213 uint16_t otx2_ssogws_enq_burst(void *port, const struct rte_event ev[],
 214                                uint16_t nb_events);
 215 uint16_t otx2_ssogws_enq_new_burst(void *port, const struct rte_event ev[],
 216                                    uint16_t nb_events);
 217 uint16_t otx2_ssogws_enq_fwd_burst(void *port, const struct rte_event ev[],
 218                                    uint16_t nb_events);
 219
 220 uint16_t otx2_ssogws_deq(void *port, struct rte_event *ev,
 221                          uint64_t timeout_ticks);
 222 uint16_t otx2_ssogws_deq_burst(void *port, struct rte_event ev[],
 223                                uint16_t nb_events, uint64_t timeout_ticks);
 224 uint16_t otx2_ssogws_deq_timeout(void *port, struct rte_event *ev,
 225                                  uint64_t timeout_ticks);
 226 uint16_t otx2_ssogws_deq_timeout_burst(void *port, struct rte_event ev[],
 227                                        uint16_t nb_events,
 228                                        uint64_t timeout_ticks);
 229 /* Dual WS API's */
 230 uint16_t otx2_ssogws_dual_enq(void *port, const struct rte_event *ev);
 231 uint16_t otx2_ssogws_dual_enq_burst(void *port, const struct rte_event ev[],
 232                                     uint16_t nb_events);
 233 uint16_t otx2_ssogws_dual_enq_new_burst(void *port, const struct rte_event ev[],
 234                                         uint16_t nb_events);
 235 uint16_t otx2_ssogws_dual_enq_fwd_burst(void *port, const struct rte_event ev[],
 236                                         uint16_t nb_events);
 237
 238 uint16_t otx2_ssogws_dual_deq(void *port, struct rte_event *ev,
 239                               uint64_t timeout_ticks);
 240 uint16_t otx2_ssogws_dual_deq_burst(void *port, struct rte_event ev[],
 241                                     uint16_t nb_events, uint64_t timeout_ticks);
 242 uint16_t otx2_ssogws_dual_deq_timeout(void *port, struct rte_event *ev,
 243                                       uint64_t timeout_ticks);
 244 uint16_t otx2_ssogws_dual_deq_timeout_burst(void *port, struct rte_event ev[],
 245                                             uint16_t nb_events,
 246                                             uint64_t timeout_ticks);
 247
 248 void sso_updt_xae_cnt(struct otx2_sso_evdev *dev, void *data,
 249                       uint32_t event_type);
 250 int sso_xae_reconfigure(struct rte_eventdev *event_dev);
 251 void sso_fastpath_fns_set(struct rte_eventdev *event_dev);
 252 /* Clean up API's */
 253 typedef void (*otx2_handle_event_t)(void *arg, struct rte_event ev);
 254 void ssogws_flush_events(struct otx2_ssogws *ws, uint8_t queue_id,
 255                          uintptr_t base, otx2_handle_event_t fn, void *arg);
 256 void ssogws_reset(struct otx2_ssogws *ws);
 257 /* Selftest */
 258 int otx2_sso_selftest(void);
 259 /* Init and Fini API's */
 260 int otx2_sso_init(struct rte_eventdev *event_dev);
 261 int otx2_sso_fini(struct rte_eventdev *event_dev);
 262 /* IRQ handlers */
 263 int sso_register_irqs(const struct rte_eventdev *event_dev);
 264 void sso_unregister_irqs(const struct rte_eventdev *event_dev);
 265
 266 #endif /* __OTX2_EVDEV_H__ */