drivers/net/ngbe/ngbe_rxtx.h

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  * Copyright(c) 2018-2021 Beijing WangXun Technology Co., Ltd.
   3  * Copyright(c) 2010-2017 Intel Corporation
   4  */
   5
   6 #ifndef _NGBE_RXTX_H_
   7 #define _NGBE_RXTX_H_
   8
   9 /*****************************************************************************
  10  * Receive Descriptor
  11  *****************************************************************************/
  12 struct ngbe_rx_desc {
  13         struct {
  14                 union {
  15                         rte_le32_t dw0;
  16                         struct {
  17                                 rte_le16_t pkt;
  18                                 rte_le16_t hdr;
  19                         } lo;
  20                 };
  21                 union {
  22                         rte_le32_t dw1;
  23                         struct {
  24                                 rte_le16_t ipid;
  25                                 rte_le16_t csum;
  26                         } hi;
  27                 };
  28         } qw0; /* also as r.pkt_addr */
  29         struct {
  30                 union {
  31                         rte_le32_t dw2;
  32                         struct {
  33                                 rte_le32_t status;
  34                         } lo;
  35                 };
  36                 union {
  37                         rte_le32_t dw3;
  38                         struct {
  39                                 rte_le16_t len;
  40                                 rte_le16_t tag;
  41                         } hi;
  42                 };
  43         } qw1; /* also as r.hdr_addr */
  44 };
  45
  46 /* @ngbe_rx_desc.qw0 */
  47 #define NGBE_RXD_PKTADDR(rxd, v)  \
  48         (((volatile __le64 *)(rxd))[0] = cpu_to_le64(v))
  49
  50 /* @ngbe_rx_desc.qw1 */
  51 #define NGBE_RXD_HDRADDR(rxd, v)  \
  52         (((volatile __le64 *)(rxd))[1] = cpu_to_le64(v))
  53
  54 /* @ngbe_rx_desc.dw0 */
  55 #define NGBE_RXD_RSSTYPE(dw)      RS(dw, 0, 0xF)
  56 #define   NGBE_RSSTYPE_NONE       0
  57 #define   NGBE_RSSTYPE_IPV4TCP    1
  58 #define   NGBE_RSSTYPE_IPV4       2
  59 #define   NGBE_RSSTYPE_IPV6TCP    3
  60 #define   NGBE_RSSTYPE_IPV4SCTP   4
  61 #define   NGBE_RSSTYPE_IPV6       5
  62 #define   NGBE_RSSTYPE_IPV6SCTP   6
  63 #define   NGBE_RSSTYPE_IPV4UDP    7
  64 #define   NGBE_RSSTYPE_IPV6UDP    8
  65 #define   NGBE_RSSTYPE_FDIR       15
  66 #define NGBE_RXD_SECTYPE(dw)      RS(dw, 4, 0x3)
  67 #define NGBE_RXD_SECTYPE_NONE     LS(0, 4, 0x3)
  68 #define NGBE_RXD_SECTYPE_IPSECESP LS(2, 4, 0x3)
  69 #define NGBE_RXD_SECTYPE_IPSECAH  LS(3, 4, 0x3)
  70 #define NGBE_RXD_TPIDSEL(dw)      RS(dw, 6, 0x7)
  71 #define NGBE_RXD_PTID(dw)         RS(dw, 9, 0xFF)
  72 #define NGBE_RXD_RSCCNT(dw)       RS(dw, 17, 0xF)
  73 #define NGBE_RXD_HDRLEN(dw)       RS(dw, 21, 0x3FF)
  74 #define NGBE_RXD_SPH              MS(31, 0x1)
  75
  76 /* @ngbe_rx_desc.dw1 */
  77 /** bit 0-31, as rss hash when  **/
  78 #define NGBE_RXD_RSSHASH(rxd)     ((rxd)->qw0.dw1)
  79
  80 /** bit 0-31, as ip csum when  **/
  81 #define NGBE_RXD_IPID(rxd)        ((rxd)->qw0.hi.ipid)
  82 #define NGBE_RXD_CSUM(rxd)        ((rxd)->qw0.hi.csum)
  83
  84 /* @ngbe_rx_desc.dw2 */
  85 #define NGBE_RXD_STATUS(rxd)      ((rxd)->qw1.lo.status)
  86 /** bit 0-1 **/
  87 #define NGBE_RXD_STAT_DD          MS(0, 0x1) /* Descriptor Done */
  88 #define NGBE_RXD_STAT_EOP         MS(1, 0x1) /* End of Packet */
  89 /** bit 2-31, when EOP=0 **/
  90 #define NGBE_RXD_NEXTP_RESV(v)    LS(v, 2, 0x3)
  91 #define NGBE_RXD_NEXTP(dw)        RS(dw, 4, 0xFFFF) /* Next Descriptor */
  92 /** bit 2-31, when EOP=1 **/
  93 #define NGBE_RXD_PKT_CLS_MASK     MS(2, 0x7) /* Packet Class */
  94 #define NGBE_RXD_PKT_CLS_TC_RSS   LS(0, 2, 0x7) /* RSS Hash */
  95 #define NGBE_RXD_PKT_CLS_FLM      LS(1, 2, 0x7) /* FDir Match */
  96 #define NGBE_RXD_PKT_CLS_SYN      LS(2, 2, 0x7) /* TCP Sync */
  97 #define NGBE_RXD_PKT_CLS_5TUPLE   LS(3, 2, 0x7) /* 5 Tuple */
  98 #define NGBE_RXD_PKT_CLS_ETF      LS(4, 2, 0x7) /* Ethertype Filter */
  99 #define NGBE_RXD_STAT_VLAN        MS(5, 0x1) /* IEEE VLAN Packet */
 100 #define NGBE_RXD_STAT_UDPCS       MS(6, 0x1) /* UDP xsum calculated */
 101 #define NGBE_RXD_STAT_L4CS        MS(7, 0x1) /* L4 xsum calculated */
 102 #define NGBE_RXD_STAT_IPCS        MS(8, 0x1) /* IP xsum calculated */
 103 #define NGBE_RXD_STAT_PIF         MS(9, 0x1) /* Non-unicast address */
 104 #define NGBE_RXD_STAT_EIPCS       MS(10, 0x1) /* Encap IP xsum calculated */
 105 #define NGBE_RXD_STAT_VEXT        MS(11, 0x1) /* Multi-VLAN */
 106 #define NGBE_RXD_STAT_IPV6EX      MS(12, 0x1) /* IPv6 with option header */
 107 #define NGBE_RXD_STAT_LLINT       MS(13, 0x1) /* Pkt caused LLI */
 108 #define NGBE_RXD_STAT_1588        MS(14, 0x1) /* IEEE1588 Time Stamp */
 109 #define NGBE_RXD_STAT_SECP        MS(15, 0x1) /* Security Processing */
 110 #define NGBE_RXD_STAT_LB          MS(16, 0x1) /* Loopback Status */
 111 /*** bit 17-30, when PTYPE=IP ***/
 112 #define NGBE_RXD_STAT_BMC         MS(17, 0x1) /* PTYPE=IP, BMC status */
 113 #define NGBE_RXD_ERR_HBO          MS(23, 0x1) /* Header Buffer Overflow */
 114 #define NGBE_RXD_ERR_EIPCS        MS(26, 0x1) /* Encap IP header error */
 115 #define NGBE_RXD_ERR_SECERR       MS(27, 0x1) /* macsec or ipsec error */
 116 #define NGBE_RXD_ERR_RXE          MS(29, 0x1) /* Any MAC Error */
 117 #define NGBE_RXD_ERR_L4CS         MS(30, 0x1) /* TCP/UDP xsum error */
 118 #define NGBE_RXD_ERR_IPCS         MS(31, 0x1) /* IP xsum error */
 119 #define NGBE_RXD_ERR_CSUM(dw)     RS(dw, 30, 0x3)
 120
 121 /* @ngbe_rx_desc.dw3 */
 122 #define NGBE_RXD_LENGTH(rxd)           ((rxd)->qw1.hi.len)
 123 #define NGBE_RXD_VLAN(rxd)             ((rxd)->qw1.hi.tag)
 124
 125 /*****************************************************************************
 126  * Transmit Descriptor
 127  *****************************************************************************/
 128 /**
 129  * Transmit Context Descriptor (NGBE_TXD_TYP=CTXT)
 130  **/
 131 struct ngbe_tx_ctx_desc {
 132         rte_le32_t dw0; /* w.vlan_macip_lens  */
 133         rte_le32_t dw1; /* w.seqnum_seed      */
 134         rte_le32_t dw2; /* w.type_tucmd_mlhl  */
 135         rte_le32_t dw3; /* w.mss_l4len_idx    */
 136 };
 137
 138 /* @ngbe_tx_ctx_desc.dw3 */
 139 #define NGBE_TXD_DD               MS(0, 0x1) /* descriptor done */
 140
 141 /**
 142  * Transmit Data Descriptor (NGBE_TXD_TYP=DATA)
 143  **/
 144 struct ngbe_tx_desc {
 145         rte_le64_t qw0; /* r.buffer_addr ,  w.reserved    */
 146         rte_le32_t dw2; /* r.cmd_type_len,  w.nxtseq_seed */
 147         rte_le32_t dw3; /* r.olinfo_status, w.status      */
 148 };
 149
 150 /* @ngbe_tx_desc.dw2 */
 151 #define NGBE_TXD_DATLEN(v)        ((0xFFFF & (v))) /* data buffer length */
 152 #define NGBE_TXD_1588             ((0x1) << 19) /* IEEE1588 time stamp */
 153 #define NGBE_TXD_DATA             ((0x0) << 20) /* data descriptor */
 154 #define NGBE_TXD_EOP              ((0x1) << 24) /* End of Packet */
 155 #define NGBE_TXD_FCS              ((0x1) << 25) /* Insert FCS */
 156 #define NGBE_TXD_LINKSEC          ((0x1) << 26) /* Insert LinkSec */
 157 #define NGBE_TXD_ECU              ((0x1) << 28) /* forward to ECU */
 158 #define NGBE_TXD_CNTAG            ((0x1) << 29) /* insert CN tag */
 159 #define NGBE_TXD_VLE              ((0x1) << 30) /* insert VLAN tag */
 160 #define NGBE_TXD_TSE              ((0x1) << 31) /* transmit segmentation */
 161
 162 #define NGBE_TXD_FLAGS (NGBE_TXD_FCS | NGBE_TXD_EOP)
 163
 164 /* @ngbe_tx_desc.dw3 */
 165 #define NGBE_TXD_DD_UNUSED        NGBE_TXD_DD
 166 #define NGBE_TXD_IDX_UNUSED(v)    NGBE_TXD_IDX(v)
 167 #define NGBE_TXD_CC               ((0x1) << 7) /* check context */
 168 #define NGBE_TXD_IPSEC            ((0x1) << 8) /* request ipsec offload */
 169 #define NGBE_TXD_L4CS             ((0x1) << 9) /* insert TCP/UDP/SCTP csum */
 170 #define NGBE_TXD_IPCS             ((0x1) << 10) /* insert IPv4 csum */
 171 #define NGBE_TXD_EIPCS            ((0x1) << 11) /* insert outer IP csum */
 172 #define NGBE_TXD_MNGFLT           ((0x1) << 12) /* enable management filter */
 173 #define NGBE_TXD_PAYLEN(v)        ((0x7FFFF & (v)) << 13) /* payload length */
 174
 175 #define RTE_PMD_NGBE_TX_MAX_BURST 32
 176 #define RTE_PMD_NGBE_RX_MAX_BURST 32
 177 #define RTE_NGBE_TX_MAX_FREE_BUF_SZ 64
 178
 179 #define RX_RING_SZ ((NGBE_RING_DESC_MAX + RTE_PMD_NGBE_RX_MAX_BURST) * \
 180                     sizeof(struct ngbe_rx_desc))
 181
 182 #define rte_packet_prefetch(p)  rte_prefetch1(p)
 183
 184 #define RTE_NGBE_REGISTER_POLL_WAIT_10_MS  10
 185 #define RTE_NGBE_WAIT_100_US               100
 186
 187 #define NGBE_TX_MAX_SEG                    40
 188
 189 #ifndef DEFAULT_TX_FREE_THRESH
 190 #define DEFAULT_TX_FREE_THRESH 32
 191 #endif
 192
 193 /**
 194  * Structure associated with each descriptor of the Rx ring of a Rx queue.
 195  */
 196 struct ngbe_rx_entry {
 197         struct rte_mbuf *mbuf; /**< mbuf associated with Rx descriptor. */
 198 };
 199
 200 struct ngbe_scattered_rx_entry {
 201         struct rte_mbuf *fbuf; /**< First segment of the fragmented packet. */
 202 };
 203
 204 /**
 205  * Structure associated with each descriptor of the Tx ring of a Tx queue.
 206  */
 207 struct ngbe_tx_entry {
 208         struct rte_mbuf *mbuf; /**< mbuf associated with Tx desc, if any. */
 209         uint16_t next_id; /**< Index of next descriptor in ring. */
 210         uint16_t last_id; /**< Index of last scattered descriptor. */
 211 };
 212
 213 /**
 214  * Structure associated with each Rx queue.
 215  */
 216 struct ngbe_rx_queue {
 217         struct rte_mempool   *mb_pool; /**< mbuf pool to populate Rx ring */
 218         uint64_t             rx_ring_phys_addr; /**< Rx ring DMA address */
 219         volatile uint32_t    *rdt_reg_addr; /**< RDT register address */
 220         volatile uint32_t    *rdh_reg_addr; /**< RDH register address */
 221
 222         volatile struct ngbe_rx_desc   *rx_ring; /**< Rx ring virtual address */
 223         /** address of Rx software ring */
 224         struct ngbe_rx_entry           *sw_ring;
 225         /** address of scattered Rx software ring */
 226         struct ngbe_scattered_rx_entry *sw_sc_ring;
 227
 228         struct rte_mbuf *pkt_first_seg; /**< First segment of current packet */
 229         struct rte_mbuf *pkt_last_seg; /**< Last segment of current packet */
 230         uint16_t        nb_rx_desc; /**< number of Rx descriptors */
 231         uint16_t        rx_tail;  /**< current value of RDT register */
 232         uint16_t        nb_rx_hold; /**< number of held free Rx desc */
 233
 234         uint16_t rx_nb_avail; /**< nr of staged pkts ready to ret to app */
 235         uint16_t rx_next_avail; /**< idx of next staged pkt to ret to app */
 236         uint16_t rx_free_trigger; /**< triggers rx buffer allocation */
 237
 238         uint16_t        rx_free_thresh; /**< max free Rx desc to hold */
 239         uint16_t        queue_id; /**< RX queue index */
 240         uint16_t        reg_idx;  /**< RX queue register index */
 241         uint16_t        port_id;  /**< Device port identifier */
 242         uint8_t         drop_en;  /**< If not 0, set SRRCTL.Drop_En */
 243         uint8_t         rx_deferred_start; /**< not in global dev start */
 244         /** need to alloc dummy mbuf, for wraparound when scanning hw ring */
 245         struct rte_mbuf fake_mbuf;
 246         /** hold packets to return to application */
 247         struct rte_mbuf *rx_stage[RTE_PMD_NGBE_RX_MAX_BURST * 2];
 248 };
 249
 250 /**
 251  * NGBE CTX Constants
 252  */
 253 enum ngbe_ctx_num {
 254         NGBE_CTX_0    = 0, /**< CTX0 */
 255         NGBE_CTX_1    = 1, /**< CTX1  */
 256         NGBE_CTX_NUM  = 2, /**< CTX NUMBER  */
 257 };
 258
 259 /**
 260  * Structure to check if new context need be built
 261  */
 262 struct ngbe_ctx_info {
 263         uint64_t flags;           /**< ol_flags for context build. */
 264 };
 265
 266 /**
 267  * Structure associated with each Tx queue.
 268  */
 269 struct ngbe_tx_queue {
 270         /** Tx ring virtual address */
 271         volatile struct ngbe_tx_desc *tx_ring;
 272
 273         uint64_t             tx_ring_phys_addr; /**< Tx ring DMA address */
 274         struct ngbe_tx_entry *sw_ring; /**< address of SW ring for scalar PMD */
 275         volatile uint32_t    *tdt_reg_addr; /**< Address of TDT register */
 276         volatile uint32_t    *tdc_reg_addr; /**< Address of TDC register */
 277         uint16_t             nb_tx_desc;    /**< number of Tx descriptors */
 278         uint16_t             tx_tail;       /**< current value of TDT reg */
 279         /**
 280          * Start freeing Tx buffers if there are less free descriptors than
 281          * this value.
 282          */
 283         uint16_t             tx_free_thresh;
 284         /** Index to last Tx descriptor to have been cleaned */
 285         uint16_t             last_desc_cleaned;
 286         /** Total number of Tx descriptors ready to be allocated */
 287         uint16_t             nb_tx_free;
 288         uint16_t             tx_next_dd;    /**< next desc to scan for DD bit */
 289         uint16_t             queue_id;      /**< Tx queue index */
 290         uint16_t             reg_idx;       /**< Tx queue register index */
 291         uint16_t             port_id;       /**< Device port identifier */
 292         uint8_t              pthresh;       /**< Prefetch threshold register */
 293         uint8_t              hthresh;       /**< Host threshold register */
 294         uint8_t              wthresh;       /**< Write-back threshold reg */
 295         uint32_t             ctx_curr;      /**< Hardware context states */
 296         /** Hardware context0 history */
 297         struct ngbe_ctx_info ctx_cache[NGBE_CTX_NUM];
 298         uint8_t              tx_deferred_start; /**< not in global dev start */
 299
 300         const struct ngbe_txq_ops *ops;       /**< txq ops */
 301 };
 302
 303 struct ngbe_txq_ops {
 304         void (*release_mbufs)(struct ngbe_tx_queue *txq);
 305         void (*free_swring)(struct ngbe_tx_queue *txq);
 306         void (*reset)(struct ngbe_tx_queue *txq);
 307 };
 308
 309 #endif /* _NGBE_RXTX_H_ */