net/bnxt: support fast mbuf free
[dpdk.git] / drivers / net / bnxt / bnxt_txr.h
1 /* SPDX-License-Identifier: BSD-3-Clause
2  * Copyright(c) 2014-2018 Broadcom
3  * All rights reserved.
4  */
5
6 #ifndef _BNXT_TXR_H_
7 #define _BNXT_TXR_H_
8
9 #include <rte_io.h>
10
11 #define MAX_TX_RINGS    16
12 #define BNXT_TX_PUSH_THRESH 92
13 #define BNXT_MAX_TSO_SEGS       32
14 #define BNXT_MIN_PKT_SIZE       52
15
16 #define B_TX_DB(db, prod)       rte_write32((DB_KEY_TX | (prod)), db)
17
18 struct bnxt_tx_ring_info {
19         uint16_t                tx_prod;
20         uint16_t                tx_cons;
21         struct bnxt_db_info     tx_db;
22
23         struct tx_bd_long       *tx_desc_ring;
24         struct bnxt_sw_tx_bd    *tx_buf_ring;
25
26         rte_iova_t              tx_desc_mapping;
27
28 #define BNXT_DEV_STATE_CLOSING  0x1
29         uint32_t                dev_state;
30
31         struct bnxt_ring        *tx_ring_struct;
32 };
33
34 struct bnxt_sw_tx_bd {
35         struct rte_mbuf         *mbuf; /* mbuf associated with TX descriptor */
36         uint8_t                 is_gso;
37         unsigned short          nr_bds;
38 };
39
40 static inline uint32_t bnxt_tx_bds_in_hw(struct bnxt_tx_queue *txq)
41 {
42         return ((txq->tx_ring->tx_prod - txq->tx_ring->tx_cons) &
43                 txq->tx_ring->tx_ring_struct->ring_mask);
44 }
45
46 static inline uint32_t bnxt_tx_avail(struct bnxt_tx_queue *txq)
47 {
48         /* Tell compiler to fetch tx indices from memory. */
49         rte_compiler_barrier();
50
51         return ((txq->tx_ring->tx_ring_struct->ring_size -
52                  bnxt_tx_bds_in_hw(txq)) - 1);
53 }
54
55 /*
56  * Transmit completion function for use when DEV_TX_OFFLOAD_MBUF_FAST_FREE
57  * is enabled.
58  */
59 static inline void
60 bnxt_tx_cmp_fast(struct bnxt_tx_queue *txq, int nr_pkts)
61 {
62         struct bnxt_tx_ring_info *txr = txq->tx_ring;
63         uint32_t ring_mask = txr->tx_ring_struct->ring_mask;
64         struct rte_mbuf **free = txq->free;
65         uint16_t cons = txr->tx_cons;
66         unsigned int blk = 0;
67
68         while (nr_pkts--) {
69                 struct bnxt_sw_tx_bd *tx_buf;
70
71                 tx_buf = &txr->tx_buf_ring[cons];
72                 cons = (cons + 1) & ring_mask;
73                 free[blk++] = tx_buf->mbuf;
74                 tx_buf->mbuf = NULL;
75         }
76         if (blk)
77                 rte_mempool_put_bulk(free[0]->pool, (void **)free, blk);
78
79         txr->tx_cons = cons;
80 }
81
82 void bnxt_free_tx_rings(struct bnxt *bp);
83 int bnxt_init_one_tx_ring(struct bnxt_tx_queue *txq);
84 int bnxt_init_tx_ring_struct(struct bnxt_tx_queue *txq, unsigned int socket_id);
85 uint16_t bnxt_xmit_pkts(void *tx_queue, struct rte_mbuf **tx_pkts,
86                                uint16_t nb_pkts);
87 uint16_t bnxt_dummy_xmit_pkts(void *tx_queue, struct rte_mbuf **tx_pkts,
88                               uint16_t nb_pkts);
89 #if defined(RTE_ARCH_X86) || defined(RTE_ARCH_ARM64)
90 uint16_t bnxt_xmit_pkts_vec(void *tx_queue, struct rte_mbuf **tx_pkts,
91                             uint16_t nb_pkts);
92 #endif
93
94 int bnxt_tx_queue_start(struct rte_eth_dev *dev, uint16_t tx_queue_id);
95 int bnxt_tx_queue_stop(struct rte_eth_dev *dev, uint16_t tx_queue_id);
96
97 #define PKT_TX_OIP_IIP_TCP_UDP_CKSUM    (PKT_TX_TCP_CKSUM | PKT_TX_UDP_CKSUM | \
98                                         PKT_TX_IP_CKSUM | PKT_TX_OUTER_IP_CKSUM)
99 #define PKT_TX_OIP_IIP_UDP_CKSUM        (PKT_TX_UDP_CKSUM | \
100                                         PKT_TX_IP_CKSUM | PKT_TX_OUTER_IP_CKSUM)
101 #define PKT_TX_OIP_IIP_TCP_CKSUM        (PKT_TX_TCP_CKSUM | \
102                                         PKT_TX_IP_CKSUM | PKT_TX_OUTER_IP_CKSUM)
103 #define PKT_TX_IIP_TCP_UDP_CKSUM        (PKT_TX_TCP_CKSUM | PKT_TX_UDP_CKSUM | \
104                                         PKT_TX_IP_CKSUM)
105 #define PKT_TX_IIP_TCP_CKSUM            (PKT_TX_TCP_CKSUM | PKT_TX_IP_CKSUM)
106 #define PKT_TX_IIP_UDP_CKSUM            (PKT_TX_UDP_CKSUM | PKT_TX_IP_CKSUM)
107 #define PKT_TX_OIP_TCP_UDP_CKSUM        (PKT_TX_TCP_CKSUM | PKT_TX_UDP_CKSUM | \
108                                         PKT_TX_OUTER_IP_CKSUM)
109 #define PKT_TX_OIP_UDP_CKSUM            (PKT_TX_UDP_CKSUM | \
110                                         PKT_TX_OUTER_IP_CKSUM)
111 #define PKT_TX_OIP_TCP_CKSUM            (PKT_TX_TCP_CKSUM | \
112                                         PKT_TX_OUTER_IP_CKSUM)
113 #define PKT_TX_OIP_IIP_CKSUM            (PKT_TX_IP_CKSUM |      \
114                                          PKT_TX_OUTER_IP_CKSUM)
115 #define PKT_TX_TCP_UDP_CKSUM            (PKT_TX_TCP_CKSUM | PKT_TX_UDP_CKSUM)
116
117
118 #define TX_BD_FLG_TIP_IP_TCP_UDP_CHKSUM (TX_BD_LONG_LFLAGS_TCP_UDP_CHKSUM | \
119                                         TX_BD_LONG_LFLAGS_T_IP_CHKSUM | \
120                                         TX_BD_LONG_LFLAGS_IP_CHKSUM)
121 #define TX_BD_FLG_IP_TCP_UDP_CHKSUM     (TX_BD_LONG_LFLAGS_TCP_UDP_CHKSUM | \
122                                         TX_BD_LONG_LFLAGS_IP_CHKSUM)
123 #define TX_BD_FLG_TIP_IP_CHKSUM         (TX_BD_LONG_LFLAGS_T_IP_CHKSUM | \
124                                         TX_BD_LONG_LFLAGS_IP_CHKSUM)
125 #define TX_BD_FLG_TIP_TCP_UDP_CHKSUM    (TX_BD_LONG_LFLAGS_TCP_UDP_CHKSUM | \
126                                         TX_BD_LONG_LFLAGS_T_IP_CHKSUM)
127
128 #endif