net/octeontx2: support VLAN offloads
[dpdk.git] / drivers / net / octeontx2 / otx2_ethdev.h
1 /* SPDX-License-Identifier: BSD-3-Clause
2  * Copyright(C) 2019 Marvell International Ltd.
3  */
4
5 #ifndef __OTX2_ETHDEV_H__
6 #define __OTX2_ETHDEV_H__
7
8 #include <stdint.h>
9
10 #include <rte_common.h>
11 #include <rte_ethdev.h>
12 #include <rte_kvargs.h>
13 #include <rte_mbuf.h>
14 #include <rte_mempool.h>
15 #include <rte_string_fns.h>
16 #include <rte_time.h>
17
18 #include "otx2_common.h"
19 #include "otx2_dev.h"
20 #include "otx2_flow.h"
21 #include "otx2_irq.h"
22 #include "otx2_mempool.h"
23 #include "otx2_rx.h"
24 #include "otx2_tm.h"
25 #include "otx2_tx.h"
26
27 #define OTX2_ETH_DEV_PMD_VERSION        "1.0"
28
29 /* Ethdev HWCAP and Fixup flags. Use from MSB bits to avoid conflict with dev */
30
31 /* Minimum CQ size should be 4K */
32 #define OTX2_FIXUP_F_MIN_4K_Q           BIT_ULL(63)
33 #define otx2_ethdev_fixup_is_min_4k_q(dev)      \
34                                 ((dev)->hwcap & OTX2_FIXUP_F_MIN_4K_Q)
35 /* Limit CQ being full */
36 #define OTX2_FIXUP_F_LIMIT_CQ_FULL      BIT_ULL(62)
37 #define otx2_ethdev_fixup_is_limit_cq_full(dev) \
38                                 ((dev)->hwcap & OTX2_FIXUP_F_LIMIT_CQ_FULL)
39
40 /* Used for struct otx2_eth_dev::flags */
41 #define OTX2_LINK_CFG_IN_PROGRESS_F     BIT_ULL(0)
42
43 /* VLAN tag inserted by NIX_TX_VTAG_ACTION.
44  * In Tx space is always reserved for this in FRS.
45  */
46 #define NIX_MAX_VTAG_INS                2
47 #define NIX_MAX_VTAG_ACT_SIZE           (4 * NIX_MAX_VTAG_INS)
48
49 /* ETH_HLEN+ETH_FCS+2*VLAN_HLEN */
50 #define NIX_L2_OVERHEAD \
51         (RTE_ETHER_HDR_LEN + RTE_ETHER_CRC_LEN + 8)
52
53 /* HW config of frame size doesn't include FCS */
54 #define NIX_MAX_HW_FRS                  9212
55 #define NIX_MIN_HW_FRS                  60
56
57 /* Since HW FRS includes NPC VTAG insertion space, user has reduced FRS */
58 #define NIX_MAX_FRS     \
59         (NIX_MAX_HW_FRS + RTE_ETHER_CRC_LEN - NIX_MAX_VTAG_ACT_SIZE)
60
61 #define NIX_MIN_FRS     \
62         (NIX_MIN_HW_FRS + RTE_ETHER_CRC_LEN)
63
64 #define NIX_MAX_MTU     \
65         (NIX_MAX_FRS - NIX_L2_OVERHEAD)
66
67 #define NIX_MAX_SQB                     512
68 #define NIX_MIN_SQB                     32
69 #define NIX_SQB_LIST_SPACE              2
70 #define NIX_RSS_RETA_SIZE_MAX           256
71 /* Group 0 will be used for RSS, 1 -7 will be used for rte_flow RSS action*/
72 #define NIX_RSS_GRPS                    8
73 #define NIX_HASH_KEY_SIZE               48 /* 352 Bits */
74 #define NIX_RSS_RETA_SIZE               64
75 #define NIX_RX_MIN_DESC                 16
76 #define NIX_RX_MIN_DESC_ALIGN           16
77 #define NIX_RX_NB_SEG_MAX               6
78 #define NIX_CQ_ENTRY_SZ                 128
79 #define NIX_CQ_ALIGN                    512
80 #define NIX_SQB_LOWER_THRESH            90
81 #define LMT_SLOT_MASK                   0x7f
82
83 /* If PTP is enabled additional SEND MEM DESC is required which
84  * takes 2 words, hence max 7 iova address are possible
85  */
86 #if defined(RTE_LIBRTE_IEEE1588)
87 #define NIX_TX_NB_SEG_MAX               7
88 #else
89 #define NIX_TX_NB_SEG_MAX               9
90 #endif
91
92 /* Apply BP when CQ is 75% full */
93 #define NIX_CQ_BP_LEVEL (25 * 256 / 100)
94
95 #define CQ_OP_STAT_OP_ERR       63
96 #define CQ_OP_STAT_CQ_ERR       46
97
98 #define OP_ERR                  BIT_ULL(CQ_OP_STAT_OP_ERR)
99 #define CQ_ERR                  BIT_ULL(CQ_OP_STAT_CQ_ERR)
100
101 #define NIX_RSS_OFFLOAD         (ETH_RSS_PORT | ETH_RSS_IP | ETH_RSS_UDP |\
102                                  ETH_RSS_TCP | ETH_RSS_SCTP | \
103                                  ETH_RSS_TUNNEL | ETH_RSS_L2_PAYLOAD)
104
105 #define NIX_TX_OFFLOAD_CAPA ( \
106         DEV_TX_OFFLOAD_MBUF_FAST_FREE   | \
107         DEV_TX_OFFLOAD_MT_LOCKFREE      | \
108         DEV_TX_OFFLOAD_VLAN_INSERT      | \
109         DEV_TX_OFFLOAD_QINQ_INSERT      | \
110         DEV_TX_OFFLOAD_OUTER_IPV4_CKSUM | \
111         DEV_TX_OFFLOAD_OUTER_UDP_CKSUM  | \
112         DEV_TX_OFFLOAD_TCP_CKSUM        | \
113         DEV_TX_OFFLOAD_UDP_CKSUM        | \
114         DEV_TX_OFFLOAD_SCTP_CKSUM       | \
115         DEV_TX_OFFLOAD_MULTI_SEGS       | \
116         DEV_TX_OFFLOAD_IPV4_CKSUM)
117
118 #define NIX_RX_OFFLOAD_CAPA ( \
119         DEV_RX_OFFLOAD_CHECKSUM         | \
120         DEV_RX_OFFLOAD_SCTP_CKSUM       | \
121         DEV_RX_OFFLOAD_OUTER_IPV4_CKSUM | \
122         DEV_RX_OFFLOAD_SCATTER          | \
123         DEV_RX_OFFLOAD_JUMBO_FRAME      | \
124         DEV_RX_OFFLOAD_OUTER_UDP_CKSUM | \
125         DEV_RX_OFFLOAD_VLAN_STRIP | \
126         DEV_RX_OFFLOAD_VLAN_FILTER | \
127         DEV_RX_OFFLOAD_QINQ_STRIP | \
128         DEV_RX_OFFLOAD_TIMESTAMP)
129
130 #define NIX_DEFAULT_RSS_CTX_GROUP  0
131 #define NIX_DEFAULT_RSS_MCAM_IDX  -1
132
133 #define otx2_ethdev_is_ptp_en(dev)      ((dev)->ptp_en)
134
135 #define NIX_TIMESYNC_TX_CMD_LEN         8
136 /* Additional timesync values. */
137 #define OTX2_CYCLECOUNTER_MASK   0xffffffffffffffffULL
138
139 enum nix_q_size_e {
140         nix_q_size_16,  /* 16 entries */
141         nix_q_size_64,  /* 64 entries */
142         nix_q_size_256,
143         nix_q_size_1K,
144         nix_q_size_4K,
145         nix_q_size_16K,
146         nix_q_size_64K,
147         nix_q_size_256K,
148         nix_q_size_1M,  /* Million entries */
149         nix_q_size_max
150 };
151
152 struct otx2_qint {
153         struct rte_eth_dev *eth_dev;
154         uint8_t qintx;
155 };
156
157 struct otx2_rss_info {
158         uint64_t nix_rss;
159         uint32_t flowkey_cfg;
160         uint16_t rss_size;
161         uint8_t rss_grps;
162         uint8_t alg_idx; /* Selected algo index */
163         uint16_t ind_tbl[NIX_RSS_RETA_SIZE_MAX];
164         uint8_t key[NIX_HASH_KEY_SIZE];
165 };
166
167 struct otx2_eth_qconf {
168         union {
169                 struct rte_eth_txconf tx;
170                 struct rte_eth_rxconf rx;
171         } conf;
172         void *mempool;
173         uint32_t socket_id;
174         uint16_t nb_desc;
175 };
176
177 struct otx2_fc_info {
178         enum rte_eth_fc_mode mode;  /**< Link flow control mode */
179         uint8_t rx_pause;
180         uint8_t tx_pause;
181         uint8_t chan_cnt;
182         uint16_t bpid[NIX_MAX_CHAN];
183 };
184
185 struct vlan_mkex_info {
186         struct npc_xtract_info la_xtract;
187         struct npc_xtract_info lb_xtract;
188         uint64_t lb_lt_offset;
189 };
190
191 struct vlan_entry {
192         uint32_t mcam_idx;
193         uint16_t vlan_id;
194         TAILQ_ENTRY(vlan_entry) next;
195 };
196
197 TAILQ_HEAD(otx2_vlan_filter_tbl, vlan_entry);
198
199 struct otx2_vlan_info {
200         struct otx2_vlan_filter_tbl fltr_tbl;
201         /* MKEX layer info */
202         struct mcam_entry def_tx_mcam_ent;
203         struct mcam_entry def_rx_mcam_ent;
204         struct vlan_mkex_info mkex;
205         /* Default mcam entry that matches vlan packets */
206         uint32_t def_rx_mcam_idx;
207         uint32_t def_tx_mcam_idx;
208         /* MCAM entry that matches double vlan packets */
209         uint32_t qinq_mcam_idx;
210         /* Indices of tx_vtag def registers */
211         uint32_t outer_vlan_idx;
212         uint32_t inner_vlan_idx;
213         uint16_t outer_vlan_tpid;
214         uint16_t inner_vlan_tpid;
215         uint16_t pvid;
216         /* QinQ entry allocated before default one */
217         uint8_t qinq_before_def;
218         uint8_t pvid_insert_on;
219         /* Rx vtag action type */
220         uint8_t vtag_type_idx;
221         uint8_t filter_on;
222         uint8_t strip_on;
223         uint8_t qinq_on;
224         uint8_t promisc_on;
225 };
226
227 struct otx2_eth_dev {
228         OTX2_DEV; /* Base class */
229         MARKER otx2_eth_dev_data_start;
230         uint16_t sqb_size;
231         uint16_t rx_chan_base;
232         uint16_t tx_chan_base;
233         uint8_t rx_chan_cnt;
234         uint8_t tx_chan_cnt;
235         uint8_t lso_tsov4_idx;
236         uint8_t lso_tsov6_idx;
237         uint8_t mac_addr[RTE_ETHER_ADDR_LEN];
238         uint8_t max_mac_entries;
239         uint8_t lf_tx_stats;
240         uint8_t lf_rx_stats;
241         uint16_t flags;
242         uint16_t cints;
243         uint16_t qints;
244         uint8_t configured;
245         uint8_t configured_qints;
246         uint8_t configured_nb_rx_qs;
247         uint8_t configured_nb_tx_qs;
248         uint16_t nix_msixoff;
249         uintptr_t base;
250         uintptr_t lmt_addr;
251         uint16_t scalar_ena;
252         uint16_t max_sqb_count;
253         uint16_t rx_offload_flags; /* Selected Rx offload flags(NIX_RX_*_F) */
254         uint64_t rx_offloads;
255         uint16_t tx_offload_flags; /* Selected Tx offload flags(NIX_TX_*_F) */
256         uint64_t tx_offloads;
257         uint64_t rx_offload_capa;
258         uint64_t tx_offload_capa;
259         struct otx2_qint qints_mem[RTE_MAX_QUEUES_PER_PORT];
260         uint16_t txschq[NIX_TXSCH_LVL_CNT];
261         uint16_t txschq_contig[NIX_TXSCH_LVL_CNT];
262         uint16_t txschq_index[NIX_TXSCH_LVL_CNT];
263         uint16_t txschq_contig_index[NIX_TXSCH_LVL_CNT];
264         /* Dis-contiguous queues */
265         uint16_t txschq_list[NIX_TXSCH_LVL_CNT][MAX_TXSCHQ_PER_FUNC];
266         /* Contiguous queues */
267         uint16_t txschq_contig_list[NIX_TXSCH_LVL_CNT][MAX_TXSCHQ_PER_FUNC];
268         uint16_t otx2_tm_root_lvl;
269         uint16_t tm_flags;
270         uint16_t tm_leaf_cnt;
271         struct otx2_nix_tm_node_list node_list;
272         struct otx2_nix_tm_shaper_profile_list shaper_profile_list;
273         struct otx2_rss_info rss_info;
274         struct otx2_fc_info fc_info;
275         uint32_t txmap[RTE_ETHDEV_QUEUE_STAT_CNTRS];
276         uint32_t rxmap[RTE_ETHDEV_QUEUE_STAT_CNTRS];
277         struct otx2_npc_flow_info npc_flow;
278         struct otx2_vlan_info vlan_info;
279         struct otx2_eth_qconf *tx_qconf;
280         struct otx2_eth_qconf *rx_qconf;
281         struct rte_eth_dev *eth_dev;
282         /* PTP counters */
283         bool ptp_en;
284         struct otx2_timesync_info tstamp;
285         struct rte_timecounter  systime_tc;
286         struct rte_timecounter  rx_tstamp_tc;
287         struct rte_timecounter  tx_tstamp_tc;
288 } __rte_cache_aligned;
289
290 struct otx2_eth_txq {
291         uint64_t cmd[8];
292         int64_t fc_cache_pkts;
293         uint64_t *fc_mem;
294         void *lmt_addr;
295         rte_iova_t io_addr;
296         rte_iova_t fc_iova;
297         uint16_t sqes_per_sqb_log2;
298         int16_t nb_sqb_bufs_adj;
299         MARKER slow_path_start;
300         uint16_t nb_sqb_bufs;
301         uint16_t sq;
302         uint64_t offloads;
303         struct otx2_eth_dev *dev;
304         struct rte_mempool *sqb_pool;
305         struct otx2_eth_qconf qconf;
306 } __rte_cache_aligned;
307
308 struct otx2_eth_rxq {
309         uint64_t mbuf_initializer;
310         uint64_t data_off;
311         uintptr_t desc;
312         void *lookup_mem;
313         uintptr_t cq_door;
314         uint64_t wdata;
315         int64_t *cq_status;
316         uint32_t head;
317         uint32_t qmask;
318         uint32_t available;
319         uint16_t rq;
320         struct otx2_timesync_info *tstamp;
321         MARKER slow_path_start;
322         uint64_t aura;
323         uint64_t offloads;
324         uint32_t qlen;
325         struct rte_mempool *pool;
326         enum nix_q_size_e qsize;
327         struct rte_eth_dev *eth_dev;
328         struct otx2_eth_qconf qconf;
329 } __rte_cache_aligned;
330
331 static inline struct otx2_eth_dev *
332 otx2_eth_pmd_priv(struct rte_eth_dev *eth_dev)
333 {
334         return eth_dev->data->dev_private;
335 }
336
337 /* Ops */
338 void otx2_nix_info_get(struct rte_eth_dev *eth_dev,
339                        struct rte_eth_dev_info *dev_info);
340 int otx2_nix_dev_filter_ctrl(struct rte_eth_dev *eth_dev,
341                              enum rte_filter_type filter_type,
342                              enum rte_filter_op filter_op, void *arg);
343 int otx2_nix_get_module_info(struct rte_eth_dev *eth_dev,
344                              struct rte_eth_dev_module_info *modinfo);
345 int otx2_nix_get_module_eeprom(struct rte_eth_dev *eth_dev,
346                                struct rte_dev_eeprom_info *info);
347 int otx2_nix_pool_ops_supported(struct rte_eth_dev *eth_dev, const char *pool);
348 void otx2_nix_rxq_info_get(struct rte_eth_dev *eth_dev, uint16_t queue_id,
349                            struct rte_eth_rxq_info *qinfo);
350 void otx2_nix_txq_info_get(struct rte_eth_dev *eth_dev, uint16_t queue_id,
351                            struct rte_eth_txq_info *qinfo);
352 uint32_t otx2_nix_rx_queue_count(struct rte_eth_dev *eth_dev, uint16_t qidx);
353 int otx2_nix_tx_done_cleanup(void *txq, uint32_t free_cnt);
354 int otx2_nix_rx_descriptor_done(void *rxq, uint16_t offset);
355 int otx2_nix_rx_descriptor_status(void *rx_queue, uint16_t offset);
356
357 void otx2_nix_promisc_config(struct rte_eth_dev *eth_dev, int en);
358 void otx2_nix_promisc_enable(struct rte_eth_dev *eth_dev);
359 void otx2_nix_promisc_disable(struct rte_eth_dev *eth_dev);
360 void otx2_nix_allmulticast_enable(struct rte_eth_dev *eth_dev);
361 void otx2_nix_allmulticast_disable(struct rte_eth_dev *eth_dev);
362 int otx2_nix_tx_queue_start(struct rte_eth_dev *eth_dev, uint16_t qidx);
363 int otx2_nix_tx_queue_stop(struct rte_eth_dev *eth_dev, uint16_t qidx);
364 uint64_t otx2_nix_rxq_mbuf_setup(struct otx2_eth_dev *dev, uint16_t port_id);
365
366 /* Link */
367 void otx2_nix_toggle_flag_link_cfg(struct otx2_eth_dev *dev, bool set);
368 int otx2_nix_link_update(struct rte_eth_dev *eth_dev, int wait_to_complete);
369 void otx2_eth_dev_link_status_update(struct otx2_dev *dev,
370                                      struct cgx_link_user_info *link);
371
372 /* IRQ */
373 int otx2_nix_register_irqs(struct rte_eth_dev *eth_dev);
374 int oxt2_nix_register_queue_irqs(struct rte_eth_dev *eth_dev);
375 void otx2_nix_unregister_irqs(struct rte_eth_dev *eth_dev);
376 void oxt2_nix_unregister_queue_irqs(struct rte_eth_dev *eth_dev);
377
378 /* Debug */
379 int otx2_nix_reg_dump(struct otx2_eth_dev *dev, uint64_t *data);
380 int otx2_nix_dev_get_reg(struct rte_eth_dev *eth_dev,
381                          struct rte_dev_reg_info *regs);
382 int otx2_nix_queues_ctx_dump(struct rte_eth_dev *eth_dev);
383 void otx2_nix_cqe_dump(const struct nix_cqe_hdr_s *cq);
384
385 /* Stats */
386 int otx2_nix_dev_stats_get(struct rte_eth_dev *eth_dev,
387                            struct rte_eth_stats *stats);
388 void otx2_nix_dev_stats_reset(struct rte_eth_dev *eth_dev);
389
390 int otx2_nix_queue_stats_mapping(struct rte_eth_dev *dev,
391                                  uint16_t queue_id, uint8_t stat_idx,
392                                  uint8_t is_rx);
393 int otx2_nix_xstats_get(struct rte_eth_dev *eth_dev,
394                         struct rte_eth_xstat *xstats, unsigned int n);
395 int otx2_nix_xstats_get_names(struct rte_eth_dev *eth_dev,
396                               struct rte_eth_xstat_name *xstats_names,
397                               unsigned int limit);
398 void otx2_nix_xstats_reset(struct rte_eth_dev *eth_dev);
399
400 int otx2_nix_xstats_get_by_id(struct rte_eth_dev *eth_dev,
401                               const uint64_t *ids,
402                               uint64_t *values, unsigned int n);
403 int otx2_nix_xstats_get_names_by_id(struct rte_eth_dev *eth_dev,
404                                     struct rte_eth_xstat_name *xstats_names,
405                                     const uint64_t *ids, unsigned int limit);
406
407 /* RSS */
408 void otx2_nix_rss_set_key(struct otx2_eth_dev *dev,
409                           uint8_t *key, uint32_t key_len);
410 uint32_t otx2_rss_ethdev_to_nix(struct otx2_eth_dev *dev,
411                                 uint64_t ethdev_rss, uint8_t rss_level);
412 int otx2_rss_set_hf(struct otx2_eth_dev *dev,
413                     uint32_t flowkey_cfg, uint8_t *alg_idx,
414                     uint8_t group, int mcam_index);
415 int otx2_nix_rss_tbl_init(struct otx2_eth_dev *dev, uint8_t group,
416                           uint16_t *ind_tbl);
417 int otx2_nix_rss_config(struct rte_eth_dev *eth_dev);
418
419 int otx2_nix_dev_reta_update(struct rte_eth_dev *eth_dev,
420                              struct rte_eth_rss_reta_entry64 *reta_conf,
421                              uint16_t reta_size);
422 int otx2_nix_dev_reta_query(struct rte_eth_dev *eth_dev,
423                             struct rte_eth_rss_reta_entry64 *reta_conf,
424                             uint16_t reta_size);
425 int otx2_nix_rss_hash_update(struct rte_eth_dev *eth_dev,
426                              struct rte_eth_rss_conf *rss_conf);
427
428 int otx2_nix_rss_hash_conf_get(struct rte_eth_dev *eth_dev,
429                                struct rte_eth_rss_conf *rss_conf);
430
431 /* CGX */
432 int otx2_cgx_rxtx_start(struct otx2_eth_dev *dev);
433 int otx2_cgx_rxtx_stop(struct otx2_eth_dev *dev);
434 int otx2_cgx_mac_addr_set(struct rte_eth_dev *eth_dev,
435                           struct rte_ether_addr *addr);
436
437 /* Flow Control */
438 int otx2_nix_flow_ctrl_get(struct rte_eth_dev *eth_dev,
439                            struct rte_eth_fc_conf *fc_conf);
440
441 int otx2_nix_flow_ctrl_set(struct rte_eth_dev *eth_dev,
442                            struct rte_eth_fc_conf *fc_conf);
443
444 int otx2_nix_rxchan_bpid_cfg(struct rte_eth_dev *eth_dev, bool enb);
445
446 int otx2_nix_update_flow_ctrl_mode(struct rte_eth_dev *eth_dev);
447
448 /* VLAN */
449 int otx2_nix_vlan_offload_init(struct rte_eth_dev *eth_dev);
450 int otx2_nix_vlan_fini(struct rte_eth_dev *eth_dev);
451 int otx2_nix_vlan_offload_set(struct rte_eth_dev *eth_dev, int mask);
452 void otx2_nix_vlan_update_promisc(struct rte_eth_dev *eth_dev, int enable);
453
454 /* Lookup configuration */
455 void *otx2_nix_fastpath_lookup_mem_get(void);
456
457 /* PTYPES */
458 const uint32_t *otx2_nix_supported_ptypes_get(struct rte_eth_dev *dev);
459
460 /* Mac address handling */
461 int otx2_nix_mac_addr_set(struct rte_eth_dev *eth_dev,
462                           struct rte_ether_addr *addr);
463 int otx2_nix_mac_addr_get(struct rte_eth_dev *eth_dev, uint8_t *addr);
464 int otx2_nix_mac_addr_add(struct rte_eth_dev *eth_dev,
465                           struct rte_ether_addr *addr,
466                           uint32_t index, uint32_t pool);
467 void otx2_nix_mac_addr_del(struct rte_eth_dev *eth_dev, uint32_t index);
468 int otx2_cgx_mac_max_entries_get(struct otx2_eth_dev *dev);
469
470 /* Devargs */
471 int otx2_ethdev_parse_devargs(struct rte_devargs *devargs,
472                               struct otx2_eth_dev *dev);
473
474 /* Rx and Tx routines */
475 void otx2_nix_form_default_desc(struct otx2_eth_txq *txq);
476
477 /* Timesync - PTP routines */
478 int otx2_nix_timesync_enable(struct rte_eth_dev *eth_dev);
479 int otx2_nix_timesync_disable(struct rte_eth_dev *eth_dev);
480 int otx2_nix_timesync_read_rx_timestamp(struct rte_eth_dev *eth_dev,
481                                         struct timespec *timestamp,
482                                         uint32_t flags);
483 int otx2_nix_timesync_read_tx_timestamp(struct rte_eth_dev *eth_dev,
484                                         struct timespec *timestamp);
485 int otx2_nix_timesync_adjust_time(struct rte_eth_dev *eth_dev, int64_t delta);
486 int otx2_nix_timesync_write_time(struct rte_eth_dev *eth_dev,
487                                  const struct timespec *ts);
488 int otx2_nix_timesync_read_time(struct rte_eth_dev *eth_dev,
489                                 struct timespec *ts);
490 int otx2_eth_dev_ptp_info_update(struct otx2_dev *dev, bool ptp_en);
491
492 #endif /* __OTX2_ETHDEV_H__ */