ethdev: fix max Rx packet length
[dpdk.git] / drivers / net / octeontx2 / otx2_ethdev_ops.c
1 /* SPDX-License-Identifier: BSD-3-Clause
2  * Copyright(C) 2019 Marvell International Ltd.
3  */
4
5 #include <rte_ethdev.h>
6 #include <rte_mbuf_pool_ops.h>
7
8 #include "otx2_ethdev.h"
9
10 int
11 otx2_nix_mtu_set(struct rte_eth_dev *eth_dev, uint16_t mtu)
12 {
13         uint32_t buffsz, frame_size = mtu + NIX_L2_OVERHEAD;
14         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
15         struct rte_eth_dev_data *data = eth_dev->data;
16         struct otx2_mbox *mbox = dev->mbox;
17         struct nix_frs_cfg *req;
18         int rc;
19
20         if (dev->configured && otx2_ethdev_is_ptp_en(dev))
21                 frame_size += NIX_TIMESYNC_RX_OFFSET;
22
23         /* Check if MTU is within the allowed range */
24         if (frame_size < NIX_MIN_FRS || frame_size > NIX_MAX_FRS)
25                 return -EINVAL;
26
27         buffsz = data->min_rx_buf_size - RTE_PKTMBUF_HEADROOM;
28
29         /* Refuse MTU that requires the support of scattered packets
30          * when this feature has not been enabled before.
31          */
32         if (data->dev_started && frame_size > buffsz &&
33             !(dev->rx_offloads & DEV_RX_OFFLOAD_SCATTER))
34                 return -EINVAL;
35
36         /* Check <seg size> * <max_seg>  >= max_frame */
37         if ((dev->rx_offloads & DEV_RX_OFFLOAD_SCATTER) &&
38             (frame_size > buffsz * NIX_RX_NB_SEG_MAX))
39                 return -EINVAL;
40
41         req = otx2_mbox_alloc_msg_nix_set_hw_frs(mbox);
42         req->update_smq = true;
43         if (otx2_dev_is_sdp(dev))
44                 req->sdp_link = true;
45         /* FRS HW config should exclude FCS but include NPC VTAG insert size */
46         req->maxlen = frame_size - RTE_ETHER_CRC_LEN + NIX_MAX_VTAG_ACT_SIZE;
47
48         rc = otx2_mbox_process(mbox);
49         if (rc)
50                 return rc;
51
52         /* Now just update Rx MAXLEN */
53         req = otx2_mbox_alloc_msg_nix_set_hw_frs(mbox);
54         req->maxlen = frame_size - RTE_ETHER_CRC_LEN;
55         if (otx2_dev_is_sdp(dev))
56                 req->sdp_link = true;
57
58         rc = otx2_mbox_process(mbox);
59         if (rc)
60                 return rc;
61
62         if (mtu > RTE_ETHER_MTU)
63                 dev->rx_offloads |= DEV_RX_OFFLOAD_JUMBO_FRAME;
64         else
65                 dev->rx_offloads &= ~DEV_RX_OFFLOAD_JUMBO_FRAME;
66
67         return rc;
68 }
69
70 int
71 otx2_nix_recalc_mtu(struct rte_eth_dev *eth_dev)
72 {
73         struct rte_eth_dev_data *data = eth_dev->data;
74         struct otx2_eth_rxq *rxq;
75         int rc;
76
77         rxq = data->rx_queues[0];
78
79         /* Setup scatter mode if needed by jumbo */
80         otx2_nix_enable_mseg_on_jumbo(rxq);
81
82         rc = otx2_nix_mtu_set(eth_dev, data->mtu);
83         if (rc)
84                 otx2_err("Failed to set default MTU size %d", rc);
85
86         return rc;
87 }
88
89 static void
90 nix_cgx_promisc_config(struct rte_eth_dev *eth_dev, int en)
91 {
92         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
93         struct otx2_mbox *mbox = dev->mbox;
94
95         if (otx2_dev_is_vf_or_sdp(dev))
96                 return;
97
98         if (en)
99                 otx2_mbox_alloc_msg_cgx_promisc_enable(mbox);
100         else
101                 otx2_mbox_alloc_msg_cgx_promisc_disable(mbox);
102
103         otx2_mbox_process(mbox);
104 }
105
106 void
107 otx2_nix_promisc_config(struct rte_eth_dev *eth_dev, int en)
108 {
109         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
110         struct otx2_mbox *mbox = dev->mbox;
111         struct nix_rx_mode *req;
112
113         if (otx2_dev_is_vf(dev))
114                 return;
115
116         req = otx2_mbox_alloc_msg_nix_set_rx_mode(mbox);
117
118         if (en)
119                 req->mode = NIX_RX_MODE_UCAST | NIX_RX_MODE_PROMISC;
120
121         otx2_mbox_process(mbox);
122         eth_dev->data->promiscuous = en;
123         otx2_nix_vlan_update_promisc(eth_dev, en);
124 }
125
126 int
127 otx2_nix_promisc_enable(struct rte_eth_dev *eth_dev)
128 {
129         otx2_nix_promisc_config(eth_dev, 1);
130         nix_cgx_promisc_config(eth_dev, 1);
131
132         return 0;
133 }
134
135 int
136 otx2_nix_promisc_disable(struct rte_eth_dev *eth_dev)
137 {
138         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
139         otx2_nix_promisc_config(eth_dev, dev->dmac_filter_enable);
140         nix_cgx_promisc_config(eth_dev, 0);
141         dev->dmac_filter_enable = false;
142
143         return 0;
144 }
145
146 static void
147 nix_allmulticast_config(struct rte_eth_dev *eth_dev, int en)
148 {
149         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
150         struct otx2_mbox *mbox = dev->mbox;
151         struct nix_rx_mode *req;
152
153         if (otx2_dev_is_vf(dev))
154                 return;
155
156         req = otx2_mbox_alloc_msg_nix_set_rx_mode(mbox);
157
158         if (en)
159                 req->mode = NIX_RX_MODE_UCAST | NIX_RX_MODE_ALLMULTI;
160         else if (eth_dev->data->promiscuous)
161                 req->mode = NIX_RX_MODE_UCAST | NIX_RX_MODE_PROMISC;
162
163         otx2_mbox_process(mbox);
164 }
165
166 int
167 otx2_nix_allmulticast_enable(struct rte_eth_dev *eth_dev)
168 {
169         nix_allmulticast_config(eth_dev, 1);
170
171         return 0;
172 }
173
174 int
175 otx2_nix_allmulticast_disable(struct rte_eth_dev *eth_dev)
176 {
177         nix_allmulticast_config(eth_dev, 0);
178
179         return 0;
180 }
181
182 void
183 otx2_nix_rxq_info_get(struct rte_eth_dev *eth_dev, uint16_t queue_id,
184                       struct rte_eth_rxq_info *qinfo)
185 {
186         struct otx2_eth_rxq *rxq;
187
188         rxq = eth_dev->data->rx_queues[queue_id];
189
190         qinfo->mp = rxq->pool;
191         qinfo->scattered_rx = eth_dev->data->scattered_rx;
192         qinfo->nb_desc = rxq->qconf.nb_desc;
193
194         qinfo->conf.rx_free_thresh = 0;
195         qinfo->conf.rx_drop_en = 0;
196         qinfo->conf.rx_deferred_start = 0;
197         qinfo->conf.offloads = rxq->offloads;
198 }
199
200 void
201 otx2_nix_txq_info_get(struct rte_eth_dev *eth_dev, uint16_t queue_id,
202                       struct rte_eth_txq_info *qinfo)
203 {
204         struct otx2_eth_txq *txq;
205
206         txq = eth_dev->data->tx_queues[queue_id];
207
208         qinfo->nb_desc = txq->qconf.nb_desc;
209
210         qinfo->conf.tx_thresh.pthresh = 0;
211         qinfo->conf.tx_thresh.hthresh = 0;
212         qinfo->conf.tx_thresh.wthresh = 0;
213
214         qinfo->conf.tx_free_thresh = 0;
215         qinfo->conf.tx_rs_thresh = 0;
216         qinfo->conf.offloads = txq->offloads;
217         qinfo->conf.tx_deferred_start = 0;
218 }
219
220 int
221 otx2_rx_burst_mode_get(struct rte_eth_dev *eth_dev,
222                        __rte_unused uint16_t queue_id,
223                        struct rte_eth_burst_mode *mode)
224 {
225         ssize_t bytes = 0, str_size = RTE_ETH_BURST_MODE_INFO_SIZE, rc;
226         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
227         const struct burst_info {
228                 uint16_t flags;
229                 const char *output;
230         } rx_offload_map[] = {
231                         {NIX_RX_OFFLOAD_RSS_F, "RSS,"},
232                         {NIX_RX_OFFLOAD_PTYPE_F, " Ptype,"},
233                         {NIX_RX_OFFLOAD_CHECKSUM_F, " Checksum,"},
234                         {NIX_RX_OFFLOAD_VLAN_STRIP_F, " VLAN Strip,"},
235                         {NIX_RX_OFFLOAD_MARK_UPDATE_F, " Mark Update,"},
236                         {NIX_RX_OFFLOAD_TSTAMP_F, " Timestamp,"},
237                         {NIX_RX_MULTI_SEG_F, " Scattered,"}
238         };
239         static const char *const burst_mode[] = {"Vector Neon, Rx Offloads:",
240                                                  "Scalar, Rx Offloads:"
241         };
242         uint32_t i;
243
244         /* Update burst mode info */
245         rc = rte_strscpy(mode->info + bytes, burst_mode[dev->scalar_ena],
246                          str_size - bytes);
247         if (rc < 0)
248                 goto done;
249
250         bytes += rc;
251
252         /* Update Rx offload info */
253         for (i = 0; i < RTE_DIM(rx_offload_map); i++) {
254                 if (dev->rx_offload_flags & rx_offload_map[i].flags) {
255                         rc = rte_strscpy(mode->info + bytes,
256                                          rx_offload_map[i].output,
257                                          str_size - bytes);
258                         if (rc < 0)
259                                 goto done;
260
261                         bytes += rc;
262                 }
263         }
264
265 done:
266         return 0;
267 }
268
269 int
270 otx2_tx_burst_mode_get(struct rte_eth_dev *eth_dev,
271                        __rte_unused uint16_t queue_id,
272                        struct rte_eth_burst_mode *mode)
273 {
274         ssize_t bytes = 0, str_size = RTE_ETH_BURST_MODE_INFO_SIZE, rc;
275         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
276         const struct burst_info {
277                 uint16_t flags;
278                 const char *output;
279         } tx_offload_map[] = {
280                         {NIX_TX_OFFLOAD_L3_L4_CSUM_F, " Inner L3/L4 csum,"},
281                         {NIX_TX_OFFLOAD_OL3_OL4_CSUM_F, " Outer L3/L4 csum,"},
282                         {NIX_TX_OFFLOAD_VLAN_QINQ_F, " VLAN Insertion,"},
283                         {NIX_TX_OFFLOAD_MBUF_NOFF_F, " MBUF free disable,"},
284                         {NIX_TX_OFFLOAD_TSTAMP_F, " Timestamp,"},
285                         {NIX_TX_OFFLOAD_TSO_F, " TSO,"},
286                         {NIX_TX_MULTI_SEG_F, " Scattered,"}
287         };
288         static const char *const burst_mode[] = {"Vector Neon, Tx Offloads:",
289                                                  "Scalar, Tx Offloads:"
290         };
291         uint32_t i;
292
293         /* Update burst mode info */
294         rc = rte_strscpy(mode->info + bytes, burst_mode[dev->scalar_ena],
295                          str_size - bytes);
296         if (rc < 0)
297                 goto done;
298
299         bytes += rc;
300
301         /* Update Tx offload info */
302         for (i = 0; i < RTE_DIM(tx_offload_map); i++) {
303                 if (dev->tx_offload_flags & tx_offload_map[i].flags) {
304                         rc = rte_strscpy(mode->info + bytes,
305                                          tx_offload_map[i].output,
306                                          str_size - bytes);
307                         if (rc < 0)
308                                 goto done;
309
310                         bytes += rc;
311                 }
312         }
313
314 done:
315         return 0;
316 }
317
318 static void
319 nix_rx_head_tail_get(struct otx2_eth_dev *dev,
320                      uint32_t *head, uint32_t *tail, uint16_t queue_idx)
321 {
322         uint64_t reg, val;
323
324         if (head == NULL || tail == NULL)
325                 return;
326
327         reg = (((uint64_t)queue_idx) << 32);
328         val = otx2_atomic64_add_nosync(reg, (int64_t *)
329                                        (dev->base + NIX_LF_CQ_OP_STATUS));
330         if (val & (OP_ERR | CQ_ERR))
331                 val = 0;
332
333         *tail = (uint32_t)(val & 0xFFFFF);
334         *head = (uint32_t)((val >> 20) & 0xFFFFF);
335 }
336
337 uint32_t
338 otx2_nix_rx_queue_count(void *rx_queue)
339 {
340         struct otx2_eth_rxq *rxq = rx_queue;
341         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(rxq->eth_dev);
342         uint32_t head, tail;
343
344         nix_rx_head_tail_get(dev, &head, &tail, rxq->rq);
345         return (tail - head) % rxq->qlen;
346 }
347
348 static inline int
349 nix_offset_has_packet(uint32_t head, uint32_t tail, uint16_t offset)
350 {
351         /* Check given offset(queue index) has packet filled by HW */
352         if (tail > head && offset <= tail && offset >= head)
353                 return 1;
354         /* Wrap around case */
355         if (head > tail && (offset >= head || offset <= tail))
356                 return 1;
357
358         return 0;
359 }
360
361 int
362 otx2_nix_rx_descriptor_status(void *rx_queue, uint16_t offset)
363 {
364         struct otx2_eth_rxq *rxq = rx_queue;
365         uint32_t head, tail;
366
367         if (rxq->qlen <= offset)
368                 return -EINVAL;
369
370         nix_rx_head_tail_get(otx2_eth_pmd_priv(rxq->eth_dev),
371                              &head, &tail, rxq->rq);
372
373         if (nix_offset_has_packet(head, tail, offset))
374                 return RTE_ETH_RX_DESC_DONE;
375         else
376                 return RTE_ETH_RX_DESC_AVAIL;
377 }
378
379 static void
380 nix_tx_head_tail_get(struct otx2_eth_dev *dev,
381                      uint32_t *head, uint32_t *tail, uint16_t queue_idx)
382 {
383         uint64_t reg, val;
384
385         if (head == NULL || tail == NULL)
386                 return;
387
388         reg = (((uint64_t)queue_idx) << 32);
389         val = otx2_atomic64_add_nosync(reg, (int64_t *)
390                                        (dev->base + NIX_LF_SQ_OP_STATUS));
391         if (val & OP_ERR)
392                 val = 0;
393
394         *tail = (uint32_t)((val >> 28) & 0x3F);
395         *head = (uint32_t)((val >> 20) & 0x3F);
396 }
397
398 int
399 otx2_nix_tx_descriptor_status(void *tx_queue, uint16_t offset)
400 {
401         struct otx2_eth_txq *txq = tx_queue;
402         uint32_t head, tail;
403
404         if (txq->qconf.nb_desc <= offset)
405                 return -EINVAL;
406
407         nix_tx_head_tail_get(txq->dev, &head, &tail, txq->sq);
408
409         if (nix_offset_has_packet(head, tail, offset))
410                 return RTE_ETH_TX_DESC_DONE;
411         else
412                 return RTE_ETH_TX_DESC_FULL;
413 }
414
415 /* It is a NOP for octeontx2 as HW frees the buffer on xmit */
416 int
417 otx2_nix_tx_done_cleanup(void *txq, uint32_t free_cnt)
418 {
419         RTE_SET_USED(txq);
420         RTE_SET_USED(free_cnt);
421
422         return 0;
423 }
424
425 int
426 otx2_nix_fw_version_get(struct rte_eth_dev *eth_dev, char *fw_version,
427                         size_t fw_size)
428 {
429         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
430         int rc = (int)fw_size;
431
432         if (fw_size > sizeof(dev->mkex_pfl_name))
433                 rc = sizeof(dev->mkex_pfl_name);
434
435         rc = strlcpy(fw_version, (char *)dev->mkex_pfl_name, rc);
436
437         rc += 1; /* Add the size of '\0' */
438         if (fw_size < (size_t)rc)
439                 return rc;
440
441         return 0;
442 }
443
444 int
445 otx2_nix_pool_ops_supported(struct rte_eth_dev *eth_dev, const char *pool)
446 {
447         RTE_SET_USED(eth_dev);
448
449         if (!strcmp(pool, rte_mbuf_platform_mempool_ops()))
450                 return 0;
451
452         return -ENOTSUP;
453 }
454
455 int
456 otx2_nix_dev_flow_ops_get(struct rte_eth_dev *eth_dev __rte_unused,
457                           const struct rte_flow_ops **ops)
458 {
459         *ops = &otx2_flow_ops;
460         return 0;
461 }
462
463 static struct cgx_fw_data *
464 nix_get_fwdata(struct otx2_eth_dev *dev)
465 {
466         struct otx2_mbox *mbox = dev->mbox;
467         struct cgx_fw_data *rsp = NULL;
468         int rc;
469
470         otx2_mbox_alloc_msg_cgx_get_aux_link_info(mbox);
471
472         rc = otx2_mbox_process_msg(mbox, (void *)&rsp);
473         if (rc) {
474                 otx2_err("Failed to get fw data: %d", rc);
475                 return NULL;
476         }
477
478         return rsp;
479 }
480
481 int
482 otx2_nix_get_module_info(struct rte_eth_dev *eth_dev,
483                          struct rte_eth_dev_module_info *modinfo)
484 {
485         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
486         struct cgx_fw_data *rsp;
487
488         rsp = nix_get_fwdata(dev);
489         if (rsp == NULL)
490                 return -EIO;
491
492         modinfo->type = rsp->fwdata.sfp_eeprom.sff_id;
493         modinfo->eeprom_len = SFP_EEPROM_SIZE;
494
495         return 0;
496 }
497
498 int
499 otx2_nix_get_module_eeprom(struct rte_eth_dev *eth_dev,
500                            struct rte_dev_eeprom_info *info)
501 {
502         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
503         struct cgx_fw_data *rsp;
504
505         if (info->offset + info->length > SFP_EEPROM_SIZE)
506                 return -EINVAL;
507
508         rsp = nix_get_fwdata(dev);
509         if (rsp == NULL)
510                 return -EIO;
511
512         otx2_mbox_memcpy(info->data, rsp->fwdata.sfp_eeprom.buf + info->offset,
513                          info->length);
514
515         return 0;
516 }
517
518 int
519 otx2_nix_info_get(struct rte_eth_dev *eth_dev, struct rte_eth_dev_info *devinfo)
520 {
521         struct rte_pci_device *pci_dev = RTE_ETH_DEV_TO_PCI(eth_dev);
522         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
523
524         devinfo->min_rx_bufsize = NIX_MIN_FRS;
525         devinfo->max_rx_pktlen = NIX_MAX_FRS;
526         devinfo->max_rx_queues = RTE_MAX_QUEUES_PER_PORT;
527         devinfo->max_tx_queues = RTE_MAX_QUEUES_PER_PORT;
528         devinfo->max_mac_addrs = dev->max_mac_entries;
529         devinfo->max_vfs = pci_dev->max_vfs;
530         devinfo->max_mtu = devinfo->max_rx_pktlen - NIX_L2_OVERHEAD;
531         devinfo->min_mtu = devinfo->min_rx_bufsize - NIX_L2_OVERHEAD;
532         if (dev->configured && otx2_ethdev_is_ptp_en(dev)) {
533                 devinfo->max_mtu -=  NIX_TIMESYNC_RX_OFFSET;
534                 devinfo->min_mtu -=  NIX_TIMESYNC_RX_OFFSET;
535                 devinfo->max_rx_pktlen -= NIX_TIMESYNC_RX_OFFSET;
536         }
537
538         devinfo->rx_offload_capa = dev->rx_offload_capa;
539         devinfo->tx_offload_capa = dev->tx_offload_capa;
540         devinfo->rx_queue_offload_capa = 0;
541         devinfo->tx_queue_offload_capa = 0;
542
543         devinfo->reta_size = dev->rss_info.rss_size;
544         devinfo->hash_key_size = NIX_HASH_KEY_SIZE;
545         devinfo->flow_type_rss_offloads = NIX_RSS_OFFLOAD;
546
547         devinfo->default_rxconf = (struct rte_eth_rxconf) {
548                 .rx_drop_en = 0,
549                 .offloads = 0,
550         };
551
552         devinfo->default_txconf = (struct rte_eth_txconf) {
553                 .offloads = 0,
554         };
555
556         devinfo->default_rxportconf = (struct rte_eth_dev_portconf) {
557                 .ring_size = NIX_RX_DEFAULT_RING_SZ,
558         };
559
560         devinfo->rx_desc_lim = (struct rte_eth_desc_lim) {
561                 .nb_max = UINT16_MAX,
562                 .nb_min = NIX_RX_MIN_DESC,
563                 .nb_align = NIX_RX_MIN_DESC_ALIGN,
564                 .nb_seg_max = NIX_RX_NB_SEG_MAX,
565                 .nb_mtu_seg_max = NIX_RX_NB_SEG_MAX,
566         };
567         devinfo->rx_desc_lim.nb_max =
568                 RTE_ALIGN_MUL_FLOOR(devinfo->rx_desc_lim.nb_max,
569                                     NIX_RX_MIN_DESC_ALIGN);
570
571         devinfo->tx_desc_lim = (struct rte_eth_desc_lim) {
572                 .nb_max = UINT16_MAX,
573                 .nb_min = 1,
574                 .nb_align = 1,
575                 .nb_seg_max = NIX_TX_NB_SEG_MAX,
576                 .nb_mtu_seg_max = NIX_TX_NB_SEG_MAX,
577         };
578
579         /* Auto negotiation disabled */
580         devinfo->speed_capa = ETH_LINK_SPEED_FIXED;
581         if (!otx2_dev_is_vf_or_sdp(dev) && !otx2_dev_is_lbk(dev)) {
582                 devinfo->speed_capa |= ETH_LINK_SPEED_1G | ETH_LINK_SPEED_10G |
583                         ETH_LINK_SPEED_25G | ETH_LINK_SPEED_40G;
584
585                 /* 50G and 100G to be supported for board version C0
586                  * and above.
587                  */
588                 if (!otx2_dev_is_Ax(dev))
589                         devinfo->speed_capa |= ETH_LINK_SPEED_50G |
590                                                ETH_LINK_SPEED_100G;
591         }
592
593         devinfo->dev_capa = RTE_ETH_DEV_CAPA_RUNTIME_RX_QUEUE_SETUP |
594                                 RTE_ETH_DEV_CAPA_RUNTIME_TX_QUEUE_SETUP;
595
596         return 0;
597 }