net/octeontx2: fix MTU when PTP is enabled
[dpdk.git] / drivers / net / octeontx2 / otx2_ethdev_ops.c
1 /* SPDX-License-Identifier: BSD-3-Clause
2  * Copyright(C) 2019 Marvell International Ltd.
3  */
4
5 #include <rte_ethdev.h>
6 #include <rte_mbuf_pool_ops.h>
7
8 #include "otx2_ethdev.h"
9
10 int
11 otx2_nix_mtu_set(struct rte_eth_dev *eth_dev, uint16_t mtu)
12 {
13         uint32_t buffsz, frame_size = mtu + NIX_L2_OVERHEAD;
14         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
15         struct rte_eth_dev_data *data = eth_dev->data;
16         struct otx2_mbox *mbox = dev->mbox;
17         struct nix_frs_cfg *req;
18         int rc;
19
20         if (dev->configured && otx2_ethdev_is_ptp_en(dev))
21                 frame_size += NIX_TIMESYNC_RX_OFFSET;
22
23         /* Check if MTU is within the allowed range */
24         if (frame_size < NIX_MIN_FRS || frame_size > NIX_MAX_FRS)
25                 return -EINVAL;
26
27         buffsz = data->min_rx_buf_size - RTE_PKTMBUF_HEADROOM;
28
29         /* Refuse MTU that requires the support of scattered packets
30          * when this feature has not been enabled before.
31          */
32         if (data->dev_started && frame_size > buffsz &&
33             !(dev->rx_offloads & DEV_RX_OFFLOAD_SCATTER))
34                 return -EINVAL;
35
36         /* Check <seg size> * <max_seg>  >= max_frame */
37         if ((dev->rx_offloads & DEV_RX_OFFLOAD_SCATTER) &&
38             (frame_size > buffsz * NIX_RX_NB_SEG_MAX))
39                 return -EINVAL;
40
41         req = otx2_mbox_alloc_msg_nix_set_hw_frs(mbox);
42         req->update_smq = true;
43         if (otx2_dev_is_sdp(dev))
44                 req->sdp_link = true;
45         /* FRS HW config should exclude FCS but include NPC VTAG insert size */
46         req->maxlen = frame_size - RTE_ETHER_CRC_LEN + NIX_MAX_VTAG_ACT_SIZE;
47
48         rc = otx2_mbox_process(mbox);
49         if (rc)
50                 return rc;
51
52         /* Now just update Rx MAXLEN */
53         req = otx2_mbox_alloc_msg_nix_set_hw_frs(mbox);
54         req->maxlen = frame_size - RTE_ETHER_CRC_LEN;
55         if (otx2_dev_is_sdp(dev))
56                 req->sdp_link = true;
57
58         rc = otx2_mbox_process(mbox);
59         if (rc)
60                 return rc;
61
62         if (frame_size > NIX_L2_MAX_LEN)
63                 dev->rx_offloads |= DEV_RX_OFFLOAD_JUMBO_FRAME;
64         else
65                 dev->rx_offloads &= ~DEV_RX_OFFLOAD_JUMBO_FRAME;
66
67         /* Update max_rx_pkt_len */
68         data->dev_conf.rxmode.max_rx_pkt_len = frame_size;
69
70         return rc;
71 }
72
73 int
74 otx2_nix_recalc_mtu(struct rte_eth_dev *eth_dev)
75 {
76         struct rte_eth_dev_data *data = eth_dev->data;
77         struct otx2_eth_rxq *rxq;
78         uint16_t mtu;
79         int rc;
80
81         rxq = data->rx_queues[0];
82
83         /* Setup scatter mode if needed by jumbo */
84         otx2_nix_enable_mseg_on_jumbo(rxq);
85
86         /* Setup MTU based on max_rx_pkt_len */
87         mtu = data->dev_conf.rxmode.max_rx_pkt_len - NIX_L2_OVERHEAD;
88
89         rc = otx2_nix_mtu_set(eth_dev, mtu);
90         if (rc)
91                 otx2_err("Failed to set default MTU size %d", rc);
92
93         return rc;
94 }
95
96 static void
97 nix_cgx_promisc_config(struct rte_eth_dev *eth_dev, int en)
98 {
99         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
100         struct otx2_mbox *mbox = dev->mbox;
101
102         if (otx2_dev_is_vf_or_sdp(dev))
103                 return;
104
105         if (en)
106                 otx2_mbox_alloc_msg_cgx_promisc_enable(mbox);
107         else
108                 otx2_mbox_alloc_msg_cgx_promisc_disable(mbox);
109
110         otx2_mbox_process(mbox);
111 }
112
113 void
114 otx2_nix_promisc_config(struct rte_eth_dev *eth_dev, int en)
115 {
116         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
117         struct otx2_mbox *mbox = dev->mbox;
118         struct nix_rx_mode *req;
119
120         if (otx2_dev_is_vf(dev))
121                 return;
122
123         req = otx2_mbox_alloc_msg_nix_set_rx_mode(mbox);
124
125         if (en)
126                 req->mode = NIX_RX_MODE_UCAST | NIX_RX_MODE_PROMISC;
127
128         otx2_mbox_process(mbox);
129         eth_dev->data->promiscuous = en;
130         otx2_nix_vlan_update_promisc(eth_dev, en);
131 }
132
133 int
134 otx2_nix_promisc_enable(struct rte_eth_dev *eth_dev)
135 {
136         otx2_nix_promisc_config(eth_dev, 1);
137         nix_cgx_promisc_config(eth_dev, 1);
138
139         return 0;
140 }
141
142 int
143 otx2_nix_promisc_disable(struct rte_eth_dev *eth_dev)
144 {
145         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
146         otx2_nix_promisc_config(eth_dev, dev->dmac_filter_enable);
147         nix_cgx_promisc_config(eth_dev, 0);
148         dev->dmac_filter_enable = false;
149
150         return 0;
151 }
152
153 static void
154 nix_allmulticast_config(struct rte_eth_dev *eth_dev, int en)
155 {
156         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
157         struct otx2_mbox *mbox = dev->mbox;
158         struct nix_rx_mode *req;
159
160         if (otx2_dev_is_vf(dev))
161                 return;
162
163         req = otx2_mbox_alloc_msg_nix_set_rx_mode(mbox);
164
165         if (en)
166                 req->mode = NIX_RX_MODE_UCAST | NIX_RX_MODE_ALLMULTI;
167         else if (eth_dev->data->promiscuous)
168                 req->mode = NIX_RX_MODE_UCAST | NIX_RX_MODE_PROMISC;
169
170         otx2_mbox_process(mbox);
171 }
172
173 int
174 otx2_nix_allmulticast_enable(struct rte_eth_dev *eth_dev)
175 {
176         nix_allmulticast_config(eth_dev, 1);
177
178         return 0;
179 }
180
181 int
182 otx2_nix_allmulticast_disable(struct rte_eth_dev *eth_dev)
183 {
184         nix_allmulticast_config(eth_dev, 0);
185
186         return 0;
187 }
188
189 void
190 otx2_nix_rxq_info_get(struct rte_eth_dev *eth_dev, uint16_t queue_id,
191                       struct rte_eth_rxq_info *qinfo)
192 {
193         struct otx2_eth_rxq *rxq;
194
195         rxq = eth_dev->data->rx_queues[queue_id];
196
197         qinfo->mp = rxq->pool;
198         qinfo->scattered_rx = eth_dev->data->scattered_rx;
199         qinfo->nb_desc = rxq->qconf.nb_desc;
200
201         qinfo->conf.rx_free_thresh = 0;
202         qinfo->conf.rx_drop_en = 0;
203         qinfo->conf.rx_deferred_start = 0;
204         qinfo->conf.offloads = rxq->offloads;
205 }
206
207 void
208 otx2_nix_txq_info_get(struct rte_eth_dev *eth_dev, uint16_t queue_id,
209                       struct rte_eth_txq_info *qinfo)
210 {
211         struct otx2_eth_txq *txq;
212
213         txq = eth_dev->data->tx_queues[queue_id];
214
215         qinfo->nb_desc = txq->qconf.nb_desc;
216
217         qinfo->conf.tx_thresh.pthresh = 0;
218         qinfo->conf.tx_thresh.hthresh = 0;
219         qinfo->conf.tx_thresh.wthresh = 0;
220
221         qinfo->conf.tx_free_thresh = 0;
222         qinfo->conf.tx_rs_thresh = 0;
223         qinfo->conf.offloads = txq->offloads;
224         qinfo->conf.tx_deferred_start = 0;
225 }
226
227 int
228 otx2_rx_burst_mode_get(struct rte_eth_dev *eth_dev,
229                        __rte_unused uint16_t queue_id,
230                        struct rte_eth_burst_mode *mode)
231 {
232         ssize_t bytes = 0, str_size = RTE_ETH_BURST_MODE_INFO_SIZE, rc;
233         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
234         const struct burst_info {
235                 uint16_t flags;
236                 const char *output;
237         } rx_offload_map[] = {
238                         {NIX_RX_OFFLOAD_RSS_F, "RSS,"},
239                         {NIX_RX_OFFLOAD_PTYPE_F, " Ptype,"},
240                         {NIX_RX_OFFLOAD_CHECKSUM_F, " Checksum,"},
241                         {NIX_RX_OFFLOAD_VLAN_STRIP_F, " VLAN Strip,"},
242                         {NIX_RX_OFFLOAD_MARK_UPDATE_F, " Mark Update,"},
243                         {NIX_RX_OFFLOAD_TSTAMP_F, " Timestamp,"},
244                         {NIX_RX_MULTI_SEG_F, " Scattered,"}
245         };
246         static const char *const burst_mode[] = {"Vector Neon, Rx Offloads:",
247                                                  "Scalar, Rx Offloads:"
248         };
249         uint32_t i;
250
251         /* Update burst mode info */
252         rc = rte_strscpy(mode->info + bytes, burst_mode[dev->scalar_ena],
253                          str_size - bytes);
254         if (rc < 0)
255                 goto done;
256
257         bytes += rc;
258
259         /* Update Rx offload info */
260         for (i = 0; i < RTE_DIM(rx_offload_map); i++) {
261                 if (dev->rx_offload_flags & rx_offload_map[i].flags) {
262                         rc = rte_strscpy(mode->info + bytes,
263                                          rx_offload_map[i].output,
264                                          str_size - bytes);
265                         if (rc < 0)
266                                 goto done;
267
268                         bytes += rc;
269                 }
270         }
271
272 done:
273         return 0;
274 }
275
276 int
277 otx2_tx_burst_mode_get(struct rte_eth_dev *eth_dev,
278                        __rte_unused uint16_t queue_id,
279                        struct rte_eth_burst_mode *mode)
280 {
281         ssize_t bytes = 0, str_size = RTE_ETH_BURST_MODE_INFO_SIZE, rc;
282         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
283         const struct burst_info {
284                 uint16_t flags;
285                 const char *output;
286         } tx_offload_map[] = {
287                         {NIX_TX_OFFLOAD_L3_L4_CSUM_F, " Inner L3/L4 csum,"},
288                         {NIX_TX_OFFLOAD_OL3_OL4_CSUM_F, " Outer L3/L4 csum,"},
289                         {NIX_TX_OFFLOAD_VLAN_QINQ_F, " VLAN Insertion,"},
290                         {NIX_TX_OFFLOAD_MBUF_NOFF_F, " MBUF free disable,"},
291                         {NIX_TX_OFFLOAD_TSTAMP_F, " Timestamp,"},
292                         {NIX_TX_OFFLOAD_TSO_F, " TSO,"},
293                         {NIX_TX_MULTI_SEG_F, " Scattered,"}
294         };
295         static const char *const burst_mode[] = {"Vector Neon, Tx Offloads:",
296                                                  "Scalar, Tx Offloads:"
297         };
298         uint32_t i;
299
300         /* Update burst mode info */
301         rc = rte_strscpy(mode->info + bytes, burst_mode[dev->scalar_ena],
302                          str_size - bytes);
303         if (rc < 0)
304                 goto done;
305
306         bytes += rc;
307
308         /* Update Tx offload info */
309         for (i = 0; i < RTE_DIM(tx_offload_map); i++) {
310                 if (dev->tx_offload_flags & tx_offload_map[i].flags) {
311                         rc = rte_strscpy(mode->info + bytes,
312                                          tx_offload_map[i].output,
313                                          str_size - bytes);
314                         if (rc < 0)
315                                 goto done;
316
317                         bytes += rc;
318                 }
319         }
320
321 done:
322         return 0;
323 }
324
325 static void
326 nix_rx_head_tail_get(struct otx2_eth_dev *dev,
327                      uint32_t *head, uint32_t *tail, uint16_t queue_idx)
328 {
329         uint64_t reg, val;
330
331         if (head == NULL || tail == NULL)
332                 return;
333
334         reg = (((uint64_t)queue_idx) << 32);
335         val = otx2_atomic64_add_nosync(reg, (int64_t *)
336                                        (dev->base + NIX_LF_CQ_OP_STATUS));
337         if (val & (OP_ERR | CQ_ERR))
338                 val = 0;
339
340         *tail = (uint32_t)(val & 0xFFFFF);
341         *head = (uint32_t)((val >> 20) & 0xFFFFF);
342 }
343
344 uint32_t
345 otx2_nix_rx_queue_count(struct rte_eth_dev *eth_dev, uint16_t queue_idx)
346 {
347         struct otx2_eth_rxq *rxq = eth_dev->data->rx_queues[queue_idx];
348         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
349         uint32_t head, tail;
350
351         nix_rx_head_tail_get(dev, &head, &tail, queue_idx);
352         return (tail - head) % rxq->qlen;
353 }
354
355 static inline int
356 nix_offset_has_packet(uint32_t head, uint32_t tail, uint16_t offset)
357 {
358         /* Check given offset(queue index) has packet filled by HW */
359         if (tail > head && offset <= tail && offset >= head)
360                 return 1;
361         /* Wrap around case */
362         if (head > tail && (offset >= head || offset <= tail))
363                 return 1;
364
365         return 0;
366 }
367
368 int
369 otx2_nix_rx_descriptor_done(void *rx_queue, uint16_t offset)
370 {
371         struct otx2_eth_rxq *rxq = rx_queue;
372         uint32_t head, tail;
373
374         nix_rx_head_tail_get(otx2_eth_pmd_priv(rxq->eth_dev),
375                              &head, &tail, rxq->rq);
376
377         return nix_offset_has_packet(head, tail, offset);
378 }
379
380 int
381 otx2_nix_rx_descriptor_status(void *rx_queue, uint16_t offset)
382 {
383         struct otx2_eth_rxq *rxq = rx_queue;
384         uint32_t head, tail;
385
386         if (rxq->qlen <= offset)
387                 return -EINVAL;
388
389         nix_rx_head_tail_get(otx2_eth_pmd_priv(rxq->eth_dev),
390                              &head, &tail, rxq->rq);
391
392         if (nix_offset_has_packet(head, tail, offset))
393                 return RTE_ETH_RX_DESC_DONE;
394         else
395                 return RTE_ETH_RX_DESC_AVAIL;
396 }
397
398 static void
399 nix_tx_head_tail_get(struct otx2_eth_dev *dev,
400                      uint32_t *head, uint32_t *tail, uint16_t queue_idx)
401 {
402         uint64_t reg, val;
403
404         if (head == NULL || tail == NULL)
405                 return;
406
407         reg = (((uint64_t)queue_idx) << 32);
408         val = otx2_atomic64_add_nosync(reg, (int64_t *)
409                                        (dev->base + NIX_LF_SQ_OP_STATUS));
410         if (val & OP_ERR)
411                 val = 0;
412
413         *tail = (uint32_t)((val >> 28) & 0x3F);
414         *head = (uint32_t)((val >> 20) & 0x3F);
415 }
416
417 int
418 otx2_nix_tx_descriptor_status(void *tx_queue, uint16_t offset)
419 {
420         struct otx2_eth_txq *txq = tx_queue;
421         uint32_t head, tail;
422
423         if (txq->qconf.nb_desc <= offset)
424                 return -EINVAL;
425
426         nix_tx_head_tail_get(txq->dev, &head, &tail, txq->sq);
427
428         if (nix_offset_has_packet(head, tail, offset))
429                 return RTE_ETH_TX_DESC_DONE;
430         else
431                 return RTE_ETH_TX_DESC_FULL;
432 }
433
434 /* It is a NOP for octeontx2 as HW frees the buffer on xmit */
435 int
436 otx2_nix_tx_done_cleanup(void *txq, uint32_t free_cnt)
437 {
438         RTE_SET_USED(txq);
439         RTE_SET_USED(free_cnt);
440
441         return 0;
442 }
443
444 int
445 otx2_nix_fw_version_get(struct rte_eth_dev *eth_dev, char *fw_version,
446                         size_t fw_size)
447 {
448         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
449         int rc = (int)fw_size;
450
451         if (fw_size > sizeof(dev->mkex_pfl_name))
452                 rc = sizeof(dev->mkex_pfl_name);
453
454         rc = strlcpy(fw_version, (char *)dev->mkex_pfl_name, rc);
455
456         rc += 1; /* Add the size of '\0' */
457         if (fw_size < (size_t)rc)
458                 return rc;
459
460         return 0;
461 }
462
463 int
464 otx2_nix_pool_ops_supported(struct rte_eth_dev *eth_dev, const char *pool)
465 {
466         RTE_SET_USED(eth_dev);
467
468         if (!strcmp(pool, rte_mbuf_platform_mempool_ops()))
469                 return 0;
470
471         return -ENOTSUP;
472 }
473
474 int
475 otx2_nix_dev_flow_ops_get(struct rte_eth_dev *eth_dev __rte_unused,
476                           const struct rte_flow_ops **ops)
477 {
478         *ops = &otx2_flow_ops;
479         return 0;
480 }
481
482 static struct cgx_fw_data *
483 nix_get_fwdata(struct otx2_eth_dev *dev)
484 {
485         struct otx2_mbox *mbox = dev->mbox;
486         struct cgx_fw_data *rsp = NULL;
487         int rc;
488
489         otx2_mbox_alloc_msg_cgx_get_aux_link_info(mbox);
490
491         rc = otx2_mbox_process_msg(mbox, (void *)&rsp);
492         if (rc) {
493                 otx2_err("Failed to get fw data: %d", rc);
494                 return NULL;
495         }
496
497         return rsp;
498 }
499
500 int
501 otx2_nix_get_module_info(struct rte_eth_dev *eth_dev,
502                          struct rte_eth_dev_module_info *modinfo)
503 {
504         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
505         struct cgx_fw_data *rsp;
506
507         rsp = nix_get_fwdata(dev);
508         if (rsp == NULL)
509                 return -EIO;
510
511         modinfo->type = rsp->fwdata.sfp_eeprom.sff_id;
512         modinfo->eeprom_len = SFP_EEPROM_SIZE;
513
514         return 0;
515 }
516
517 int
518 otx2_nix_get_module_eeprom(struct rte_eth_dev *eth_dev,
519                            struct rte_dev_eeprom_info *info)
520 {
521         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
522         struct cgx_fw_data *rsp;
523
524         if (info->offset + info->length > SFP_EEPROM_SIZE)
525                 return -EINVAL;
526
527         rsp = nix_get_fwdata(dev);
528         if (rsp == NULL)
529                 return -EIO;
530
531         otx2_mbox_memcpy(info->data, rsp->fwdata.sfp_eeprom.buf + info->offset,
532                          info->length);
533
534         return 0;
535 }
536
537 int
538 otx2_nix_info_get(struct rte_eth_dev *eth_dev, struct rte_eth_dev_info *devinfo)
539 {
540         struct rte_pci_device *pci_dev = RTE_ETH_DEV_TO_PCI(eth_dev);
541         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
542
543         devinfo->min_rx_bufsize = NIX_MIN_FRS;
544         devinfo->max_rx_pktlen = NIX_MAX_FRS;
545         devinfo->max_rx_queues = RTE_MAX_QUEUES_PER_PORT;
546         devinfo->max_tx_queues = RTE_MAX_QUEUES_PER_PORT;
547         devinfo->max_mac_addrs = dev->max_mac_entries;
548         devinfo->max_vfs = pci_dev->max_vfs;
549         devinfo->max_mtu = devinfo->max_rx_pktlen - NIX_L2_OVERHEAD;
550         devinfo->min_mtu = devinfo->min_rx_bufsize - NIX_L2_OVERHEAD;
551         if (dev->configured && otx2_ethdev_is_ptp_en(dev)) {
552                 devinfo->max_mtu -=  NIX_TIMESYNC_RX_OFFSET;
553                 devinfo->min_mtu -=  NIX_TIMESYNC_RX_OFFSET;
554                 devinfo->max_rx_pktlen -= NIX_TIMESYNC_RX_OFFSET;
555         }
556
557         devinfo->rx_offload_capa = dev->rx_offload_capa;
558         devinfo->tx_offload_capa = dev->tx_offload_capa;
559         devinfo->rx_queue_offload_capa = 0;
560         devinfo->tx_queue_offload_capa = 0;
561
562         devinfo->reta_size = dev->rss_info.rss_size;
563         devinfo->hash_key_size = NIX_HASH_KEY_SIZE;
564         devinfo->flow_type_rss_offloads = NIX_RSS_OFFLOAD;
565
566         devinfo->default_rxconf = (struct rte_eth_rxconf) {
567                 .rx_drop_en = 0,
568                 .offloads = 0,
569         };
570
571         devinfo->default_txconf = (struct rte_eth_txconf) {
572                 .offloads = 0,
573         };
574
575         devinfo->default_rxportconf = (struct rte_eth_dev_portconf) {
576                 .ring_size = NIX_RX_DEFAULT_RING_SZ,
577         };
578
579         devinfo->rx_desc_lim = (struct rte_eth_desc_lim) {
580                 .nb_max = UINT16_MAX,
581                 .nb_min = NIX_RX_MIN_DESC,
582                 .nb_align = NIX_RX_MIN_DESC_ALIGN,
583                 .nb_seg_max = NIX_RX_NB_SEG_MAX,
584                 .nb_mtu_seg_max = NIX_RX_NB_SEG_MAX,
585         };
586         devinfo->rx_desc_lim.nb_max =
587                 RTE_ALIGN_MUL_FLOOR(devinfo->rx_desc_lim.nb_max,
588                                     NIX_RX_MIN_DESC_ALIGN);
589
590         devinfo->tx_desc_lim = (struct rte_eth_desc_lim) {
591                 .nb_max = UINT16_MAX,
592                 .nb_min = 1,
593                 .nb_align = 1,
594                 .nb_seg_max = NIX_TX_NB_SEG_MAX,
595                 .nb_mtu_seg_max = NIX_TX_NB_SEG_MAX,
596         };
597
598         /* Auto negotiation disabled */
599         devinfo->speed_capa = ETH_LINK_SPEED_FIXED;
600         if (!otx2_dev_is_vf_or_sdp(dev) && !otx2_dev_is_lbk(dev)) {
601                 devinfo->speed_capa |= ETH_LINK_SPEED_1G | ETH_LINK_SPEED_10G |
602                         ETH_LINK_SPEED_25G | ETH_LINK_SPEED_40G;
603
604                 /* 50G and 100G to be supported for board version C0
605                  * and above.
606                  */
607                 if (!otx2_dev_is_Ax(dev))
608                         devinfo->speed_capa |= ETH_LINK_SPEED_50G |
609                                                ETH_LINK_SPEED_100G;
610         }
611
612         devinfo->dev_capa = RTE_ETH_DEV_CAPA_RUNTIME_RX_QUEUE_SETUP |
613                                 RTE_ETH_DEV_CAPA_RUNTIME_TX_QUEUE_SETUP;
614
615         return 0;
616 }