drivers/net/octeontx2/otx2_ethdev_ops.c

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  * Copyright(C) 2019 Marvell International Ltd.
   3  */
   4
   5 #include <rte_ethdev.h>
   6 #include <rte_mbuf_pool_ops.h>
   7
   8 #include "otx2_ethdev.h"
   9
  10 int
  11 otx2_nix_mtu_set(struct rte_eth_dev *eth_dev, uint16_t mtu)
  12 {
  13         uint32_t buffsz, frame_size = mtu + NIX_L2_OVERHEAD;
  14         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
  15         struct rte_eth_dev_data *data = eth_dev->data;
  16         struct otx2_mbox *mbox = dev->mbox;
  17         struct nix_frs_cfg *req;
  18         int rc;
  19
  20         if (dev->configured && otx2_ethdev_is_ptp_en(dev))
  21                 frame_size += NIX_TIMESYNC_RX_OFFSET;
  22
  23         buffsz = data->min_rx_buf_size - RTE_PKTMBUF_HEADROOM;
  24
  25         /* Refuse MTU that requires the support of scattered packets
  26          * when this feature has not been enabled before.
  27          */
  28         if (data->dev_started && frame_size > buffsz &&
  29             !(dev->rx_offloads & RTE_ETH_RX_OFFLOAD_SCATTER))
  30                 return -EINVAL;
  31
  32         /* Check <seg size> * <max_seg>  >= max_frame */
  33         if ((dev->rx_offloads & RTE_ETH_RX_OFFLOAD_SCATTER)     &&
  34             (frame_size > buffsz * NIX_RX_NB_SEG_MAX))
  35                 return -EINVAL;
  36
  37         req = otx2_mbox_alloc_msg_nix_set_hw_frs(mbox);
  38         req->update_smq = true;
  39         if (otx2_dev_is_sdp(dev))
  40                 req->sdp_link = true;
  41         /* FRS HW config should exclude FCS but include NPC VTAG insert size */
  42         req->maxlen = frame_size - RTE_ETHER_CRC_LEN + NIX_MAX_VTAG_ACT_SIZE;
  43
  44         rc = otx2_mbox_process(mbox);
  45         if (rc)
  46                 return rc;
  47
  48         /* Now just update Rx MAXLEN */
  49         req = otx2_mbox_alloc_msg_nix_set_hw_frs(mbox);
  50         req->maxlen = frame_size - RTE_ETHER_CRC_LEN;
  51         if (otx2_dev_is_sdp(dev))
  52                 req->sdp_link = true;
  53
  54         rc = otx2_mbox_process(mbox);
  55         if (rc)
  56                 return rc;
  57
  58         return rc;
  59 }
  60
  61 int
  62 otx2_nix_recalc_mtu(struct rte_eth_dev *eth_dev)
  63 {
  64         struct rte_eth_dev_data *data = eth_dev->data;
  65         struct otx2_eth_rxq *rxq;
  66         int rc;
  67
  68         rxq = data->rx_queues[0];
  69
  70         /* Setup scatter mode if needed by jumbo */
  71         otx2_nix_enable_mseg_on_jumbo(rxq);
  72
  73         rc = otx2_nix_mtu_set(eth_dev, data->mtu);
  74         if (rc)
  75                 otx2_err("Failed to set default MTU size %d", rc);
  76
  77         return rc;
  78 }
  79
  80 static void
  81 nix_cgx_promisc_config(struct rte_eth_dev *eth_dev, int en)
  82 {
  83         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
  84         struct otx2_mbox *mbox = dev->mbox;
  85
  86         if (otx2_dev_is_vf_or_sdp(dev))
  87                 return;
  88
  89         if (en)
  90                 otx2_mbox_alloc_msg_cgx_promisc_enable(mbox);
  91         else
  92                 otx2_mbox_alloc_msg_cgx_promisc_disable(mbox);
  93
  94         otx2_mbox_process(mbox);
  95 }
  96
  97 void
  98 otx2_nix_promisc_config(struct rte_eth_dev *eth_dev, int en)
  99 {
 100         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
 101         struct otx2_mbox *mbox = dev->mbox;
 102         struct nix_rx_mode *req;
 103
 104         if (otx2_dev_is_vf(dev))
 105                 return;
 106
 107         req = otx2_mbox_alloc_msg_nix_set_rx_mode(mbox);
 108
 109         if (en)
 110                 req->mode = NIX_RX_MODE_UCAST | NIX_RX_MODE_PROMISC;
 111
 112         otx2_mbox_process(mbox);
 113         eth_dev->data->promiscuous = en;
 114         otx2_nix_vlan_update_promisc(eth_dev, en);
 115 }
 116
 117 int
 118 otx2_nix_promisc_enable(struct rte_eth_dev *eth_dev)
 119 {
 120         otx2_nix_promisc_config(eth_dev, 1);
 121         nix_cgx_promisc_config(eth_dev, 1);
 122
 123         return 0;
 124 }
 125
 126 int
 127 otx2_nix_promisc_disable(struct rte_eth_dev *eth_dev)
 128 {
 129         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
 130         otx2_nix_promisc_config(eth_dev, dev->dmac_filter_enable);
 131         nix_cgx_promisc_config(eth_dev, 0);
 132         dev->dmac_filter_enable = false;
 133
 134         return 0;
 135 }
 136
 137 static void
 138 nix_allmulticast_config(struct rte_eth_dev *eth_dev, int en)
 139 {
 140         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
 141         struct otx2_mbox *mbox = dev->mbox;
 142         struct nix_rx_mode *req;
 143
 144         if (otx2_dev_is_vf(dev))
 145                 return;
 146
 147         req = otx2_mbox_alloc_msg_nix_set_rx_mode(mbox);
 148
 149         if (en)
 150                 req->mode = NIX_RX_MODE_UCAST | NIX_RX_MODE_ALLMULTI;
 151         else if (eth_dev->data->promiscuous)
 152                 req->mode = NIX_RX_MODE_UCAST | NIX_RX_MODE_PROMISC;
 153
 154         otx2_mbox_process(mbox);
 155 }
 156
 157 int
 158 otx2_nix_allmulticast_enable(struct rte_eth_dev *eth_dev)
 159 {
 160         nix_allmulticast_config(eth_dev, 1);
 161
 162         return 0;
 163 }
 164
 165 int
 166 otx2_nix_allmulticast_disable(struct rte_eth_dev *eth_dev)
 167 {
 168         nix_allmulticast_config(eth_dev, 0);
 169
 170         return 0;
 171 }
 172
 173 void
 174 otx2_nix_rxq_info_get(struct rte_eth_dev *eth_dev, uint16_t queue_id,
 175                       struct rte_eth_rxq_info *qinfo)
 176 {
 177         struct otx2_eth_rxq *rxq;
 178
 179         rxq = eth_dev->data->rx_queues[queue_id];
 180
 181         qinfo->mp = rxq->pool;
 182         qinfo->scattered_rx = eth_dev->data->scattered_rx;
 183         qinfo->nb_desc = rxq->qconf.nb_desc;
 184
 185         qinfo->conf.rx_free_thresh = 0;
 186         qinfo->conf.rx_drop_en = 0;
 187         qinfo->conf.rx_deferred_start = 0;
 188         qinfo->conf.offloads = rxq->offloads;
 189 }
 190
 191 void
 192 otx2_nix_txq_info_get(struct rte_eth_dev *eth_dev, uint16_t queue_id,
 193                       struct rte_eth_txq_info *qinfo)
 194 {
 195         struct otx2_eth_txq *txq;
 196
 197         txq = eth_dev->data->tx_queues[queue_id];
 198
 199         qinfo->nb_desc = txq->qconf.nb_desc;
 200
 201         qinfo->conf.tx_thresh.pthresh = 0;
 202         qinfo->conf.tx_thresh.hthresh = 0;
 203         qinfo->conf.tx_thresh.wthresh = 0;
 204
 205         qinfo->conf.tx_free_thresh = 0;
 206         qinfo->conf.tx_rs_thresh = 0;
 207         qinfo->conf.offloads = txq->offloads;
 208         qinfo->conf.tx_deferred_start = 0;
 209 }
 210
 211 int
 212 otx2_rx_burst_mode_get(struct rte_eth_dev *eth_dev,
 213                        __rte_unused uint16_t queue_id,
 214                        struct rte_eth_burst_mode *mode)
 215 {
 216         ssize_t bytes = 0, str_size = RTE_ETH_BURST_MODE_INFO_SIZE, rc;
 217         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
 218         const struct burst_info {
 219                 uint16_t flags;
 220                 const char *output;
 221         } rx_offload_map[] = {
 222                         {NIX_RX_OFFLOAD_RSS_F, "RSS,"},
 223                         {NIX_RX_OFFLOAD_PTYPE_F, " Ptype,"},
 224                         {NIX_RX_OFFLOAD_CHECKSUM_F, " Checksum,"},
 225                         {NIX_RX_OFFLOAD_VLAN_STRIP_F, " VLAN Strip,"},
 226                         {NIX_RX_OFFLOAD_MARK_UPDATE_F, " Mark Update,"},
 227                         {NIX_RX_OFFLOAD_TSTAMP_F, " Timestamp,"},
 228                         {NIX_RX_MULTI_SEG_F, " Scattered,"}
 229         };
 230         static const char *const burst_mode[] = {"Vector Neon, Rx Offloads:",
 231                                                  "Scalar, Rx Offloads:"
 232         };
 233         uint32_t i;
 234
 235         /* Update burst mode info */
 236         rc = rte_strscpy(mode->info + bytes, burst_mode[dev->scalar_ena],
 237                          str_size - bytes);
 238         if (rc < 0)
 239                 goto done;
 240
 241         bytes += rc;
 242
 243         /* Update Rx offload info */
 244         for (i = 0; i < RTE_DIM(rx_offload_map); i++) {
 245                 if (dev->rx_offload_flags & rx_offload_map[i].flags) {
 246                         rc = rte_strscpy(mode->info + bytes,
 247                                          rx_offload_map[i].output,
 248                                          str_size - bytes);
 249                         if (rc < 0)
 250                                 goto done;
 251
 252                         bytes += rc;
 253                 }
 254         }
 255
 256 done:
 257         return 0;
 258 }
 259
 260 int
 261 otx2_tx_burst_mode_get(struct rte_eth_dev *eth_dev,
 262                        __rte_unused uint16_t queue_id,
 263                        struct rte_eth_burst_mode *mode)
 264 {
 265         ssize_t bytes = 0, str_size = RTE_ETH_BURST_MODE_INFO_SIZE, rc;
 266         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
 267         const struct burst_info {
 268                 uint16_t flags;
 269                 const char *output;
 270         } tx_offload_map[] = {
 271                         {NIX_TX_OFFLOAD_L3_L4_CSUM_F, " Inner L3/L4 csum,"},
 272                         {NIX_TX_OFFLOAD_OL3_OL4_CSUM_F, " Outer L3/L4 csum,"},
 273                         {NIX_TX_OFFLOAD_VLAN_QINQ_F, " VLAN Insertion,"},
 274                         {NIX_TX_OFFLOAD_MBUF_NOFF_F, " MBUF free disable,"},
 275                         {NIX_TX_OFFLOAD_TSTAMP_F, " Timestamp,"},
 276                         {NIX_TX_OFFLOAD_TSO_F, " TSO,"},
 277                         {NIX_TX_MULTI_SEG_F, " Scattered,"}
 278         };
 279         static const char *const burst_mode[] = {"Vector Neon, Tx Offloads:",
 280                                                  "Scalar, Tx Offloads:"
 281         };
 282         uint32_t i;
 283
 284         /* Update burst mode info */
 285         rc = rte_strscpy(mode->info + bytes, burst_mode[dev->scalar_ena],
 286                          str_size - bytes);
 287         if (rc < 0)
 288                 goto done;
 289
 290         bytes += rc;
 291
 292         /* Update Tx offload info */
 293         for (i = 0; i < RTE_DIM(tx_offload_map); i++) {
 294                 if (dev->tx_offload_flags & tx_offload_map[i].flags) {
 295                         rc = rte_strscpy(mode->info + bytes,
 296                                          tx_offload_map[i].output,
 297                                          str_size - bytes);
 298                         if (rc < 0)
 299                                 goto done;
 300
 301                         bytes += rc;
 302                 }
 303         }
 304
 305 done:
 306         return 0;
 307 }
 308
 309 static void
 310 nix_rx_head_tail_get(struct otx2_eth_dev *dev,
 311                      uint32_t *head, uint32_t *tail, uint16_t queue_idx)
 312 {
 313         uint64_t reg, val;
 314
 315         if (head == NULL || tail == NULL)
 316                 return;
 317
 318         reg = (((uint64_t)queue_idx) << 32);
 319         val = otx2_atomic64_add_nosync(reg, (int64_t *)
 320                                        (dev->base + NIX_LF_CQ_OP_STATUS));
 321         if (val & (OP_ERR | CQ_ERR))
 322                 val = 0;
 323
 324         *tail = (uint32_t)(val & 0xFFFFF);
 325         *head = (uint32_t)((val >> 20) & 0xFFFFF);
 326 }
 327
 328 uint32_t
 329 otx2_nix_rx_queue_count(void *rx_queue)
 330 {
 331         struct otx2_eth_rxq *rxq = rx_queue;
 332         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(rxq->eth_dev);
 333         uint32_t head, tail;
 334
 335         nix_rx_head_tail_get(dev, &head, &tail, rxq->rq);
 336         return (tail - head) % rxq->qlen;
 337 }
 338
 339 static inline int
 340 nix_offset_has_packet(uint32_t head, uint32_t tail, uint16_t offset)
 341 {
 342         /* Check given offset(queue index) has packet filled by HW */
 343         if (tail > head && offset <= tail && offset >= head)
 344                 return 1;
 345         /* Wrap around case */
 346         if (head > tail && (offset >= head || offset <= tail))
 347                 return 1;
 348
 349         return 0;
 350 }
 351
 352 int
 353 otx2_nix_rx_descriptor_status(void *rx_queue, uint16_t offset)
 354 {
 355         struct otx2_eth_rxq *rxq = rx_queue;
 356         uint32_t head, tail;
 357
 358         if (rxq->qlen <= offset)
 359                 return -EINVAL;
 360
 361         nix_rx_head_tail_get(otx2_eth_pmd_priv(rxq->eth_dev),
 362                              &head, &tail, rxq->rq);
 363
 364         if (nix_offset_has_packet(head, tail, offset))
 365                 return RTE_ETH_RX_DESC_DONE;
 366         else
 367                 return RTE_ETH_RX_DESC_AVAIL;
 368 }
 369
 370 static void
 371 nix_tx_head_tail_get(struct otx2_eth_dev *dev,
 372                      uint32_t *head, uint32_t *tail, uint16_t queue_idx)
 373 {
 374         uint64_t reg, val;
 375
 376         if (head == NULL || tail == NULL)
 377                 return;
 378
 379         reg = (((uint64_t)queue_idx) << 32);
 380         val = otx2_atomic64_add_nosync(reg, (int64_t *)
 381                                        (dev->base + NIX_LF_SQ_OP_STATUS));
 382         if (val & OP_ERR)
 383                 val = 0;
 384
 385         *tail = (uint32_t)((val >> 28) & 0x3F);
 386         *head = (uint32_t)((val >> 20) & 0x3F);
 387 }
 388
 389 int
 390 otx2_nix_tx_descriptor_status(void *tx_queue, uint16_t offset)
 391 {
 392         struct otx2_eth_txq *txq = tx_queue;
 393         uint32_t head, tail;
 394
 395         if (txq->qconf.nb_desc <= offset)
 396                 return -EINVAL;
 397
 398         nix_tx_head_tail_get(txq->dev, &head, &tail, txq->sq);
 399
 400         if (nix_offset_has_packet(head, tail, offset))
 401                 return RTE_ETH_TX_DESC_DONE;
 402         else
 403                 return RTE_ETH_TX_DESC_FULL;
 404 }
 405
 406 /* It is a NOP for octeontx2 as HW frees the buffer on xmit */
 407 int
 408 otx2_nix_tx_done_cleanup(void *txq, uint32_t free_cnt)
 409 {
 410         RTE_SET_USED(txq);
 411         RTE_SET_USED(free_cnt);
 412
 413         return 0;
 414 }
 415
 416 int
 417 otx2_nix_fw_version_get(struct rte_eth_dev *eth_dev, char *fw_version,
 418                         size_t fw_size)
 419 {
 420         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
 421         int rc = (int)fw_size;
 422
 423         if (fw_size > sizeof(dev->mkex_pfl_name))
 424                 rc = sizeof(dev->mkex_pfl_name);
 425
 426         rc = strlcpy(fw_version, (char *)dev->mkex_pfl_name, rc);
 427
 428         rc += 1; /* Add the size of '\0' */
 429         if (fw_size < (size_t)rc)
 430                 return rc;
 431
 432         return 0;
 433 }
 434
 435 int
 436 otx2_nix_pool_ops_supported(struct rte_eth_dev *eth_dev, const char *pool)
 437 {
 438         RTE_SET_USED(eth_dev);
 439
 440         if (!strcmp(pool, rte_mbuf_platform_mempool_ops()))
 441                 return 0;
 442
 443         return -ENOTSUP;
 444 }
 445
 446 int
 447 otx2_nix_dev_flow_ops_get(struct rte_eth_dev *eth_dev __rte_unused,
 448                           const struct rte_flow_ops **ops)
 449 {
 450         *ops = &otx2_flow_ops;
 451         return 0;
 452 }
 453
 454 static struct cgx_fw_data *
 455 nix_get_fwdata(struct otx2_eth_dev *dev)
 456 {
 457         struct otx2_mbox *mbox = dev->mbox;
 458         struct cgx_fw_data *rsp = NULL;
 459         int rc;
 460
 461         otx2_mbox_alloc_msg_cgx_get_aux_link_info(mbox);
 462
 463         rc = otx2_mbox_process_msg(mbox, (void *)&rsp);
 464         if (rc) {
 465                 otx2_err("Failed to get fw data: %d", rc);
 466                 return NULL;
 467         }
 468
 469         return rsp;
 470 }
 471
 472 int
 473 otx2_nix_get_module_info(struct rte_eth_dev *eth_dev,
 474                          struct rte_eth_dev_module_info *modinfo)
 475 {
 476         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
 477         struct cgx_fw_data *rsp;
 478
 479         rsp = nix_get_fwdata(dev);
 480         if (rsp == NULL)
 481                 return -EIO;
 482
 483         modinfo->type = rsp->fwdata.sfp_eeprom.sff_id;
 484         modinfo->eeprom_len = SFP_EEPROM_SIZE;
 485
 486         return 0;
 487 }
 488
 489 int
 490 otx2_nix_get_module_eeprom(struct rte_eth_dev *eth_dev,
 491                            struct rte_dev_eeprom_info *info)
 492 {
 493         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
 494         struct cgx_fw_data *rsp;
 495
 496         if (info->offset + info->length > SFP_EEPROM_SIZE)
 497                 return -EINVAL;
 498
 499         rsp = nix_get_fwdata(dev);
 500         if (rsp == NULL)
 501                 return -EIO;
 502
 503         otx2_mbox_memcpy(info->data, rsp->fwdata.sfp_eeprom.buf + info->offset,
 504                          info->length);
 505
 506         return 0;
 507 }
 508
 509 int
 510 otx2_nix_info_get(struct rte_eth_dev *eth_dev, struct rte_eth_dev_info *devinfo)
 511 {
 512         struct rte_pci_device *pci_dev = RTE_ETH_DEV_TO_PCI(eth_dev);
 513         struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
 514
 515         devinfo->min_rx_bufsize = NIX_MIN_FRS;
 516         devinfo->max_rx_pktlen = NIX_MAX_FRS;
 517         devinfo->max_rx_queues = RTE_MAX_QUEUES_PER_PORT;
 518         devinfo->max_tx_queues = RTE_MAX_QUEUES_PER_PORT;
 519         devinfo->max_mac_addrs = dev->max_mac_entries;
 520         devinfo->max_vfs = pci_dev->max_vfs;
 521         devinfo->max_mtu = devinfo->max_rx_pktlen - NIX_L2_OVERHEAD;
 522         devinfo->min_mtu = devinfo->min_rx_bufsize - NIX_L2_OVERHEAD;
 523         if (dev->configured && otx2_ethdev_is_ptp_en(dev)) {
 524                 devinfo->max_mtu -=  NIX_TIMESYNC_RX_OFFSET;
 525                 devinfo->min_mtu -=  NIX_TIMESYNC_RX_OFFSET;
 526                 devinfo->max_rx_pktlen -= NIX_TIMESYNC_RX_OFFSET;
 527         }
 528
 529         devinfo->rx_offload_capa = dev->rx_offload_capa;
 530         devinfo->tx_offload_capa = dev->tx_offload_capa;
 531         devinfo->rx_queue_offload_capa = 0;
 532         devinfo->tx_queue_offload_capa = 0;
 533
 534         devinfo->reta_size = dev->rss_info.rss_size;
 535         devinfo->hash_key_size = NIX_HASH_KEY_SIZE;
 536         devinfo->flow_type_rss_offloads = NIX_RSS_OFFLOAD;
 537
 538         devinfo->default_rxconf = (struct rte_eth_rxconf) {
 539                 .rx_drop_en = 0,
 540                 .offloads = 0,
 541         };
 542
 543         devinfo->default_txconf = (struct rte_eth_txconf) {
 544                 .offloads = 0,
 545         };
 546
 547         devinfo->default_rxportconf = (struct rte_eth_dev_portconf) {
 548                 .ring_size = NIX_RX_DEFAULT_RING_SZ,
 549         };
 550
 551         devinfo->rx_desc_lim = (struct rte_eth_desc_lim) {
 552                 .nb_max = UINT16_MAX,
 553                 .nb_min = NIX_RX_MIN_DESC,
 554                 .nb_align = NIX_RX_MIN_DESC_ALIGN,
 555                 .nb_seg_max = NIX_RX_NB_SEG_MAX,
 556                 .nb_mtu_seg_max = NIX_RX_NB_SEG_MAX,
 557         };
 558         devinfo->rx_desc_lim.nb_max =
 559                 RTE_ALIGN_MUL_FLOOR(devinfo->rx_desc_lim.nb_max,
 560                                     NIX_RX_MIN_DESC_ALIGN);
 561
 562         devinfo->tx_desc_lim = (struct rte_eth_desc_lim) {
 563                 .nb_max = UINT16_MAX,
 564                 .nb_min = 1,
 565                 .nb_align = 1,
 566                 .nb_seg_max = NIX_TX_NB_SEG_MAX,
 567                 .nb_mtu_seg_max = NIX_TX_NB_SEG_MAX,
 568         };
 569
 570         /* Auto negotiation disabled */
 571         devinfo->speed_capa = RTE_ETH_LINK_SPEED_FIXED;
 572         if (!otx2_dev_is_vf_or_sdp(dev) && !otx2_dev_is_lbk(dev)) {
 573                 devinfo->speed_capa |= RTE_ETH_LINK_SPEED_1G | RTE_ETH_LINK_SPEED_10G |
 574                         RTE_ETH_LINK_SPEED_25G | RTE_ETH_LINK_SPEED_40G;
 575
 576                 /* 50G and 100G to be supported for board version C0
 577                  * and above.
 578                  */
 579                 if (!otx2_dev_is_Ax(dev))
 580                         devinfo->speed_capa |= RTE_ETH_LINK_SPEED_50G |
 581                                                RTE_ETH_LINK_SPEED_100G;
 582         }
 583
 584         devinfo->dev_capa = RTE_ETH_DEV_CAPA_RUNTIME_RX_QUEUE_SETUP |
 585                                 RTE_ETH_DEV_CAPA_RUNTIME_TX_QUEUE_SETUP;
 586
 587         return 0;
 588 }