net/iavf: enable interrupt polling
[dpdk.git] / drivers / net / cnxk / cn9k_ethdev.c
index 2157dca..115e678 100644 (file)
@@ -2,6 +2,7 @@
  * Copyright(C) 2021 Marvell.
  */
 #include "cn9k_ethdev.h"
+#include "cn9k_rte_flow.h"
 #include "cn9k_rx.h"
 #include "cn9k_tx.h"
 
@@ -29,6 +30,9 @@ nix_rx_offload_flags(struct rte_eth_dev *eth_dev)
        if (dev->rx_offloads & DEV_RX_OFFLOAD_SCATTER)
                flags |= NIX_RX_MULTI_SEG_F;
 
+       if ((dev->rx_offloads & DEV_RX_OFFLOAD_TIMESTAMP))
+               flags |= NIX_RX_OFFLOAD_TSTAMP_F;
+
        if (!dev->ptype_disable)
                flags |= NIX_RX_OFFLOAD_PTYPE_F;
 
@@ -94,6 +98,9 @@ nix_tx_offload_flags(struct rte_eth_dev *eth_dev)
                flags |= (NIX_TX_OFFLOAD_TSO_F | NIX_TX_OFFLOAD_OL3_OL4_CSUM_F |
                          NIX_TX_OFFLOAD_L3_L4_CSUM_F);
 
+       if ((dev->rx_offloads & DEV_RX_OFFLOAD_TIMESTAMP))
+               flags |= NIX_TX_OFFLOAD_TSTAMP_F;
+
        return flags;
 }
 
@@ -120,10 +127,9 @@ nix_form_default_desc(struct cnxk_eth_dev *dev, struct cn9k_eth_txq *txq,
 {
        struct nix_send_ext_s *send_hdr_ext;
        struct nix_send_hdr_s *send_hdr;
+       struct nix_send_mem_s *send_mem;
        union nix_send_sg_s *sg;
 
-       RTE_SET_USED(dev);
-
        /* Initialize the fields based on basic single segment packet */
        memset(&txq->cmd, 0, sizeof(txq->cmd));
 
@@ -134,6 +140,23 @@ nix_form_default_desc(struct cnxk_eth_dev *dev, struct cn9k_eth_txq *txq,
 
                send_hdr_ext = (struct nix_send_ext_s *)&txq->cmd[2];
                send_hdr_ext->w0.subdc = NIX_SUBDC_EXT;
+               if (dev->tx_offload_flags & NIX_TX_OFFLOAD_TSTAMP_F) {
+                       /* Default: one seg packet would have:
+                        * 2(HDR) + 2(EXT) + 1(SG) + 1(IOVA) + 2(MEM)
+                        * => 8/2 - 1 = 3
+                        */
+                       send_hdr->w0.sizem1 = 3;
+                       send_hdr_ext->w0.tstmp = 1;
+
+                       /* To calculate the offset for send_mem,
+                        * send_hdr->w0.sizem1 * 2
+                        */
+                       send_mem = (struct nix_send_mem_s *)
+                               (txq->cmd + (send_hdr->w0.sizem1 << 1));
+                       send_mem->w0.cn9k.subdc = NIX_SUBDC_MEM;
+                       send_mem->w0.cn9k.alg = NIX_SENDMEMALG_SETTSTMP;
+                       send_mem->addr = dev->tstamp.tx_tstamp_iova;
+               }
                sg = (union nix_send_sg_s *)&txq->cmd[4];
        } else {
                send_hdr = (struct nix_send_hdr_s *)&txq->cmd[0];
@@ -218,6 +241,7 @@ cn9k_nix_rx_queue_setup(struct rte_eth_dev *eth_dev, uint16_t qid,
        rxq->wdata = cq->wdata;
        rxq->head = cq->head;
        rxq->qmask = cq->qmask;
+       rxq->tstamp = &dev->tstamp;
 
        /* Data offset from data to start of mbuf is first_skip */
        rxq->data_off = rq->first_skip;
@@ -276,10 +300,128 @@ cn9k_nix_configure(struct rte_eth_dev *eth_dev)
        return 0;
 }
 
+/* Function to enable ptp config for VFs */
+static void
+nix_ptp_enable_vf(struct rte_eth_dev *eth_dev)
+{
+       struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
+
+       if (nix_recalc_mtu(eth_dev))
+               plt_err("Failed to set MTU size for ptp");
+
+       dev->rx_offload_flags |= NIX_RX_OFFLOAD_TSTAMP_F;
+
+       /* Setting up the function pointers as per new offload flags */
+       cn9k_eth_set_rx_function(eth_dev);
+       cn9k_eth_set_tx_function(eth_dev);
+}
+
+static uint16_t
+nix_ptp_vf_burst(void *queue, struct rte_mbuf **mbufs, uint16_t pkts)
+{
+       struct cn9k_eth_rxq *rxq = queue;
+       struct cnxk_eth_rxq_sp *rxq_sp;
+       struct rte_eth_dev *eth_dev;
+
+       RTE_SET_USED(mbufs);
+       RTE_SET_USED(pkts);
+
+       rxq_sp = cnxk_eth_rxq_to_sp(rxq);
+       eth_dev = rxq_sp->dev->eth_dev;
+       nix_ptp_enable_vf(eth_dev);
+
+       return 0;
+}
+
+static int
+cn9k_nix_ptp_info_update_cb(struct roc_nix *nix, bool ptp_en)
+{
+       struct cnxk_eth_dev *dev = (struct cnxk_eth_dev *)nix;
+       struct rte_eth_dev *eth_dev;
+       struct cn9k_eth_rxq *rxq;
+       int i;
+
+       if (!dev)
+               return -EINVAL;
+
+       eth_dev = dev->eth_dev;
+       if (!eth_dev)
+               return -EINVAL;
+
+       dev->ptp_en = ptp_en;
+
+       for (i = 0; i < eth_dev->data->nb_rx_queues; i++) {
+               rxq = eth_dev->data->rx_queues[i];
+               rxq->mbuf_initializer = cnxk_nix_rxq_mbuf_setup(dev);
+       }
+
+       if (roc_nix_is_vf_or_sdp(nix) && !(roc_nix_is_sdp(nix)) &&
+           !(roc_nix_is_lbk(nix))) {
+               /* In case of VF, setting of MTU cannot be done directly in this
+                * function as this is running as part of MBOX request(PF->VF)
+                * and MTU setting also requires MBOX message to be
+                * sent(VF->PF)
+                */
+               eth_dev->rx_pkt_burst = nix_ptp_vf_burst;
+               rte_mb();
+       }
+
+       return 0;
+}
+
+static int
+cn9k_nix_timesync_enable(struct rte_eth_dev *eth_dev)
+{
+       struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
+       int i, rc;
+
+       rc = cnxk_nix_timesync_enable(eth_dev);
+       if (rc)
+               return rc;
+
+       dev->rx_offload_flags |= NIX_RX_OFFLOAD_TSTAMP_F;
+       dev->tx_offload_flags |= NIX_TX_OFFLOAD_TSTAMP_F;
+
+       for (i = 0; i < eth_dev->data->nb_tx_queues; i++)
+               nix_form_default_desc(dev, eth_dev->data->tx_queues[i], i);
+
+       /* Setting up the rx[tx]_offload_flags due to change
+        * in rx[tx]_offloads.
+        */
+       cn9k_eth_set_rx_function(eth_dev);
+       cn9k_eth_set_tx_function(eth_dev);
+       return 0;
+}
+
+static int
+cn9k_nix_timesync_disable(struct rte_eth_dev *eth_dev)
+{
+       struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
+       int i, rc;
+
+       rc = cnxk_nix_timesync_disable(eth_dev);
+       if (rc)
+               return rc;
+
+       dev->rx_offload_flags &= ~NIX_RX_OFFLOAD_TSTAMP_F;
+       dev->tx_offload_flags &= ~NIX_TX_OFFLOAD_TSTAMP_F;
+
+       for (i = 0; i < eth_dev->data->nb_tx_queues; i++)
+               nix_form_default_desc(dev, eth_dev->data->tx_queues[i], i);
+
+       /* Setting up the rx[tx]_offload_flags due to change
+        * in rx[tx]_offloads.
+        */
+       cn9k_eth_set_rx_function(eth_dev);
+       cn9k_eth_set_tx_function(eth_dev);
+       return 0;
+}
+
 static int
 cn9k_nix_dev_start(struct rte_eth_dev *eth_dev)
 {
        struct cnxk_eth_dev *dev = cnxk_eth_pmd_priv(eth_dev);
+       struct roc_nix *nix = &dev->nix;
        int rc;
 
        /* Common eth dev start */
@@ -287,6 +429,12 @@ cn9k_nix_dev_start(struct rte_eth_dev *eth_dev)
        if (rc)
                return rc;
 
+       /* Update VF about data off shifted by 8 bytes if PTP already
+        * enabled in PF owning this VF
+        */
+       if (dev->ptp_en && (!roc_nix_is_pf(nix) && (!roc_nix_is_sdp(nix))))
+               nix_ptp_enable_vf(eth_dev);
+
        /* Setting up the rx[tx]_offload_flags due to change
         * in rx[tx]_offloads.
         */
@@ -315,6 +463,22 @@ nix_eth_dev_ops_override(void)
        cnxk_eth_dev_ops.tx_queue_stop = cn9k_nix_tx_queue_stop;
        cnxk_eth_dev_ops.dev_start = cn9k_nix_dev_start;
        cnxk_eth_dev_ops.dev_ptypes_set = cn9k_nix_ptypes_set;
+       cnxk_eth_dev_ops.timesync_enable = cn9k_nix_timesync_enable;
+       cnxk_eth_dev_ops.timesync_disable = cn9k_nix_timesync_disable;
+}
+
+static void
+npc_flow_ops_override(void)
+{
+       static int init_once;
+
+       if (init_once)
+               return;
+       init_once = 1;
+
+       /* Update platform specific ops */
+       cnxk_flow_ops.create = cn9k_flow_create;
+       cnxk_flow_ops.destroy = cn9k_flow_destroy;
 }
 
 static int
@@ -342,6 +506,7 @@ cn9k_nix_probe(struct rte_pci_driver *pci_drv, struct rte_pci_device *pci_dev)
        }
 
        nix_eth_dev_ops_override();
+       npc_flow_ops_override();
 
        /* Common probe */
        rc = cnxk_nix_probe(pci_drv, pci_dev);
@@ -380,6 +545,9 @@ cn9k_nix_probe(struct rte_pci_driver *pci_drv, struct rte_pci_device *pci_dev)
 
        dev->hwcap = 0;
 
+       /* Register up msg callbacks for PTP information */
+       roc_nix_ptp_info_cb_register(&dev->nix, cn9k_nix_ptp_info_update_cb);
+
        /* Update HW erratas */
        if (roc_model_is_cn96_a0() || roc_model_is_cn95_a0())
                dev->cq_min_4k = 1;