ethdev: add device flag to bypass auto-filled queue xstats
[dpdk.git] / drivers / net / octeontx2 / otx2_ethdev.c
index ed32927..cfb733a 100644 (file)
 #include <rte_mempool.h>
 
 #include "otx2_ethdev.h"
+#include "otx2_ethdev_sec.h"
 
 static inline uint64_t
 nix_get_rx_offload_capa(struct otx2_eth_dev *dev)
 {
        uint64_t capa = NIX_RX_OFFLOAD_CAPA;
 
-       if (otx2_dev_is_vf(dev))
+       if (otx2_dev_is_vf(dev) ||
+           dev->npc_flow.switch_header_type == OTX2_PRIV_FLAGS_HIGIG)
                capa &= ~DEV_RX_OFFLOAD_TIMESTAMP;
 
        return capa;
@@ -68,7 +70,15 @@ nix_lf_alloc(struct otx2_eth_dev *dev, uint32_t nb_rxq, uint32_t nb_txq)
                req->rx_cfg |= BIT_ULL(37 /* CSUM_OL4 */);
                req->rx_cfg |= BIT_ULL(36 /* CSUM_IL4 */);
        }
-       req->rx_cfg |= BIT_ULL(32 /* DROP_RE */);
+       req->rx_cfg |= (BIT_ULL(32 /* DROP_RE */)             |
+                       BIT_ULL(33 /* Outer L2 Length */)     |
+                       BIT_ULL(38 /* Inner L4 UDP Length */) |
+                       BIT_ULL(39 /* Inner L3 Length */)     |
+                       BIT_ULL(40 /* Outer L4 UDP Length */) |
+                       BIT_ULL(41 /* Outer L3 Length */));
+
+       if (dev->rss_tag_as_xor == 0)
+               req->flags = NIX_LF_RSS_TAG_LSB_AS_ADDER;
 
        rc = otx2_mbox_process_msg(mbox, (void *)&rsp);
        if (rc)
@@ -92,7 +102,7 @@ nix_lf_alloc(struct otx2_eth_dev *dev, uint32_t nb_rxq, uint32_t nb_txq)
 }
 
 static int
-nix_lf_switch_header_type_enable(struct otx2_eth_dev *dev)
+nix_lf_switch_header_type_enable(struct otx2_eth_dev *dev, bool enable)
 {
        struct otx2_mbox *mbox = dev->mbox;
        struct npc_set_pkind *req;
@@ -102,15 +112,25 @@ nix_lf_switch_header_type_enable(struct otx2_eth_dev *dev)
        if (dev->npc_flow.switch_header_type == 0)
                return 0;
 
+       if (dev->npc_flow.switch_header_type == OTX2_PRIV_FLAGS_LEN_90B &&
+           !otx2_dev_is_sdp(dev)) {
+               otx2_err("chlen90b is not supported on non-SDP device");
+               return -EINVAL;
+       }
+
        /* Notify AF about higig2 config */
        req = otx2_mbox_alloc_msg_npc_set_pkind(mbox);
        req->mode = dev->npc_flow.switch_header_type;
+       if (enable == 0)
+               req->mode = OTX2_PRIV_FLAGS_DEFAULT;
        req->dir = PKIND_RX;
        rc = otx2_mbox_process_msg(mbox, (void *)&rsp);
        if (rc)
                return rc;
        req = otx2_mbox_alloc_msg_npc_set_pkind(mbox);
        req->mode = dev->npc_flow.switch_header_type;
+       if (enable == 0)
+               req->mode = OTX2_PRIV_FLAGS_DEFAULT;
        req->dir = PKIND_TX;
        return otx2_mbox_process_msg(mbox, (void *)&rsp);
 }
@@ -204,7 +224,7 @@ cgx_intlbk_enable(struct otx2_eth_dev *dev, bool en)
 {
        struct otx2_mbox *mbox = dev->mbox;
 
-       if (otx2_dev_is_vf_or_sdp(dev))
+       if (en && otx2_dev_is_vf_or_sdp(dev))
                return -ENOTSUP;
 
        if (en)
@@ -278,8 +298,7 @@ nix_cq_rq_init(struct rte_eth_dev *eth_dev, struct otx2_eth_dev *dev,
                                      NIX_CQ_ALIGN, dev->node);
        if (rz == NULL) {
                otx2_err("Failed to allocate mem for cq hw ring");
-               rc = -ENOMEM;
-               goto fail;
+               return -ENOMEM;
        }
        memset(rz->addr, 0, rz->len);
        rxq->desc = (uintptr_t)rz->addr;
@@ -328,7 +347,7 @@ nix_cq_rq_init(struct rte_eth_dev *eth_dev, struct otx2_eth_dev *dev,
        rc = otx2_mbox_process(mbox);
        if (rc) {
                otx2_err("Failed to init cq context");
-               goto fail;
+               return rc;
        }
 
        aq = otx2_mbox_alloc_msg_nix_aq_enq(mbox);
@@ -337,6 +356,10 @@ nix_cq_rq_init(struct rte_eth_dev *eth_dev, struct otx2_eth_dev *dev,
        aq->op = NIX_AQ_INSTOP_INIT;
 
        aq->rq.sso_ena = 0;
+
+       if (rxq->offloads & DEV_RX_OFFLOAD_SECURITY)
+               aq->rq.ipsech_ena = 1;
+
        aq->rq.cq = qid; /* RQ to CQ 1:1 mapped */
        aq->rq.spb_ena = 0;
        aq->rq.lpb_aura = npa_lf_aura_handle_to_aura(mp->pool_id);
@@ -349,10 +372,7 @@ nix_cq_rq_init(struct rte_eth_dev *eth_dev, struct otx2_eth_dev *dev,
        aq->rq.first_skip = first_skip;
        aq->rq.later_skip = (sizeof(struct rte_mbuf) / 8);
        aq->rq.flow_tagw = 32; /* 32-bits */
-       aq->rq.lpb_sizem1 = rte_pktmbuf_data_room_size(mp);
-       aq->rq.lpb_sizem1 += rte_pktmbuf_priv_size(mp);
-       aq->rq.lpb_sizem1 += sizeof(struct rte_mbuf);
-       aq->rq.lpb_sizem1 /= 8;
+       aq->rq.lpb_sizem1 = mp->elt_size / 8;
        aq->rq.lpb_sizem1 -= 1; /* Expressed in size minus one */
        aq->rq.ena = 1;
        aq->rq.pb_caching = 0x2; /* First cache aligned block to LLC */
@@ -366,12 +386,44 @@ nix_cq_rq_init(struct rte_eth_dev *eth_dev, struct otx2_eth_dev *dev,
        rc = otx2_mbox_process(mbox);
        if (rc) {
                otx2_err("Failed to init rq context");
-               goto fail;
+               return rc;
+       }
+
+       if (dev->lock_rx_ctx) {
+               aq = otx2_mbox_alloc_msg_nix_aq_enq(mbox);
+               aq->qidx = qid;
+               aq->ctype = NIX_AQ_CTYPE_CQ;
+               aq->op = NIX_AQ_INSTOP_LOCK;
+
+               aq = otx2_mbox_alloc_msg_nix_aq_enq(mbox);
+               if (!aq) {
+                       /* The shared memory buffer can be full.
+                        * Flush it and retry
+                        */
+                       otx2_mbox_msg_send(mbox, 0);
+                       rc = otx2_mbox_wait_for_rsp(mbox, 0);
+                       if (rc < 0) {
+                               otx2_err("Failed to LOCK cq context");
+                               return rc;
+                       }
+
+                       aq = otx2_mbox_alloc_msg_nix_aq_enq(mbox);
+                       if (!aq) {
+                               otx2_err("Failed to LOCK rq context");
+                               return -ENOMEM;
+                       }
+               }
+               aq->qidx = qid;
+               aq->ctype = NIX_AQ_CTYPE_RQ;
+               aq->op = NIX_AQ_INSTOP_LOCK;
+               rc = otx2_mbox_process(mbox);
+               if (rc < 0) {
+                       otx2_err("Failed to LOCK rq context");
+                       return rc;
+               }
        }
 
        return 0;
-fail:
-       return rc;
 }
 
 static int
@@ -418,6 +470,40 @@ nix_cq_rq_uninit(struct rte_eth_dev *eth_dev, struct otx2_eth_rxq *rxq)
                return rc;
        }
 
+       if (dev->lock_rx_ctx) {
+               aq = otx2_mbox_alloc_msg_nix_aq_enq(mbox);
+               aq->qidx = rxq->rq;
+               aq->ctype = NIX_AQ_CTYPE_CQ;
+               aq->op = NIX_AQ_INSTOP_UNLOCK;
+
+               aq = otx2_mbox_alloc_msg_nix_aq_enq(mbox);
+               if (!aq) {
+                       /* The shared memory buffer can be full.
+                        * Flush it and retry
+                        */
+                       otx2_mbox_msg_send(mbox, 0);
+                       rc = otx2_mbox_wait_for_rsp(mbox, 0);
+                       if (rc < 0) {
+                               otx2_err("Failed to UNLOCK cq context");
+                               return rc;
+                       }
+
+                       aq = otx2_mbox_alloc_msg_nix_aq_enq(mbox);
+                       if (!aq) {
+                               otx2_err("Failed to UNLOCK rq context");
+                               return -ENOMEM;
+                       }
+               }
+               aq->qidx = rxq->rq;
+               aq->ctype = NIX_AQ_CTYPE_RQ;
+               aq->op = NIX_AQ_INSTOP_UNLOCK;
+               rc = otx2_mbox_process(mbox);
+               if (rc < 0) {
+                       otx2_err("Failed to UNLOCK rq context");
+                       return rc;
+               }
+       }
+
        return 0;
 }
 
@@ -507,6 +593,7 @@ otx2_nix_rx_queue_setup(struct rte_eth_dev *eth_dev, uint16_t rq,
        if (eth_dev->data->rx_queues[rq] != NULL) {
                otx2_nix_dbg("Freeing memory prior to re-allocation %d", rq);
                otx2_nix_rx_queue_release(eth_dev->data->rx_queues[rq]);
+               rte_eth_dma_zone_free(eth_dev, "cq", rq);
                eth_dev->data->rx_queues[rq] = NULL;
        }
 
@@ -570,6 +657,9 @@ otx2_nix_rx_queue_setup(struct rte_eth_dev *eth_dev, uint16_t rq,
                }
        }
 
+       /* Setup scatter mode if needed by jumbo */
+       otx2_nix_enable_mseg_on_jumbo(rxq);
+
        return 0;
 
 free_rxq:
@@ -622,6 +712,9 @@ nix_rx_offload_flags(struct rte_eth_dev *eth_dev)
        if ((dev->rx_offloads & DEV_RX_OFFLOAD_TIMESTAMP))
                flags |= NIX_RX_OFFLOAD_TSTAMP_F;
 
+       if (dev->rx_offloads & DEV_RX_OFFLOAD_SECURITY)
+               flags |= NIX_RX_OFFLOAD_SECURITY_F;
+
        if (!dev->ptype_disable)
                flags |= NIX_RX_OFFLOAD_PTYPE_F;
 
@@ -691,12 +784,130 @@ nix_tx_offload_flags(struct rte_eth_dev *eth_dev)
                          NIX_TX_OFFLOAD_OL3_OL4_CSUM_F |
                          NIX_TX_OFFLOAD_L3_L4_CSUM_F);
 
+       if (conf & DEV_TX_OFFLOAD_SECURITY)
+               flags |= NIX_TX_OFFLOAD_SECURITY_F;
+
        if ((dev->rx_offloads & DEV_RX_OFFLOAD_TIMESTAMP))
                flags |= NIX_TX_OFFLOAD_TSTAMP_F;
 
        return flags;
 }
 
+static int
+nix_sqb_lock(struct rte_mempool *mp)
+{
+       struct otx2_npa_lf *npa_lf = otx2_intra_dev_get_cfg()->npa_lf;
+       struct npa_aq_enq_req *req;
+       int rc;
+
+       req = otx2_mbox_alloc_msg_npa_aq_enq(npa_lf->mbox);
+       req->aura_id = npa_lf_aura_handle_to_aura(mp->pool_id);
+       req->ctype = NPA_AQ_CTYPE_AURA;
+       req->op = NPA_AQ_INSTOP_LOCK;
+
+       req = otx2_mbox_alloc_msg_npa_aq_enq(npa_lf->mbox);
+       if (!req) {
+               /* The shared memory buffer can be full.
+                * Flush it and retry
+                */
+               otx2_mbox_msg_send(npa_lf->mbox, 0);
+               rc = otx2_mbox_wait_for_rsp(npa_lf->mbox, 0);
+               if (rc < 0) {
+                       otx2_err("Failed to LOCK AURA context");
+                       return rc;
+               }
+
+               req = otx2_mbox_alloc_msg_npa_aq_enq(npa_lf->mbox);
+               if (!req) {
+                       otx2_err("Failed to LOCK POOL context");
+                       return -ENOMEM;
+               }
+       }
+
+       req->aura_id = npa_lf_aura_handle_to_aura(mp->pool_id);
+       req->ctype = NPA_AQ_CTYPE_POOL;
+       req->op = NPA_AQ_INSTOP_LOCK;
+
+       rc = otx2_mbox_process(npa_lf->mbox);
+       if (rc < 0) {
+               otx2_err("Unable to lock POOL in NDC");
+               return rc;
+       }
+
+       return 0;
+}
+
+static int
+nix_sqb_unlock(struct rte_mempool *mp)
+{
+       struct otx2_npa_lf *npa_lf = otx2_intra_dev_get_cfg()->npa_lf;
+       struct npa_aq_enq_req *req;
+       int rc;
+
+       req = otx2_mbox_alloc_msg_npa_aq_enq(npa_lf->mbox);
+       req->aura_id = npa_lf_aura_handle_to_aura(mp->pool_id);
+       req->ctype = NPA_AQ_CTYPE_AURA;
+       req->op = NPA_AQ_INSTOP_UNLOCK;
+
+       req = otx2_mbox_alloc_msg_npa_aq_enq(npa_lf->mbox);
+       if (!req) {
+               /* The shared memory buffer can be full.
+                * Flush it and retry
+                */
+               otx2_mbox_msg_send(npa_lf->mbox, 0);
+               rc = otx2_mbox_wait_for_rsp(npa_lf->mbox, 0);
+               if (rc < 0) {
+                       otx2_err("Failed to UNLOCK AURA context");
+                       return rc;
+               }
+
+               req = otx2_mbox_alloc_msg_npa_aq_enq(npa_lf->mbox);
+               if (!req) {
+                       otx2_err("Failed to UNLOCK POOL context");
+                       return -ENOMEM;
+               }
+       }
+       req = otx2_mbox_alloc_msg_npa_aq_enq(npa_lf->mbox);
+       req->aura_id = npa_lf_aura_handle_to_aura(mp->pool_id);
+       req->ctype = NPA_AQ_CTYPE_POOL;
+       req->op = NPA_AQ_INSTOP_UNLOCK;
+
+       rc = otx2_mbox_process(npa_lf->mbox);
+       if (rc < 0) {
+               otx2_err("Unable to UNLOCK AURA in NDC");
+               return rc;
+       }
+
+       return 0;
+}
+
+void
+otx2_nix_enable_mseg_on_jumbo(struct otx2_eth_rxq *rxq)
+{
+       struct rte_pktmbuf_pool_private *mbp_priv;
+       struct rte_eth_dev *eth_dev;
+       struct otx2_eth_dev *dev;
+       uint32_t buffsz;
+
+       eth_dev = rxq->eth_dev;
+       dev = otx2_eth_pmd_priv(eth_dev);
+
+       /* Get rx buffer size */
+       mbp_priv = rte_mempool_get_priv(rxq->pool);
+       buffsz = mbp_priv->mbuf_data_room_size - RTE_PKTMBUF_HEADROOM;
+
+       if (eth_dev->data->dev_conf.rxmode.max_rx_pkt_len > buffsz) {
+               dev->rx_offloads |= DEV_RX_OFFLOAD_SCATTER;
+               dev->tx_offloads |= DEV_TX_OFFLOAD_MULTI_SEGS;
+
+               /* Setting up the rx[tx]_offload_flags due to change
+                * in rx[tx]_offloads.
+                */
+               dev->rx_offload_flags |= nix_rx_offload_flags(eth_dev);
+               dev->tx_offload_flags |= nix_tx_offload_flags(eth_dev);
+       }
+}
+
 static int
 nix_sq_init(struct otx2_eth_txq *txq)
 {
@@ -739,7 +950,20 @@ nix_sq_init(struct otx2_eth_txq *txq)
        /* Many to one reduction */
        sq->sq.qint_idx = txq->sq % dev->qints;
 
-       return otx2_mbox_process(mbox);
+       rc = otx2_mbox_process(mbox);
+       if (rc < 0)
+               return rc;
+
+       if (dev->lock_tx_ctx) {
+               sq = otx2_mbox_alloc_msg_nix_aq_enq(mbox);
+               sq->qidx = txq->sq;
+               sq->ctype = NIX_AQ_CTYPE_SQ;
+               sq->op = NIX_AQ_INSTOP_LOCK;
+
+               rc = otx2_mbox_process(mbox);
+       }
+
+       return rc;
 }
 
 static int
@@ -782,6 +1006,20 @@ nix_sq_uninit(struct otx2_eth_txq *txq)
        if (rc)
                return rc;
 
+       if (dev->lock_tx_ctx) {
+               /* Unlock sq */
+               aq = otx2_mbox_alloc_msg_nix_aq_enq(mbox);
+               aq->qidx = txq->sq;
+               aq->ctype = NIX_AQ_CTYPE_SQ;
+               aq->op = NIX_AQ_INSTOP_UNLOCK;
+
+               rc = otx2_mbox_process(mbox);
+               if (rc < 0)
+                       return rc;
+
+               nix_sqb_unlock(txq->sqb_pool);
+       }
+
        /* Read SQ and free sqb's */
        aq = otx2_mbox_alloc_msg_nix_aq_enq(mbox);
        aq->qidx = txq->sq;
@@ -903,6 +1141,8 @@ nix_alloc_sqb_pool(int port, struct otx2_eth_txq *txq, uint16_t nb_desc)
        }
 
        nix_sqb_aura_limit_cfg(txq->sqb_pool, txq->nb_sqb_bufs);
+       if (dev->lock_tx_ctx)
+               nix_sqb_lock(txq->sqb_pool);
 
        return 0;
 fail:
@@ -974,7 +1214,7 @@ otx2_nix_tx_queue_release(void *_txq)
        otx2_nix_dbg("Releasing txq %u", txq->sq);
 
        /* Flush and disable tm */
-       otx2_nix_tm_sw_xoff(txq, eth_dev->data->dev_started);
+       otx2_nix_sq_flush_pre(txq, eth_dev->data->dev_started);
 
        /* Free sqb's and disable sq */
        nix_sq_uninit(txq);
@@ -983,6 +1223,7 @@ otx2_nix_tx_queue_release(void *_txq)
                rte_mempool_free(txq->sqb_pool);
                txq->sqb_pool = NULL;
        }
+       otx2_nix_sq_flush_post(txq);
        rte_free(txq);
 }
 
@@ -1114,10 +1355,12 @@ nix_store_queue_cfg_and_then_release(struct rte_eth_dev *eth_dev)
        txq = (struct otx2_eth_txq **)eth_dev->data->tx_queues;
        for (i = 0; i < nb_txq; i++) {
                if (txq[i] == NULL) {
-                       otx2_err("txq[%d] is already released", i);
-                       goto fail;
+                       tx_qconf[i].valid = false;
+                       otx2_info("txq[%d] is already released", i);
+                       continue;
                }
                memcpy(&tx_qconf[i], &txq[i]->qconf, sizeof(*tx_qconf));
+               tx_qconf[i].valid = true;
                otx2_nix_tx_queue_release(txq[i]);
                eth_dev->data->tx_queues[i] = NULL;
        }
@@ -1125,10 +1368,12 @@ nix_store_queue_cfg_and_then_release(struct rte_eth_dev *eth_dev)
        rxq = (struct otx2_eth_rxq **)eth_dev->data->rx_queues;
        for (i = 0; i < nb_rxq; i++) {
                if (rxq[i] == NULL) {
-                       otx2_err("rxq[%d] is already released", i);
-                       goto fail;
+                       rx_qconf[i].valid = false;
+                       otx2_info("rxq[%d] is already released", i);
+                       continue;
                }
                memcpy(&rx_qconf[i], &rxq[i]->qconf, sizeof(*rx_qconf));
+               rx_qconf[i].valid = true;
                otx2_nix_rx_queue_release(rxq[i]);
                eth_dev->data->rx_queues[i] = NULL;
        }
@@ -1138,10 +1383,8 @@ nix_store_queue_cfg_and_then_release(struct rte_eth_dev *eth_dev)
        return 0;
 
 fail:
-       if (tx_qconf)
-               free(tx_qconf);
-       if (rx_qconf)
-               free(rx_qconf);
+       free(tx_qconf);
+       free(rx_qconf);
 
        return -ENOMEM;
 }
@@ -1183,6 +1426,8 @@ nix_restore_queue_cfg(struct rte_eth_dev *eth_dev)
         * queues are already setup in port_configure().
         */
        for (i = 0; i < nb_txq; i++) {
+               if (!tx_qconf[i].valid)
+                       continue;
                rc = otx2_nix_tx_queue_setup(eth_dev, i, tx_qconf[i].nb_desc,
                                             tx_qconf[i].socket_id,
                                             &tx_qconf[i].conf.tx);
@@ -1198,6 +1443,8 @@ nix_restore_queue_cfg(struct rte_eth_dev *eth_dev)
        free(tx_qconf); tx_qconf = NULL;
 
        for (i = 0; i < nb_rxq; i++) {
+               if (!rx_qconf[i].valid)
+                       continue;
                rc = otx2_nix_rx_queue_setup(eth_dev, i, rx_qconf[i].nb_desc,
                                             rx_qconf[i].socket_id,
                                             &rx_qconf[i].conf.rx,
@@ -1574,11 +1821,6 @@ otx2_nix_configure(struct rte_eth_dev *eth_dev)
                goto fail_configure;
        }
 
-       if (conf->link_speeds & ETH_LINK_SPEED_FIXED) {
-               otx2_err("Setting link speed/duplex not supported");
-               goto fail_configure;
-       }
-
        if (conf->dcb_capability_en == 1) {
                otx2_err("dcb enable is not supported");
                goto fail_configure;
@@ -1610,6 +1852,7 @@ otx2_nix_configure(struct rte_eth_dev *eth_dev)
 
        /* Free the resources allocated from the previous configure */
        if (dev->configured == 1) {
+               otx2_eth_sec_fini(eth_dev);
                otx2_nix_rxchan_bpid_cfg(eth_dev, false);
                otx2_nix_vlan_fini(eth_dev);
                otx2_nix_mc_addr_list_uninstall(eth_dev);
@@ -1641,7 +1884,16 @@ otx2_nix_configure(struct rte_eth_dev *eth_dev)
                goto fail_offloads;
        }
 
-       rc = nix_lf_switch_header_type_enable(dev);
+       otx2_nix_err_intr_enb_dis(eth_dev, true);
+       otx2_nix_ras_intr_enb_dis(eth_dev, true);
+
+       if (dev->ptp_en &&
+           dev->npc_flow.switch_header_type == OTX2_PRIV_FLAGS_HIGIG) {
+               otx2_err("Both PTP and switch header enabled");
+               goto free_nix_lf;
+       }
+
+       rc = nix_lf_switch_header_type_enable(dev, true);
        if (rc) {
                otx2_err("Failed to enable switch type nix_lf rc=%d", rc);
                goto free_nix_lf;
@@ -1714,10 +1966,21 @@ otx2_nix_configure(struct rte_eth_dev *eth_dev)
                goto cq_fini;
        }
 
+       /* Enable security */
+       rc = otx2_eth_sec_init(eth_dev);
+       if (rc)
+               goto cq_fini;
+
+       rc = otx2_nix_flow_ctrl_init(eth_dev);
+       if (rc) {
+               otx2_err("Failed to init flow ctrl mode %d", rc);
+               goto cq_fini;
+       }
+
        rc = otx2_nix_mc_addr_list_install(eth_dev);
        if (rc < 0) {
                otx2_err("Failed to install mc address list rc=%d", rc);
-               goto cq_fini;
+               goto sec_fini;
        }
 
        /*
@@ -1738,6 +2001,13 @@ otx2_nix_configure(struct rte_eth_dev *eth_dev)
 
        rte_ether_format_addr(ea_fmt, RTE_ETHER_ADDR_FMT_SIZE, ea);
 
+       /* Apply new link configurations if changed */
+       rc = otx2_apply_link_speed(eth_dev);
+       if (rc) {
+               otx2_err("Failed to set link configuration");
+               goto uninstall_mc_list;
+       }
+
        otx2_nix_dbg("Configured port%d mac=%s nb_rxq=%d nb_txq=%d"
                " rx_offloads=0x%" PRIx64 " tx_offloads=0x%" PRIx64 ""
                " rx_flags=0x%x tx_flags=0x%x",
@@ -1753,6 +2023,8 @@ otx2_nix_configure(struct rte_eth_dev *eth_dev)
 
 uninstall_mc_list:
        otx2_nix_mc_addr_list_uninstall(eth_dev);
+sec_fini:
+       otx2_eth_sec_fini(eth_dev);
 cq_fini:
        oxt2_nix_unregister_cq_irqs(eth_dev);
 q_irq_fini:
@@ -1867,7 +2139,7 @@ done:
        return rc;
 }
 
-static void
+static int
 otx2_nix_dev_stop(struct rte_eth_dev *eth_dev)
 {
        struct otx2_eth_dev *dev = otx2_eth_pmd_priv(eth_dev);
@@ -1875,6 +2147,7 @@ otx2_nix_dev_stop(struct rte_eth_dev *eth_dev)
        struct otx2_eth_rxq *rxq;
        int count, i, j, rc;
 
+       nix_lf_switch_header_type_enable(dev, false);
        nix_cgx_stop_link_event(dev);
        npc_rx_disable(dev);
 
@@ -1896,6 +2169,8 @@ otx2_nix_dev_stop(struct rte_eth_dev *eth_dev)
        /* Stop tx queues  */
        for (i = 0; i < eth_dev->data->nb_tx_queues; i++)
                otx2_nix_tx_queue_stop(eth_dev, i);
+
+       return 0;
 }
 
 static int
@@ -1977,7 +2252,7 @@ rx_disable:
 }
 
 static int otx2_nix_dev_reset(struct rte_eth_dev *eth_dev);
-static void otx2_nix_dev_close(struct rte_eth_dev *eth_dev);
+static int otx2_nix_dev_close(struct rte_eth_dev *eth_dev);
 
 /* Initialize and register driver with DPDK Application */
 static const struct eth_dev_ops otx2_eth_dev_ops = {
@@ -1986,6 +2261,7 @@ static const struct eth_dev_ops otx2_eth_dev_ops = {
        .link_update              = otx2_nix_link_update,
        .tx_queue_setup           = otx2_nix_tx_queue_setup,
        .tx_queue_release         = otx2_nix_tx_queue_release,
+       .tm_ops_get               = otx2_nix_tm_ops_get,
        .rx_queue_setup           = otx2_nix_rx_queue_setup,
        .rx_queue_release         = otx2_nix_rx_queue_release,
        .dev_start                = otx2_nix_dev_start,
@@ -2026,11 +2302,8 @@ static const struct eth_dev_ops otx2_eth_dev_ops = {
        .txq_info_get             = otx2_nix_txq_info_get,
        .rx_burst_mode_get        = otx2_rx_burst_mode_get,
        .tx_burst_mode_get        = otx2_tx_burst_mode_get,
-       .rx_queue_count           = otx2_nix_rx_queue_count,
-       .rx_descriptor_done       = otx2_nix_rx_descriptor_done,
-       .rx_descriptor_status     = otx2_nix_rx_descriptor_status,
-       .tx_descriptor_status     = otx2_nix_tx_descriptor_status,
        .tx_done_cleanup          = otx2_nix_tx_done_cleanup,
+       .set_queue_rate_limit     = otx2_nix_tm_set_queue_rate_limit,
        .pool_ops_supported       = otx2_nix_pool_ops_supported,
        .filter_ctrl              = otx2_nix_dev_filter_ctrl,
        .get_module_info          = otx2_nix_get_module_info,
@@ -2113,6 +2386,20 @@ otx2_eth_dev_is_sdp(struct rte_pci_device *pci_dev)
        return false;
 }
 
+static inline uint64_t
+nix_get_blkaddr(struct otx2_eth_dev *dev)
+{
+       uint64_t reg;
+
+       /* Reading the discovery register to know which NIX is the LF
+        * attached to.
+        */
+       reg = otx2_read64(dev->bar2 +
+                         RVU_PF_BLOCK_ADDRX_DISC(RVU_BLOCK_ADDR_NIX0));
+
+       return reg & 0x1FFULL ? RVU_BLOCK_ADDR_NIX0 : RVU_BLOCK_ADDR_NIX1;
+}
+
 static int
 otx2_eth_dev_init(struct rte_eth_dev *eth_dev)
 {
@@ -2121,6 +2408,10 @@ otx2_eth_dev_init(struct rte_eth_dev *eth_dev)
        int rc, max_entries;
 
        eth_dev->dev_ops = &otx2_eth_dev_ops;
+       eth_dev->rx_descriptor_done = otx2_nix_rx_descriptor_done;
+       eth_dev->rx_queue_count = otx2_nix_rx_queue_count;
+       eth_dev->rx_descriptor_status = otx2_nix_rx_descriptor_status;
+       eth_dev->tx_descriptor_status = otx2_nix_tx_descriptor_status;
 
        /* For secondary processes, the primary has done all the work */
        if (rte_eal_process_type() != RTE_PROC_PRIMARY) {
@@ -2133,7 +2424,7 @@ otx2_eth_dev_init(struct rte_eth_dev *eth_dev)
        pci_dev = RTE_ETH_DEV_TO_PCI(eth_dev);
 
        rte_eth_copy_pci_info(eth_dev, pci_dev);
-       eth_dev->data->dev_flags |= RTE_ETH_DEV_CLOSE_REMOVE;
+       eth_dev->data->dev_flags |= RTE_ETH_DEV_AUTOFILL_QUEUE_XSTATS;
 
        /* Zero out everything after OTX2_DEV to allow proper dev_reset() */
        memset(&dev->otx2_eth_dev_data_start, 0, sizeof(*dev) -
@@ -2172,7 +2463,6 @@ otx2_eth_dev_init(struct rte_eth_dev *eth_dev)
        dev->configured = 0;
        dev->drv_inited = true;
        dev->ptype_disable = 0;
-       dev->base = dev->bar2 + (RVU_BLOCK_ADDR_NIX0 << 20);
        dev->lmt_addr = dev->bar2 + (RVU_BLOCK_ADDR_LMT << 20);
 
        /* Attach NIX LF */
@@ -2180,6 +2470,8 @@ otx2_eth_dev_init(struct rte_eth_dev *eth_dev)
        if (rc)
                goto otx2_npa_uninit;
 
+       dev->base = dev->bar2 + (nix_get_blkaddr(dev) << 20);
+
        /* Get NIX MSIX offset */
        rc = nix_lf_get_msix_offset(dev);
        if (rc)
@@ -2236,10 +2528,17 @@ otx2_eth_dev_init(struct rte_eth_dev *eth_dev)
                dev->hwcap |= OTX2_FIXUP_F_LIMIT_CQ_FULL;
        }
 
+       /* Create security ctx */
+       rc = otx2_eth_sec_ctx_create(eth_dev);
+       if (rc)
+               goto free_mac_addrs;
+       dev->tx_offload_capa |= DEV_TX_OFFLOAD_SECURITY;
+       dev->rx_offload_capa |= DEV_RX_OFFLOAD_SECURITY;
+
        /* Initialize rte-flow */
        rc = otx2_flow_init(dev);
        if (rc)
-               goto free_mac_addrs;
+               goto sec_ctx_destroy;
 
        otx2_nix_mc_filter_init(dev);
 
@@ -2250,6 +2549,8 @@ otx2_eth_dev_init(struct rte_eth_dev *eth_dev)
                     dev->rx_offload_capa, dev->tx_offload_capa);
        return 0;
 
+sec_ctx_destroy:
+       otx2_eth_sec_ctx_destroy(eth_dev);
 free_mac_addrs:
        rte_free(eth_dev->data->mac_addrs);
 unregister_irq:
@@ -2333,6 +2634,12 @@ otx2_eth_dev_uninit(struct rte_eth_dev *eth_dev, bool mbox_close)
        if (rc)
                otx2_err("Failed to cleanup npa lf, rc=%d", rc);
 
+       /* Disable security */
+       otx2_eth_sec_fini(eth_dev);
+
+       /* Destroy security ctx */
+       otx2_eth_sec_ctx_destroy(eth_dev);
+
        rte_free(eth_dev->data->mac_addrs);
        eth_dev->data->mac_addrs = NULL;
        dev->drv_inited = false;
@@ -2358,10 +2665,11 @@ otx2_eth_dev_uninit(struct rte_eth_dev *eth_dev, bool mbox_close)
        return 0;
 }
 
-static void
+static int
 otx2_nix_dev_close(struct rte_eth_dev *eth_dev)
 {
        otx2_eth_dev_uninit(eth_dev, true);
+       return 0;
 }
 
 static int
@@ -2391,7 +2699,7 @@ nix_remove(struct rte_pci_device *pci_dev)
                if (rc)
                        return rc;
 
-               rte_eth_dev_pci_release(eth_dev);
+               rte_eth_dev_release_port(eth_dev);
        }
 
        /* Nothing to be done for secondary processes */