net/virtio: rationalize queue flushing
[dpdk.git] / drivers / net / virtio / virtio_ethdev.c
index 2b8c6d7..55e63a3 100644 (file)
@@ -1,34 +1,5 @@
-/*-
- *   BSD LICENSE
- *
- *   Copyright(c) 2010-2016 Intel Corporation. All rights reserved.
- *   All rights reserved.
- *
- *   Redistribution and use in source and binary forms, with or without
- *   modification, are permitted provided that the following conditions
- *   are met:
- *
- *     * Redistributions of source code must retain the above copyright
- *       notice, this list of conditions and the following disclaimer.
- *     * Redistributions in binary form must reproduce the above copyright
- *       notice, this list of conditions and the following disclaimer in
- *       the documentation and/or other materials provided with the
- *       distribution.
- *     * Neither the name of Intel Corporation nor the names of its
- *       contributors may be used to endorse or promote products derived
- *       from this software without specific prior written permission.
- *
- *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
- *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
- *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
- *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
- *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
- *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
- *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
- *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
- *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
- *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
- *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
+/* SPDX-License-Identifier: BSD-3-Clause
+ * Copyright(c) 2010-2016 Intel Corporation
  */
 
 #include <stdint.h>
@@ -37,7 +8,7 @@
 #include <errno.h>
 #include <unistd.h>
 
-#include <rte_ethdev.h>
+#include <rte_ethdev_driver.h>
 #include <rte_ethdev_pci.h>
 #include <rte_memcpy.h>
 #include <rte_string_fns.h>
 #include <rte_atomic.h>
 #include <rte_branch_prediction.h>
 #include <rte_pci.h>
+#include <rte_bus_pci.h>
 #include <rte_ether.h>
+#include <rte_ip.h>
+#include <rte_arp.h>
 #include <rte_common.h>
 #include <rte_errno.h>
+#include <rte_cpuflags.h>
 
 #include <rte_memory.h>
 #include <rte_eal.h>
 #include <rte_dev.h>
+#include <rte_cycles.h>
 
 #include "virtio_ethdev.h"
 #include "virtio_pci.h"
@@ -72,11 +48,12 @@ static void virtio_dev_info_get(struct rte_eth_dev *dev,
                                struct rte_eth_dev_info *dev_info);
 static int virtio_dev_link_update(struct rte_eth_dev *dev,
        int wait_to_complete);
+static int virtio_dev_vlan_offload_set(struct rte_eth_dev *dev, int mask);
 
 static void virtio_set_hwaddr(struct virtio_hw *hw);
 static void virtio_get_hwaddr(struct virtio_hw *hw);
 
-static void virtio_dev_stats_get(struct rte_eth_dev *dev,
+static int virtio_dev_stats_get(struct rte_eth_dev *dev,
                                 struct rte_eth_stats *stats);
 static int virtio_dev_xstats_get(struct rte_eth_dev *dev,
                                 struct rte_eth_xstat *xstats, unsigned n);
@@ -94,12 +71,21 @@ static void virtio_mac_addr_remove(struct rte_eth_dev *dev, uint32_t index);
 static void virtio_mac_addr_set(struct rte_eth_dev *dev,
                                struct ether_addr *mac_addr);
 
+static int virtio_intr_enable(struct rte_eth_dev *dev);
+static int virtio_intr_disable(struct rte_eth_dev *dev);
+
 static int virtio_dev_queue_stats_mapping_set(
        struct rte_eth_dev *eth_dev,
        uint16_t queue_id,
        uint8_t stat_idx,
        uint8_t is_rx);
 
+int virtio_logtype_init;
+int virtio_logtype_driver;
+
+static void virtio_notify_peers(struct rte_eth_dev *dev);
+static void virtio_ack_link_announce(struct rte_eth_dev *dev);
+
 /*
  * The set of PCI devices this driver supports
  */
@@ -162,7 +148,7 @@ virtio_send_command(struct virtnet_ctl *cvq, struct virtio_pmd_ctrl *ctrl,
        uint32_t head, i;
        int k, sum = 0;
        virtio_net_ctrl_ack status = ~0;
-       struct virtio_pmd_ctrl result;
+       struct virtio_pmd_ctrl *result;
        struct virtqueue *vq;
 
        ctrl->status = status;
@@ -171,6 +157,8 @@ virtio_send_command(struct virtnet_ctl *cvq, struct virtio_pmd_ctrl *ctrl,
                PMD_INIT_LOG(ERR, "Control queue is not supported.");
                return -1;
        }
+
+       rte_spinlock_lock(&cvq->lock);
        vq = cvq->vq;
        head = vq->vq_desc_head_idx;
 
@@ -178,8 +166,10 @@ virtio_send_command(struct virtnet_ctl *cvq, struct virtio_pmd_ctrl *ctrl,
                "vq->hw->cvq = %p vq = %p",
                vq->vq_desc_head_idx, status, vq->hw->cvq, vq);
 
-       if ((vq->vq_free_cnt < ((uint32_t)pkt_num + 2)) || (pkt_num < 1))
+       if (vq->vq_free_cnt < pkt_num + 2 || pkt_num < 1) {
+               rte_spinlock_unlock(&cvq->lock);
                return -1;
+       }
 
        memcpy(cvq->virtio_net_hdr_mz->addr, ctrl,
                sizeof(struct virtio_pmd_ctrl));
@@ -253,10 +243,10 @@ virtio_send_command(struct virtnet_ctl *cvq, struct virtio_pmd_ctrl *ctrl,
        PMD_INIT_LOG(DEBUG, "vq->vq_free_cnt=%d\nvq->vq_desc_head_idx=%d",
                        vq->vq_free_cnt, vq->vq_desc_head_idx);
 
-       memcpy(&result, cvq->virtio_net_hdr_mz->addr,
-                       sizeof(struct virtio_pmd_ctrl));
+       result = cvq->virtio_net_hdr_mz->addr;
 
-       return result.status;
+       rte_spinlock_unlock(&cvq->lock);
+       return result->status;
 }
 
 static int
@@ -289,17 +279,6 @@ virtio_dev_queue_release(void *queue __rte_unused)
        /* do nothing */
 }
 
-static int
-virtio_get_queue_type(struct virtio_hw *hw, uint16_t vtpci_queue_idx)
-{
-       if (vtpci_queue_idx == hw->max_queue_pairs * 2)
-               return VTNET_CQ;
-       else if (vtpci_queue_idx % 2 == 0)
-               return VTNET_RQ;
-       else
-               return VTNET_TQ;
-}
-
 static uint16_t
 virtio_get_nr_vq(struct virtio_hw *hw)
 {
@@ -426,10 +405,10 @@ virtio_init_queue(struct rte_eth_dev *dev, uint16_t vtpci_queue_idx)
 
        memset(mz->addr, 0, mz->len);
 
-       vq->vq_ring_mem = mz->phys_addr;
+       vq->vq_ring_mem = mz->iova;
        vq->vq_ring_virt_mem = mz->addr;
        PMD_INIT_LOG(DEBUG, "vq->vq_ring_mem:      0x%" PRIx64,
-                    (uint64_t)mz->phys_addr);
+                    (uint64_t)mz->iova);
        PMD_INIT_LOG(DEBUG, "vq->vq_ring_virt_mem: 0x%" PRIx64,
                     (uint64_t)(uintptr_t)mz->addr);
 
@@ -474,13 +453,13 @@ virtio_init_queue(struct rte_eth_dev *dev, uint16_t vtpci_queue_idx)
                txvq->port_id = dev->data->port_id;
                txvq->mz = mz;
                txvq->virtio_net_hdr_mz = hdr_mz;
-               txvq->virtio_net_hdr_mem = hdr_mz->phys_addr;
+               txvq->virtio_net_hdr_mem = hdr_mz->iova;
        } else if (queue_type == VTNET_CQ) {
                cvq = &vq->cq;
                cvq->vq = vq;
                cvq->mz = mz;
                cvq->virtio_net_hdr_mz = hdr_mz;
-               cvq->virtio_net_hdr_mem = hdr_mz->phys_addr;
+               cvq->virtio_net_hdr_mem = hdr_mz->iova;
                memset(cvq->virtio_net_hdr_mz->addr, 0, PAGE_SIZE);
 
                hw->cvq = cvq;
@@ -491,7 +470,7 @@ virtio_init_queue(struct rte_eth_dev *dev, uint16_t vtpci_queue_idx)
         * VIRTIO_MBUF_DATA_DMA_ADDR in virtqueue.h for more information.
         */
        if (!hw->virtio_user_dev)
-               vq->offset = offsetof(struct rte_mbuf, buf_physaddr);
+               vq->offset = offsetof(struct rte_mbuf, buf_iova);
        else {
                vq->vq_ring_mem = (uintptr_t)mz->addr;
                vq->offset = offsetof(struct rte_mbuf, buf_addr);
@@ -616,7 +595,7 @@ virtio_dev_close(struct rte_eth_dev *dev)
                virtio_queues_unbind_intr(dev);
 
        if (intr_conf->lsc || intr_conf->rxq) {
-               rte_intr_disable(dev->intr_handle);
+               virtio_intr_disable(dev);
                rte_intr_efd_disable(dev->intr_handle);
                rte_free(dev->intr_handle->intr_vec);
                dev->intr_handle->intr_vec = NULL;
@@ -779,6 +758,7 @@ static const struct eth_dev_ops virtio_eth_dev_ops = {
        .stats_reset             = virtio_dev_stats_reset,
        .xstats_reset            = virtio_dev_stats_reset,
        .link_update             = virtio_dev_link_update,
+       .vlan_offload_set        = virtio_dev_vlan_offload_set,
        .rx_queue_setup          = virtio_dev_rx_queue_setup,
        .rx_queue_intr_enable    = virtio_dev_rx_queue_intr_enable,
        .rx_queue_intr_disable   = virtio_dev_rx_queue_intr_disable,
@@ -887,7 +867,7 @@ static int virtio_dev_xstats_get_names(struct rte_eth_dev *dev,
                /* Note: limit checked in rte_eth_xstats_names() */
 
                for (i = 0; i < dev->data->nb_rx_queues; i++) {
-                       struct virtqueue *rxvq = dev->data->rx_queues[i];
+                       struct virtnet_rx *rxvq = dev->data->rx_queues[i];
                        if (rxvq == NULL)
                                continue;
                        for (t = 0; t < VIRTIO_NB_RXQ_XSTATS; t++) {
@@ -900,7 +880,7 @@ static int virtio_dev_xstats_get_names(struct rte_eth_dev *dev,
                }
 
                for (i = 0; i < dev->data->nb_tx_queues; i++) {
-                       struct virtqueue *txvq = dev->data->tx_queues[i];
+                       struct virtnet_tx *txvq = dev->data->tx_queues[i];
                        if (txvq == NULL)
                                continue;
                        for (t = 0; t < VIRTIO_NB_TXQ_XSTATS; t++) {
@@ -964,10 +944,12 @@ virtio_dev_xstats_get(struct rte_eth_dev *dev, struct rte_eth_xstat *xstats,
        return count;
 }
 
-static void
+static int
 virtio_dev_stats_get(struct rte_eth_dev *dev, struct rte_eth_stats *stats)
 {
        virtio_update_stats(dev, stats);
+
+       return 0;
 }
 
 static void
@@ -1154,6 +1136,34 @@ virtio_vlan_filter_set(struct rte_eth_dev *dev, uint16_t vlan_id, int on)
        return virtio_send_command(hw->cvq, &ctrl, &len, 1);
 }
 
+static int
+virtio_intr_enable(struct rte_eth_dev *dev)
+{
+       struct virtio_hw *hw = dev->data->dev_private;
+
+       if (rte_intr_enable(dev->intr_handle) < 0)
+               return -1;
+
+       if (!hw->virtio_user_dev)
+               hw->use_msix = vtpci_msix_detect(RTE_ETH_DEV_TO_PCI(dev));
+
+       return 0;
+}
+
+static int
+virtio_intr_disable(struct rte_eth_dev *dev)
+{
+       struct virtio_hw *hw = dev->data->dev_private;
+
+       if (rte_intr_disable(dev->intr_handle) < 0)
+               return -1;
+
+       if (!hw->virtio_user_dev)
+               hw->use_msix = vtpci_msix_detect(RTE_ETH_DEV_TO_PCI(dev));
+
+       return 0;
+}
+
 static int
 virtio_negotiate_features(struct virtio_hw *hw, uint64_t req_features)
 {
@@ -1208,9 +1218,97 @@ virtio_negotiate_features(struct virtio_hw *hw, uint64_t req_features)
        return 0;
 }
 
+int
+virtio_dev_pause(struct rte_eth_dev *dev)
+{
+       struct virtio_hw *hw = dev->data->dev_private;
+
+       rte_spinlock_lock(&hw->state_lock);
+
+       if (hw->started == 0) {
+               /* Device is just stopped. */
+               rte_spinlock_unlock(&hw->state_lock);
+               return -1;
+       }
+       hw->started = 0;
+       /*
+        * Prevent the worker threads from touching queues to avoid contention,
+        * 1 ms should be enough for the ongoing Tx function to finish.
+        */
+       rte_delay_ms(1);
+       return 0;
+}
+
+/*
+ * Recover hw state to let the worker threads continue.
+ */
+void
+virtio_dev_resume(struct rte_eth_dev *dev)
+{
+       struct virtio_hw *hw = dev->data->dev_private;
+
+       hw->started = 1;
+       rte_spinlock_unlock(&hw->state_lock);
+}
+
+/*
+ * Should be called only after device is paused.
+ */
+int
+virtio_inject_pkts(struct rte_eth_dev *dev, struct rte_mbuf **tx_pkts,
+               int nb_pkts)
+{
+       struct virtio_hw *hw = dev->data->dev_private;
+       struct virtnet_tx *txvq = dev->data->tx_queues[0];
+       int ret;
+
+       hw->inject_pkts = tx_pkts;
+       ret = dev->tx_pkt_burst(txvq, tx_pkts, nb_pkts);
+       hw->inject_pkts = NULL;
+
+       return ret;
+}
+
+static void
+virtio_notify_peers(struct rte_eth_dev *dev)
+{
+       struct virtio_hw *hw = dev->data->dev_private;
+       struct virtnet_rx *rxvq = dev->data->rx_queues[0];
+       struct rte_mbuf *rarp_mbuf;
+
+       rarp_mbuf = rte_net_make_rarp_packet(rxvq->mpool,
+                       (struct ether_addr *)hw->mac_addr);
+       if (rarp_mbuf == NULL) {
+               PMD_DRV_LOG(ERR, "failed to make RARP packet.");
+               return;
+       }
+
+       /* If virtio port just stopped, no need to send RARP */
+       if (virtio_dev_pause(dev) < 0) {
+               rte_pktmbuf_free(rarp_mbuf);
+               return;
+       }
+
+       virtio_inject_pkts(dev, &rarp_mbuf, 1);
+       virtio_dev_resume(dev);
+}
+
+static void
+virtio_ack_link_announce(struct rte_eth_dev *dev)
+{
+       struct virtio_hw *hw = dev->data->dev_private;
+       struct virtio_pmd_ctrl ctrl;
+
+       ctrl.hdr.class = VIRTIO_NET_CTRL_ANNOUNCE;
+       ctrl.hdr.cmd = VIRTIO_NET_CTRL_ANNOUNCE_ACK;
+
+       virtio_send_command(hw->cvq, &ctrl, NULL, 0);
+}
+
 /*
- * Process Virtio Config changed interrupt and call the callback
- * if link state changed.
+ * Process virtio config changed interrupt. Call the callback
+ * if link state changed, generate gratuitous RARP packet if
+ * the status indicates an ANNOUNCE.
  */
 void
 virtio_interrupt_handler(void *param)
@@ -1223,26 +1321,52 @@ virtio_interrupt_handler(void *param)
        isr = vtpci_isr(hw);
        PMD_DRV_LOG(INFO, "interrupt status = %#x", isr);
 
-       if (rte_intr_enable(dev->intr_handle) < 0)
+       if (virtio_intr_enable(dev) < 0)
                PMD_DRV_LOG(ERR, "interrupt enable failed");
 
        if (isr & VIRTIO_PCI_ISR_CONFIG) {
                if (virtio_dev_link_update(dev, 0) == 0)
                        _rte_eth_dev_callback_process(dev,
                                                      RTE_ETH_EVENT_INTR_LSC,
-                                                     NULL, NULL);
+                                                     NULL);
        }
 
+       if (isr & VIRTIO_NET_S_ANNOUNCE) {
+               virtio_notify_peers(dev);
+               virtio_ack_link_announce(dev);
+       }
 }
 
+/* set rx and tx handlers according to what is supported */
 static void
-rx_func_get(struct rte_eth_dev *eth_dev)
+set_rxtx_funcs(struct rte_eth_dev *eth_dev)
 {
        struct virtio_hw *hw = eth_dev->data->dev_private;
-       if (vtpci_with_feature(hw, VIRTIO_NET_F_MRG_RXBUF))
+
+       if (hw->use_simple_rx) {
+               PMD_INIT_LOG(INFO, "virtio: using simple Rx path on port %u",
+                       eth_dev->data->port_id);
+               eth_dev->rx_pkt_burst = virtio_recv_pkts_vec;
+       } else if (vtpci_with_feature(hw, VIRTIO_NET_F_MRG_RXBUF)) {
+               PMD_INIT_LOG(INFO,
+                       "virtio: using mergeable buffer Rx path on port %u",
+                       eth_dev->data->port_id);
                eth_dev->rx_pkt_burst = &virtio_recv_mergeable_pkts;
-       else
+       } else {
+               PMD_INIT_LOG(INFO, "virtio: using standard Rx path on port %u",
+                       eth_dev->data->port_id);
                eth_dev->rx_pkt_burst = &virtio_recv_pkts;
+       }
+
+       if (hw->use_simple_tx) {
+               PMD_INIT_LOG(INFO, "virtio: using simple Tx path on port %u",
+                       eth_dev->data->port_id);
+               eth_dev->tx_pkt_burst = virtio_xmit_pkts_simple;
+       } else {
+               PMD_INIT_LOG(INFO, "virtio: using standard Tx path on port %u",
+                       eth_dev->data->port_id);
+               eth_dev->tx_pkt_burst = virtio_xmit_pkts;
+       }
 }
 
 /* Only support 1:1 queue/interrupt mapping so far.
@@ -1321,7 +1445,7 @@ virtio_configure_intr(struct rte_eth_dev *dev)
         * to change the config size from 20 to 24, or VIRTIO_MSI_QUEUE_VECTOR
         * (22) will be ignored.
         */
-       if (rte_intr_enable(dev->intr_handle) < 0) {
+       if (virtio_intr_enable(dev) < 0) {
                PMD_DRV_LOG(ERR, "interrupt enable failed");
                return -1;
        }
@@ -1347,6 +1471,11 @@ virtio_init_device(struct rte_eth_dev *eth_dev, uint64_t req_features)
        /* Reset the device although not necessary at startup */
        vtpci_reset(hw);
 
+       if (hw->vqs) {
+               virtio_dev_free_mbufs(eth_dev);
+               virtio_free_queues(hw);
+       }
+
        /* Tell the host we've noticed this device. */
        vtpci_set_status(hw, VIRTIO_CONFIG_STATUS_ACK);
 
@@ -1360,15 +1489,13 @@ virtio_init_device(struct rte_eth_dev *eth_dev, uint64_t req_features)
                rte_eth_copy_pci_info(eth_dev, pci_dev);
        }
 
-       eth_dev->data->dev_flags = RTE_ETH_DEV_DETACHABLE;
        /* If host does not support both status and MSI-X then disable LSC */
-       if (vtpci_with_feature(hw, VIRTIO_NET_F_STATUS) && hw->use_msix)
+       if (vtpci_with_feature(hw, VIRTIO_NET_F_STATUS) &&
+           hw->use_msix != VIRTIO_MSIX_NONE)
                eth_dev->data->dev_flags |= RTE_ETH_DEV_INTR_LSC;
        else
                eth_dev->data->dev_flags &= ~RTE_ETH_DEV_INTR_LSC;
 
-       rx_func_get(eth_dev);
-
        /* Setting up rx_header size for the device */
        if (vtpci_with_feature(hw, VIRTIO_NET_F_MRG_RXBUF) ||
            vtpci_with_feature(hw, VIRTIO_F_VERSION_1))
@@ -1452,6 +1579,8 @@ virtio_init_device(struct rte_eth_dev *eth_dev, uint64_t req_features)
        } else {
                PMD_INIT_LOG(DEBUG, "config->max_virtqueue_pairs=1");
                hw->max_queue_pairs = 1;
+               hw->max_mtu = VIRTIO_MAX_RX_PKTLEN - ETHER_HDR_LEN -
+                       VLAN_TAG_LEN - hw->vtnet_hdr_size;
        }
 
        ret = virtio_alloc_queues(eth_dev);
@@ -1534,7 +1663,6 @@ eth_virtio_dev_init(struct rte_eth_dev *eth_dev)
        RTE_BUILD_BUG_ON(RTE_PKTMBUF_HEADROOM < sizeof(struct virtio_net_hdr_mrg_rxbuf));
 
        eth_dev->dev_ops = &virtio_eth_dev_ops;
-       eth_dev->tx_pkt_burst = &virtio_xmit_pkts;
 
        if (rte_eal_process_type() == RTE_PROC_SECONDARY) {
                if (!hw->virtio_user_dev) {
@@ -1544,12 +1672,8 @@ eth_virtio_dev_init(struct rte_eth_dev *eth_dev)
                }
 
                virtio_set_vtpci_ops(hw);
-               if (hw->use_simple_rxtx) {
-                       eth_dev->tx_pkt_burst = virtio_xmit_pkts_simple;
-                       eth_dev->rx_pkt_burst = virtio_recv_pkts_vec;
-               } else {
-                       rx_func_get(eth_dev);
-               }
+               set_rxtx_funcs(eth_dev);
+
                return 0;
        }
 
@@ -1569,13 +1693,13 @@ eth_virtio_dev_init(struct rte_eth_dev *eth_dev)
        if (!hw->virtio_user_dev) {
                ret = vtpci_init(RTE_ETH_DEV_TO_PCI(eth_dev), hw);
                if (ret)
-                       return ret;
+                       goto out;
        }
 
        /* reset device and negotiate default features */
        ret = virtio_init_device(eth_dev, VIRTIO_PMD_DEFAULT_GUEST_FEATURES);
        if (ret < 0)
-               return ret;
+               goto out;
 
        /* Setup interrupt callback  */
        if (eth_dev->data->dev_flags & RTE_ETH_DEV_INTR_LSC)
@@ -1583,6 +1707,10 @@ eth_virtio_dev_init(struct rte_eth_dev *eth_dev)
                        virtio_interrupt_handler, eth_dev);
 
        return 0;
+
+out:
+       rte_free(eth_dev->data->mac_addrs);
+       return ret;
 }
 
 static int
@@ -1699,7 +1827,7 @@ virtio_dev_configure(struct rte_eth_dev *dev)
 
        if (rxmode->enable_lro &&
                (!vtpci_with_feature(hw, VIRTIO_NET_F_GUEST_TSO4) ||
-                       !vtpci_with_feature(hw, VIRTIO_NET_F_GUEST_TSO4))) {
+                !vtpci_with_feature(hw, VIRTIO_NET_F_GUEST_TSO6))) {
                PMD_DRV_LOG(ERR,
                        "Large Receive Offload not available on this host");
                return -ENOTSUP;
@@ -1726,6 +1854,25 @@ virtio_dev_configure(struct rte_eth_dev *dev)
                        return -EBUSY;
                }
 
+       rte_spinlock_init(&hw->state_lock);
+
+       hw->use_simple_rx = 1;
+       hw->use_simple_tx = 1;
+
+#if defined RTE_ARCH_ARM64 || defined RTE_ARCH_ARM
+       if (!rte_cpu_get_flag_enabled(RTE_CPUFLAG_NEON)) {
+               hw->use_simple_rx = 0;
+               hw->use_simple_tx = 0;
+       }
+#endif
+       if (vtpci_with_feature(hw, VIRTIO_NET_F_MRG_RXBUF)) {
+               hw->use_simple_rx = 0;
+               hw->use_simple_tx = 0;
+       }
+
+       if (rxmode->hw_ip_checksum)
+               hw->use_simple_rx = 0;
+
        return 0;
 }
 
@@ -1765,9 +1912,9 @@ virtio_dev_start(struct rte_eth_dev *dev)
         */
        if (dev->data->dev_conf.intr_conf.lsc ||
            dev->data->dev_conf.intr_conf.rxq) {
-               rte_intr_disable(dev->intr_handle);
+               virtio_intr_disable(dev);
 
-               if (rte_intr_enable(dev->intr_handle) < 0) {
+               if (virtio_intr_enable(dev) < 0) {
                        PMD_DRV_LOG(ERR, "interrupt enable failed");
                        return -EIO;
                }
@@ -1787,6 +1934,8 @@ virtio_dev_start(struct rte_eth_dev *dev)
 
        for (i = 0; i < dev->data->nb_rx_queues; i++) {
                rxvq = dev->data->rx_queues[i];
+               /* Flush the old packets */
+               virtqueue_rxvq_flush(rxvq->vq);
                virtqueue_notify(rxvq->vq);
        }
 
@@ -1807,6 +1956,7 @@ virtio_dev_start(struct rte_eth_dev *dev)
                VIRTQUEUE_DUMP(txvq->vq);
        }
 
+       set_rxtx_funcs(dev);
        hw->started = 1;
 
        /* Initialize Link state */
@@ -1817,47 +1967,44 @@ virtio_dev_start(struct rte_eth_dev *dev)
 
 static void virtio_dev_free_mbufs(struct rte_eth_dev *dev)
 {
+       struct virtio_hw *hw = dev->data->dev_private;
+       uint16_t nr_vq = virtio_get_nr_vq(hw);
+       const char *type __rte_unused;
+       unsigned int i, mbuf_num = 0;
+       struct virtqueue *vq;
        struct rte_mbuf *buf;
-       int i, mbuf_num = 0;
-
-       for (i = 0; i < dev->data->nb_rx_queues; i++) {
-               struct virtnet_rx *rxvq = dev->data->rx_queues[i];
-
-               PMD_INIT_LOG(DEBUG,
-                            "Before freeing rxq[%d] used and unused buf", i);
-               VIRTQUEUE_DUMP(rxvq->vq);
-
-               PMD_INIT_LOG(DEBUG, "rx_queues[%d]=%p", i, rxvq);
-               while ((buf = virtqueue_detatch_unused(rxvq->vq)) != NULL) {
-                       rte_pktmbuf_free(buf);
-                       mbuf_num++;
-               }
+       int queue_type;
 
-               PMD_INIT_LOG(DEBUG, "free %d mbufs", mbuf_num);
-               PMD_INIT_LOG(DEBUG,
-                            "After freeing rxq[%d] used and unused buf", i);
-               VIRTQUEUE_DUMP(rxvq->vq);
-       }
+       for (i = 0; i < nr_vq; i++) {
+               vq = hw->vqs[i];
+               if (!vq)
+                       continue;
 
-       for (i = 0; i < dev->data->nb_tx_queues; i++) {
-               struct virtnet_tx *txvq = dev->data->tx_queues[i];
+               queue_type = virtio_get_queue_type(hw, i);
+               if (queue_type == VTNET_RQ)
+                       type = "rxq";
+               else if (queue_type == VTNET_TQ)
+                       type = "txq";
+               else
+                       continue;
 
                PMD_INIT_LOG(DEBUG,
-                            "Before freeing txq[%d] used and unused bufs",
-                            i);
-               VIRTQUEUE_DUMP(txvq->vq);
+                       "Before freeing %s[%d] used and unused buf",
+                       type, i);
+               VIRTQUEUE_DUMP(vq);
 
-               mbuf_num = 0;
-               while ((buf = virtqueue_detatch_unused(txvq->vq)) != NULL) {
+               while ((buf = virtqueue_detatch_unused(vq)) != NULL) {
                        rte_pktmbuf_free(buf);
                        mbuf_num++;
                }
 
-               PMD_INIT_LOG(DEBUG, "free %d mbufs", mbuf_num);
                PMD_INIT_LOG(DEBUG,
-                            "After freeing txq[%d] used and unused buf", i);
-               VIRTQUEUE_DUMP(txvq->vq);
+                       "After freeing %s[%d] used and unused buf",
+                       type, i);
+               VIRTQUEUE_DUMP(vq);
        }
+
+       PMD_INIT_LOG(DEBUG, "%d mbufs freed", mbuf_num);
 }
 
 /*
@@ -1872,12 +2019,14 @@ virtio_dev_stop(struct rte_eth_dev *dev)
 
        PMD_INIT_LOG(DEBUG, "stop");
 
+       rte_spinlock_lock(&hw->state_lock);
        if (intr_conf->lsc || intr_conf->rxq)
-               rte_intr_disable(dev->intr_handle);
+               virtio_intr_disable(dev);
 
        hw->started = 0;
        memset(&link, 0, sizeof(link));
        virtio_dev_atomic_write_link_status(dev, &link);
+       rte_spinlock_unlock(&hw->state_lock);
 }
 
 static int
@@ -1890,7 +2039,7 @@ virtio_dev_link_update(struct rte_eth_dev *dev, __rte_unused int wait_to_complet
        virtio_dev_atomic_read_link_status(dev, &link);
        old = link;
        link.link_duplex = ETH_LINK_FULL_DUPLEX;
-       link.link_speed  = SPEED_10G;
+       link.link_speed  = ETH_SPEED_NUM_10G;
 
        if (hw->started == 0) {
                link.link_status = ETH_LINK_DOWN;
@@ -1916,6 +2065,29 @@ virtio_dev_link_update(struct rte_eth_dev *dev, __rte_unused int wait_to_complet
        return (old.link_status == link.link_status) ? -1 : 0;
 }
 
+static int
+virtio_dev_vlan_offload_set(struct rte_eth_dev *dev, int mask)
+{
+       const struct rte_eth_rxmode *rxmode = &dev->data->dev_conf.rxmode;
+       struct virtio_hw *hw = dev->data->dev_private;
+
+       if (mask & ETH_VLAN_FILTER_MASK) {
+               if (rxmode->hw_vlan_filter &&
+                               !vtpci_with_feature(hw, VIRTIO_NET_F_CTRL_VLAN)) {
+
+                       PMD_DRV_LOG(NOTICE,
+                               "vlan filtering not available on this host");
+
+                       return -ENOTSUP;
+               }
+       }
+
+       if (mask & ETH_VLAN_STRIP_MASK)
+               hw->vlan_strip = rxmode->hw_vlan_strip;
+
+       return 0;
+}
+
 static void
 virtio_dev_info_get(struct rte_eth_dev *dev, struct rte_eth_dev_info *dev_info)
 {
@@ -1974,3 +2146,15 @@ __rte_unused uint8_t is_rx)
 RTE_PMD_EXPORT_NAME(net_virtio, __COUNTER__);
 RTE_PMD_REGISTER_PCI_TABLE(net_virtio, pci_id_virtio_map);
 RTE_PMD_REGISTER_KMOD_DEP(net_virtio, "* igb_uio | uio_pci_generic | vfio-pci");
+
+RTE_INIT(virtio_init_log);
+static void
+virtio_init_log(void)
+{
+       virtio_logtype_init = rte_log_register("pmd.virtio.init");
+       if (virtio_logtype_init >= 0)
+               rte_log_set_level(virtio_logtype_init, RTE_LOG_NOTICE);
+       virtio_logtype_driver = rte_log_register("pmd.virtio.driver");
+       if (virtio_logtype_driver >= 0)
+               rte_log_set_level(virtio_logtype_driver, RTE_LOG_NOTICE);
+}