net/virtio: fix Rx handler when checksum is requested
[dpdk.git] / drivers / net / virtio / virtio_ethdev.c
index c1b1640..a006d49 100644 (file)
@@ -49,6 +49,7 @@
 #include <rte_ether.h>
 #include <rte_common.h>
 #include <rte_errno.h>
+#include <rte_cpuflags.h>
 
 #include <rte_memory.h>
 #include <rte_eal.h>
@@ -1235,14 +1236,36 @@ virtio_interrupt_handler(void *param)
 
 }
 
+/* set rx and tx handlers according to what is supported */
 static void
-rx_func_get(struct rte_eth_dev *eth_dev)
+set_rxtx_funcs(struct rte_eth_dev *eth_dev)
 {
        struct virtio_hw *hw = eth_dev->data->dev_private;
-       if (vtpci_with_feature(hw, VIRTIO_NET_F_MRG_RXBUF))
+
+       if (hw->use_simple_rx) {
+               PMD_INIT_LOG(INFO, "virtio: using simple Rx path on port %u",
+                       eth_dev->data->port_id);
+               eth_dev->rx_pkt_burst = virtio_recv_pkts_vec;
+       } else if (vtpci_with_feature(hw, VIRTIO_NET_F_MRG_RXBUF)) {
+               PMD_INIT_LOG(INFO,
+                       "virtio: using mergeable buffer Rx path on port %u",
+                       eth_dev->data->port_id);
                eth_dev->rx_pkt_burst = &virtio_recv_mergeable_pkts;
-       else
+       } else {
+               PMD_INIT_LOG(INFO, "virtio: using standard Rx path on port %u",
+                       eth_dev->data->port_id);
                eth_dev->rx_pkt_burst = &virtio_recv_pkts;
+       }
+
+       if (hw->use_simple_tx) {
+               PMD_INIT_LOG(INFO, "virtio: using simple Tx path on port %u",
+                       eth_dev->data->port_id);
+               eth_dev->tx_pkt_burst = virtio_xmit_pkts_simple;
+       } else {
+               PMD_INIT_LOG(INFO, "virtio: using standard Tx path on port %u",
+                       eth_dev->data->port_id);
+               eth_dev->tx_pkt_burst = virtio_xmit_pkts;
+       }
 }
 
 /* Only support 1:1 queue/interrupt mapping so far.
@@ -1367,8 +1390,6 @@ virtio_init_device(struct rte_eth_dev *eth_dev, uint64_t req_features)
        else
                eth_dev->data->dev_flags &= ~RTE_ETH_DEV_INTR_LSC;
 
-       rx_func_get(eth_dev);
-
        /* Setting up rx_header size for the device */
        if (vtpci_with_feature(hw, VIRTIO_NET_F_MRG_RXBUF) ||
            vtpci_with_feature(hw, VIRTIO_F_VERSION_1))
@@ -1534,7 +1555,6 @@ eth_virtio_dev_init(struct rte_eth_dev *eth_dev)
        RTE_BUILD_BUG_ON(RTE_PKTMBUF_HEADROOM < sizeof(struct virtio_net_hdr_mrg_rxbuf));
 
        eth_dev->dev_ops = &virtio_eth_dev_ops;
-       eth_dev->tx_pkt_burst = &virtio_xmit_pkts;
 
        if (rte_eal_process_type() == RTE_PROC_SECONDARY) {
                if (!hw->virtio_user_dev) {
@@ -1544,12 +1564,8 @@ eth_virtio_dev_init(struct rte_eth_dev *eth_dev)
                }
 
                virtio_set_vtpci_ops(hw);
-               if (hw->use_simple_rxtx) {
-                       eth_dev->tx_pkt_burst = virtio_xmit_pkts_simple;
-                       eth_dev->rx_pkt_burst = virtio_recv_pkts_vec;
-               } else {
-                       rx_func_get(eth_dev);
-               }
+               set_rxtx_funcs(eth_dev);
+
                return 0;
        }
 
@@ -1659,9 +1675,11 @@ virtio_dev_configure(struct rte_eth_dev *dev)
 {
        const struct rte_eth_rxmode *rxmode = &dev->data->dev_conf.rxmode;
        struct virtio_hw *hw = dev->data->dev_private;
+       uint64_t req_features;
        int ret;
 
        PMD_INIT_LOG(DEBUG, "configure");
+       req_features = VIRTIO_PMD_DEFAULT_GUEST_FEATURES;
 
        if (dev->data->dev_conf.intr_conf.rxq) {
                ret = virtio_init_device(dev, hw->req_guest_features);
@@ -1669,16 +1687,37 @@ virtio_dev_configure(struct rte_eth_dev *dev)
                        return ret;
        }
 
-       /* Virtio does L4 checksum but not L3! */
-       if (rxmode->hw_ip_checksum) {
-               PMD_DRV_LOG(NOTICE,
-                           "virtio does not support IP checksum");
+       /* The name hw_ip_checksum is a bit confusing since it can be
+        * set by the application to request L3 and/or L4 checksums. In
+        * case of virtio, only L4 checksum is supported.
+        */
+       if (rxmode->hw_ip_checksum)
+               req_features |= (1ULL << VIRTIO_NET_F_GUEST_CSUM);
+
+       if (rxmode->enable_lro)
+               req_features |=
+                       (1ULL << VIRTIO_NET_F_GUEST_TSO4) |
+                       (1ULL << VIRTIO_NET_F_GUEST_TSO6);
+
+       /* if request features changed, reinit the device */
+       if (req_features != hw->req_guest_features) {
+               ret = virtio_init_device(dev, req_features);
+               if (ret < 0)
+                       return ret;
+       }
+
+       if (rxmode->hw_ip_checksum &&
+               !vtpci_with_feature(hw, VIRTIO_NET_F_GUEST_CSUM)) {
+               PMD_DRV_LOG(ERR,
+                       "rx checksum not available on this host");
                return -ENOTSUP;
        }
 
-       if (rxmode->enable_lro) {
-               PMD_DRV_LOG(NOTICE,
-                           "virtio does not support Large Receive Offload");
+       if (rxmode->enable_lro &&
+               (!vtpci_with_feature(hw, VIRTIO_NET_F_GUEST_TSO4) ||
+                       !vtpci_with_feature(hw, VIRTIO_NET_F_GUEST_TSO4))) {
+               PMD_DRV_LOG(ERR,
+                       "Large Receive Offload not available on this host");
                return -ENOTSUP;
        }
 
@@ -1690,7 +1729,7 @@ virtio_dev_configure(struct rte_eth_dev *dev)
 
        if (rxmode->hw_vlan_filter
            && !vtpci_with_feature(hw, VIRTIO_NET_F_CTRL_VLAN)) {
-               PMD_DRV_LOG(NOTICE,
+               PMD_DRV_LOG(ERR,
                            "vlan filtering not available on this host");
                return -ENOTSUP;
        }
@@ -1703,6 +1742,23 @@ virtio_dev_configure(struct rte_eth_dev *dev)
                        return -EBUSY;
                }
 
+       hw->use_simple_rx = 1;
+       hw->use_simple_tx = 1;
+
+#if defined RTE_ARCH_ARM64 || defined CONFIG_RTE_ARCH_ARM
+       if (!rte_cpu_get_flag_enabled(RTE_CPUFLAG_NEON)) {
+               hw->use_simple_rx = 0;
+               hw->use_simple_tx = 0;
+       }
+#endif
+       if (vtpci_with_feature(hw, VIRTIO_NET_F_MRG_RXBUF)) {
+               hw->use_simple_rx = 0;
+               hw->use_simple_tx = 0;
+       }
+
+       if (rxmode->hw_ip_checksum)
+               hw->use_simple_rx = 0;
+
        return 0;
 }
 
@@ -1714,6 +1770,19 @@ virtio_dev_start(struct rte_eth_dev *dev)
        struct virtnet_rx *rxvq;
        struct virtnet_tx *txvq __rte_unused;
        struct virtio_hw *hw = dev->data->dev_private;
+       int ret;
+
+       /* Finish the initialization of the queues */
+       for (i = 0; i < dev->data->nb_rx_queues; i++) {
+               ret = virtio_dev_rx_queue_setup_finish(dev, i);
+               if (ret < 0)
+                       return ret;
+       }
+       for (i = 0; i < dev->data->nb_tx_queues; i++) {
+               ret = virtio_dev_tx_queue_setup_finish(dev, i);
+               if (ret < 0)
+                       return ret;
+       }
 
        /* check if lsc interrupt feature is enabled */
        if (dev->data->dev_conf.intr_conf.lsc) {
@@ -1771,6 +1840,7 @@ virtio_dev_start(struct rte_eth_dev *dev)
                VIRTQUEUE_DUMP(txvq->vq);
        }
 
+       set_rxtx_funcs(dev);
        hw->started = 1;
 
        /* Initialize Link state */
@@ -1909,6 +1979,8 @@ virtio_dev_info_get(struct rte_eth_dev *dev, struct rte_eth_dev_info *dev_info)
        }
        tso_mask = (1ULL << VIRTIO_NET_F_GUEST_TSO4) |
                (1ULL << VIRTIO_NET_F_GUEST_TSO6);
+       if ((host_features & tso_mask) == tso_mask)
+               dev_info->rx_offload_capa |= DEV_RX_OFFLOAD_TCP_LRO;
 
        dev_info->tx_offload_capa = 0;
        if (hw->guest_features & (1ULL << VIRTIO_NET_F_CSUM)) {