net/virtio: support Rx checksum offload
[dpdk.git] / drivers / net / virtio / virtio_ethdev.c
index b05bb40..6dff6e9 100644 (file)
@@ -103,7 +103,8 @@ static int virtio_dev_queue_stats_mapping_set(
  * The set of PCI devices this driver supports
  */
 static const struct rte_pci_id pci_id_virtio_map[] = {
-       { RTE_PCI_DEVICE(VIRTIO_PCI_VENDORID, VIRTIO_PCI_DEVICEID_MIN) },
+       { RTE_PCI_DEVICE(VIRTIO_PCI_VENDORID, VIRTIO_PCI_LEGACY_DEVICEID_NET) },
+       { RTE_PCI_DEVICE(VIRTIO_PCI_VENDORID, VIRTIO_PCI_MODERN_DEVICEID_NET) },
        { .vendor_id = 0, /* sentinel */ },
 };
 
@@ -125,8 +126,8 @@ static const struct rte_virtio_xstats_name_off rte_virtio_rxq_stat_strings[] = {
        {"size_128_255_packets",   offsetof(struct virtnet_rx, stats.size_bins[3])},
        {"size_256_511_packets",   offsetof(struct virtnet_rx, stats.size_bins[4])},
        {"size_512_1023_packets",  offsetof(struct virtnet_rx, stats.size_bins[5])},
-       {"size_1024_1517_packets", offsetof(struct virtnet_rx, stats.size_bins[6])},
-       {"size_1518_max_packets",  offsetof(struct virtnet_rx, stats.size_bins[7])},
+       {"size_1024_1518_packets", offsetof(struct virtnet_rx, stats.size_bins[6])},
+       {"size_1519_max_packets",  offsetof(struct virtnet_rx, stats.size_bins[7])},
 };
 
 /* [rt]x_qX_ is prepended to the name string here */
@@ -142,8 +143,8 @@ static const struct rte_virtio_xstats_name_off rte_virtio_txq_stat_strings[] = {
        {"size_128_255_packets",   offsetof(struct virtnet_tx, stats.size_bins[3])},
        {"size_256_511_packets",   offsetof(struct virtnet_tx, stats.size_bins[4])},
        {"size_512_1023_packets",  offsetof(struct virtnet_tx, stats.size_bins[5])},
-       {"size_1024_1517_packets", offsetof(struct virtnet_tx, stats.size_bins[6])},
-       {"size_1518_max_packets",  offsetof(struct virtnet_tx, stats.size_bins[7])},
+       {"size_1024_1518_packets", offsetof(struct virtnet_tx, stats.size_bins[6])},
+       {"size_1519_max_packets",  offsetof(struct virtnet_tx, stats.size_bins[7])},
 };
 
 #define VIRTIO_NB_RXQ_XSTATS (sizeof(rte_virtio_rxq_stat_strings) / \
@@ -552,6 +553,9 @@ virtio_dev_close(struct rte_eth_dev *dev)
        if (hw->started == 1)
                virtio_dev_stop(dev);
 
+       if (hw->cvq)
+               virtio_dev_queue_release(hw->cvq->vq);
+
        /* reset the NIC */
        if (dev->data->dev_flags & RTE_ETH_DEV_INTR_LSC)
                vtpci_irq_config(hw, VIRTIO_MSI_NO_VECTOR);
@@ -652,6 +656,23 @@ virtio_dev_allmulticast_disable(struct rte_eth_dev *dev)
                PMD_INIT_LOG(ERR, "Failed to disable allmulticast");
 }
 
+#define VLAN_TAG_LEN           4    /* 802.3ac tag (not DMA'd) */
+static int
+virtio_mtu_set(struct rte_eth_dev *dev, uint16_t mtu)
+{
+       struct virtio_hw *hw = dev->data->dev_private;
+       uint32_t ether_hdr_len = ETHER_HDR_LEN + VLAN_TAG_LEN +
+                                hw->vtnet_hdr_size;
+       uint32_t frame_size = mtu + ether_hdr_len;
+
+       if (mtu < ETHER_MIN_MTU || frame_size > VIRTIO_MAX_RX_PKTLEN) {
+               PMD_INIT_LOG(ERR, "MTU should be between %d and %d\n",
+                       ETHER_MIN_MTU, VIRTIO_MAX_RX_PKTLEN - ether_hdr_len);
+               return -EINVAL;
+       }
+       return 0;
+}
+
 /*
  * dev_ops for virtio, bare necessities for basic operation
  */
@@ -664,7 +685,7 @@ static const struct eth_dev_ops virtio_eth_dev_ops = {
        .promiscuous_disable     = virtio_dev_promiscuous_disable,
        .allmulticast_enable     = virtio_dev_allmulticast_enable,
        .allmulticast_disable    = virtio_dev_allmulticast_disable,
-
+       .mtu_set                 = virtio_mtu_set,
        .dev_infos_get           = virtio_dev_info_get,
        .stats_get               = virtio_dev_stats_get,
        .xstats_get              = virtio_dev_xstats_get,
@@ -1042,14 +1063,13 @@ virtio_vlan_filter_set(struct rte_eth_dev *dev, uint16_t vlan_id, int on)
 }
 
 static int
-virtio_negotiate_features(struct virtio_hw *hw)
+virtio_negotiate_features(struct virtio_hw *hw, uint64_t req_features)
 {
        uint64_t host_features;
 
        /* Prepare guest_features: feature that driver wants to support */
-       hw->guest_features = VIRTIO_PMD_GUEST_FEATURES;
        PMD_INIT_LOG(DEBUG, "guest_features before negotiate = %" PRIx64,
-               hw->guest_features);
+               req_features);
 
        /* Read device(host) feature bits */
        host_features = hw->vtpci_ops->get_features(hw);
@@ -1060,6 +1080,7 @@ virtio_negotiate_features(struct virtio_hw *hw)
         * Negotiate features: Subset of device feature bits are written back
         * guest feature bits.
         */
+       hw->guest_features = req_features;
        hw->guest_features = vtpci_negotiate_features(hw, host_features);
        PMD_INIT_LOG(DEBUG, "features after negotiate = %" PRIx64,
                hw->guest_features);
@@ -1078,6 +1099,8 @@ virtio_negotiate_features(struct virtio_hw *hw)
                }
        }
 
+       hw->req_guest_features = req_features;
+
        return 0;
 }
 
@@ -1118,46 +1141,14 @@ rx_func_get(struct rte_eth_dev *eth_dev)
                eth_dev->rx_pkt_burst = &virtio_recv_pkts;
 }
 
-/*
- * This function is based on probe() function in virtio_pci.c
- * It returns 0 on success.
- */
-int
-eth_virtio_dev_init(struct rte_eth_dev *eth_dev)
+/* reset device and renegotiate features if needed */
+static int
+virtio_init_device(struct rte_eth_dev *eth_dev, uint64_t req_features)
 {
        struct virtio_hw *hw = eth_dev->data->dev_private;
        struct virtio_net_config *config;
        struct virtio_net_config local_config;
-       struct rte_pci_device *pci_dev;
-       uint32_t dev_flags = RTE_ETH_DEV_DETACHABLE;
-       int ret;
-
-       RTE_BUILD_BUG_ON(RTE_PKTMBUF_HEADROOM < sizeof(struct virtio_net_hdr_mrg_rxbuf));
-
-       eth_dev->dev_ops = &virtio_eth_dev_ops;
-       eth_dev->tx_pkt_burst = &virtio_xmit_pkts;
-
-       if (rte_eal_process_type() == RTE_PROC_SECONDARY) {
-               rx_func_get(eth_dev);
-               return 0;
-       }
-
-       /* Allocate memory for storing MAC addresses */
-       eth_dev->data->mac_addrs = rte_zmalloc("virtio", VIRTIO_MAX_MAC_ADDRS * ETHER_ADDR_LEN, 0);
-       if (eth_dev->data->mac_addrs == NULL) {
-               PMD_INIT_LOG(ERR,
-                       "Failed to allocate %d bytes needed to store MAC addresses",
-                       VIRTIO_MAX_MAC_ADDRS * ETHER_ADDR_LEN);
-               return -ENOMEM;
-       }
-
-       pci_dev = eth_dev->pci_dev;
-
-       if (pci_dev) {
-               ret = vtpci_init(pci_dev, hw, &dev_flags);
-               if (ret)
-                       return ret;
-       }
+       struct rte_pci_device *pci_dev = eth_dev->pci_dev;
 
        /* Reset the device although not necessary at startup */
        vtpci_reset(hw);
@@ -1167,15 +1158,16 @@ eth_virtio_dev_init(struct rte_eth_dev *eth_dev)
 
        /* Tell the host we've known how to drive the device. */
        vtpci_set_status(hw, VIRTIO_CONFIG_STATUS_DRIVER);
-       if (virtio_negotiate_features(hw) < 0)
+       if (virtio_negotiate_features(hw, req_features) < 0)
                return -1;
 
        /* If host does not support status then disable LSC */
        if (!vtpci_with_feature(hw, VIRTIO_NET_F_STATUS))
-               dev_flags &= ~RTE_ETH_DEV_INTR_LSC;
+               eth_dev->data->dev_flags &= ~RTE_ETH_DEV_INTR_LSC;
+       else
+               eth_dev->data->dev_flags |= RTE_ETH_DEV_INTR_LSC;
 
        rte_eth_copy_pci_info(eth_dev, pci_dev);
-       eth_dev->data->dev_flags = dev_flags;
 
        rx_func_get(eth_dev);
 
@@ -1223,16 +1215,7 @@ eth_virtio_dev_init(struct rte_eth_dev *eth_dev)
                        config->max_virtqueue_pairs = 1;
                }
 
-               hw->max_rx_queues =
-                       (VIRTIO_MAX_RX_QUEUES < config->max_virtqueue_pairs) ?
-                       VIRTIO_MAX_RX_QUEUES : config->max_virtqueue_pairs;
-               hw->max_tx_queues =
-                       (VIRTIO_MAX_TX_QUEUES < config->max_virtqueue_pairs) ?
-                       VIRTIO_MAX_TX_QUEUES : config->max_virtqueue_pairs;
-
-               virtio_dev_cq_queue_setup(eth_dev,
-                                       config->max_virtqueue_pairs * 2,
-                                       SOCKET_ID_ANY);
+               hw->max_queue_pairs = config->max_virtqueue_pairs;
 
                PMD_INIT_LOG(DEBUG, "config->max_virtqueue_pairs=%d",
                                config->max_virtqueue_pairs);
@@ -1243,23 +1226,68 @@ eth_virtio_dev_init(struct rte_eth_dev *eth_dev)
                                config->mac[2], config->mac[3],
                                config->mac[4], config->mac[5]);
        } else {
-               hw->max_rx_queues = 1;
-               hw->max_tx_queues = 1;
+               PMD_INIT_LOG(DEBUG, "config->max_virtqueue_pairs=1");
+               hw->max_queue_pairs = 1;
        }
 
-       PMD_INIT_LOG(DEBUG, "hw->max_rx_queues=%d   hw->max_tx_queues=%d",
-                       hw->max_rx_queues, hw->max_tx_queues);
        if (pci_dev)
                PMD_INIT_LOG(DEBUG, "port %d vendorID=0x%x deviceID=0x%x",
                        eth_dev->data->port_id, pci_dev->id.vendor_id,
                        pci_dev->id.device_id);
 
+       return 0;
+}
+
+/*
+ * This function is based on probe() function in virtio_pci.c
+ * It returns 0 on success.
+ */
+int
+eth_virtio_dev_init(struct rte_eth_dev *eth_dev)
+{
+       struct virtio_hw *hw = eth_dev->data->dev_private;
+       struct rte_pci_device *pci_dev;
+       uint32_t dev_flags = RTE_ETH_DEV_DETACHABLE;
+       int ret;
+
+       RTE_BUILD_BUG_ON(RTE_PKTMBUF_HEADROOM < sizeof(struct virtio_net_hdr_mrg_rxbuf));
+
+       eth_dev->dev_ops = &virtio_eth_dev_ops;
+       eth_dev->tx_pkt_burst = &virtio_xmit_pkts;
+
+       if (rte_eal_process_type() == RTE_PROC_SECONDARY) {
+               rx_func_get(eth_dev);
+               return 0;
+       }
+
+       /* Allocate memory for storing MAC addresses */
+       eth_dev->data->mac_addrs = rte_zmalloc("virtio", VIRTIO_MAX_MAC_ADDRS * ETHER_ADDR_LEN, 0);
+       if (eth_dev->data->mac_addrs == NULL) {
+               PMD_INIT_LOG(ERR,
+                       "Failed to allocate %d bytes needed to store MAC addresses",
+                       VIRTIO_MAX_MAC_ADDRS * ETHER_ADDR_LEN);
+               return -ENOMEM;
+       }
+
+       pci_dev = eth_dev->pci_dev;
+
+       if (pci_dev) {
+               ret = vtpci_init(pci_dev, hw, &dev_flags);
+               if (ret)
+                       return ret;
+       }
+
+       eth_dev->data->dev_flags = dev_flags;
+
+       /* reset device and negotiate default features */
+       ret = virtio_init_device(eth_dev, VIRTIO_PMD_DEFAULT_GUEST_FEATURES);
+       if (ret < 0)
+               return ret;
+
        /* Setup interrupt callback  */
        if (eth_dev->data->dev_flags & RTE_ETH_DEV_INTR_LSC)
                rte_intr_callback_register(&pci_dev->intr_handle,
-                                  virtio_interrupt_handler, eth_dev);
-
-       virtio_dev_cq_start(eth_dev);
+                       virtio_interrupt_handler, eth_dev);
 
        return 0;
 }
@@ -1268,7 +1296,6 @@ static int
 eth_virtio_dev_uninit(struct rte_eth_dev *eth_dev)
 {
        struct rte_pci_device *pci_dev;
-       struct virtio_hw *hw = eth_dev->data->dev_private;
 
        PMD_INIT_FUNC_TRACE();
 
@@ -1284,9 +1311,6 @@ eth_virtio_dev_uninit(struct rte_eth_dev *eth_dev)
        eth_dev->tx_pkt_burst = NULL;
        eth_dev->rx_pkt_burst = NULL;
 
-       if (hw->cvq)
-               virtio_dev_queue_release(hw->cvq->vq);
-
        rte_free(eth_dev->data->mac_addrs);
        eth_dev->data->mac_addrs = NULL;
 
@@ -1304,6 +1328,9 @@ eth_virtio_dev_uninit(struct rte_eth_dev *eth_dev)
 
 static struct eth_driver rte_virtio_pmd = {
        .pci_drv = {
+               .driver = {
+                       .name = "net_virtio",
+               },
                .id_table = pci_id_virtio_map,
                .drv_flags = RTE_PCI_DRV_DETACHABLE,
                .probe = rte_eth_dev_pci_probe,
@@ -1335,12 +1362,36 @@ virtio_dev_configure(struct rte_eth_dev *dev)
 {
        const struct rte_eth_rxmode *rxmode = &dev->data->dev_conf.rxmode;
        struct virtio_hw *hw = dev->data->dev_private;
+       uint64_t req_features;
+       int ret;
 
        PMD_INIT_LOG(DEBUG, "configure");
+       req_features = VIRTIO_PMD_DEFAULT_GUEST_FEATURES;
+       if (rxmode->hw_ip_checksum)
+               req_features |= (1ULL << VIRTIO_NET_F_GUEST_CSUM);
+
+       /* if request features changed, reinit the device */
+       if (req_features != hw->req_guest_features) {
+               ret = virtio_init_device(dev, req_features);
+               if (ret < 0)
+                       return ret;
+       }
 
-       if (rxmode->hw_ip_checksum) {
-               PMD_DRV_LOG(ERR, "HW IP checksum not supported");
-               return -EINVAL;
+       if (rxmode->hw_ip_checksum &&
+               !vtpci_with_feature(hw, VIRTIO_NET_F_GUEST_CSUM)) {
+               PMD_DRV_LOG(NOTICE,
+                       "rx ip checksum not available on this host");
+               return -ENOTSUP;
+       }
+
+       /* Setup and start control queue */
+       if (vtpci_with_feature(hw, VIRTIO_NET_F_CTRL_VQ)) {
+               ret = virtio_dev_cq_queue_setup(dev,
+                       hw->max_queue_pairs * 2,
+                       SOCKET_ID_ANY);
+               if (ret < 0)
+                       return ret;
+               virtio_dev_cq_start(dev);
        }
 
        hw->vlan_strip = rxmode->hw_vlan_strip;
@@ -1536,14 +1587,19 @@ virtio_dev_info_get(struct rte_eth_dev *dev, struct rte_eth_dev_info *dev_info)
                dev_info->driver_name = dev->driver->pci_drv.driver.name;
        else
                dev_info->driver_name = "virtio_user PMD";
-       dev_info->max_rx_queues = (uint16_t)hw->max_rx_queues;
-       dev_info->max_tx_queues = (uint16_t)hw->max_tx_queues;
+       dev_info->max_rx_queues =
+               RTE_MIN(hw->max_queue_pairs, VIRTIO_MAX_RX_QUEUES);
+       dev_info->max_tx_queues =
+               RTE_MIN(hw->max_queue_pairs, VIRTIO_MAX_TX_QUEUES);
        dev_info->min_rx_bufsize = VIRTIO_MIN_RX_BUFSIZE;
        dev_info->max_rx_pktlen = VIRTIO_MAX_RX_PKTLEN;
        dev_info->max_mac_addrs = VIRTIO_MAX_MAC_ADDRS;
        dev_info->default_txconf = (struct rte_eth_txconf) {
                .txq_flags = ETH_TXQ_FLAGS_NOOFFLOADS
        };
+       dev_info->rx_offload_capa =
+               DEV_RX_OFFLOAD_TCP_CKSUM |
+               DEV_RX_OFFLOAD_UDP_CKSUM;
 }
 
 /*