git.droids-corp.org / dpdk.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | tree
raw | inline | side by side
doc: announce ring PMD functions removal
[dpdk.git] / lib / librte_vhost / virtio-net.c
diff --git a/lib/librte_vhost/virtio-net.c b/lib/librte_vhost/virtio-net.c
index 20567ff..b520ec5 100644 (file)
--- a/lib/librte_vhost/virtio-net.c
+++ b/lib/librte_vhost/virtio-net.c
@@ -38,6 +38,9 @@
 #include <stdlib.h>
 #include <sys/mman.h>
 #include <unistd.h>
+#ifdef RTE_LIBRTE_VHOST_NUMA
+#include <numaif.h>
+#endif
 
 #include <sys/socket.h>
 
@@ -45,6 +48,7 @@
 #include <rte_log.h>
 #include <rte_string_fns.h>
 #include <rte_memory.h>
+#include <rte_malloc.h>
 #include <rte_virtio_net.h>
 
 #include "vhost-net.h"
@@ -66,7 +70,8 @@ static struct virtio_net_config_ll *ll_root;
 /* Features supported by this lib. */
 #define VHOST_SUPPORTED_FEATURES ((1ULL << VIRTIO_NET_F_MRG_RXBUF) | \
                                (1ULL << VIRTIO_NET_F_CTRL_VQ) | \
-                               (1ULL << VIRTIO_NET_F_CTRL_RX))
+                               (1ULL << VIRTIO_NET_F_CTRL_RX) | \
+                               (1ULL << VHOST_F_LOG_ALL))
 static uint64_t VHOST_FEATURES = VHOST_SUPPORTED_FEATURES;
 
 
@@ -185,13 +190,13 @@ cleanup_device(struct virtio_net *dev)
        }
 
        /* Close any event notifiers opened by device. */
-       if (dev->virtqueue[VIRTIO_RXQ]->callfd)
+       if ((int)dev->virtqueue[VIRTIO_RXQ]->callfd >= 0)
                close((int)dev->virtqueue[VIRTIO_RXQ]->callfd);
-       if (dev->virtqueue[VIRTIO_RXQ]->kickfd)
+       if ((int)dev->virtqueue[VIRTIO_RXQ]->kickfd >= 0)
                close((int)dev->virtqueue[VIRTIO_RXQ]->kickfd);
-       if (dev->virtqueue[VIRTIO_TXQ]->callfd)
+       if ((int)dev->virtqueue[VIRTIO_TXQ]->callfd >= 0)
                close((int)dev->virtqueue[VIRTIO_TXQ]->callfd);
-       if (dev->virtqueue[VIRTIO_TXQ]->kickfd)
+       if ((int)dev->virtqueue[VIRTIO_TXQ]->kickfd >= 0)
                close((int)dev->virtqueue[VIRTIO_TXQ]->kickfd);
 }
 
@@ -202,9 +207,9 @@ static void
 free_device(struct virtio_net_config_ll *ll_dev)
 {
        /* Free any malloc'd memory */
-       free(ll_dev->dev.virtqueue[VIRTIO_RXQ]);
-       free(ll_dev->dev.virtqueue[VIRTIO_TXQ]);
-       free(ll_dev);
+       rte_free(ll_dev->dev.virtqueue[VIRTIO_RXQ]);
+       rte_free(ll_dev->dev.virtqueue[VIRTIO_TXQ]);
+       rte_free(ll_dev);
 }
 
 /*
@@ -278,7 +283,7 @@ new_device(struct vhost_device_ctx ctx)
        struct vhost_virtqueue *virtqueue_rx, *virtqueue_tx;
 
        /* Setup device and virtqueues. */
-       new_ll_dev = malloc(sizeof(struct virtio_net_config_ll));
+       new_ll_dev = rte_malloc(NULL, sizeof(struct virtio_net_config_ll), 0);
        if (new_ll_dev == NULL) {
                RTE_LOG(ERR, VHOST_CONFIG,
                        "(%"PRIu64") Failed to allocate memory for dev.\n",
@@ -286,19 +291,19 @@ new_device(struct vhost_device_ctx ctx)
                return -1;
        }
 
-       virtqueue_rx = malloc(sizeof(struct vhost_virtqueue));
+       virtqueue_rx = rte_malloc(NULL, sizeof(struct vhost_virtqueue), 0);
        if (virtqueue_rx == NULL) {
-               free(new_ll_dev);
+               rte_free(new_ll_dev);
                RTE_LOG(ERR, VHOST_CONFIG,
                        "(%"PRIu64") Failed to allocate memory for rxq.\n",
                        ctx.fh);
                return -1;
        }
 
-       virtqueue_tx = malloc(sizeof(struct vhost_virtqueue));
+       virtqueue_tx = rte_malloc(NULL, sizeof(struct vhost_virtqueue), 0);
        if (virtqueue_tx == NULL) {
-               free(virtqueue_rx);
-               free(new_ll_dev);
+               rte_free(virtqueue_rx);
+               rte_free(new_ll_dev);
                RTE_LOG(ERR, VHOST_CONFIG,
                        "(%"PRIu64") Failed to allocate memory for txq.\n",
                        ctx.fh);
@@ -479,6 +484,88 @@ set_vring_num(struct vhost_device_ctx ctx, struct vhost_vring_state *state)
        return 0;
 }
 
+/*
+ * Reallocate virtio_det and vhost_virtqueue data structure to make them on the
+ * same numa node as the memory of vring descriptor.
+ */
+#ifdef RTE_LIBRTE_VHOST_NUMA
+static struct virtio_net*
+numa_realloc(struct virtio_net *dev, int index)
+{
+       int oldnode, newnode;
+       struct virtio_net_config_ll *old_ll_dev, *new_ll_dev = NULL;
+       struct vhost_virtqueue *old_vq, *new_vq = NULL;
+       int ret;
+       int realloc_dev = 0, realloc_vq = 0;
+
+       old_ll_dev = (struct virtio_net_config_ll *)dev;
+       old_vq = dev->virtqueue[index];
+
+       ret  = get_mempolicy(&newnode, NULL, 0, old_vq->desc,
+                       MPOL_F_NODE | MPOL_F_ADDR);
+       ret = ret | get_mempolicy(&oldnode, NULL, 0, old_ll_dev,
+                       MPOL_F_NODE | MPOL_F_ADDR);
+       if (ret) {
+               RTE_LOG(ERR, VHOST_CONFIG,
+                       "Unable to get vring desc or dev numa information.\n");
+               return dev;
+       }
+       if (oldnode != newnode)
+               realloc_dev = 1;
+
+       ret = get_mempolicy(&oldnode, NULL, 0, old_vq,
+                       MPOL_F_NODE | MPOL_F_ADDR);
+       if (ret) {
+               RTE_LOG(ERR, VHOST_CONFIG,
+                       "Unable to get vq numa information.\n");
+               return dev;
+       }
+       if (oldnode != newnode)
+               realloc_vq = 1;
+
+       if (realloc_dev == 0 && realloc_vq == 0)
+               return dev;
+
+       if (realloc_dev)
+               new_ll_dev = rte_malloc_socket(NULL,
+                       sizeof(struct virtio_net_config_ll), 0, newnode);
+       if (realloc_vq)
+               new_vq = rte_malloc_socket(NULL,
+                       sizeof(struct vhost_virtqueue), 0, newnode);
+       if (!new_ll_dev && !new_vq)
+               return dev;
+
+       if (realloc_vq)
+               memcpy(new_vq, old_vq, sizeof(*new_vq));
+       if (realloc_dev)
+               memcpy(new_ll_dev, old_ll_dev, sizeof(*new_ll_dev));
+       (new_ll_dev ? new_ll_dev : old_ll_dev)->dev.virtqueue[index] =
+               new_vq ? new_vq : old_vq;
+       if (realloc_vq)
+               rte_free(old_vq);
+       if (realloc_dev) {
+               if (ll_root == old_ll_dev)
+                       ll_root = new_ll_dev;
+               else {
+                       struct virtio_net_config_ll *prev = ll_root;
+                       while (prev->next != old_ll_dev)
+                               prev = prev->next;
+                       prev->next = new_ll_dev;
+                       new_ll_dev->next = old_ll_dev->next;
+               }
+               rte_free(old_ll_dev);
+       }
+
+       return realloc_dev ? &new_ll_dev->dev : dev;
+}
+#else
+static struct virtio_net*
+numa_realloc(struct virtio_net *dev, int index __rte_unused)
+{
+       return dev;
+}
+#endif
+
 /*
  * Called from CUSE IOCTL: VHOST_SET_VRING_ADDR
  * The virtio device sends us the desc, used and avail ring addresses.
@@ -507,6 +594,9 @@ set_vring_addr(struct vhost_device_ctx ctx, struct vhost_vring_addr *addr)
                return -1;
        }
 
+       dev = numa_realloc(dev, addr->index);
+       vq = dev->virtqueue[addr->index];
+
        vq->avail = (struct vring_avail *)(uintptr_t)qva_to_vva(dev,
                        addr->avail_user_addr);
        if (vq->avail == 0) {
@@ -595,10 +685,10 @@ set_vring_call(struct vhost_device_ctx ctx, struct vhost_vring_file *file)
        /* file->index refers to the queue index. The txq is 1, rxq is 0. */
        vq = dev->virtqueue[file->index];
 
-       if ((int)vq->kickfd >= 0)
-               close((int)vq->kickfd);
+       if ((int)vq->callfd >= 0)
+               close((int)vq->callfd);
 
-       vq->kickfd = file->fd;
+       vq->callfd = file->fd;
 
        return 0;
 }
@@ -621,10 +711,10 @@ set_vring_kick(struct vhost_device_ctx ctx, struct vhost_vring_file *file)
        /* file->index refers to the queue index. The txq is 1, rxq is 0. */
        vq = dev->virtqueue[file->index];
 
-       if ((int)vq->callfd >= 0)
-               close((int)vq->callfd);
+       if ((int)vq->kickfd >= 0)
+               close((int)vq->kickfd);
 
-       vq->callfd = file->fd;
+       vq->kickfd = file->fd;
 
        return 0;
 }
DPDK repo used for reviews