lib/librte_vhost/vhost_user/virtio-net-user.c

   1 /*-
   2  *   BSD LICENSE
   3  *
   4  *   Copyright(c) 2010-2014 Intel Corporation. All rights reserved.
   5  *   All rights reserved.
   6  *
   7  *   Redistribution and use in source and binary forms, with or without
   8  *   modification, are permitted provided that the following conditions
   9  *   are met:
  10  *
  11  *     * Redistributions of source code must retain the above copyright
  12  *       notice, this list of conditions and the following disclaimer.
  13  *     * Redistributions in binary form must reproduce the above copyright
  14  *       notice, this list of conditions and the following disclaimer in
  15  *       the documentation and/or other materials provided with the
  16  *       distribution.
  17  *     * Neither the name of Intel Corporation nor the names of its
  18  *       contributors may be used to endorse or promote products derived
  19  *       from this software without specific prior written permission.
  20  *
  21  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  22  *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  23  *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  24  *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  25  *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  26  *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  27  *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  28  *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  29  *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  30  *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  31  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  32  */
  33
  34 #include <stdint.h>
  35 #include <stdio.h>
  36 #include <stdlib.h>
  37 #include <string.h>
  38 #include <unistd.h>
  39 #include <sys/mman.h>
  40 #include <sys/types.h>
  41 #include <sys/stat.h>
  42
  43 #include <rte_common.h>
  44 #include <rte_log.h>
  45
  46 #include "virtio-net-user.h"
  47 #include "vhost-net-user.h"
  48 #include "vhost-net.h"
  49
  50 struct orig_region_map {
  51         int fd;
  52         uint64_t mapped_address;
  53         uint64_t mapped_size;
  54         uint64_t blksz;
  55 };
  56
  57 #define orig_region(ptr, nregions) \
  58         ((struct orig_region_map *)RTE_PTR_ADD((ptr), \
  59                 sizeof(struct virtio_memory) + \
  60                 sizeof(struct virtio_memory_regions) * (nregions)))
  61
  62 static uint64_t
  63 get_blk_size(int fd)
  64 {
  65         struct stat stat;
  66
  67         fstat(fd, &stat);
  68         return (uint64_t)stat.st_blksize;
  69 }
  70
  71 static void
  72 free_mem_region(struct virtio_net *dev)
  73 {
  74         struct orig_region_map *region;
  75         unsigned int idx;
  76
  77         if (!dev || !dev->mem)
  78                 return;
  79
  80         region = orig_region(dev->mem, dev->mem->nregions);
  81         for (idx = 0; idx < dev->mem->nregions; idx++) {
  82                 if (region[idx].mapped_address) {
  83                         munmap((void *)(uintptr_t)region[idx].mapped_address,
  84                                         region[idx].mapped_size);
  85                         close(region[idx].fd);
  86                 }
  87         }
  88 }
  89
  90 void
  91 vhost_backend_cleanup(struct virtio_net *dev)
  92 {
  93         if (dev->mem) {
  94                 free_mem_region(dev);
  95                 free(dev->mem);
  96                 dev->mem = NULL;
  97         }
  98         if (dev->log_addr) {
  99                 munmap((void *)(uintptr_t)dev->log_addr, dev->log_size);
 100                 dev->log_addr = 0;
 101         }
 102 }
 103
 104 int
 105 user_set_mem_table(int vid, struct VhostUserMsg *pmsg)
 106 {
 107         struct VhostUserMemory memory = pmsg->payload.memory;
 108         struct virtio_memory_regions *pregion;
 109         uint64_t mapped_address, mapped_size;
 110         struct virtio_net *dev;
 111         unsigned int idx = 0;
 112         struct orig_region_map *pregion_orig;
 113         uint64_t alignment;
 114
 115         /* unmap old memory regions one by one*/
 116         dev = get_device(vid);
 117         if (dev == NULL)
 118                 return -1;
 119
 120         /* Remove from the data plane. */
 121         if (dev->flags & VIRTIO_DEV_RUNNING) {
 122                 dev->flags &= ~VIRTIO_DEV_RUNNING;
 123                 notify_ops->destroy_device(vid);
 124         }
 125
 126         if (dev->mem) {
 127                 free_mem_region(dev);
 128                 free(dev->mem);
 129                 dev->mem = NULL;
 130         }
 131
 132         dev->mem = calloc(1,
 133                 sizeof(struct virtio_memory) +
 134                 sizeof(struct virtio_memory_regions) * memory.nregions +
 135                 sizeof(struct orig_region_map) * memory.nregions);
 136         if (dev->mem == NULL) {
 137                 RTE_LOG(ERR, VHOST_CONFIG,
 138                         "(%d) failed to allocate memory for dev->mem\n",
 139                         dev->vid);
 140                 return -1;
 141         }
 142         dev->mem->nregions = memory.nregions;
 143
 144         pregion_orig = orig_region(dev->mem, memory.nregions);
 145         for (idx = 0; idx < memory.nregions; idx++) {
 146                 pregion = &dev->mem->regions[idx];
 147                 pregion->guest_phys_address =
 148                         memory.regions[idx].guest_phys_addr;
 149                 pregion->guest_phys_address_end =
 150                         memory.regions[idx].guest_phys_addr +
 151                         memory.regions[idx].memory_size;
 152                 pregion->memory_size =
 153                         memory.regions[idx].memory_size;
 154                 pregion->userspace_address =
 155                         memory.regions[idx].userspace_addr;
 156
 157                 /* This is ugly */
 158                 mapped_size = memory.regions[idx].memory_size +
 159                         memory.regions[idx].mmap_offset;
 160
 161                 /* mmap() without flag of MAP_ANONYMOUS, should be called
 162                  * with length argument aligned with hugepagesz at older
 163                  * longterm version Linux, like 2.6.32 and 3.2.72, or
 164                  * mmap() will fail with EINVAL.
 165                  *
 166                  * to avoid failure, make sure in caller to keep length
 167                  * aligned.
 168                  */
 169                 alignment = get_blk_size(pmsg->fds[idx]);
 170                 mapped_size = RTE_ALIGN_CEIL(mapped_size, alignment);
 171
 172                 mapped_address = (uint64_t)(uintptr_t)mmap(NULL,
 173                         mapped_size,
 174                         PROT_READ | PROT_WRITE, MAP_SHARED,
 175                         pmsg->fds[idx],
 176                         0);
 177
 178                 RTE_LOG(INFO, VHOST_CONFIG,
 179                         "mapped region %d fd:%d to:%p sz:0x%"PRIx64" "
 180                         "off:0x%"PRIx64" align:0x%"PRIx64"\n",
 181                         idx, pmsg->fds[idx], (void *)(uintptr_t)mapped_address,
 182                         mapped_size, memory.regions[idx].mmap_offset,
 183                         alignment);
 184
 185                 if (mapped_address == (uint64_t)(uintptr_t)MAP_FAILED) {
 186                         RTE_LOG(ERR, VHOST_CONFIG,
 187                                 "mmap qemu guest failed.\n");
 188                         goto err_mmap;
 189                 }
 190
 191                 pregion_orig[idx].mapped_address = mapped_address;
 192                 pregion_orig[idx].mapped_size = mapped_size;
 193                 pregion_orig[idx].blksz = alignment;
 194                 pregion_orig[idx].fd = pmsg->fds[idx];
 195
 196                 mapped_address +=  memory.regions[idx].mmap_offset;
 197
 198                 pregion->address_offset = mapped_address -
 199                         pregion->guest_phys_address;
 200
 201                 if (memory.regions[idx].guest_phys_addr == 0) {
 202                         dev->mem->base_address =
 203                                 memory.regions[idx].userspace_addr;
 204                         dev->mem->mapped_address =
 205                                 pregion->address_offset;
 206                 }
 207
 208                 LOG_DEBUG(VHOST_CONFIG,
 209                         "REGION: %u GPA: %p QEMU VA: %p SIZE (%"PRIu64")\n",
 210                         idx,
 211                         (void *)(uintptr_t)pregion->guest_phys_address,
 212                         (void *)(uintptr_t)pregion->userspace_address,
 213                          pregion->memory_size);
 214         }
 215
 216         return 0;
 217
 218 err_mmap:
 219         while (idx--) {
 220                 munmap((void *)(uintptr_t)pregion_orig[idx].mapped_address,
 221                                 pregion_orig[idx].mapped_size);
 222                 close(pregion_orig[idx].fd);
 223         }
 224         free(dev->mem);
 225         dev->mem = NULL;
 226         return -1;
 227 }
 228
 229 static int
 230 vq_is_ready(struct vhost_virtqueue *vq)
 231 {
 232         return vq && vq->desc   &&
 233                vq->kickfd != VIRTIO_UNINITIALIZED_EVENTFD &&
 234                vq->callfd != VIRTIO_UNINITIALIZED_EVENTFD;
 235 }
 236
 237 static int
 238 virtio_is_ready(struct virtio_net *dev)
 239 {
 240         struct vhost_virtqueue *rvq, *tvq;
 241         uint32_t i;
 242
 243         for (i = 0; i < dev->virt_qp_nb; i++) {
 244                 rvq = dev->virtqueue[i * VIRTIO_QNUM + VIRTIO_RXQ];
 245                 tvq = dev->virtqueue[i * VIRTIO_QNUM + VIRTIO_TXQ];
 246
 247                 if (!vq_is_ready(rvq) || !vq_is_ready(tvq)) {
 248                         RTE_LOG(INFO, VHOST_CONFIG,
 249                                 "virtio is not ready for processing.\n");
 250                         return 0;
 251                 }
 252         }
 253
 254         RTE_LOG(INFO, VHOST_CONFIG,
 255                 "virtio is now ready for processing.\n");
 256         return 1;
 257 }
 258
 259 void
 260 user_set_vring_call(int vid, struct VhostUserMsg *pmsg)
 261 {
 262         struct vhost_vring_file file;
 263
 264         file.index = pmsg->payload.u64 & VHOST_USER_VRING_IDX_MASK;
 265         if (pmsg->payload.u64 & VHOST_USER_VRING_NOFD_MASK)
 266                 file.fd = VIRTIO_INVALID_EVENTFD;
 267         else
 268                 file.fd = pmsg->fds[0];
 269         RTE_LOG(INFO, VHOST_CONFIG,
 270                 "vring call idx:%d file:%d\n", file.index, file.fd);
 271         vhost_set_vring_call(vid, &file);
 272 }
 273
 274
 275 /*
 276  *  In vhost-user, when we receive kick message, will test whether virtio
 277  *  device is ready for packet processing.
 278  */
 279 void
 280 user_set_vring_kick(int vid, struct VhostUserMsg *pmsg)
 281 {
 282         struct vhost_vring_file file;
 283         struct virtio_net *dev = get_device(vid);
 284
 285         if (!dev)
 286                 return;
 287
 288         file.index = pmsg->payload.u64 & VHOST_USER_VRING_IDX_MASK;
 289         if (pmsg->payload.u64 & VHOST_USER_VRING_NOFD_MASK)
 290                 file.fd = VIRTIO_INVALID_EVENTFD;
 291         else
 292                 file.fd = pmsg->fds[0];
 293         RTE_LOG(INFO, VHOST_CONFIG,
 294                 "vring kick idx:%d file:%d\n", file.index, file.fd);
 295         vhost_set_vring_kick(vid, &file);
 296
 297         if (virtio_is_ready(dev) && !(dev->flags & VIRTIO_DEV_RUNNING)) {
 298                 if (notify_ops->new_device(vid) == 0)
 299                         dev->flags |= VIRTIO_DEV_RUNNING;
 300         }
 301 }
 302
 303 /*
 304  * when virtio is stopped, qemu will send us the GET_VRING_BASE message.
 305  */
 306 int
 307 user_get_vring_base(int vid, struct vhost_vring_state *state)
 308 {
 309         struct virtio_net *dev = get_device(vid);
 310
 311         if (dev == NULL)
 312                 return -1;
 313         /* We have to stop the queue (virtio) if it is running. */
 314         if (dev->flags & VIRTIO_DEV_RUNNING)
 315                 notify_ops->destroy_device(vid);
 316
 317         /* Here we are safe to get the last used index */
 318         vhost_get_vring_base(vid, state->index, state);
 319
 320         RTE_LOG(INFO, VHOST_CONFIG,
 321                 "vring base idx:%d file:%d\n", state->index, state->num);
 322         /*
 323          * Based on current qemu vhost-user implementation, this message is
 324          * sent and only sent in vhost_vring_stop.
 325          * TODO: cleanup the vring, it isn't usable since here.
 326          */
 327         if (dev->virtqueue[state->index]->kickfd >= 0)
 328                 close(dev->virtqueue[state->index]->kickfd);
 329
 330         dev->virtqueue[state->index]->kickfd = VIRTIO_UNINITIALIZED_EVENTFD;
 331
 332         return 0;
 333 }
 334
 335 /*
 336  * when virtio queues are ready to work, qemu will send us to
 337  * enable the virtio queue pair.
 338  */
 339 int
 340 user_set_vring_enable(int vid, struct vhost_vring_state *state)
 341 {
 342         struct virtio_net *dev;
 343         int enable = (int)state->num;
 344
 345         dev = get_device(vid);
 346         if (dev == NULL)
 347                 return -1;
 348
 349         RTE_LOG(INFO, VHOST_CONFIG,
 350                 "set queue enable: %d to qp idx: %d\n",
 351                 enable, state->index);
 352
 353         if (notify_ops->vring_state_changed)
 354                 notify_ops->vring_state_changed(vid, state->index, enable);
 355
 356         dev->virtqueue[state->index]->enabled = enable;
 357
 358         return 0;
 359 }
 360
 361 void
 362 user_set_protocol_features(int vid, uint64_t protocol_features)
 363 {
 364         struct virtio_net *dev;
 365
 366         dev = get_device(vid);
 367         if (dev == NULL || protocol_features & ~VHOST_USER_PROTOCOL_FEATURES)
 368                 return;
 369
 370         dev->protocol_features = protocol_features;
 371 }
 372
 373 int
 374 user_set_log_base(int vid, struct VhostUserMsg *msg)
 375 {
 376         struct virtio_net *dev;
 377         int fd = msg->fds[0];
 378         uint64_t size, off;
 379         void *addr;
 380
 381         dev = get_device(vid);
 382         if (!dev)
 383                 return -1;
 384
 385         if (fd < 0) {
 386                 RTE_LOG(ERR, VHOST_CONFIG, "invalid log fd: %d\n", fd);
 387                 return -1;
 388         }
 389
 390         if (msg->size != sizeof(VhostUserLog)) {
 391                 RTE_LOG(ERR, VHOST_CONFIG,
 392                         "invalid log base msg size: %"PRId32" != %d\n",
 393                         msg->size, (int)sizeof(VhostUserLog));
 394                 return -1;
 395         }
 396
 397         size = msg->payload.log.mmap_size;
 398         off  = msg->payload.log.mmap_offset;
 399         RTE_LOG(INFO, VHOST_CONFIG,
 400                 "log mmap size: %"PRId64", offset: %"PRId64"\n",
 401                 size, off);
 402
 403         /*
 404          * mmap from 0 to workaround a hugepage mmap bug: mmap will
 405          * fail when offset is not page size aligned.
 406          */
 407         addr = mmap(0, size, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
 408         close(fd);
 409         if (addr == MAP_FAILED) {
 410                 RTE_LOG(ERR, VHOST_CONFIG, "mmap log base failed!\n");
 411                 return -1;
 412         }
 413
 414         /*
 415          * Free previously mapped log memory on occasionally
 416          * multiple VHOST_USER_SET_LOG_BASE.
 417          */
 418         if (dev->log_addr) {
 419                 munmap((void *)(uintptr_t)dev->log_addr, dev->log_size);
 420         }
 421         dev->log_addr = (uint64_t)(uintptr_t)addr;
 422         dev->log_base = dev->log_addr + off;
 423         dev->log_size = size;
 424
 425         return 0;
 426 }
 427
 428 /*
 429  * An rarp packet is constructed and broadcasted to notify switches about
 430  * the new location of the migrated VM, so that packets from outside will
 431  * not be lost after migration.
 432  *
 433  * However, we don't actually "send" a rarp packet here, instead, we set
 434  * a flag 'broadcast_rarp' to let rte_vhost_dequeue_burst() inject it.
 435  */
 436 int
 437 user_send_rarp(int vid, struct VhostUserMsg *msg)
 438 {
 439         struct virtio_net *dev;
 440         uint8_t *mac = (uint8_t *)&msg->payload.u64;
 441
 442         dev = get_device(vid);
 443         if (!dev)
 444                 return -1;
 445
 446         RTE_LOG(DEBUG, VHOST_CONFIG,
 447                 ":: mac: %02x:%02x:%02x:%02x:%02x:%02x\n",
 448                 mac[0], mac[1], mac[2], mac[3], mac[4], mac[5]);
 449         memcpy(dev->mac.addr_bytes, mac, 6);
 450
 451         /*
 452          * Set the flag to inject a RARP broadcast packet at
 453          * rte_vhost_dequeue_burst().
 454          *
 455          * rte_smp_wmb() is for making sure the mac is copied
 456          * before the flag is set.
 457          */
 458         rte_smp_wmb();
 459         rte_atomic16_set(&dev->broadcast_rarp, 1);
 460
 461         return 0;
 462 }