lib/librte_eal/linuxapp/kni/kni_vhost.c

   1 /*-
   2  * GPL LICENSE SUMMARY
   3  *
   4  *   Copyright(c) 2010-2013 Intel Corporation. All rights reserved.
   5  *
   6  *   This program is free software; you can redistribute it and/or modify
   7  *   it under the terms of version 2 of the GNU General Public License as
   8  *   published by the Free Software Foundation.
   9  *
  10  *   This program is distributed in the hope that it will be useful, but
  11  *   WITHOUT ANY WARRANTY; without even the implied warranty of
  12  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  *   General Public License for more details.
  14  *
  15  *   You should have received a copy of the GNU General Public License
  16  *   along with this program; if not, write to the Free Software
  17  *   Foundation, Inc., 51 Franklin St - Fifth Floor, Boston, MA 02110-1301 USA.
  18  *   The full GNU General Public License is included in this distribution
  19  *   in the file called LICENSE.GPL.
  20  *
  21  *   Contact Information:
  22  *   Intel Corporation
  23  */
  24
  25 #include <linux/module.h>
  26 #include <linux/net.h>
  27 #include <net/sock.h>
  28 #include <linux/virtio_net.h>
  29 #include <linux/wait.h>
  30 #include <linux/mm.h>
  31 #include <linux/nsproxy.h>
  32 #include <linux/sched.h>
  33 #include <linux/if_tun.h>
  34
  35 #include "kni_dev.h"
  36 #include "kni_fifo.h"
  37
  38 #define RX_BURST_SZ 4
  39
  40 extern void put_unused_fd(unsigned int fd);
  41
  42 static struct proto kni_raw_proto = {
  43         .name = "kni_vhost",
  44         .owner = THIS_MODULE,
  45         .obj_size = sizeof(struct kni_vhost_queue),
  46 };
  47
  48 static inline int
  49 kni_vhost_net_tx(struct kni_dev *kni, struct iovec *iov,
  50                  unsigned offset, unsigned len)
  51 {
  52         struct rte_kni_mbuf *pkt_kva = NULL;
  53         struct rte_kni_mbuf *pkt_va = NULL;
  54         int ret;
  55
  56         KNI_DBG_TX("tx offset=%d, len=%d, iovlen=%d\n",
  57                    offset, len, (int)iov->iov_len);
  58
  59         /**
  60          * Check if it has at least one free entry in tx_q and
  61          * one entry in alloc_q.
  62          */
  63         if (kni_fifo_free_count(kni->tx_q) == 0 ||
  64             kni_fifo_count(kni->alloc_q) == 0) {
  65                 /**
  66                  * If no free entry in tx_q or no entry in alloc_q,
  67                  * drops skb and goes out.
  68                  */
  69                 goto drop;
  70         }
  71
  72         /* dequeue a mbuf from alloc_q */
  73         ret = kni_fifo_get(kni->alloc_q, (void **)&pkt_va, 1);
  74         if (likely(ret == 1)) {
  75                 void *data_kva;
  76
  77                 pkt_kva = (void *)pkt_va - kni->mbuf_va + kni->mbuf_kva;
  78                 data_kva = pkt_kva->data - kni->mbuf_va + kni->mbuf_kva;
  79
  80                 memcpy_fromiovecend(data_kva, iov, offset, len);
  81                 if (unlikely(len < ETH_ZLEN)) {
  82                         memset(data_kva + len, 0, ETH_ZLEN - len);
  83                         len = ETH_ZLEN;
  84                 }
  85                 pkt_kva->pkt_len = len;
  86                 pkt_kva->data_len = len;
  87
  88                 /* enqueue mbuf into tx_q */
  89                 ret = kni_fifo_put(kni->tx_q, (void **)&pkt_va, 1);
  90                 if (unlikely(ret != 1)) {
  91                         /* Failing should not happen */
  92                         KNI_ERR("Fail to enqueue mbuf into tx_q\n");
  93                         goto drop;
  94                 }
  95         } else {
  96                 /* Failing should not happen */
  97                 KNI_ERR("Fail to dequeue mbuf from alloc_q\n");
  98                 goto drop;
  99         }
 100
 101         /* update statistics */
 102         kni->stats.tx_bytes += len;
 103         kni->stats.tx_packets++;
 104
 105         return 0;
 106
 107 drop:
 108         /* update statistics */
 109         kni->stats.tx_dropped++;
 110
 111         return 0;
 112 }
 113
 114 static inline int
 115 kni_vhost_net_rx(struct kni_dev *kni, struct iovec *iov,
 116                  unsigned offset, unsigned len)
 117 {
 118         uint32_t pkt_len;
 119         struct rte_kni_mbuf *kva;
 120         struct rte_kni_mbuf *va;
 121         void * data_kva;
 122         struct sk_buff *skb;
 123         struct kni_vhost_queue *q = kni->vhost_queue;
 124
 125         if (unlikely(q == NULL))
 126                 return 0;
 127
 128         /* ensure at least one entry in free_q */
 129         if (unlikely(kni_fifo_free_count(kni->free_q) == 0))
 130                 return 0;
 131
 132         skb = skb_dequeue(&q->sk.sk_receive_queue);
 133         if (unlikely(skb == NULL))
 134                 return 0;
 135
 136         kva = (struct rte_kni_mbuf*)skb->data;
 137
 138         /* free skb to cache */
 139         skb->data = NULL;
 140         if (unlikely(1 != kni_fifo_put(q->fifo, (void **)&skb, 1)))
 141                 /* Failing should not happen */
 142                 KNI_ERR("Fail to enqueue entries into rx cache fifo\n");
 143
 144         pkt_len = kva->data_len;
 145         if (unlikely(pkt_len > len))
 146                 goto drop;
 147
 148         KNI_DBG_RX("rx offset=%d, len=%d, pkt_len=%d, iovlen=%d\n",
 149                    offset, len, pkt_len, (int)iov->iov_len);
 150
 151         data_kva = kva->data - kni->mbuf_va + kni->mbuf_kva;
 152         if (unlikely(memcpy_toiovecend(iov, data_kva, offset, pkt_len)))
 153                 goto drop;
 154
 155         /* Update statistics */
 156         kni->stats.rx_bytes += pkt_len;
 157         kni->stats.rx_packets++;
 158
 159         /* enqueue mbufs into free_q */
 160         va = (void*)kva - kni->mbuf_kva + kni->mbuf_va;
 161         if (unlikely(1 != kni_fifo_put(kni->free_q, (void **)&va, 1)))
 162                 /* Failing should not happen */
 163                 KNI_ERR("Fail to enqueue entries into free_q\n");
 164
 165         KNI_DBG_RX("receive done %d\n", pkt_len);
 166
 167         return pkt_len;
 168
 169 drop:
 170         /* Update drop statistics */
 171         kni->stats.rx_dropped++;
 172
 173         return 0;
 174 }
 175
 176 static unsigned int
 177 kni_sock_poll(struct file *file, struct socket *sock, poll_table * wait)
 178 {
 179         struct kni_vhost_queue *q =
 180                 container_of(sock->sk, struct kni_vhost_queue, sk);
 181         struct kni_dev *kni;
 182         unsigned int mask = 0;
 183
 184         if (unlikely(q == NULL || q->kni == NULL))
 185                 return POLLERR;
 186
 187         kni = q->kni;
 188         KNI_DBG("start kni_poll on group %d, wq 0x%16llx\n",
 189                   kni->group_id, (uint64_t)sock->wq);
 190
 191         poll_wait(file, &sock->wq->wait, wait);
 192
 193         if (kni_fifo_count(kni->rx_q) > 0)
 194                 mask |= POLLIN | POLLRDNORM;
 195
 196         if (sock_writeable(&q->sk) ||
 197             (!test_and_set_bit(SOCK_ASYNC_NOSPACE, &q->sock->flags) &&
 198              sock_writeable(&q->sk)))
 199                 mask |= POLLOUT | POLLWRNORM;
 200
 201         return mask;
 202 }
 203
 204 static inline void
 205 kni_vhost_enqueue(struct kni_dev *kni, struct kni_vhost_queue *q,
 206                   struct sk_buff *skb, struct rte_kni_mbuf *va)
 207 {
 208         struct rte_kni_mbuf *kva;
 209
 210         kva = (void *)(va) - kni->mbuf_va + kni->mbuf_kva;
 211         (skb)->data = (unsigned char*)kva;
 212         (skb)->len = kva->data_len;
 213         skb_queue_tail(&q->sk.sk_receive_queue, skb);
 214 }
 215
 216 static inline void
 217 kni_vhost_enqueue_burst(struct kni_dev *kni, struct kni_vhost_queue *q,
 218           struct sk_buff **skb, struct rte_kni_mbuf **va)
 219 {
 220         int i;
 221         for (i = 0; i < RX_BURST_SZ; skb++, va++, i++)
 222                 kni_vhost_enqueue(kni, q, *skb, *va);
 223 }
 224
 225 int
 226 kni_chk_vhost_rx(struct kni_dev *kni)
 227 {
 228         struct kni_vhost_queue *q = kni->vhost_queue;
 229         unsigned nb_in, nb_mbuf, nb_skb;
 230         const unsigned BURST_MASK = RX_BURST_SZ - 1;
 231         unsigned nb_burst, nb_backlog, i;
 232         struct sk_buff *skb[RX_BURST_SZ];
 233         struct rte_kni_mbuf *va[RX_BURST_SZ];
 234
 235         if (unlikely(BE_STOP & kni->vq_status)) {
 236                 kni->vq_status |= BE_FINISH;
 237                 return 0;
 238         }
 239
 240         if (unlikely(q == NULL))
 241                 return 0;
 242
 243         nb_skb = kni_fifo_count(q->fifo);
 244         nb_mbuf = kni_fifo_count(kni->rx_q);
 245
 246         nb_in = min(nb_mbuf, nb_skb);
 247         nb_in = min(nb_in, (unsigned)RX_BURST_SZ);
 248         nb_burst   = (nb_in & ~BURST_MASK);
 249         nb_backlog = (nb_in & BURST_MASK);
 250
 251         /* enqueue skb_queue per BURST_SIZE bulk */
 252         if (0 != nb_burst) {
 253                 if (unlikely(RX_BURST_SZ != kni_fifo_get(
 254                                      kni->rx_q, (void **)&va,
 255                                      RX_BURST_SZ)))
 256                         goto except;
 257
 258                 if (unlikely(RX_BURST_SZ != kni_fifo_get(
 259                                      q->fifo, (void **)&skb,
 260                                      RX_BURST_SZ)))
 261                         goto except;
 262
 263                 kni_vhost_enqueue_burst(kni, q, skb, va);
 264         }
 265
 266         /* all leftover, do one by one */
 267         for (i = 0; i < nb_backlog; ++i) {
 268                 if (unlikely(1 != kni_fifo_get(
 269                                      kni->rx_q,(void **)&va, 1)))
 270                         goto except;
 271
 272                 if (unlikely(1 != kni_fifo_get(
 273                                      q->fifo, (void **)&skb, 1)))
 274                         goto except;
 275
 276                 kni_vhost_enqueue(kni, q, *skb, *va);
 277         }
 278
 279         /* Ondemand wake up */
 280         if ((nb_in == RX_BURST_SZ) || (nb_skb == 0) ||
 281             ((nb_mbuf < RX_BURST_SZ) && (nb_mbuf != 0))) {
 282                 wake_up_interruptible_poll(sk_sleep(&q->sk),
 283                                    POLLIN | POLLRDNORM | POLLRDBAND);
 284                 KNI_DBG_RX("RX CHK KICK nb_mbuf %d, nb_skb %d, nb_in %d\n",
 285                            nb_mbuf, nb_skb, nb_in);
 286         }
 287
 288         return 0;
 289
 290 except:
 291         /* Failing should not happen */
 292         KNI_ERR("Fail to enqueue fifo, it shouldn't happen \n");
 293         BUG_ON(1);
 294
 295         return 0;
 296 }
 297
 298 static int
 299 kni_sock_sndmsg(struct kiocb *iocb, struct socket *sock,
 300            struct msghdr *m, size_t total_len)
 301 {
 302         struct kni_vhost_queue *q =
 303                 container_of(sock->sk, struct kni_vhost_queue, sk);
 304         int vnet_hdr_len = 0;
 305         unsigned long len = total_len;
 306
 307         if (unlikely(q == NULL || q->kni == NULL))
 308                 return 0;
 309
 310         KNI_DBG_TX("kni_sndmsg len %ld, flags 0x%08x, nb_iov %d\n",
 311                    len, q->flags, (int)m->msg_iovlen);
 312
 313 #ifdef RTE_KNI_VHOST_VNET_HDR_EN
 314         if (likely(q->flags & IFF_VNET_HDR)) {
 315                 vnet_hdr_len = q->vnet_hdr_sz;
 316                 if (unlikely(len < vnet_hdr_len))
 317                         return -EINVAL;
 318                 len -= vnet_hdr_len;
 319         }
 320 #endif
 321
 322         if (unlikely(len < ETH_HLEN + q->vnet_hdr_sz))
 323                 return -EINVAL;
 324
 325         return kni_vhost_net_tx(q->kni, m->msg_iov, vnet_hdr_len, len);
 326 }
 327
 328 static int
 329 kni_sock_rcvmsg(struct kiocb *iocb, struct socket *sock,
 330            struct msghdr *m, size_t len, int flags)
 331 {
 332         int vnet_hdr_len = 0;
 333         int pkt_len = 0;
 334         struct kni_vhost_queue *q =
 335                 container_of(sock->sk, struct kni_vhost_queue, sk);
 336         static struct virtio_net_hdr
 337                 __attribute__ ((unused)) vnet_hdr = {
 338                 .flags = 0,
 339                 .gso_type = VIRTIO_NET_HDR_GSO_NONE
 340         };
 341
 342         if (unlikely(q == NULL || q->kni == NULL))
 343                 return 0;
 344
 345 #ifdef RTE_KNI_VHOST_VNET_HDR_EN
 346         if (likely(q->flags & IFF_VNET_HDR)) {
 347                 vnet_hdr_len = q->vnet_hdr_sz;
 348                 if ((len -= vnet_hdr_len) < 0)
 349                         return -EINVAL;
 350         }
 351 #endif
 352
 353         if (unlikely(0 == (pkt_len = kni_vhost_net_rx(q->kni,
 354                 m->msg_iov, vnet_hdr_len, len))))
 355                 return 0;
 356
 357 #ifdef RTE_KNI_VHOST_VNET_HDR_EN
 358         /* no need to copy hdr when no pkt received */
 359         if (unlikely(memcpy_toiovecend(m->msg_iov,
 360                 (void *)&vnet_hdr, 0, vnet_hdr_len)))
 361                 return -EFAULT;
 362 #endif
 363         KNI_DBG_RX("kni_rcvmsg expect_len %ld, flags 0x%08x, pkt_len %d\n",
 364                    (unsigned long)len, q->flags, pkt_len);
 365
 366         return (pkt_len + vnet_hdr_len);
 367 }
 368
 369 /* dummy tap like ioctl */
 370 static int
 371 kni_sock_ioctl(struct socket *sock, unsigned int cmd,
 372               unsigned long arg)
 373 {
 374         void __user *argp = (void __user *)arg;
 375         struct ifreq __user *ifr = argp;
 376         unsigned int __user *up = argp;
 377         struct kni_vhost_queue *q =
 378                 container_of(sock->sk, struct kni_vhost_queue, sk);
 379         struct kni_dev *kni;
 380         unsigned int u;
 381         int __user *sp = argp;
 382         int s;
 383         int ret;
 384
 385         KNI_DBG("tap ioctl cmd 0x%08x\n", cmd);
 386
 387         switch (cmd) {
 388         case TUNSETIFF:
 389                 KNI_DBG("TUNSETIFF\n");
 390                 /* ignore the name, just look at flags */
 391                 if (get_user(u, &ifr->ifr_flags))
 392                         return -EFAULT;
 393
 394                 ret = 0;
 395                 if ((u & ~IFF_VNET_HDR) != (IFF_NO_PI | IFF_TAP))
 396                         ret = -EINVAL;
 397                 else
 398                         q->flags = u;
 399
 400                 return ret;
 401
 402         case TUNGETIFF:
 403                 KNI_DBG("TUNGETIFF\n");
 404                 rcu_read_lock_bh();
 405                 kni = rcu_dereference_bh(q->kni);
 406                 if (kni)
 407                         dev_hold(kni->net_dev);
 408                 rcu_read_unlock_bh();
 409
 410                 if (!kni)
 411                         return -ENOLINK;
 412
 413                 ret = 0;
 414                 if (copy_to_user(&ifr->ifr_name, kni->net_dev->name, IFNAMSIZ) ||
 415                     put_user(q->flags, &ifr->ifr_flags))
 416                         ret = -EFAULT;
 417                 dev_put(kni->net_dev);
 418                 return ret;
 419
 420         case TUNGETFEATURES:
 421                 KNI_DBG("TUNGETFEATURES\n");
 422                 u = IFF_TAP | IFF_NO_PI;
 423 #ifdef RTE_KNI_VHOST_VNET_HDR_EN
 424                 u |= IFF_VNET_HDR;
 425 #endif
 426                 if (put_user(u, up))
 427                         return -EFAULT;
 428                 return 0;
 429
 430         case TUNSETSNDBUF:
 431                 KNI_DBG("TUNSETSNDBUF\n");
 432                 if (get_user(u, up))
 433                         return -EFAULT;
 434
 435                 q->sk.sk_sndbuf = u;
 436                 return 0;
 437
 438         case TUNGETVNETHDRSZ:
 439                 s = q->vnet_hdr_sz;
 440                 if (put_user(s, sp))
 441                         return -EFAULT;
 442                 KNI_DBG("TUNGETVNETHDRSZ %d\n", s);
 443                 return 0;
 444
 445         case TUNSETVNETHDRSZ:
 446                 if (get_user(s, sp))
 447                         return -EFAULT;
 448                 if (s < (int)sizeof(struct virtio_net_hdr))
 449                         return -EINVAL;
 450
 451                 KNI_DBG("TUNSETVNETHDRSZ %d\n", s);
 452                 q->vnet_hdr_sz = s;
 453                 return 0;
 454
 455         case TUNSETOFFLOAD:
 456                 KNI_DBG("TUNSETOFFLOAD %lx\n", arg);
 457 #ifdef RTE_KNI_VHOST_VNET_HDR_EN
 458                 /* not support any offload yet */
 459                 if (!(q->flags & IFF_VNET_HDR))
 460                         return  -EINVAL;
 461
 462                 return 0;
 463 #else
 464                 return -EINVAL;
 465 #endif
 466
 467         default:
 468                 KNI_DBG("NOT SUPPORT\n");
 469                 return -EINVAL;
 470         }
 471 }
 472
 473 static int
 474 kni_sock_compat_ioctl(struct socket *sock, unsigned int cmd,
 475                      unsigned long arg)
 476 {
 477         /* 32 bits app on 64 bits OS to be supported later */
 478         KNI_PRINT("Not implemented.\n");
 479
 480         return -EINVAL;
 481 }
 482
 483 #define KNI_VHOST_WAIT_WQ_SAFE()                        \
 484 do {                                                    \
 485         while ((BE_FINISH | BE_STOP) == kni->vq_status) \
 486                 msleep(1);                              \
 487 }while(0)                                               \
 488
 489
 490 static int
 491 kni_sock_release(struct socket *sock)
 492 {
 493         struct kni_vhost_queue *q =
 494                 container_of(sock->sk, struct kni_vhost_queue, sk);
 495         struct kni_dev *kni;
 496
 497         if (q == NULL)
 498                 return 0;
 499
 500         if (NULL != (kni = q->kni)) {
 501                 kni->vq_status = BE_STOP;
 502                 KNI_VHOST_WAIT_WQ_SAFE();
 503                 kni->vhost_queue = NULL;
 504                 q->kni = NULL;
 505         }
 506
 507         if (q->sockfd != -1)
 508                 q->sockfd = -1;
 509
 510         sk_set_socket(&q->sk, NULL);
 511         sock->sk = NULL;
 512
 513         sock_put(&q->sk);
 514
 515         KNI_DBG("dummy sock release done\n");
 516
 517         return 0;
 518 }
 519
 520 int
 521 kni_sock_getname (struct socket *sock,
 522                   struct sockaddr *addr,
 523                   int *sockaddr_len, int peer)
 524 {
 525         KNI_DBG("dummy sock getname\n");
 526         ((struct sockaddr_ll*)addr)->sll_family = AF_PACKET;
 527         return 0;
 528 }
 529
 530 static const struct proto_ops kni_socket_ops = {
 531         .getname = kni_sock_getname,
 532         .sendmsg = kni_sock_sndmsg,
 533         .recvmsg = kni_sock_rcvmsg,
 534         .release = kni_sock_release,
 535         .poll    = kni_sock_poll,
 536         .ioctl   = kni_sock_ioctl,
 537         .compat_ioctl = kni_sock_compat_ioctl,
 538 };
 539
 540 static void
 541 kni_sk_write_space(struct sock *sk)
 542 {
 543         wait_queue_head_t *wqueue;
 544
 545         if (!sock_writeable(sk) ||
 546             !test_and_clear_bit(SOCK_ASYNC_NOSPACE,
 547                                 &sk->sk_socket->flags))
 548                 return;
 549         wqueue = sk_sleep(sk);
 550         if (wqueue && waitqueue_active(wqueue))
 551                 wake_up_interruptible_poll(
 552                         wqueue, POLLOUT | POLLWRNORM | POLLWRBAND);
 553 }
 554
 555 static void
 556 kni_sk_destruct(struct sock *sk)
 557 {
 558         struct kni_vhost_queue *q =
 559                 container_of(sk, struct kni_vhost_queue, sk);
 560
 561         if (!q)
 562                 return;
 563
 564         /* make sure there's no packet in buffer */
 565         while (skb_dequeue(&sk->sk_receive_queue) != NULL)
 566                ;
 567
 568         mb();
 569
 570         if (q->fifo != NULL) {
 571                 kfree(q->fifo);
 572                 q->fifo = NULL;
 573         }
 574
 575         if (q->cache != NULL) {
 576                 kfree(q->cache);
 577                 q->cache = NULL;
 578         }
 579 }
 580
 581 static int
 582 kni_vhost_backend_init(struct kni_dev *kni)
 583 {
 584         struct kni_vhost_queue *q;
 585         struct net *net = current->nsproxy->net_ns;
 586         int err, i, sockfd;
 587         struct rte_kni_fifo *fifo;
 588         struct sk_buff *elem;
 589
 590         if (kni->vhost_queue != NULL)
 591                 return -1;
 592
 593         if (!(q = (struct kni_vhost_queue *)sk_alloc(
 594                       net, AF_UNSPEC, GFP_KERNEL, &kni_raw_proto)))
 595                 return -ENOMEM;
 596
 597         err = sock_create_lite(AF_UNSPEC, SOCK_RAW, IPPROTO_RAW, &q->sock);
 598         if (err)
 599                 goto free_sk;
 600
 601         sockfd = sock_map_fd(q->sock, 0);
 602         if (sockfd < 0) {
 603                 err = sockfd;
 604                 goto free_sock;
 605         }
 606
 607         /* cache init */
 608         q->cache = (struct sk_buff*)
 609                 kzalloc(RTE_KNI_VHOST_MAX_CACHE_SIZE * sizeof(struct sk_buff),
 610                         GFP_KERNEL);
 611         if (!q->cache)
 612                 goto free_fd;
 613
 614         fifo = (struct rte_kni_fifo*)
 615                 kzalloc(RTE_KNI_VHOST_MAX_CACHE_SIZE * sizeof(void *)
 616                         + sizeof(struct rte_kni_fifo), GFP_KERNEL);
 617         if (!fifo)
 618                 goto free_cache;
 619
 620         kni_fifo_init(fifo, RTE_KNI_VHOST_MAX_CACHE_SIZE);
 621
 622         for (i = 0; i < RTE_KNI_VHOST_MAX_CACHE_SIZE; i++) {
 623                 elem = &q->cache[i];
 624                 kni_fifo_put(fifo, (void**)&elem, 1);
 625         }
 626         q->fifo = fifo;
 627
 628         /* store sockfd in vhost_queue */
 629         q->sockfd = sockfd;
 630
 631         /* init socket */
 632         q->sock->type = SOCK_RAW;
 633         q->sock->state = SS_CONNECTED;
 634         q->sock->ops = &kni_socket_ops;
 635         sock_init_data(q->sock, &q->sk);
 636
 637         /* init sock data */
 638         q->sk.sk_write_space = kni_sk_write_space;
 639         q->sk.sk_destruct = kni_sk_destruct;
 640         q->flags = IFF_NO_PI | IFF_TAP;
 641         q->vnet_hdr_sz = sizeof(struct virtio_net_hdr);
 642 #ifdef RTE_KNI_VHOST_VNET_HDR_EN
 643         q->flags |= IFF_VNET_HDR;
 644 #endif
 645
 646         /* bind kni_dev with vhost_queue */
 647         q->kni = kni;
 648         kni->vhost_queue = q;
 649
 650         wmb();
 651
 652         kni->vq_status = BE_START;
 653
 654         KNI_DBG("backend init sockfd=%d, sock->wq=0x%16llx,"
 655                   "sk->sk_wq=0x%16llx",
 656                   q->sockfd, (uint64_t)q->sock->wq,
 657                   (uint64_t)q->sk.sk_wq);
 658
 659         return 0;
 660
 661 free_cache:
 662         kfree(q->cache);
 663         q->cache = NULL;
 664
 665 free_fd:
 666         put_unused_fd(sockfd);
 667
 668 free_sock:
 669         q->kni = NULL;
 670         kni->vhost_queue = NULL;
 671         kni->vq_status |= BE_FINISH;
 672         sock_release(q->sock);
 673         q->sock->ops = NULL;
 674         q->sock = NULL;
 675
 676 free_sk:
 677         sk_free((struct sock*)q);
 678
 679         return err;
 680 }
 681
 682 /* kni vhost sock sysfs */
 683 static ssize_t
 684 show_sock_fd(struct device *dev, struct device_attribute *attr,
 685              char *buf)
 686 {
 687         struct net_device *net_dev = container_of(dev, struct net_device, dev);
 688         struct kni_dev *kni = netdev_priv(net_dev);
 689         int sockfd = -1;
 690         if (kni->vhost_queue != NULL)
 691                 sockfd = kni->vhost_queue->sockfd;
 692         return snprintf(buf, 10, "%d\n", sockfd);
 693 }
 694
 695 static ssize_t
 696 show_sock_en(struct device *dev, struct device_attribute *attr,
 697              char *buf)
 698 {
 699         struct net_device *net_dev = container_of(dev, struct net_device, dev);
 700         struct kni_dev *kni = netdev_priv(net_dev);
 701         return snprintf(buf, 10, "%u\n", (kni->vhost_queue == NULL ? 0 : 1));
 702 }
 703
 704 static ssize_t
 705 set_sock_en(struct device *dev, struct device_attribute *attr,
 706               const char *buf, size_t count)
 707 {
 708         struct net_device *net_dev = container_of(dev, struct net_device, dev);
 709         struct kni_dev *kni = netdev_priv(net_dev);
 710         unsigned long en;
 711         int err = 0;
 712
 713         if (0 != strict_strtoul(buf, 0, &en))
 714                 return -EINVAL;
 715
 716         if (en)
 717                 err = kni_vhost_backend_init(kni);
 718
 719         return err ? err : count;
 720 }
 721
 722 static DEVICE_ATTR(sock_fd, S_IRUGO | S_IRUSR, show_sock_fd, NULL);
 723 static DEVICE_ATTR(sock_en, S_IRUGO | S_IWUSR, show_sock_en, set_sock_en);
 724 static struct attribute *dev_attrs[] = {
 725         &dev_attr_sock_fd.attr,
 726         &dev_attr_sock_en.attr,
 727         NULL,
 728 };
 729
 730 static const struct attribute_group dev_attr_grp = {
 731         .attrs = dev_attrs,
 732 };
 733
 734 int
 735 kni_vhost_backend_release(struct kni_dev *kni)
 736 {
 737         struct kni_vhost_queue *q = kni->vhost_queue;
 738
 739         if (q == NULL)
 740                 return 0;
 741
 742         /* dettach from kni */
 743         q->kni = NULL;
 744
 745         KNI_DBG("release backend done\n");
 746
 747         return 0;
 748 }
 749
 750 int
 751 kni_vhost_init(struct kni_dev *kni)
 752 {
 753         struct net_device *dev = kni->net_dev;
 754
 755         if (sysfs_create_group(&dev->dev.kobj, &dev_attr_grp))
 756                 sysfs_remove_group(&dev->dev.kobj, &dev_attr_grp);
 757
 758         kni->vq_status = BE_STOP;
 759
 760         KNI_DBG("kni_vhost_init done\n");
 761
 762         return 0;
 763 }
 764