lib/vhost/rte_vhost_async.h

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  * Copyright(c) 2020 Intel Corporation
   3  */
   4
   5 #ifndef _RTE_VHOST_ASYNC_H_
   6 #define _RTE_VHOST_ASYNC_H_
   7
   8 #include "rte_vhost.h"
   9
  10 /**
  11  * iovec iterator
  12  */
  13 struct rte_vhost_iov_iter {
  14         /** offset to the first byte of interesting data */
  15         size_t offset;
  16         /** total bytes of data in this iterator */
  17         size_t count;
  18         /** pointer to the iovec array */
  19         struct iovec *iov;
  20         /** number of iovec in this iterator */
  21         unsigned long nr_segs;
  22 };
  23
  24 /**
  25  * dma transfer descriptor pair
  26  */
  27 struct rte_vhost_async_desc {
  28         /** source memory iov_iter */
  29         struct rte_vhost_iov_iter *src;
  30         /** destination memory iov_iter */
  31         struct rte_vhost_iov_iter *dst;
  32 };
  33
  34 /**
  35  * dma transfer status
  36  */
  37 struct rte_vhost_async_status {
  38         /** An array of application specific data for source memory */
  39         uintptr_t *src_opaque_data;
  40         /** An array of application specific data for destination memory */
  41         uintptr_t *dst_opaque_data;
  42 };
  43
  44 /**
  45  * dma operation callbacks to be implemented by applications
  46  */
  47 struct rte_vhost_async_channel_ops {
  48         /**
  49          * instruct async engines to perform copies for a batch of packets
  50          *
  51          * @param vid
  52          *  id of vhost device to perform data copies
  53          * @param queue_id
  54          *  queue id to perform data copies
  55          * @param descs
  56          *  an array of DMA transfer memory descriptors
  57          * @param opaque_data
  58          *  opaque data pair sending to DMA engine
  59          * @param count
  60          *  number of elements in the "descs" array
  61          * @return
  62          *  number of descs processed
  63          */
  64         uint32_t (*transfer_data)(int vid, uint16_t queue_id,
  65                 struct rte_vhost_async_desc *descs,
  66                 struct rte_vhost_async_status *opaque_data,
  67                 uint16_t count);
  68         /**
  69          * check copy-completed packets from the async engine
  70          * @param vid
  71          *  id of vhost device to check copy completion
  72          * @param queue_id
  73          *  queue id to check copy completion
  74          * @param opaque_data
  75          *  buffer to receive the opaque data pair from DMA engine
  76          * @param max_packets
  77          *  max number of packets could be completed
  78          * @return
  79          *  number of async descs completed
  80          */
  81         uint32_t (*check_completed_copies)(int vid, uint16_t queue_id,
  82                 struct rte_vhost_async_status *opaque_data,
  83                 uint16_t max_packets);
  84 };
  85
  86 /**
  87  * inflight async packet information
  88  */
  89 struct async_inflight_info {
  90         struct rte_mbuf *mbuf;
  91         uint16_t descs; /* num of descs inflight */
  92         uint16_t nr_buffers; /* num of buffers inflight for packed ring */
  93 };
  94
  95 /**
  96  *  async channel features
  97  */
  98 enum {
  99         RTE_VHOST_ASYNC_INORDER = 1U << 0,
 100 };
 101
 102 /**
 103  *  async channel configuration
 104  */
 105 struct rte_vhost_async_config {
 106         uint32_t async_threshold;
 107         uint32_t features;
 108         uint32_t rsvd[2];
 109 };
 110
 111 /**
 112  * Register an async channel for a vhost queue
 113  *
 114  * @param vid
 115  *  vhost device id async channel to be attached to
 116  * @param queue_id
 117  *  vhost queue id async channel to be attached to
 118  * @param config
 119  *  Async channel configuration structure
 120  * @param ops
 121  *  Async channel operation callbacks
 122  * @return
 123  *  0 on success, -1 on failures
 124  */
 125 __rte_experimental
 126 int rte_vhost_async_channel_register(int vid, uint16_t queue_id,
 127         struct rte_vhost_async_config config,
 128         struct rte_vhost_async_channel_ops *ops);
 129
 130 /**
 131  * Unregister an async channel for a vhost queue
 132  *
 133  * @param vid
 134  *  vhost device id async channel to be detached from
 135  * @param queue_id
 136  *  vhost queue id async channel to be detached from
 137  * @return
 138  *  0 on success, -1 on failures
 139  */
 140 __rte_experimental
 141 int rte_vhost_async_channel_unregister(int vid, uint16_t queue_id);
 142
 143 /**
 144  * This function submits enqueue data to async engine. Successfully
 145  * enqueued packets can be transfer completed or being occupied by DMA
 146  * engines, when this API returns. Transfer completed packets are returned
 147  * in comp_pkts, so users need to guarantee its size is greater than or
 148  * equal to the size of pkts; for packets that are successfully enqueued
 149  * but not transfer completed, users should poll transfer status by
 150  * rte_vhost_poll_enqueue_completed().
 151  *
 152  * @param vid
 153  *  id of vhost device to enqueue data
 154  * @param queue_id
 155  *  queue id to enqueue data
 156  * @param pkts
 157  *  array of packets to be enqueued
 158  * @param count
 159  *  packets num to be enqueued
 160  * @param comp_pkts
 161  *  empty array to get transfer completed packets. Users need to
 162  *  guarantee its size is greater than or equal to that of pkts
 163  * @param comp_count
 164  *  num of packets that are transfer completed, when this API returns.
 165  *  If no packets are transfer completed, its value is set to 0.
 166  * @return
 167  *  num of packets enqueued, including in-flight and transfer completed
 168  */
 169 __rte_experimental
 170 uint16_t rte_vhost_submit_enqueue_burst(int vid, uint16_t queue_id,
 171                 struct rte_mbuf **pkts, uint16_t count,
 172                 struct rte_mbuf **comp_pkts, uint32_t *comp_count);
 173
 174 /**
 175  * This function checks async completion status for a specific vhost
 176  * device queue. Packets which finish copying (enqueue) operation
 177  * will be returned in an array.
 178  *
 179  * @param vid
 180  *  id of vhost device to enqueue data
 181  * @param queue_id
 182  *  queue id to enqueue data
 183  * @param pkts
 184  *  blank array to get return packet pointer
 185  * @param count
 186  *  size of the packet array
 187  * @return
 188  *  num of packets returned
 189  */
 190 __rte_experimental
 191 uint16_t rte_vhost_poll_enqueue_completed(int vid, uint16_t queue_id,
 192                 struct rte_mbuf **pkts, uint16_t count);
 193
 194 /**
 195  * This function returns the amount of in-flight packets for the vhost
 196  * queue which uses async channel acceleration.
 197  *
 198  * @param vid
 199  *  id of vhost device to enqueue data
 200  * @param queue_id
 201  *  queue id to enqueue data
 202  * @return
 203  *  the amount of in-flight packets on success; -1 on failure
 204  */
 205 __rte_experimental
 206 int rte_vhost_async_get_inflight(int vid, uint16_t queue_id);
 207
 208 #endif /* _RTE_VHOST_ASYNC_H_ */