drivers/net/iavf/iavf.h

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  * Copyright(c) 2017 Intel Corporation
   3  */
   4
   5 #ifndef _IAVF_ETHDEV_H_
   6 #define _IAVF_ETHDEV_H_
   7
   8 #include <rte_kvargs.h>
   9 #include <rte_tm_driver.h>
  10
  11 #include <iavf_prototype.h>
  12 #include <iavf_adminq_cmd.h>
  13 #include <iavf_type.h>
  14
  15 #include "iavf_log.h"
  16
  17 #define IAVF_AQ_LEN               32
  18 #define IAVF_AQ_BUF_SZ            4096
  19 #define IAVF_RESET_WAIT_CNT       50
  20 #define IAVF_BUF_SIZE_MIN         1024
  21 #define IAVF_FRAME_SIZE_MAX       9728
  22 #define IAVF_QUEUE_BASE_ADDR_UNIT 128
  23
  24 #define IAVF_MAX_NUM_QUEUES_DFLT         16
  25 #define IAVF_MAX_NUM_QUEUES_LV           256
  26 #define IAVF_CFG_Q_NUM_PER_BUF           32
  27 #define IAVF_IRQ_MAP_NUM_PER_BUF         128
  28 #define IAVF_RXTX_QUEUE_CHUNKS_NUM       2
  29
  30 #define IAVF_NUM_MACADDR_MAX      64
  31
  32 #define IAVF_DEFAULT_RX_PTHRESH      8
  33 #define IAVF_DEFAULT_RX_HTHRESH      8
  34 #define IAVF_DEFAULT_RX_WTHRESH      0
  35
  36 #define IAVF_DEFAULT_RX_FREE_THRESH  32
  37
  38 #define IAVF_DEFAULT_TX_PTHRESH      32
  39 #define IAVF_DEFAULT_TX_HTHRESH      0
  40 #define IAVF_DEFAULT_TX_WTHRESH      0
  41
  42 #define IAVF_DEFAULT_TX_FREE_THRESH  32
  43 #define IAVF_DEFAULT_TX_RS_THRESH 32
  44
  45 #define IAVF_BASIC_OFFLOAD_CAPS  ( \
  46         VF_BASE_MODE_OFFLOADS | \
  47         VIRTCHNL_VF_OFFLOAD_WB_ON_ITR | \
  48         VIRTCHNL_VF_OFFLOAD_RX_POLLING)
  49
  50 #define IAVF_RSS_OFFLOAD_ALL ( \
  51         ETH_RSS_IPV4 | \
  52         ETH_RSS_FRAG_IPV4 |         \
  53         ETH_RSS_NONFRAG_IPV4_TCP |  \
  54         ETH_RSS_NONFRAG_IPV4_UDP |  \
  55         ETH_RSS_NONFRAG_IPV4_SCTP | \
  56         ETH_RSS_NONFRAG_IPV4_OTHER | \
  57         ETH_RSS_IPV6 | \
  58         ETH_RSS_FRAG_IPV6 | \
  59         ETH_RSS_NONFRAG_IPV6_TCP | \
  60         ETH_RSS_NONFRAG_IPV6_UDP | \
  61         ETH_RSS_NONFRAG_IPV6_SCTP | \
  62         ETH_RSS_NONFRAG_IPV6_OTHER)
  63
  64 #define IAVF_MISC_VEC_ID                RTE_INTR_VEC_ZERO_OFFSET
  65 #define IAVF_RX_VEC_START               RTE_INTR_VEC_RXTX_OFFSET
  66
  67 /* Default queue interrupt throttling time in microseconds */
  68 #define IAVF_ITR_INDEX_DEFAULT          0
  69 #define IAVF_QUEUE_ITR_INTERVAL_DEFAULT 32 /* 32 us */
  70 #define IAVF_QUEUE_ITR_INTERVAL_MAX     8160 /* 8160 us */
  71
  72 /* The overhead from MTU to max frame size.
  73  * Considering QinQ packet, the VLAN tag needs to be counted twice.
  74  */
  75 #define IAVF_VLAN_TAG_SIZE               4
  76 #define IAVF_ETH_OVERHEAD \
  77         (RTE_ETHER_HDR_LEN + RTE_ETHER_CRC_LEN + IAVF_VLAN_TAG_SIZE * 2)
  78 #define IAVF_ETH_MAX_LEN (RTE_ETHER_MTU + IAVF_ETH_OVERHEAD)
  79
  80 #define IAVF_32_BIT_WIDTH (CHAR_BIT * 4)
  81 #define IAVF_48_BIT_WIDTH (CHAR_BIT * 6)
  82 #define IAVF_48_BIT_MASK  RTE_LEN2MASK(IAVF_48_BIT_WIDTH, uint64_t)
  83
  84 #define IAVF_RX_DESC_EXT_STATUS_FLEXBH_MASK  0x03
  85 #define IAVF_RX_DESC_EXT_STATUS_FLEXBH_FD_ID 0x01
  86
  87 #define IAVF_BITS_PER_BYTE 8
  88
  89 struct iavf_adapter;
  90 struct iavf_rx_queue;
  91 struct iavf_tx_queue;
  92
  93 /* Structure that defines a VSI, associated with a adapter. */
  94 struct iavf_vsi {
  95         struct iavf_adapter *adapter; /* Backreference to associated adapter */
  96         uint16_t vsi_id;
  97         uint16_t nb_qps;         /* Number of queue pairs VSI can occupy */
  98         uint16_t nb_used_qps;    /* Number of queue pairs VSI uses */
  99         uint16_t max_macaddrs;   /* Maximum number of MAC addresses */
 100         uint16_t base_vector;
 101         uint16_t msix_intr;      /* The MSIX interrupt binds to VSI */
 102         struct virtchnl_eth_stats eth_stats_offset;
 103 };
 104
 105 struct rte_flow;
 106 TAILQ_HEAD(iavf_flow_list, rte_flow);
 107
 108 struct iavf_flow_parser_node;
 109 TAILQ_HEAD(iavf_parser_list, iavf_flow_parser_node);
 110
 111 struct iavf_fdir_conf {
 112         struct virtchnl_fdir_add add_fltr;
 113         struct virtchnl_fdir_del del_fltr;
 114         uint64_t input_set;
 115         uint32_t flow_id;
 116         uint32_t mark_flag;
 117 };
 118
 119 struct iavf_fdir_info {
 120         struct iavf_fdir_conf conf;
 121 };
 122
 123 struct iavf_qv_map {
 124         uint16_t queue_id;
 125         uint16_t vector_id;
 126 };
 127
 128 /* Message type read in admin queue from PF */
 129 enum iavf_aq_result {
 130         IAVF_MSG_ERR = -1, /* Meet error when accessing admin queue */
 131         IAVF_MSG_NON,      /* Read nothing from admin queue */
 132         IAVF_MSG_SYS,      /* Read system msg from admin queue */
 133         IAVF_MSG_CMD,      /* Read async command result */
 134 };
 135
 136 /* Struct to store Traffic Manager node configuration. */
 137 struct iavf_tm_node {
 138         TAILQ_ENTRY(iavf_tm_node) node;
 139         uint32_t id;
 140         uint32_t tc;
 141         uint32_t priority;
 142         uint32_t weight;
 143         uint32_t reference_count;
 144         struct iavf_tm_node *parent;
 145         struct rte_tm_node_params params;
 146 };
 147
 148 TAILQ_HEAD(iavf_tm_node_list, iavf_tm_node);
 149
 150 /* node type of Traffic Manager */
 151 enum iavf_tm_node_type {
 152         IAVF_TM_NODE_TYPE_PORT,
 153         IAVF_TM_NODE_TYPE_TC,
 154         IAVF_TM_NODE_TYPE_QUEUE,
 155         IAVF_TM_NODE_TYPE_MAX,
 156 };
 157
 158 /* Struct to store all the Traffic Manager configuration. */
 159 struct iavf_tm_conf {
 160         struct iavf_tm_node *root; /* root node - vf vsi */
 161         struct iavf_tm_node_list tc_list; /* node list for all the TCs */
 162         struct iavf_tm_node_list queue_list; /* node list for all the queues */
 163         uint32_t nb_tc_node;
 164         uint32_t nb_queue_node;
 165         bool committed;
 166 };
 167
 168 /* Structure to store private data specific for VF instance. */
 169 struct iavf_info {
 170         uint16_t num_queue_pairs;
 171         uint16_t max_pkt_len; /* Maximum packet length */
 172         uint16_t mac_num;     /* Number of MAC addresses */
 173         bool promisc_unicast_enabled;
 174         bool promisc_multicast_enabled;
 175
 176         struct virtchnl_version_info virtchnl_version;
 177         struct virtchnl_vf_resource *vf_res; /* VF resource */
 178         struct virtchnl_vsi_resource *vsi_res; /* LAN VSI */
 179         struct virtchnl_vlan_caps vlan_v2_caps;
 180         uint64_t supported_rxdid;
 181         uint8_t *proto_xtr; /* proto xtr type for all queues */
 182         volatile enum virtchnl_ops pend_cmd; /* pending command not finished */
 183         int cmd_retval; /* return value of the cmd response from PF */
 184         uint8_t *aq_resp; /* buffer to store the adminq response from PF */
 185
 186         /* Event from pf */
 187         bool dev_closed;
 188         bool link_up;
 189         uint32_t link_speed;
 190
 191         /* Multicast addrs */
 192         struct rte_ether_addr mc_addrs[IAVF_NUM_MACADDR_MAX];
 193         uint16_t mc_addrs_num;   /* Multicast mac addresses number */
 194
 195         struct iavf_vsi vsi;
 196         bool vf_reset;  /* true for VF reset pending, false for no VF reset */
 197         uint64_t flags;
 198
 199         uint8_t *rss_lut;
 200         uint8_t *rss_key;
 201         uint64_t rss_hf;
 202         uint16_t nb_msix;   /* number of MSI-X interrupts on Rx */
 203         uint16_t msix_base; /* msix vector base from */
 204         uint16_t max_rss_qregion; /* max RSS queue region supported by PF */
 205         struct iavf_qv_map *qv_map; /* queue vector mapping */
 206         struct iavf_flow_list flow_list;
 207         rte_spinlock_t flow_ops_lock;
 208         struct iavf_parser_list rss_parser_list;
 209         struct iavf_parser_list dist_parser_list;
 210
 211         struct iavf_fdir_info fdir; /* flow director info */
 212         /* indicate large VF support enabled or not */
 213         bool lv_enabled;
 214
 215         struct virtchnl_qos_cap_list *qos_cap;
 216         struct iavf_tm_conf tm_conf;
 217 };
 218
 219 #define IAVF_MAX_PKT_TYPE 1024
 220
 221 #define IAVF_MAX_QUEUE_NUM  2048
 222
 223 enum iavf_proto_xtr_type {
 224         IAVF_PROTO_XTR_NONE,
 225         IAVF_PROTO_XTR_VLAN,
 226         IAVF_PROTO_XTR_IPV4,
 227         IAVF_PROTO_XTR_IPV6,
 228         IAVF_PROTO_XTR_IPV6_FLOW,
 229         IAVF_PROTO_XTR_TCP,
 230         IAVF_PROTO_XTR_IP_OFFSET,
 231         IAVF_PROTO_XTR_MAX,
 232 };
 233
 234 /**
 235  * Cache devargs parse result.
 236  */
 237 struct iavf_devargs {
 238         uint8_t proto_xtr_dflt;
 239         uint8_t proto_xtr[IAVF_MAX_QUEUE_NUM];
 240 };
 241
 242 /* Structure to store private data for each VF instance. */
 243 struct iavf_adapter {
 244         struct iavf_hw hw;
 245         struct rte_eth_dev *eth_dev;
 246         struct iavf_info vf;
 247
 248         bool rx_bulk_alloc_allowed;
 249         /* For vector PMD */
 250         bool rx_vec_allowed;
 251         bool tx_vec_allowed;
 252         const uint32_t *ptype_tbl;
 253         bool stopped;
 254         uint16_t fdir_ref_cnt;
 255         struct iavf_devargs devargs;
 256 };
 257
 258 /* IAVF_DEV_PRIVATE_TO */
 259 #define IAVF_DEV_PRIVATE_TO_ADAPTER(adapter) \
 260         ((struct iavf_adapter *)adapter)
 261 #define IAVF_DEV_PRIVATE_TO_VF(adapter) \
 262         (&((struct iavf_adapter *)adapter)->vf)
 263 #define IAVF_DEV_PRIVATE_TO_HW(adapter) \
 264         (&((struct iavf_adapter *)adapter)->hw)
 265
 266 /* IAVF_VSI_TO */
 267 #define IAVF_VSI_TO_HW(vsi) \
 268         (&(((struct iavf_vsi *)vsi)->adapter->hw))
 269 #define IAVF_VSI_TO_VF(vsi) \
 270         (&(((struct iavf_vsi *)vsi)->adapter->vf))
 271 #define IAVF_VSI_TO_ETH_DEV(vsi) \
 272         (((struct iavf_vsi *)vsi)->adapter->eth_dev)
 273
 274 static inline void
 275 iavf_init_adminq_parameter(struct iavf_hw *hw)
 276 {
 277         hw->aq.num_arq_entries = IAVF_AQ_LEN;
 278         hw->aq.num_asq_entries = IAVF_AQ_LEN;
 279         hw->aq.arq_buf_size = IAVF_AQ_BUF_SZ;
 280         hw->aq.asq_buf_size = IAVF_AQ_BUF_SZ;
 281 }
 282
 283 static inline uint16_t
 284 iavf_calc_itr_interval(int16_t interval)
 285 {
 286         if (interval < 0 || interval > IAVF_QUEUE_ITR_INTERVAL_MAX)
 287                 interval = IAVF_QUEUE_ITR_INTERVAL_DEFAULT;
 288
 289         /* Convert to hardware count, as writing each 1 represents 2 us */
 290         return interval / 2;
 291 }
 292
 293 /* structure used for sending and checking response of virtchnl ops */
 294 struct iavf_cmd_info {
 295         enum virtchnl_ops ops;
 296         uint8_t *in_args;       /* buffer for sending */
 297         uint32_t in_args_size;  /* buffer size for sending */
 298         uint8_t *out_buffer;    /* buffer for response */
 299         uint32_t out_size;      /* buffer size for response */
 300 };
 301
 302 /* notify current command done. Only call in case execute
 303  * _atomic_set_cmd successfully.
 304  */
 305 static inline void
 306 _notify_cmd(struct iavf_info *vf, int msg_ret)
 307 {
 308         vf->cmd_retval = msg_ret;
 309         rte_wmb();
 310         vf->pend_cmd = VIRTCHNL_OP_UNKNOWN;
 311 }
 312
 313 /* clear current command. Only call in case execute
 314  * _atomic_set_cmd successfully.
 315  */
 316 static inline void
 317 _clear_cmd(struct iavf_info *vf)
 318 {
 319         rte_wmb();
 320         vf->pend_cmd = VIRTCHNL_OP_UNKNOWN;
 321         vf->cmd_retval = VIRTCHNL_STATUS_SUCCESS;
 322 }
 323
 324 /* Check there is pending cmd in execution. If none, set new command. */
 325 static inline int
 326 _atomic_set_cmd(struct iavf_info *vf, enum virtchnl_ops ops)
 327 {
 328         int ret = rte_atomic32_cmpset(&vf->pend_cmd, VIRTCHNL_OP_UNKNOWN, ops);
 329
 330         if (!ret)
 331                 PMD_DRV_LOG(ERR, "There is incomplete cmd %d", vf->pend_cmd);
 332
 333         return !ret;
 334 }
 335
 336 int iavf_check_api_version(struct iavf_adapter *adapter);
 337 int iavf_get_vf_resource(struct iavf_adapter *adapter);
 338 void iavf_handle_virtchnl_msg(struct rte_eth_dev *dev);
 339 int iavf_enable_vlan_strip(struct iavf_adapter *adapter);
 340 int iavf_disable_vlan_strip(struct iavf_adapter *adapter);
 341 int iavf_switch_queue(struct iavf_adapter *adapter, uint16_t qid,
 342                      bool rx, bool on);
 343 int iavf_switch_queue_lv(struct iavf_adapter *adapter, uint16_t qid,
 344                      bool rx, bool on);
 345 int iavf_enable_queues(struct iavf_adapter *adapter);
 346 int iavf_enable_queues_lv(struct iavf_adapter *adapter);
 347 int iavf_disable_queues(struct iavf_adapter *adapter);
 348 int iavf_disable_queues_lv(struct iavf_adapter *adapter);
 349 int iavf_configure_rss_lut(struct iavf_adapter *adapter);
 350 int iavf_configure_rss_key(struct iavf_adapter *adapter);
 351 int iavf_configure_queues(struct iavf_adapter *adapter,
 352                         uint16_t num_queue_pairs, uint16_t index);
 353 int iavf_get_supported_rxdid(struct iavf_adapter *adapter);
 354 int iavf_config_vlan_strip_v2(struct iavf_adapter *adapter, bool enable);
 355 int iavf_config_vlan_insert_v2(struct iavf_adapter *adapter, bool enable);
 356 int iavf_add_del_vlan_v2(struct iavf_adapter *adapter, uint16_t vlanid,
 357                          bool add);
 358 int iavf_get_vlan_offload_caps_v2(struct iavf_adapter *adapter);
 359 int iavf_config_irq_map(struct iavf_adapter *adapter);
 360 int iavf_config_irq_map_lv(struct iavf_adapter *adapter, uint16_t num,
 361                         uint16_t index);
 362 void iavf_add_del_all_mac_addr(struct iavf_adapter *adapter, bool add);
 363 int iavf_dev_link_update(struct rte_eth_dev *dev,
 364                         __rte_unused int wait_to_complete);
 365 int iavf_query_stats(struct iavf_adapter *adapter,
 366                     struct virtchnl_eth_stats **pstats);
 367 int iavf_config_promisc(struct iavf_adapter *adapter, bool enable_unicast,
 368                        bool enable_multicast);
 369 int iavf_add_del_eth_addr(struct iavf_adapter *adapter,
 370                          struct rte_ether_addr *addr, bool add, uint8_t type);
 371 int iavf_add_del_vlan(struct iavf_adapter *adapter, uint16_t vlanid, bool add);
 372 int iavf_fdir_add(struct iavf_adapter *adapter, struct iavf_fdir_conf *filter);
 373 int iavf_fdir_del(struct iavf_adapter *adapter, struct iavf_fdir_conf *filter);
 374 int iavf_fdir_check(struct iavf_adapter *adapter,
 375                 struct iavf_fdir_conf *filter);
 376 int iavf_add_del_rss_cfg(struct iavf_adapter *adapter,
 377                          struct virtchnl_rss_cfg *rss_cfg, bool add);
 378 int iavf_get_hena_caps(struct iavf_adapter *adapter, uint64_t *caps);
 379 int iavf_set_hena(struct iavf_adapter *adapter, uint64_t hena);
 380 int iavf_rss_hash_set(struct iavf_adapter *ad, uint64_t rss_hf, bool add);
 381 int iavf_add_del_mc_addr_list(struct iavf_adapter *adapter,
 382                         struct rte_ether_addr *mc_addrs,
 383                         uint32_t mc_addrs_num, bool add);
 384 int iavf_request_queues(struct iavf_adapter *adapter, uint16_t num);
 385 int iavf_get_max_rss_queue_region(struct iavf_adapter *adapter);
 386 int iavf_get_qos_cap(struct iavf_adapter *adapter);
 387 int iavf_set_q_tc_map(struct rte_eth_dev *dev,
 388                         struct virtchnl_queue_tc_mapping *q_tc_mapping,
 389                         uint16_t size);
 390 void iavf_tm_conf_init(struct rte_eth_dev *dev);
 391 void iavf_tm_conf_uninit(struct rte_eth_dev *dev);
 392 extern const struct rte_tm_ops iavf_tm_ops;
 393 #endif /* _IAVF_ETHDEV_H_ */