drivers/net/iavf/iavf.h

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  * Copyright(c) 2017 Intel Corporation
   3  */
   4
   5 #ifndef _IAVF_ETHDEV_H_
   6 #define _IAVF_ETHDEV_H_
   7
   8 #include <sys/queue.h>
   9
  10 #include <rte_kvargs.h>
  11 #include <rte_tm_driver.h>
  12
  13 #include <iavf_prototype.h>
  14 #include <iavf_adminq_cmd.h>
  15 #include <iavf_type.h>
  16
  17 #include "iavf_log.h"
  18
  19 #define IAVF_AQ_LEN               32
  20 #define IAVF_AQ_BUF_SZ            4096
  21 #define IAVF_RESET_WAIT_CNT       50
  22 #define IAVF_BUF_SIZE_MIN         1024
  23 #define IAVF_FRAME_SIZE_MAX       9728
  24 #define IAVF_QUEUE_BASE_ADDR_UNIT 128
  25
  26 #define IAVF_MAX_NUM_QUEUES_DFLT         16
  27 #define IAVF_MAX_NUM_QUEUES_LV           256
  28 #define IAVF_CFG_Q_NUM_PER_BUF           32
  29 #define IAVF_IRQ_MAP_NUM_PER_BUF         128
  30 #define IAVF_RXTX_QUEUE_CHUNKS_NUM       2
  31
  32 #define IAVF_NUM_MACADDR_MAX      64
  33
  34 #define IAVF_DEV_WATCHDOG_PERIOD     0
  35
  36 #define IAVF_DEFAULT_RX_PTHRESH      8
  37 #define IAVF_DEFAULT_RX_HTHRESH      8
  38 #define IAVF_DEFAULT_RX_WTHRESH      0
  39
  40 #define IAVF_DEFAULT_RX_FREE_THRESH  32
  41
  42 #define IAVF_DEFAULT_TX_PTHRESH      32
  43 #define IAVF_DEFAULT_TX_HTHRESH      0
  44 #define IAVF_DEFAULT_TX_WTHRESH      0
  45
  46 #define IAVF_DEFAULT_TX_FREE_THRESH  32
  47 #define IAVF_DEFAULT_TX_RS_THRESH 32
  48
  49 #define IAVF_BASIC_OFFLOAD_CAPS  ( \
  50         VF_BASE_MODE_OFFLOADS | \
  51         VIRTCHNL_VF_OFFLOAD_WB_ON_ITR | \
  52         VIRTCHNL_VF_OFFLOAD_RX_POLLING)
  53
  54 #define IAVF_RSS_OFFLOAD_ALL ( \
  55         RTE_ETH_RSS_IPV4 | \
  56         RTE_ETH_RSS_FRAG_IPV4 |         \
  57         RTE_ETH_RSS_NONFRAG_IPV4_TCP |  \
  58         RTE_ETH_RSS_NONFRAG_IPV4_UDP |  \
  59         RTE_ETH_RSS_NONFRAG_IPV4_SCTP | \
  60         RTE_ETH_RSS_NONFRAG_IPV4_OTHER | \
  61         RTE_ETH_RSS_IPV6 | \
  62         RTE_ETH_RSS_FRAG_IPV6 | \
  63         RTE_ETH_RSS_NONFRAG_IPV6_TCP | \
  64         RTE_ETH_RSS_NONFRAG_IPV6_UDP | \
  65         RTE_ETH_RSS_NONFRAG_IPV6_SCTP | \
  66         RTE_ETH_RSS_NONFRAG_IPV6_OTHER)
  67
  68 #define IAVF_MISC_VEC_ID                RTE_INTR_VEC_ZERO_OFFSET
  69 #define IAVF_RX_VEC_START               RTE_INTR_VEC_RXTX_OFFSET
  70
  71 /* Default queue interrupt throttling time in microseconds */
  72 #define IAVF_ITR_INDEX_DEFAULT          0
  73 #define IAVF_QUEUE_ITR_INTERVAL_DEFAULT 32 /* 32 us */
  74 #define IAVF_QUEUE_ITR_INTERVAL_MAX     8160 /* 8160 us */
  75
  76 #define IAVF_ALARM_INTERVAL 50000 /* us */
  77
  78 /* The overhead from MTU to max frame size.
  79  * Considering QinQ packet, the VLAN tag needs to be counted twice.
  80  */
  81 #define IAVF_ETH_OVERHEAD \
  82         (RTE_ETHER_HDR_LEN + RTE_ETHER_CRC_LEN + RTE_VLAN_HLEN * 2)
  83 #define IAVF_ETH_MAX_LEN (RTE_ETHER_MTU + IAVF_ETH_OVERHEAD)
  84
  85 #define IAVF_32_BIT_WIDTH (CHAR_BIT * 4)
  86 #define IAVF_48_BIT_WIDTH (CHAR_BIT * 6)
  87 #define IAVF_48_BIT_MASK  RTE_LEN2MASK(IAVF_48_BIT_WIDTH, uint64_t)
  88
  89 #define IAVF_RX_DESC_EXT_STATUS_FLEXBH_MASK  0x03
  90 #define IAVF_RX_DESC_EXT_STATUS_FLEXBH_FD_ID 0x01
  91
  92 #define IAVF_BITS_PER_BYTE 8
  93
  94 #define IAVF_VLAN_TAG_PCP_OFFSET 13
  95
  96 #define IAVF_L2TPV2_FLAGS_LEN   0x4000
  97
  98 struct iavf_adapter;
  99 struct iavf_rx_queue;
 100 struct iavf_tx_queue;
 101
 102
 103 struct iavf_ipsec_crypto_stats {
 104         uint64_t icount;
 105         uint64_t ibytes;
 106         struct {
 107                 uint64_t count;
 108                 uint64_t sad_miss;
 109                 uint64_t not_processed;
 110                 uint64_t icv_check;
 111                 uint64_t ipsec_length;
 112                 uint64_t misc;
 113         } ierrors;
 114 };
 115
 116 struct iavf_eth_xstats {
 117         struct virtchnl_eth_stats eth_stats;
 118         struct iavf_ipsec_crypto_stats ips_stats;
 119 };
 120
 121 /* Structure that defines a VSI, associated with a adapter. */
 122 struct iavf_vsi {
 123         struct iavf_adapter *adapter; /* Backreference to associated adapter */
 124         uint16_t vsi_id;
 125         uint16_t nb_qps;         /* Number of queue pairs VSI can occupy */
 126         uint16_t nb_used_qps;    /* Number of queue pairs VSI uses */
 127         uint16_t max_macaddrs;   /* Maximum number of MAC addresses */
 128         uint16_t base_vector;
 129         uint16_t msix_intr;      /* The MSIX interrupt binds to VSI */
 130         struct iavf_eth_xstats eth_stats_offset;
 131 };
 132
 133 struct rte_flow;
 134 TAILQ_HEAD(iavf_flow_list, rte_flow);
 135
 136 struct iavf_flow_parser_node;
 137 TAILQ_HEAD(iavf_parser_list, iavf_flow_parser_node);
 138
 139 struct iavf_fdir_conf {
 140         struct virtchnl_fdir_add add_fltr;
 141         struct virtchnl_fdir_del del_fltr;
 142         uint64_t input_set;
 143         uint32_t flow_id;
 144         uint32_t mark_flag;
 145 };
 146
 147 struct iavf_fdir_info {
 148         struct iavf_fdir_conf conf;
 149 };
 150
 151 struct iavf_qv_map {
 152         uint16_t queue_id;
 153         uint16_t vector_id;
 154 };
 155
 156 /* Message type read in admin queue from PF */
 157 enum iavf_aq_result {
 158         IAVF_MSG_ERR = -1, /* Meet error when accessing admin queue */
 159         IAVF_MSG_NON,      /* Read nothing from admin queue */
 160         IAVF_MSG_SYS,      /* Read system msg from admin queue */
 161         IAVF_MSG_CMD,      /* Read async command result */
 162 };
 163
 164 /* Struct to store Traffic Manager node configuration. */
 165 struct iavf_tm_node {
 166         TAILQ_ENTRY(iavf_tm_node) node;
 167         uint32_t id;
 168         uint32_t tc;
 169         uint32_t priority;
 170         uint32_t weight;
 171         uint32_t reference_count;
 172         struct iavf_tm_node *parent;
 173         struct iavf_tm_shaper_profile *shaper_profile;
 174         struct rte_tm_node_params params;
 175 };
 176
 177 TAILQ_HEAD(iavf_tm_node_list, iavf_tm_node);
 178
 179 struct iavf_tm_shaper_profile {
 180         TAILQ_ENTRY(iavf_tm_shaper_profile) node;
 181         uint32_t shaper_profile_id;
 182         uint32_t reference_count;
 183         struct rte_tm_shaper_params profile;
 184 };
 185
 186 TAILQ_HEAD(iavf_shaper_profile_list, iavf_tm_shaper_profile);
 187
 188 /* node type of Traffic Manager */
 189 enum iavf_tm_node_type {
 190         IAVF_TM_NODE_TYPE_PORT,
 191         IAVF_TM_NODE_TYPE_TC,
 192         IAVF_TM_NODE_TYPE_QUEUE,
 193         IAVF_TM_NODE_TYPE_MAX,
 194 };
 195
 196 /* Struct to store all the Traffic Manager configuration. */
 197 struct iavf_tm_conf {
 198         struct iavf_tm_node *root; /* root node - vf vsi */
 199         struct iavf_tm_node_list tc_list; /* node list for all the TCs */
 200         struct iavf_tm_node_list queue_list; /* node list for all the queues */
 201         struct iavf_shaper_profile_list shaper_profile_list;
 202         uint32_t nb_tc_node;
 203         uint32_t nb_queue_node;
 204         bool committed;
 205 };
 206
 207 /* Struct to store queue TC mapping. Queue is continuous in one TC */
 208 struct iavf_qtc_map {
 209         uint8_t tc;
 210         uint16_t start_queue_id;
 211         uint16_t queue_count;
 212 };
 213
 214 /* Structure to store private data specific for VF instance. */
 215 struct iavf_info {
 216         uint16_t num_queue_pairs;
 217         uint16_t max_pkt_len; /* Maximum packet length */
 218         uint16_t mac_num;     /* Number of MAC addresses */
 219         bool promisc_unicast_enabled;
 220         bool promisc_multicast_enabled;
 221
 222         struct virtchnl_version_info virtchnl_version;
 223         struct virtchnl_vf_resource *vf_res; /* VF resource */
 224         struct virtchnl_vsi_resource *vsi_res; /* LAN VSI */
 225         struct virtchnl_vlan_caps vlan_v2_caps;
 226         uint64_t supported_rxdid;
 227         uint8_t *proto_xtr; /* proto xtr type for all queues */
 228         volatile enum virtchnl_ops pend_cmd; /* pending command not finished */
 229         uint32_t pend_cmd_count;
 230         int cmd_retval; /* return value of the cmd response from PF */
 231         uint8_t *aq_resp; /* buffer to store the adminq response from PF */
 232
 233         /** iAVF watchdog enable */
 234         bool watchdog_enabled;
 235
 236         /* Event from pf */
 237         bool dev_closed;
 238         bool link_up;
 239         uint32_t link_speed;
 240
 241         /* Multicast addrs */
 242         struct rte_ether_addr mc_addrs[IAVF_NUM_MACADDR_MAX];
 243         uint16_t mc_addrs_num;   /* Multicast mac addresses number */
 244
 245         struct iavf_vsi vsi;
 246         bool vf_reset;  /* true for VF reset pending, false for no VF reset */
 247         uint64_t flags;
 248
 249         uint8_t *rss_lut;
 250         uint8_t *rss_key;
 251         uint64_t rss_hf;
 252         uint16_t nb_msix;   /* number of MSI-X interrupts on Rx */
 253         uint16_t msix_base; /* msix vector base from */
 254         uint16_t max_rss_qregion; /* max RSS queue region supported by PF */
 255         struct iavf_qv_map *qv_map; /* queue vector mapping */
 256         struct iavf_flow_list flow_list;
 257         rte_spinlock_t flow_ops_lock;
 258         struct iavf_parser_list rss_parser_list;
 259         struct iavf_parser_list dist_parser_list;
 260         struct iavf_parser_list ipsec_crypto_parser_list;
 261
 262         struct iavf_fdir_info fdir; /* flow director info */
 263         /* indicate large VF support enabled or not */
 264         bool lv_enabled;
 265
 266         struct virtchnl_qos_cap_list *qos_cap;
 267         struct iavf_qtc_map *qtc_map;
 268         struct iavf_tm_conf tm_conf;
 269
 270         struct rte_eth_dev *eth_dev;
 271 };
 272
 273 #define IAVF_MAX_PKT_TYPE 1024
 274
 275 #define IAVF_MAX_QUEUE_NUM  2048
 276
 277 enum iavf_proto_xtr_type {
 278         IAVF_PROTO_XTR_NONE,
 279         IAVF_PROTO_XTR_VLAN,
 280         IAVF_PROTO_XTR_IPV4,
 281         IAVF_PROTO_XTR_IPV6,
 282         IAVF_PROTO_XTR_IPV6_FLOW,
 283         IAVF_PROTO_XTR_TCP,
 284         IAVF_PROTO_XTR_IP_OFFSET,
 285         IAVF_PROTO_XTR_IPSEC_CRYPTO_SAID,
 286         IAVF_PROTO_XTR_MAX,
 287 };
 288
 289 /**
 290  * Cache devargs parse result.
 291  */
 292 struct iavf_devargs {
 293         uint8_t proto_xtr_dflt;
 294         uint8_t proto_xtr[IAVF_MAX_QUEUE_NUM];
 295         uint16_t quanta_size;
 296 };
 297
 298 struct iavf_security_ctx;
 299
 300 /* Structure to store private data for each VF instance. */
 301 struct iavf_adapter {
 302         struct iavf_hw hw;
 303         struct rte_eth_dev_data *dev_data;
 304         struct iavf_info vf;
 305         struct iavf_security_ctx *security_ctx;
 306
 307         bool rx_bulk_alloc_allowed;
 308         /* For vector PMD */
 309         bool rx_vec_allowed;
 310         bool tx_vec_allowed;
 311         uint32_t ptype_tbl[IAVF_MAX_PKT_TYPE] __rte_cache_min_aligned;
 312         bool stopped;
 313         uint16_t fdir_ref_cnt;
 314         struct iavf_devargs devargs;
 315 };
 316
 317 /* IAVF_DEV_PRIVATE_TO */
 318 #define IAVF_DEV_PRIVATE_TO_ADAPTER(adapter) \
 319         ((struct iavf_adapter *)adapter)
 320 #define IAVF_DEV_PRIVATE_TO_VF(adapter) \
 321         (&((struct iavf_adapter *)adapter)->vf)
 322 #define IAVF_DEV_PRIVATE_TO_HW(adapter) \
 323         (&((struct iavf_adapter *)adapter)->hw)
 324 #define IAVF_DEV_PRIVATE_TO_IAVF_SECURITY_CTX(adapter) \
 325         (((struct iavf_adapter *)adapter)->security_ctx)
 326
 327 /* IAVF_VSI_TO */
 328 #define IAVF_VSI_TO_HW(vsi) \
 329         (&(((struct iavf_vsi *)vsi)->adapter->hw))
 330 #define IAVF_VSI_TO_VF(vsi) \
 331         (&(((struct iavf_vsi *)vsi)->adapter->vf))
 332
 333 static inline void
 334 iavf_init_adminq_parameter(struct iavf_hw *hw)
 335 {
 336         hw->aq.num_arq_entries = IAVF_AQ_LEN;
 337         hw->aq.num_asq_entries = IAVF_AQ_LEN;
 338         hw->aq.arq_buf_size = IAVF_AQ_BUF_SZ;
 339         hw->aq.asq_buf_size = IAVF_AQ_BUF_SZ;
 340 }
 341
 342 static inline uint16_t
 343 iavf_calc_itr_interval(int16_t interval)
 344 {
 345         if (interval < 0 || interval > IAVF_QUEUE_ITR_INTERVAL_MAX)
 346                 interval = IAVF_QUEUE_ITR_INTERVAL_DEFAULT;
 347
 348         /* Convert to hardware count, as writing each 1 represents 2 us */
 349         return interval / 2;
 350 }
 351
 352 /* structure used for sending and checking response of virtchnl ops */
 353 struct iavf_cmd_info {
 354         enum virtchnl_ops ops;
 355         uint8_t *in_args;       /* buffer for sending */
 356         uint32_t in_args_size;  /* buffer size for sending */
 357         uint8_t *out_buffer;    /* buffer for response */
 358         uint32_t out_size;      /* buffer size for response */
 359 };
 360
 361 /* notify current command done. Only call in case execute
 362  * _atomic_set_cmd successfully.
 363  */
 364 static inline void
 365 _notify_cmd(struct iavf_info *vf, int msg_ret)
 366 {
 367         vf->cmd_retval = msg_ret;
 368         rte_wmb();
 369         vf->pend_cmd = VIRTCHNL_OP_UNKNOWN;
 370 }
 371
 372 /* clear current command. Only call in case execute
 373  * _atomic_set_cmd successfully.
 374  */
 375 static inline void
 376 _clear_cmd(struct iavf_info *vf)
 377 {
 378         rte_wmb();
 379         vf->pend_cmd = VIRTCHNL_OP_UNKNOWN;
 380         vf->cmd_retval = VIRTCHNL_STATUS_SUCCESS;
 381 }
 382
 383 /* Check there is pending cmd in execution. If none, set new command. */
 384 static inline int
 385 _atomic_set_cmd(struct iavf_info *vf, enum virtchnl_ops ops)
 386 {
 387         enum virtchnl_ops op_unk = VIRTCHNL_OP_UNKNOWN;
 388         int ret = __atomic_compare_exchange(&vf->pend_cmd, &op_unk, &ops,
 389                         0, __ATOMIC_ACQUIRE, __ATOMIC_ACQUIRE);
 390
 391         if (!ret)
 392                 PMD_DRV_LOG(ERR, "There is incomplete cmd %d", vf->pend_cmd);
 393
 394         __atomic_store_n(&vf->pend_cmd_count, 1, __ATOMIC_RELAXED);
 395
 396         return !ret;
 397 }
 398
 399 /* Check there is pending cmd in execution. If none, set new command. */
 400 static inline int
 401 _atomic_set_async_response_cmd(struct iavf_info *vf, enum virtchnl_ops ops)
 402 {
 403         enum virtchnl_ops op_unk = VIRTCHNL_OP_UNKNOWN;
 404         int ret = __atomic_compare_exchange(&vf->pend_cmd, &op_unk, &ops,
 405                         0, __ATOMIC_ACQUIRE, __ATOMIC_ACQUIRE);
 406
 407         if (!ret)
 408                 PMD_DRV_LOG(ERR, "There is incomplete cmd %d", vf->pend_cmd);
 409
 410         __atomic_store_n(&vf->pend_cmd_count, 2, __ATOMIC_RELAXED);
 411
 412         return !ret;
 413 }
 414 int iavf_check_api_version(struct iavf_adapter *adapter);
 415 int iavf_get_vf_resource(struct iavf_adapter *adapter);
 416 void iavf_handle_virtchnl_msg(struct rte_eth_dev *dev);
 417 int iavf_enable_vlan_strip(struct iavf_adapter *adapter);
 418 int iavf_disable_vlan_strip(struct iavf_adapter *adapter);
 419 int iavf_switch_queue(struct iavf_adapter *adapter, uint16_t qid,
 420                      bool rx, bool on);
 421 int iavf_switch_queue_lv(struct iavf_adapter *adapter, uint16_t qid,
 422                      bool rx, bool on);
 423 int iavf_enable_queues(struct iavf_adapter *adapter);
 424 int iavf_enable_queues_lv(struct iavf_adapter *adapter);
 425 int iavf_disable_queues(struct iavf_adapter *adapter);
 426 int iavf_disable_queues_lv(struct iavf_adapter *adapter);
 427 int iavf_configure_rss_lut(struct iavf_adapter *adapter);
 428 int iavf_configure_rss_key(struct iavf_adapter *adapter);
 429 int iavf_configure_queues(struct iavf_adapter *adapter,
 430                         uint16_t num_queue_pairs, uint16_t index);
 431 int iavf_get_supported_rxdid(struct iavf_adapter *adapter);
 432 int iavf_config_vlan_strip_v2(struct iavf_adapter *adapter, bool enable);
 433 int iavf_config_vlan_insert_v2(struct iavf_adapter *adapter, bool enable);
 434 int iavf_add_del_vlan_v2(struct iavf_adapter *adapter, uint16_t vlanid,
 435                          bool add);
 436 int iavf_get_vlan_offload_caps_v2(struct iavf_adapter *adapter);
 437 int iavf_config_irq_map(struct iavf_adapter *adapter);
 438 int iavf_config_irq_map_lv(struct iavf_adapter *adapter, uint16_t num,
 439                         uint16_t index);
 440 void iavf_add_del_all_mac_addr(struct iavf_adapter *adapter, bool add);
 441 int iavf_dev_link_update(struct rte_eth_dev *dev,
 442                         __rte_unused int wait_to_complete);
 443 void iavf_dev_alarm_handler(void *param);
 444 int iavf_query_stats(struct iavf_adapter *adapter,
 445                     struct virtchnl_eth_stats **pstats);
 446 int iavf_config_promisc(struct iavf_adapter *adapter, bool enable_unicast,
 447                        bool enable_multicast);
 448 int iavf_add_del_eth_addr(struct iavf_adapter *adapter,
 449                          struct rte_ether_addr *addr, bool add, uint8_t type);
 450 int iavf_add_del_vlan(struct iavf_adapter *adapter, uint16_t vlanid, bool add);
 451 int iavf_fdir_add(struct iavf_adapter *adapter, struct iavf_fdir_conf *filter);
 452 int iavf_fdir_del(struct iavf_adapter *adapter, struct iavf_fdir_conf *filter);
 453 int iavf_fdir_check(struct iavf_adapter *adapter,
 454                 struct iavf_fdir_conf *filter);
 455 int iavf_add_del_rss_cfg(struct iavf_adapter *adapter,
 456                          struct virtchnl_rss_cfg *rss_cfg, bool add);
 457 int iavf_get_hena_caps(struct iavf_adapter *adapter, uint64_t *caps);
 458 int iavf_set_hena(struct iavf_adapter *adapter, uint64_t hena);
 459 int iavf_rss_hash_set(struct iavf_adapter *ad, uint64_t rss_hf, bool add);
 460 int iavf_add_del_mc_addr_list(struct iavf_adapter *adapter,
 461                         struct rte_ether_addr *mc_addrs,
 462                         uint32_t mc_addrs_num, bool add);
 463 int iavf_request_queues(struct rte_eth_dev *dev, uint16_t num);
 464 int iavf_get_max_rss_queue_region(struct iavf_adapter *adapter);
 465 int iavf_get_qos_cap(struct iavf_adapter *adapter);
 466 int iavf_set_q_bw(struct rte_eth_dev *dev,
 467                   struct virtchnl_queues_bw_cfg *q_bw, uint16_t size);
 468 int iavf_set_q_tc_map(struct rte_eth_dev *dev,
 469                         struct virtchnl_queue_tc_mapping *q_tc_mapping,
 470                         uint16_t size);
 471 int iavf_set_vf_quanta_size(struct iavf_adapter *adapter, u16 start_queue_id,
 472                             u16 num_queues);
 473 void iavf_tm_conf_init(struct rte_eth_dev *dev);
 474 void iavf_tm_conf_uninit(struct rte_eth_dev *dev);
 475 int iavf_ipsec_crypto_request(struct iavf_adapter *adapter,
 476                 uint8_t *msg, size_t msg_len,
 477                 uint8_t *resp_msg, size_t resp_msg_len);
 478 extern const struct rte_tm_ops iavf_tm_ops;
 479 #endif /* _IAVF_ETHDEV_H_ */