net/i40e: fix Rx packet statistics
[dpdk.git] / drivers / net / iavf / iavf.h
1 /* SPDX-License-Identifier: BSD-3-Clause
2  * Copyright(c) 2017 Intel Corporation
3  */
4
5 #ifndef _IAVF_ETHDEV_H_
6 #define _IAVF_ETHDEV_H_
7
8 #include <sys/queue.h>
9
10 #include <rte_kvargs.h>
11 #include <rte_tm_driver.h>
12
13 #include <iavf_prototype.h>
14 #include <iavf_adminq_cmd.h>
15 #include <iavf_type.h>
16
17 #include "iavf_log.h"
18
19 #define IAVF_AQ_LEN               32
20 #define IAVF_AQ_BUF_SZ            4096
21 #define IAVF_RESET_WAIT_CNT       50
22 #define IAVF_BUF_SIZE_MIN         1024
23 #define IAVF_FRAME_SIZE_MAX       9728
24 #define IAVF_QUEUE_BASE_ADDR_UNIT 128
25
26 #define IAVF_MAX_NUM_QUEUES_DFLT         16
27 #define IAVF_MAX_NUM_QUEUES_LV           256
28 #define IAVF_CFG_Q_NUM_PER_BUF           32
29 #define IAVF_IRQ_MAP_NUM_PER_BUF         128
30 #define IAVF_RXTX_QUEUE_CHUNKS_NUM       2
31
32 #define IAVF_NUM_MACADDR_MAX      64
33
34 #define IAVF_DEFAULT_RX_PTHRESH      8
35 #define IAVF_DEFAULT_RX_HTHRESH      8
36 #define IAVF_DEFAULT_RX_WTHRESH      0
37
38 #define IAVF_DEFAULT_RX_FREE_THRESH  32
39
40 #define IAVF_DEFAULT_TX_PTHRESH      32
41 #define IAVF_DEFAULT_TX_HTHRESH      0
42 #define IAVF_DEFAULT_TX_WTHRESH      0
43
44 #define IAVF_DEFAULT_TX_FREE_THRESH  32
45 #define IAVF_DEFAULT_TX_RS_THRESH 32
46
47 #define IAVF_BASIC_OFFLOAD_CAPS  ( \
48         VF_BASE_MODE_OFFLOADS | \
49         VIRTCHNL_VF_OFFLOAD_WB_ON_ITR | \
50         VIRTCHNL_VF_OFFLOAD_RX_POLLING)
51
52 #define IAVF_RSS_OFFLOAD_ALL ( \
53         ETH_RSS_IPV4 | \
54         ETH_RSS_FRAG_IPV4 |         \
55         ETH_RSS_NONFRAG_IPV4_TCP |  \
56         ETH_RSS_NONFRAG_IPV4_UDP |  \
57         ETH_RSS_NONFRAG_IPV4_SCTP | \
58         ETH_RSS_NONFRAG_IPV4_OTHER | \
59         ETH_RSS_IPV6 | \
60         ETH_RSS_FRAG_IPV6 | \
61         ETH_RSS_NONFRAG_IPV6_TCP | \
62         ETH_RSS_NONFRAG_IPV6_UDP | \
63         ETH_RSS_NONFRAG_IPV6_SCTP | \
64         ETH_RSS_NONFRAG_IPV6_OTHER)
65
66 #define IAVF_MISC_VEC_ID                RTE_INTR_VEC_ZERO_OFFSET
67 #define IAVF_RX_VEC_START               RTE_INTR_VEC_RXTX_OFFSET
68
69 /* Default queue interrupt throttling time in microseconds */
70 #define IAVF_ITR_INDEX_DEFAULT          0
71 #define IAVF_QUEUE_ITR_INTERVAL_DEFAULT 32 /* 32 us */
72 #define IAVF_QUEUE_ITR_INTERVAL_MAX     8160 /* 8160 us */
73
74 #define IAVF_ALARM_INTERVAL 50000 /* us */
75
76 /* The overhead from MTU to max frame size.
77  * Considering QinQ packet, the VLAN tag needs to be counted twice.
78  */
79 #define IAVF_VLAN_TAG_SIZE               4
80 #define IAVF_ETH_OVERHEAD \
81         (RTE_ETHER_HDR_LEN + RTE_ETHER_CRC_LEN + IAVF_VLAN_TAG_SIZE * 2)
82 #define IAVF_ETH_MAX_LEN (RTE_ETHER_MTU + IAVF_ETH_OVERHEAD)
83
84 #define IAVF_32_BIT_WIDTH (CHAR_BIT * 4)
85 #define IAVF_48_BIT_WIDTH (CHAR_BIT * 6)
86 #define IAVF_48_BIT_MASK  RTE_LEN2MASK(IAVF_48_BIT_WIDTH, uint64_t)
87
88 #define IAVF_RX_DESC_EXT_STATUS_FLEXBH_MASK  0x03
89 #define IAVF_RX_DESC_EXT_STATUS_FLEXBH_FD_ID 0x01
90
91 #define IAVF_BITS_PER_BYTE 8
92
93 #define IAVF_VLAN_TAG_PCP_OFFSET 13
94
95 struct iavf_adapter;
96 struct iavf_rx_queue;
97 struct iavf_tx_queue;
98
99 /* Structure that defines a VSI, associated with a adapter. */
100 struct iavf_vsi {
101         struct iavf_adapter *adapter; /* Backreference to associated adapter */
102         uint16_t vsi_id;
103         uint16_t nb_qps;         /* Number of queue pairs VSI can occupy */
104         uint16_t nb_used_qps;    /* Number of queue pairs VSI uses */
105         uint16_t max_macaddrs;   /* Maximum number of MAC addresses */
106         uint16_t base_vector;
107         uint16_t msix_intr;      /* The MSIX interrupt binds to VSI */
108         struct virtchnl_eth_stats eth_stats_offset;
109 };
110
111 struct rte_flow;
112 TAILQ_HEAD(iavf_flow_list, rte_flow);
113
114 struct iavf_flow_parser_node;
115 TAILQ_HEAD(iavf_parser_list, iavf_flow_parser_node);
116
117 struct iavf_fdir_conf {
118         struct virtchnl_fdir_add add_fltr;
119         struct virtchnl_fdir_del del_fltr;
120         uint64_t input_set;
121         uint32_t flow_id;
122         uint32_t mark_flag;
123 };
124
125 struct iavf_fdir_info {
126         struct iavf_fdir_conf conf;
127 };
128
129 struct iavf_qv_map {
130         uint16_t queue_id;
131         uint16_t vector_id;
132 };
133
134 /* Message type read in admin queue from PF */
135 enum iavf_aq_result {
136         IAVF_MSG_ERR = -1, /* Meet error when accessing admin queue */
137         IAVF_MSG_NON,      /* Read nothing from admin queue */
138         IAVF_MSG_SYS,      /* Read system msg from admin queue */
139         IAVF_MSG_CMD,      /* Read async command result */
140 };
141
142 /* Struct to store Traffic Manager node configuration. */
143 struct iavf_tm_node {
144         TAILQ_ENTRY(iavf_tm_node) node;
145         uint32_t id;
146         uint32_t tc;
147         uint32_t priority;
148         uint32_t weight;
149         uint32_t reference_count;
150         struct iavf_tm_node *parent;
151         struct rte_tm_node_params params;
152 };
153
154 TAILQ_HEAD(iavf_tm_node_list, iavf_tm_node);
155
156 /* node type of Traffic Manager */
157 enum iavf_tm_node_type {
158         IAVF_TM_NODE_TYPE_PORT,
159         IAVF_TM_NODE_TYPE_TC,
160         IAVF_TM_NODE_TYPE_QUEUE,
161         IAVF_TM_NODE_TYPE_MAX,
162 };
163
164 /* Struct to store all the Traffic Manager configuration. */
165 struct iavf_tm_conf {
166         struct iavf_tm_node *root; /* root node - vf vsi */
167         struct iavf_tm_node_list tc_list; /* node list for all the TCs */
168         struct iavf_tm_node_list queue_list; /* node list for all the queues */
169         uint32_t nb_tc_node;
170         uint32_t nb_queue_node;
171         bool committed;
172 };
173
174 /* Struct to store queue TC mapping. Queue is continuous in one TC */
175 struct iavf_qtc_map {
176         uint8_t tc;
177         uint16_t start_queue_id;
178         uint16_t queue_count;
179 };
180
181 /* Structure to store private data specific for VF instance. */
182 struct iavf_info {
183         uint16_t num_queue_pairs;
184         uint16_t max_pkt_len; /* Maximum packet length */
185         uint16_t mac_num;     /* Number of MAC addresses */
186         bool promisc_unicast_enabled;
187         bool promisc_multicast_enabled;
188
189         struct virtchnl_version_info virtchnl_version;
190         struct virtchnl_vf_resource *vf_res; /* VF resource */
191         struct virtchnl_vsi_resource *vsi_res; /* LAN VSI */
192         struct virtchnl_vlan_caps vlan_v2_caps;
193         uint64_t supported_rxdid;
194         uint8_t *proto_xtr; /* proto xtr type for all queues */
195         volatile enum virtchnl_ops pend_cmd; /* pending command not finished */
196         int cmd_retval; /* return value of the cmd response from PF */
197         uint8_t *aq_resp; /* buffer to store the adminq response from PF */
198
199         /* Event from pf */
200         bool dev_closed;
201         bool link_up;
202         uint32_t link_speed;
203
204         /* Multicast addrs */
205         struct rte_ether_addr mc_addrs[IAVF_NUM_MACADDR_MAX];
206         uint16_t mc_addrs_num;   /* Multicast mac addresses number */
207
208         struct iavf_vsi vsi;
209         bool vf_reset;  /* true for VF reset pending, false for no VF reset */
210         uint64_t flags;
211
212         uint8_t *rss_lut;
213         uint8_t *rss_key;
214         uint64_t rss_hf;
215         uint16_t nb_msix;   /* number of MSI-X interrupts on Rx */
216         uint16_t msix_base; /* msix vector base from */
217         uint16_t max_rss_qregion; /* max RSS queue region supported by PF */
218         struct iavf_qv_map *qv_map; /* queue vector mapping */
219         struct iavf_flow_list flow_list;
220         rte_spinlock_t flow_ops_lock;
221         struct iavf_parser_list rss_parser_list;
222         struct iavf_parser_list dist_parser_list;
223
224         struct iavf_fdir_info fdir; /* flow director info */
225         /* indicate large VF support enabled or not */
226         bool lv_enabled;
227
228         struct virtchnl_qos_cap_list *qos_cap;
229         struct iavf_qtc_map *qtc_map;
230         struct iavf_tm_conf tm_conf;
231 };
232
233 #define IAVF_MAX_PKT_TYPE 1024
234
235 #define IAVF_MAX_QUEUE_NUM  2048
236
237 enum iavf_proto_xtr_type {
238         IAVF_PROTO_XTR_NONE,
239         IAVF_PROTO_XTR_VLAN,
240         IAVF_PROTO_XTR_IPV4,
241         IAVF_PROTO_XTR_IPV6,
242         IAVF_PROTO_XTR_IPV6_FLOW,
243         IAVF_PROTO_XTR_TCP,
244         IAVF_PROTO_XTR_IP_OFFSET,
245         IAVF_PROTO_XTR_MAX,
246 };
247
248 /**
249  * Cache devargs parse result.
250  */
251 struct iavf_devargs {
252         uint8_t proto_xtr_dflt;
253         uint8_t proto_xtr[IAVF_MAX_QUEUE_NUM];
254 };
255
256 /* Structure to store private data for each VF instance. */
257 struct iavf_adapter {
258         struct iavf_hw hw;
259         struct rte_eth_dev *eth_dev;
260         struct iavf_info vf;
261
262         bool rx_bulk_alloc_allowed;
263         /* For vector PMD */
264         bool rx_vec_allowed;
265         bool tx_vec_allowed;
266         const uint32_t *ptype_tbl;
267         bool stopped;
268         uint16_t fdir_ref_cnt;
269         struct iavf_devargs devargs;
270 };
271
272 /* IAVF_DEV_PRIVATE_TO */
273 #define IAVF_DEV_PRIVATE_TO_ADAPTER(adapter) \
274         ((struct iavf_adapter *)adapter)
275 #define IAVF_DEV_PRIVATE_TO_VF(adapter) \
276         (&((struct iavf_adapter *)adapter)->vf)
277 #define IAVF_DEV_PRIVATE_TO_HW(adapter) \
278         (&((struct iavf_adapter *)adapter)->hw)
279
280 /* IAVF_VSI_TO */
281 #define IAVF_VSI_TO_HW(vsi) \
282         (&(((struct iavf_vsi *)vsi)->adapter->hw))
283 #define IAVF_VSI_TO_VF(vsi) \
284         (&(((struct iavf_vsi *)vsi)->adapter->vf))
285 #define IAVF_VSI_TO_ETH_DEV(vsi) \
286         (((struct iavf_vsi *)vsi)->adapter->eth_dev)
287
288 static inline void
289 iavf_init_adminq_parameter(struct iavf_hw *hw)
290 {
291         hw->aq.num_arq_entries = IAVF_AQ_LEN;
292         hw->aq.num_asq_entries = IAVF_AQ_LEN;
293         hw->aq.arq_buf_size = IAVF_AQ_BUF_SZ;
294         hw->aq.asq_buf_size = IAVF_AQ_BUF_SZ;
295 }
296
297 static inline uint16_t
298 iavf_calc_itr_interval(int16_t interval)
299 {
300         if (interval < 0 || interval > IAVF_QUEUE_ITR_INTERVAL_MAX)
301                 interval = IAVF_QUEUE_ITR_INTERVAL_DEFAULT;
302
303         /* Convert to hardware count, as writing each 1 represents 2 us */
304         return interval / 2;
305 }
306
307 /* structure used for sending and checking response of virtchnl ops */
308 struct iavf_cmd_info {
309         enum virtchnl_ops ops;
310         uint8_t *in_args;       /* buffer for sending */
311         uint32_t in_args_size;  /* buffer size for sending */
312         uint8_t *out_buffer;    /* buffer for response */
313         uint32_t out_size;      /* buffer size for response */
314 };
315
316 /* notify current command done. Only call in case execute
317  * _atomic_set_cmd successfully.
318  */
319 static inline void
320 _notify_cmd(struct iavf_info *vf, int msg_ret)
321 {
322         vf->cmd_retval = msg_ret;
323         rte_wmb();
324         vf->pend_cmd = VIRTCHNL_OP_UNKNOWN;
325 }
326
327 /* clear current command. Only call in case execute
328  * _atomic_set_cmd successfully.
329  */
330 static inline void
331 _clear_cmd(struct iavf_info *vf)
332 {
333         rte_wmb();
334         vf->pend_cmd = VIRTCHNL_OP_UNKNOWN;
335         vf->cmd_retval = VIRTCHNL_STATUS_SUCCESS;
336 }
337
338 /* Check there is pending cmd in execution. If none, set new command. */
339 static inline int
340 _atomic_set_cmd(struct iavf_info *vf, enum virtchnl_ops ops)
341 {
342         int ret = rte_atomic32_cmpset((volatile uint32_t *)&vf->pend_cmd,
343                 VIRTCHNL_OP_UNKNOWN, ops);
344
345         if (!ret)
346                 PMD_DRV_LOG(ERR, "There is incomplete cmd %d", vf->pend_cmd);
347
348         return !ret;
349 }
350
351 int iavf_check_api_version(struct iavf_adapter *adapter);
352 int iavf_get_vf_resource(struct iavf_adapter *adapter);
353 void iavf_handle_virtchnl_msg(struct rte_eth_dev *dev);
354 int iavf_enable_vlan_strip(struct iavf_adapter *adapter);
355 int iavf_disable_vlan_strip(struct iavf_adapter *adapter);
356 int iavf_switch_queue(struct iavf_adapter *adapter, uint16_t qid,
357                      bool rx, bool on);
358 int iavf_switch_queue_lv(struct iavf_adapter *adapter, uint16_t qid,
359                      bool rx, bool on);
360 int iavf_enable_queues(struct iavf_adapter *adapter);
361 int iavf_enable_queues_lv(struct iavf_adapter *adapter);
362 int iavf_disable_queues(struct iavf_adapter *adapter);
363 int iavf_disable_queues_lv(struct iavf_adapter *adapter);
364 int iavf_configure_rss_lut(struct iavf_adapter *adapter);
365 int iavf_configure_rss_key(struct iavf_adapter *adapter);
366 int iavf_configure_queues(struct iavf_adapter *adapter,
367                         uint16_t num_queue_pairs, uint16_t index);
368 int iavf_get_supported_rxdid(struct iavf_adapter *adapter);
369 int iavf_config_vlan_strip_v2(struct iavf_adapter *adapter, bool enable);
370 int iavf_config_vlan_insert_v2(struct iavf_adapter *adapter, bool enable);
371 int iavf_add_del_vlan_v2(struct iavf_adapter *adapter, uint16_t vlanid,
372                          bool add);
373 int iavf_get_vlan_offload_caps_v2(struct iavf_adapter *adapter);
374 int iavf_config_irq_map(struct iavf_adapter *adapter);
375 int iavf_config_irq_map_lv(struct iavf_adapter *adapter, uint16_t num,
376                         uint16_t index);
377 void iavf_add_del_all_mac_addr(struct iavf_adapter *adapter, bool add);
378 int iavf_dev_link_update(struct rte_eth_dev *dev,
379                         __rte_unused int wait_to_complete);
380 void iavf_dev_alarm_handler(void *param);
381 int iavf_query_stats(struct iavf_adapter *adapter,
382                     struct virtchnl_eth_stats **pstats);
383 int iavf_config_promisc(struct iavf_adapter *adapter, bool enable_unicast,
384                        bool enable_multicast);
385 int iavf_add_del_eth_addr(struct iavf_adapter *adapter,
386                          struct rte_ether_addr *addr, bool add, uint8_t type);
387 int iavf_add_del_vlan(struct iavf_adapter *adapter, uint16_t vlanid, bool add);
388 int iavf_fdir_add(struct iavf_adapter *adapter, struct iavf_fdir_conf *filter);
389 int iavf_fdir_del(struct iavf_adapter *adapter, struct iavf_fdir_conf *filter);
390 int iavf_fdir_check(struct iavf_adapter *adapter,
391                 struct iavf_fdir_conf *filter);
392 int iavf_add_del_rss_cfg(struct iavf_adapter *adapter,
393                          struct virtchnl_rss_cfg *rss_cfg, bool add);
394 int iavf_get_hena_caps(struct iavf_adapter *adapter, uint64_t *caps);
395 int iavf_set_hena(struct iavf_adapter *adapter, uint64_t hena);
396 int iavf_rss_hash_set(struct iavf_adapter *ad, uint64_t rss_hf, bool add);
397 int iavf_add_del_mc_addr_list(struct iavf_adapter *adapter,
398                         struct rte_ether_addr *mc_addrs,
399                         uint32_t mc_addrs_num, bool add);
400 int iavf_request_queues(struct iavf_adapter *adapter, uint16_t num);
401 int iavf_get_max_rss_queue_region(struct iavf_adapter *adapter);
402 int iavf_get_qos_cap(struct iavf_adapter *adapter);
403 int iavf_set_q_tc_map(struct rte_eth_dev *dev,
404                         struct virtchnl_queue_tc_mapping *q_tc_mapping,
405                         uint16_t size);
406 void iavf_tm_conf_init(struct rte_eth_dev *dev);
407 void iavf_tm_conf_uninit(struct rte_eth_dev *dev);
408 extern const struct rte_tm_ops iavf_tm_ops;
409 #endif /* _IAVF_ETHDEV_H_ */