net/iavf: support GTPU inner IPv4 for flow director
[dpdk.git] / drivers / net / iavf / iavf_generic_flow.h
1 /* SPDX-License-Identifier: BSD-3-Clause
2  * Copyright(c) 2019 Intel Corporation
3  */
4
5 #ifndef _IAVF_GENERIC_FLOW_H_
6 #define _IAVF_GENERIC_FLOW_H_
7
8 #include <rte_flow_driver.h>
9
10 /* protocol */
11
12 #define IAVF_PROT_MAC_INNER         (1ULL << 1)
13 #define IAVF_PROT_MAC_OUTER         (1ULL << 2)
14 #define IAVF_PROT_VLAN_INNER        (1ULL << 3)
15 #define IAVF_PROT_VLAN_OUTER        (1ULL << 4)
16 #define IAVF_PROT_IPV4_INNER        (1ULL << 5)
17 #define IAVF_PROT_IPV4_OUTER        (1ULL << 6)
18 #define IAVF_PROT_IPV6_INNER        (1ULL << 7)
19 #define IAVF_PROT_IPV6_OUTER        (1ULL << 8)
20 #define IAVF_PROT_TCP_INNER         (1ULL << 9)
21 #define IAVF_PROT_TCP_OUTER         (1ULL << 10)
22 #define IAVF_PROT_UDP_INNER         (1ULL << 11)
23 #define IAVF_PROT_UDP_OUTER         (1ULL << 12)
24 #define IAVF_PROT_SCTP_INNER        (1ULL << 13)
25 #define IAVF_PROT_SCTP_OUTER        (1ULL << 14)
26 #define IAVF_PROT_ICMP4_INNER       (1ULL << 15)
27 #define IAVF_PROT_ICMP4_OUTER       (1ULL << 16)
28 #define IAVF_PROT_ICMP6_INNER       (1ULL << 17)
29 #define IAVF_PROT_ICMP6_OUTER       (1ULL << 18)
30 #define IAVF_PROT_VXLAN             (1ULL << 19)
31 #define IAVF_PROT_NVGRE             (1ULL << 20)
32 #define IAVF_PROT_GTPU              (1ULL << 21)
33 #define IAVF_PROT_ESP               (1ULL << 22)
34 #define IAVF_PROT_AH                (1ULL << 23)
35 #define IAVF_PROT_L2TPV3OIP         (1ULL << 24)
36 #define IAVF_PROT_PFCP              (1ULL << 25)
37 #define IAVF_PROT_ECPRI             (1ULL << 26)
38
39
40 /* field */
41
42 #define IAVF_SMAC                   (1ULL << 63)
43 #define IAVF_DMAC                   (1ULL << 62)
44 #define IAVF_ETHERTYPE              (1ULL << 61)
45 #define IAVF_IP_SRC                 (1ULL << 60)
46 #define IAVF_IP_DST                 (1ULL << 59)
47 #define IAVF_IP_PROTO               (1ULL << 58)
48 #define IAVF_IP_TTL                 (1ULL << 57)
49 #define IAVF_IP_TOS                 (1ULL << 56)
50 #define IAVF_SPORT                  (1ULL << 55)
51 #define IAVF_DPORT                  (1ULL << 54)
52 #define IAVF_ICMP_TYPE              (1ULL << 53)
53 #define IAVF_ICMP_CODE              (1ULL << 52)
54 #define IAVF_VXLAN_VNI              (1ULL << 51)
55 #define IAVF_NVGRE_TNI              (1ULL << 50)
56 #define IAVF_GTPU_TEID              (1ULL << 49)
57 #define IAVF_GTPU_QFI               (1ULL << 48)
58 #define IAVF_ESP_SPI                (1ULL << 47)
59 #define IAVF_AH_SPI                 (1ULL << 46)
60 #define IAVF_L2TPV3OIP_SESSION_ID   (1ULL << 45)
61 #define IAVF_PFCP_S_FIELD           (1ULL << 44)
62 #define IAVF_PFCP_SEID              (1ULL << 43)
63 #define IAVF_ECPRI_PC_RTC_ID        (1ULL << 42)
64
65 /* input set */
66
67 #define IAVF_INSET_NONE             0ULL
68
69 /* non-tunnel */
70
71 #define IAVF_INSET_SMAC         (IAVF_PROT_MAC_OUTER | IAVF_SMAC)
72 #define IAVF_INSET_DMAC         (IAVF_PROT_MAC_OUTER | IAVF_DMAC)
73 #define IAVF_INSET_VLAN_INNER   (IAVF_PROT_VLAN_INNER)
74 #define IAVF_INSET_VLAN_OUTER   (IAVF_PROT_VLAN_OUTER)
75 #define IAVF_INSET_ETHERTYPE    (IAVF_ETHERTYPE)
76
77 #define IAVF_INSET_IPV4_SRC \
78         (IAVF_PROT_IPV4_OUTER | IAVF_IP_SRC)
79 #define IAVF_INSET_IPV4_DST \
80         (IAVF_PROT_IPV4_OUTER | IAVF_IP_DST)
81 #define IAVF_INSET_IPV4_TOS \
82         (IAVF_PROT_IPV4_OUTER | IAVF_IP_TOS)
83 #define IAVF_INSET_IPV4_PROTO \
84         (IAVF_PROT_IPV4_OUTER | IAVF_IP_PROTO)
85 #define IAVF_INSET_IPV4_TTL \
86         (IAVF_PROT_IPV4_OUTER | IAVF_IP_TTL)
87 #define IAVF_INSET_IPV6_SRC \
88         (IAVF_PROT_IPV6_OUTER | IAVF_IP_SRC)
89 #define IAVF_INSET_IPV6_DST \
90         (IAVF_PROT_IPV6_OUTER | IAVF_IP_DST)
91 #define IAVF_INSET_IPV6_NEXT_HDR \
92         (IAVF_PROT_IPV6_OUTER | IAVF_IP_PROTO)
93 #define IAVF_INSET_IPV6_HOP_LIMIT \
94         (IAVF_PROT_IPV6_OUTER | IAVF_IP_TTL)
95 #define IAVF_INSET_IPV6_TC \
96         (IAVF_PROT_IPV6_OUTER | IAVF_IP_TOS)
97
98 #define IAVF_INSET_TUN_IPV4_SRC \
99         (IAVF_PROT_IPV4_INNER | IAVF_IP_SRC)
100 #define IAVF_INSET_TUN_IPV4_DST \
101         (IAVF_PROT_IPV4_INNER | IAVF_IP_DST)
102 #define IAVF_INSET_TUN_IPV4_TOS \
103         (IAVF_PROT_IPV4_INNER | IAVF_IP_TOS)
104 #define IAVF_INSET_TUN_IPV4_PROTO \
105         (IAVF_PROT_IPV4_INNER | IAVF_IP_PROTO)
106 #define IAVF_INSET_TUN_IPV4_TTL \
107         (IAVF_PROT_IPV4_INNER | IAVF_IP_TTL)
108
109 #define IAVF_INSET_TCP_SRC_PORT \
110         (IAVF_PROT_TCP_OUTER | IAVF_SPORT)
111 #define IAVF_INSET_TCP_DST_PORT \
112         (IAVF_PROT_TCP_OUTER | IAVF_DPORT)
113 #define IAVF_INSET_UDP_SRC_PORT \
114         (IAVF_PROT_UDP_OUTER | IAVF_SPORT)
115 #define IAVF_INSET_UDP_DST_PORT \
116         (IAVF_PROT_UDP_OUTER | IAVF_DPORT)
117
118 #define IAVF_INSET_TUN_TCP_SRC_PORT \
119         (IAVF_PROT_TCP_INNER | IAVF_SPORT)
120 #define IAVF_INSET_TUN_TCP_DST_PORT \
121         (IAVF_PROT_TCP_INNER | IAVF_DPORT)
122 #define IAVF_INSET_TUN_UDP_SRC_PORT \
123         (IAVF_PROT_UDP_INNER | IAVF_SPORT)
124 #define IAVF_INSET_TUN_UDP_DST_PORT \
125         (IAVF_PROT_UDP_INNER | IAVF_DPORT)
126
127 #define IAVF_INSET_SCTP_SRC_PORT \
128         (IAVF_PROT_SCTP_OUTER | IAVF_SPORT)
129 #define IAVF_INSET_SCTP_DST_PORT \
130         (IAVF_PROT_SCTP_OUTER | IAVF_DPORT)
131 #define IAVF_INSET_ICMP4_SRC_PORT \
132         (IAVF_PROT_ICMP4_OUTER | IAVF_SPORT)
133 #define IAVF_INSET_ICMP4_DST_PORT \
134         (IAVF_PROT_ICMP4_OUTER | IAVF_DPORT)
135 #define IAVF_INSET_ICMP6_SRC_PORT \
136         (IAVF_PROT_ICMP6_OUTER | IAVF_SPORT)
137 #define IAVF_INSET_ICMP6_DST_PORT \
138         (IAVF_PROT_ICMP6_OUTER | IAVF_DPORT)
139 #define IAVF_INSET_ICMP4_TYPE \
140         (IAVF_PROT_ICMP4_OUTER | IAVF_ICMP_TYPE)
141 #define IAVF_INSET_ICMP4_CODE \
142         (IAVF_PROT_ICMP4_OUTER | IAVF_ICMP_CODE)
143 #define IAVF_INSET_ICMP6_TYPE \
144         (IAVF_PROT_ICMP6_OUTER | IAVF_ICMP_TYPE)
145 #define IAVF_INSET_ICMP6_CODE \
146         (IAVF_PROT_ICMP6_OUTER | IAVF_ICMP_CODE)
147 #define IAVF_INSET_GTPU_TEID \
148         (IAVF_PROT_GTPU | IAVF_GTPU_TEID)
149 #define IAVF_INSET_GTPU_QFI \
150         (IAVF_PROT_GTPU | IAVF_GTPU_QFI)
151 #define IAVF_INSET_ESP_SPI \
152         (IAVF_PROT_ESP | IAVF_ESP_SPI)
153 #define IAVF_INSET_AH_SPI \
154         (IAVF_PROT_AH | IAVF_AH_SPI)
155 #define IAVF_INSET_L2TPV3OIP_SESSION_ID \
156         (IAVF_PROT_L2TPV3OIP | IAVF_L2TPV3OIP_SESSION_ID)
157 #define IAVF_INSET_PFCP_S_FIELD \
158         (IAVF_PROT_PFCP | IAVF_PFCP_S_FIELD)
159 #define IAVF_INSET_PFCP_SEID \
160         (IAVF_PROT_PFCP | IAVF_PFCP_S_FIELD | IAVF_PFCP_SEID)
161 #define IAVF_INSET_ECPRI \
162         (IAVF_PROT_ECPRI | IAVF_ECPRI_PC_RTC_ID)
163
164 /* empty pattern */
165 extern enum rte_flow_item_type iavf_pattern_empty[];
166
167 /* L2 */
168 extern enum rte_flow_item_type iavf_pattern_ethertype[];
169 extern enum rte_flow_item_type iavf_pattern_ethertype_vlan[];
170 extern enum rte_flow_item_type iavf_pattern_ethertype_qinq[];
171
172 /* ARP */
173 extern enum rte_flow_item_type iavf_pattern_eth_arp[];
174
175 /* non-tunnel IPv4 */
176 extern enum rte_flow_item_type iavf_pattern_eth_ipv4[];
177 extern enum rte_flow_item_type iavf_pattern_eth_vlan_ipv4[];
178 extern enum rte_flow_item_type iavf_pattern_eth_qinq_ipv4[];
179 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_udp[];
180 extern enum rte_flow_item_type iavf_pattern_eth_vlan_ipv4_udp[];
181 extern enum rte_flow_item_type iavf_pattern_eth_qinq_ipv4_udp[];
182 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_tcp[];
183 extern enum rte_flow_item_type iavf_pattern_eth_vlan_ipv4_tcp[];
184 extern enum rte_flow_item_type iavf_pattern_eth_qinq_ipv4_tcp[];
185 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_sctp[];
186 extern enum rte_flow_item_type iavf_pattern_eth_vlan_ipv4_sctp[];
187 extern enum rte_flow_item_type iavf_pattern_eth_qinq_ipv4_sctp[];
188 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_icmp[];
189 extern enum rte_flow_item_type iavf_pattern_eth_vlan_ipv4_icmp[];
190 extern enum rte_flow_item_type iavf_pattern_eth_qinq_ipv4_icmp[];
191
192 /* non-tunnel IPv6 */
193 extern enum rte_flow_item_type iavf_pattern_eth_ipv6[];
194 extern enum rte_flow_item_type iavf_pattern_eth_vlan_ipv6[];
195 extern enum rte_flow_item_type iavf_pattern_eth_qinq_ipv6[];
196 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_udp[];
197 extern enum rte_flow_item_type iavf_pattern_eth_vlan_ipv6_udp[];
198 extern enum rte_flow_item_type iavf_pattern_eth_qinq_ipv6_udp[];
199 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_tcp[];
200 extern enum rte_flow_item_type iavf_pattern_eth_vlan_ipv6_tcp[];
201 extern enum rte_flow_item_type iavf_pattern_eth_qinq_ipv6_tcp[];
202 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_sctp[];
203 extern enum rte_flow_item_type iavf_pattern_eth_vlan_ipv6_sctp[];
204 extern enum rte_flow_item_type iavf_pattern_eth_qinq_ipv6_sctp[];
205 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_icmp6[];
206 extern enum rte_flow_item_type iavf_pattern_eth_vlan_ipv6_icmp6[];
207 extern enum rte_flow_item_type iavf_pattern_eth_qinq_ipv6_icmp6[];
208
209 /* IPv4 GTPC */
210 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpc[];
211
212 /* IPv4 GTPU (EH) */
213 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu[];
214 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu_eh[];
215
216 /* IPv6 GTPC */
217 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpc[];
218
219 /* IPv6 GTPU (EH) */
220 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu[];
221 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu_eh[];
222
223 /* IPv4 GTPU IPv4 */
224 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu_ipv4[];
225 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu_ipv4_udp[];
226 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu_ipv4_tcp[];
227 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu_ipv4_icmp[];
228
229 /* IPv4 GTPU IPv6 */
230 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu_ipv6[];
231 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu_ipv6_udp[];
232 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu_ipv6_tcp[];
233 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu_ipv6_icmp[];
234
235 /* IPv6 GTPU IPv4 */
236 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu_ipv4[];
237 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu_ipv4_udp[];
238 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu_ipv4_tcp[];
239 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu_ipv4_icmp[];
240
241 /* IPv6 GTPU IPv6 */
242 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu_ipv6[];
243 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu_ipv6_udp[];
244 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu_ipv6_tcp[];
245 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu_ipv6_icmp[];
246
247 /* IPv4 GTPU EH IPv4 */
248 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu_eh_ipv4[];
249 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu_eh_ipv4_udp[];
250 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu_eh_ipv4_tcp[];
251 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu_eh_ipv4_icmp[];
252
253 /* IPv4 GTPU EH IPv6 */
254 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu_eh_ipv6[];
255 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu_eh_ipv6_udp[];
256 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu_eh_ipv6_tcp[];
257 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_gtpu_eh_ipv6_icmp[];
258
259 /* IPv6 GTPU EH IPv4 */
260 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu_eh_ipv4[];
261 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu_eh_ipv4_udp[];
262 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu_eh_ipv4_tcp[];
263 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu_eh_ipv4_icmp[];
264
265 /* IPv6 GTPU EH IPv6 */
266 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu_eh_ipv6[];
267 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu_eh_ipv6_udp[];
268 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu_eh_ipv6_tcp[];
269 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_gtpu_eh_ipv6_icmp[];
270
271 /* ESP */
272 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_esp[];
273 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_udp_esp[];
274 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_esp[];
275 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_udp_esp[];
276
277 /* AH */
278 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_ah[];
279 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_ah[];
280
281 /* L2TPV3 */
282 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_l2tpv3[];
283 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_l2tpv3[];
284
285 /* PFCP */
286 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_pfcp[];
287 extern enum rte_flow_item_type iavf_pattern_eth_ipv6_pfcp[];
288
289 /* ECPRI */
290 extern enum rte_flow_item_type iavf_pattern_eth_ecpri[];
291 extern enum rte_flow_item_type iavf_pattern_eth_ipv4_ecpri[];
292
293 extern const struct rte_flow_ops iavf_flow_ops;
294
295 /* pattern structure */
296 struct iavf_pattern_match_item {
297         enum rte_flow_item_type *pattern_list;
298         /* pattern_list must end with RTE_FLOW_ITEM_TYPE_END */
299         uint64_t input_set_mask;
300         void *meta;
301 };
302
303 typedef int (*engine_init_t)(struct iavf_adapter *ad);
304 typedef void (*engine_uninit_t)(struct iavf_adapter *ad);
305 typedef int (*engine_validation_t)(struct iavf_adapter *ad,
306                 struct rte_flow *flow,
307                 void *meta,
308                 struct rte_flow_error *error);
309 typedef int (*engine_create_t)(struct iavf_adapter *ad,
310                 struct rte_flow *flow,
311                 void *meta,
312                 struct rte_flow_error *error);
313 typedef int (*engine_destroy_t)(struct iavf_adapter *ad,
314                 struct rte_flow *flow,
315                 struct rte_flow_error *error);
316 typedef int (*engine_query_t)(struct iavf_adapter *ad,
317                 struct rte_flow *flow,
318                 struct rte_flow_query_count *count,
319                 struct rte_flow_error *error);
320 typedef void (*engine_free_t) (struct rte_flow *flow);
321 typedef int (*parse_pattern_action_t)(struct iavf_adapter *ad,
322                 struct iavf_pattern_match_item *array,
323                 uint32_t array_len,
324                 const struct rte_flow_item pattern[],
325                 const struct rte_flow_action actions[],
326                 void **meta,
327                 struct rte_flow_error *error);
328
329 /* engine types. */
330 enum iavf_flow_engine_type {
331         IAVF_FLOW_ENGINE_NONE = 0,
332         IAVF_FLOW_ENGINE_FDIR,
333         IAVF_FLOW_ENGINE_HASH,
334         IAVF_FLOW_ENGINE_MAX,
335 };
336
337 /**
338  * classification stages.
339  * for non-pipeline mode, we have two classification stages: Distributor/RSS
340  * for pipeline-mode we have three classification stages:
341  * Permission/Distributor/RSS
342  */
343 enum iavf_flow_classification_stage {
344         IAVF_FLOW_STAGE_NONE = 0,
345         IAVF_FLOW_STAGE_RSS,
346         IAVF_FLOW_STAGE_DISTRIBUTOR,
347         IAVF_FLOW_STAGE_MAX,
348 };
349
350 /* Struct to store engine created. */
351 struct iavf_flow_engine {
352         TAILQ_ENTRY(iavf_flow_engine) node;
353         engine_init_t init;
354         engine_uninit_t uninit;
355         engine_validation_t validation;
356         engine_create_t create;
357         engine_destroy_t destroy;
358         engine_query_t query_count;
359         engine_free_t free;
360         enum iavf_flow_engine_type type;
361 };
362
363 TAILQ_HEAD(iavf_engine_list, iavf_flow_engine);
364
365 /* Struct to store flow created. */
366 struct rte_flow {
367         TAILQ_ENTRY(rte_flow) node;
368         struct iavf_flow_engine *engine;
369         void *rule;
370 };
371
372 struct iavf_flow_parser {
373         struct iavf_flow_engine *engine;
374         struct iavf_pattern_match_item *array;
375         uint32_t array_len;
376         parse_pattern_action_t parse_pattern_action;
377         enum iavf_flow_classification_stage stage;
378 };
379
380 /* Struct to store parser created. */
381 struct iavf_flow_parser_node {
382         TAILQ_ENTRY(iavf_flow_parser_node) node;
383         struct iavf_flow_parser *parser;
384 };
385
386 void iavf_register_flow_engine(struct iavf_flow_engine *engine);
387 int iavf_flow_init(struct iavf_adapter *ad);
388 void iavf_flow_uninit(struct iavf_adapter *ad);
389 int iavf_flow_flush(struct rte_eth_dev *dev,
390                 struct rte_flow_error *error);
391 int iavf_register_parser(struct iavf_flow_parser *parser,
392                          struct iavf_adapter *ad);
393 void iavf_unregister_parser(struct iavf_flow_parser *parser,
394                             struct iavf_adapter *ad);
395 struct iavf_pattern_match_item *
396 iavf_search_pattern_match_item(const struct rte_flow_item pattern[],
397                 struct iavf_pattern_match_item *array,
398                 uint32_t array_len,
399                 struct rte_flow_error *error);
400 #endif