f5cc3b98365e6087b453373e39efb8a36f618cb0
[dpdk.git] / drivers / net / octeontx2 / otx2_flow.h
1 /* SPDX-License-Identifier: BSD-3-Clause
2  * Copyright(C) 2019 Marvell International Ltd.
3  */
4
5 #ifndef __OTX2_FLOW_H__
6 #define __OTX2_FLOW_H__
7
8 #include <stdint.h>
9
10 #include <rte_flow_driver.h>
11 #include <rte_malloc.h>
12 #include <rte_tailq.h>
13
14 #include "otx2_common.h"
15 #include "otx2_ethdev.h"
16 #include "otx2_mbox.h"
17
18 struct otx2_eth_dev;
19
20 int otx2_flow_init(struct otx2_eth_dev *hw);
21 int otx2_flow_fini(struct otx2_eth_dev *hw);
22 extern const struct rte_flow_ops otx2_flow_ops;
23
24 enum {
25         OTX2_INTF_RX = 0,
26         OTX2_INTF_TX = 1,
27         OTX2_INTF_MAX = 2,
28 };
29
30 #define NPC_IH_LENGTH                   8
31 #define NPC_TPID_LENGTH                 2
32 #define NPC_COUNTER_NONE                (-1)
33 /* 32 bytes from LDATA_CFG & 32 bytes from FLAGS_CFG */
34 #define NPC_MAX_EXTRACT_DATA_LEN        (64)
35 #define NPC_LDATA_LFLAG_LEN             (16)
36 #define NPC_MCAM_TOT_ENTRIES            (4096)
37 #define NPC_MAX_KEY_NIBBLES             (31)
38 /* Nibble offsets */
39 #define NPC_LAYER_KEYX_SZ               (3)
40 #define NPC_PARSE_KEX_S_LA_OFFSET       (7)
41 #define NPC_PARSE_KEX_S_LID_OFFSET(lid)         \
42         ((((lid) - NPC_LID_LA) * NPC_LAYER_KEYX_SZ)  \
43         + NPC_PARSE_KEX_S_LA_OFFSET)
44
45
46 /* supported flow actions flags */
47 #define OTX2_FLOW_ACT_MARK    (1 << 0)
48 #define OTX2_FLOW_ACT_FLAG    (1 << 1)
49 #define OTX2_FLOW_ACT_DROP    (1 << 2)
50 #define OTX2_FLOW_ACT_QUEUE   (1 << 3)
51 #define OTX2_FLOW_ACT_RSS     (1 << 4)
52 #define OTX2_FLOW_ACT_DUP     (1 << 5)
53 #define OTX2_FLOW_ACT_SEC     (1 << 6)
54 #define OTX2_FLOW_ACT_COUNT   (1 << 7)
55
56 /* terminating actions */
57 #define OTX2_FLOW_ACT_TERM    (OTX2_FLOW_ACT_DROP  | \
58                                OTX2_FLOW_ACT_QUEUE | \
59                                OTX2_FLOW_ACT_RSS   | \
60                                OTX2_FLOW_ACT_DUP   | \
61                                OTX2_FLOW_ACT_SEC)
62
63 /* This mark value indicates flag action */
64 #define OTX2_FLOW_FLAG_VAL    (0xffff)
65
66 #define NIX_RX_ACT_MATCH_OFFSET         (40)
67 #define NIX_RX_ACT_MATCH_MASK           (0xFFFF)
68
69 #define NIX_RSS_ACT_GRP_OFFSET          (20)
70 #define NIX_RSS_ACT_ALG_OFFSET          (56)
71 #define NIX_RSS_ACT_GRP_MASK            (0xFFFFF)
72 #define NIX_RSS_ACT_ALG_MASK            (0x1F)
73
74 /* PMD-specific definition of the opaque struct rte_flow */
75 #define OTX2_MAX_MCAM_WIDTH_DWORDS      7
76
77 enum npc_mcam_intf {
78         NPC_MCAM_RX,
79         NPC_MCAM_TX
80 };
81
82 struct npc_xtract_info {
83         /* Length in bytes of pkt data extracted. len = 0
84          * indicates that extraction is disabled.
85          */
86         uint8_t len;
87         uint8_t hdr_off; /* Byte offset of proto hdr: extract_src */
88         uint8_t key_off; /* Byte offset in MCAM key where data is placed */
89         uint8_t enable; /* Extraction enabled or disabled */
90 };
91
92 /* Information for a given {LAYER, LTYPE} */
93 struct npc_lid_lt_xtract_info {
94         /* Info derived from parser configuration */
95         uint16_t npc_proto;              /* Network protocol identified */
96         uint8_t  valid_flags_mask;       /* Flags applicable */
97         uint8_t  is_terminating:1;       /* No more parsing */
98         struct npc_xtract_info xtract[NPC_MAX_LD];
99 };
100
101 union npc_kex_ldata_flags_cfg {
102         struct {
103         #if defined(__BIG_ENDIAN_BITFIELD)
104                 uint64_t rvsd_62_1      : 61;
105                 uint64_t lid            : 3;
106         #else
107                 uint64_t lid            : 3;
108                 uint64_t rvsd_62_1      : 61;
109         #endif
110         } s;
111
112         uint64_t i;
113 };
114
115 typedef struct npc_lid_lt_xtract_info
116         otx2_dxcfg_t[NPC_MAX_INTF][NPC_MAX_LID][NPC_MAX_LT];
117 typedef struct npc_lid_lt_xtract_info
118         otx2_fxcfg_t[NPC_MAX_INTF][NPC_MAX_LD][NPC_MAX_LFL];
119 typedef union npc_kex_ldata_flags_cfg otx2_ld_flags_t[NPC_MAX_LD];
120
121
122 /* MBOX_MSG_NPC_GET_DATAX_CFG Response */
123 struct npc_get_datax_cfg {
124         /* NPC_AF_KEX_LDATA(0..1)_FLAGS_CFG */
125         union npc_kex_ldata_flags_cfg ld_flags[NPC_MAX_LD];
126         /* Extract information indexed with [LID][LTYPE] */
127         struct npc_lid_lt_xtract_info lid_lt_xtract[NPC_MAX_LID][NPC_MAX_LT];
128         /* Flags based extract indexed with [LDATA][FLAGS_LOWER_NIBBLE]
129          * Fields flags_ena_ld0, flags_ena_ld1 in
130          * struct npc_lid_lt_xtract_info indicate if this is applicable
131          * for a given {LAYER, LTYPE}
132          */
133         struct npc_xtract_info flag_xtract[NPC_MAX_LD][NPC_MAX_LT];
134 };
135
136 struct otx2_mcam_ents_info {
137         /* Current max & min values of mcam index */
138         uint32_t max_id;
139         uint32_t min_id;
140         uint32_t free_ent;
141         uint32_t live_ent;
142 };
143
144 struct rte_flow {
145         uint8_t  nix_intf;
146         uint32_t  mcam_id;
147         int32_t ctr_id;
148         uint32_t priority;
149         /* Contiguous match string */
150         uint64_t mcam_data[OTX2_MAX_MCAM_WIDTH_DWORDS];
151         uint64_t mcam_mask[OTX2_MAX_MCAM_WIDTH_DWORDS];
152         uint64_t npc_action;
153         TAILQ_ENTRY(rte_flow) next;
154 };
155
156 TAILQ_HEAD(otx2_flow_list, rte_flow);
157
158 /* Accessed from ethdev private - otx2_eth_dev */
159 struct otx2_npc_flow_info {
160         rte_atomic32_t mark_actions;
161         uint32_t keyx_supp_nmask[NPC_MAX_INTF];/* nibble mask */
162         uint32_t keyx_len[NPC_MAX_INTF];        /* per intf key len in bits */
163         uint32_t datax_len[NPC_MAX_INTF];       /* per intf data len in bits */
164         uint32_t keyw[NPC_MAX_INTF];            /* max key + data len bits */
165         uint32_t mcam_entries;                  /* mcam entries supported */
166         otx2_dxcfg_t prx_dxcfg;                 /* intf, lid, lt, extract */
167         otx2_fxcfg_t prx_fxcfg;                 /* Flag extract */
168         otx2_ld_flags_t prx_lfcfg;              /* KEX LD_Flags CFG */
169         /* mcam entry info per priority level: both free & in-use */
170         struct otx2_mcam_ents_info *flow_entry_info;
171         /* Bitmap of free preallocated entries in ascending index &
172          * descending priority
173          */
174         struct rte_bitmap **free_entries;
175         /* Bitmap of free preallocated entries in descending index &
176          * ascending priority
177          */
178         struct rte_bitmap **free_entries_rev;
179         /* Bitmap of live entries in ascending index & descending priority */
180         struct rte_bitmap **live_entries;
181         /* Bitmap of live entries in descending index & ascending priority */
182         struct rte_bitmap **live_entries_rev;
183         /* Priority bucket wise tail queue of all rte_flow resources */
184         struct otx2_flow_list *flow_list;
185         uint32_t rss_grps;  /* rss groups supported */
186         struct rte_bitmap *rss_grp_entries;
187         uint16_t channel; /*rx channel */
188         uint16_t flow_prealloc_size;
189         uint16_t flow_max_priority;
190 };
191
192 struct otx2_parse_state {
193         struct otx2_npc_flow_info *npc;
194         const struct rte_flow_item *pattern;
195         const struct rte_flow_item *last_pattern; /* Temp usage */
196         struct rte_flow_error *error;
197         struct rte_flow *flow;
198         uint8_t tunnel;
199         uint8_t terminate;
200         uint8_t layer_mask;
201         uint8_t lt[NPC_MAX_LID];
202         uint8_t flags[NPC_MAX_LID];
203         uint8_t *mcam_data; /* point to flow->mcam_data + key_len */
204         uint8_t *mcam_mask; /* point to flow->mcam_mask + key_len */
205 };
206
207 struct otx2_flow_item_info {
208         const void *def_mask; /* rte_flow default mask */
209         void *hw_mask;        /* hardware supported mask */
210         int  len;             /* length of item */
211         const void *spec;     /* spec to use, NULL implies match any */
212         const void *mask;     /* mask to use */
213         uint8_t hw_hdr_len;  /* Extra data len at each layer*/
214 };
215
216 struct otx2_idev_kex_cfg {
217         struct npc_get_kex_cfg_rsp kex_cfg;
218         rte_atomic16_t kex_refcnt;
219 };
220
221 enum npc_kpu_parser_flag {
222         NPC_F_NA = 0,
223         NPC_F_PKI,
224         NPC_F_PKI_VLAN,
225         NPC_F_PKI_ETAG,
226         NPC_F_PKI_ITAG,
227         NPC_F_PKI_MPLS,
228         NPC_F_PKI_NSH,
229         NPC_F_ETYPE_UNK,
230         NPC_F_ETHER_VLAN,
231         NPC_F_ETHER_ETAG,
232         NPC_F_ETHER_ITAG,
233         NPC_F_ETHER_MPLS,
234         NPC_F_ETHER_NSH,
235         NPC_F_STAG_CTAG,
236         NPC_F_STAG_CTAG_UNK,
237         NPC_F_STAG_STAG_CTAG,
238         NPC_F_STAG_STAG_STAG,
239         NPC_F_QINQ_CTAG,
240         NPC_F_QINQ_CTAG_UNK,
241         NPC_F_QINQ_QINQ_CTAG,
242         NPC_F_QINQ_QINQ_QINQ,
243         NPC_F_BTAG_ITAG,
244         NPC_F_BTAG_ITAG_STAG,
245         NPC_F_BTAG_ITAG_CTAG,
246         NPC_F_BTAG_ITAG_UNK,
247         NPC_F_ETAG_CTAG,
248         NPC_F_ETAG_BTAG_ITAG,
249         NPC_F_ETAG_STAG,
250         NPC_F_ETAG_QINQ,
251         NPC_F_ETAG_ITAG,
252         NPC_F_ETAG_ITAG_STAG,
253         NPC_F_ETAG_ITAG_CTAG,
254         NPC_F_ETAG_ITAG_UNK,
255         NPC_F_ITAG_STAG_CTAG,
256         NPC_F_ITAG_STAG,
257         NPC_F_ITAG_CTAG,
258         NPC_F_MPLS_4_LABELS,
259         NPC_F_MPLS_3_LABELS,
260         NPC_F_MPLS_2_LABELS,
261         NPC_F_IP_HAS_OPTIONS,
262         NPC_F_IP_IP_IN_IP,
263         NPC_F_IP_6TO4,
264         NPC_F_IP_MPLS_IN_IP,
265         NPC_F_IP_UNK_PROTO,
266         NPC_F_IP_IP_IN_IP_HAS_OPTIONS,
267         NPC_F_IP_6TO4_HAS_OPTIONS,
268         NPC_F_IP_MPLS_IN_IP_HAS_OPTIONS,
269         NPC_F_IP_UNK_PROTO_HAS_OPTIONS,
270         NPC_F_IP6_HAS_EXT,
271         NPC_F_IP6_TUN_IP6,
272         NPC_F_IP6_MPLS_IN_IP,
273         NPC_F_TCP_HAS_OPTIONS,
274         NPC_F_TCP_HTTP,
275         NPC_F_TCP_HTTPS,
276         NPC_F_TCP_PPTP,
277         NPC_F_TCP_UNK_PORT,
278         NPC_F_TCP_HTTP_HAS_OPTIONS,
279         NPC_F_TCP_HTTPS_HAS_OPTIONS,
280         NPC_F_TCP_PPTP_HAS_OPTIONS,
281         NPC_F_TCP_UNK_PORT_HAS_OPTIONS,
282         NPC_F_UDP_VXLAN,
283         NPC_F_UDP_VXLAN_NOVNI,
284         NPC_F_UDP_VXLAN_NOVNI_NSH,
285         NPC_F_UDP_VXLANGPE,
286         NPC_F_UDP_VXLANGPE_NSH,
287         NPC_F_UDP_VXLANGPE_MPLS,
288         NPC_F_UDP_VXLANGPE_NOVNI,
289         NPC_F_UDP_VXLANGPE_NOVNI_NSH,
290         NPC_F_UDP_VXLANGPE_NOVNI_MPLS,
291         NPC_F_UDP_VXLANGPE_UNK,
292         NPC_F_UDP_VXLANGPE_NONP,
293         NPC_F_UDP_GTP_GTPC,
294         NPC_F_UDP_GTP_GTPU_G_PDU,
295         NPC_F_UDP_GTP_GTPU_UNK,
296         NPC_F_UDP_UNK_PORT,
297         NPC_F_UDP_GENEVE,
298         NPC_F_UDP_GENEVE_OAM,
299         NPC_F_UDP_GENEVE_CRI_OPT,
300         NPC_F_UDP_GENEVE_OAM_CRI_OPT,
301         NPC_F_GRE_NVGRE,
302         NPC_F_GRE_HAS_SRE,
303         NPC_F_GRE_HAS_CSUM,
304         NPC_F_GRE_HAS_KEY,
305         NPC_F_GRE_HAS_SEQ,
306         NPC_F_GRE_HAS_CSUM_KEY,
307         NPC_F_GRE_HAS_CSUM_SEQ,
308         NPC_F_GRE_HAS_KEY_SEQ,
309         NPC_F_GRE_HAS_CSUM_KEY_SEQ,
310         NPC_F_GRE_HAS_ROUTE,
311         NPC_F_GRE_UNK_PROTO,
312         NPC_F_GRE_VER1,
313         NPC_F_GRE_VER1_HAS_SEQ,
314         NPC_F_GRE_VER1_HAS_ACK,
315         NPC_F_GRE_VER1_HAS_SEQ_ACK,
316         NPC_F_GRE_VER1_UNK_PROTO,
317         NPC_F_TU_ETHER_UNK,
318         NPC_F_TU_ETHER_CTAG,
319         NPC_F_TU_ETHER_CTAG_UNK,
320         NPC_F_TU_ETHER_STAG_CTAG,
321         NPC_F_TU_ETHER_STAG_CTAG_UNK,
322         NPC_F_TU_ETHER_STAG,
323         NPC_F_TU_ETHER_STAG_UNK,
324         NPC_F_TU_ETHER_QINQ_CTAG,
325         NPC_F_TU_ETHER_QINQ_CTAG_UNK,
326         NPC_F_TU_ETHER_QINQ,
327         NPC_F_TU_ETHER_QINQ_UNK,
328         NPC_F_LAST /* has to be the last item */
329 };
330
331
332 int otx2_flow_mcam_free_counter(struct otx2_mbox *mbox, uint16_t ctr_id);
333
334 int otx2_flow_mcam_read_counter(struct otx2_mbox *mbox, uint32_t ctr_id,
335                                 uint64_t *count);
336
337 int otx2_flow_mcam_clear_counter(struct otx2_mbox *mbox, uint32_t ctr_id);
338
339 int otx2_flow_mcam_free_entry(struct otx2_mbox *mbox, uint32_t entry);
340
341 int otx2_flow_mcam_free_all_entries(struct otx2_mbox *mbox);
342
343 int otx2_flow_update_parse_state(struct otx2_parse_state *pst,
344                                  struct otx2_flow_item_info *info,
345                                  int lid, int lt, uint8_t flags);
346
347 int otx2_flow_parse_item_basic(const struct rte_flow_item *item,
348                                struct otx2_flow_item_info *info,
349                                struct rte_flow_error *error);
350
351 void otx2_flow_keyx_compress(uint64_t *data, uint32_t nibble_mask);
352
353 int otx2_flow_mcam_alloc_and_write(struct rte_flow *flow,
354                                    struct otx2_mbox *mbox,
355                                    struct otx2_parse_state *pst,
356                                    struct otx2_npc_flow_info *flow_info);
357
358 void otx2_flow_get_hw_supp_mask(struct otx2_parse_state *pst,
359                                 struct otx2_flow_item_info *info,
360                                 int lid, int lt);
361
362 const struct rte_flow_item *
363 otx2_flow_skip_void_and_any_items(const struct rte_flow_item *pattern);
364
365 int otx2_flow_parse_lh(struct otx2_parse_state *pst);
366
367 int otx2_flow_parse_lg(struct otx2_parse_state *pst);
368
369 int otx2_flow_parse_lf(struct otx2_parse_state *pst);
370
371 int otx2_flow_parse_le(struct otx2_parse_state *pst);
372
373 int otx2_flow_parse_ld(struct otx2_parse_state *pst);
374
375 int otx2_flow_parse_lc(struct otx2_parse_state *pst);
376
377 int otx2_flow_parse_lb(struct otx2_parse_state *pst);
378
379 int otx2_flow_parse_la(struct otx2_parse_state *pst);
380
381 int otx2_flow_parse_actions(struct rte_eth_dev *dev,
382                             const struct rte_flow_attr *attr,
383                             const struct rte_flow_action actions[],
384                             struct rte_flow_error *error,
385                             struct rte_flow *flow);
386
387 int otx2_flow_free_all_resources(struct otx2_eth_dev *hw);
388
389 int otx2_flow_parse_mpls(struct otx2_parse_state *pst, int lid);
390 #endif /* __OTX2_FLOW_H__ */