common/cnxk: swap ZUC-256 key
[dpdk.git] / drivers / common / cnxk / roc_npc_priv.h
1 /* SPDX-License-Identifier: BSD-3-Clause
2  * Copyright(C) 2021 Marvell.
3  */
4
5 #ifndef _ROC_NPC_PRIV_H_
6 #define _ROC_NPC_PRIV_H_
7
8 #define NPC_IH_LENGTH        8
9 #define NPC_TPID_LENGTH      2
10 #define NPC_HIGIG2_LENGTH    16
11 #define NPC_MAX_RAW_ITEM_LEN 16
12 #define NPC_COUNTER_NONE     (-1)
13
14 #define NPC_RSS_GRPS 8
15
16 #define NPC_ACTION_FLAG_DEFAULT 0xffff
17
18 #define NPC_PFVF_FUNC_MASK 0x3FF
19
20 /* 32 bytes from LDATA_CFG & 32 bytes from FLAGS_CFG */
21 #define NPC_MAX_EXTRACT_DATA_LEN (64)
22 #define NPC_MAX_EXTRACT_HW_LEN   (4 * NPC_MAX_EXTRACT_DATA_LEN)
23 #define NPC_LDATA_LFLAG_LEN      (16)
24 #define NPC_MAX_KEY_NIBBLES      (31)
25
26 /* Nibble offsets */
27 #define NPC_LAYER_KEYX_SZ         (3)
28 #define NPC_PARSE_KEX_S_LA_OFFSET (7)
29 #define NPC_PARSE_KEX_S_LID_OFFSET(lid)                                        \
30         ((((lid) - (NPC_LID_LA)) * NPC_LAYER_KEYX_SZ) +                        \
31          NPC_PARSE_KEX_S_LA_OFFSET)
32
33 /* This mark value indicates flag action */
34 #define NPC_FLOW_FLAG_VAL (0xffff)
35
36 #define NPC_RX_ACT_MATCH_OFFSET (40)
37 #define NPC_RX_ACT_MATCH_MASK   (0xFFFF)
38
39 #define NPC_RSS_ACT_GRP_OFFSET (20)
40 #define NPC_RSS_ACT_ALG_OFFSET (56)
41 #define NPC_RSS_ACT_GRP_MASK   (0xFFFFF)
42 #define NPC_RSS_ACT_ALG_MASK   (0x1F)
43
44 #define NPC_MCAM_KEX_FIELD_MAX    23
45 #define NPC_MCAM_MAX_PROTO_FIELDS (NPC_MCAM_KEX_FIELD_MAX + 1)
46 #define NPC_MCAM_KEY_X4_WORDS     7 /* Number of 64-bit words */
47
48 #define NPC_RVUPF_MAX_9XXX 0x10 /* HRM: RVU_PRIV_CONST */
49 #define NPC_RVUPF_MAX_98XX 0x18 /* HRM: RVU_PRIV_CONST */
50 #define NPC_RVUPF_MAX_10XX 0x20 /* HRM: RVU_PRIV_CONST */
51 #define NPC_NIXLF_MAX      0x80 /* HRM: NIX_AF_CONST2 */
52 #define NPC_MCAME_PER_PF   3    /* DRV: RSVD_MCAM_ENTRIES_PER_PF */
53 #define NPC_MCAME_PER_LF   1    /* DRV: RSVD_MCAM_ENTRIES_PER_NIXLF */
54 #define NPC_NIXLF_MAX_98XX (2 * NPC_NIXLF_MAX) /*2 NIXLFs */
55 #define NPC_MCAME_RESVD_9XXX                                                   \
56         (NPC_NIXLF_MAX * NPC_MCAME_PER_LF +                                    \
57          (NPC_RVUPF_MAX_9XXX - 1) * NPC_MCAME_PER_PF)
58
59 #define NPC_MCAME_RESVD_10XX                                                   \
60         (NPC_NIXLF_MAX * NPC_MCAME_PER_LF +                                    \
61          (NPC_RVUPF_MAX_10XX - 1) * NPC_MCAME_PER_PF)
62
63 #define NPC_MCAME_RESVD_98XX                                                   \
64         (NPC_NIXLF_MAX_98XX * NPC_MCAME_PER_LF +                               \
65          (NPC_RVUPF_MAX_98XX - 1) * NPC_MCAME_PER_PF)
66
67 #define NPC_ACTION_MAX_VLAN_PARAMS    3
68 #define NPC_ACTION_MAX_VLANS_STRIPPED 2
69
70 #define NPC_LTYPE_OFFSET_START 7
71 /* LB OFFSET : START + LA (2b flags + 1b ltype) + LB (2b flags) */
72 #define NPC_LTYPE_LB_OFFSET (NPC_LTYPE_OFFSET_START + 5)
73 #define NPC_LFLAG_LB_OFFSET (NPC_LTYPE_OFFSET_START + 3)
74 /* LC OFFSET : START + LA (2b flags + 1b ltype) + LB (2b flags + 1b ltype) + LC
75  * (2b flags)
76  */
77 #define NPC_LFLAG_LC_OFFSET (NPC_LTYPE_OFFSET_START + 6)
78 #define NPC_LTYPE_LC_OFFSET (NPC_LTYPE_OFFSET_START + 8)
79
80 struct npc_action_vtag_info {
81         uint16_t vlan_id;
82         uint16_t vlan_ethtype;
83         uint8_t vlan_pcp;
84 };
85
86 enum npc_err_status {
87         NPC_ERR_PARAM = -1024,
88         NPC_ERR_NO_MEM,
89         NPC_ERR_INVALID_SPEC,
90         NPC_ERR_INVALID_MASK,
91         NPC_ERR_INVALID_RANGE,
92         NPC_ERR_INVALID_KEX,
93         NPC_ERR_INVALID_SIZE,
94         NPC_ERR_INTERNAL,
95         NPC_ERR_MCAM_ALLOC,
96         NPC_ERR_ACTION_NOTSUP,
97         NPC_ERR_PATTERN_NOTSUP,
98 };
99
100 enum npc_mcam_intf { NPC_MCAM_RX, NPC_MCAM_TX };
101
102 typedef union npc_kex_cap_terms_t {
103         struct {
104                 /** Total length of received packet */
105                 uint64_t len : 1;
106                 /** Initial (outer) Ethertype only */
107                 uint64_t ethtype_0 : 1;
108                 /** Ethertype of most inner VLAN tag */
109                 uint64_t ethtype_x : 1;
110                 /** First VLAN ID (outer) */
111                 uint64_t vlan_id_0 : 1;
112                 /** Last VLAN ID (inner) */
113                 uint64_t vlan_id_x : 1;
114                 /** destination MAC address */
115                 uint64_t dmac : 1;
116                 /** IP Protocol or IPv6 Next Header */
117                 uint64_t ip_proto : 1;
118                 /** Destination UDP port, implies IPPROTO=17 */
119                 uint64_t udp_dport : 1;
120                 /** Destination TCP port implies IPPROTO=6 */
121                 uint64_t tcp_dport : 1;
122                 /** Source UDP Port */
123                 uint64_t udp_sport : 1;
124                 /** Source TCP port */
125                 uint64_t tcp_sport : 1;
126                 /** Source IP address */
127                 uint64_t sip_addr : 1;
128                 /** Destination IP address */
129                 uint64_t dip_addr : 1;
130                 /** Source IP address */
131                 uint64_t sip6_addr : 1;
132                 /** Destination IP address */
133                 uint64_t dip6_addr : 1;
134                 /** IPsec session identifier */
135                 uint64_t ipsec_spi : 1;
136                 /** NVGRE/VXLAN network identifier */
137                 uint64_t ld_vni : 1;
138                 /** Custom frame match rule. PMR offset is counted from
139                  *  the start of the packet.
140                  */
141                 uint64_t custom_frame : 1;
142                 /** Custom layer 3 match rule. PMR offset is counted from
143                  *  the start of layer 3 in the packet.
144                  */
145                 uint64_t custom_l3 : 1;
146                 /** IGMP Group address */
147                 uint64_t igmp_grp_addr : 1;
148                 /** ICMP identifier */
149                 uint64_t icmp_id : 1;
150                 /** ICMP type */
151                 uint64_t icmp_type : 1;
152                 /** ICMP code */
153                 uint64_t icmp_code : 1;
154                 /** Source SCTP port */
155                 uint64_t sctp_sport : 1;
156                 /** Destination SCTP port */
157                 uint64_t sctp_dport : 1;
158                 /** GTPU Tunnel endpoint identifier */
159                 uint64_t gtpu_teid : 1;
160
161         } bit;
162         /** All bits of the bit field structure */
163         uint64_t all_bits;
164 } npc_kex_cap_terms_t;
165
166 struct npc_parse_item_info {
167         const void *def_mask; /* default mask */
168         void *hw_mask;        /* hardware supported mask */
169         int len;              /* length of item */
170         const void *spec;     /* spec to use, NULL implies match any */
171         const void *mask;     /* mask to use */
172         uint8_t hw_hdr_len;   /* Extra data len at each layer*/
173 };
174
175 struct npc_parse_state {
176         struct npc *npc;
177         const struct roc_npc_item_info *pattern;
178         const struct roc_npc_item_info *last_pattern;
179         struct roc_npc_flow *flow;
180         uint8_t nix_intf;
181         uint8_t tunnel;
182         uint8_t terminate;
183         uint8_t layer_mask;
184         uint8_t lt[NPC_MAX_LID];
185         uint8_t flags[NPC_MAX_LID];
186         uint8_t *mcam_data; /* point to flow->mcam_data + key_len */
187         uint8_t *mcam_mask; /* point to flow->mcam_mask + key_len */
188         bool is_vf;
189         /* adjust ltype in MCAM to match at least one vlan */
190         bool set_vlan_ltype_mask;
191         bool set_ipv6ext_ltype_mask;
192         bool is_second_pass_rule;
193 };
194
195 enum npc_kpu_parser_flag {
196         NPC_F_NA = 0,
197         NPC_F_PKI,
198         NPC_F_PKI_VLAN,
199         NPC_F_PKI_ETAG,
200         NPC_F_PKI_ITAG,
201         NPC_F_PKI_MPLS,
202         NPC_F_PKI_NSH,
203         NPC_F_ETYPE_UNK,
204         NPC_F_ETHER_VLAN,
205         NPC_F_ETHER_ETAG,
206         NPC_F_ETHER_ITAG,
207         NPC_F_ETHER_MPLS,
208         NPC_F_ETHER_NSH,
209         NPC_F_STAG_CTAG,
210         NPC_F_STAG_CTAG_UNK,
211         NPC_F_STAG_STAG_CTAG,
212         NPC_F_STAG_STAG_STAG,
213         NPC_F_QINQ_CTAG,
214         NPC_F_QINQ_CTAG_UNK,
215         NPC_F_QINQ_QINQ_CTAG,
216         NPC_F_QINQ_QINQ_QINQ,
217         NPC_F_BTAG_ITAG,
218         NPC_F_BTAG_ITAG_STAG,
219         NPC_F_BTAG_ITAG_CTAG,
220         NPC_F_BTAG_ITAG_UNK,
221         NPC_F_ETAG_CTAG,
222         NPC_F_ETAG_BTAG_ITAG,
223         NPC_F_ETAG_STAG,
224         NPC_F_ETAG_QINQ,
225         NPC_F_ETAG_ITAG,
226         NPC_F_ETAG_ITAG_STAG,
227         NPC_F_ETAG_ITAG_CTAG,
228         NPC_F_ETAG_ITAG_UNK,
229         NPC_F_ITAG_STAG_CTAG,
230         NPC_F_ITAG_STAG,
231         NPC_F_ITAG_CTAG,
232         NPC_F_MPLS_4_LABELS,
233         NPC_F_MPLS_3_LABELS,
234         NPC_F_MPLS_2_LABELS,
235         NPC_F_IP_HAS_OPTIONS,
236         NPC_F_IP_IP_IN_IP,
237         NPC_F_IP_6TO4,
238         NPC_F_IP_MPLS_IN_IP,
239         NPC_F_IP_UNK_PROTO,
240         NPC_F_IP_IP_IN_IP_HAS_OPTIONS,
241         NPC_F_IP_6TO4_HAS_OPTIONS,
242         NPC_F_IP_MPLS_IN_IP_HAS_OPTIONS,
243         NPC_F_IP_UNK_PROTO_HAS_OPTIONS,
244         NPC_F_IP6_HAS_EXT,
245         NPC_F_IP6_TUN_IP6,
246         NPC_F_IP6_MPLS_IN_IP,
247         NPC_F_TCP_HAS_OPTIONS,
248         NPC_F_TCP_HTTP,
249         NPC_F_TCP_HTTPS,
250         NPC_F_TCP_PPTP,
251         NPC_F_TCP_UNK_PORT,
252         NPC_F_TCP_HTTP_HAS_OPTIONS,
253         NPC_F_TCP_HTTPS_HAS_OPTIONS,
254         NPC_F_TCP_PPTP_HAS_OPTIONS,
255         NPC_F_TCP_UNK_PORT_HAS_OPTIONS,
256         NPC_F_UDP_VXLAN,
257         NPC_F_UDP_VXLAN_NOVNI,
258         NPC_F_UDP_VXLAN_NOVNI_NSH,
259         NPC_F_UDP_VXLANGPE,
260         NPC_F_UDP_VXLANGPE_NSH,
261         NPC_F_UDP_VXLANGPE_MPLS,
262         NPC_F_UDP_VXLANGPE_NOVNI,
263         NPC_F_UDP_VXLANGPE_NOVNI_NSH,
264         NPC_F_UDP_VXLANGPE_NOVNI_MPLS,
265         NPC_F_UDP_VXLANGPE_UNK,
266         NPC_F_UDP_VXLANGPE_NONP,
267         NPC_F_UDP_GTP_GTPC,
268         NPC_F_UDP_GTP_GTPU_G_PDU,
269         NPC_F_UDP_GTP_GTPU_UNK,
270         NPC_F_UDP_UNK_PORT,
271         NPC_F_UDP_GENEVE,
272         NPC_F_UDP_GENEVE_OAM,
273         NPC_F_UDP_GENEVE_CRI_OPT,
274         NPC_F_UDP_GENEVE_OAM_CRI_OPT,
275         NPC_F_GRE_NVGRE,
276         NPC_F_GRE_HAS_SRE,
277         NPC_F_GRE_HAS_CSUM,
278         NPC_F_GRE_HAS_KEY,
279         NPC_F_GRE_HAS_SEQ,
280         NPC_F_GRE_HAS_CSUM_KEY,
281         NPC_F_GRE_HAS_CSUM_SEQ,
282         NPC_F_GRE_HAS_KEY_SEQ,
283         NPC_F_GRE_HAS_CSUM_KEY_SEQ,
284         NPC_F_GRE_HAS_ROUTE,
285         NPC_F_GRE_UNK_PROTO,
286         NPC_F_GRE_VER1,
287         NPC_F_GRE_VER1_HAS_SEQ,
288         NPC_F_GRE_VER1_HAS_ACK,
289         NPC_F_GRE_VER1_HAS_SEQ_ACK,
290         NPC_F_GRE_VER1_UNK_PROTO,
291         NPC_F_TU_ETHER_UNK,
292         NPC_F_TU_ETHER_CTAG,
293         NPC_F_TU_ETHER_CTAG_UNK,
294         NPC_F_TU_ETHER_STAG_CTAG,
295         NPC_F_TU_ETHER_STAG_CTAG_UNK,
296         NPC_F_TU_ETHER_STAG,
297         NPC_F_TU_ETHER_STAG_UNK,
298         NPC_F_TU_ETHER_QINQ_CTAG,
299         NPC_F_TU_ETHER_QINQ_CTAG_UNK,
300         NPC_F_TU_ETHER_QINQ,
301         NPC_F_TU_ETHER_QINQ_UNK,
302         NPC_F_LAST /* has to be the last item */
303 };
304
305 #define NPC_ACTION_TERM                                                        \
306         (ROC_NPC_ACTION_TYPE_DROP | ROC_NPC_ACTION_TYPE_QUEUE |                \
307          ROC_NPC_ACTION_TYPE_RSS | ROC_NPC_ACTION_TYPE_DUP |                   \
308          ROC_NPC_ACTION_TYPE_SEC)
309
310 struct npc_xtract_info {
311         /* Length in bytes of pkt data extracted. len = 0
312          * indicates that extraction is disabled.
313          */
314         uint8_t len;
315         uint8_t hdr_off;      /* Byte offset of proto hdr: extract_src */
316         uint8_t key_off;      /* Byte offset in MCAM key where data is placed */
317         uint8_t enable;       /* Extraction enabled or disabled */
318         uint8_t flags_enable; /* Flags extraction enabled */
319 };
320
321 /* Information for a given {LAYER, LTYPE} */
322 struct npc_lid_lt_xtract_info {
323         /* Info derived from parser configuration */
324         uint16_t npc_proto;         /* Network protocol identified */
325         uint8_t valid_flags_mask;   /* Flags applicable */
326         uint8_t is_terminating : 1; /* No more parsing */
327         struct npc_xtract_info xtract[NPC_MAX_LD];
328 };
329
330 union npc_kex_ldata_flags_cfg {
331         struct {
332                 uint64_t lid : 3;
333                 uint64_t rvsd_62_1 : 61;
334         } s;
335
336         uint64_t i;
337 };
338
339 typedef struct npc_lid_lt_xtract_info npc_dxcfg_t[NPC_MAX_INTF][NPC_MAX_LID]
340                                                  [NPC_MAX_LT];
341 typedef struct npc_lid_lt_xtract_info npc_fxcfg_t[NPC_MAX_INTF][NPC_MAX_LD]
342                                                  [NPC_MAX_LFL];
343 typedef union npc_kex_ldata_flags_cfg npc_ld_flags_t[NPC_MAX_LD];
344
345 /* MBOX_MSG_NPC_GET_DATAX_CFG Response */
346 struct npc_get_datax_cfg {
347         /* NPC_AF_KEX_LDATA(0..1)_FLAGS_CFG */
348         union npc_kex_ldata_flags_cfg ld_flags[NPC_MAX_LD];
349         /* Extract information indexed with [LID][LTYPE] */
350         struct npc_lid_lt_xtract_info lid_lt_xtract[NPC_MAX_LID][NPC_MAX_LT];
351         /* Flags based extract indexed with [LDATA][FLAGS_LOWER_NIBBLE]
352          * Fields flags_ena_ld0, flags_ena_ld1 in
353          * struct npc_lid_lt_xtract_info indicate if this is applicable
354          * for a given {LAYER, LTYPE}
355          */
356         struct npc_xtract_info flag_xtract[NPC_MAX_LD][NPC_MAX_LT];
357 };
358
359 TAILQ_HEAD(npc_flow_list, roc_npc_flow);
360
361 struct npc_prio_flow_entry {
362         struct roc_npc_flow *flow;
363         TAILQ_ENTRY(npc_prio_flow_entry) next;
364 };
365
366 TAILQ_HEAD(npc_prio_flow_list_head, npc_prio_flow_entry);
367
368 struct npc {
369         struct mbox *mbox;                      /* Mbox */
370         uint32_t keyx_supp_nmask[NPC_MAX_INTF]; /* nibble mask */
371         uint8_t profile_name[MKEX_NAME_LEN];    /* KEX profile name */
372         uint32_t keyx_len[NPC_MAX_INTF];        /* per intf key len in bits */
373         uint32_t datax_len[NPC_MAX_INTF];       /* per intf data len in bits */
374         uint32_t keyw[NPC_MAX_INTF];            /* max key + data len bits */
375         uint32_t mcam_entries;                  /* mcam entries supported */
376         uint16_t channel;                       /* RX Channel number */
377         bool is_sdp_link;
378         uint16_t sdp_channel;
379         uint16_t sdp_channel_mask;
380         uint32_t rss_grps;                      /* rss groups supported */
381         uint16_t flow_prealloc_size;            /* Pre allocated mcam size */
382         uint16_t flow_max_priority;             /* Max priority for flow */
383         uint16_t switch_header_type; /* Supported switch header type */
384         uint32_t vtag_strip_actions; /* vtag insert/strip actions */
385         uint16_t pf_func;            /* pf_func of device */
386         npc_dxcfg_t prx_dxcfg;       /* intf, lid, lt, extract */
387         npc_fxcfg_t prx_fxcfg;       /* Flag extract */
388         npc_ld_flags_t prx_lfcfg;    /* KEX LD_Flags CFG */
389         struct npc_flow_list *flow_list;
390         struct npc_prio_flow_list_head *prio_flow_list;
391         struct plt_bitmap *rss_grp_entries;
392 };
393
394 static inline struct npc *
395 roc_npc_to_npc_priv(struct roc_npc *npc)
396 {
397         return (struct npc *)npc->reserved;
398 }
399
400 int npc_mcam_free_counter(struct npc *npc, uint16_t ctr_id);
401 int npc_mcam_read_counter(struct npc *npc, uint32_t ctr_id, uint64_t *count);
402 int npc_mcam_clear_counter(struct npc *npc, uint32_t ctr_id);
403 int npc_mcam_free_entry(struct npc *npc, uint32_t entry);
404 int npc_mcam_free_all_entries(struct npc *npc);
405 int npc_mcam_alloc_and_write(struct npc *npc, struct roc_npc_flow *flow,
406                              struct npc_parse_state *pst);
407 int npc_mcam_alloc_entry(struct npc *npc, struct roc_npc_flow *mcam,
408                          struct roc_npc_flow *ref_mcam, int prio,
409                          int *resp_count);
410 int npc_mcam_alloc_entries(struct npc *npc, int ref_mcam, int *alloc_entry,
411                            int req_count, int prio, int *resp_count);
412
413 int npc_mcam_ena_dis_entry(struct npc *npc, struct roc_npc_flow *mcam,
414                            bool enable);
415 int npc_mcam_write_entry(struct npc *npc, struct roc_npc_flow *mcam);
416 int npc_flow_enable_all_entries(struct npc *npc, bool enable);
417 int npc_update_parse_state(struct npc_parse_state *pst,
418                            struct npc_parse_item_info *info, int lid, int lt,
419                            uint8_t flags);
420 void npc_get_hw_supp_mask(struct npc_parse_state *pst,
421                           struct npc_parse_item_info *info, int lid, int lt);
422 int npc_parse_item_basic(const struct roc_npc_item_info *item,
423                          struct npc_parse_item_info *info);
424 int npc_parse_meta_items(struct npc_parse_state *pst);
425 int npc_parse_mark_item(struct npc_parse_state *pst);
426 int npc_parse_pre_l2(struct npc_parse_state *pst);
427 int npc_parse_higig2_hdr(struct npc_parse_state *pst);
428 int npc_parse_cpt_hdr(struct npc_parse_state *pst);
429 int npc_parse_la(struct npc_parse_state *pst);
430 int npc_parse_lb(struct npc_parse_state *pst);
431 int npc_parse_lc(struct npc_parse_state *pst);
432 int npc_parse_ld(struct npc_parse_state *pst);
433 int npc_parse_le(struct npc_parse_state *pst);
434 int npc_parse_lf(struct npc_parse_state *pst);
435 int npc_parse_lg(struct npc_parse_state *pst);
436 int npc_parse_lh(struct npc_parse_state *pst);
437 int npc_mcam_fetch_kex_cfg(struct npc *npc);
438 int npc_get_free_mcam_entry(struct mbox *mbox, struct roc_npc_flow *flow,
439                             struct npc *npc);
440 void npc_delete_prio_list_entry(struct npc *npc, struct roc_npc_flow *flow);
441 int npc_flow_free_all_resources(struct npc *npc);
442 const struct roc_npc_item_info *
443 npc_parse_skip_void_and_any_items(const struct roc_npc_item_info *pattern);
444 int npc_program_mcam(struct npc *npc, struct npc_parse_state *pst,
445                      bool mcam_alloc);
446 uint64_t npc_get_kex_capability(struct npc *npc);
447 int npc_rss_free_grp_get(struct npc *npc, uint32_t *grp);
448 int npc_rss_action_configure(struct roc_npc *roc_npc,
449                              const struct roc_npc_action_rss *rss,
450                              uint8_t *alg_idx, uint32_t *rss_grp,
451                              uint32_t mcam_id);
452 int npc_rss_action_program(struct roc_npc *roc_npc,
453                            const struct roc_npc_action actions[],
454                            struct roc_npc_flow *flow);
455 int npc_rss_group_free(struct npc *npc, struct roc_npc_flow *flow);
456 #endif /* _ROC_NPC_PRIV_H_ */