drivers/common/cnxk/roc_npc_priv.h

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  * Copyright(C) 2021 Marvell.
   3  */
   4
   5 #ifndef _ROC_NPC_PRIV_H_
   6 #define _ROC_NPC_PRIV_H_
   7
   8 #define NPC_IH_LENGTH        8
   9 #define NPC_TPID_LENGTH      2
  10 #define NPC_HIGIG2_LENGTH    16
  11 #define NPC_MAX_RAW_ITEM_LEN 16
  12 #define NPC_COUNTER_NONE     (-1)
  13
  14 #define NPC_RSS_GRPS 8
  15
  16 #define NPC_ACTION_FLAG_DEFAULT 0xffff
  17
  18 #define NPC_PFVF_FUNC_MASK 0x3FF
  19
  20 /* 32 bytes from LDATA_CFG & 32 bytes from FLAGS_CFG */
  21 #define NPC_MAX_EXTRACT_DATA_LEN (64)
  22 #define NPC_MAX_EXTRACT_HW_LEN   (4 * NPC_MAX_EXTRACT_DATA_LEN)
  23 #define NPC_LDATA_LFLAG_LEN      (16)
  24 #define NPC_MAX_KEY_NIBBLES      (31)
  25
  26 /* Nibble offsets */
  27 #define NPC_LAYER_KEYX_SZ         (3)
  28 #define NPC_PARSE_KEX_S_LA_OFFSET (7)
  29 #define NPC_PARSE_KEX_S_LID_OFFSET(lid)                                        \
  30         ((((lid) - (NPC_LID_LA)) * NPC_LAYER_KEYX_SZ) +                        \
  31          NPC_PARSE_KEX_S_LA_OFFSET)
  32
  33 /* This mark value indicates flag action */
  34 #define NPC_FLOW_FLAG_VAL (0xffff)
  35
  36 #define NPC_RX_ACT_MATCH_OFFSET (40)
  37 #define NPC_RX_ACT_MATCH_MASK   (0xFFFF)
  38
  39 #define NPC_RSS_ACT_GRP_OFFSET (20)
  40 #define NPC_RSS_ACT_ALG_OFFSET (56)
  41 #define NPC_RSS_ACT_GRP_MASK   (0xFFFFF)
  42 #define NPC_RSS_ACT_ALG_MASK   (0x1F)
  43
  44 #define NPC_MCAM_KEX_FIELD_MAX    23
  45 #define NPC_MCAM_MAX_PROTO_FIELDS (NPC_MCAM_KEX_FIELD_MAX + 1)
  46 #define NPC_MCAM_KEY_X4_WORDS     7 /* Number of 64-bit words */
  47
  48 #define NPC_RVUPF_MAX_9XXX 0x10 /* HRM: RVU_PRIV_CONST */
  49 #define NPC_RVUPF_MAX_10XX 0x20 /* HRM: RVU_PRIV_CONST */
  50 #define NPC_NIXLF_MAX      0x80 /* HRM: NIX_AF_CONST2 */
  51 #define NPC_MCAME_PER_PF   3    /* DRV: RSVD_MCAM_ENTRIES_PER_PF */
  52 #define NPC_MCAME_PER_LF   1    /* DRV: RSVD_MCAM_ENTRIES_PER_NIXLF */
  53 #define NPC_MCAME_RESVD_9XXX                                                   \
  54         (NPC_NIXLF_MAX * NPC_MCAME_PER_LF +                                    \
  55          (NPC_RVUPF_MAX_9XXX - 1) * NPC_MCAME_PER_PF)
  56
  57 #define NPC_MCAME_RESVD_10XX                                                   \
  58         (NPC_NIXLF_MAX * NPC_MCAME_PER_LF +                                    \
  59          (NPC_RVUPF_MAX_10XX - 1) * NPC_MCAME_PER_PF)
  60
  61 #define NPC_ACTION_MAX_VLAN_PARAMS    3
  62 #define NPC_ACTION_MAX_VLANS_STRIPPED 2
  63
  64 struct npc_action_vtag_info {
  65         uint16_t vlan_id;
  66         uint16_t vlan_ethtype;
  67         uint8_t vlan_pcp;
  68 };
  69
  70 enum npc_err_status {
  71         NPC_ERR_PARAM = -1024,
  72         NPC_ERR_NO_MEM,
  73         NPC_ERR_INVALID_SPEC,
  74         NPC_ERR_INVALID_MASK,
  75         NPC_ERR_INVALID_RANGE,
  76         NPC_ERR_INVALID_KEX,
  77         NPC_ERR_INVALID_SIZE,
  78         NPC_ERR_INTERNAL,
  79         NPC_ERR_MCAM_ALLOC,
  80         NPC_ERR_ACTION_NOTSUP,
  81         NPC_ERR_PATTERN_NOTSUP,
  82 };
  83
  84 enum npc_mcam_intf { NPC_MCAM_RX, NPC_MCAM_TX };
  85
  86 typedef union npc_kex_cap_terms_t {
  87         struct {
  88                 /** Total length of received packet */
  89                 uint64_t len : 1;
  90                 /** Initial (outer) Ethertype only */
  91                 uint64_t ethtype_0 : 1;
  92                 /** Ethertype of most inner VLAN tag */
  93                 uint64_t ethtype_x : 1;
  94                 /** First VLAN ID (outer) */
  95                 uint64_t vlan_id_0 : 1;
  96                 /** Last VLAN ID (inner) */
  97                 uint64_t vlan_id_x : 1;
  98                 /** destination MAC address */
  99                 uint64_t dmac : 1;
 100                 /** IP Protocol or IPv6 Next Header */
 101                 uint64_t ip_proto : 1;
 102                 /** Destination UDP port, implies IPPROTO=17 */
 103                 uint64_t udp_dport : 1;
 104                 /** Destination TCP port implies IPPROTO=6 */
 105                 uint64_t tcp_dport : 1;
 106                 /** Source UDP Port */
 107                 uint64_t udp_sport : 1;
 108                 /** Source TCP port */
 109                 uint64_t tcp_sport : 1;
 110                 /** Source IP address */
 111                 uint64_t sip_addr : 1;
 112                 /** Destination IP address */
 113                 uint64_t dip_addr : 1;
 114                 /** Source IP address */
 115                 uint64_t sip6_addr : 1;
 116                 /** Destination IP address */
 117                 uint64_t dip6_addr : 1;
 118                 /** IPsec session identifier */
 119                 uint64_t ipsec_spi : 1;
 120                 /** NVGRE/VXLAN network identifier */
 121                 uint64_t ld_vni : 1;
 122                 /** Custom frame match rule. PMR offset is counted from
 123                  *  the start of the packet.
 124                  */
 125                 uint64_t custom_frame : 1;
 126                 /** Custom layer 3 match rule. PMR offset is counted from
 127                  *  the start of layer 3 in the packet.
 128                  */
 129                 uint64_t custom_l3 : 1;
 130                 /** IGMP Group address */
 131                 uint64_t igmp_grp_addr : 1;
 132                 /** ICMP identifier */
 133                 uint64_t icmp_id : 1;
 134                 /** ICMP type */
 135                 uint64_t icmp_type : 1;
 136                 /** ICMP code */
 137                 uint64_t icmp_code : 1;
 138                 /** Source SCTP port */
 139                 uint64_t sctp_sport : 1;
 140                 /** Destination SCTP port */
 141                 uint64_t sctp_dport : 1;
 142                 /** GTPU Tunnel endpoint identifier */
 143                 uint64_t gtpu_teid : 1;
 144
 145         } bit;
 146         /** All bits of the bit field structure */
 147         uint64_t all_bits;
 148 } npc_kex_cap_terms_t;
 149
 150 struct npc_parse_item_info {
 151         const void *def_mask; /* default mask */
 152         void *hw_mask;        /* hardware supported mask */
 153         int len;              /* length of item */
 154         const void *spec;     /* spec to use, NULL implies match any */
 155         const void *mask;     /* mask to use */
 156         uint8_t hw_hdr_len;   /* Extra data len at each layer*/
 157 };
 158
 159 struct npc_parse_state {
 160         struct npc *npc;
 161         const struct roc_npc_item_info *pattern;
 162         const struct roc_npc_item_info *last_pattern;
 163         struct roc_npc_flow *flow;
 164         uint8_t nix_intf;
 165         uint8_t tunnel;
 166         uint8_t terminate;
 167         uint8_t layer_mask;
 168         uint8_t lt[NPC_MAX_LID];
 169         uint8_t flags[NPC_MAX_LID];
 170         uint8_t *mcam_data; /* point to flow->mcam_data + key_len */
 171         uint8_t *mcam_mask; /* point to flow->mcam_mask + key_len */
 172         bool is_vf;
 173 };
 174
 175 enum npc_kpu_parser_flag {
 176         NPC_F_NA = 0,
 177         NPC_F_PKI,
 178         NPC_F_PKI_VLAN,
 179         NPC_F_PKI_ETAG,
 180         NPC_F_PKI_ITAG,
 181         NPC_F_PKI_MPLS,
 182         NPC_F_PKI_NSH,
 183         NPC_F_ETYPE_UNK,
 184         NPC_F_ETHER_VLAN,
 185         NPC_F_ETHER_ETAG,
 186         NPC_F_ETHER_ITAG,
 187         NPC_F_ETHER_MPLS,
 188         NPC_F_ETHER_NSH,
 189         NPC_F_STAG_CTAG,
 190         NPC_F_STAG_CTAG_UNK,
 191         NPC_F_STAG_STAG_CTAG,
 192         NPC_F_STAG_STAG_STAG,
 193         NPC_F_QINQ_CTAG,
 194         NPC_F_QINQ_CTAG_UNK,
 195         NPC_F_QINQ_QINQ_CTAG,
 196         NPC_F_QINQ_QINQ_QINQ,
 197         NPC_F_BTAG_ITAG,
 198         NPC_F_BTAG_ITAG_STAG,
 199         NPC_F_BTAG_ITAG_CTAG,
 200         NPC_F_BTAG_ITAG_UNK,
 201         NPC_F_ETAG_CTAG,
 202         NPC_F_ETAG_BTAG_ITAG,
 203         NPC_F_ETAG_STAG,
 204         NPC_F_ETAG_QINQ,
 205         NPC_F_ETAG_ITAG,
 206         NPC_F_ETAG_ITAG_STAG,
 207         NPC_F_ETAG_ITAG_CTAG,
 208         NPC_F_ETAG_ITAG_UNK,
 209         NPC_F_ITAG_STAG_CTAG,
 210         NPC_F_ITAG_STAG,
 211         NPC_F_ITAG_CTAG,
 212         NPC_F_MPLS_4_LABELS,
 213         NPC_F_MPLS_3_LABELS,
 214         NPC_F_MPLS_2_LABELS,
 215         NPC_F_IP_HAS_OPTIONS,
 216         NPC_F_IP_IP_IN_IP,
 217         NPC_F_IP_6TO4,
 218         NPC_F_IP_MPLS_IN_IP,
 219         NPC_F_IP_UNK_PROTO,
 220         NPC_F_IP_IP_IN_IP_HAS_OPTIONS,
 221         NPC_F_IP_6TO4_HAS_OPTIONS,
 222         NPC_F_IP_MPLS_IN_IP_HAS_OPTIONS,
 223         NPC_F_IP_UNK_PROTO_HAS_OPTIONS,
 224         NPC_F_IP6_HAS_EXT,
 225         NPC_F_IP6_TUN_IP6,
 226         NPC_F_IP6_MPLS_IN_IP,
 227         NPC_F_TCP_HAS_OPTIONS,
 228         NPC_F_TCP_HTTP,
 229         NPC_F_TCP_HTTPS,
 230         NPC_F_TCP_PPTP,
 231         NPC_F_TCP_UNK_PORT,
 232         NPC_F_TCP_HTTP_HAS_OPTIONS,
 233         NPC_F_TCP_HTTPS_HAS_OPTIONS,
 234         NPC_F_TCP_PPTP_HAS_OPTIONS,
 235         NPC_F_TCP_UNK_PORT_HAS_OPTIONS,
 236         NPC_F_UDP_VXLAN,
 237         NPC_F_UDP_VXLAN_NOVNI,
 238         NPC_F_UDP_VXLAN_NOVNI_NSH,
 239         NPC_F_UDP_VXLANGPE,
 240         NPC_F_UDP_VXLANGPE_NSH,
 241         NPC_F_UDP_VXLANGPE_MPLS,
 242         NPC_F_UDP_VXLANGPE_NOVNI,
 243         NPC_F_UDP_VXLANGPE_NOVNI_NSH,
 244         NPC_F_UDP_VXLANGPE_NOVNI_MPLS,
 245         NPC_F_UDP_VXLANGPE_UNK,
 246         NPC_F_UDP_VXLANGPE_NONP,
 247         NPC_F_UDP_GTP_GTPC,
 248         NPC_F_UDP_GTP_GTPU_G_PDU,
 249         NPC_F_UDP_GTP_GTPU_UNK,
 250         NPC_F_UDP_UNK_PORT,
 251         NPC_F_UDP_GENEVE,
 252         NPC_F_UDP_GENEVE_OAM,
 253         NPC_F_UDP_GENEVE_CRI_OPT,
 254         NPC_F_UDP_GENEVE_OAM_CRI_OPT,
 255         NPC_F_GRE_NVGRE,
 256         NPC_F_GRE_HAS_SRE,
 257         NPC_F_GRE_HAS_CSUM,
 258         NPC_F_GRE_HAS_KEY,
 259         NPC_F_GRE_HAS_SEQ,
 260         NPC_F_GRE_HAS_CSUM_KEY,
 261         NPC_F_GRE_HAS_CSUM_SEQ,
 262         NPC_F_GRE_HAS_KEY_SEQ,
 263         NPC_F_GRE_HAS_CSUM_KEY_SEQ,
 264         NPC_F_GRE_HAS_ROUTE,
 265         NPC_F_GRE_UNK_PROTO,
 266         NPC_F_GRE_VER1,
 267         NPC_F_GRE_VER1_HAS_SEQ,
 268         NPC_F_GRE_VER1_HAS_ACK,
 269         NPC_F_GRE_VER1_HAS_SEQ_ACK,
 270         NPC_F_GRE_VER1_UNK_PROTO,
 271         NPC_F_TU_ETHER_UNK,
 272         NPC_F_TU_ETHER_CTAG,
 273         NPC_F_TU_ETHER_CTAG_UNK,
 274         NPC_F_TU_ETHER_STAG_CTAG,
 275         NPC_F_TU_ETHER_STAG_CTAG_UNK,
 276         NPC_F_TU_ETHER_STAG,
 277         NPC_F_TU_ETHER_STAG_UNK,
 278         NPC_F_TU_ETHER_QINQ_CTAG,
 279         NPC_F_TU_ETHER_QINQ_CTAG_UNK,
 280         NPC_F_TU_ETHER_QINQ,
 281         NPC_F_TU_ETHER_QINQ_UNK,
 282         NPC_F_LAST /* has to be the last item */
 283 };
 284
 285 #define NPC_ACTION_TERM                                                        \
 286         (ROC_NPC_ACTION_TYPE_DROP | ROC_NPC_ACTION_TYPE_QUEUE |                \
 287          ROC_NPC_ACTION_TYPE_RSS | ROC_NPC_ACTION_TYPE_DUP |                   \
 288          ROC_NPC_ACTION_TYPE_SEC)
 289
 290 struct npc_xtract_info {
 291         /* Length in bytes of pkt data extracted. len = 0
 292          * indicates that extraction is disabled.
 293          */
 294         uint8_t len;
 295         uint8_t hdr_off;      /* Byte offset of proto hdr: extract_src */
 296         uint8_t key_off;      /* Byte offset in MCAM key where data is placed */
 297         uint8_t enable;       /* Extraction enabled or disabled */
 298         uint8_t flags_enable; /* Flags extraction enabled */
 299 };
 300
 301 /* Information for a given {LAYER, LTYPE} */
 302 struct npc_lid_lt_xtract_info {
 303         /* Info derived from parser configuration */
 304         uint16_t npc_proto;         /* Network protocol identified */
 305         uint8_t valid_flags_mask;   /* Flags applicable */
 306         uint8_t is_terminating : 1; /* No more parsing */
 307         struct npc_xtract_info xtract[NPC_MAX_LD];
 308 };
 309
 310 union npc_kex_ldata_flags_cfg {
 311         struct {
 312                 uint64_t lid : 3;
 313                 uint64_t rvsd_62_1 : 61;
 314         } s;
 315
 316         uint64_t i;
 317 };
 318
 319 typedef struct npc_lid_lt_xtract_info npc_dxcfg_t[NPC_MAX_INTF][NPC_MAX_LID]
 320                                                  [NPC_MAX_LT];
 321 typedef struct npc_lid_lt_xtract_info npc_fxcfg_t[NPC_MAX_INTF][NPC_MAX_LD]
 322                                                  [NPC_MAX_LFL];
 323 typedef union npc_kex_ldata_flags_cfg npc_ld_flags_t[NPC_MAX_LD];
 324
 325 /* MBOX_MSG_NPC_GET_DATAX_CFG Response */
 326 struct npc_get_datax_cfg {
 327         /* NPC_AF_KEX_LDATA(0..1)_FLAGS_CFG */
 328         union npc_kex_ldata_flags_cfg ld_flags[NPC_MAX_LD];
 329         /* Extract information indexed with [LID][LTYPE] */
 330         struct npc_lid_lt_xtract_info lid_lt_xtract[NPC_MAX_LID][NPC_MAX_LT];
 331         /* Flags based extract indexed with [LDATA][FLAGS_LOWER_NIBBLE]
 332          * Fields flags_ena_ld0, flags_ena_ld1 in
 333          * struct npc_lid_lt_xtract_info indicate if this is applicable
 334          * for a given {LAYER, LTYPE}
 335          */
 336         struct npc_xtract_info flag_xtract[NPC_MAX_LD][NPC_MAX_LT];
 337 };
 338
 339 TAILQ_HEAD(npc_flow_list, roc_npc_flow);
 340
 341 struct npc_mcam_ents_info {
 342         /* Current max & min values of mcam index */
 343         uint32_t max_id;
 344         uint32_t min_id;
 345         uint32_t free_ent;
 346         uint32_t live_ent;
 347 };
 348
 349 struct npc {
 350         struct mbox *mbox;                      /* Mbox */
 351         uint32_t keyx_supp_nmask[NPC_MAX_INTF]; /* nibble mask */
 352         uint8_t profile_name[MKEX_NAME_LEN];    /* KEX profile name */
 353         uint32_t keyx_len[NPC_MAX_INTF];        /* per intf key len in bits */
 354         uint32_t datax_len[NPC_MAX_INTF];       /* per intf data len in bits */
 355         uint32_t keyw[NPC_MAX_INTF];            /* max key + data len bits */
 356         uint32_t mcam_entries;                  /* mcam entries supported */
 357         uint16_t channel;                       /* RX Channel number */
 358         uint32_t rss_grps;                      /* rss groups supported */
 359         uint16_t flow_prealloc_size;            /* Pre allocated mcam size */
 360         uint16_t flow_max_priority;             /* Max priority for flow */
 361         uint16_t switch_header_type; /* Suppprted switch header type */
 362         uint32_t mark_actions;       /* Number of mark actions */
 363         uint32_t vtag_strip_actions; /* vtag insert/strip actions */
 364         uint16_t pf_func;            /* pf_func of device */
 365         npc_dxcfg_t prx_dxcfg;       /* intf, lid, lt, extract */
 366         npc_fxcfg_t prx_fxcfg;       /* Flag extract */
 367         npc_ld_flags_t prx_lfcfg;    /* KEX LD_Flags CFG */
 368         /* mcam entry info per priority level: both free & in-use */
 369         struct npc_mcam_ents_info *flow_entry_info;
 370         /* Bitmap of free preallocated entries in ascending index &
 371          * descending priority
 372          */
 373         struct plt_bitmap **free_entries;
 374         /* Bitmap of free preallocated entries in descending index &
 375          * ascending priority
 376          */
 377         struct plt_bitmap **free_entries_rev;
 378         /* Bitmap of live entries in ascending index & descending priority */
 379         struct plt_bitmap **live_entries;
 380         /* Bitmap of live entries in descending index & ascending priority */
 381         struct plt_bitmap **live_entries_rev;
 382         /* Priority bucket wise tail queue of all npc_flow resources */
 383         struct npc_flow_list *flow_list;
 384         struct plt_bitmap *rss_grp_entries;
 385 };
 386
 387 static inline struct npc *
 388 roc_npc_to_npc_priv(struct roc_npc *npc)
 389 {
 390         return (struct npc *)npc->reserved;
 391 }
 392
 393 int npc_mcam_free_counter(struct npc *npc, uint16_t ctr_id);
 394 int npc_mcam_read_counter(struct npc *npc, uint32_t ctr_id, uint64_t *count);
 395 int npc_mcam_clear_counter(struct npc *npc, uint32_t ctr_id);
 396 int npc_mcam_free_entry(struct npc *npc, uint32_t entry);
 397 int npc_mcam_free_all_entries(struct npc *npc);
 398 int npc_mcam_alloc_and_write(struct npc *npc, struct roc_npc_flow *flow,
 399                              struct npc_parse_state *pst);
 400 int npc_mcam_alloc_entry(struct npc *npc, struct roc_npc_flow *mcam,
 401                          struct roc_npc_flow *ref_mcam, int prio,
 402                          int *resp_count);
 403 int npc_mcam_alloc_entries(struct npc *npc, int ref_mcam, int *alloc_entry,
 404                            int req_count, int prio, int *resp_count);
 405
 406 int npc_mcam_ena_dis_entry(struct npc *npc, struct roc_npc_flow *mcam,
 407                            bool enable);
 408 int npc_mcam_write_entry(struct npc *npc, struct roc_npc_flow *mcam);
 409 int npc_update_parse_state(struct npc_parse_state *pst,
 410                            struct npc_parse_item_info *info, int lid, int lt,
 411                            uint8_t flags);
 412 void npc_get_hw_supp_mask(struct npc_parse_state *pst,
 413                           struct npc_parse_item_info *info, int lid, int lt);
 414 int npc_parse_item_basic(const struct roc_npc_item_info *item,
 415                          struct npc_parse_item_info *info);
 416 int npc_parse_meta_items(struct npc_parse_state *pst);
 417 int npc_parse_higig2_hdr(struct npc_parse_state *pst);
 418 int npc_parse_cpt_hdr(struct npc_parse_state *pst);
 419 int npc_parse_la(struct npc_parse_state *pst);
 420 int npc_parse_lb(struct npc_parse_state *pst);
 421 int npc_parse_lc(struct npc_parse_state *pst);
 422 int npc_parse_ld(struct npc_parse_state *pst);
 423 int npc_parse_le(struct npc_parse_state *pst);
 424 int npc_parse_lf(struct npc_parse_state *pst);
 425 int npc_parse_lg(struct npc_parse_state *pst);
 426 int npc_parse_lh(struct npc_parse_state *pst);
 427 int npc_mcam_fetch_kex_cfg(struct npc *npc);
 428 int npc_check_preallocated_entry_cache(struct mbox *mbox,
 429                                        struct roc_npc_flow *flow,
 430                                        struct npc *npc);
 431 int npc_flow_free_all_resources(struct npc *npc);
 432 const struct roc_npc_item_info *
 433 npc_parse_skip_void_and_any_items(const struct roc_npc_item_info *pattern);
 434 int npc_program_mcam(struct npc *npc, struct npc_parse_state *pst,
 435                      bool mcam_alloc);
 436 uint64_t npc_get_kex_capability(struct npc *npc);
 437 int npc_rss_free_grp_get(struct npc *npc, uint32_t *grp);
 438 int npc_rss_action_configure(struct roc_npc *roc_npc,
 439                              const struct roc_npc_action_rss *rss,
 440                              uint8_t *alg_idx, uint32_t *rss_grp,
 441                              uint32_t mcam_id);
 442 int npc_rss_action_program(struct roc_npc *roc_npc,
 443                            const struct roc_npc_action actions[],
 444                            struct roc_npc_flow *flow);
 445 int npc_rss_group_free(struct npc *npc, struct roc_npc_flow *flow);
 446 #endif /* _ROC_NPC_PRIV_H_ */