net/mlx5: optimize meter statistics
[dpdk.git] / drivers / net / mlx5 / mlx5_flow.h
index 70fa028..3145f8f 100644 (file)
@@ -5,11 +5,10 @@
 #ifndef RTE_PMD_MLX5_FLOW_H_
 #define RTE_PMD_MLX5_FLOW_H_
 
-#include <netinet/in.h>
-#include <sys/queue.h>
 #include <stdalign.h>
 #include <stdint.h>
 #include <string.h>
+#include <sys/queue.h>
 
 #include <rte_alarm.h>
 #include <rte_mtr.h>
@@ -39,11 +38,11 @@ enum mlx5_rte_flow_action_type {
        MLX5_RTE_FLOW_ACTION_TYPE_AGE,
 };
 
-#define MLX5_SHARED_ACTION_TYPE_OFFSET 30
+#define MLX5_INDIRECT_ACTION_TYPE_OFFSET 30
 
 enum {
-       MLX5_SHARED_ACTION_TYPE_RSS,
-       MLX5_SHARED_ACTION_TYPE_AGE,
+       MLX5_INDIRECT_ACTION_TYPE_RSS,
+       MLX5_INDIRECT_ACTION_TYPE_AGE,
 };
 
 /* Matches on selected register. */
@@ -79,7 +78,8 @@ enum mlx5_feature_name {
        MLX5_APP_TAG,
        MLX5_COPY_MARK,
        MLX5_MTR_COLOR,
-       MLX5_MTR_SFX,
+       MLX5_MTR_ID,
+       MLX5_ASO_FLOW_HIT,
 };
 
 /* Default queue number. */
@@ -137,6 +137,10 @@ enum mlx5_feature_name {
 #define MLX5_FLOW_LAYER_OUTER_L3_IPV6_FRAG_EXT (1u << 30)
 #define MLX5_FLOW_LAYER_INNER_L3_IPV6_FRAG_EXT (1u << 31)
 
+/* Pattern tunnel Layer bits (continued). */
+#define MLX5_FLOW_LAYER_GENEVE_OPT (UINT64_C(1) << 32)
+#define MLX5_FLOW_LAYER_GTP_PSC (UINT64_C(1) << 33)
+
 /* Outer Masks. */
 #define MLX5_FLOW_LAYER_OUTER_L3 \
        (MLX5_FLOW_LAYER_OUTER_L3_IPV4 | MLX5_FLOW_LAYER_OUTER_L3_IPV6)
@@ -214,6 +218,7 @@ enum mlx5_feature_name {
 #define MLX5_FLOW_ACTION_SAMPLE (1ull << 36)
 #define MLX5_FLOW_ACTION_TUNNEL_SET (1ull << 37)
 #define MLX5_FLOW_ACTION_TUNNEL_MATCH (1ull << 38)
+#define MLX5_FLOW_ACTION_MODIFY_FIELD (1ull << 39)
 
 #define MLX5_FLOW_FATE_ACTIONS \
        (MLX5_FLOW_ACTION_DROP | MLX5_FLOW_ACTION_QUEUE | \
@@ -244,7 +249,8 @@ enum mlx5_feature_name {
                                      MLX5_FLOW_ACTION_MARK_EXT | \
                                      MLX5_FLOW_ACTION_SET_META | \
                                      MLX5_FLOW_ACTION_SET_IPV4_DSCP | \
-                                     MLX5_FLOW_ACTION_SET_IPV6_DSCP)
+                                     MLX5_FLOW_ACTION_SET_IPV6_DSCP | \
+                                     MLX5_FLOW_ACTION_MODIFY_FIELD)
 
 #define MLX5_FLOW_VLAN_ACTIONS (MLX5_FLOW_ACTION_OF_POP_VLAN | \
                                MLX5_FLOW_ACTION_OF_PUSH_VLAN)
@@ -265,8 +271,15 @@ enum mlx5_feature_name {
 /* UDP port numbers for GENEVE. */
 #define MLX5_UDP_PORT_GENEVE 6081
 
-/* Priority reserved for default flows. */
-#define MLX5_FLOW_PRIO_RSVD ((uint32_t)-1)
+/* Lowest priority indicator. */
+#define MLX5_FLOW_LOWEST_PRIO_INDICATOR ((uint32_t)-1)
+
+/*
+ * Max priority for ingress\egress flow groups
+ * greater than 0 and for any transfer flow group.
+ * From user configation: 0 - 21843.
+ */
+#define MLX5_NON_ROOT_FLOW_MAX_PRIO    (21843 + 1)
 
 /*
  * Number of sub priorities.
@@ -325,7 +338,7 @@ enum mlx5_feature_name {
 #define MLX5_GENEVE_VER_VAL(a) \
                (((a) >> (MLX5_GENEVE_VER_SHIFT)) & (MLX5_GENEVE_VER_MASK))
 #define MLX5_GENEVE_OPTLEN_MASK 0x3F
-#define MLX5_GENEVE_OPTLEN_SHIFT 7
+#define MLX5_GENEVE_OPTLEN_SHIFT 8
 #define MLX5_GENEVE_OPTLEN_VAL(a) \
            (((a) >> (MLX5_GENEVE_OPTLEN_SHIFT)) & (MLX5_GENEVE_OPTLEN_MASK))
 #define MLX5_GENEVE_OAMF_MASK 0x1
@@ -347,6 +360,14 @@ enum mlx5_feature_name {
 
 #define MLX5_ENCAPSULATION_DECISION_SIZE (sizeof(struct rte_ether_hdr) + \
                                          sizeof(struct rte_ipv4_hdr))
+/* GTP extension header flag. */
+#define MLX5_GTP_EXT_HEADER_FLAG 4
+
+/* GTP extension header max PDU type value. */
+#define MLX5_GTP_EXT_MAX_PDU_TYPE 15
+
+/* GTP extension header PDU type shift. */
+#define MLX5_GTP_PDU_TYPE_SHIFT(a) ((a) << 4)
 
 /* IPv4 fragment_offset field contains relevant data in bits 2 to 15. */
 #define MLX5_IPV4_FRAG_OFFSET_MASK \
@@ -373,6 +394,9 @@ enum mlx5_feature_name {
 #define MLX5_ACT_NUM_SET_META          MLX5_ACT_NUM_SET_TAG
 #define MLX5_ACT_NUM_SET_DSCP          1
 
+/* Maximum number of fields to modify in MODIFY_FIELD */
+#define MLX5_ACT_MAX_MOD_FIELDS 5
+
 enum mlx5_flow_drv_type {
        MLX5_FLOW_TYPE_MIN,
        MLX5_FLOW_TYPE_DV,
@@ -436,6 +460,7 @@ struct mlx5_flow_dv_tag_resource {
        /**< Tag action object. */
        uint32_t refcnt; /**< Reference counter. */
        uint32_t idx; /**< Index for the index memory pool. */
+       uint32_t tag_id; /**< Tag ID. */
 };
 
 /*
@@ -508,6 +533,7 @@ struct mlx5_flow_mreg_copy_resource {
        /* List entry for device flows. */
        uint32_t idx;
        uint32_t rix_flow; /* Built flow for copy. */
+       uint32_t mark_id;
 };
 
 /* Table tunnel parameter. */
@@ -531,9 +557,13 @@ struct mlx5_flow_tbl_data_entry {
        /**< tunnel offload */
        const struct mlx5_flow_tunnel *tunnel;
        uint32_t group_id;
-       bool external;
-       bool tunnel_offload; /* Tunnel offlod table or not. */
-       bool is_egress; /**< Egress table. */
+       uint32_t external:1;
+       uint32_t tunnel_offload:1; /* Tunnel offlod table or not. */
+       uint32_t is_egress:1; /**< Egress table. */
+       uint32_t is_transfer:1; /**< Transfer table. */
+       uint32_t dummy:1; /**<  DR table. */
+       uint32_t reserve:27; /**< Reserved to future using. */
+       uint32_t table_id; /**< Table ID. */
 };
 
 /* Sub rdma-core actions list. */
@@ -545,15 +575,16 @@ struct mlx5_flow_sub_actions_list {
        void *dr_cnt_action;
        void *dr_port_id_action;
        void *dr_encap_action;
+       void *dr_jump_action;
 };
 
 /* Sample sub-actions resource list. */
 struct mlx5_flow_sub_actions_idx {
        uint32_t rix_hrxq; /**< Hash Rx queue object index. */
        uint32_t rix_tag; /**< Index to the tag action. */
-       uint32_t cnt;
        uint32_t rix_port_id_action; /**< Index to port ID action resource. */
        uint32_t rix_encap_decap; /**< Index to encap/decap resource. */
+       uint32_t rix_jump; /**< Index to the jump action resource. */
 };
 
 /* Sample action resource structure. */
@@ -570,7 +601,6 @@ struct mlx5_flow_dv_sample_resource {
        uint32_t ratio;   /** Sample Ratio */
        uint64_t set_action; /** Restore reg_c0 value */
        void *normal_path_tbl; /** Flow Table pointer */
-       void *default_miss; /** default_miss dr_action. */
        struct mlx5_flow_sub_actions_idx sample_idx;
        /**< Action index resources. */
        struct mlx5_flow_sub_actions_list sample_act;
@@ -593,12 +623,6 @@ struct mlx5_flow_dv_dest_array_resource {
        /**< Action resources. */
 };
 
-/* Verbs specification header. */
-struct ibv_spec_header {
-       enum ibv_flow_spec_type type;
-       uint16_t size;
-};
-
 /* PMD flow priority for tunnel */
 #define MLX5_TUNNEL_PRIO_GET(rss_desc) \
        ((rss_desc)->level >= 2 ? MLX5_PRIORITY_MAP_L2 : MLX5_PRIORITY_MAP_L4)
@@ -630,7 +654,8 @@ struct mlx5_flow_handle {
        uint64_t layers;
        /**< Bit-fields of present layers, see MLX5_FLOW_LAYER_*. */
        void *drv_flow; /**< pointer to driver flow object. */
-       uint32_t split_flow_id:28; /**< Sub flow unique match flow id. */
+       uint32_t split_flow_id:27; /**< Sub flow unique match flow id. */
+       uint32_t is_meter_flow_id:1; /**< Indate if flow_id is for meter. */
        uint32_t mark:1; /**< Metadate rxq mark flag. */
        uint32_t fate_action:3; /**< Fate action type. */
        union {
@@ -645,7 +670,7 @@ struct mlx5_flow_handle {
                uint32_t rix_srss;
                /**< Indicates shared RSS fate action. */
        };
-#ifdef HAVE_IBV_FLOW_DV_SUPPORT
+#if defined(HAVE_IBV_FLOW_DV_SUPPORT) || !defined(HAVE_INFINIBAND_VERBS_H)
        struct mlx5_flow_handle_dv dvh;
 #endif
 } __rte_packed;
@@ -655,7 +680,7 @@ struct mlx5_flow_handle {
  * structure in Verbs. No DV flows attributes will be accessed.
  * Macro offsetof() could also be used here.
  */
-#ifdef HAVE_IBV_FLOW_DV_SUPPORT
+#if defined(HAVE_IBV_FLOW_DV_SUPPORT) || !defined(HAVE_INFINIBAND_VERBS_H)
 #define MLX5_FLOW_HANDLE_VERBS_SIZE \
        (sizeof(struct mlx5_flow_handle) - sizeof(struct mlx5_flow_handle_dv))
 #else
@@ -693,6 +718,7 @@ struct mlx5_flow_dv_workspace {
        /**< Pointer to the destination array resource. */
 };
 
+#ifdef HAVE_INFINIBAND_VERBS_H
 /*
  * Maximal Verbs flow specifications & actions size.
  * Some elements are mutually exclusive, but enough space should be allocated.
@@ -749,6 +775,10 @@ struct mlx5_flow_verbs_workspace {
        uint8_t specs[MLX5_VERBS_MAX_SPEC_ACT_SIZE];
        /**< Specifications & actions buffer of verbs flow. */
 };
+#endif /* HAVE_INFINIBAND_VERBS_H */
+
+#define MLX5_SCALE_FLOW_GROUP_BIT 0
+#define MLX5_SCALE_JUMP_FLOW_GROUP_BIT 1
 
 /** Maximal number of device sub-flows supported. */
 #define MLX5_NUM_MAX_DEV_FLOWS 32
@@ -763,13 +793,27 @@ struct mlx5_flow {
        /**< Bit-fields of detected actions, see MLX5_FLOW_ACTION_*. */
        bool external; /**< true if the flow is created external to PMD. */
        uint8_t ingress:1; /**< 1 if the flow is ingress. */
-       uint8_t skip_scale:1;
-       /**< 1 if skip the scale the table with factor. */
+       uint8_t skip_scale:2;
+       /**
+        * Each Bit be set to 1 if Skip the scale the flow group with factor.
+        * If bit0 be set to 1, then skip the scale the original flow group;
+        * If bit1 be set to 1, then skip the scale the jump flow group if
+        * having jump action.
+        * 00: Enable scale in a flow, default value.
+        * 01: Skip scale the flow group with factor, enable scale the group
+        * of jump action.
+        * 10: Enable scale the group with factor, skip scale the group of
+        * jump action.
+        * 11: Skip scale the table with factor both for flow group and jump
+        * group.
+        */
        union {
-#ifdef HAVE_IBV_FLOW_DV_SUPPORT
+#if defined(HAVE_IBV_FLOW_DV_SUPPORT) || !defined(HAVE_INFINIBAND_VERBS_H)
                struct mlx5_flow_dv_workspace dv;
 #endif
+#ifdef HAVE_INFINIBAND_VERBS_H
                struct mlx5_flow_verbs_workspace verbs;
+#endif
        };
        struct mlx5_flow_handle *handle;
        uint32_t handle_idx; /* Index of the mlx5 flow handle memory. */
@@ -786,10 +830,10 @@ struct mlx5_flow {
 
 /* Meter policer statistics */
 struct mlx5_flow_policer_stats {
-       uint32_t cnt[RTE_COLORS + 1];
-       /**< Color counter, extra for drop. */
-       uint64_t stats_mask;
-       /**< Statistics mask for the colors. */
+       uint32_t pass_cnt;
+       /**< Color counter for pass. */
+       uint32_t drop_cnt;
+       /**< Color counter for drop. */
 };
 
 /* Meter table structure. */
@@ -798,14 +842,16 @@ struct mlx5_meter_domain_info {
        /**< Meter table. */
        struct mlx5_flow_tbl_resource *sfx_tbl;
        /**< Meter suffix table. */
-       void *any_matcher;
-       /**< Meter color not match default criteria. */
-       void *color_matcher;
-       /**< Meter color match criteria. */
+       struct mlx5_flow_dv_matcher *drop_matcher;
+       /**< Matcher for Drop. */
+       struct mlx5_flow_dv_matcher *color_matcher;
+       /**< Matcher for Color. */
        void *jump_actn;
        /**< Meter match action. */
-       void *policer_rules[RTE_MTR_DROPPED + 1];
-       /**< Meter policer for the match. */
+       void *green_rule;
+       /**< Meter green rule. */
+       void *drop_rule;
+       /**< Meter drop rule. */
 };
 
 /* Meter table set for TX RX FDB. */
@@ -818,10 +864,10 @@ struct mlx5_meter_domains_infos {
        /**< RX meter table. */
        struct mlx5_meter_domain_info transfer;
        /**< FDB meter table. */
-       void *drop_actn;
-       /**< Drop action as not matched. */
-       void *count_actns[RTE_MTR_DROPPED + 1];
-       /**< Counters for match and unmatched statistics. */
+       void *green_count;
+       /**< Counters for green rule. */
+       void *drop_count;
+       /**< Counters for green rule. */
        uint32_t fmp[MLX5_ST_SZ_DW(flow_meter_parameters)];
        /**< Flow meter parameter. */
        size_t fmp_size;
@@ -845,10 +891,18 @@ struct mlx5_flow_meter {
        /** Policer actions (per meter output color). */
        enum rte_mtr_policer_action action[RTE_COLORS];
 
-       /** Set of stats counters to be enabled.
-        * @see enum rte_mtr_stats_type
-        */
-       uint64_t stats_mask;
+       uint32_t green_bytes:1;
+       /** Set green bytes stats to be enabled. */
+       uint32_t green_pkts:1;
+       /** Set green packets stats to be enabled. */
+       uint32_t red_bytes:1;
+       /** Set red bytes stats to be enabled. */
+       uint32_t red_pkts:1;
+       /** Set red packets stats to be enabled. */
+       uint32_t bytes_dropped:1;
+       /** Set bytes dropped stats to be enabled. */
+       uint32_t pkts_dropped:1;
+       /** Set packets dropped stats to be enabled. */
 
        /**< Rule applies to ingress traffic. */
        uint32_t ingress:1;
@@ -884,6 +938,8 @@ struct mlx5_flow_meter {
        /**< Meter state. */
        uint32_t shared:1;
        /**< Meter shared or not. */
+       struct mlx5_indexed_pool *flow_ipool;
+       /**< Index pool for flow id. */
 };
 
 /* RFC2697 parameter structure. */
@@ -953,6 +1009,8 @@ struct mlx5_flow_tunnel_hub {
 struct tunnel_tbl_entry {
        struct mlx5_hlist_entry hash;
        uint32_t flow_table;
+       uint32_t tunnel_id;
+       uint32_t group;
 };
 
 static inline uint32_t
@@ -1039,6 +1097,7 @@ struct rte_flow {
        uint32_t counter; /**< Holds flow counter. */
        uint32_t tunnel_id;  /**< Tunnel id */
        uint32_t age; /**< Holds ASO age bit index. */
+       uint32_t geneve_tlv_option; /**< Holds Geneve TLV option id. > */
 } __rte_packed;
 
 /*
@@ -1048,17 +1107,37 @@ struct rte_flow {
 #define MLX5_RSS_HASH_IPV4 (IBV_RX_HASH_SRC_IPV4 | IBV_RX_HASH_DST_IPV4)
 #define MLX5_RSS_HASH_IPV4_TCP \
        (MLX5_RSS_HASH_IPV4 | \
-        IBV_RX_HASH_SRC_PORT_TCP | IBV_RX_HASH_SRC_PORT_TCP)
+        IBV_RX_HASH_SRC_PORT_TCP | IBV_RX_HASH_DST_PORT_TCP)
 #define MLX5_RSS_HASH_IPV4_UDP \
        (MLX5_RSS_HASH_IPV4 | \
-        IBV_RX_HASH_SRC_PORT_UDP | IBV_RX_HASH_SRC_PORT_UDP)
+        IBV_RX_HASH_SRC_PORT_UDP | IBV_RX_HASH_DST_PORT_UDP)
 #define MLX5_RSS_HASH_IPV6 (IBV_RX_HASH_SRC_IPV6 | IBV_RX_HASH_DST_IPV6)
 #define MLX5_RSS_HASH_IPV6_TCP \
        (MLX5_RSS_HASH_IPV6 | \
-        IBV_RX_HASH_SRC_PORT_TCP | IBV_RX_HASH_SRC_PORT_TCP)
+        IBV_RX_HASH_SRC_PORT_TCP | IBV_RX_HASH_DST_PORT_TCP)
 #define MLX5_RSS_HASH_IPV6_UDP \
        (MLX5_RSS_HASH_IPV6 | \
-        IBV_RX_HASH_SRC_PORT_UDP | IBV_RX_HASH_SRC_PORT_UDP)
+        IBV_RX_HASH_SRC_PORT_UDP | IBV_RX_HASH_DST_PORT_UDP)
+#define MLX5_RSS_HASH_IPV4_SRC_ONLY IBV_RX_HASH_SRC_IPV4
+#define MLX5_RSS_HASH_IPV4_DST_ONLY IBV_RX_HASH_DST_IPV4
+#define MLX5_RSS_HASH_IPV6_SRC_ONLY IBV_RX_HASH_SRC_IPV6
+#define MLX5_RSS_HASH_IPV6_DST_ONLY IBV_RX_HASH_DST_IPV6
+#define MLX5_RSS_HASH_IPV4_UDP_SRC_ONLY \
+       (MLX5_RSS_HASH_IPV4 | IBV_RX_HASH_SRC_PORT_UDP)
+#define MLX5_RSS_HASH_IPV4_UDP_DST_ONLY \
+       (MLX5_RSS_HASH_IPV4 | IBV_RX_HASH_DST_PORT_UDP)
+#define MLX5_RSS_HASH_IPV6_UDP_SRC_ONLY \
+       (MLX5_RSS_HASH_IPV6 | IBV_RX_HASH_SRC_PORT_UDP)
+#define MLX5_RSS_HASH_IPV6_UDP_DST_ONLY \
+       (MLX5_RSS_HASH_IPV6 | IBV_RX_HASH_DST_PORT_UDP)
+#define MLX5_RSS_HASH_IPV4_TCP_SRC_ONLY \
+       (MLX5_RSS_HASH_IPV4 | IBV_RX_HASH_SRC_PORT_TCP)
+#define MLX5_RSS_HASH_IPV4_TCP_DST_ONLY \
+       (MLX5_RSS_HASH_IPV4 | IBV_RX_HASH_DST_PORT_TCP)
+#define MLX5_RSS_HASH_IPV6_TCP_SRC_ONLY \
+       (MLX5_RSS_HASH_IPV6 | IBV_RX_HASH_SRC_PORT_TCP)
+#define MLX5_RSS_HASH_IPV6_TCP_DST_ONLY \
+       (MLX5_RSS_HASH_IPV6 | IBV_RX_HASH_DST_PORT_TCP)
 #define MLX5_RSS_HASH_NONE 0ULL
 
 /* array of valid combinations of RX Hash fields for RSS */
@@ -1078,14 +1157,14 @@ struct mlx5_shared_action_rss {
        uint32_t refcnt; /**< Atomically accessed refcnt. */
        struct rte_flow_action_rss origin; /**< Original rte RSS action. */
        uint8_t key[MLX5_RSS_HASH_KEY_LEN]; /**< RSS hash key. */
-       uint16_t *queue; /**< Queue indices to use. */
+       struct mlx5_ind_table_obj *ind_tbl;
+       /**< Hash RX queues (hrxq, hrxq_tunnel fields) indirection table. */
        uint32_t hrxq[MLX5_RSS_HASH_FIELDS_LEN];
        /**< Hash RX queue indexes mapped to mlx5_rss_hash_fields */
-       uint32_t hrxq_tunnel[MLX5_RSS_HASH_FIELDS_LEN];
-       /**< Hash RX queue indexes for tunneled RSS */
+       rte_spinlock_t action_rss_sl; /**< Shared RSS action spinlock. */
 };
 
-struct rte_flow_shared_action {
+struct rte_flow_action_handle {
        uint32_t id;
 };
 
@@ -1099,6 +1178,7 @@ struct mlx5_flow_workspace {
        struct mlx5_flow_rss_desc rss_desc;
        uint32_t rssq_num; /* Allocated queue num in rss_desc. */
        uint32_t flow_idx; /* Intermediate device flow index. */
+       struct mlx5_flow_meter *fm; /* Pointer to the meter in flow. */
 };
 
 struct mlx5_flow_split_info {
@@ -1139,8 +1219,7 @@ typedef int (*mlx5_flow_query_t)(struct rte_eth_dev *dev,
                                 void *data,
                                 struct rte_flow_error *error);
 typedef struct mlx5_meter_domains_infos *(*mlx5_flow_create_mtr_tbls_t)
-                                           (struct rte_eth_dev *dev,
-                                            const struct mlx5_flow_meter *fm);
+                                           (struct rte_eth_dev *dev);
 typedef int (*mlx5_flow_destroy_mtr_tbls_t)(struct rte_eth_dev *dev,
                                        struct mlx5_meter_domains_infos *tbls);
 typedef int (*mlx5_flow_create_policer_rules_t)
@@ -1166,26 +1245,26 @@ typedef int (*mlx5_flow_get_aged_flows_t)
                                         struct rte_flow_error *error);
 typedef int (*mlx5_flow_action_validate_t)
                                (struct rte_eth_dev *dev,
-                                const struct rte_flow_shared_action_conf *conf,
+                                const struct rte_flow_indir_action_conf *conf,
                                 const struct rte_flow_action *action,
                                 struct rte_flow_error *error);
-typedef struct rte_flow_shared_action *(*mlx5_flow_action_create_t)
+typedef struct rte_flow_action_handle *(*mlx5_flow_action_create_t)
                                (struct rte_eth_dev *dev,
-                                const struct rte_flow_shared_action_conf *conf,
+                                const struct rte_flow_indir_action_conf *conf,
                                 const struct rte_flow_action *action,
                                 struct rte_flow_error *error);
 typedef int (*mlx5_flow_action_destroy_t)
                                (struct rte_eth_dev *dev,
-                                struct rte_flow_shared_action *action,
+                                struct rte_flow_action_handle *action,
                                 struct rte_flow_error *error);
 typedef int (*mlx5_flow_action_update_t)
                        (struct rte_eth_dev *dev,
-                        struct rte_flow_shared_action *action,
-                        const void *action_conf,
+                        struct rte_flow_action_handle *action,
+                        const void *update,
                         struct rte_flow_error *error);
 typedef int (*mlx5_flow_action_query_t)
                        (struct rte_eth_dev *dev,
-                        const struct rte_flow_shared_action *action,
+                        const struct rte_flow_action_handle *action,
                         void *data,
                         struct rte_flow_error *error);
 typedef int (*mlx5_flow_sync_domain_t)
@@ -1203,7 +1282,7 @@ struct mlx5_flow_driver_ops {
        mlx5_flow_query_t query;
        mlx5_flow_create_mtr_tbls_t create_mtr_tbls;
        mlx5_flow_destroy_mtr_tbls_t destroy_mtr_tbls;
-       mlx5_flow_create_policer_rules_t create_policer_rules;
+       mlx5_flow_create_policer_rules_t prepare_policer_rules;
        mlx5_flow_destroy_policer_rules_t destroy_policer_rules;
        mlx5_flow_counter_alloc_t counter_alloc;
        mlx5_flow_counter_free_t counter_free;
@@ -1227,7 +1306,7 @@ struct flow_grp_info {
        uint64_t fdb_def_rule:1;
        /* force standard group translation */
        uint64_t std_tbl_fix:1;
-       uint64_t skip_scale:1;
+       uint64_t skip_scale:2;
 };
 
 static inline bool
@@ -1275,6 +1354,11 @@ uint64_t mlx5_flow_hashfields_adjust(struct mlx5_flow_rss_desc *rss_desc,
 int mlx5_flow_discover_priorities(struct rte_eth_dev *dev);
 uint32_t mlx5_flow_adjust_priority(struct rte_eth_dev *dev, int32_t priority,
                                   uint32_t subpriority);
+uint32_t mlx5_get_lowest_priority(struct rte_eth_dev *dev,
+                                       const struct rte_flow_attr *attr);
+uint16_t mlx5_get_matcher_priority(struct rte_eth_dev *dev,
+                                    const struct rte_flow_attr *attr,
+                                    uint32_t subpriority);
 int mlx5_flow_get_reg_id(struct rte_eth_dev *dev,
                                     enum mlx5_feature_name feature,
                                     uint32_t id,
@@ -1386,6 +1470,11 @@ int mlx5_flow_validate_item_geneve(const struct rte_flow_item *item,
                                   uint64_t item_flags,
                                   struct rte_eth_dev *dev,
                                   struct rte_flow_error *error);
+int mlx5_flow_validate_item_geneve_opt(const struct rte_flow_item *item,
+                                  uint64_t last_item,
+                                  const struct rte_flow_item *geneve_item,
+                                  struct rte_eth_dev *dev,
+                                  struct rte_flow_error *error);
 int mlx5_flow_validate_item_ecpri(const struct rte_flow_item *item,
                                  uint64_t item_flags,
                                  uint64_t last_item,
@@ -1393,11 +1482,10 @@ int mlx5_flow_validate_item_ecpri(const struct rte_flow_item *item,
                                  const struct rte_flow_item_ecpri *acc_mask,
                                  struct rte_flow_error *error);
 struct mlx5_meter_domains_infos *mlx5_flow_create_mtr_tbls
-                                       (struct rte_eth_dev *dev,
-                                        const struct mlx5_flow_meter *fm);
+                                       (struct rte_eth_dev *dev);
 int mlx5_flow_destroy_mtr_tbls(struct rte_eth_dev *dev,
                               struct mlx5_meter_domains_infos *tbl);
-int mlx5_flow_create_policer_rules(struct rte_eth_dev *dev,
+int mlx5_flow_prepare_policer_rules(struct rte_eth_dev *dev,
                                   struct mlx5_flow_meter *fm,
                                   const struct rte_flow_attr *attr);
 int mlx5_flow_destroy_policer_rules(struct rte_eth_dev *dev,
@@ -1406,13 +1494,16 @@ int mlx5_flow_destroy_policer_rules(struct rte_eth_dev *dev,
 int mlx5_flow_meter_flush(struct rte_eth_dev *dev,
                          struct rte_mtr_error *error);
 int mlx5_flow_dv_discover_counter_offset_support(struct rte_eth_dev *dev);
-int mlx5_shared_action_flush(struct rte_eth_dev *dev);
+int mlx5_action_handle_flush(struct rte_eth_dev *dev);
 void mlx5_release_tunnel_hub(struct mlx5_dev_ctx_shared *sh, uint16_t port_id);
 int mlx5_alloc_tunnel_hub(struct mlx5_dev_ctx_shared *sh);
 
 /* Hash list callbacks for flow tables: */
 struct mlx5_hlist_entry *flow_dv_tbl_create_cb(struct mlx5_hlist *list,
                                               uint64_t key, void *entry_ctx);
+int flow_dv_tbl_match_cb(struct mlx5_hlist *list,
+                        struct mlx5_hlist_entry *entry, uint64_t key,
+                        void *cb_ctx);
 void flow_dv_tbl_remove_cb(struct mlx5_hlist *list,
                           struct mlx5_hlist_entry *entry);
 struct mlx5_flow_tbl_resource *flow_dv_tbl_resource_get(struct rte_eth_dev *dev,
@@ -1422,6 +1513,9 @@ struct mlx5_flow_tbl_resource *flow_dv_tbl_resource_get(struct rte_eth_dev *dev,
 
 struct mlx5_hlist_entry *flow_dv_tag_create_cb(struct mlx5_hlist *list,
                                               uint64_t key, void *cb_ctx);
+int flow_dv_tag_match_cb(struct mlx5_hlist *list,
+                        struct mlx5_hlist_entry *entry, uint64_t key,
+                        void *cb_ctx);
 void flow_dv_tag_remove_cb(struct mlx5_hlist *list,
                           struct mlx5_hlist_entry *entry);
 
@@ -1435,6 +1529,9 @@ void flow_dv_modify_remove_cb(struct mlx5_hlist *list,
 
 struct mlx5_hlist_entry *flow_dv_mreg_create_cb(struct mlx5_hlist *list,
                                                uint64_t key, void *ctx);
+int flow_dv_mreg_match_cb(struct mlx5_hlist *list,
+                         struct mlx5_hlist_entry *entry, uint64_t key,
+                         void *cb_ctx);
 void flow_dv_mreg_remove_cb(struct mlx5_hlist *list,
                            struct mlx5_hlist_entry *entry);
 
@@ -1485,4 +1582,15 @@ void flow_dv_dest_array_remove_cb(struct mlx5_cache_list *list,
                                  struct mlx5_cache_entry *entry);
 struct mlx5_aso_age_action *flow_aso_age_get_by_idx(struct rte_eth_dev *dev,
                                                    uint32_t age_idx);
+int flow_dev_geneve_tlv_option_resource_register(struct rte_eth_dev *dev,
+                                            const struct rte_flow_item *item,
+                                            struct rte_flow_error *error);
+
+void flow_release_workspace(void *data);
+int mlx5_flow_os_init_workspace_once(void);
+void *mlx5_flow_os_get_specific_workspace(void);
+int mlx5_flow_os_set_specific_workspace(struct mlx5_flow_workspace *data);
+void mlx5_flow_os_release_workspace(void);
+
+
 #endif /* RTE_PMD_MLX5_FLOW_H_ */