net/mlx5: make Rx queue thread safe
[dpdk.git] / drivers / net / mlx5 / mlx5.h
index 375c86e..7804d3a 100644 (file)
@@ -39,12 +39,17 @@ enum mlx5_ipool_index {
        MLX5_IPOOL_TAG, /* Pool for tag resource. */
        MLX5_IPOOL_PORT_ID, /* Pool for port id resource. */
        MLX5_IPOOL_JUMP, /* Pool for jump resource. */
+       MLX5_IPOOL_SAMPLE, /* Pool for sample resource. */
+       MLX5_IPOOL_DEST_ARRAY, /* Pool for destination array resource. */
 #endif
        MLX5_IPOOL_MTR, /* Pool for meter resource. */
        MLX5_IPOOL_MCP, /* Pool for metadata resource. */
        MLX5_IPOOL_HRXQ, /* Pool for hrxq resource. */
        MLX5_IPOOL_MLX5_FLOW, /* Pool for mlx5 flow handle. */
        MLX5_IPOOL_RTE_FLOW, /* Pool for rte_flow. */
+       MLX5_IPOOL_RSS_EXPANTION_FLOW_ID, /* Pool for Queue/RSS flow ID. */
+       MLX5_IPOOL_TUNNEL_ID, /* Pool for flow tunnel ID. */
+       MLX5_IPOOL_TNL_TBL_ID, /* Pool for tunnel table ID. */
        MLX5_IPOOL_MAX,
 };
 
@@ -60,6 +65,13 @@ enum mlx5_reclaim_mem_mode {
        MLX5_RCM_AGGR, /* Reclaim PMD and rdma-core level. */
 };
 
+/* Hash and cache list callback context. */
+struct mlx5_flow_cb_ctx {
+       struct rte_eth_dev *dev;
+       struct rte_flow_error *error;
+       void *data;
+};
+
 /* Device attributes used in mlx5 PMD */
 struct mlx5_dev_attr {
        uint64_t        device_cap_flags_ex;
@@ -162,6 +174,9 @@ struct mlx5_stats_ctrl {
 /* Maximal size of aggregated LRO packet. */
 #define MLX5_MAX_LRO_SIZE (UINT8_MAX * MLX5_LRO_SEG_CHUNK_SIZE)
 
+/* Maximal number of segments to split. */
+#define MLX5_MAX_RXQ_NSEG (1u << MLX5_MAX_LOG_RQ_SEGS)
+
 /* LRO configurations structure. */
 struct mlx5_lro_config {
        uint32_t supported:1; /* Whether LRO is supported. */
@@ -206,6 +221,7 @@ struct mlx5_dev_config {
        unsigned int rt_timestamp:1; /* realtime timestamp format. */
        unsigned int sys_mem_en:1; /* The default memory allocator. */
        unsigned int decap_en:1; /* Whether decap will be used or not. */
+       unsigned int dv_miss_info:1; /* restore packet after partial hw miss */
        struct {
                unsigned int enabled:1; /* Whether MPRQ is enabled. */
                unsigned int stride_num_n; /* Number of strides. */
@@ -270,20 +286,16 @@ struct mlx5_drop {
 #define MLX5_COUNTERS_PER_POOL 512
 #define MLX5_MAX_PENDING_QUERIES 4
 #define MLX5_CNT_CONTAINER_RESIZE 64
-#define MLX5_CNT_AGE_OFFSET 0x80000000
-#define CNT_SIZE (sizeof(struct mlx5_flow_counter))
-#define CNTEXT_SIZE (sizeof(struct mlx5_flow_counter_ext))
-#define AGE_SIZE (sizeof(struct mlx5_age_param))
-#define MLX5_AGING_TIME_DELAY  7
-#define CNT_POOL_TYPE_EXT      (1 << 0)
-#define CNT_POOL_TYPE_AGE      (1 << 1)
-#define IS_EXT_POOL(pool) (((pool)->type) & CNT_POOL_TYPE_EXT)
-#define IS_AGE_POOL(pool) (((pool)->type) & CNT_POOL_TYPE_AGE)
-#define MLX_CNT_IS_AGE(counter) ((counter) & MLX5_CNT_AGE_OFFSET ? 1 : 0)
+#define MLX5_CNT_SHARED_OFFSET 0x80000000
+#define IS_SHARED_CNT(cnt) (!!((cnt) & MLX5_CNT_SHARED_OFFSET))
+#define IS_BATCH_CNT(cnt) (((cnt) & (MLX5_CNT_SHARED_OFFSET - 1)) >= \
+                          MLX5_CNT_BATCH_OFFSET)
+#define MLX5_CNT_SIZE (sizeof(struct mlx5_flow_counter))
+#define MLX5_AGE_SIZE (sizeof(struct mlx5_age_param))
+
 #define MLX5_CNT_LEN(pool) \
-       (CNT_SIZE + \
-       (IS_AGE_POOL(pool) ? AGE_SIZE : 0) + \
-       (IS_EXT_POOL(pool) ? CNTEXT_SIZE : 0))
+       (MLX5_CNT_SIZE + \
+       ((pool)->is_aged ? MLX5_AGE_SIZE : 0))
 #define MLX5_POOL_GET_CNT(pool, index) \
        ((struct mlx5_flow_counter *) \
        ((uint8_t *)((pool) + 1) + (index) * (MLX5_CNT_LEN(pool))))
@@ -298,12 +310,6 @@ struct mlx5_drop {
  */
 #define MLX5_MAKE_CNT_IDX(pi, offset) \
        ((pi) * MLX5_COUNTERS_PER_POOL + (offset) + 1)
-#define MLX5_CNT_TO_CNT_EXT(pool, cnt) \
-       ((struct mlx5_flow_counter_ext *)\
-       ((uint8_t *)((cnt) + 1) + \
-       (IS_AGE_POOL(pool) ? AGE_SIZE : 0)))
-#define MLX5_GET_POOL_CNT_EXT(pool, offset) \
-       MLX5_CNT_TO_CNT_EXT(pool, MLX5_POOL_GET_CNT((pool), (offset)))
 #define MLX5_CNT_TO_AGE(cnt) \
        ((struct mlx5_age_param *)((cnt) + 1))
 /*
@@ -313,32 +319,26 @@ struct mlx5_drop {
  */
 #define POOL_IDX_INVALID UINT16_MAX
 
-struct mlx5_flow_counter_pool;
-
-/*age status*/
+/* Age status. */
 enum {
        AGE_FREE, /* Initialized state. */
        AGE_CANDIDATE, /* Counter assigned to flows. */
        AGE_TMOUT, /* Timeout, wait for rte_flow_get_aged_flows and destroy. */
 };
 
-#define MLX5_CNT_CONTAINER(sh, batch, age) (&(sh)->cmng.ccont \
-                                           [(batch) * 2 + (age)])
-
-enum {
-       MLX5_CCONT_TYPE_SINGLE,
-       MLX5_CCONT_TYPE_SINGLE_FOR_AGE,
-       MLX5_CCONT_TYPE_BATCH,
-       MLX5_CCONT_TYPE_BATCH_FOR_AGE,
-       MLX5_CCONT_TYPE_MAX,
+enum mlx5_counter_type {
+       MLX5_COUNTER_TYPE_ORIGIN,
+       MLX5_COUNTER_TYPE_AGE,
+       MLX5_COUNTER_TYPE_MAX,
 };
 
 /* Counter age parameter. */
 struct mlx5_age_param {
-       rte_atomic16_t state; /**< Age state. */
+       uint16_t state; /**< Age state (atomically accessed). */
        uint16_t port_id; /**< Port id of the counter. */
-       uint32_t timeout:15; /**< Age timeout in unit of 0.1sec. */
-       uint32_t expire:16; /**< Expire time(0.1sec) in the future. */
+       uint32_t timeout:24; /**< Aging timeout in seconds. */
+       uint32_t sec_since_last_hit;
+       /**< Time in seconds since last hit (atomically accessed). */
        void *context; /**< Flow counter age context. */
 };
 
@@ -347,35 +347,63 @@ struct flow_counter_stats {
        uint64_t bytes;
 };
 
+/* Shared counters information for counters. */
+struct mlx5_flow_counter_shared {
+       uint32_t id; /**< User counter ID. */
+};
+
+/* Shared counter configuration. */
+struct mlx5_shared_counter_conf {
+       struct rte_eth_dev *dev; /* The device shared counter belongs to. */
+       uint32_t id; /* The shared counter ID. */
+};
+
 struct mlx5_flow_counter_pool;
 /* Generic counters information. */
 struct mlx5_flow_counter {
-       TAILQ_ENTRY(mlx5_flow_counter) next;
-       /**< Pointer to the next flow counter structure. */
+       union {
+               /*
+                * User-defined counter shared info is only used during
+                * counter active time. And aging counter sharing is not
+                * supported, so active shared counter will not be chained
+                * to the aging list. For shared counter, only when it is
+                * released, the TAILQ entry memory will be used, at that
+                * time, shared memory is not used anymore.
+                *
+                * Similarly to none-batch counter dcs, since it doesn't
+                * support aging, while counter is allocated, the entry
+                * memory is not used anymore. In this case, as bytes
+                * memory is used only when counter is allocated, and
+                * entry memory is used only when counter is free. The
+                * dcs pointer can be saved to these two different place
+                * at different stage. It will eliminate the individual
+                * counter extend struct.
+                */
+               TAILQ_ENTRY(mlx5_flow_counter) next;
+               /**< Pointer to the next flow counter structure. */
+               struct {
+                       struct mlx5_flow_counter_shared shared_info;
+                       /**< Shared counter information. */
+                       void *dcs_when_active;
+                       /*
+                        * For non-batch mode, the dcs will be saved
+                        * here when the counter is free.
+                        */
+               };
+       };
        union {
                uint64_t hits; /**< Reset value of hits packets. */
                struct mlx5_flow_counter_pool *pool; /**< Counter pool. */
        };
-       uint64_t bytes; /**< Reset value of bytes. */
-       void *action; /**< Pointer to the dv action. */
-};
-
-/* Extend counters information for none batch counters. */
-struct mlx5_flow_counter_ext {
-       uint32_t shared:1; /**< Share counter ID with other flow rules. */
-       uint32_t batch: 1;
-       uint32_t skipped:1; /* This counter is skipped or not. */
-       /**< Whether the counter was allocated by batch command. */
-       uint32_t ref_cnt:29; /**< Reference counter. */
-       uint32_t id; /**< User counter ID. */
-       union {  /**< Holds the counters for the rule. */
-#if defined(HAVE_IBV_DEVICE_COUNTERS_SET_V42)
-               struct ibv_counter_set *cs;
-#elif defined(HAVE_IBV_DEVICE_COUNTERS_SET_V45)
-               struct ibv_counters *cs;
-#endif
-               struct mlx5_devx_obj *dcs; /**< Counter Devx object. */
+       union {
+               uint64_t bytes; /**< Reset value of bytes. */
+               void *dcs_when_free;
+               /*
+                * For non-batch mode, the dcs will be saved here
+                * when the counter is free.
+                */
        };
+       void *action; /**< Pointer to the dv action. */
 };
 
 TAILQ_HEAD(mlx5_counters, mlx5_flow_counter);
@@ -384,22 +412,20 @@ TAILQ_HEAD(mlx5_counters, mlx5_flow_counter);
 struct mlx5_flow_counter_pool {
        TAILQ_ENTRY(mlx5_flow_counter_pool) next;
        struct mlx5_counters counters[2]; /* Free counter list. */
-       union {
-               struct mlx5_devx_obj *min_dcs;
-               rte_atomic64_t a64_dcs;
-       };
+       struct mlx5_devx_obj *min_dcs;
        /* The devx object of the minimum counter ID. */
-       uint32_t index:28; /* Pool index in container. */
-       uint32_t type:2; /* Memory type behind the counter array. */
-       uint32_t skip_cnt:1; /* Pool contains skipped counter. */
+       uint64_t time_of_last_age_check;
+       /* System time (from rte_rdtsc()) read in the last aging check. */
+       uint32_t index:30; /* Pool index in container. */
+       uint32_t is_aged:1; /* Pool with aging counter. */
        volatile uint32_t query_gen:1; /* Query round. */
        rte_spinlock_t sl; /* The pool lock. */
+       rte_spinlock_t csl; /* The pool counter free list lock. */
        struct mlx5_counter_stats_raw *raw;
-       struct mlx5_counter_stats_raw *raw_hw; /* The raw on HW working. */
+       struct mlx5_counter_stats_raw *raw_hw;
+       /* The raw on HW working. */
 };
 
-struct mlx5_counter_stats_raw;
-
 /* Memory management structure for group of counter statistics raws. */
 struct mlx5_counter_stats_mem_mng {
        LIST_ENTRY(mlx5_counter_stats_mem_mng) next;
@@ -411,48 +437,37 @@ struct mlx5_counter_stats_mem_mng {
 /* Raw memory structure for the counter statistics values of a pool. */
 struct mlx5_counter_stats_raw {
        LIST_ENTRY(mlx5_counter_stats_raw) next;
-       int min_dcs_id;
        struct mlx5_counter_stats_mem_mng *mem_mng;
        volatile struct flow_counter_stats *data;
 };
 
 TAILQ_HEAD(mlx5_counter_pools, mlx5_flow_counter_pool);
 
-/* Container structure for counter pools. */
-struct mlx5_pools_container {
-       rte_atomic16_t n_valid; /* Number of valid pools. */
+/* Counter global management structure. */
+struct mlx5_flow_counter_mng {
+       volatile uint16_t n_valid; /* Number of valid pools. */
        uint16_t n; /* Number of pools. */
        uint16_t last_pool_idx; /* Last used pool index */
        int min_id; /* The minimum counter ID in the pools. */
        int max_id; /* The maximum counter ID in the pools. */
-       rte_spinlock_t resize_sl; /* The resize lock. */
-       rte_spinlock_t csl; /* The counter free list lock. */
-       struct mlx5_counters counters; /* Free counter list. */
-       struct mlx5_counter_pools pool_list; /* Counter pool list. */
+       rte_spinlock_t pool_update_sl; /* The pool update lock. */
+       rte_spinlock_t csl[MLX5_COUNTER_TYPE_MAX];
+       /* The counter free list lock. */
+       struct mlx5_counters counters[MLX5_COUNTER_TYPE_MAX];
+       /* Free counter list. */
        struct mlx5_flow_counter_pool **pools; /* Counter pool array. */
        struct mlx5_counter_stats_mem_mng *mem_mng;
        /* Hold the memory management for the next allocated pools raws. */
-};
-
-/* Counter global management structure. */
-struct mlx5_flow_counter_mng {
-       struct mlx5_pools_container ccont[MLX5_CCONT_TYPE_MAX];
        struct mlx5_counters flow_counters; /* Legacy flow counter list. */
        uint8_t pending_queries;
-       uint8_t batch;
        uint16_t pool_index;
-       uint8_t age;
        uint8_t query_thread_on;
+       bool relaxed_ordering;
+       bool counter_fallback; /* Use counter fallback management. */
        LIST_HEAD(mem_mngs, mlx5_counter_stats_mem_mng) mem_mngs;
        LIST_HEAD(stat_raws, mlx5_counter_stats_raw) free_stat_raws;
 };
 
-/* Default miss action resource structure. */
-struct mlx5_flow_default_miss_resource {
-       void *action; /* Pointer to the rdma-core action. */
-       rte_atomic32_t refcnt; /* Default miss action reference counter. */
-};
-
 #define MLX5_AGE_EVENT_NEW             1
 #define MLX5_AGE_TRIGGER               2
 #define MLX5_AGE_SET(age_info, BIT) \
@@ -461,10 +476,12 @@ struct mlx5_flow_default_miss_resource {
        ((age_info)->flags & (1 << (BIT)))
 #define GET_PORT_AGE_INFO(priv) \
        (&((priv)->sh->port[(priv)->dev_port - 1].age_info))
+/* Current time in seconds. */
+#define MLX5_CURR_TIME_SEC     (rte_rdtsc() / rte_get_tsc_hz())
 
 /* Aging information for per port. */
 struct mlx5_age_info {
-       uint8_t flags; /*Indicate if is new event or need be trigered*/
+       uint8_t flags; /* Indicate if is new event or need to be triggered. */
        struct mlx5_counters aged_counters; /* Aged flow counter list. */
        rte_spinlock_t aged_sl; /* Aged flow counter list lock. */
 };
@@ -489,7 +506,7 @@ union mlx5_flow_tbl_key {
        struct {
                /* Table ID should be at the lowest address. */
                uint32_t table_id;      /**< ID of the table. */
-               uint16_t reserved;      /**< must be zero for comparison. */
+               uint16_t dummy;         /**< Dummy table for DV API. */
                uint8_t domain;         /**< 1 - FDB, 0 - NIC TX/RX. */
                uint8_t direction;      /**< 1 - egress, 0 - ingress. */
        };
@@ -499,7 +516,7 @@ union mlx5_flow_tbl_key {
 /* Table structure. */
 struct mlx5_flow_tbl_resource {
        void *obj; /**< Pointer to DR table object. */
-       rte_atomic32_t refcnt; /**< Reference counter. */
+       uint32_t refcnt; /**< Reference counter. */
 };
 
 #define MLX5_MAX_TABLES UINT16_MAX
@@ -512,6 +529,7 @@ struct mlx5_flow_tbl_resource {
 #define MLX5_FLOW_TABLE_LEVEL_METER (MLX5_MAX_TABLES - 4)
 #define MLX5_FLOW_TABLE_LEVEL_SUFFIX (MLX5_MAX_TABLES - 3)
 #define MLX5_MAX_TABLES_FDB UINT16_MAX
+#define MLX5_FLOW_TABLE_FACTOR 10
 
 /* ID generation structure. */
 struct mlx5_flow_id_pool {
@@ -622,7 +640,6 @@ struct mlx5_dev_ctx_shared {
        uint32_t dv_meta_mask; /* flow META metadata supported mask. */
        uint32_t dv_mark_mask; /* flow MARK metadata supported mask. */
        uint32_t dv_regc0_mask; /* available bits of metatada reg_c[0]. */
-       uint32_t dv_refcnt; /* DV/DR data reference counter. */
        void *fdb_domain; /* FDB Direct Rules name space handle. */
        void *rx_domain; /* RX Direct Rules name space handle. */
        void *tx_domain; /* TX Direct Rules name space handle. */
@@ -632,6 +649,7 @@ struct mlx5_dev_ctx_shared {
        /* UAR same-page access control required in 32bit implementations. */
 #endif
        struct mlx5_hlist *flow_tbls;
+       struct mlx5_flow_tunnel_hub *tunnel_hub;
        /* Direct Rules tables for FDB, NIC TX+RX */
        void *esw_drop_action; /* Pointer to DR E-Switch drop action. */
        void *pop_vlan_action; /* Pointer to DR pop VLAN action. */
@@ -640,9 +658,10 @@ struct mlx5_dev_ctx_shared {
        struct mlx5_hlist *tag_table;
        uint32_t port_id_action_list; /* List of port ID actions. */
        uint32_t push_vlan_action_list; /* List of push VLAN actions. */
+       uint32_t sample_action_list; /* List of sample actions. */
+       uint32_t dest_array_list; /* List of destination array actions. */
        struct mlx5_flow_counter_mng cmng; /* Counters management structure. */
-       struct mlx5_flow_default_miss_resource default_miss;
-       /* Default miss action resource structure. */
+       void *default_miss_action; /* Default miss action. */
        struct mlx5_indexed_pool *ipool[MLX5_IPOOL_MAX];
        /* Memory Pool for mlx5 flow resources. */
        struct mlx5_l3t_tbl *cnt_id_tbl; /* Shared counter lookup table. */
@@ -652,7 +671,6 @@ struct mlx5_dev_ctx_shared {
        void *devx_comp; /* DEVX async comp obj. */
        struct mlx5_devx_obj *tis; /* TIS object. */
        struct mlx5_devx_obj *td; /* Transport domain. */
-       struct mlx5_flow_id_pool *flow_id_pool; /* Flow ID pool. */
        void *tx_uar; /* Tx/packet pacing shared UAR. */
        struct mlx5_flex_parser_profiles fp[MLX5_FLEX_PARSER_MAX];
        /* Flex parser profiles information. */
@@ -673,6 +691,22 @@ TAILQ_HEAD(mlx5_mtr_profiles, mlx5_flow_meter_profile);
 /* MTR list. */
 TAILQ_HEAD(mlx5_flow_meters, mlx5_flow_meter);
 
+/* RSS description. */
+struct mlx5_flow_rss_desc {
+       uint32_t level;
+       uint32_t queue_num; /**< Number of entries in @p queue. */
+       uint64_t types; /**< Specific RSS hash types (see ETH_RSS_*). */
+       uint64_t hash_fields; /* Verbs Hash fields. */
+       uint8_t key[MLX5_RSS_HASH_KEY_LEN]; /**< RSS hash key. */
+       uint32_t key_len; /**< RSS hash key len. */
+       uint32_t tunnel; /**< Queue in tunnel. */
+       union {
+               uint16_t *queue; /**< Destination queues. */
+               const uint16_t *const_q; /**< Const pointer convert. */
+       };
+       bool standalone; /**< Queue is standalone or not. */
+};
+
 #define MLX5_PROC_PRIV(port_id) \
        ((struct mlx5_proc_priv *)rte_eth_devices[port_id].process_private)
 
@@ -699,7 +733,7 @@ struct mlx5_rxq_obj {
 /* Indirection table. */
 struct mlx5_ind_table_obj {
        LIST_ENTRY(mlx5_ind_table_obj) next; /* Pointer to the next element. */
-       rte_atomic32_t refcnt; /* Reference counter. */
+       uint32_t refcnt; /* Reference counter. */
        RTE_STD_C11
        union {
                void *ind_table; /**< Indirection table. */
@@ -710,9 +744,11 @@ struct mlx5_ind_table_obj {
 };
 
 /* Hash Rx queue. */
+__extension__
 struct mlx5_hrxq {
-       ILIST_ENTRY(uint32_t)next; /* Index to the next element. */
-       rte_atomic32_t refcnt; /* Reference counter. */
+       struct mlx5_cache_entry entry; /* Cache entry. */
+       uint32_t refcnt; /* Reference counter. */
+       uint32_t standalone:1; /* This object used in shared action. */
        struct mlx5_ind_table_obj *ind_table; /* Indirection table. */
        RTE_STD_C11
        union {
@@ -724,6 +760,7 @@ struct mlx5_hrxq {
 #endif
        uint64_t hash_fields; /* Verbs Hash fields. */
        uint32_t rss_key_len; /* Hash key length in bytes. */
+       uint32_t idx; /* Hash Rx queue index. */
        uint8_t rss_key[]; /* Hash key. */
 };
 
@@ -766,7 +803,6 @@ enum mlx5_rxq_modify_type {
 };
 
 enum mlx5_txq_modify_type {
-       MLX5_TXQ_MOD_RDY2RDY, /* modify state from ready to ready. */
        MLX5_TXQ_MOD_RST2RDY, /* modify state from reset to ready. */
        MLX5_TXQ_MOD_RDY2RST, /* modify state from ready to reset. */
        MLX5_TXQ_MOD_ERR2RDY, /* modify state from error to ready. */
@@ -784,6 +820,10 @@ struct mlx5_obj_ops {
        void (*ind_table_destroy)(struct mlx5_ind_table_obj *ind_tbl);
        int (*hrxq_new)(struct rte_eth_dev *dev, struct mlx5_hrxq *hrxq,
                        int tunnel __rte_unused);
+       int (*hrxq_modify)(struct rte_eth_dev *dev, struct mlx5_hrxq *hrxq,
+                          const uint8_t *rss_key,
+                          uint64_t hash_fields,
+                          const struct mlx5_ind_table_obj *ind_tbl);
        void (*hrxq_destroy)(struct mlx5_hrxq *hrxq);
        int (*drop_action_create)(struct rte_eth_dev *dev);
        void (*drop_action_destroy)(struct rte_eth_dev *dev);
@@ -808,9 +848,7 @@ struct mlx5_priv {
        unsigned int isolated:1; /* Whether isolated mode is enabled. */
        unsigned int representor:1; /* Device is a port representor. */
        unsigned int master:1; /* Device is a E-Switch master. */
-       unsigned int dr_shared:1; /* DV/DR data is shared. */
        unsigned int txpp_en:1; /* Tx packet pacing enabled. */
-       unsigned int counter_fallback:1; /* Use counter fallback management. */
        unsigned int mtr_en:1; /* Whether support meter. */
        unsigned int mtr_reg_share:1; /* Whether support meter REG_C share. */
        unsigned int sampler_en:1; /* Whether support sampler. */
@@ -835,20 +873,17 @@ struct mlx5_priv {
        struct mlx5_drop drop_queue; /* Flow drop queues. */
        uint32_t flows; /* RTE Flow rules. */
        uint32_t ctrl_flows; /* Control flow rules. */
-       void *inter_flows; /* Intermediate resources for flow creation. */
-       void *rss_desc; /* Intermediate rss description resources. */
-       int flow_idx; /* Intermediate device flow index. */
-       int flow_nested_idx; /* Intermediate device flow index, nested. */
+       rte_spinlock_t flow_list_lock;
        struct mlx5_obj_ops obj_ops; /* HW objects operations. */
        LIST_HEAD(rxq, mlx5_rxq_ctrl) rxqsctrl; /* DPDK Rx queues. */
        LIST_HEAD(rxqobj, mlx5_rxq_obj) rxqsobj; /* Verbs/DevX Rx queues. */
-       uint32_t hrxqs; /* Verbs Hash Rx queues. */
+       struct mlx5_cache_list hrxqs; /* Hash Rx queues. */
        LIST_HEAD(txq, mlx5_txq_ctrl) txqsctrl; /* DPDK Tx queues. */
        LIST_HEAD(txqobj, mlx5_txq_obj) txqsobj; /* Verbs/DevX Tx queues. */
        /* Indirection tables. */
        LIST_HEAD(ind_tables, mlx5_ind_table_obj) ind_tbls;
        /* Pointer to next element. */
-       rte_atomic32_t refcnt; /**< Reference counter. */
+       uint32_t refcnt; /**< Reference counter. */
        /**< Verbs modify header action object. */
        uint8_t ft_type; /**< Flow table type, Rx or Tx. */
        uint8_t max_lro_msg_size;
@@ -863,7 +898,6 @@ struct mlx5_priv {
        int nl_socket_route; /* Netlink socket (NETLINK_ROUTE). */
        struct mlx5_dbr_page_list dbrpgs; /* Door-bell pages. */
        struct mlx5_nl_vlan_vmwa_context *vmwa_context; /* VLAN WA context. */
-       struct mlx5_flow_id_pool *qrss_id_pool;
        struct mlx5_hlist *mreg_cp_tbl;
        /* Hash table of Rx metadata register copy table. */
        uint8_t mtr_sfx_reg; /* Meter prefix-suffix flow match REG_C. */
@@ -874,11 +908,21 @@ struct mlx5_priv {
        uint8_t fdb_def_rule; /* Whether fdb jump to table 1 is configured. */
        struct mlx5_mp_id mp_id; /* ID of a multi-process process */
        LIST_HEAD(fdir, mlx5_fdir_flow) fdir_flows; /* fdir flows. */
+       LIST_HEAD(shared_action, rte_flow_shared_action) shared_actions;
+       /* shared actions */
 };
 
 #define PORT_ID(priv) ((priv)->dev_data->port_id)
 #define ETH_DEV(priv) (&rte_eth_devices[PORT_ID(priv)])
 
+struct rte_hairpin_peer_info {
+       uint32_t qp_id;
+       uint32_t vhca_id;
+       uint16_t peer_q;
+       uint16_t tx_explicit;
+       uint16_t manual_bind;
+};
+
 /* mlx5.c */
 
 int mlx5_getenv_int(const char *);
@@ -1025,10 +1069,23 @@ void *mlx5_vlan_vmwa_init(struct rte_eth_dev *dev, uint32_t ifindex);
 /* mlx5_trigger.c */
 
 int mlx5_dev_start(struct rte_eth_dev *dev);
-void mlx5_dev_stop(struct rte_eth_dev *dev);
+int mlx5_dev_stop(struct rte_eth_dev *dev);
 int mlx5_traffic_enable(struct rte_eth_dev *dev);
 void mlx5_traffic_disable(struct rte_eth_dev *dev);
 int mlx5_traffic_restart(struct rte_eth_dev *dev);
+int mlx5_hairpin_queue_peer_update(struct rte_eth_dev *dev, uint16_t peer_queue,
+                                  struct rte_hairpin_peer_info *current_info,
+                                  struct rte_hairpin_peer_info *peer_info,
+                                  uint32_t direction);
+int mlx5_hairpin_queue_peer_bind(struct rte_eth_dev *dev, uint16_t cur_queue,
+                                struct rte_hairpin_peer_info *peer_info,
+                                uint32_t direction);
+int mlx5_hairpin_queue_peer_unbind(struct rte_eth_dev *dev, uint16_t cur_queue,
+                                  uint32_t direction);
+int mlx5_hairpin_bind(struct rte_eth_dev *dev, uint16_t rx_port);
+int mlx5_hairpin_unbind(struct rte_eth_dev *dev, uint16_t rx_port);
+int mlx5_hairpin_get_peer_ports(struct rte_eth_dev *dev, uint16_t *peer_ports,
+                               size_t len, uint32_t direction);
 
 /* mlx5_flow.c */
 
@@ -1058,12 +1115,8 @@ int mlx5_dev_filter_ctrl(struct rte_eth_dev *dev,
                         enum rte_filter_type filter_type,
                         enum rte_filter_op filter_op,
                         void *arg);
-int mlx5_flow_start(struct rte_eth_dev *dev, uint32_t *list);
-void mlx5_flow_stop(struct rte_eth_dev *dev, uint32_t *list);
 int mlx5_flow_start_default(struct rte_eth_dev *dev);
 void mlx5_flow_stop_default(struct rte_eth_dev *dev);
-void mlx5_flow_alloc_intermediate(struct rte_eth_dev *dev);
-void mlx5_flow_free_intermediate(struct rte_eth_dev *dev);
 int mlx5_flow_verify(struct rte_eth_dev *dev);
 int mlx5_ctrl_flow_source_queue(struct rte_eth_dev *dev, uint32_t queue);
 int mlx5_ctrl_flow_vlan(struct rte_eth_dev *dev,