net/mlx5: make tunnel hub list thread safe
[dpdk.git] / drivers / net / mlx5 / mlx5_flow.h
index 6cac3ab..3105463 100644 (file)
@@ -394,11 +394,9 @@ struct mlx5_flow_dv_match_params {
 
 /* Matcher structure. */
 struct mlx5_flow_dv_matcher {
-       LIST_ENTRY(mlx5_flow_dv_matcher) next;
-       /**< Pointer to the next element. */
+       struct mlx5_cache_entry entry; /**< Pointer to the next element. */
        struct mlx5_flow_tbl_resource *tbl;
        /**< Pointer to the table(group) the matcher associated with. */
-       uint32_t refcnt; /**< Reference counter. */
        void *matcher_object; /**< Pointer to DV matcher */
        uint16_t crc; /**< CRC of key. */
        uint16_t priority; /**< Priority of matcher. */
@@ -460,10 +458,8 @@ struct mlx5_flow_dv_tag_resource {
 /* Modify resource structure */
 struct mlx5_flow_dv_modify_hdr_resource {
        struct mlx5_hlist_entry entry;
-       /* Pointer to next element. */
-       uint32_t refcnt; /**< Reference counter. */
-       void *action;
-       /**< Modify header action object. */
+       void *action; /**< Modify header action object. */
+       /* Key area for hash list matching: */
        uint8_t ft_type; /**< Flow table type, Rx or Tx. */
        uint32_t actions_num; /**< Number of modification actions. */
        uint64_t flags; /**< Flags for RDMA API. */
@@ -484,29 +480,24 @@ union mlx5_flow_modify_hdr_key {
 
 /* Jump action resource structure. */
 struct mlx5_flow_dv_jump_tbl_resource {
-       uint32_t refcnt; /**< Reference counter. */
-       uint8_t ft_type; /**< Flow table type, Rx or Tx. */
        void *action; /**< Pointer to the rdma core action. */
 };
 
 /* Port ID resource structure. */
 struct mlx5_flow_dv_port_id_action_resource {
-       ILIST_ENTRY(uint32_t)next;
-       /* Pointer to next element. */
-       uint32_t refcnt; /**< Reference counter. */
-       void *action;
-       /**< Action object. */
+       struct mlx5_cache_entry entry;
+       void *action; /**< Action object. */
        uint32_t port_id; /**< Port ID value. */
+       uint32_t idx; /**< Indexed pool memory index. */
 };
 
 /* Push VLAN action resource structure */
 struct mlx5_flow_dv_push_vlan_action_resource {
-       ILIST_ENTRY(uint32_t)next;
-       /* Pointer to next element. */
-       uint32_t refcnt; /**< Reference counter. */
+       struct mlx5_cache_entry entry; /* Cache entry. */
        void *action; /**< Action object. */
        uint8_t ft_type; /**< Flow table type, Rx, Tx or FDB. */
        rte_be32_t vlan_tag; /**< VLAN tag value. */
+       uint32_t idx; /**< Indexed pool memory index. */
 };
 
 /* Metadata register copy table entry. */
@@ -519,19 +510,24 @@ struct mlx5_flow_mreg_copy_resource {
        struct mlx5_hlist_entry hlist_ent;
        LIST_ENTRY(mlx5_flow_mreg_copy_resource) next;
        /* List entry for device flows. */
-       uint32_t refcnt; /* Reference counter. */
-       uint32_t appcnt; /* Apply/Remove counter. */
        uint32_t idx;
        uint32_t rix_flow; /* Built flow for copy. */
 };
 
+/* Table tunnel parameter. */
+struct mlx5_flow_tbl_tunnel_prm {
+       const struct mlx5_flow_tunnel *tunnel;
+       uint32_t group_id;
+       bool external;
+};
+
 /* Table data structure of the hash organization. */
 struct mlx5_flow_tbl_data_entry {
        struct mlx5_hlist_entry entry;
        /**< hash list entry, 64-bits key inside. */
        struct mlx5_flow_tbl_resource tbl;
        /**< flow table resource. */
-       LIST_HEAD(matchers, mlx5_flow_dv_matcher) matchers;
+       struct mlx5_cache_list matchers;
        /**< matchers' header associated with the flow table. */
        struct mlx5_flow_dv_jump_tbl_resource jump;
        /**< jump resource, at most one for each table created. */
@@ -540,6 +536,8 @@ struct mlx5_flow_tbl_data_entry {
        const struct mlx5_flow_tunnel *tunnel;
        uint32_t group_id;
        bool external;
+       bool tunnel_offload; /* Tunnel offlod table or not. */
+       bool is_egress; /**< Egress table. */
 };
 
 /* Sub rdma-core actions list. */
@@ -564,9 +562,12 @@ struct mlx5_flow_sub_actions_idx {
 
 /* Sample action resource structure. */
 struct mlx5_flow_dv_sample_resource {
-       ILIST_ENTRY(uint32_t)next; /**< Pointer to next element. */
-       uint32_t refcnt; /**< Reference counter. */
-       void *verbs_action; /**< Verbs sample action object. */
+       struct mlx5_cache_entry entry; /**< Cache entry. */
+       union {
+               void *verbs_action; /**< Verbs sample action object. */
+               void **sub_actions; /**< Sample sub-action array. */
+       };
+       uint32_t idx; /** Sample object index. */
        uint8_t ft_type; /** Flow Table Type */
        uint32_t ft_id; /** Flow Table Level */
        uint32_t ratio;   /** Sample Ratio */
@@ -583,8 +584,8 @@ struct mlx5_flow_dv_sample_resource {
 
 /* Destination array action resource structure. */
 struct mlx5_flow_dv_dest_array_resource {
-       ILIST_ENTRY(uint32_t)next; /**< Pointer to next element. */
-       uint32_t refcnt; /**< Reference counter. */
+       struct mlx5_cache_entry entry; /**< Cache entry. */
+       uint32_t idx; /** Destination array action object index. */
        uint8_t ft_type; /** Flow Table Type */
        uint8_t num_of_dest; /**< Number of destination actions. */
        void *action; /**< Pointer to the rdma core action. */
@@ -600,15 +601,6 @@ struct ibv_spec_header {
        uint16_t size;
 };
 
-/* RSS description. */
-struct mlx5_flow_rss_desc {
-       uint32_t level;
-       uint32_t queue_num; /**< Number of entries in @p queue. */
-       uint64_t types; /**< Specific RSS hash types (see ETH_RSS_*). */
-       uint8_t key[MLX5_RSS_HASH_KEY_LEN]; /**< RSS hash key. */
-       uint16_t *queue; /**< Destination queues. */
-};
-
 /* PMD flow priority for tunnel */
 #define MLX5_TUNNEL_PRIO_GET(rss_desc) \
        ((rss_desc)->level >= 2 ? MLX5_PRIORITY_MAP_L2 : MLX5_PRIORITY_MAP_L4)
@@ -845,6 +837,8 @@ struct mlx5_flow_meter {
        struct mlx5_flow_meter_profile *profile;
        /**< Meter profile parameters. */
 
+       rte_spinlock_t sl; /**< Meter action spinlock. */
+
        /** Policer actions (per meter output color). */
        enum rte_mtr_policer_action action[RTE_COLORS];
 
@@ -951,6 +945,7 @@ struct mlx5_flow_tunnel {
 /** PMD tunnel related context */
 struct mlx5_flow_tunnel_hub {
        LIST_HEAD(, mlx5_flow_tunnel) tunnels;
+       rte_spinlock_t sl;                      /* Tunnel list spinlock. */
        struct mlx5_hlist *groups;              /** non tunnel groups */
 };
 
@@ -1035,7 +1030,6 @@ struct rte_flow {
        uint32_t drv_type:2; /**< Driver type. */
        uint32_t fdir:1; /**< Identifier of associated FDIR if any. */
        uint32_t tunnel:1;
-       uint32_t copy_applied:1; /**< The MARK copy Flow os applied. */
        uint32_t meter:16; /**< Holds flow meter id. */
        uint32_t rix_mreg_copy;
        /**< Index to metadata register copy table resource. */
@@ -1400,4 +1394,78 @@ struct rte_flow_shared_action *mlx5_flow_get_shared_rss(struct rte_flow *flow);
 int mlx5_shared_action_flush(struct rte_eth_dev *dev);
 void mlx5_release_tunnel_hub(struct mlx5_dev_ctx_shared *sh, uint16_t port_id);
 int mlx5_alloc_tunnel_hub(struct mlx5_dev_ctx_shared *sh);
+
+/* Hash list callbacks for flow tables: */
+struct mlx5_hlist_entry *flow_dv_tbl_create_cb(struct mlx5_hlist *list,
+                                              uint64_t key, void *entry_ctx);
+void flow_dv_tbl_remove_cb(struct mlx5_hlist *list,
+                          struct mlx5_hlist_entry *entry);
+struct mlx5_flow_tbl_resource *flow_dv_tbl_resource_get(struct rte_eth_dev *dev,
+               uint32_t table_id, uint8_t egress, uint8_t transfer,
+               bool external, const struct mlx5_flow_tunnel *tunnel,
+               uint32_t group_id, uint8_t dummy, struct rte_flow_error *error);
+
+struct mlx5_hlist_entry *flow_dv_tag_create_cb(struct mlx5_hlist *list,
+                                              uint64_t key, void *cb_ctx);
+void flow_dv_tag_remove_cb(struct mlx5_hlist *list,
+                          struct mlx5_hlist_entry *entry);
+
+int flow_dv_modify_match_cb(struct mlx5_hlist *list,
+                           struct mlx5_hlist_entry *entry,
+                           uint64_t key, void *cb_ctx);
+struct mlx5_hlist_entry *flow_dv_modify_create_cb(struct mlx5_hlist *list,
+                                                 uint64_t key, void *ctx);
+void flow_dv_modify_remove_cb(struct mlx5_hlist *list,
+                             struct mlx5_hlist_entry *entry);
+
+struct mlx5_hlist_entry *flow_dv_mreg_create_cb(struct mlx5_hlist *list,
+                                               uint64_t key, void *ctx);
+void flow_dv_mreg_remove_cb(struct mlx5_hlist *list,
+                           struct mlx5_hlist_entry *entry);
+
+int flow_dv_encap_decap_match_cb(struct mlx5_hlist *list,
+                                struct mlx5_hlist_entry *entry,
+                                uint64_t key, void *cb_ctx);
+struct mlx5_hlist_entry *flow_dv_encap_decap_create_cb(struct mlx5_hlist *list,
+                               uint64_t key, void *cb_ctx);
+void flow_dv_encap_decap_remove_cb(struct mlx5_hlist *list,
+                                  struct mlx5_hlist_entry *entry);
+
+int flow_dv_matcher_match_cb(struct mlx5_cache_list *list,
+                            struct mlx5_cache_entry *entry, void *ctx);
+struct mlx5_cache_entry *flow_dv_matcher_create_cb(struct mlx5_cache_list *list,
+               struct mlx5_cache_entry *entry, void *ctx);
+void flow_dv_matcher_remove_cb(struct mlx5_cache_list *list,
+                              struct mlx5_cache_entry *entry);
+
+int flow_dv_port_id_match_cb(struct mlx5_cache_list *list,
+                            struct mlx5_cache_entry *entry, void *cb_ctx);
+struct mlx5_cache_entry *flow_dv_port_id_create_cb(struct mlx5_cache_list *list,
+               struct mlx5_cache_entry *entry, void *cb_ctx);
+void flow_dv_port_id_remove_cb(struct mlx5_cache_list *list,
+                              struct mlx5_cache_entry *entry);
+
+int flow_dv_push_vlan_match_cb(struct mlx5_cache_list *list,
+                              struct mlx5_cache_entry *entry, void *cb_ctx);
+struct mlx5_cache_entry *flow_dv_push_vlan_create_cb
+                               (struct mlx5_cache_list *list,
+                                struct mlx5_cache_entry *entry, void *cb_ctx);
+void flow_dv_push_vlan_remove_cb(struct mlx5_cache_list *list,
+                                struct mlx5_cache_entry *entry);
+
+int flow_dv_sample_match_cb(struct mlx5_cache_list *list,
+                           struct mlx5_cache_entry *entry, void *cb_ctx);
+struct mlx5_cache_entry *flow_dv_sample_create_cb
+                               (struct mlx5_cache_list *list,
+                                struct mlx5_cache_entry *entry, void *cb_ctx);
+void flow_dv_sample_remove_cb(struct mlx5_cache_list *list,
+                             struct mlx5_cache_entry *entry);
+
+int flow_dv_dest_array_match_cb(struct mlx5_cache_list *list,
+                               struct mlx5_cache_entry *entry, void *cb_ctx);
+struct mlx5_cache_entry *flow_dv_dest_array_create_cb
+                               (struct mlx5_cache_list *list,
+                                struct mlx5_cache_entry *entry, void *cb_ctx);
+void flow_dv_dest_array_remove_cb(struct mlx5_cache_list *list,
+                                 struct mlx5_cache_entry *entry);
 #endif /* RTE_PMD_MLX5_FLOW_H_ */