drivers/common/mlx5/linux/mlx5_glue.h

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  * Copyright 2018 6WIND S.A.
   3  * Copyright 2018 Mellanox Technologies, Ltd
   4  */
   5
   6 #ifndef MLX5_GLUE_H_
   7 #define MLX5_GLUE_H_
   8
   9 #include <stddef.h>
  10 #include <stdint.h>
  11 /* Verbs headers do not support -pedantic. */
  12 #ifdef PEDANTIC
  13 #pragma GCC diagnostic ignored "-Wpedantic"
  14 #endif
  15 #include <infiniband/mlx5dv.h>
  16 #include <infiniband/verbs.h>
  17 #ifdef PEDANTIC
  18 #pragma GCC diagnostic error "-Wpedantic"
  19 #endif
  20
  21 #include <rte_byteorder.h>
  22
  23 #include "mlx5_autoconf.h"
  24
  25 #ifndef MLX5_GLUE_VERSION
  26 #define MLX5_GLUE_VERSION ""
  27 #endif
  28
  29 #ifndef HAVE_IBV_DEVICE_COUNTERS_SET_V42
  30 struct ibv_counter_set;
  31 struct ibv_counter_set_data;
  32 struct ibv_counter_set_description;
  33 struct ibv_counter_set_init_attr;
  34 struct ibv_query_counter_set_attr;
  35 #endif
  36
  37 #ifndef HAVE_IBV_DEVICE_COUNTERS_SET_V45
  38 struct ibv_counters;
  39 struct ibv_counters_init_attr;
  40 struct ibv_counter_attach_attr;
  41 #endif
  42
  43 #ifndef HAVE_IBV_DEVICE_TUNNEL_SUPPORT
  44 struct mlx5dv_qp_init_attr;
  45 #endif
  46
  47 #ifndef HAVE_IBV_DEVICE_STRIDING_RQ_SUPPORT
  48 struct mlx5dv_wq_init_attr;
  49 #endif
  50
  51 #ifndef HAVE_IBV_FLOW_DV_SUPPORT
  52 struct mlx5dv_flow_matcher;
  53 struct mlx5dv_flow_matcher_attr;
  54 struct mlx5dv_flow_action_attr;
  55 struct mlx5dv_flow_match_parameters;
  56 struct mlx5dv_dr_flow_meter_attr;
  57 struct ibv_flow_action;
  58 enum mlx5dv_flow_action_packet_reformat_type { packet_reformat_type = 0, };
  59 enum mlx5dv_flow_table_type { flow_table_type = 0, };
  60 #endif
  61
  62 #ifndef HAVE_IBV_FLOW_DEVX_COUNTERS
  63 #define MLX5DV_FLOW_ACTION_COUNTERS_DEVX 0
  64 #endif
  65
  66 #ifndef HAVE_IBV_DEVX_OBJ
  67 struct mlx5dv_devx_obj;
  68 struct mlx5dv_devx_umem { uint32_t umem_id; };
  69 struct mlx5dv_devx_uar { void *reg_addr; void *base_addr; uint32_t page_id; };
  70 #endif
  71
  72 #ifndef HAVE_IBV_DEVX_ASYNC
  73 struct mlx5dv_devx_cmd_comp;
  74 struct mlx5dv_devx_async_cmd_hdr;
  75 #endif
  76
  77 #ifndef HAVE_MLX5DV_DR
  78 enum  mlx5dv_dr_domain_type { unused, };
  79 struct mlx5dv_dr_domain;
  80 struct mlx5dv_dr_action;
  81 #define MLX5DV_DR_ACTION_FLAGS_ROOT_LEVEL 1
  82 #endif
  83
  84 #ifndef HAVE_MLX5DV_DR_DEVX_PORT
  85 struct mlx5dv_devx_port;
  86 #endif
  87
  88 #ifndef HAVE_MLX5DV_DR_DEVX_PORT_V35
  89 struct mlx5dv_port;
  90 #endif
  91
  92 #define MLX5_PORT_QUERY_VPORT (1u << 0)
  93 #define MLX5_PORT_QUERY_REG_C0 (1u << 1)
  94
  95 struct mlx5_port_info {
  96         uint16_t query_flags;
  97         uint16_t vport_id; /* Associated VF vport index (if any). */
  98         uint32_t vport_meta_tag; /* Used for vport index match ove VF LAG. */
  99         uint32_t vport_meta_mask; /* Used for vport index field match mask. */
 100 };
 101
 102 #ifndef HAVE_MLX5_DR_CREATE_ACTION_FLOW_METER
 103 struct mlx5dv_dr_flow_meter_attr;
 104 #endif
 105
 106 #ifndef HAVE_MLX5_DR_CREATE_ACTION_FLOW_SAMPLE
 107 struct mlx5dv_dr_flow_sampler_attr {
 108         uint32_t sample_ratio;
 109         void *default_next_table;
 110         size_t num_sample_actions;
 111         struct mlx5dv_dr_action **sample_actions;
 112         uint64_t action;
 113 };
 114 #endif
 115
 116 #ifndef HAVE_MLX5_DR_CREATE_ACTION_DEST_ARRAY
 117 enum mlx5dv_dr_action_dest_type {
 118         MLX5DV_DR_ACTION_DEST,
 119         MLX5DV_DR_ACTION_DEST_REFORMAT,
 120 };
 121 struct mlx5dv_dr_action_dest_reformat {
 122         struct mlx5dv_dr_action *reformat;
 123         struct mlx5dv_dr_action *dest;
 124 };
 125 struct mlx5dv_dr_action_dest_attr {
 126         enum mlx5dv_dr_action_dest_type type;
 127         union {
 128                 struct mlx5dv_dr_action *dest;
 129                 struct mlx5dv_dr_action_dest_reformat *dest_reformat;
 130         };
 131 };
 132 #endif
 133
 134 #ifndef HAVE_IBV_DEVX_EVENT
 135 struct mlx5dv_devx_event_channel { int fd; };
 136 struct mlx5dv_devx_async_event_hdr;
 137 #define MLX5DV_DEVX_CREATE_EVENT_CHANNEL_FLAGS_OMIT_EV_DATA 1
 138 #endif
 139
 140 #ifndef HAVE_IBV_VAR
 141 struct mlx5dv_var { uint32_t page_id; uint32_t length; off_t mmap_off;
 142                         uint64_t comp_mask; };
 143 #endif
 144
 145 #ifndef HAVE_IBV_RELAXED_ORDERING
 146 #define IBV_ACCESS_RELAXED_ORDERING 0
 147 #endif
 148
 149 struct mlx5_glue {
 150         const char *version;
 151         int (*fork_init)(void);
 152         struct ibv_pd *(*alloc_pd)(struct ibv_context *context);
 153         int (*dealloc_pd)(struct ibv_pd *pd);
 154         struct ibv_pd *(*import_pd)(struct ibv_context *context,
 155                                     uint32_t pd_handle);
 156         int (*unimport_pd)(struct ibv_pd *pd);
 157         struct ibv_device **(*get_device_list)(int *num_devices);
 158         void (*free_device_list)(struct ibv_device **list);
 159         struct ibv_context *(*open_device)(struct ibv_device *device);
 160         struct ibv_context *(*import_device)(int cmd_fd);
 161         int (*close_device)(struct ibv_context *context);
 162         int (*query_device)(struct ibv_context *context,
 163                             struct ibv_device_attr *device_attr);
 164         int (*query_device_ex)(struct ibv_context *context,
 165                                const struct ibv_query_device_ex_input *input,
 166                                struct ibv_device_attr_ex *attr);
 167         int (*query_rt_values_ex)(struct ibv_context *context,
 168                                struct ibv_values_ex *values);
 169         int (*query_port)(struct ibv_context *context, uint8_t port_num,
 170                           struct ibv_port_attr *port_attr);
 171         struct ibv_comp_channel *(*create_comp_channel)
 172                 (struct ibv_context *context);
 173         int (*destroy_comp_channel)(struct ibv_comp_channel *channel);
 174         struct ibv_cq *(*create_cq)(struct ibv_context *context, int cqe,
 175                                     void *cq_context,
 176                                     struct ibv_comp_channel *channel,
 177                                     int comp_vector);
 178         int (*destroy_cq)(struct ibv_cq *cq);
 179         int (*get_cq_event)(struct ibv_comp_channel *channel,
 180                             struct ibv_cq **cq, void **cq_context);
 181         void (*ack_cq_events)(struct ibv_cq *cq, unsigned int nevents);
 182         struct ibv_rwq_ind_table *(*create_rwq_ind_table)
 183                 (struct ibv_context *context,
 184                  struct ibv_rwq_ind_table_init_attr *init_attr);
 185         int (*destroy_rwq_ind_table)(struct ibv_rwq_ind_table *rwq_ind_table);
 186         struct ibv_wq *(*create_wq)(struct ibv_context *context,
 187                                     struct ibv_wq_init_attr *wq_init_attr);
 188         int (*destroy_wq)(struct ibv_wq *wq);
 189         int (*modify_wq)(struct ibv_wq *wq, struct ibv_wq_attr *wq_attr);
 190         struct ibv_flow *(*create_flow)(struct ibv_qp *qp,
 191                                         struct ibv_flow_attr *flow);
 192         int (*destroy_flow)(struct ibv_flow *flow_id);
 193         int (*destroy_flow_action)(void *action);
 194         struct ibv_qp *(*create_qp)(struct ibv_pd *pd,
 195                                     struct ibv_qp_init_attr *qp_init_attr);
 196         struct ibv_qp *(*create_qp_ex)
 197                 (struct ibv_context *context,
 198                  struct ibv_qp_init_attr_ex *qp_init_attr_ex);
 199         int (*destroy_qp)(struct ibv_qp *qp);
 200         int (*modify_qp)(struct ibv_qp *qp, struct ibv_qp_attr *attr,
 201                          int attr_mask);
 202         struct ibv_mr *(*reg_mr)(struct ibv_pd *pd, void *addr,
 203                                  size_t length, int access);
 204         struct ibv_mr *(*reg_mr_iova)(struct ibv_pd *pd, void *addr,
 205                                       size_t length, uint64_t iova,
 206                                       int access);
 207         struct ibv_mr *(*alloc_null_mr)(struct ibv_pd *pd);
 208         int (*dereg_mr)(struct ibv_mr *mr);
 209         struct ibv_counter_set *(*create_counter_set)
 210                 (struct ibv_context *context,
 211                  struct ibv_counter_set_init_attr *init_attr);
 212         int (*destroy_counter_set)(struct ibv_counter_set *cs);
 213         int (*describe_counter_set)
 214                 (struct ibv_context *context,
 215                  uint16_t counter_set_id,
 216                  struct ibv_counter_set_description *cs_desc);
 217         int (*query_counter_set)(struct ibv_query_counter_set_attr *query_attr,
 218                                  struct ibv_counter_set_data *cs_data);
 219         struct ibv_counters *(*create_counters)
 220                 (struct ibv_context *context,
 221                  struct ibv_counters_init_attr *init_attr);
 222         int (*destroy_counters)(struct ibv_counters *counters);
 223         int (*attach_counters)(struct ibv_counters *counters,
 224                                struct ibv_counter_attach_attr *attr,
 225                                struct ibv_flow *flow);
 226         int (*query_counters)(struct ibv_counters *counters,
 227                               uint64_t *counters_value,
 228                               uint32_t ncounters,
 229                               uint32_t flags);
 230         void (*ack_async_event)(struct ibv_async_event *event);
 231         int (*get_async_event)(struct ibv_context *context,
 232                                struct ibv_async_event *event);
 233         const char *(*port_state_str)(enum ibv_port_state port_state);
 234         struct ibv_cq *(*cq_ex_to_cq)(struct ibv_cq_ex *cq);
 235         void *(*dr_create_flow_action_dest_flow_tbl)(void *tbl);
 236         void *(*dr_create_flow_action_dest_port)(void *domain,
 237                                                  uint32_t port);
 238         void *(*dr_create_flow_action_drop)(void);
 239         void *(*dr_create_flow_action_push_vlan)
 240                                         (struct mlx5dv_dr_domain *domain,
 241                                          rte_be32_t vlan_tag);
 242         void *(*dr_create_flow_action_pop_vlan)(void);
 243         void *(*dr_create_flow_tbl)(void *domain, uint32_t level);
 244         int (*dr_destroy_flow_tbl)(void *tbl);
 245         void *(*dr_create_domain)(struct ibv_context *ctx,
 246                                   enum mlx5dv_dr_domain_type domain);
 247         int (*dr_destroy_domain)(void *domain);
 248         int (*dr_sync_domain)(void *domain, uint32_t flags);
 249         struct ibv_cq_ex *(*dv_create_cq)
 250                 (struct ibv_context *context,
 251                  struct ibv_cq_init_attr_ex *cq_attr,
 252                  struct mlx5dv_cq_init_attr *mlx5_cq_attr);
 253         struct ibv_wq *(*dv_create_wq)
 254                 (struct ibv_context *context,
 255                  struct ibv_wq_init_attr *wq_attr,
 256                  struct mlx5dv_wq_init_attr *mlx5_wq_attr);
 257         int (*dv_query_device)(struct ibv_context *ctx_in,
 258                                struct mlx5dv_context *attrs_out);
 259         int (*dv_set_context_attr)(struct ibv_context *ibv_ctx,
 260                                    enum mlx5dv_set_ctx_attr_type type,
 261                                    void *attr);
 262         int (*dv_init_obj)(struct mlx5dv_obj *obj, uint64_t obj_type);
 263         struct ibv_qp *(*dv_create_qp)
 264                 (struct ibv_context *context,
 265                  struct ibv_qp_init_attr_ex *qp_init_attr_ex,
 266                  struct mlx5dv_qp_init_attr *dv_qp_init_attr);
 267         void *(*dv_create_flow_matcher)
 268                 (struct ibv_context *context,
 269                  struct mlx5dv_flow_matcher_attr *matcher_attr,
 270                  void *tbl);
 271         void *(*dv_create_flow)(void *matcher, void *match_value,
 272                           size_t num_actions, void *actions[]);
 273         void *(*dv_create_flow_action_counter)(void *obj, uint32_t  offset);
 274         void *(*dv_create_flow_action_dest_ibv_qp)(void *qp);
 275         void *(*dv_create_flow_action_dest_devx_tir)(void *tir);
 276         void *(*dv_create_flow_action_modify_header)
 277                 (struct ibv_context *ctx, enum mlx5dv_flow_table_type ft_type,
 278                  void *domain, uint64_t flags, size_t actions_sz,
 279                  uint64_t actions[]);
 280         void *(*dv_create_flow_action_packet_reformat)
 281                 (struct ibv_context *ctx,
 282                  enum mlx5dv_flow_action_packet_reformat_type reformat_type,
 283                  enum mlx5dv_flow_table_type ft_type,
 284                  struct mlx5dv_dr_domain *domain,
 285                  uint32_t flags, size_t data_sz, void *data);
 286         void *(*dv_create_flow_action_tag)(uint32_t tag);
 287         void *(*dv_create_flow_action_meter)
 288                 (struct mlx5dv_dr_flow_meter_attr *attr);
 289         int (*dv_modify_flow_action_meter)(void *action,
 290                 struct mlx5dv_dr_flow_meter_attr *attr, uint64_t modify_bits);
 291         void *(*dr_create_flow_action_default_miss)(void);
 292         int (*dv_destroy_flow)(void *flow);
 293         int (*dv_destroy_flow_matcher)(void *matcher);
 294         struct ibv_context *(*dv_open_device)(struct ibv_device *device);
 295         struct mlx5dv_var *(*dv_alloc_var)(struct ibv_context *context,
 296                                            uint32_t flags);
 297         void (*dv_free_var)(struct mlx5dv_var *var);
 298         struct mlx5dv_devx_uar *(*devx_alloc_uar)(struct ibv_context *context,
 299                                                   uint32_t flags);
 300         void (*devx_free_uar)(struct mlx5dv_devx_uar *devx_uar);
 301         struct mlx5dv_devx_obj *(*devx_obj_create)
 302                                         (struct ibv_context *ctx,
 303                                          const void *in, size_t inlen,
 304                                          void *out, size_t outlen);
 305         int (*devx_obj_destroy)(struct mlx5dv_devx_obj *obj);
 306         int (*devx_obj_query)(struct mlx5dv_devx_obj *obj,
 307                               const void *in, size_t inlen,
 308                               void *out, size_t outlen);
 309         int (*devx_obj_modify)(struct mlx5dv_devx_obj *obj,
 310                                const void *in, size_t inlen,
 311                                void *out, size_t outlen);
 312         int (*devx_general_cmd)(struct ibv_context *context,
 313                                 const void *in, size_t inlen,
 314                                 void *out, size_t outlen);
 315         struct mlx5dv_devx_cmd_comp *(*devx_create_cmd_comp)
 316                                         (struct ibv_context *context);
 317         void (*devx_destroy_cmd_comp)(struct mlx5dv_devx_cmd_comp *cmd_comp);
 318         int (*devx_obj_query_async)(struct mlx5dv_devx_obj *obj,
 319                                     const void *in, size_t inlen,
 320                                     size_t outlen, uint64_t wr_id,
 321                                     struct mlx5dv_devx_cmd_comp *cmd_comp);
 322         int (*devx_get_async_cmd_comp)(struct mlx5dv_devx_cmd_comp *cmd_comp,
 323                                        struct mlx5dv_devx_async_cmd_hdr *resp,
 324                                        size_t cmd_resp_len);
 325         struct mlx5dv_devx_umem *(*devx_umem_reg)(struct ibv_context *context,
 326                                                   void *addr, size_t size,
 327                                                   uint32_t access);
 328         int (*devx_umem_dereg)(struct mlx5dv_devx_umem *dv_devx_umem);
 329         int (*devx_qp_query)(struct ibv_qp *qp,
 330                              const void *in, size_t inlen,
 331                              void *out, size_t outlen);
 332         int (*devx_wq_query)(struct ibv_wq *wq, const void *in, size_t inlen,
 333                              void *out, size_t outlen);
 334         int (*devx_port_query)(struct ibv_context *ctx,
 335                                uint32_t port_num,
 336                                struct mlx5_port_info *info);
 337         int (*dr_dump_domain)(FILE *file, void *domain);
 338         int (*dr_dump_rule)(FILE *file, void *rule);
 339         int (*devx_query_eqn)(struct ibv_context *context, uint32_t cpus,
 340                               uint32_t *eqn);
 341         struct mlx5dv_devx_event_channel *(*devx_create_event_channel)
 342                                 (struct ibv_context *context, int flags);
 343         void (*devx_destroy_event_channel)
 344                         (struct mlx5dv_devx_event_channel *event_channel);
 345         int (*devx_subscribe_devx_event)
 346                         (struct mlx5dv_devx_event_channel *event_channel,
 347                          struct mlx5dv_devx_obj *obj,
 348                          uint16_t events_sz,
 349                          uint16_t events_num[],
 350                          uint64_t cookie);
 351         int (*devx_subscribe_devx_event_fd)
 352                         (struct mlx5dv_devx_event_channel *event_channel,
 353                          int fd,
 354                          struct mlx5dv_devx_obj *obj,
 355                          uint16_t event_num);
 356         ssize_t (*devx_get_event)
 357                         (struct mlx5dv_devx_event_channel *event_channel,
 358                          struct mlx5dv_devx_async_event_hdr *event_data,
 359                          size_t event_resp_len);
 360         void (*dr_reclaim_domain_memory)(void *domain, uint32_t enable);
 361         void (*dr_allow_duplicate_rules)(void *domain, uint32_t allow);
 362         struct mlx5dv_pp *(*dv_alloc_pp)(struct ibv_context *context,
 363                                          size_t pp_context_sz,
 364                                          const void *pp_context,
 365                                          uint32_t flags);
 366         void (*dv_free_pp)(struct mlx5dv_pp *pp);
 367         void *(*dr_create_flow_action_sampler)
 368                         (struct mlx5dv_dr_flow_sampler_attr *attr);
 369         void *(*dr_create_flow_action_dest_array)
 370                         (void *domain,
 371                          size_t num_dest,
 372                          struct mlx5dv_dr_action_dest_attr *dests[]);
 373         void *(*dv_create_flow_action_aso)
 374                         (struct mlx5dv_dr_domain *domain, void *aso_obj,
 375                          uint32_t offset, uint32_t flags, uint8_t return_reg_c);
 376 };
 377
 378 extern const struct mlx5_glue *mlx5_glue;
 379
 380 #endif /* MLX5_GLUE_H_ */