drivers/net/mlx4/mlx4.h

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  * Copyright 2012 6WIND S.A.
   3  * Copyright 2012 Mellanox Technologies, Ltd
   4  */
   5
   6 #ifndef RTE_PMD_MLX4_H_
   7 #define RTE_PMD_MLX4_H_
   8
   9 #include <net/if.h>
  10 #include <stdint.h>
  11 #include <sys/queue.h>
  12
  13 /* Verbs headers do not support -pedantic. */
  14 #ifdef PEDANTIC
  15 #pragma GCC diagnostic ignored "-Wpedantic"
  16 #endif
  17 #include <infiniband/verbs.h>
  18 #ifdef PEDANTIC
  19 #pragma GCC diagnostic error "-Wpedantic"
  20 #endif
  21
  22 #include <rte_ethdev_driver.h>
  23 #include <rte_ether.h>
  24 #include <rte_interrupts.h>
  25 #include <rte_mempool.h>
  26 #include <rte_rwlock.h>
  27
  28 #include "mlx4_mr.h"
  29
  30 #ifndef IBV_RX_HASH_INNER
  31 /** This is not necessarily defined by supported RDMA core versions. */
  32 #define IBV_RX_HASH_INNER (1ull << 31)
  33 #endif /* IBV_RX_HASH_INNER */
  34
  35 /** Maximum number of simultaneous MAC addresses. This value is arbitrary. */
  36 #define MLX4_MAX_MAC_ADDRESSES 128
  37
  38 /** Request send completion once in every 64 sends, might be less. */
  39 #define MLX4_PMD_TX_PER_COMP_REQ 64
  40
  41 /** Maximum size for inline data. */
  42 #define MLX4_PMD_MAX_INLINE 0
  43
  44 /** Fixed RSS hash key size in bytes. Cannot be modified. */
  45 #define MLX4_RSS_HASH_KEY_SIZE 40
  46
  47 /** Interrupt alarm timeout value in microseconds. */
  48 #define MLX4_INTR_ALARM_TIMEOUT 100000
  49
  50 /* Maximum packet headers size (L2+L3+L4) for TSO. */
  51 #define MLX4_MAX_TSO_HEADER 192
  52
  53 /** Port parameter. */
  54 #define MLX4_PMD_PORT_KVARG "port"
  55
  56 /** Enable extending memsegs when creating a MR. */
  57 #define MLX4_MR_EXT_MEMSEG_EN_KVARG "mr_ext_memseg_en"
  58
  59 /* Reserved address space for UAR mapping. */
  60 #define MLX4_UAR_SIZE (1ULL << (sizeof(uintptr_t) * 4))
  61
  62 /* Offset of reserved UAR address space to hugepage memory. Offset is used here
  63  * to minimize possibility of address next to hugepage being used by other code
  64  * in either primary or secondary process, failing to map TX UAR would make TX
  65  * packets invisible to HW.
  66  */
  67 #define MLX4_UAR_OFFSET (2ULL << (sizeof(uintptr_t) * 4))
  68
  69 enum {
  70         PCI_VENDOR_ID_MELLANOX = 0x15b3,
  71 };
  72
  73 enum {
  74         PCI_DEVICE_ID_MELLANOX_CONNECTX3 = 0x1003,
  75         PCI_DEVICE_ID_MELLANOX_CONNECTX3VF = 0x1004,
  76         PCI_DEVICE_ID_MELLANOX_CONNECTX3PRO = 0x1007,
  77 };
  78
  79 /* Request types for IPC. */
  80 enum mlx4_mp_req_type {
  81         MLX4_MP_REQ_VERBS_CMD_FD = 1,
  82         MLX4_MP_REQ_CREATE_MR,
  83         MLX4_MP_REQ_START_RXTX,
  84         MLX4_MP_REQ_STOP_RXTX,
  85 };
  86
  87 /* Pameters for IPC. */
  88 struct mlx4_mp_param {
  89         enum mlx4_mp_req_type type;
  90         int port_id;
  91         int result;
  92         RTE_STD_C11
  93         union {
  94                 uintptr_t addr; /* MLX4_MP_REQ_CREATE_MR */
  95         } args;
  96 };
  97
  98 /** Request timeout for IPC. */
  99 #define MLX4_MP_REQ_TIMEOUT_SEC 5
 100
 101 /** Key string for IPC. */
 102 #define MLX4_MP_NAME "net_mlx4_mp"
 103
 104 /** Driver name reported to lower layers and used in log output. */
 105 #define MLX4_DRIVER_NAME "net_mlx4"
 106
 107 struct mlx4_drop;
 108 struct mlx4_rss;
 109 struct rxq;
 110 struct txq;
 111 struct rte_flow;
 112
 113 /**
 114  * Type of objet being allocated.
 115  */
 116 enum mlx4_verbs_alloc_type {
 117         MLX4_VERBS_ALLOC_TYPE_NONE,
 118         MLX4_VERBS_ALLOC_TYPE_TX_QUEUE,
 119         MLX4_VERBS_ALLOC_TYPE_RX_QUEUE,
 120 };
 121
 122 /**
 123  * Verbs allocator needs a context to know in the callback which kind of
 124  * resources it is allocating.
 125  */
 126 struct mlx4_verbs_alloc_ctx {
 127         int enabled;
 128         enum mlx4_verbs_alloc_type type; /* Kind of object being allocated. */
 129         const void *obj; /* Pointer to the DPDK object. */
 130 };
 131
 132 LIST_HEAD(mlx4_dev_list, mlx4_priv);
 133 LIST_HEAD(mlx4_mr_list, mlx4_mr);
 134
 135 /* Shared data between primary and secondary processes. */
 136 struct mlx4_shared_data {
 137         rte_spinlock_t lock;
 138         /* Global spinlock for primary and secondary processes. */
 139         int init_done; /* Whether primary has done initialization. */
 140         unsigned int secondary_cnt; /* Number of secondary processes init'd. */
 141         void *uar_base;
 142         /* Reserved UAR address space for TXQ UAR(hw doorbell) mapping. */
 143         struct mlx4_dev_list mem_event_cb_list;
 144         rte_rwlock_t mem_event_rwlock;
 145 };
 146
 147 /* Per-process data structure, not visible to other processes. */
 148 struct mlx4_local_data {
 149         int init_done; /* Whether a secondary has done initialization. */
 150         void *uar_base;
 151         /* Reserved UAR address space for TXQ UAR(hw doorbell) mapping. */
 152 };
 153
 154 extern struct mlx4_shared_data *mlx4_shared_data;
 155
 156 /** Private data structure. */
 157 struct mlx4_priv {
 158         LIST_ENTRY(mlx4_priv) mem_event_cb;
 159         /**< Called by memory event callback. */
 160         struct rte_eth_dev_data *dev_data;  /* Pointer to device data. */
 161         struct ibv_context *ctx; /**< Verbs context. */
 162         struct ibv_device_attr device_attr; /**< Device properties. */
 163         struct ibv_pd *pd; /**< Protection Domain. */
 164         /* Device properties. */
 165         uint16_t mtu; /**< Configured MTU. */
 166         uint8_t port; /**< Physical port number. */
 167         uint32_t started:1; /**< Device started, flows enabled. */
 168         uint32_t vf:1; /**< This is a VF device. */
 169         uint32_t intr_alarm:1; /**< An interrupt alarm is scheduled. */
 170         uint32_t isolated:1; /**< Toggle isolated mode. */
 171         uint32_t rss_init:1; /**< Common RSS context is initialized. */
 172         uint32_t hw_csum:1; /**< Checksum offload is supported. */
 173         uint32_t hw_csum_l2tun:1; /**< Checksum support for L2 tunnels. */
 174         uint32_t hw_fcs_strip:1; /**< FCS stripping toggling is supported. */
 175         uint32_t tso:1; /**< Transmit segmentation offload is supported. */
 176         uint32_t mr_ext_memseg_en:1;
 177         /** Whether memseg should be extended for MR creation. */
 178         uint32_t tso_max_payload_sz; /**< Max supported TSO payload size. */
 179         uint32_t hw_rss_max_qps; /**< Max Rx Queues supported by RSS. */
 180         uint64_t hw_rss_sup; /**< Supported RSS hash fields (Verbs format). */
 181         struct rte_intr_handle intr_handle; /**< Port interrupt handle. */
 182         struct mlx4_drop *drop; /**< Shared resources for drop flow rules. */
 183         struct {
 184                 uint32_t dev_gen; /* Generation number to flush local caches. */
 185                 rte_rwlock_t rwlock; /* MR Lock. */
 186                 struct mlx4_mr_btree cache; /* Global MR cache table. */
 187                 struct mlx4_mr_list mr_list; /* Registered MR list. */
 188                 struct mlx4_mr_list mr_free_list; /* Freed MR list. */
 189         } mr;
 190         LIST_HEAD(, mlx4_rss) rss; /**< Shared targets for Rx flow rules. */
 191         LIST_HEAD(, rte_flow) flows; /**< Configured flow rule handles. */
 192         struct ether_addr mac[MLX4_MAX_MAC_ADDRESSES];
 193         /**< Configured MAC addresses. Unused entries are zeroed. */
 194         struct mlx4_verbs_alloc_ctx verbs_alloc_ctx;
 195         /**< Context for Verbs allocator. */
 196 };
 197
 198 #define PORT_ID(priv) ((priv)->dev_data->port_id)
 199 #define ETH_DEV(priv) (&rte_eth_devices[PORT_ID(priv)])
 200
 201 /* mlx4_ethdev.c */
 202
 203 int mlx4_get_ifname(const struct mlx4_priv *priv, char (*ifname)[IF_NAMESIZE]);
 204 int mlx4_get_mac(struct mlx4_priv *priv, uint8_t (*mac)[ETHER_ADDR_LEN]);
 205 int mlx4_mtu_get(struct mlx4_priv *priv, uint16_t *mtu);
 206 int mlx4_mtu_set(struct rte_eth_dev *dev, uint16_t mtu);
 207 int mlx4_dev_set_link_down(struct rte_eth_dev *dev);
 208 int mlx4_dev_set_link_up(struct rte_eth_dev *dev);
 209 void mlx4_promiscuous_enable(struct rte_eth_dev *dev);
 210 void mlx4_promiscuous_disable(struct rte_eth_dev *dev);
 211 void mlx4_allmulticast_enable(struct rte_eth_dev *dev);
 212 void mlx4_allmulticast_disable(struct rte_eth_dev *dev);
 213 void mlx4_mac_addr_remove(struct rte_eth_dev *dev, uint32_t index);
 214 int mlx4_mac_addr_add(struct rte_eth_dev *dev, struct ether_addr *mac_addr,
 215                       uint32_t index, uint32_t vmdq);
 216 int mlx4_mac_addr_set(struct rte_eth_dev *dev, struct ether_addr *mac_addr);
 217 int mlx4_vlan_filter_set(struct rte_eth_dev *dev, uint16_t vlan_id, int on);
 218 int mlx4_stats_get(struct rte_eth_dev *dev, struct rte_eth_stats *stats);
 219 void mlx4_stats_reset(struct rte_eth_dev *dev);
 220 int mlx4_fw_version_get(struct rte_eth_dev *dev, char *fw_ver, size_t fw_size);
 221 void mlx4_dev_infos_get(struct rte_eth_dev *dev,
 222                         struct rte_eth_dev_info *info);
 223 int mlx4_link_update(struct rte_eth_dev *dev, int wait_to_complete);
 224 int mlx4_flow_ctrl_get(struct rte_eth_dev *dev,
 225                        struct rte_eth_fc_conf *fc_conf);
 226 int mlx4_flow_ctrl_set(struct rte_eth_dev *dev,
 227                        struct rte_eth_fc_conf *fc_conf);
 228 const uint32_t *mlx4_dev_supported_ptypes_get(struct rte_eth_dev *dev);
 229 int mlx4_is_removed(struct rte_eth_dev *dev);
 230
 231 /* mlx4_intr.c */
 232
 233 int mlx4_intr_uninstall(struct mlx4_priv *priv);
 234 int mlx4_intr_install(struct mlx4_priv *priv);
 235 int mlx4_rxq_intr_enable(struct mlx4_priv *priv);
 236 void mlx4_rxq_intr_disable(struct mlx4_priv *priv);
 237 int mlx4_rx_intr_disable(struct rte_eth_dev *dev, uint16_t idx);
 238 int mlx4_rx_intr_enable(struct rte_eth_dev *dev, uint16_t idx);
 239
 240 /* mlx4_mp.c */
 241 void mlx4_mp_req_start_rxtx(struct rte_eth_dev *dev);
 242 void mlx4_mp_req_stop_rxtx(struct rte_eth_dev *dev);
 243 int mlx4_mp_req_mr_create(struct rte_eth_dev *dev, uintptr_t addr);
 244 int mlx4_mp_req_verbs_cmd_fd(struct rte_eth_dev *dev);
 245 void mlx4_mp_init_primary(void);
 246 void mlx4_mp_uninit_primary(void);
 247 void mlx4_mp_init_secondary(void);
 248 void mlx4_mp_uninit_secondary(void);
 249
 250 #endif /* RTE_PMD_MLX4_H_ */