drivers/net/mlx5/mlx5_stats.c

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  * Copyright 2015 6WIND S.A.
   3  * Copyright 2015 Mellanox.
   4  */
   5
   6 #include <inttypes.h>
   7 #include <linux/sockios.h>
   8 #include <linux/ethtool.h>
   9 #include <stdint.h>
  10 #include <stdio.h>
  11
  12 #include <rte_ethdev_driver.h>
  13 #include <rte_common.h>
  14 #include <rte_malloc.h>
  15
  16 #include "mlx5.h"
  17 #include "mlx5_rxtx.h"
  18 #include "mlx5_defs.h"
  19
  20 struct mlx5_counter_ctrl {
  21         /* Name of the counter. */
  22         char dpdk_name[RTE_ETH_XSTATS_NAME_SIZE];
  23         /* Name of the counter on the device table. */
  24         char ctr_name[RTE_ETH_XSTATS_NAME_SIZE];
  25         uint32_t ib:1; /**< Nonzero for IB counters. */
  26 };
  27
  28 static const struct mlx5_counter_ctrl mlx5_counters_init[] = {
  29         {
  30                 .dpdk_name = "rx_port_unicast_bytes",
  31                 .ctr_name = "rx_vport_unicast_bytes",
  32         },
  33         {
  34                 .dpdk_name = "rx_port_multicast_bytes",
  35                 .ctr_name = "rx_vport_multicast_bytes",
  36         },
  37         {
  38                 .dpdk_name = "rx_port_broadcast_bytes",
  39                 .ctr_name = "rx_vport_broadcast_bytes",
  40         },
  41         {
  42                 .dpdk_name = "rx_port_unicast_packets",
  43                 .ctr_name = "rx_vport_unicast_packets",
  44         },
  45         {
  46                 .dpdk_name = "rx_port_multicast_packets",
  47                 .ctr_name = "rx_vport_multicast_packets",
  48         },
  49         {
  50                 .dpdk_name = "rx_port_broadcast_packets",
  51                 .ctr_name = "rx_vport_broadcast_packets",
  52         },
  53         {
  54                 .dpdk_name = "tx_port_unicast_bytes",
  55                 .ctr_name = "tx_vport_unicast_bytes",
  56         },
  57         {
  58                 .dpdk_name = "tx_port_multicast_bytes",
  59                 .ctr_name = "tx_vport_multicast_bytes",
  60         },
  61         {
  62                 .dpdk_name = "tx_port_broadcast_bytes",
  63                 .ctr_name = "tx_vport_broadcast_bytes",
  64         },
  65         {
  66                 .dpdk_name = "tx_port_unicast_packets",
  67                 .ctr_name = "tx_vport_unicast_packets",
  68         },
  69         {
  70                 .dpdk_name = "tx_port_multicast_packets",
  71                 .ctr_name = "tx_vport_multicast_packets",
  72         },
  73         {
  74                 .dpdk_name = "tx_port_broadcast_packets",
  75                 .ctr_name = "tx_vport_broadcast_packets",
  76         },
  77         {
  78                 .dpdk_name = "rx_wqe_err",
  79                 .ctr_name = "rx_wqe_err",
  80         },
  81         {
  82                 .dpdk_name = "rx_crc_errors_phy",
  83                 .ctr_name = "rx_crc_errors_phy",
  84         },
  85         {
  86                 .dpdk_name = "rx_in_range_len_errors_phy",
  87                 .ctr_name = "rx_in_range_len_errors_phy",
  88         },
  89         {
  90                 .dpdk_name = "rx_symbol_err_phy",
  91                 .ctr_name = "rx_symbol_err_phy",
  92         },
  93         {
  94                 .dpdk_name = "tx_errors_phy",
  95                 .ctr_name = "tx_errors_phy",
  96         },
  97         {
  98                 .dpdk_name = "rx_out_of_buffer",
  99                 .ctr_name = "out_of_buffer",
 100                 .ib = 1,
 101         },
 102         {
 103                 .dpdk_name = "tx_packets_phy",
 104                 .ctr_name = "tx_packets_phy",
 105         },
 106         {
 107                 .dpdk_name = "rx_packets_phy",
 108                 .ctr_name = "rx_packets_phy",
 109         },
 110         {
 111                 .dpdk_name = "tx_bytes_phy",
 112                 .ctr_name = "tx_bytes_phy",
 113         },
 114         {
 115                 .dpdk_name = "rx_bytes_phy",
 116                 .ctr_name = "rx_bytes_phy",
 117         },
 118 };
 119
 120 static const unsigned int xstats_n = RTE_DIM(mlx5_counters_init);
 121
 122 /**
 123  * Read device counters table.
 124  *
 125  * @param priv
 126  *   Pointer to private structure.
 127  * @param[out] stats
 128  *   Counters table output buffer.
 129  *
 130  * @return
 131  *   0 on success and stats is filled, negative on error.
 132  */
 133 static int
 134 priv_read_dev_counters(struct priv *priv, uint64_t *stats)
 135 {
 136         struct mlx5_xstats_ctrl *xstats_ctrl = &priv->xstats_ctrl;
 137         unsigned int i;
 138         struct ifreq ifr;
 139         unsigned int stats_sz = xstats_ctrl->stats_n * sizeof(uint64_t);
 140         unsigned char et_stat_buf[sizeof(struct ethtool_stats) + stats_sz];
 141         struct ethtool_stats *et_stats = (struct ethtool_stats *)et_stat_buf;
 142
 143         et_stats->cmd = ETHTOOL_GSTATS;
 144         et_stats->n_stats = xstats_ctrl->stats_n;
 145         ifr.ifr_data = (caddr_t)et_stats;
 146         if (priv_ifreq(priv, SIOCETHTOOL, &ifr) != 0) {
 147                 WARN("unable to read statistic values from device");
 148                 return -1;
 149         }
 150         for (i = 0; i != xstats_n; ++i) {
 151                 if (mlx5_counters_init[i].ib) {
 152                         FILE *file;
 153                         MKSTR(path, "%s/ports/1/hw_counters/%s",
 154                               priv->ibdev_path,
 155                               mlx5_counters_init[i].ctr_name);
 156
 157                         file = fopen(path, "rb");
 158                         if (file) {
 159                                 int n = fscanf(file, "%" SCNu64, &stats[i]);
 160
 161                                 fclose(file);
 162                                 if (n != 1)
 163                                         stats[i] = 0;
 164                         }
 165                 } else {
 166                         stats[i] = (uint64_t)
 167                                 et_stats->data[xstats_ctrl->dev_table_idx[i]];
 168                 }
 169         }
 170         return 0;
 171 }
 172
 173 /**
 174  * Query the number of statistics provided by ETHTOOL.
 175  *
 176  * @param priv
 177  *   Pointer to private structure.
 178  *
 179  * @return
 180  *   Number of statistics on success, -1 on error.
 181  */
 182 static int
 183 priv_ethtool_get_stats_n(struct priv *priv) {
 184         struct ethtool_drvinfo drvinfo;
 185         struct ifreq ifr;
 186
 187         drvinfo.cmd = ETHTOOL_GDRVINFO;
 188         ifr.ifr_data = (caddr_t)&drvinfo;
 189         if (priv_ifreq(priv, SIOCETHTOOL, &ifr) != 0) {
 190                 WARN("unable to query number of statistics");
 191                 return -1;
 192         }
 193         return drvinfo.n_stats;
 194 }
 195
 196 /**
 197  * Init the structures to read device counters.
 198  *
 199  * @param priv
 200  *   Pointer to private structure.
 201  */
 202 void
 203 priv_xstats_init(struct priv *priv)
 204 {
 205         struct mlx5_xstats_ctrl *xstats_ctrl = &priv->xstats_ctrl;
 206         unsigned int i;
 207         unsigned int j;
 208         struct ifreq ifr;
 209         struct ethtool_gstrings *strings = NULL;
 210         unsigned int dev_stats_n;
 211         unsigned int str_sz;
 212
 213         dev_stats_n = priv_ethtool_get_stats_n(priv);
 214         if (dev_stats_n < 1) {
 215                 WARN("no extended statistics available");
 216                 return;
 217         }
 218         xstats_ctrl->stats_n = dev_stats_n;
 219         /* Allocate memory to grab stat names and values. */
 220         str_sz = dev_stats_n * ETH_GSTRING_LEN;
 221         strings = (struct ethtool_gstrings *)
 222                   rte_malloc("xstats_strings",
 223                              str_sz + sizeof(struct ethtool_gstrings), 0);
 224         if (!strings) {
 225                 WARN("unable to allocate memory for xstats");
 226                 return;
 227         }
 228         strings->cmd = ETHTOOL_GSTRINGS;
 229         strings->string_set = ETH_SS_STATS;
 230         strings->len = dev_stats_n;
 231         ifr.ifr_data = (caddr_t)strings;
 232         if (priv_ifreq(priv, SIOCETHTOOL, &ifr) != 0) {
 233                 WARN("unable to get statistic names");
 234                 goto free;
 235         }
 236         for (j = 0; j != xstats_n; ++j)
 237                 xstats_ctrl->dev_table_idx[j] = dev_stats_n;
 238         for (i = 0; i != dev_stats_n; ++i) {
 239                 const char *curr_string = (const char *)
 240                         &strings->data[i * ETH_GSTRING_LEN];
 241
 242                 for (j = 0; j != xstats_n; ++j) {
 243                         if (!strcmp(mlx5_counters_init[j].ctr_name,
 244                                     curr_string)) {
 245                                 xstats_ctrl->dev_table_idx[j] = i;
 246                                 break;
 247                         }
 248                 }
 249         }
 250         for (j = 0; j != xstats_n; ++j) {
 251                 if (mlx5_counters_init[j].ib)
 252                         continue;
 253                 if (xstats_ctrl->dev_table_idx[j] >= dev_stats_n) {
 254                         WARN("counter \"%s\" is not recognized",
 255                              mlx5_counters_init[j].dpdk_name);
 256                         goto free;
 257                 }
 258         }
 259         /* Copy to base at first time. */
 260         assert(xstats_n <= MLX5_MAX_XSTATS);
 261         priv_read_dev_counters(priv, xstats_ctrl->base);
 262 free:
 263         rte_free(strings);
 264 }
 265
 266 /**
 267  * Get device extended statistics.
 268  *
 269  * @param priv
 270  *   Pointer to private structure.
 271  * @param[out] stats
 272  *   Pointer to rte extended stats table.
 273  *
 274  * @return
 275  *   Number of extended stats on success and stats is filled,
 276  *   negative on error.
 277  */
 278 static int
 279 priv_xstats_get(struct priv *priv, struct rte_eth_xstat *stats)
 280 {
 281         struct mlx5_xstats_ctrl *xstats_ctrl = &priv->xstats_ctrl;
 282         unsigned int i;
 283         unsigned int n = xstats_n;
 284         uint64_t counters[n];
 285
 286         if (priv_read_dev_counters(priv, counters) < 0)
 287                 return -1;
 288         for (i = 0; i != xstats_n; ++i) {
 289                 stats[i].id = i;
 290                 stats[i].value = (counters[i] - xstats_ctrl->base[i]);
 291         }
 292         return n;
 293 }
 294
 295 /**
 296  * Reset device extended statistics.
 297  *
 298  * @param priv
 299  *   Pointer to private structure.
 300  */
 301 static void
 302 priv_xstats_reset(struct priv *priv)
 303 {
 304         struct mlx5_xstats_ctrl *xstats_ctrl = &priv->xstats_ctrl;
 305         unsigned int i;
 306         unsigned int n = xstats_n;
 307         uint64_t counters[n];
 308
 309         if (priv_read_dev_counters(priv, counters) < 0)
 310                 return;
 311         for (i = 0; i != n; ++i)
 312                 xstats_ctrl->base[i] = counters[i];
 313 }
 314
 315 /**
 316  * DPDK callback to get device statistics.
 317  *
 318  * @param dev
 319  *   Pointer to Ethernet device structure.
 320  * @param[out] stats
 321  *   Stats structure output buffer.
 322  */
 323 int
 324 mlx5_stats_get(struct rte_eth_dev *dev, struct rte_eth_stats *stats)
 325 {
 326         struct priv *priv = dev->data->dev_private;
 327         struct rte_eth_stats tmp = {0};
 328         unsigned int i;
 329         unsigned int idx;
 330
 331         priv_lock(priv);
 332         /* Add software counters. */
 333         for (i = 0; (i != priv->rxqs_n); ++i) {
 334                 struct mlx5_rxq_data *rxq = (*priv->rxqs)[i];
 335
 336                 if (rxq == NULL)
 337                         continue;
 338                 idx = rxq->stats.idx;
 339                 if (idx < RTE_ETHDEV_QUEUE_STAT_CNTRS) {
 340 #ifdef MLX5_PMD_SOFT_COUNTERS
 341                         tmp.q_ipackets[idx] += rxq->stats.ipackets;
 342                         tmp.q_ibytes[idx] += rxq->stats.ibytes;
 343 #endif
 344                         tmp.q_errors[idx] += (rxq->stats.idropped +
 345                                               rxq->stats.rx_nombuf);
 346                 }
 347 #ifdef MLX5_PMD_SOFT_COUNTERS
 348                 tmp.ipackets += rxq->stats.ipackets;
 349                 tmp.ibytes += rxq->stats.ibytes;
 350 #endif
 351                 tmp.ierrors += rxq->stats.idropped;
 352                 tmp.rx_nombuf += rxq->stats.rx_nombuf;
 353         }
 354         for (i = 0; (i != priv->txqs_n); ++i) {
 355                 struct mlx5_txq_data *txq = (*priv->txqs)[i];
 356
 357                 if (txq == NULL)
 358                         continue;
 359                 idx = txq->stats.idx;
 360                 if (idx < RTE_ETHDEV_QUEUE_STAT_CNTRS) {
 361 #ifdef MLX5_PMD_SOFT_COUNTERS
 362                         tmp.q_opackets[idx] += txq->stats.opackets;
 363                         tmp.q_obytes[idx] += txq->stats.obytes;
 364 #endif
 365                         tmp.q_errors[idx] += txq->stats.oerrors;
 366                 }
 367 #ifdef MLX5_PMD_SOFT_COUNTERS
 368                 tmp.opackets += txq->stats.opackets;
 369                 tmp.obytes += txq->stats.obytes;
 370 #endif
 371                 tmp.oerrors += txq->stats.oerrors;
 372         }
 373 #ifndef MLX5_PMD_SOFT_COUNTERS
 374         /* FIXME: retrieve and add hardware counters. */
 375 #endif
 376         *stats = tmp;
 377         priv_unlock(priv);
 378         return 0;
 379 }
 380
 381 /**
 382  * DPDK callback to clear device statistics.
 383  *
 384  * @param dev
 385  *   Pointer to Ethernet device structure.
 386  */
 387 void
 388 mlx5_stats_reset(struct rte_eth_dev *dev)
 389 {
 390         struct priv *priv = dev->data->dev_private;
 391         unsigned int i;
 392         unsigned int idx;
 393
 394         priv_lock(priv);
 395         for (i = 0; (i != priv->rxqs_n); ++i) {
 396                 if ((*priv->rxqs)[i] == NULL)
 397                         continue;
 398                 idx = (*priv->rxqs)[i]->stats.idx;
 399                 (*priv->rxqs)[i]->stats =
 400                         (struct mlx5_rxq_stats){ .idx = idx };
 401         }
 402         for (i = 0; (i != priv->txqs_n); ++i) {
 403                 if ((*priv->txqs)[i] == NULL)
 404                         continue;
 405                 idx = (*priv->txqs)[i]->stats.idx;
 406                 (*priv->txqs)[i]->stats =
 407                         (struct mlx5_txq_stats){ .idx = idx };
 408         }
 409 #ifndef MLX5_PMD_SOFT_COUNTERS
 410         /* FIXME: reset hardware counters. */
 411 #endif
 412         priv_unlock(priv);
 413 }
 414
 415 /**
 416  * DPDK callback to get extended device statistics.
 417  *
 418  * @param dev
 419  *   Pointer to Ethernet device structure.
 420  * @param[out] stats
 421  *   Stats table output buffer.
 422  * @param n
 423  *   The size of the stats table.
 424  *
 425  * @return
 426  *   Number of xstats on success, negative on failure.
 427  */
 428 int
 429 mlx5_xstats_get(struct rte_eth_dev *dev,
 430                 struct rte_eth_xstat *stats, unsigned int n)
 431 {
 432         struct priv *priv = dev->data->dev_private;
 433         int ret = xstats_n;
 434
 435         if (n >= xstats_n && stats) {
 436                 struct mlx5_xstats_ctrl *xstats_ctrl = &priv->xstats_ctrl;
 437                 int stats_n;
 438
 439                 priv_lock(priv);
 440                 stats_n = priv_ethtool_get_stats_n(priv);
 441                 if (stats_n < 0) {
 442                         priv_unlock(priv);
 443                         return -1;
 444                 }
 445                 if (xstats_ctrl->stats_n != stats_n)
 446                         priv_xstats_init(priv);
 447                 ret = priv_xstats_get(priv, stats);
 448                 priv_unlock(priv);
 449         }
 450         return ret;
 451 }
 452
 453 /**
 454  * DPDK callback to clear device extended statistics.
 455  *
 456  * @param dev
 457  *   Pointer to Ethernet device structure.
 458  */
 459 void
 460 mlx5_xstats_reset(struct rte_eth_dev *dev)
 461 {
 462         struct priv *priv = dev->data->dev_private;
 463         struct mlx5_xstats_ctrl *xstats_ctrl = &priv->xstats_ctrl;
 464         int stats_n;
 465
 466         priv_lock(priv);
 467         stats_n = priv_ethtool_get_stats_n(priv);
 468         if (stats_n < 0)
 469                 goto unlock;
 470         if (xstats_ctrl->stats_n != stats_n)
 471                 priv_xstats_init(priv);
 472         priv_xstats_reset(priv);
 473 unlock:
 474         priv_unlock(priv);
 475 }
 476
 477 /**
 478  * DPDK callback to retrieve names of extended device statistics
 479  *
 480  * @param dev
 481  *   Pointer to Ethernet device structure.
 482  * @param[out] xstats_names
 483  *   Buffer to insert names into.
 484  * @param n
 485  *   Number of names.
 486  *
 487  * @return
 488  *   Number of xstats names.
 489  */
 490 int
 491 mlx5_xstats_get_names(struct rte_eth_dev *dev,
 492                 struct rte_eth_xstat_name *xstats_names, unsigned int n)
 493 {
 494         struct priv *priv = dev->data->dev_private;
 495         unsigned int i;
 496
 497         if (n >= xstats_n && xstats_names) {
 498                 priv_lock(priv);
 499                 for (i = 0; i != xstats_n; ++i) {
 500                         strncpy(xstats_names[i].name,
 501                                 mlx5_counters_init[i].dpdk_name,
 502                                 RTE_ETH_XSTATS_NAME_SIZE);
 503                         xstats_names[i].name[RTE_ETH_XSTATS_NAME_SIZE - 1] = 0;
 504                 }
 505                 priv_unlock(priv);
 506         }
 507         return xstats_n;
 508 }