net/mlx5: provide send scheduling error statistics
[dpdk.git] / drivers / net / mlx5 / mlx5_stats.c
index 2d3cb51..e30542e 100644 (file)
@@ -1,48 +1,83 @@
-/*-
- *   BSD LICENSE
- *
- *   Copyright 2015 6WIND S.A.
- *   Copyright 2015 Mellanox.
- *
- *   Redistribution and use in source and binary forms, with or without
- *   modification, are permitted provided that the following conditions
- *   are met:
- *
- *     * Redistributions of source code must retain the above copyright
- *       notice, this list of conditions and the following disclaimer.
- *     * Redistributions in binary form must reproduce the above copyright
- *       notice, this list of conditions and the following disclaimer in
- *       the documentation and/or other materials provided with the
- *       distribution.
- *     * Neither the name of 6WIND S.A. nor the names of its
- *       contributors may be used to endorse or promote products derived
- *       from this software without specific prior written permission.
- *
- *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
- *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
- *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
- *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
- *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
- *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
- *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
- *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
- *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
- *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
- *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
+/* SPDX-License-Identifier: BSD-3-Clause
+ * Copyright 2015 6WIND S.A.
+ * Copyright 2015 Mellanox Technologies, Ltd
  */
 
-/* DPDK headers don't like -pedantic. */
-#ifdef PEDANTIC
-#pragma GCC diagnostic ignored "-pedantic"
-#endif
-#include <rte_ethdev.h>
-#ifdef PEDANTIC
-#pragma GCC diagnostic error "-pedantic"
-#endif
+#include <inttypes.h>
+#include <stdint.h>
+#include <stdio.h>
+#include <unistd.h>
+
+#include <rte_ethdev_driver.h>
+#include <rte_common.h>
+#include <rte_malloc.h>
+
+#include <mlx5_common.h>
 
+#include "mlx5_defs.h"
 #include "mlx5.h"
 #include "mlx5_rxtx.h"
-#include "mlx5_defs.h"
+
+/**
+ * DPDK callback to get extended device statistics.
+ *
+ * @param dev
+ *   Pointer to Ethernet device.
+ * @param[out] stats
+ *   Pointer to rte extended stats table.
+ * @param n
+ *   The size of the stats table.
+ *
+ * @return
+ *   Number of extended stats on success and stats is filled,
+ *   negative on error and rte_errno is set.
+ */
+int
+mlx5_xstats_get(struct rte_eth_dev *dev, struct rte_eth_xstat *stats,
+               unsigned int n)
+{
+       struct mlx5_priv *priv = dev->data->dev_private;
+       unsigned int i;
+       uint64_t counters[n];
+       struct mlx5_xstats_ctrl *xstats_ctrl = &priv->xstats_ctrl;
+       uint16_t mlx5_stats_n = xstats_ctrl->mlx5_stats_n;
+
+       if (n >= mlx5_stats_n && stats) {
+               int stats_n;
+               int ret;
+
+               stats_n = mlx5_os_get_stats_n(dev);
+               if (stats_n < 0)
+                       return stats_n;
+               if (xstats_ctrl->stats_n != stats_n)
+                       mlx5_os_stats_init(dev);
+               ret = mlx5_os_read_dev_counters(dev, counters);
+               if (ret)
+                       return ret;
+               for (i = 0; i != mlx5_stats_n; ++i) {
+                       stats[i].id = i;
+                       if (xstats_ctrl->info[i].dev) {
+                               uint64_t wrap_n;
+                               uint64_t hw_stat = xstats_ctrl->hw_stats[i];
+
+                               stats[i].value = (counters[i] -
+                                                 xstats_ctrl->base[i]) &
+                                                 (uint64_t)UINT32_MAX;
+                               wrap_n = hw_stat >> 32;
+                               if (stats[i].value <
+                                           (hw_stat & (uint64_t)UINT32_MAX))
+                                       wrap_n++;
+                               stats[i].value |= (wrap_n) << 32;
+                               xstats_ctrl->hw_stats[i] = stats[i].value;
+                       } else {
+                               stats[i].value =
+                                       (counters[i] - xstats_ctrl->base[i]);
+                       }
+               }
+       }
+       mlx5_stats_n = mlx5_txpp_xstats_get(dev, stats, n, mlx5_stats_n);
+       return mlx5_stats_n;
+}
 
 /**
  * DPDK callback to get device statistics.
  *   Pointer to Ethernet device structure.
  * @param[out] stats
  *   Stats structure output buffer.
+ *
+ * @return
+ *   0 on success and stats is filled, negative errno value otherwise and
+ *   rte_errno is set.
  */
-void
+int
 mlx5_stats_get(struct rte_eth_dev *dev, struct rte_eth_stats *stats)
 {
-       struct priv *priv = mlx5_get_priv(dev);
-       struct rte_eth_stats tmp = {0};
+       struct mlx5_priv *priv = dev->data->dev_private;
+       struct mlx5_stats_ctrl *stats_ctrl = &priv->stats_ctrl;
+       struct rte_eth_stats tmp;
        unsigned int i;
        unsigned int idx;
+       uint64_t wrap_n;
+       int ret;
 
-       priv_lock(priv);
+       memset(&tmp, 0, sizeof(tmp));
        /* Add software counters. */
        for (i = 0; (i != priv->rxqs_n); ++i) {
-               struct rxq *rxq = (*priv->rxqs)[i];
+               struct mlx5_rxq_data *rxq = (*priv->rxqs)[i];
 
                if (rxq == NULL)
                        continue;
-               idx = rxq->stats.idx;
+               idx = rxq->idx;
                if (idx < RTE_ETHDEV_QUEUE_STAT_CNTRS) {
 #ifdef MLX5_PMD_SOFT_COUNTERS
                        tmp.q_ipackets[idx] += rxq->stats.ipackets;
@@ -84,29 +126,40 @@ mlx5_stats_get(struct rte_eth_dev *dev, struct rte_eth_stats *stats)
                tmp.rx_nombuf += rxq->stats.rx_nombuf;
        }
        for (i = 0; (i != priv->txqs_n); ++i) {
-               struct txq *txq = (*priv->txqs)[i];
+               struct mlx5_txq_data *txq = (*priv->txqs)[i];
 
                if (txq == NULL)
                        continue;
-               idx = txq->stats.idx;
+               idx = txq->idx;
                if (idx < RTE_ETHDEV_QUEUE_STAT_CNTRS) {
 #ifdef MLX5_PMD_SOFT_COUNTERS
                        tmp.q_opackets[idx] += txq->stats.opackets;
                        tmp.q_obytes[idx] += txq->stats.obytes;
 #endif
-                       tmp.q_errors[idx] += txq->stats.odropped;
                }
 #ifdef MLX5_PMD_SOFT_COUNTERS
                tmp.opackets += txq->stats.opackets;
                tmp.obytes += txq->stats.obytes;
 #endif
-               tmp.oerrors += txq->stats.odropped;
+               tmp.oerrors += txq->stats.oerrors;
+       }
+       ret = mlx5_os_read_dev_stat(priv, "out_of_buffer", &tmp.imissed);
+       if (ret == 0) {
+               tmp.imissed = (tmp.imissed - stats_ctrl->imissed_base) &
+                                (uint64_t)UINT32_MAX;
+               wrap_n = stats_ctrl->imissed >> 32;
+               if (tmp.imissed < (stats_ctrl->imissed & (uint64_t)UINT32_MAX))
+                       wrap_n++;
+               tmp.imissed |= (wrap_n) << 32;
+               stats_ctrl->imissed = tmp.imissed;
+       } else {
+               tmp.imissed = stats_ctrl->imissed;
        }
 #ifndef MLX5_PMD_SOFT_COUNTERS
        /* FIXME: retrieve and add hardware counters. */
 #endif
        *stats = tmp;
-       priv_unlock(priv);
+       return 0;
 }
 
 /**
@@ -114,31 +167,112 @@ mlx5_stats_get(struct rte_eth_dev *dev, struct rte_eth_stats *stats)
  *
  * @param dev
  *   Pointer to Ethernet device structure.
+ *
+ * @return
+ *   always 0 on success and stats is reset
  */
-void
+int
 mlx5_stats_reset(struct rte_eth_dev *dev)
 {
-       struct priv *priv = dev->data->dev_private;
+       struct mlx5_priv *priv = dev->data->dev_private;
+       struct mlx5_stats_ctrl *stats_ctrl = &priv->stats_ctrl;
        unsigned int i;
-       unsigned int idx;
 
-       priv_lock(priv);
        for (i = 0; (i != priv->rxqs_n); ++i) {
                if ((*priv->rxqs)[i] == NULL)
                        continue;
-               idx = (*priv->rxqs)[i]->stats.idx;
-               (*priv->rxqs)[i]->stats =
-                       (struct mlx5_rxq_stats){ .idx = idx };
+               memset(&(*priv->rxqs)[i]->stats, 0,
+                      sizeof(struct mlx5_rxq_stats));
        }
        for (i = 0; (i != priv->txqs_n); ++i) {
                if ((*priv->txqs)[i] == NULL)
                        continue;
-               idx = (*priv->txqs)[i]->stats.idx;
-               (*priv->txqs)[i]->stats =
-                       (struct mlx5_txq_stats){ .idx = idx };
+               memset(&(*priv->txqs)[i]->stats, 0,
+                      sizeof(struct mlx5_txq_stats));
        }
+       mlx5_os_read_dev_stat(priv, "out_of_buffer", &stats_ctrl->imissed_base);
+       stats_ctrl->imissed = 0;
 #ifndef MLX5_PMD_SOFT_COUNTERS
        /* FIXME: reset hardware counters. */
 #endif
-       priv_unlock(priv);
+
+       return 0;
+}
+
+/**
+ * DPDK callback to clear device extended statistics.
+ *
+ * @param dev
+ *   Pointer to Ethernet device structure.
+ *
+ * @return
+ *   0 on success and stats is reset, negative errno value otherwise and
+ *   rte_errno is set.
+ */
+int
+mlx5_xstats_reset(struct rte_eth_dev *dev)
+{
+       struct mlx5_priv *priv = dev->data->dev_private;
+       struct mlx5_xstats_ctrl *xstats_ctrl = &priv->xstats_ctrl;
+       int stats_n;
+       unsigned int i;
+       unsigned int n = xstats_ctrl->mlx5_stats_n;
+       uint64_t counters[n];
+       int ret;
+
+       stats_n = mlx5_os_get_stats_n(dev);
+       if (stats_n < 0) {
+               DRV_LOG(ERR, "port %u cannot get stats: %s", dev->data->port_id,
+                       strerror(-stats_n));
+               return stats_n;
+       }
+       if (xstats_ctrl->stats_n != stats_n)
+               mlx5_os_stats_init(dev);
+       ret = mlx5_os_read_dev_counters(dev, counters);
+       if (ret) {
+               DRV_LOG(ERR, "port %u cannot read device counters: %s",
+                       dev->data->port_id, strerror(rte_errno));
+               return ret;
+       }
+       for (i = 0; i != n; ++i) {
+               xstats_ctrl->base[i] = counters[i];
+               xstats_ctrl->hw_stats[i] = 0;
+       }
+       mlx5_txpp_xstats_reset(dev);
+       return 0;
+}
+
+/**
+ * DPDK callback to retrieve names of extended device statistics
+ *
+ * @param dev
+ *   Pointer to Ethernet device structure.
+ * @param[out] xstats_names
+ *   Buffer to insert names into.
+ * @param n
+ *   Number of names.
+ *
+ * @return
+ *   Number of xstats names.
+ */
+int
+mlx5_xstats_get_names(struct rte_eth_dev *dev,
+                     struct rte_eth_xstat_name *xstats_names, unsigned int n)
+{
+       unsigned int i;
+       struct mlx5_priv *priv = dev->data->dev_private;
+       struct mlx5_xstats_ctrl *xstats_ctrl = &priv->xstats_ctrl;
+       unsigned int mlx5_xstats_n = xstats_ctrl->mlx5_stats_n;
+
+       if (n >= mlx5_xstats_n && xstats_names) {
+               for (i = 0; i != mlx5_xstats_n; ++i) {
+                       strncpy(xstats_names[i].name,
+                               xstats_ctrl->info[i].dpdk_name,
+                               RTE_ETH_XSTATS_NAME_SIZE);
+                       xstats_names[i].name[RTE_ETH_XSTATS_NAME_SIZE - 1] = 0;
+               }
+       }
+       mlx5_xstats_n = mlx5_txpp_xstats_get_names(dev, xstats_names,
+                                                  n, mlx5_xstats_n);
+       return mlx5_xstats_n;
 }