drivers/net/mlx5/mlx5_txq.c

   1 /*-
   2  *   BSD LICENSE
   3  *
   4  *   Copyright 2015 6WIND S.A.
   5  *   Copyright 2015 Mellanox.
   6  *
   7  *   Redistribution and use in source and binary forms, with or without
   8  *   modification, are permitted provided that the following conditions
   9  *   are met:
  10  *
  11  *     * Redistributions of source code must retain the above copyright
  12  *       notice, this list of conditions and the following disclaimer.
  13  *     * Redistributions in binary form must reproduce the above copyright
  14  *       notice, this list of conditions and the following disclaimer in
  15  *       the documentation and/or other materials provided with the
  16  *       distribution.
  17  *     * Neither the name of 6WIND S.A. nor the names of its
  18  *       contributors may be used to endorse or promote products derived
  19  *       from this software without specific prior written permission.
  20  *
  21  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  22  *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  23  *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  24  *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  25  *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  26  *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  27  *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  28  *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  29  *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  30  *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  31  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  32  */
  33
  34 #include <stddef.h>
  35 #include <assert.h>
  36 #include <errno.h>
  37 #include <string.h>
  38 #include <stdint.h>
  39
  40 /* Verbs header. */
  41 /* ISO C doesn't support unnamed structs/unions, disabling -pedantic. */
  42 #ifdef PEDANTIC
  43 #pragma GCC diagnostic ignored "-pedantic"
  44 #endif
  45 #include <infiniband/verbs.h>
  46 #ifdef PEDANTIC
  47 #pragma GCC diagnostic error "-pedantic"
  48 #endif
  49
  50 /* DPDK headers don't like -pedantic. */
  51 #ifdef PEDANTIC
  52 #pragma GCC diagnostic ignored "-pedantic"
  53 #endif
  54 #include <rte_mbuf.h>
  55 #include <rte_malloc.h>
  56 #include <rte_ethdev.h>
  57 #include <rte_common.h>
  58 #ifdef PEDANTIC
  59 #pragma GCC diagnostic error "-pedantic"
  60 #endif
  61
  62 #include "mlx5_utils.h"
  63 #include "mlx5.h"
  64 #include "mlx5_rxtx.h"
  65 #include "mlx5_autoconf.h"
  66 #include "mlx5_defs.h"
  67
  68 /**
  69  * Allocate TX queue elements.
  70  *
  71  * @param txq
  72  *   Pointer to TX queue structure.
  73  * @param elts_n
  74  *   Number of elements to allocate.
  75  *
  76  * @return
  77  *   0 on success, errno value on failure.
  78  */
  79 static int
  80 txq_alloc_elts(struct txq *txq, unsigned int elts_n)
  81 {
  82         unsigned int i;
  83         struct txq_elt (*elts)[elts_n] =
  84                 rte_calloc_socket("TXQ", 1, sizeof(*elts), 0, txq->socket);
  85         linear_t (*elts_linear)[elts_n] =
  86                 rte_calloc_socket("TXQ", 1, sizeof(*elts_linear), 0,
  87                                   txq->socket);
  88         struct ibv_mr *mr_linear = NULL;
  89         int ret = 0;
  90
  91         if ((elts == NULL) || (elts_linear == NULL)) {
  92                 ERROR("%p: can't allocate packets array", (void *)txq);
  93                 ret = ENOMEM;
  94                 goto error;
  95         }
  96         mr_linear =
  97                 ibv_reg_mr(txq->priv->pd, elts_linear, sizeof(*elts_linear),
  98                            (IBV_ACCESS_LOCAL_WRITE | IBV_ACCESS_REMOTE_WRITE));
  99         if (mr_linear == NULL) {
 100                 ERROR("%p: unable to configure MR, ibv_reg_mr() failed",
 101                       (void *)txq);
 102                 ret = EINVAL;
 103                 goto error;
 104         }
 105         for (i = 0; (i != elts_n); ++i) {
 106                 struct txq_elt *elt = &(*elts)[i];
 107
 108                 elt->buf = NULL;
 109         }
 110         DEBUG("%p: allocated and configured %u WRs", (void *)txq, elts_n);
 111         txq->elts_n = elts_n;
 112         txq->elts = elts;
 113         txq->elts_head = 0;
 114         txq->elts_tail = 0;
 115         txq->elts_comp = 0;
 116         /* Request send completion every MLX5_PMD_TX_PER_COMP_REQ packets or
 117          * at least 4 times per ring. */
 118         txq->elts_comp_cd_init =
 119                 ((MLX5_PMD_TX_PER_COMP_REQ < (elts_n / 4)) ?
 120                  MLX5_PMD_TX_PER_COMP_REQ : (elts_n / 4));
 121         txq->elts_comp_cd = txq->elts_comp_cd_init;
 122         txq->elts_linear = elts_linear;
 123         txq->mr_linear = mr_linear;
 124         assert(ret == 0);
 125         return 0;
 126 error:
 127         if (mr_linear != NULL)
 128                 claim_zero(ibv_dereg_mr(mr_linear));
 129
 130         rte_free(elts_linear);
 131         rte_free(elts);
 132
 133         DEBUG("%p: failed, freed everything", (void *)txq);
 134         assert(ret > 0);
 135         return ret;
 136 }
 137
 138 /**
 139  * Free TX queue elements.
 140  *
 141  * @param txq
 142  *   Pointer to TX queue structure.
 143  */
 144 static void
 145 txq_free_elts(struct txq *txq)
 146 {
 147         unsigned int i;
 148         unsigned int elts_n = txq->elts_n;
 149         struct txq_elt (*elts)[elts_n] = txq->elts;
 150         linear_t (*elts_linear)[elts_n] = txq->elts_linear;
 151         struct ibv_mr *mr_linear = txq->mr_linear;
 152
 153         DEBUG("%p: freeing WRs", (void *)txq);
 154         txq->elts_n = 0;
 155         txq->elts = NULL;
 156         txq->elts_linear = NULL;
 157         txq->mr_linear = NULL;
 158         if (mr_linear != NULL)
 159                 claim_zero(ibv_dereg_mr(mr_linear));
 160
 161         rte_free(elts_linear);
 162         if (elts == NULL)
 163                 return;
 164         for (i = 0; (i != RTE_DIM(*elts)); ++i) {
 165                 struct txq_elt *elt = &(*elts)[i];
 166
 167                 if (elt->buf == NULL)
 168                         continue;
 169                 rte_pktmbuf_free(elt->buf);
 170         }
 171         rte_free(elts);
 172 }
 173
 174 /**
 175  * Clean up a TX queue.
 176  *
 177  * Destroy objects, free allocated memory and reset the structure for reuse.
 178  *
 179  * @param txq
 180  *   Pointer to TX queue structure.
 181  */
 182 void
 183 txq_cleanup(struct txq *txq)
 184 {
 185         struct ibv_exp_release_intf_params params;
 186         size_t i;
 187
 188         DEBUG("cleaning up %p", (void *)txq);
 189         txq_free_elts(txq);
 190         txq->poll_cnt = NULL;
 191 #if MLX5_PMD_MAX_INLINE > 0
 192         txq->send_pending_inline = NULL;
 193 #endif
 194         txq->send_flush = NULL;
 195         if (txq->if_qp != NULL) {
 196                 assert(txq->priv != NULL);
 197                 assert(txq->priv->ctx != NULL);
 198                 assert(txq->qp != NULL);
 199                 params = (struct ibv_exp_release_intf_params){
 200                         .comp_mask = 0,
 201                 };
 202                 claim_zero(ibv_exp_release_intf(txq->priv->ctx,
 203                                                 txq->if_qp,
 204                                                 &params));
 205         }
 206         if (txq->if_cq != NULL) {
 207                 assert(txq->priv != NULL);
 208                 assert(txq->priv->ctx != NULL);
 209                 assert(txq->cq != NULL);
 210                 params = (struct ibv_exp_release_intf_params){
 211                         .comp_mask = 0,
 212                 };
 213                 claim_zero(ibv_exp_release_intf(txq->priv->ctx,
 214                                                 txq->if_cq,
 215                                                 &params));
 216         }
 217         if (txq->qp != NULL)
 218                 claim_zero(ibv_destroy_qp(txq->qp));
 219         if (txq->cq != NULL)
 220                 claim_zero(ibv_destroy_cq(txq->cq));
 221         if (txq->rd != NULL) {
 222                 struct ibv_exp_destroy_res_domain_attr attr = {
 223                         .comp_mask = 0,
 224                 };
 225
 226                 assert(txq->priv != NULL);
 227                 assert(txq->priv->ctx != NULL);
 228                 claim_zero(ibv_exp_destroy_res_domain(txq->priv->ctx,
 229                                                       txq->rd,
 230                                                       &attr));
 231         }
 232         for (i = 0; (i != RTE_DIM(txq->mp2mr)); ++i) {
 233                 if (txq->mp2mr[i].mp == NULL)
 234                         break;
 235                 assert(txq->mp2mr[i].mr != NULL);
 236                 claim_zero(ibv_dereg_mr(txq->mp2mr[i].mr));
 237         }
 238         memset(txq, 0, sizeof(*txq));
 239 }
 240
 241 /**
 242  * Configure a TX queue.
 243  *
 244  * @param dev
 245  *   Pointer to Ethernet device structure.
 246  * @param txq
 247  *   Pointer to TX queue structure.
 248  * @param desc
 249  *   Number of descriptors to configure in queue.
 250  * @param socket
 251  *   NUMA socket on which memory must be allocated.
 252  * @param[in] conf
 253  *   Thresholds parameters.
 254  *
 255  * @return
 256  *   0 on success, errno value on failure.
 257  */
 258 int
 259 txq_setup(struct rte_eth_dev *dev, struct txq *txq, uint16_t desc,
 260           unsigned int socket, const struct rte_eth_txconf *conf)
 261 {
 262         struct priv *priv = mlx5_get_priv(dev);
 263         struct txq tmpl = {
 264                 .priv = priv,
 265                 .socket = socket
 266         };
 267         union {
 268                 struct ibv_exp_query_intf_params params;
 269                 struct ibv_exp_qp_init_attr init;
 270                 struct ibv_exp_res_domain_init_attr rd;
 271                 struct ibv_exp_cq_init_attr cq;
 272                 struct ibv_exp_qp_attr mod;
 273         } attr;
 274         enum ibv_exp_query_intf_status status;
 275         int ret = 0;
 276
 277         (void)conf; /* Thresholds configuration (ignored). */
 278         if ((desc == 0) || (desc % MLX5_PMD_SGE_WR_N)) {
 279                 ERROR("%p: invalid number of TX descriptors (must be a"
 280                       " multiple of %d)", (void *)dev, MLX5_PMD_SGE_WR_N);
 281                 return EINVAL;
 282         }
 283         desc /= MLX5_PMD_SGE_WR_N;
 284         /* MRs will be registered in mp2mr[] later. */
 285         attr.rd = (struct ibv_exp_res_domain_init_attr){
 286                 .comp_mask = (IBV_EXP_RES_DOMAIN_THREAD_MODEL |
 287                               IBV_EXP_RES_DOMAIN_MSG_MODEL),
 288                 .thread_model = IBV_EXP_THREAD_SINGLE,
 289                 .msg_model = IBV_EXP_MSG_HIGH_BW,
 290         };
 291         tmpl.rd = ibv_exp_create_res_domain(priv->ctx, &attr.rd);
 292         if (tmpl.rd == NULL) {
 293                 ret = ENOMEM;
 294                 ERROR("%p: RD creation failure: %s",
 295                       (void *)dev, strerror(ret));
 296                 goto error;
 297         }
 298         attr.cq = (struct ibv_exp_cq_init_attr){
 299                 .comp_mask = IBV_EXP_CQ_INIT_ATTR_RES_DOMAIN,
 300                 .res_domain = tmpl.rd,
 301         };
 302         tmpl.cq = ibv_exp_create_cq(priv->ctx, desc, NULL, NULL, 0, &attr.cq);
 303         if (tmpl.cq == NULL) {
 304                 ret = ENOMEM;
 305                 ERROR("%p: CQ creation failure: %s",
 306                       (void *)dev, strerror(ret));
 307                 goto error;
 308         }
 309         DEBUG("priv->device_attr.max_qp_wr is %d",
 310               priv->device_attr.max_qp_wr);
 311         DEBUG("priv->device_attr.max_sge is %d",
 312               priv->device_attr.max_sge);
 313         attr.init = (struct ibv_exp_qp_init_attr){
 314                 /* CQ to be associated with the send queue. */
 315                 .send_cq = tmpl.cq,
 316                 /* CQ to be associated with the receive queue. */
 317                 .recv_cq = tmpl.cq,
 318                 .cap = {
 319                         /* Max number of outstanding WRs. */
 320                         .max_send_wr = ((priv->device_attr.max_qp_wr < desc) ?
 321                                         priv->device_attr.max_qp_wr :
 322                                         desc),
 323                         /* Max number of scatter/gather elements in a WR. */
 324                         .max_send_sge = ((priv->device_attr.max_sge <
 325                                           MLX5_PMD_SGE_WR_N) ?
 326                                          priv->device_attr.max_sge :
 327                                          MLX5_PMD_SGE_WR_N),
 328 #if MLX5_PMD_MAX_INLINE > 0
 329                         .max_inline_data = MLX5_PMD_MAX_INLINE,
 330 #endif
 331                 },
 332                 .qp_type = IBV_QPT_RAW_PACKET,
 333                 /* Do *NOT* enable this, completions events are managed per
 334                  * TX burst. */
 335                 .sq_sig_all = 0,
 336                 .pd = priv->pd,
 337                 .res_domain = tmpl.rd,
 338                 .comp_mask = (IBV_EXP_QP_INIT_ATTR_PD |
 339                               IBV_EXP_QP_INIT_ATTR_RES_DOMAIN),
 340         };
 341         tmpl.qp = ibv_exp_create_qp(priv->ctx, &attr.init);
 342         if (tmpl.qp == NULL) {
 343                 ret = (errno ? errno : EINVAL);
 344                 ERROR("%p: QP creation failure: %s",
 345                       (void *)dev, strerror(ret));
 346                 goto error;
 347         }
 348 #if MLX5_PMD_MAX_INLINE > 0
 349         /* ibv_create_qp() updates this value. */
 350         tmpl.max_inline = attr.init.cap.max_inline_data;
 351 #endif
 352         attr.mod = (struct ibv_exp_qp_attr){
 353                 /* Move the QP to this state. */
 354                 .qp_state = IBV_QPS_INIT,
 355                 /* Primary port number. */
 356                 .port_num = priv->port
 357         };
 358         ret = ibv_exp_modify_qp(tmpl.qp, &attr.mod,
 359                                 (IBV_EXP_QP_STATE | IBV_EXP_QP_PORT));
 360         if (ret) {
 361                 ERROR("%p: QP state to IBV_QPS_INIT failed: %s",
 362                       (void *)dev, strerror(ret));
 363                 goto error;
 364         }
 365         ret = txq_alloc_elts(&tmpl, desc);
 366         if (ret) {
 367                 ERROR("%p: TXQ allocation failed: %s",
 368                       (void *)dev, strerror(ret));
 369                 goto error;
 370         }
 371         attr.mod = (struct ibv_exp_qp_attr){
 372                 .qp_state = IBV_QPS_RTR
 373         };
 374         ret = ibv_exp_modify_qp(tmpl.qp, &attr.mod, IBV_EXP_QP_STATE);
 375         if (ret) {
 376                 ERROR("%p: QP state to IBV_QPS_RTR failed: %s",
 377                       (void *)dev, strerror(ret));
 378                 goto error;
 379         }
 380         attr.mod.qp_state = IBV_QPS_RTS;
 381         ret = ibv_exp_modify_qp(tmpl.qp, &attr.mod, IBV_EXP_QP_STATE);
 382         if (ret) {
 383                 ERROR("%p: QP state to IBV_QPS_RTS failed: %s",
 384                       (void *)dev, strerror(ret));
 385                 goto error;
 386         }
 387         attr.params = (struct ibv_exp_query_intf_params){
 388                 .intf_scope = IBV_EXP_INTF_GLOBAL,
 389                 .intf = IBV_EXP_INTF_CQ,
 390                 .obj = tmpl.cq,
 391         };
 392         tmpl.if_cq = ibv_exp_query_intf(priv->ctx, &attr.params, &status);
 393         if (tmpl.if_cq == NULL) {
 394                 ret = EINVAL;
 395                 ERROR("%p: CQ interface family query failed with status %d",
 396                       (void *)dev, status);
 397                 goto error;
 398         }
 399         attr.params = (struct ibv_exp_query_intf_params){
 400                 .intf_scope = IBV_EXP_INTF_GLOBAL,
 401                 .intf = IBV_EXP_INTF_QP_BURST,
 402                 .obj = tmpl.qp,
 403 #ifdef HAVE_EXP_QP_BURST_CREATE_ENABLE_MULTI_PACKET_SEND_WR
 404                 /* Multi packet send WR can only be used outside of VF. */
 405                 .family_flags =
 406                         (!priv->vf ?
 407                          IBV_EXP_QP_BURST_CREATE_ENABLE_MULTI_PACKET_SEND_WR :
 408                          0),
 409 #endif
 410         };
 411         tmpl.if_qp = ibv_exp_query_intf(priv->ctx, &attr.params, &status);
 412         if (tmpl.if_qp == NULL) {
 413                 ret = EINVAL;
 414                 ERROR("%p: QP interface family query failed with status %d",
 415                       (void *)dev, status);
 416                 goto error;
 417         }
 418         /* Clean up txq in case we're reinitializing it. */
 419         DEBUG("%p: cleaning-up old txq just in case", (void *)txq);
 420         txq_cleanup(txq);
 421         *txq = tmpl;
 422         txq->poll_cnt = txq->if_cq->poll_cnt;
 423 #if MLX5_PMD_MAX_INLINE > 0
 424         txq->send_pending_inline = txq->if_qp->send_pending_inline;
 425 #endif
 426 #if MLX5_PMD_SGE_WR_N > 1
 427         txq->send_pending_sg_list = txq->if_qp->send_pending_sg_list;
 428 #endif
 429         txq->send_pending = txq->if_qp->send_pending;
 430         txq->send_flush = txq->if_qp->send_flush;
 431         DEBUG("%p: txq updated with %p", (void *)txq, (void *)&tmpl);
 432         /* Pre-register known mempools. */
 433         rte_mempool_walk(txq_mp2mr_iter, txq);
 434         assert(ret == 0);
 435         return 0;
 436 error:
 437         txq_cleanup(&tmpl);
 438         assert(ret > 0);
 439         return ret;
 440 }
 441
 442 /**
 443  * DPDK callback to configure a TX queue.
 444  *
 445  * @param dev
 446  *   Pointer to Ethernet device structure.
 447  * @param idx
 448  *   TX queue index.
 449  * @param desc
 450  *   Number of descriptors to configure in queue.
 451  * @param socket
 452  *   NUMA socket on which memory must be allocated.
 453  * @param[in] conf
 454  *   Thresholds parameters.
 455  *
 456  * @return
 457  *   0 on success, negative errno value on failure.
 458  */
 459 int
 460 mlx5_tx_queue_setup(struct rte_eth_dev *dev, uint16_t idx, uint16_t desc,
 461                     unsigned int socket, const struct rte_eth_txconf *conf)
 462 {
 463         struct priv *priv = dev->data->dev_private;
 464         struct txq *txq = (*priv->txqs)[idx];
 465         int ret;
 466
 467         if (mlx5_is_secondary())
 468                 return -E_RTE_SECONDARY;
 469
 470         priv_lock(priv);
 471         DEBUG("%p: configuring queue %u for %u descriptors",
 472               (void *)dev, idx, desc);
 473         if (idx >= priv->txqs_n) {
 474                 ERROR("%p: queue index out of range (%u >= %u)",
 475                       (void *)dev, idx, priv->txqs_n);
 476                 priv_unlock(priv);
 477                 return -EOVERFLOW;
 478         }
 479         if (txq != NULL) {
 480                 DEBUG("%p: reusing already allocated queue index %u (%p)",
 481                       (void *)dev, idx, (void *)txq);
 482                 if (priv->started) {
 483                         priv_unlock(priv);
 484                         return -EEXIST;
 485                 }
 486                 (*priv->txqs)[idx] = NULL;
 487                 txq_cleanup(txq);
 488         } else {
 489                 txq = rte_calloc_socket("TXQ", 1, sizeof(*txq), 0, socket);
 490                 if (txq == NULL) {
 491                         ERROR("%p: unable to allocate queue index %u",
 492                               (void *)dev, idx);
 493                         priv_unlock(priv);
 494                         return -ENOMEM;
 495                 }
 496         }
 497         ret = txq_setup(dev, txq, desc, socket, conf);
 498         if (ret)
 499                 rte_free(txq);
 500         else {
 501                 txq->stats.idx = idx;
 502                 DEBUG("%p: adding TX queue %p to list",
 503                       (void *)dev, (void *)txq);
 504                 (*priv->txqs)[idx] = txq;
 505                 /* Update send callback. */
 506                 dev->tx_pkt_burst = mlx5_tx_burst;
 507         }
 508         priv_unlock(priv);
 509         return -ret;
 510 }
 511
 512 /**
 513  * DPDK callback to release a TX queue.
 514  *
 515  * @param dpdk_txq
 516  *   Generic TX queue pointer.
 517  */
 518 void
 519 mlx5_tx_queue_release(void *dpdk_txq)
 520 {
 521         struct txq *txq = (struct txq *)dpdk_txq;
 522         struct priv *priv;
 523         unsigned int i;
 524
 525         if (mlx5_is_secondary())
 526                 return;
 527
 528         if (txq == NULL)
 529                 return;
 530         priv = txq->priv;
 531         priv_lock(priv);
 532         for (i = 0; (i != priv->txqs_n); ++i)
 533                 if ((*priv->txqs)[i] == txq) {
 534                         DEBUG("%p: removing TX queue %p from list",
 535                               (void *)priv->dev, (void *)txq);
 536                         (*priv->txqs)[i] = NULL;
 537                         break;
 538                 }
 539         txq_cleanup(txq);
 540         rte_free(txq);
 541         priv_unlock(priv);
 542 }
 543
 544 /**
 545  * DPDK callback for TX in secondary processes.
 546  *
 547  * This function configures all queues from primary process information
 548  * if necessary before reverting to the normal TX burst callback.
 549  *
 550  * @param dpdk_txq
 551  *   Generic pointer to TX queue structure.
 552  * @param[in] pkts
 553  *   Packets to transmit.
 554  * @param pkts_n
 555  *   Number of packets in array.
 556  *
 557  * @return
 558  *   Number of packets successfully transmitted (<= pkts_n).
 559  */
 560 uint16_t
 561 mlx5_tx_burst_secondary_setup(void *dpdk_txq, struct rte_mbuf **pkts,
 562                               uint16_t pkts_n)
 563 {
 564         struct txq *txq = dpdk_txq;
 565         struct priv *priv = mlx5_secondary_data_setup(txq->priv);
 566         struct priv *primary_priv;
 567         unsigned int index;
 568
 569         if (priv == NULL)
 570                 return 0;
 571         primary_priv =
 572                 mlx5_secondary_data[priv->dev->data->port_id].primary_priv;
 573         /* Look for queue index in both private structures. */
 574         for (index = 0; index != priv->txqs_n; ++index)
 575                 if (((*primary_priv->txqs)[index] == txq) ||
 576                     ((*priv->txqs)[index] == txq))
 577                         break;
 578         if (index == priv->txqs_n)
 579                 return 0;
 580         txq = (*priv->txqs)[index];
 581         return priv->dev->tx_pkt_burst(txq, pkts, pkts_n);
 582 }