drivers/net/sfc/sfc_ef100_tx.c

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  *
   3  * Copyright(c) 2019-2021 Xilinx, Inc.
   4  * Copyright(c) 2018-2019 Solarflare Communications Inc.
   5  *
   6  * This software was jointly developed between OKTET Labs (under contract
   7  * for Solarflare) and Solarflare Communications, Inc.
   8  */
   9
  10 #include <stdbool.h>
  11
  12 #include <rte_mbuf.h>
  13 #include <rte_mbuf_dyn.h>
  14 #include <rte_io.h>
  15 #include <rte_net.h>
  16
  17 #include "efx.h"
  18 #include "efx_types.h"
  19 #include "efx_regs.h"
  20 #include "efx_regs_ef100.h"
  21
  22 #include "sfc_debug.h"
  23 #include "sfc_dp_tx.h"
  24 #include "sfc_tweak.h"
  25 #include "sfc_kvargs.h"
  26 #include "sfc_ef100.h"
  27
  28
  29 #define sfc_ef100_tx_err(_txq, ...) \
  30         SFC_DP_LOG(SFC_KVARG_DATAPATH_EF100, ERR, &(_txq)->dp.dpq, __VA_ARGS__)
  31
  32 #define sfc_ef100_tx_debug(_txq, ...) \
  33         SFC_DP_LOG(SFC_KVARG_DATAPATH_EF100, DEBUG, &(_txq)->dp.dpq, \
  34                    __VA_ARGS__)
  35
  36
  37 /** Maximum length of the send descriptor data */
  38 #define SFC_EF100_TX_SEND_DESC_LEN_MAX \
  39         ((1u << ESF_GZ_TX_SEND_LEN_WIDTH) - 1)
  40
  41 /** Maximum length of the segment descriptor data */
  42 #define SFC_EF100_TX_SEG_DESC_LEN_MAX \
  43         ((1u << ESF_GZ_TX_SEG_LEN_WIDTH) - 1)
  44
  45 /**
  46  * Maximum number of descriptors/buffers in the Tx ring.
  47  * It should guarantee that corresponding event queue never overfill.
  48  * EF100 native datapath uses event queue of the same size as Tx queue.
  49  * Maximum number of events on datapath can be estimated as number of
  50  * Tx queue entries (one event per Tx buffer in the worst case) plus
  51  * Tx error and flush events.
  52  */
  53 #define SFC_EF100_TXQ_LIMIT(_ndesc) \
  54         ((_ndesc) - 1 /* head must not step on tail */ - \
  55          1 /* Rx error */ - 1 /* flush */)
  56
  57 struct sfc_ef100_tx_sw_desc {
  58         struct rte_mbuf                 *mbuf;
  59 };
  60
  61 struct sfc_ef100_txq {
  62         unsigned int                    flags;
  63 #define SFC_EF100_TXQ_STARTED           0x1
  64 #define SFC_EF100_TXQ_NOT_RUNNING       0x2
  65 #define SFC_EF100_TXQ_EXCEPTION         0x4
  66
  67         unsigned int                    ptr_mask;
  68         unsigned int                    added;
  69         unsigned int                    completed;
  70         unsigned int                    max_fill_level;
  71         unsigned int                    free_thresh;
  72         struct sfc_ef100_tx_sw_desc     *sw_ring;
  73         efx_oword_t                     *txq_hw_ring;
  74         volatile void                   *doorbell;
  75
  76         /* Completion/reap */
  77         unsigned int                    evq_read_ptr;
  78         unsigned int                    evq_phase_bit_shift;
  79         volatile efx_qword_t            *evq_hw_ring;
  80
  81         uint16_t                        tso_tcp_header_offset_limit;
  82         uint16_t                        tso_max_nb_header_descs;
  83         uint16_t                        tso_max_header_len;
  84         uint16_t                        tso_max_nb_payload_descs;
  85         uint32_t                        tso_max_payload_len;
  86         uint32_t                        tso_max_nb_outgoing_frames;
  87
  88         /* Datapath transmit queue anchor */
  89         struct sfc_dp_txq               dp;
  90 };
  91
  92 static inline struct sfc_ef100_txq *
  93 sfc_ef100_txq_by_dp_txq(struct sfc_dp_txq *dp_txq)
  94 {
  95         return container_of(dp_txq, struct sfc_ef100_txq, dp);
  96 }
  97
  98 static int
  99 sfc_ef100_tx_prepare_pkt_tso(struct sfc_ef100_txq * const txq,
 100                              struct rte_mbuf *m)
 101 {
 102         size_t header_len = ((m->ol_flags & PKT_TX_TUNNEL_MASK) ?
 103                              m->outer_l2_len + m->outer_l3_len : 0) +
 104                             m->l2_len + m->l3_len + m->l4_len;
 105         size_t payload_len = m->pkt_len - header_len;
 106         unsigned long mss_conformant_max_payload_len;
 107         unsigned int nb_payload_descs;
 108
 109 #ifdef RTE_LIBRTE_SFC_EFX_DEBUG
 110         switch (m->ol_flags & PKT_TX_TUNNEL_MASK) {
 111         case 0:
 112                 /* FALLTHROUGH */
 113         case PKT_TX_TUNNEL_VXLAN:
 114                 /* FALLTHROUGH */
 115         case PKT_TX_TUNNEL_GENEVE:
 116                 break;
 117         default:
 118                 return ENOTSUP;
 119         }
 120 #endif
 121
 122         mss_conformant_max_payload_len =
 123                 m->tso_segsz * txq->tso_max_nb_outgoing_frames;
 124
 125         /*
 126          * Don't really want to know exact number of payload segments.
 127          * Just use total number of segments as upper limit. Practically
 128          * maximum number of payload segments is significantly bigger
 129          * than maximum number header segments, so we can neglect header
 130          * segments excluded total number of segments to estimate number
 131          * of payload segments required.
 132          */
 133         nb_payload_descs = m->nb_segs;
 134
 135         /*
 136          * Carry out multiple independent checks using bitwise OR
 137          * to avoid unnecessary conditional branching.
 138          */
 139         if (unlikely((header_len > txq->tso_max_header_len) |
 140                      (nb_payload_descs > txq->tso_max_nb_payload_descs) |
 141                      (payload_len > txq->tso_max_payload_len) |
 142                      (payload_len > mss_conformant_max_payload_len) |
 143                      (m->pkt_len == header_len)))
 144                 return EINVAL;
 145
 146         return 0;
 147 }
 148
 149 static uint16_t
 150 sfc_ef100_tx_prepare_pkts(void *tx_queue, struct rte_mbuf **tx_pkts,
 151                           uint16_t nb_pkts)
 152 {
 153         struct sfc_ef100_txq * const txq = sfc_ef100_txq_by_dp_txq(tx_queue);
 154         uint16_t i;
 155
 156         for (i = 0; i < nb_pkts; i++) {
 157                 struct rte_mbuf *m = tx_pkts[i];
 158                 unsigned int max_nb_header_segs = 0;
 159                 bool calc_phdr_cksum = false;
 160                 int ret;
 161
 162                 /*
 163                  * Partial checksum offload is used in the case of
 164                  * inner TCP/UDP checksum offload. It requires
 165                  * pseudo-header checksum which is calculated below,
 166                  * but requires contiguous packet headers.
 167                  */
 168                 if ((m->ol_flags & PKT_TX_TUNNEL_MASK) &&
 169                     (m->ol_flags & PKT_TX_L4_MASK)) {
 170                         calc_phdr_cksum = true;
 171                         max_nb_header_segs = 1;
 172                 } else if (m->ol_flags & PKT_TX_TCP_SEG) {
 173                         max_nb_header_segs = txq->tso_max_nb_header_descs;
 174                 }
 175
 176                 ret = sfc_dp_tx_prepare_pkt(m, max_nb_header_segs, 0,
 177                                             txq->tso_tcp_header_offset_limit,
 178                                             txq->max_fill_level, 1, 0);
 179                 if (unlikely(ret != 0)) {
 180                         rte_errno = ret;
 181                         break;
 182                 }
 183
 184                 if (m->ol_flags & PKT_TX_TCP_SEG) {
 185                         ret = sfc_ef100_tx_prepare_pkt_tso(txq, m);
 186                         if (unlikely(ret != 0)) {
 187                                 rte_errno = ret;
 188                                 break;
 189                         }
 190                 } else if (m->nb_segs > EFX_MASK32(ESF_GZ_TX_SEND_NUM_SEGS)) {
 191                         rte_errno = EINVAL;
 192                         break;
 193                 }
 194
 195                 if (calc_phdr_cksum) {
 196                         /*
 197                          * Full checksum offload does IPv4 header checksum
 198                          * and does not require any assistance.
 199                          */
 200                         ret = rte_net_intel_cksum_flags_prepare(m,
 201                                         m->ol_flags & ~PKT_TX_IP_CKSUM);
 202                         if (unlikely(ret != 0)) {
 203                                 rte_errno = -ret;
 204                                 break;
 205                         }
 206                 }
 207         }
 208
 209         return i;
 210 }
 211
 212 static bool
 213 sfc_ef100_tx_get_event(struct sfc_ef100_txq *txq, efx_qword_t *ev)
 214 {
 215         volatile efx_qword_t *evq_hw_ring = txq->evq_hw_ring;
 216
 217         /*
 218          * Exception flag is set when reap is done.
 219          * It is never done twice per packet burst get, and absence of
 220          * the flag is checked on burst get entry.
 221          */
 222         SFC_ASSERT((txq->flags & SFC_EF100_TXQ_EXCEPTION) == 0);
 223
 224         *ev = evq_hw_ring[txq->evq_read_ptr & txq->ptr_mask];
 225
 226         if (!sfc_ef100_ev_present(ev,
 227                         (txq->evq_read_ptr >> txq->evq_phase_bit_shift) & 1))
 228                 return false;
 229
 230         if (unlikely(!sfc_ef100_ev_type_is(ev,
 231                                            ESE_GZ_EF100_EV_TX_COMPLETION))) {
 232                 /*
 233                  * Do not move read_ptr to keep the event for exception
 234                  * handling by the control path.
 235                  */
 236                 txq->flags |= SFC_EF100_TXQ_EXCEPTION;
 237                 sfc_ef100_tx_err(txq,
 238                         "TxQ exception at EvQ ptr %u(%#x), event %08x:%08x",
 239                         txq->evq_read_ptr, txq->evq_read_ptr & txq->ptr_mask,
 240                         EFX_QWORD_FIELD(*ev, EFX_DWORD_1),
 241                         EFX_QWORD_FIELD(*ev, EFX_DWORD_0));
 242                 return false;
 243         }
 244
 245         sfc_ef100_tx_debug(txq, "TxQ got event %08x:%08x at %u (%#x)",
 246                            EFX_QWORD_FIELD(*ev, EFX_DWORD_1),
 247                            EFX_QWORD_FIELD(*ev, EFX_DWORD_0),
 248                            txq->evq_read_ptr,
 249                            txq->evq_read_ptr & txq->ptr_mask);
 250
 251         txq->evq_read_ptr++;
 252         return true;
 253 }
 254
 255 static unsigned int
 256 sfc_ef100_tx_process_events(struct sfc_ef100_txq *txq)
 257 {
 258         unsigned int num_descs = 0;
 259         efx_qword_t tx_ev;
 260
 261         while (sfc_ef100_tx_get_event(txq, &tx_ev))
 262                 num_descs += EFX_QWORD_FIELD(tx_ev, ESF_GZ_EV_TXCMPL_NUM_DESC);
 263
 264         return num_descs;
 265 }
 266
 267 static void
 268 sfc_ef100_tx_reap_num_descs(struct sfc_ef100_txq *txq, unsigned int num_descs)
 269 {
 270         if (num_descs > 0) {
 271                 unsigned int completed = txq->completed;
 272                 unsigned int pending = completed + num_descs;
 273                 struct rte_mbuf *bulk[SFC_TX_REAP_BULK_SIZE];
 274                 unsigned int nb = 0;
 275
 276                 do {
 277                         struct sfc_ef100_tx_sw_desc *txd;
 278                         struct rte_mbuf *m;
 279
 280                         txd = &txq->sw_ring[completed & txq->ptr_mask];
 281                         if (txd->mbuf == NULL)
 282                                 continue;
 283
 284                         m = rte_pktmbuf_prefree_seg(txd->mbuf);
 285                         if (m == NULL)
 286                                 continue;
 287
 288                         txd->mbuf = NULL;
 289
 290                         if (nb == RTE_DIM(bulk) ||
 291                             (nb != 0 && m->pool != bulk[0]->pool)) {
 292                                 rte_mempool_put_bulk(bulk[0]->pool,
 293                                                      (void *)bulk, nb);
 294                                 nb = 0;
 295                         }
 296
 297                         bulk[nb++] = m;
 298                 } while (++completed != pending);
 299
 300                 if (nb != 0)
 301                         rte_mempool_put_bulk(bulk[0]->pool, (void *)bulk, nb);
 302
 303                 txq->completed = completed;
 304         }
 305 }
 306
 307 static void
 308 sfc_ef100_tx_reap(struct sfc_ef100_txq *txq)
 309 {
 310         sfc_ef100_tx_reap_num_descs(txq, sfc_ef100_tx_process_events(txq));
 311 }
 312
 313 static void
 314 sfc_ef100_tx_qdesc_prefix_create(const struct rte_mbuf *m, efx_oword_t *tx_desc)
 315 {
 316         efx_mport_id_t *mport_id =
 317                 RTE_MBUF_DYNFIELD(m, sfc_dp_mport_offset, efx_mport_id_t *);
 318
 319         EFX_POPULATE_OWORD_3(*tx_desc,
 320                         ESF_GZ_TX_PREFIX_EGRESS_MPORT,
 321                         mport_id->id,
 322                         ESF_GZ_TX_PREFIX_EGRESS_MPORT_EN, 1,
 323                         ESF_GZ_TX_DESC_TYPE, ESE_GZ_TX_DESC_TYPE_PREFIX);
 324 }
 325
 326 static uint8_t
 327 sfc_ef100_tx_qdesc_cso_inner_l3(uint64_t tx_tunnel)
 328 {
 329         uint8_t inner_l3;
 330
 331         switch (tx_tunnel) {
 332         case PKT_TX_TUNNEL_VXLAN:
 333                 inner_l3 = ESE_GZ_TX_DESC_CS_INNER_L3_VXLAN;
 334                 break;
 335         case PKT_TX_TUNNEL_GENEVE:
 336                 inner_l3 = ESE_GZ_TX_DESC_CS_INNER_L3_GENEVE;
 337                 break;
 338         default:
 339                 inner_l3 = ESE_GZ_TX_DESC_CS_INNER_L3_OFF;
 340                 break;
 341         }
 342         return inner_l3;
 343 }
 344
 345 static void
 346 sfc_ef100_tx_qdesc_send_create(const struct rte_mbuf *m, efx_oword_t *tx_desc)
 347 {
 348         bool outer_l3;
 349         bool outer_l4;
 350         uint8_t inner_l3;
 351         uint8_t partial_en;
 352         uint16_t part_cksum_w;
 353         uint16_t l4_offset_w;
 354
 355         if ((m->ol_flags & PKT_TX_TUNNEL_MASK) == 0) {
 356                 outer_l3 = (m->ol_flags & PKT_TX_IP_CKSUM);
 357                 outer_l4 = (m->ol_flags & PKT_TX_L4_MASK);
 358                 inner_l3 = ESE_GZ_TX_DESC_CS_INNER_L3_OFF;
 359                 partial_en = ESE_GZ_TX_DESC_CSO_PARTIAL_EN_OFF;
 360                 part_cksum_w = 0;
 361                 l4_offset_w = 0;
 362         } else {
 363                 outer_l3 = (m->ol_flags & PKT_TX_OUTER_IP_CKSUM);
 364                 outer_l4 = (m->ol_flags & PKT_TX_OUTER_UDP_CKSUM);
 365                 inner_l3 = sfc_ef100_tx_qdesc_cso_inner_l3(m->ol_flags &
 366                                                            PKT_TX_TUNNEL_MASK);
 367
 368                 switch (m->ol_flags & PKT_TX_L4_MASK) {
 369                 case PKT_TX_TCP_CKSUM:
 370                         partial_en = ESE_GZ_TX_DESC_CSO_PARTIAL_EN_TCP;
 371                         part_cksum_w = offsetof(struct rte_tcp_hdr, cksum) >> 1;
 372                         break;
 373                 case PKT_TX_UDP_CKSUM:
 374                         partial_en = ESE_GZ_TX_DESC_CSO_PARTIAL_EN_UDP;
 375                         part_cksum_w = offsetof(struct rte_udp_hdr,
 376                                                 dgram_cksum) >> 1;
 377                         break;
 378                 default:
 379                         partial_en = ESE_GZ_TX_DESC_CSO_PARTIAL_EN_OFF;
 380                         part_cksum_w = 0;
 381                         break;
 382                 }
 383                 l4_offset_w = (m->outer_l2_len + m->outer_l3_len +
 384                                 m->l2_len + m->l3_len) >> 1;
 385         }
 386
 387         EFX_POPULATE_OWORD_10(*tx_desc,
 388                         ESF_GZ_TX_SEND_ADDR, rte_mbuf_data_iova(m),
 389                         ESF_GZ_TX_SEND_LEN, rte_pktmbuf_data_len(m),
 390                         ESF_GZ_TX_SEND_NUM_SEGS, m->nb_segs,
 391                         ESF_GZ_TX_SEND_CSO_PARTIAL_START_W, l4_offset_w,
 392                         ESF_GZ_TX_SEND_CSO_PARTIAL_CSUM_W, part_cksum_w,
 393                         ESF_GZ_TX_SEND_CSO_PARTIAL_EN, partial_en,
 394                         ESF_GZ_TX_SEND_CSO_INNER_L3, inner_l3,
 395                         ESF_GZ_TX_SEND_CSO_OUTER_L3, outer_l3,
 396                         ESF_GZ_TX_SEND_CSO_OUTER_L4, outer_l4,
 397                         ESF_GZ_TX_DESC_TYPE, ESE_GZ_TX_DESC_TYPE_SEND);
 398
 399         if (m->ol_flags & PKT_TX_VLAN_PKT) {
 400                 efx_oword_t tx_desc_extra_fields;
 401
 402                 EFX_POPULATE_OWORD_2(tx_desc_extra_fields,
 403                                 ESF_GZ_TX_SEND_VLAN_INSERT_EN, 1,
 404                                 ESF_GZ_TX_SEND_VLAN_INSERT_TCI, m->vlan_tci);
 405
 406                 EFX_OR_OWORD(*tx_desc, tx_desc_extra_fields);
 407         }
 408 }
 409
 410 static void
 411 sfc_ef100_tx_qdesc_seg_create(rte_iova_t addr, uint16_t len,
 412                               efx_oword_t *tx_desc)
 413 {
 414         EFX_POPULATE_OWORD_3(*tx_desc,
 415                         ESF_GZ_TX_SEG_ADDR, addr,
 416                         ESF_GZ_TX_SEG_LEN, len,
 417                         ESF_GZ_TX_DESC_TYPE, ESE_GZ_TX_DESC_TYPE_SEG);
 418 }
 419
 420 static void
 421 sfc_ef100_tx_qdesc_tso_create(const struct rte_mbuf *m,
 422                               uint16_t nb_header_descs,
 423                               uint16_t nb_payload_descs,
 424                               size_t header_len, size_t payload_len,
 425                               size_t outer_iph_off, size_t outer_udph_off,
 426                               size_t iph_off, size_t tcph_off,
 427                               efx_oword_t *tx_desc)
 428 {
 429         efx_oword_t tx_desc_extra_fields;
 430         int ed_outer_udp_len = (outer_udph_off != 0) ? 1 : 0;
 431         int ed_outer_ip_len = (outer_iph_off != 0) ? 1 : 0;
 432         int ed_outer_ip_id = (outer_iph_off != 0) ?
 433                 ESE_GZ_TX_DESC_IP4_ID_INC_MOD16 : 0;
 434         /*
 435          * If no tunnel encapsulation is present, then the ED_INNER
 436          * fields should be used.
 437          */
 438         int ed_inner_ip_id = ESE_GZ_TX_DESC_IP4_ID_INC_MOD16;
 439         uint8_t inner_l3 = sfc_ef100_tx_qdesc_cso_inner_l3(
 440                                         m->ol_flags & PKT_TX_TUNNEL_MASK);
 441
 442         EFX_POPULATE_OWORD_10(*tx_desc,
 443                         ESF_GZ_TX_TSO_MSS, m->tso_segsz,
 444                         ESF_GZ_TX_TSO_HDR_NUM_SEGS, nb_header_descs,
 445                         ESF_GZ_TX_TSO_PAYLOAD_NUM_SEGS, nb_payload_descs,
 446                         ESF_GZ_TX_TSO_ED_OUTER_IP4_ID, ed_outer_ip_id,
 447                         ESF_GZ_TX_TSO_ED_INNER_IP4_ID, ed_inner_ip_id,
 448                         ESF_GZ_TX_TSO_ED_OUTER_IP_LEN, ed_outer_ip_len,
 449                         ESF_GZ_TX_TSO_ED_INNER_IP_LEN, 1,
 450                         ESF_GZ_TX_TSO_ED_OUTER_UDP_LEN, ed_outer_udp_len,
 451                         ESF_GZ_TX_TSO_HDR_LEN_W, header_len >> 1,
 452                         ESF_GZ_TX_TSO_PAYLOAD_LEN, payload_len);
 453
 454         EFX_POPULATE_OWORD_9(tx_desc_extra_fields,
 455                         /*
 456                          * Outer offsets are required for outer IPv4 ID
 457                          * and length edits in the case of tunnel TSO.
 458                          */
 459                         ESF_GZ_TX_TSO_OUTER_L3_OFF_W, outer_iph_off >> 1,
 460                         ESF_GZ_TX_TSO_OUTER_L4_OFF_W, outer_udph_off >> 1,
 461                         /*
 462                          * Inner offsets are required for inner IPv4 ID
 463                          * and IP length edits and partial checksum
 464                          * offload in the case of tunnel TSO.
 465                          */
 466                         ESF_GZ_TX_TSO_INNER_L3_OFF_W, iph_off >> 1,
 467                         ESF_GZ_TX_TSO_INNER_L4_OFF_W, tcph_off >> 1,
 468                         ESF_GZ_TX_TSO_CSO_INNER_L4,
 469                                 inner_l3 != ESE_GZ_TX_DESC_CS_INNER_L3_OFF,
 470                         ESF_GZ_TX_TSO_CSO_INNER_L3, inner_l3,
 471                         /*
 472                          * Use outer full checksum offloads which do
 473                          * not require any extra information.
 474                          */
 475                         ESF_GZ_TX_TSO_CSO_OUTER_L3, 1,
 476                         ESF_GZ_TX_TSO_CSO_OUTER_L4, 1,
 477                         ESF_GZ_TX_DESC_TYPE, ESE_GZ_TX_DESC_TYPE_TSO);
 478
 479         EFX_OR_OWORD(*tx_desc, tx_desc_extra_fields);
 480
 481         if (m->ol_flags & PKT_TX_VLAN_PKT) {
 482                 EFX_POPULATE_OWORD_2(tx_desc_extra_fields,
 483                                 ESF_GZ_TX_TSO_VLAN_INSERT_EN, 1,
 484                                 ESF_GZ_TX_TSO_VLAN_INSERT_TCI, m->vlan_tci);
 485
 486                 EFX_OR_OWORD(*tx_desc, tx_desc_extra_fields);
 487         }
 488 }
 489
 490 static inline void
 491 sfc_ef100_tx_qpush(struct sfc_ef100_txq *txq, unsigned int added)
 492 {
 493         efx_dword_t dword;
 494
 495         EFX_POPULATE_DWORD_1(dword, ERF_GZ_TX_RING_PIDX, added & txq->ptr_mask);
 496
 497         /* DMA sync to device is not required */
 498
 499         /*
 500          * rte_write32() has rte_io_wmb() which guarantees that the STORE
 501          * operations (i.e. Rx and event descriptor updates) that precede
 502          * the rte_io_wmb() call are visible to NIC before the STORE
 503          * operations that follow it (i.e. doorbell write).
 504          */
 505         rte_write32(dword.ed_u32[0], txq->doorbell);
 506         txq->dp.dpq.tx_dbells++;
 507
 508         sfc_ef100_tx_debug(txq, "TxQ pushed doorbell at pidx %u (added=%u)",
 509                            EFX_DWORD_FIELD(dword, ERF_GZ_TX_RING_PIDX),
 510                            added);
 511 }
 512
 513 static unsigned int
 514 sfc_ef100_tx_pkt_descs_max(const struct rte_mbuf *m)
 515 {
 516         unsigned int extra_descs = 0;
 517
 518 /** Maximum length of an mbuf segment data */
 519 #define SFC_MBUF_SEG_LEN_MAX            UINT16_MAX
 520         RTE_BUILD_BUG_ON(sizeof(m->data_len) != 2);
 521
 522         if (m->ol_flags & PKT_TX_TCP_SEG) {
 523                 /* Tx TSO descriptor */
 524                 extra_descs++;
 525                 /*
 526                  * Extra Tx segment descriptor may be required if header
 527                  * ends in the middle of segment.
 528                  */
 529                 extra_descs++;
 530         } else {
 531                 /*
 532                  * mbuf segment cannot be bigger than maximum segment length
 533                  * and maximum packet length since TSO is not supported yet.
 534                  * Make sure that the first segment does not need fragmentation
 535                  * (split into many Tx descriptors).
 536                  */
 537                 RTE_BUILD_BUG_ON(SFC_EF100_TX_SEND_DESC_LEN_MAX <
 538                                  RTE_MIN((unsigned int)EFX_MAC_PDU_MAX,
 539                                  SFC_MBUF_SEG_LEN_MAX));
 540         }
 541
 542         if (m->ol_flags & sfc_dp_mport_override) {
 543                 /* Tx override prefix descriptor will be used */
 544                 extra_descs++;
 545         }
 546
 547         /*
 548          * Any segment of scattered packet cannot be bigger than maximum
 549          * segment length. Make sure that subsequent segments do not need
 550          * fragmentation (split into many Tx descriptors).
 551          */
 552         RTE_BUILD_BUG_ON(SFC_EF100_TX_SEG_DESC_LEN_MAX < SFC_MBUF_SEG_LEN_MAX);
 553
 554         return m->nb_segs + extra_descs;
 555 }
 556
 557 static struct rte_mbuf *
 558 sfc_ef100_xmit_tso_pkt(struct sfc_ef100_txq * const txq,
 559                        struct rte_mbuf *m, unsigned int *added)
 560 {
 561         struct rte_mbuf *m_seg = m;
 562         unsigned int nb_hdr_descs;
 563         unsigned int nb_pld_descs;
 564         unsigned int seg_split = 0;
 565         unsigned int tso_desc_id;
 566         unsigned int id;
 567         size_t outer_iph_off;
 568         size_t outer_udph_off;
 569         size_t iph_off;
 570         size_t tcph_off;
 571         size_t header_len;
 572         size_t remaining_hdr_len;
 573
 574         if (m->ol_flags & PKT_TX_TUNNEL_MASK) {
 575                 outer_iph_off = m->outer_l2_len;
 576                 outer_udph_off = outer_iph_off + m->outer_l3_len;
 577         } else {
 578                 outer_iph_off = 0;
 579                 outer_udph_off = 0;
 580         }
 581         iph_off = outer_udph_off + m->l2_len;
 582         tcph_off = iph_off + m->l3_len;
 583         header_len = tcph_off + m->l4_len;
 584
 585         /*
 586          * Remember ID of the TX_TSO descriptor to be filled in.
 587          * We can't fill it in right now since we need to calculate
 588          * number of header and payload segments first and don't want
 589          * to traverse it twice here.
 590          */
 591         tso_desc_id = (*added)++ & txq->ptr_mask;
 592
 593         remaining_hdr_len = header_len;
 594         do {
 595                 id = (*added)++ & txq->ptr_mask;
 596                 if (rte_pktmbuf_data_len(m_seg) <= remaining_hdr_len) {
 597                         /* The segment is fully header segment */
 598                         sfc_ef100_tx_qdesc_seg_create(
 599                                 rte_mbuf_data_iova(m_seg),
 600                                 rte_pktmbuf_data_len(m_seg),
 601                                 &txq->txq_hw_ring[id]);
 602                         remaining_hdr_len -= rte_pktmbuf_data_len(m_seg);
 603                 } else {
 604                         /*
 605                          * The segment must be split into header and
 606                          * payload segments
 607                          */
 608                         sfc_ef100_tx_qdesc_seg_create(
 609                                 rte_mbuf_data_iova(m_seg),
 610                                 remaining_hdr_len,
 611                                 &txq->txq_hw_ring[id]);
 612                         SFC_ASSERT(txq->sw_ring[id].mbuf == NULL);
 613
 614                         id = (*added)++ & txq->ptr_mask;
 615                         sfc_ef100_tx_qdesc_seg_create(
 616                                 rte_mbuf_data_iova(m_seg) + remaining_hdr_len,
 617                                 rte_pktmbuf_data_len(m_seg) - remaining_hdr_len,
 618                                 &txq->txq_hw_ring[id]);
 619                         remaining_hdr_len = 0;
 620                         seg_split = 1;
 621                 }
 622                 txq->sw_ring[id].mbuf = m_seg;
 623                 m_seg = m_seg->next;
 624         } while (remaining_hdr_len > 0);
 625
 626         /*
 627          * If a segment is split into header and payload segments, added
 628          * pointer counts it twice and we should correct it.
 629          */
 630         nb_hdr_descs = ((id - tso_desc_id) & txq->ptr_mask) - seg_split;
 631         nb_pld_descs = m->nb_segs - nb_hdr_descs + seg_split;
 632
 633         sfc_ef100_tx_qdesc_tso_create(m, nb_hdr_descs, nb_pld_descs, header_len,
 634                                       rte_pktmbuf_pkt_len(m) - header_len,
 635                                       outer_iph_off, outer_udph_off,
 636                                       iph_off, tcph_off,
 637                                       &txq->txq_hw_ring[tso_desc_id]);
 638
 639         return m_seg;
 640 }
 641
 642 static uint16_t
 643 sfc_ef100_xmit_pkts(void *tx_queue, struct rte_mbuf **tx_pkts, uint16_t nb_pkts)
 644 {
 645         struct sfc_ef100_txq * const txq = sfc_ef100_txq_by_dp_txq(tx_queue);
 646         unsigned int added;
 647         unsigned int dma_desc_space;
 648         bool reap_done;
 649         struct rte_mbuf **pktp;
 650         struct rte_mbuf **pktp_end;
 651
 652         if (unlikely(txq->flags &
 653                      (SFC_EF100_TXQ_NOT_RUNNING | SFC_EF100_TXQ_EXCEPTION)))
 654                 return 0;
 655
 656         added = txq->added;
 657         dma_desc_space = txq->max_fill_level - (added - txq->completed);
 658
 659         reap_done = (dma_desc_space < txq->free_thresh);
 660         if (reap_done) {
 661                 sfc_ef100_tx_reap(txq);
 662                 dma_desc_space = txq->max_fill_level - (added - txq->completed);
 663         }
 664
 665         for (pktp = &tx_pkts[0], pktp_end = &tx_pkts[nb_pkts];
 666              pktp != pktp_end;
 667              ++pktp) {
 668                 struct rte_mbuf *m_seg = *pktp;
 669                 unsigned int pkt_start = added;
 670                 unsigned int id;
 671
 672                 if (likely(pktp + 1 != pktp_end))
 673                         rte_mbuf_prefetch_part1(pktp[1]);
 674
 675                 if (sfc_ef100_tx_pkt_descs_max(m_seg) > dma_desc_space) {
 676                         if (reap_done)
 677                                 break;
 678
 679                         /* Push already prepared descriptors before polling */
 680                         if (added != txq->added) {
 681                                 sfc_ef100_tx_qpush(txq, added);
 682                                 txq->added = added;
 683                         }
 684
 685                         sfc_ef100_tx_reap(txq);
 686                         reap_done = true;
 687                         dma_desc_space = txq->max_fill_level -
 688                                 (added - txq->completed);
 689                         if (sfc_ef100_tx_pkt_descs_max(m_seg) > dma_desc_space)
 690                                 break;
 691                 }
 692
 693                 if (m_seg->ol_flags & sfc_dp_mport_override) {
 694                         id = added++ & txq->ptr_mask;
 695                         sfc_ef100_tx_qdesc_prefix_create(m_seg,
 696                                                          &txq->txq_hw_ring[id]);
 697                 }
 698
 699                 if (m_seg->ol_flags & PKT_TX_TCP_SEG) {
 700                         m_seg = sfc_ef100_xmit_tso_pkt(txq, m_seg, &added);
 701                 } else {
 702                         id = added++ & txq->ptr_mask;
 703                         sfc_ef100_tx_qdesc_send_create(m_seg,
 704                                                        &txq->txq_hw_ring[id]);
 705
 706                         /*
 707                          * rte_pktmbuf_free() is commonly used in DPDK for
 708                          * recycling packets - the function checks every
 709                          * segment's reference counter and returns the
 710                          * buffer to its pool whenever possible;
 711                          * nevertheless, freeing mbuf segments one by one
 712                          * may entail some performance decline;
 713                          * from this point, sfc_efx_tx_reap() does the same job
 714                          * on its own and frees buffers in bulks (all mbufs
 715                          * within a bulk belong to the same pool);
 716                          * from this perspective, individual segment pointers
 717                          * must be associated with the corresponding SW
 718                          * descriptors independently so that only one loop
 719                          * is sufficient on reap to inspect all the buffers
 720                          */
 721                         txq->sw_ring[id].mbuf = m_seg;
 722                         m_seg = m_seg->next;
 723                 }
 724
 725                 while (m_seg != NULL) {
 726                         RTE_BUILD_BUG_ON(SFC_MBUF_SEG_LEN_MAX >
 727                                          SFC_EF100_TX_SEG_DESC_LEN_MAX);
 728
 729                         id = added++ & txq->ptr_mask;
 730                         sfc_ef100_tx_qdesc_seg_create(rte_mbuf_data_iova(m_seg),
 731                                         rte_pktmbuf_data_len(m_seg),
 732                                         &txq->txq_hw_ring[id]);
 733                         txq->sw_ring[id].mbuf = m_seg;
 734                         m_seg = m_seg->next;
 735                 }
 736
 737                 dma_desc_space -= (added - pkt_start);
 738
 739                 sfc_pkts_bytes_add(&txq->dp.dpq.stats, 1,
 740                                    rte_pktmbuf_pkt_len(*pktp));
 741         }
 742
 743         if (likely(added != txq->added)) {
 744                 sfc_ef100_tx_qpush(txq, added);
 745                 txq->added = added;
 746         }
 747
 748 #if SFC_TX_XMIT_PKTS_REAP_AT_LEAST_ONCE
 749         if (!reap_done)
 750                 sfc_ef100_tx_reap(txq);
 751 #endif
 752
 753         return pktp - &tx_pkts[0];
 754 }
 755
 756 static sfc_dp_tx_get_dev_info_t sfc_ef100_get_dev_info;
 757 static void
 758 sfc_ef100_get_dev_info(struct rte_eth_dev_info *dev_info)
 759 {
 760         /*
 761          * Number of descriptors just defines maximum number of pushed
 762          * descriptors (fill level).
 763          */
 764         dev_info->tx_desc_lim.nb_min = 1;
 765         dev_info->tx_desc_lim.nb_align = 1;
 766 }
 767
 768 static sfc_dp_tx_qsize_up_rings_t sfc_ef100_tx_qsize_up_rings;
 769 static int
 770 sfc_ef100_tx_qsize_up_rings(uint16_t nb_tx_desc,
 771                            struct sfc_dp_tx_hw_limits *limits,
 772                            unsigned int *txq_entries,
 773                            unsigned int *evq_entries,
 774                            unsigned int *txq_max_fill_level)
 775 {
 776         /*
 777          * rte_ethdev API guarantees that the number meets min, max and
 778          * alignment requirements.
 779          */
 780         if (nb_tx_desc <= limits->txq_min_entries)
 781                 *txq_entries = limits->txq_min_entries;
 782         else
 783                 *txq_entries = rte_align32pow2(nb_tx_desc);
 784
 785         *evq_entries = *txq_entries;
 786
 787         *txq_max_fill_level = RTE_MIN(nb_tx_desc,
 788                                       SFC_EF100_TXQ_LIMIT(*evq_entries));
 789         return 0;
 790 }
 791
 792 static sfc_dp_tx_qcreate_t sfc_ef100_tx_qcreate;
 793 static int
 794 sfc_ef100_tx_qcreate(uint16_t port_id, uint16_t queue_id,
 795                     const struct rte_pci_addr *pci_addr, int socket_id,
 796                     const struct sfc_dp_tx_qcreate_info *info,
 797                     struct sfc_dp_txq **dp_txqp)
 798 {
 799         struct sfc_ef100_txq *txq;
 800         int rc;
 801
 802         rc = EINVAL;
 803         if (info->txq_entries != info->evq_entries)
 804                 goto fail_bad_args;
 805
 806         rc = ENOMEM;
 807         txq = rte_zmalloc_socket("sfc-ef100-txq", sizeof(*txq),
 808                                  RTE_CACHE_LINE_SIZE, socket_id);
 809         if (txq == NULL)
 810                 goto fail_txq_alloc;
 811
 812         sfc_dp_queue_init(&txq->dp.dpq, port_id, queue_id, pci_addr);
 813
 814         rc = ENOMEM;
 815         txq->sw_ring = rte_calloc_socket("sfc-ef100-txq-sw_ring",
 816                                          info->txq_entries,
 817                                          sizeof(*txq->sw_ring),
 818                                          RTE_CACHE_LINE_SIZE, socket_id);
 819         if (txq->sw_ring == NULL)
 820                 goto fail_sw_ring_alloc;
 821
 822         txq->flags = SFC_EF100_TXQ_NOT_RUNNING;
 823         txq->ptr_mask = info->txq_entries - 1;
 824         txq->max_fill_level = info->max_fill_level;
 825         txq->free_thresh = info->free_thresh;
 826         txq->evq_phase_bit_shift = rte_bsf32(info->evq_entries);
 827         txq->txq_hw_ring = info->txq_hw_ring;
 828         txq->doorbell = (volatile uint8_t *)info->mem_bar +
 829                         ER_GZ_TX_RING_DOORBELL_OFST +
 830                         (info->hw_index << info->vi_window_shift);
 831         txq->evq_hw_ring = info->evq_hw_ring;
 832
 833         txq->tso_tcp_header_offset_limit = info->tso_tcp_header_offset_limit;
 834         txq->tso_max_nb_header_descs = info->tso_max_nb_header_descs;
 835         txq->tso_max_header_len = info->tso_max_header_len;
 836         txq->tso_max_nb_payload_descs = info->tso_max_nb_payload_descs;
 837         txq->tso_max_payload_len = info->tso_max_payload_len;
 838         txq->tso_max_nb_outgoing_frames = info->tso_max_nb_outgoing_frames;
 839
 840         sfc_ef100_tx_debug(txq, "TxQ doorbell is %p", txq->doorbell);
 841
 842         *dp_txqp = &txq->dp;
 843         return 0;
 844
 845 fail_sw_ring_alloc:
 846         rte_free(txq);
 847
 848 fail_txq_alloc:
 849 fail_bad_args:
 850         return rc;
 851 }
 852
 853 static sfc_dp_tx_qdestroy_t sfc_ef100_tx_qdestroy;
 854 static void
 855 sfc_ef100_tx_qdestroy(struct sfc_dp_txq *dp_txq)
 856 {
 857         struct sfc_ef100_txq *txq = sfc_ef100_txq_by_dp_txq(dp_txq);
 858
 859         rte_free(txq->sw_ring);
 860         rte_free(txq);
 861 }
 862
 863 static sfc_dp_tx_qstart_t sfc_ef100_tx_qstart;
 864 static int
 865 sfc_ef100_tx_qstart(struct sfc_dp_txq *dp_txq, unsigned int evq_read_ptr,
 866                    unsigned int txq_desc_index)
 867 {
 868         struct sfc_ef100_txq *txq = sfc_ef100_txq_by_dp_txq(dp_txq);
 869
 870         txq->evq_read_ptr = evq_read_ptr;
 871         txq->added = txq->completed = txq_desc_index;
 872
 873         txq->flags |= SFC_EF100_TXQ_STARTED;
 874         txq->flags &= ~(SFC_EF100_TXQ_NOT_RUNNING | SFC_EF100_TXQ_EXCEPTION);
 875
 876         return 0;
 877 }
 878
 879 static sfc_dp_tx_qstop_t sfc_ef100_tx_qstop;
 880 static void
 881 sfc_ef100_tx_qstop(struct sfc_dp_txq *dp_txq, unsigned int *evq_read_ptr)
 882 {
 883         struct sfc_ef100_txq *txq = sfc_ef100_txq_by_dp_txq(dp_txq);
 884
 885         txq->flags |= SFC_EF100_TXQ_NOT_RUNNING;
 886
 887         *evq_read_ptr = txq->evq_read_ptr;
 888 }
 889
 890 static sfc_dp_tx_qtx_ev_t sfc_ef100_tx_qtx_ev;
 891 static bool
 892 sfc_ef100_tx_qtx_ev(struct sfc_dp_txq *dp_txq, unsigned int num_descs)
 893 {
 894         struct sfc_ef100_txq *txq = sfc_ef100_txq_by_dp_txq(dp_txq);
 895
 896         SFC_ASSERT(txq->flags & SFC_EF100_TXQ_NOT_RUNNING);
 897
 898         sfc_ef100_tx_reap_num_descs(txq, num_descs);
 899
 900         return false;
 901 }
 902
 903 static sfc_dp_tx_qreap_t sfc_ef100_tx_qreap;
 904 static void
 905 sfc_ef100_tx_qreap(struct sfc_dp_txq *dp_txq)
 906 {
 907         struct sfc_ef100_txq *txq = sfc_ef100_txq_by_dp_txq(dp_txq);
 908         unsigned int completed;
 909
 910         for (completed = txq->completed; completed != txq->added; ++completed) {
 911                 struct sfc_ef100_tx_sw_desc *txd;
 912
 913                 txd = &txq->sw_ring[completed & txq->ptr_mask];
 914                 if (txd->mbuf != NULL) {
 915                         rte_pktmbuf_free_seg(txd->mbuf);
 916                         txd->mbuf = NULL;
 917                 }
 918         }
 919
 920         txq->flags &= ~SFC_EF100_TXQ_STARTED;
 921 }
 922
 923 static unsigned int
 924 sfc_ef100_tx_qdesc_npending(struct sfc_ef100_txq *txq)
 925 {
 926         const unsigned int evq_old_read_ptr = txq->evq_read_ptr;
 927         unsigned int npending = 0;
 928         efx_qword_t tx_ev;
 929
 930         if (unlikely(txq->flags &
 931                      (SFC_EF100_TXQ_NOT_RUNNING | SFC_EF100_TXQ_EXCEPTION)))
 932                 return 0;
 933
 934         while (sfc_ef100_tx_get_event(txq, &tx_ev))
 935                 npending += EFX_QWORD_FIELD(tx_ev, ESF_GZ_EV_TXCMPL_NUM_DESC);
 936
 937         /*
 938          * The function does not process events, so return event queue read
 939          * pointer to the original position to allow the events that were
 940          * read to be processed later
 941          */
 942         txq->evq_read_ptr = evq_old_read_ptr;
 943
 944         return npending;
 945 }
 946
 947 static sfc_dp_tx_qdesc_status_t sfc_ef100_tx_qdesc_status;
 948 static int
 949 sfc_ef100_tx_qdesc_status(struct sfc_dp_txq *dp_txq, uint16_t offset)
 950 {
 951         struct sfc_ef100_txq *txq = sfc_ef100_txq_by_dp_txq(dp_txq);
 952         unsigned int pushed = txq->added - txq->completed;
 953
 954         if (unlikely(offset > txq->ptr_mask))
 955                 return -EINVAL;
 956
 957         if (unlikely(offset >= txq->max_fill_level))
 958                 return RTE_ETH_TX_DESC_UNAVAIL;
 959
 960         return (offset >= pushed ||
 961                 offset < sfc_ef100_tx_qdesc_npending(txq)) ?
 962                 RTE_ETH_TX_DESC_DONE : RTE_ETH_TX_DESC_FULL;
 963 }
 964
 965 struct sfc_dp_tx sfc_ef100_tx = {
 966         .dp = {
 967                 .name           = SFC_KVARG_DATAPATH_EF100,
 968                 .type           = SFC_DP_TX,
 969                 .hw_fw_caps     = SFC_DP_HW_FW_CAP_EF100,
 970         },
 971         .features               = SFC_DP_TX_FEAT_MULTI_PROCESS |
 972                                   SFC_DP_TX_FEAT_STATS,
 973         .dev_offload_capa       = 0,
 974         .queue_offload_capa     = RTE_ETH_TX_OFFLOAD_VLAN_INSERT |
 975                                   RTE_ETH_TX_OFFLOAD_IPV4_CKSUM |
 976                                   RTE_ETH_TX_OFFLOAD_OUTER_IPV4_CKSUM |
 977                                   RTE_ETH_TX_OFFLOAD_OUTER_UDP_CKSUM |
 978                                   RTE_ETH_TX_OFFLOAD_UDP_CKSUM |
 979                                   RTE_ETH_TX_OFFLOAD_TCP_CKSUM |
 980                                   RTE_ETH_TX_OFFLOAD_MULTI_SEGS |
 981                                   RTE_ETH_TX_OFFLOAD_TCP_TSO |
 982                                   RTE_ETH_TX_OFFLOAD_VXLAN_TNL_TSO |
 983                                   RTE_ETH_TX_OFFLOAD_GENEVE_TNL_TSO,
 984         .get_dev_info           = sfc_ef100_get_dev_info,
 985         .qsize_up_rings         = sfc_ef100_tx_qsize_up_rings,
 986         .qcreate                = sfc_ef100_tx_qcreate,
 987         .qdestroy               = sfc_ef100_tx_qdestroy,
 988         .qstart                 = sfc_ef100_tx_qstart,
 989         .qtx_ev                 = sfc_ef100_tx_qtx_ev,
 990         .qstop                  = sfc_ef100_tx_qstop,
 991         .qreap                  = sfc_ef100_tx_qreap,
 992         .qdesc_status           = sfc_ef100_tx_qdesc_status,
 993         .pkt_prepare            = sfc_ef100_tx_prepare_pkts,
 994         .pkt_burst              = sfc_ef100_xmit_pkts,
 995 };