net/bnxt: optimize vector path mbuf allocation
[dpdk.git] / drivers / net / bnxt / bnxt_rxtx_vec_sse.c
index 761d835..7e87555 100644 (file)
  * RX Ring handling
  */
 
-static inline void
-bnxt_rxq_rearm(struct bnxt_rx_queue *rxq, struct bnxt_rx_ring_info *rxr)
-{
-       struct rx_prod_pkt_bd *rxbds = &rxr->rx_desc_ring[rxq->rxrearm_start];
-       struct rte_mbuf **rx_bufs = &rxr->rx_buf_ring[rxq->rxrearm_start];
-       struct rte_mbuf *mb0, *mb1;
-       int nb, i;
-
-       const __m128i hdr_room = _mm_set_epi64x(RTE_PKTMBUF_HEADROOM, 0);
-       const __m128i addrmask = _mm_set_epi64x(UINT64_MAX, 0);
-
-       /*
-        * Number of mbufs to allocate must be a multiple of two. The
-        * allocation must not go past the end of the ring.
-        */
-       nb = RTE_MIN(rxq->rxrearm_nb & ~0x1,
-                    rxq->nb_rx_desc - rxq->rxrearm_start);
-
-       /* Allocate new mbufs into the software ring */
-       if (rte_mempool_get_bulk(rxq->mb_pool, (void *)rx_bufs, nb) < 0) {
-               rte_eth_devices[rxq->port_id].data->rx_mbuf_alloc_failed += nb;
-
-               return;
-       }
-
-       /* Initialize the mbufs in vector, process 2 mbufs in one loop */
-       for (i = 0; i < nb; i += 2, rx_bufs += 2) {
-               __m128i buf_addr0, buf_addr1;
-               __m128i rxbd0, rxbd1;
-
-               mb0 = rx_bufs[0];
-               mb1 = rx_bufs[1];
-
-               /* Load address fields from both mbufs */
-               buf_addr0 = _mm_loadu_si128((__m128i *)&mb0->buf_addr);
-               buf_addr1 = _mm_loadu_si128((__m128i *)&mb1->buf_addr);
-
-               /* Load both rx descriptors (preserving some existing fields) */
-               rxbd0 = _mm_loadu_si128((__m128i *)(rxbds + 0));
-               rxbd1 = _mm_loadu_si128((__m128i *)(rxbds + 1));
-
-               /* Add default offset to buffer address. */
-               buf_addr0 = _mm_add_epi64(buf_addr0, hdr_room);
-               buf_addr1 = _mm_add_epi64(buf_addr1, hdr_room);
-
-               /* Clear all fields except address. */
-               buf_addr0 =  _mm_and_si128(buf_addr0, addrmask);
-               buf_addr1 =  _mm_and_si128(buf_addr1, addrmask);
-
-               /* Clear address field in descriptor. */
-               rxbd0 = _mm_andnot_si128(addrmask, rxbd0);
-               rxbd1 = _mm_andnot_si128(addrmask, rxbd1);
-
-               /* Set address field in descriptor. */
-               rxbd0 = _mm_add_epi64(rxbd0, buf_addr0);
-               rxbd1 = _mm_add_epi64(rxbd1, buf_addr1);
-
-               /* Store descriptors to memory. */
-               _mm_store_si128((__m128i *)(rxbds++), rxbd0);
-               _mm_store_si128((__m128i *)(rxbds++), rxbd1);
-       }
-
-       rxq->rxrearm_start += nb;
-       bnxt_db_write(&rxr->rx_db, rxq->rxrearm_start - 1);
-       if (rxq->rxrearm_start >= rxq->nb_rx_desc)
-               rxq->rxrearm_start = 0;
-
-       rxq->rxrearm_nb -= nb;
-}
-
 static __m128i
 bnxt_parse_pkt_type(__m128i mm_rxcmp, __m128i mm_rxcmp1)
 {