update Intel copyright years to 2014
[dpdk.git] / lib / librte_pmd_ixgbe / ixgbe_rxtx.c
index 8e7cb26..3ff22a7 100644 (file)
@@ -1,35 +1,34 @@
 /*-
  *   BSD LICENSE
  * 
- *   Copyright(c) 2010-2013 Intel Corporation. All rights reserved.
+ *   Copyright(c) 2010-2014 Intel Corporation. All rights reserved.
  *   All rights reserved.
  * 
- *   Redistribution and use in source and binary forms, with or without 
- *   modification, are permitted provided that the following conditions 
+ *   Redistribution and use in source and binary forms, with or without
+ *   modification, are permitted provided that the following conditions
  *   are met:
  * 
- *     * Redistributions of source code must retain the above copyright 
+ *     * Redistributions of source code must retain the above copyright
  *       notice, this list of conditions and the following disclaimer.
- *     * Redistributions in binary form must reproduce the above copyright 
- *       notice, this list of conditions and the following disclaimer in 
- *       the documentation and/or other materials provided with the 
+ *     * Redistributions in binary form must reproduce the above copyright
+ *       notice, this list of conditions and the following disclaimer in
+ *       the documentation and/or other materials provided with the
  *       distribution.
- *     * Neither the name of Intel Corporation nor the names of its 
- *       contributors may be used to endorse or promote products derived 
+ *     * Neither the name of Intel Corporation nor the names of its
+ *       contributors may be used to endorse or promote products derived
  *       from this software without specific prior written permission.
  * 
- *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS 
- *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT 
- *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR 
- *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT 
- *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, 
- *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT 
- *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, 
- *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY 
- *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT 
- *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE 
+ *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
+ *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
+ *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
+ *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
+ *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
+ *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
+ *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
+ *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
+ *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
+ *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
- * 
  */
 
 #include <sys/queue.h>
@@ -1798,12 +1797,14 @@ ixgbe_dev_tx_queue_release(void *txq)
 static void
 ixgbe_reset_tx_queue(struct igb_tx_queue *txq)
 {
+       static const union ixgbe_adv_tx_desc zeroed_desc = { .read = {
+                       .buffer_addr = 0}};
        struct igb_tx_entry *txe = txq->sw_ring;
        uint16_t prev, i;
 
        /* Zero out HW ring memory */
-       for (i = 0; i < sizeof(union ixgbe_adv_tx_desc) * txq->nb_tx_desc; i++) {
-               ((volatile char *)txq->tx_ring)[i] = 0;
+       for (i = 0; i < txq->nb_tx_desc; i++) {
+               txq->tx_ring[i] = zeroed_desc;
        }
 
        /* Initialize SW ring entries */
@@ -1812,9 +1813,9 @@ ixgbe_reset_tx_queue(struct igb_tx_queue *txq)
                volatile union ixgbe_adv_tx_desc *txd = &txq->tx_ring[i];
                txd->wb.status = IXGBE_TXD_STAT_DD;
                txe[i].mbuf = NULL;
-               txe[i].last_id = i;
-               txe[prev].next_id = i;
-               prev = i;
+               txe[i].last_id = (uint16_t)i;
+               txe[prev].next_id = (uint16_t)i;
+               prev = (uint16_t)i;
        }
 
        txq->tx_next_dd = (uint16_t)(txq->tx_rs_thresh - 1);
@@ -2092,6 +2093,8 @@ check_rx_burst_bulk_alloc_preconditions(__rte_unused struct igb_rx_queue *rxq)
 static void
 ixgbe_reset_rx_queue(struct igb_rx_queue *rxq)
 {
+       static const union ixgbe_adv_rx_desc zeroed_desc = { .read = {
+                       .pkt_addr = 0}};
        unsigned i;
        uint16_t len;
 
@@ -2119,8 +2122,8 @@ ixgbe_reset_rx_queue(struct igb_rx_queue *rxq)
         * the H/W ring so look-ahead logic in Rx Burst bulk alloc function
         * reads extra memory as zeros.
         */
-       for (i = 0; i < len * sizeof(union ixgbe_adv_rx_desc); i++) {
-               ((volatile char *)rxq->rx_ring)[i] = 0;
+       for (i = 0; i < len; i++) {
+               rxq->rx_ring[i] = zeroed_desc;
        }
 
 #ifdef RTE_LIBRTE_IXGBE_RX_ALLOW_BULK_ALLOC
@@ -2299,6 +2302,23 @@ ixgbe_dev_rx_queue_count(struct rte_eth_dev *dev, uint16_t rx_queue_id)
        return desc;
 }
 
+int
+ixgbe_dev_rx_descriptor_done(void *rx_queue, uint16_t offset)
+{
+       volatile union ixgbe_adv_rx_desc *rxdp;
+       struct igb_rx_queue *rxq = rx_queue;
+       uint32_t desc;
+
+       if (unlikely(offset >= rxq->nb_rx_desc))
+               return 0;
+       desc = rxq->rx_tail + offset;
+       if (desc >= rxq->nb_rx_desc)
+               desc -= rxq->nb_rx_desc;
+
+       rxdp = &rxq->rx_ring[desc];
+       return !!(rxdp->wb.upper.status_error & IXGBE_RXDADV_STAT_DD);
+}
+
 void
 ixgbe_dev_clear_queues(struct rte_eth_dev *dev)
 {
@@ -3019,16 +3039,11 @@ void ixgbe_configure_dcb(struct rte_eth_dev *dev)
        PMD_INIT_FUNC_TRACE();  
        
        /* check support mq_mode for DCB */
-       if ((dev_conf->rxmode.mq_mode != ETH_MQ_RX_VMDQ_DCB) ||
+       if ((dev_conf->rxmode.mq_mode != ETH_MQ_RX_VMDQ_DCB) && 
            (dev_conf->rxmode.mq_mode != ETH_MQ_RX_DCB)) 
                return;
 
-       if ((dev_conf->txmode.mq_mode != ETH_MQ_TX_VMDQ_DCB) ||
-           (dev_conf->txmode.mq_mode != ETH_MQ_TX_DCB)) 
-               return;
-
-       if ((dev->data->nb_rx_queues != ETH_DCB_NUM_QUEUES) ||
-           (dev->data->nb_tx_queues != ETH_DCB_NUM_QUEUES))
+       if (dev->data->nb_rx_queues != ETH_DCB_NUM_QUEUES)
                return;
 
        /** Configure DCB hardware **/
@@ -3037,6 +3052,120 @@ void ixgbe_configure_dcb(struct rte_eth_dev *dev)
        return;
 }
 
+/*
+ * VMDq only support for 10 GbE NIC.
+ */
+static void
+ixgbe_vmdq_rx_hw_configure(struct rte_eth_dev *dev)
+{
+       struct rte_eth_vmdq_rx_conf *cfg;
+       struct ixgbe_hw *hw;
+       enum rte_eth_nb_pools num_pools;
+       uint32_t mrqc, vt_ctl, vlanctrl;
+       int i;
+
+       PMD_INIT_FUNC_TRACE();
+       hw = IXGBE_DEV_PRIVATE_TO_HW(dev->data->dev_private);
+       cfg = &dev->data->dev_conf.rx_adv_conf.vmdq_rx_conf;
+       num_pools = cfg->nb_queue_pools;
+
+       ixgbe_rss_disable(dev);
+
+       /* MRQC: enable vmdq */
+       mrqc = IXGBE_MRQC_VMDQEN;
+       IXGBE_WRITE_REG(hw, IXGBE_MRQC, mrqc);
+
+       /* PFVTCTL: turn on virtualisation and set the default pool */
+       vt_ctl = IXGBE_VT_CTL_VT_ENABLE | IXGBE_VT_CTL_REPLEN;
+       if (cfg->enable_default_pool)
+               vt_ctl |= (cfg->default_pool << IXGBE_VT_CTL_POOL_SHIFT);
+       else
+               vt_ctl |= IXGBE_VT_CTL_DIS_DEFPL;
+
+       IXGBE_WRITE_REG(hw, IXGBE_VT_CTL, vt_ctl);
+
+       /* VLNCTRL: enable vlan filtering and allow all vlan tags through */
+       vlanctrl = IXGBE_READ_REG(hw, IXGBE_VLNCTRL);
+       vlanctrl |= IXGBE_VLNCTRL_VFE ; /* enable vlan filters */
+       IXGBE_WRITE_REG(hw, IXGBE_VLNCTRL, vlanctrl);
+
+       /* VFTA - enable all vlan filters */
+       for (i = 0; i < NUM_VFTA_REGISTERS; i++) 
+               IXGBE_WRITE_REG(hw, IXGBE_VFTA(i), UINT32_MAX);
+
+       /* VFRE: pool enabling for receive - 64 */
+       IXGBE_WRITE_REG(hw, IXGBE_VFRE(0), UINT32_MAX);
+       if (num_pools == ETH_64_POOLS)
+               IXGBE_WRITE_REG(hw, IXGBE_VFRE(1), UINT32_MAX);
+
+       /*
+        * MPSAR - allow pools to read specific mac addresses
+        * In this case, all pools should be able to read from mac addr 0
+        */
+       IXGBE_WRITE_REG(hw, IXGBE_MPSAR_LO(0), UINT32_MAX);
+       IXGBE_WRITE_REG(hw, IXGBE_MPSAR_HI(0), UINT32_MAX);
+
+       /* PFVLVF, PFVLVFB: set up filters for vlan tags as configured */
+       for (i = 0; i < cfg->nb_pool_maps; i++) {
+               /* set vlan id in VF register and set the valid bit */
+               IXGBE_WRITE_REG(hw, IXGBE_VLVF(i), (IXGBE_VLVF_VIEN | \
+                               (cfg->pool_map[i].vlan_id & IXGBE_RXD_VLAN_ID_MASK)));
+               /*
+                * Put the allowed pools in VFB reg. As we only have 16 or 64
+                * pools, we only need to use the first half of the register
+                * i.e. bits 0-31
+                */
+               if (((cfg->pool_map[i].pools >> 32) & UINT32_MAX) == 0) 
+                       IXGBE_WRITE_REG(hw, IXGBE_VLVFB(i*2), \
+                                       (cfg->pool_map[i].pools & UINT32_MAX));
+               else
+                       IXGBE_WRITE_REG(hw, IXGBE_VLVFB((i*2+1)), \
+                                       ((cfg->pool_map[i].pools >> 32) \
+                                       & UINT32_MAX));
+
+       }
+
+       IXGBE_WRITE_FLUSH(hw);
+}
+
+/*
+ * ixgbe_dcb_config_tx_hw_config - Configure general VMDq TX parameters
+ * @hw: pointer to hardware structure
+ */
+static void 
+ixgbe_vmdq_tx_hw_configure(struct ixgbe_hw *hw)
+{
+       uint32_t reg;
+       uint32_t q;
+       
+       PMD_INIT_FUNC_TRACE();
+       /*PF VF Transmit Enable*/
+       IXGBE_WRITE_REG(hw, IXGBE_VFTE(0), UINT32_MAX);
+       IXGBE_WRITE_REG(hw, IXGBE_VFTE(1), UINT32_MAX);
+
+       /* Disable the Tx desc arbiter so that MTQC can be changed */
+       reg = IXGBE_READ_REG(hw, IXGBE_RTTDCS);
+       reg |= IXGBE_RTTDCS_ARBDIS;
+       IXGBE_WRITE_REG(hw, IXGBE_RTTDCS, reg);
+
+       reg = IXGBE_MTQC_VT_ENA | IXGBE_MTQC_64VF;
+       IXGBE_WRITE_REG(hw, IXGBE_MTQC, reg);
+
+       /* Disable drop for all queues */
+       for (q = 0; q < IXGBE_MAX_RX_QUEUE_NUM; q++)
+               IXGBE_WRITE_REG(hw, IXGBE_QDE,
+                 (IXGBE_QDE_WRITE | (q << IXGBE_QDE_IDX_SHIFT)));
+
+       /* Enable the Tx desc arbiter */
+       reg = IXGBE_READ_REG(hw, IXGBE_RTTDCS);
+       reg &= ~IXGBE_RTTDCS_ARBDIS;
+       IXGBE_WRITE_REG(hw, IXGBE_RTTDCS, reg);
+
+       IXGBE_WRITE_FLUSH(hw);
+
+       return;
+}
+
 static int
 ixgbe_alloc_rx_queue_mbufs(struct igb_rx_queue *rxq)
 {
@@ -3097,7 +3226,11 @@ ixgbe_dev_mq_rx_configure(struct rte_eth_dev *dev)
                        case ETH_MQ_RX_VMDQ_DCB:
                                ixgbe_vmdq_dcb_configure(dev);
                                break;
-                               
+       
+                       case ETH_MQ_RX_VMDQ_ONLY:
+                               ixgbe_vmdq_rx_hw_configure(dev);
+                               break;
+                       
                        default: ixgbe_rss_disable(dev);
                        }
                else
@@ -3148,7 +3281,12 @@ ixgbe_dev_mq_tx_configure(struct rte_eth_dev *dev)
                 * SRIOV inactive scheme
                 * any DCB w/o VMDq multi-queue setting
                 */
-               mtqc = IXGBE_MTQC_64Q_1PB;
+               if (dev->data->dev_conf.txmode.mq_mode == ETH_MQ_TX_VMDQ_ONLY)
+                       ixgbe_vmdq_tx_hw_configure(hw);
+               else {
+                       mtqc = IXGBE_MTQC_64Q_1PB;
+                       IXGBE_WRITE_REG(hw, IXGBE_MTQC, mtqc);
+               }
        } else {
                switch (RTE_ETH_DEV_SRIOV(dev).active) {
 
@@ -3170,9 +3308,8 @@ ixgbe_dev_mq_tx_configure(struct rte_eth_dev *dev)
                        mtqc = IXGBE_MTQC_64Q_1PB;
                        RTE_LOG(ERR, PMD, "invalid pool number in IOV mode\n");
                }
+               IXGBE_WRITE_REG(hw, IXGBE_MTQC, mtqc);
        }
-       
-       IXGBE_WRITE_REG(hw, IXGBE_MTQC, mtqc);
 
        /* re-enable arbiter */
        rttdcs &= ~IXGBE_RTTDCS_ARBDIS;
@@ -3201,7 +3338,7 @@ ixgbe_dev_rx_init(struct rte_eth_dev *dev)
        uint16_t buf_size;
        uint16_t i;
        int ret;
-
+       
        PMD_INIT_FUNC_TRACE();
        hw = IXGBE_DEV_PRIVATE_TO_HW(dev->data->dev_private);
 
@@ -3350,7 +3487,7 @@ ixgbe_dev_rx_init(struct rte_eth_dev *dev)
                rdrxctl &= ~IXGBE_RDRXCTL_RSCFRSTSIZE;
                IXGBE_WRITE_REG(hw, IXGBE_RDRXCTL, rdrxctl);
        }
-
+       
        return 0;
 }