doc/guides/nics/mlx5.rst

   1 ..  BSD LICENSE
   2     Copyright 2015 6WIND S.A.
   3     Copyright 2015 Mellanox
   4
   5     Redistribution and use in source and binary forms, with or without
   6     modification, are permitted provided that the following conditions
   7     are met:
   8
   9     * Redistributions of source code must retain the above copyright
  10     notice, this list of conditions and the following disclaimer.
  11     * Redistributions in binary form must reproduce the above copyright
  12     notice, this list of conditions and the following disclaimer in
  13     the documentation and/or other materials provided with the
  14     distribution.
  15     * Neither the name of 6WIND S.A. nor the names of its
  16     contributors may be used to endorse or promote products derived
  17     from this software without specific prior written permission.
  18
  19     THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  20     "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  21     LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  22     A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  23     OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  24     SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  25     LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  26     DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  27     THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  28     (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  29     OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  30
  31 MLX5 poll mode driver
  32 =====================
  33
  34 The MLX5 poll mode driver library (**librte_pmd_mlx5**) provides support
  35 for **Mellanox ConnectX-4**, **Mellanox ConnectX-4 Lx** and **Mellanox
  36 ConnectX-5** families of 10/25/40/50/100 Gb/s adapters as well as their
  37 virtual functions (VF) in SR-IOV context.
  38
  39 Information and documentation about these adapters can be found on the
  40 `Mellanox website <http://www.mellanox.com>`__. Help is also provided by the
  41 `Mellanox community <http://community.mellanox.com/welcome>`__.
  42
  43 There is also a `section dedicated to this poll mode driver
  44 <http://www.mellanox.com/page/products_dyn?product_family=209&mtag=pmd_for_dpdk>`__.
  45
  46 .. note::
  47
  48    Due to external dependencies, this driver is disabled by default. It must
  49    be enabled manually by setting ``CONFIG_RTE_LIBRTE_MLX5_PMD=y`` and
  50    recompiling DPDK.
  51
  52 Implementation details
  53 ----------------------
  54
  55 Besides its dependency on libibverbs (that implies libmlx5 and associated
  56 kernel support), librte_pmd_mlx5 relies heavily on system calls for control
  57 operations such as querying/updating the MTU and flow control parameters.
  58
  59 For security reasons and robustness, this driver only deals with virtual
  60 memory addresses. The way resources allocations are handled by the kernel
  61 combined with hardware specifications that allow it to handle virtual memory
  62 addresses directly ensure that DPDK applications cannot access random
  63 physical memory (or memory that does not belong to the current process).
  64
  65 This capability allows the PMD to coexist with kernel network interfaces
  66 which remain functional, although they stop receiving unicast packets as
  67 long as they share the same MAC address.
  68 This means legacy linux control tools (for example: ethtool, ifconfig and
  69 more) can operate on the same network interfaces that owned by the DPDK
  70 application.
  71
  72 Enabling librte_pmd_mlx5 causes DPDK applications to be linked against
  73 libibverbs.
  74
  75 Features
  76 --------
  77
  78 - Multi arch support: x86_64, POWER8, ARMv8.
  79 - Multiple TX and RX queues.
  80 - Support for scattered TX and RX frames.
  81 - IPv4, IPv6, TCPv4, TCPv6, UDPv4 and UDPv6 RSS on any number of queues.
  82 - Several RSS hash keys, one for each flow type.
  83 - Configurable RETA table.
  84 - Support for multiple MAC addresses.
  85 - VLAN filtering.
  86 - RX VLAN stripping.
  87 - TX VLAN insertion.
  88 - RX CRC stripping configuration.
  89 - Promiscuous mode.
  90 - Multicast promiscuous mode.
  91 - Hardware checksum offloads.
  92 - Flow API.
  93 - Multiple process.
  94 - KVM and VMware ESX SR-IOV modes are supported.
  95 - RSS hash result is supported.
  96 - Hardware TSO.
  97 - Hardware checksum TX offload for VXLAN and GRE.
  98 - RX interrupts.
  99 - Statistics query including Basic, Extended and per queue.
 100
 101 Limitations
 102 -----------
 103
 104 - Inner RSS for VXLAN frames is not supported yet.
 105 - Port statistics through software counters only.
 106 - Hardware checksum RX offloads for VXLAN inner header are not supported yet.
 107 - Forked secondary process not supported.
 108 - Flow pattern without any specific vlan will match for vlan packets as well:
 109
 110   When VLAN spec is not specified in the pattern, the matching rule will be created with VLAN as a wild card.
 111   Meaning, the flow rule::
 112
 113         flow create 0 ingress pattern eth / vlan vid is 3 / ipv4 / end ...
 114
 115   Will only match vlan packets with vid=3. and the flow rules::
 116
 117         flow create 0 ingress pattern eth / ipv4 / end ...
 118
 119   Or::
 120
 121         flow create 0 ingress pattern eth / vlan / ipv4 / end ...
 122
 123   Will match any ipv4 packet (VLAN included).
 124
 125 - A multi segment packet must have less than 6 segments in case the Tx burst function
 126   is set to multi-packet send or Enhanced multi-packet send. Otherwise it must have
 127   less than 50 segments.
 128
 129 Configuration
 130 -------------
 131
 132 Compilation options
 133 ~~~~~~~~~~~~~~~~~~~
 134
 135 These options can be modified in the ``.config`` file.
 136
 137 - ``CONFIG_RTE_LIBRTE_MLX5_PMD`` (default **n**)
 138
 139   Toggle compilation of librte_pmd_mlx5 itself.
 140
 141 - ``CONFIG_RTE_LIBRTE_MLX5_DEBUG`` (default **n**)
 142
 143   Toggle debugging code and stricter compilation flags. Enabling this option
 144   adds additional run-time checks and debugging messages at the cost of
 145   lower performance.
 146
 147 - ``CONFIG_RTE_LIBRTE_MLX5_TX_MP_CACHE`` (default **8**)
 148
 149   Maximum number of cached memory pools (MPs) per TX queue. Each MP from
 150   which buffers are to be transmitted must be associated to memory regions
 151   (MRs). This is a slow operation that must be cached.
 152
 153   This value is always 1 for RX queues since they use a single MP.
 154
 155 Environment variables
 156 ~~~~~~~~~~~~~~~~~~~~~
 157
 158 - ``MLX5_PMD_ENABLE_PADDING``
 159
 160   Enables HW packet padding in PCI bus transactions.
 161
 162   When packet size is cache aligned and CRC stripping is enabled, 4 fewer
 163   bytes are written to the PCI bus. Enabling padding makes such packets
 164   aligned again.
 165
 166   In cases where PCI bandwidth is the bottleneck, padding can improve
 167   performance by 10%.
 168
 169   This is disabled by default since this can also decrease performance for
 170   unaligned packet sizes.
 171
 172 Run-time configuration
 173 ~~~~~~~~~~~~~~~~~~~~~~
 174
 175 - librte_pmd_mlx5 brings kernel network interfaces up during initialization
 176   because it is affected by their state. Forcing them down prevents packets
 177   reception.
 178
 179 - **ethtool** operations on related kernel interfaces also affect the PMD.
 180
 181 - ``rxq_cqe_comp_en`` parameter [int]
 182
 183   A nonzero value enables the compression of CQE on RX side. This feature
 184   allows to save PCI bandwidth and improve performance. Enabled by default.
 185
 186   Supported on:
 187
 188   - x86_64 with ConnectX-4, ConnectX-4 LX and ConnectX-5.
 189   - POWER8 and ARMv8 with ConnectX-4 LX and ConnectX-5.
 190
 191 - ``txq_inline`` parameter [int]
 192
 193   Amount of data to be inlined during TX operations. Improves latency.
 194   Can improve PPS performance when PCI back pressure is detected and may be
 195   useful for scenarios involving heavy traffic on many queues.
 196
 197   Because additional software logic is necessary to handle this mode, this
 198   option should be used with care, as it can lower performance when back
 199   pressure is not expected.
 200
 201 - ``txqs_min_inline`` parameter [int]
 202
 203   Enable inline send only when the number of TX queues is greater or equal
 204   to this value.
 205
 206   This option should be used in combination with ``txq_inline`` above.
 207
 208   On ConnectX-4, ConnectX-4 LX and ConnectX-5 without Enhanced MPW:
 209
 210         - Disabled by default.
 211         - In case ``txq_inline`` is set recommendation is 4.
 212
 213   On ConnectX-5 with Enhanced MPW:
 214
 215         - Set to 8 by default.
 216
 217 - ``txq_mpw_en`` parameter [int]
 218
 219   A nonzero value enables multi-packet send (MPS) for ConnectX-4 Lx and
 220   enhanced multi-packet send (Enhanced MPS) for ConnectX-5. MPS allows the
 221   TX burst function to pack up multiple packets in a single descriptor
 222   session in order to save PCI bandwidth and improve performance at the
 223   cost of a slightly higher CPU usage. When ``txq_inline`` is set along
 224   with ``txq_mpw_en``, TX burst function tries to copy entire packet data
 225   on to TX descriptor instead of including pointer of packet only if there
 226   is enough room remained in the descriptor. ``txq_inline`` sets
 227   per-descriptor space for either pointers or inlined packets. In addition,
 228   Enhanced MPS supports hybrid mode - mixing inlined packets and pointers
 229   in the same descriptor.
 230
 231   This option cannot be used in conjunction with ``tso`` below. When ``tso``
 232   is set, ``txq_mpw_en`` is disabled.
 233
 234   It is currently only supported on the ConnectX-4 Lx and ConnectX-5
 235   families of adapters. Enabled by default.
 236
 237 - ``txq_mpw_hdr_dseg_en`` parameter [int]
 238
 239   A nonzero value enables including two pointers in the first block of TX
 240   descriptor. This can be used to lessen CPU load for memory copy.
 241
 242   Effective only when Enhanced MPS is supported. Disabled by default.
 243
 244 - ``txq_max_inline_len`` parameter [int]
 245
 246   Maximum size of packet to be inlined. This limits the size of packet to
 247   be inlined. If the size of a packet is larger than configured value, the
 248   packet isn't inlined even though there's enough space remained in the
 249   descriptor. Instead, the packet is included with pointer.
 250
 251   Effective only when Enhanced MPS is supported. The default value is 256.
 252
 253 - ``tso`` parameter [int]
 254
 255   A nonzero value enables hardware TSO.
 256   When hardware TSO is enabled, packets marked with TCP segmentation
 257   offload will be divided into segments by the hardware. Disabled by default.
 258
 259 - ``tx_vec_en`` parameter [int]
 260
 261   A nonzero value enables Tx vector on ConnectX-5 only NIC if the number of
 262   global Tx queues on the port is lesser than MLX5_VPMD_MIN_TXQS.
 263
 264   Enabled by default on ConnectX-5.
 265
 266 - ``rx_vec_en`` parameter [int]
 267
 268   A nonzero value enables Rx vector if the port is not configured in
 269   multi-segment otherwise this parameter is ignored.
 270
 271   Enabled by default.
 272
 273 Prerequisites
 274 -------------
 275
 276 This driver relies on external libraries and kernel drivers for resources
 277 allocations and initialization. The following dependencies are not part of
 278 DPDK and must be installed separately:
 279
 280 - **libibverbs**
 281
 282   User space Verbs framework used by librte_pmd_mlx5. This library provides
 283   a generic interface between the kernel and low-level user space drivers
 284   such as libmlx5.
 285
 286   It allows slow and privileged operations (context initialization, hardware
 287   resources allocations) to be managed by the kernel and fast operations to
 288   never leave user space.
 289
 290 - **libmlx5**
 291
 292   Low-level user space driver library for Mellanox ConnectX-4/ConnectX-5
 293   devices, it is automatically loaded by libibverbs.
 294
 295   This library basically implements send/receive calls to the hardware
 296   queues.
 297
 298 - **Kernel modules**
 299
 300   They provide the kernel-side Verbs API and low level device drivers that
 301   manage actual hardware initialization and resources sharing with user
 302   space processes.
 303
 304   Unlike most other PMDs, these modules must remain loaded and bound to
 305   their devices:
 306
 307   - mlx5_core: hardware driver managing Mellanox ConnectX-4/ConnectX-5
 308     devices and related Ethernet kernel network devices.
 309   - mlx5_ib: InifiniBand device driver.
 310   - ib_uverbs: user space driver for Verbs (entry point for libibverbs).
 311
 312 - **Firmware update**
 313
 314   Mellanox OFED releases include firmware updates for ConnectX-4/ConnectX-5
 315   adapters.
 316
 317   Because each release provides new features, these updates must be applied to
 318   match the kernel modules and libraries they come with.
 319
 320 .. note::
 321
 322    Both libraries are BSD and GPL licensed. Linux kernel modules are GPL
 323    licensed.
 324
 325 Installation
 326 ~~~~~~~~~~~~
 327
 328 Either RDMA Core library with a recent enough Linux kernel release
 329 (recommended) or Mellanox OFED, which provides compatibility with older
 330 releases.
 331
 332 RMDA Core with Linux Kernel
 333 ^^^^^^^^^^^^^^^^^^^^^^^^^^^
 334
 335 - Minimal kernel version : 4.13-rc4 (see `Linux installation documentation`_)
 336 - Minimal rdma-core version: v15 (see `RDMA Core installation documentation`_)
 337
 338 .. _`Linux installation documentation`: https://git.kernel.org/pub/scm/linux/kernel/git/stable/linux-stable.git/plain/Documentation/admin-guide/README.rst
 339 .. _`RDMA Core installation documentation`: https://raw.githubusercontent.com/linux-rdma/rdma-core/master/README.md
 340
 341 Mellanox OFED
 342 ^^^^^^^^^^^^^
 343
 344 - Mellanox OFED version: **4.2**.
 345 - firmware version:
 346
 347   - ConnectX-4: **12.20.1010** and above.
 348   - ConnectX-4 Lx: **14.20.1010** and above.
 349   - ConnectX-5: **16.20.1010** and above.
 350   - ConnectX-5 Ex: **16.20.1010** and above.
 351
 352 While these libraries and kernel modules are available on OpenFabrics
 353 Alliance's `website <https://www.openfabrics.org/>`__ and provided by package
 354 managers on most distributions, this PMD requires Ethernet extensions that
 355 may not be supported at the moment (this is a work in progress).
 356
 357 `Mellanox OFED
 358 <http://www.mellanox.com/page/products_dyn?product_family=26&mtag=linux>`__
 359 includes the necessary support and should be used in the meantime. For DPDK,
 360 only libibverbs, libmlx5, mlnx-ofed-kernel packages and firmware updates are
 361 required from that distribution.
 362
 363 .. note::
 364
 365    Several versions of Mellanox OFED are available. Installing the version
 366    this DPDK release was developed and tested against is strongly
 367    recommended. Please check the `prerequisites`_.
 368
 369 Supported NICs
 370 --------------
 371
 372 * Mellanox(R) ConnectX(R)-4 10G MCX4111A-XCAT (1x10G)
 373 * Mellanox(R) ConnectX(R)-4 10G MCX4121A-XCAT (2x10G)
 374 * Mellanox(R) ConnectX(R)-4 25G MCX4111A-ACAT (1x25G)
 375 * Mellanox(R) ConnectX(R)-4 25G MCX4121A-ACAT (2x25G)
 376 * Mellanox(R) ConnectX(R)-4 40G MCX4131A-BCAT (1x40G)
 377 * Mellanox(R) ConnectX(R)-4 40G MCX413A-BCAT (1x40G)
 378 * Mellanox(R) ConnectX(R)-4 40G MCX415A-BCAT (1x40G)
 379 * Mellanox(R) ConnectX(R)-4 50G MCX4131A-GCAT (1x50G)
 380 * Mellanox(R) ConnectX(R)-4 50G MCX413A-GCAT (1x50G)
 381 * Mellanox(R) ConnectX(R)-4 50G MCX414A-BCAT (2x50G)
 382 * Mellanox(R) ConnectX(R)-4 50G MCX415A-GCAT (2x50G)
 383 * Mellanox(R) ConnectX(R)-4 50G MCX416A-BCAT (2x50G)
 384 * Mellanox(R) ConnectX(R)-4 50G MCX416A-GCAT (2x50G)
 385 * Mellanox(R) ConnectX(R)-4 50G MCX415A-CCAT (1x100G)
 386 * Mellanox(R) ConnectX(R)-4 100G MCX416A-CCAT (2x100G)
 387 * Mellanox(R) ConnectX(R)-4 Lx 10G MCX4121A-XCAT (2x10G)
 388 * Mellanox(R) ConnectX(R)-4 Lx 25G MCX4121A-ACAT (2x25G)
 389 * Mellanox(R) ConnectX(R)-5 100G MCX556A-ECAT (2x100G)
 390 * Mellanox(R) ConnectX(R)-5 Ex EN 100G MCX516A-CDAT (2x100G)
 391
 392 Quick Start Guide on OFED
 393 -------------------------
 394
 395 1. Download latest Mellanox OFED. For more info check the  `prerequisites`_.
 396
 397
 398 2. Install the required libraries and kernel modules either by installing
 399    only the required set, or by installing the entire Mellanox OFED:
 400
 401    .. code-block:: console
 402
 403         ./mlnxofedinstall
 404
 405 3. Verify the firmware is the correct one:
 406
 407    .. code-block:: console
 408
 409         ibv_devinfo
 410
 411 4. Verify all ports links are set to Ethernet:
 412
 413    .. code-block:: console
 414
 415         mlxconfig -d <mst device> query | grep LINK_TYPE
 416         LINK_TYPE_P1                        ETH(2)
 417         LINK_TYPE_P2                        ETH(2)
 418
 419    Link types may have to be configured to Ethernet:
 420
 421    .. code-block:: console
 422
 423         mlxconfig -d <mst device> set LINK_TYPE_P1/2=1/2/3
 424
 425         * LINK_TYPE_P1=<1|2|3> , 1=Infiniband 2=Ethernet 3=VPI(auto-sense)
 426
 427    For hypervisors verify SR-IOV is enabled on the NIC:
 428
 429    .. code-block:: console
 430
 431         mlxconfig -d <mst device> query | grep SRIOV_EN
 432         SRIOV_EN                            True(1)
 433
 434    If needed, set enable the set the relevant fields:
 435
 436    .. code-block:: console
 437
 438         mlxconfig -d <mst device> set SRIOV_EN=1 NUM_OF_VFS=16
 439         mlxfwreset -d <mst device> reset
 440
 441 5. Restart the driver:
 442
 443    .. code-block:: console
 444
 445         /etc/init.d/openibd restart
 446
 447    or:
 448
 449    .. code-block:: console
 450
 451         service openibd restart
 452
 453    If link type was changed, firmware must be reset as well:
 454
 455    .. code-block:: console
 456
 457         mlxfwreset -d <mst device> reset
 458
 459    For hypervisors, after reset write the sysfs number of virtual functions
 460    needed for the PF.
 461
 462    To dynamically instantiate a given number of virtual functions (VFs):
 463
 464    .. code-block:: console
 465
 466         echo [num_vfs] > /sys/class/infiniband/mlx5_0/device/sriov_numvfs
 467
 468 6. Compile DPDK and you are ready to go. See instructions on
 469    :ref:`Development Kit Build System <Development_Kit_Build_System>`
 470
 471 Performance tuning
 472 ------------------
 473
 474 1. Configure aggressive CQE Zipping for maximum performance:
 475
 476   .. code-block:: console
 477
 478         mlxconfig -d <mst device> s CQE_COMPRESSION=1
 479
 480   To set it back to the default CQE Zipping mode use:
 481
 482   .. code-block:: console
 483
 484         mlxconfig -d <mst device> s CQE_COMPRESSION=0
 485
 486 2. In case of virtualization:
 487
 488    - Make sure that hypervisor kernel is 3.16 or newer.
 489    - Configure boot with ``iommu=pt``.
 490    - Use 1G huge pages.
 491    - Make sure to allocate a VM on huge pages.
 492    - Make sure to set CPU pinning.
 493
 494 3. Use the CPU near local NUMA node to which the PCIe adapter is connected,
 495    for better performance. For VMs, verify that the right CPU
 496    and NUMA node are pinned according to the above. Run:
 497
 498    .. code-block:: console
 499
 500         lstopo-no-graphics
 501
 502    to identify the NUMA node to which the PCIe adapter is connected.
 503
 504 4. If more than one adapter is used, and root complex capabilities allow
 505    to put both adapters on the same NUMA node without PCI bandwidth degradation,
 506    it is recommended to locate both adapters on the same NUMA node.
 507    This in order to forward packets from one to the other without
 508    NUMA performance penalty.
 509
 510 5. Disable pause frames:
 511
 512    .. code-block:: console
 513
 514         ethtool -A <netdev> rx off tx off
 515
 516 6. Verify IO non-posted prefetch is disabled by default. This can be checked
 517    via the BIOS configuration. Please contact you server provider for more
 518    information about the settings.
 519
 520 .. note::
 521
 522         On some machines, depends on the machine integrator, it is beneficial
 523         to set the PCI max read request parameter to 1K. This can be
 524         done in the following way:
 525
 526         To query the read request size use:
 527
 528         .. code-block:: console
 529
 530                 setpci -s <NIC PCI address> 68.w
 531
 532         If the output is different than 3XXX, set it by:
 533
 534         .. code-block:: console
 535
 536                 setpci -s <NIC PCI address> 68.w=3XXX
 537
 538         The XXX can be different on different systems. Make sure to configure
 539         according to the setpci output.
 540
 541 Notes for testpmd
 542 -----------------
 543
 544 Compared to librte_pmd_mlx4 that implements a single RSS configuration per
 545 port, librte_pmd_mlx5 supports per-protocol RSS configuration.
 546
 547 Since ``testpmd`` defaults to IP RSS mode and there is currently no
 548 command-line parameter to enable additional protocols (UDP and TCP as well
 549 as IP), the following commands must be entered from its CLI to get the same
 550 behavior as librte_pmd_mlx4:
 551
 552 .. code-block:: console
 553
 554    > port stop all
 555    > port config all rss all
 556    > port start all
 557
 558 Usage example
 559 -------------
 560
 561 This section demonstrates how to launch **testpmd** with Mellanox
 562 ConnectX-4/ConnectX-5 devices managed by librte_pmd_mlx5.
 563
 564 #. Load the kernel modules:
 565
 566    .. code-block:: console
 567
 568       modprobe -a ib_uverbs mlx5_core mlx5_ib
 569
 570    Alternatively if MLNX_OFED is fully installed, the following script can
 571    be run:
 572
 573    .. code-block:: console
 574
 575       /etc/init.d/openibd restart
 576
 577    .. note::
 578
 579       User space I/O kernel modules (uio and igb_uio) are not used and do
 580       not have to be loaded.
 581
 582 #. Make sure Ethernet interfaces are in working order and linked to kernel
 583    verbs. Related sysfs entries should be present:
 584
 585    .. code-block:: console
 586
 587       ls -d /sys/class/net/*/device/infiniband_verbs/uverbs* | cut -d / -f 5
 588
 589    Example output:
 590
 591    .. code-block:: console
 592
 593       eth30
 594       eth31
 595       eth32
 596       eth33
 597
 598 #. Optionally, retrieve their PCI bus addresses for whitelisting:
 599
 600    .. code-block:: console
 601
 602       {
 603           for intf in eth2 eth3 eth4 eth5;
 604           do
 605               (cd "/sys/class/net/${intf}/device/" && pwd -P);
 606           done;
 607       } |
 608       sed -n 's,.*/\(.*\),-w \1,p'
 609
 610    Example output:
 611
 612    .. code-block:: console
 613
 614       -w 0000:05:00.1
 615       -w 0000:06:00.0
 616       -w 0000:06:00.1
 617       -w 0000:05:00.0
 618
 619 #. Request huge pages:
 620
 621    .. code-block:: console
 622
 623       echo 1024 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages/nr_hugepages
 624
 625 #. Start testpmd with basic parameters:
 626
 627    .. code-block:: console
 628
 629       testpmd -l 8-15 -n 4 -w 05:00.0 -w 05:00.1 -w 06:00.0 -w 06:00.1 -- --rxq=2 --txq=2 -i
 630
 631    Example output:
 632
 633    .. code-block:: console
 634
 635       [...]
 636       EAL: PCI device 0000:05:00.0 on NUMA socket 0
 637       EAL:   probe driver: 15b3:1013 librte_pmd_mlx5
 638       PMD: librte_pmd_mlx5: PCI information matches, using device "mlx5_0" (VF: false)
 639       PMD: librte_pmd_mlx5: 1 port(s) detected
 640       PMD: librte_pmd_mlx5: port 1 MAC address is e4:1d:2d:e7:0c:fe
 641       EAL: PCI device 0000:05:00.1 on NUMA socket 0
 642       EAL:   probe driver: 15b3:1013 librte_pmd_mlx5
 643       PMD: librte_pmd_mlx5: PCI information matches, using device "mlx5_1" (VF: false)
 644       PMD: librte_pmd_mlx5: 1 port(s) detected
 645       PMD: librte_pmd_mlx5: port 1 MAC address is e4:1d:2d:e7:0c:ff
 646       EAL: PCI device 0000:06:00.0 on NUMA socket 0
 647       EAL:   probe driver: 15b3:1013 librte_pmd_mlx5
 648       PMD: librte_pmd_mlx5: PCI information matches, using device "mlx5_2" (VF: false)
 649       PMD: librte_pmd_mlx5: 1 port(s) detected
 650       PMD: librte_pmd_mlx5: port 1 MAC address is e4:1d:2d:e7:0c:fa
 651       EAL: PCI device 0000:06:00.1 on NUMA socket 0
 652       EAL:   probe driver: 15b3:1013 librte_pmd_mlx5
 653       PMD: librte_pmd_mlx5: PCI information matches, using device "mlx5_3" (VF: false)
 654       PMD: librte_pmd_mlx5: 1 port(s) detected
 655       PMD: librte_pmd_mlx5: port 1 MAC address is e4:1d:2d:e7:0c:fb
 656       Interactive-mode selected
 657       Configuring Port 0 (socket 0)
 658       PMD: librte_pmd_mlx5: 0x8cba80: TX queues number update: 0 -> 2
 659       PMD: librte_pmd_mlx5: 0x8cba80: RX queues number update: 0 -> 2
 660       Port 0: E4:1D:2D:E7:0C:FE
 661       Configuring Port 1 (socket 0)
 662       PMD: librte_pmd_mlx5: 0x8ccac8: TX queues number update: 0 -> 2
 663       PMD: librte_pmd_mlx5: 0x8ccac8: RX queues number update: 0 -> 2
 664       Port 1: E4:1D:2D:E7:0C:FF
 665       Configuring Port 2 (socket 0)
 666       PMD: librte_pmd_mlx5: 0x8cdb10: TX queues number update: 0 -> 2
 667       PMD: librte_pmd_mlx5: 0x8cdb10: RX queues number update: 0 -> 2
 668       Port 2: E4:1D:2D:E7:0C:FA
 669       Configuring Port 3 (socket 0)
 670       PMD: librte_pmd_mlx5: 0x8ceb58: TX queues number update: 0 -> 2
 671       PMD: librte_pmd_mlx5: 0x8ceb58: RX queues number update: 0 -> 2
 672       Port 3: E4:1D:2D:E7:0C:FB
 673       Checking link statuses...
 674       Port 0 Link Up - speed 40000 Mbps - full-duplex
 675       Port 1 Link Up - speed 40000 Mbps - full-duplex
 676       Port 2 Link Up - speed 10000 Mbps - full-duplex
 677       Port 3 Link Up - speed 10000 Mbps - full-duplex
 678       Done
 679       testpmd>