doc/guides/nics/mlx4.rst

   1 ..  BSD LICENSE
   2     Copyright 2012 6WIND S.A.
   3     Copyright 2015 Mellanox
   4
   5     Redistribution and use in source and binary forms, with or without
   6     modification, are permitted provided that the following conditions
   7     are met:
   8
   9     * Redistributions of source code must retain the above copyright
  10     notice, this list of conditions and the following disclaimer.
  11     * Redistributions in binary form must reproduce the above copyright
  12     notice, this list of conditions and the following disclaimer in
  13     the documentation and/or other materials provided with the
  14     distribution.
  15     * Neither the name of 6WIND S.A. nor the names of its
  16     contributors may be used to endorse or promote products derived
  17     from this software without specific prior written permission.
  18
  19     THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  20     "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  21     LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  22     A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  23     OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  24     SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  25     LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  26     DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  27     THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  28     (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  29     OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  30
  31 MLX4 poll mode driver library
  32 =============================
  33
  34 The MLX4 poll mode driver library (**librte_pmd_mlx4**) implements support
  35 for **Mellanox ConnectX-3** and **Mellanox ConnectX-3 Pro** 10/40 Gbps adapters
  36 as well as their virtual functions (VF) in SR-IOV context.
  37
  38 Information and documentation about this family of adapters can be found on
  39 the `Mellanox website <http://www.mellanox.com>`_. Help is also provided by
  40 the `Mellanox community <http://community.mellanox.com/welcome>`_.
  41
  42 There is also a `section dedicated to this poll mode driver
  43 <http://www.mellanox.com/page/products_dyn?product_family=209&mtag=pmd_for_dpdk>`_.
  44
  45 .. note::
  46
  47    Due to external dependencies, this driver is disabled by default. It must
  48    be enabled manually by setting ``CONFIG_RTE_LIBRTE_MLX4_PMD=y`` and
  49    recompiling DPDK.
  50
  51 Implementation details
  52 ----------------------
  53
  54 Most Mellanox ConnectX-3 devices provide two ports but expose a single PCI
  55 bus address, thus unlike most drivers, librte_pmd_mlx4 registers itself as a
  56 PCI driver that allocates one Ethernet device per detected port.
  57
  58 For this reason, one cannot white/blacklist a single port without also
  59 white/blacklisting the others on the same device.
  60
  61 Besides its dependency on libibverbs (that implies libmlx4 and associated
  62 kernel support), librte_pmd_mlx4 relies heavily on system calls for control
  63 operations such as querying/updating the MTU and flow control parameters.
  64
  65 For security reasons and robustness, this driver only deals with virtual
  66 memory addresses. The way resources allocations are handled by the kernel
  67 combined with hardware specifications that allow it to handle virtual memory
  68 addresses directly ensure that DPDK applications cannot access random
  69 physical memory (or memory that does not belong to the current process).
  70
  71 This capability allows the PMD to coexist with kernel network interfaces
  72 which remain functional, although they stop receiving unicast packets as
  73 long as they share the same MAC address.
  74
  75 Compiling librte_pmd_mlx4 causes DPDK to be linked against libibverbs.
  76
  77 Configuration
  78 -------------
  79
  80 Compilation options
  81 ~~~~~~~~~~~~~~~~~~~
  82
  83 These options can be modified in the ``.config`` file.
  84
  85 - ``CONFIG_RTE_LIBRTE_MLX4_PMD`` (default **n**)
  86
  87   Toggle compilation of librte_pmd_mlx4 itself.
  88
  89 - ``CONFIG_RTE_LIBRTE_MLX4_DEBUG`` (default **n**)
  90
  91   Toggle debugging code and stricter compilation flags. Enabling this option
  92   adds additional run-time checks and debugging messages at the cost of
  93   lower performance.
  94
  95 - ``CONFIG_RTE_LIBRTE_MLX4_DEBUG_BROKEN_VERBS`` (default **n**)
  96
  97   Mellanox OFED versions earlier than 4.2 may return false errors from
  98   Verbs object destruction APIs after the device is plugged out.
  99   Enabling this option replaces assertion checks that cause the program
 100   to abort with harmless debugging messages as a workaround.
 101   Relevant only when CONFIG_RTE_LIBRTE_MLX4_DEBUG is enabled.
 102
 103 - ``CONFIG_RTE_LIBRTE_MLX4_TX_MP_CACHE`` (default **8**)
 104
 105   Maximum number of cached memory pools (MPs) per TX queue. Each MP from
 106   which buffers are to be transmitted must be associated to memory regions
 107   (MRs). This is a slow operation that must be cached.
 108
 109   This value is always 1 for RX queues since they use a single MP.
 110
 111 Run-time configuration
 112 ~~~~~~~~~~~~~~~~~~~~~~
 113
 114 - librte_pmd_mlx4 brings kernel network interfaces up during initialization
 115   because it is affected by their state. Forcing them down prevents packets
 116   reception.
 117
 118 - **ethtool** operations on related kernel interfaces also affect the PMD.
 119
 120 - ``port`` parameter [int]
 121
 122   This parameter provides a physical port to probe and can be specified multiple
 123   times for additional ports. All ports are probed by default if left
 124   unspecified.
 125
 126 Kernel module parameters
 127 ~~~~~~~~~~~~~~~~~~~~~~~~
 128
 129 The **mlx4_core** kernel module has several parameters that affect the
 130 behavior and/or the performance of librte_pmd_mlx4. Some of them are described
 131 below.
 132
 133 - **num_vfs** (integer or triplet, optionally prefixed by device address
 134   strings)
 135
 136   Create the given number of VFs on the specified devices.
 137
 138 - **log_num_mgm_entry_size** (integer)
 139
 140   Device-managed flow steering (DMFS) is required by DPDK applications. It is
 141   enabled by using a negative value, the last four bits of which have a
 142   special meaning.
 143
 144   - **-1**: force device-managed flow steering (DMFS).
 145   - **-7**: configure optimized steering mode to improve performance with the
 146     following limitation: VLAN filtering is not supported with this mode.
 147     This is the recommended mode in case VLAN filter is not needed.
 148
 149 Prerequisites
 150 -------------
 151
 152 This driver relies on external libraries and kernel drivers for resources
 153 allocations and initialization. The following dependencies are not part of
 154 DPDK and must be installed separately:
 155
 156 - **libibverbs** (provided by rdma-core package)
 157
 158   User space verbs framework used by librte_pmd_mlx4. This library provides
 159   a generic interface between the kernel and low-level user space drivers
 160   such as libmlx4.
 161
 162   It allows slow and privileged operations (context initialization, hardware
 163   resources allocations) to be managed by the kernel and fast operations to
 164   never leave user space.
 165
 166 - **libmlx4** (provided by rdma-core package)
 167
 168   Low-level user space driver library for Mellanox ConnectX-3 devices,
 169   it is automatically loaded by libibverbs.
 170
 171   This library basically implements send/receive calls to the hardware
 172   queues.
 173
 174 - **Kernel modules**
 175
 176   They provide the kernel-side verbs API and low level device drivers that
 177   manage actual hardware initialization and resources sharing with user
 178   space processes.
 179
 180   Unlike most other PMDs, these modules must remain loaded and bound to
 181   their devices:
 182
 183   - mlx4_core: hardware driver managing Mellanox ConnectX-3 devices.
 184   - mlx4_en: Ethernet device driver that provides kernel network interfaces.
 185   - mlx4_ib: InifiniBand device driver.
 186   - ib_uverbs: user space driver for verbs (entry point for libibverbs).
 187
 188 - **Firmware update**
 189
 190   Mellanox OFED releases include firmware updates for ConnectX-3 adapters.
 191
 192   Because each release provides new features, these updates must be applied to
 193   match the kernel modules and libraries they come with.
 194
 195 .. note::
 196
 197    Both libraries are BSD and GPL licensed. Linux kernel modules are GPL
 198    licensed.
 199
 200 Depending on system constraints and user preferences either RDMA core library
 201 with a recent enough Linux kernel release (recommended) or Mellanox OFED,
 202 which provides compatibility with older releases.
 203
 204 Current RDMA core package and Linux kernel (recommended)
 205 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 206
 207 - Minimal Linux kernel version: 4.14.
 208 - Minimal RDMA core version: v15 (see `RDMA core installation documentation`_).
 209
 210 .. _`RDMA core installation documentation`: https://raw.githubusercontent.com/linux-rdma/rdma-core/master/README.md
 211
 212 .. _Mellanox_OFED_as_a_fallback:
 213
 214 Mellanox OFED as a fallback
 215 ~~~~~~~~~~~~~~~~~~~~~~~~~~~
 216
 217 - `Mellanox OFED`_ version: **4.2**.
 218 - firmware version: **2.42.5000** and above.
 219
 220 .. _`Mellanox OFED`: http://www.mellanox.com/page/products_dyn?product_family=26&mtag=linux_sw_drivers
 221
 222 .. note::
 223
 224    Several versions of Mellanox OFED are available. Installing the version
 225    this DPDK release was developed and tested against is strongly
 226    recommended. Please check the `prerequisites`_.
 227
 228 Installing Mellanox OFED
 229 ^^^^^^^^^^^^^^^^^^^^^^^^
 230
 231 1. Download latest Mellanox OFED.
 232
 233 2. Install the required libraries and kernel modules either by installing
 234    only the required set, or by installing the entire Mellanox OFED:
 235
 236    For bare metal use:
 237
 238    .. code-block:: console
 239
 240         ./mlnxofedinstall --dpdk --upstream-libs
 241
 242    For SR-IOV hypervisors use:
 243
 244    .. code-block:: console
 245
 246         ./mlnxofedinstall --dpdk --upstream-libs --enable-sriov --hypervisor
 247
 248    For SR-IOV virtual machine use:
 249
 250    .. code-block:: console
 251
 252         ./mlnxofedinstall --dpdk --upstream-libs --guest
 253
 254 3. Verify the firmware is the correct one:
 255
 256    .. code-block:: console
 257
 258         ibv_devinfo
 259
 260 4. Set all ports links to Ethernet, follow instructions on the screen:
 261
 262    .. code-block:: console
 263
 264         connectx_port_config
 265
 266 5. Continue with :ref:`section 2 of the Quick Start Guide <QSG_2>`.
 267
 268 Supported NICs
 269 --------------
 270
 271 * Mellanox(R) ConnectX(R)-3 Pro 40G MCX354A-FCC_Ax (2*40G)
 272
 273 .. _qsg:
 274
 275 Quick Start Guide
 276 -----------------
 277
 278 1. Set all ports links to Ethernet
 279
 280    .. code-block:: console
 281
 282         PCI=<NIC PCI address>
 283         echo eth > "/sys/bus/pci/devices/$PCI/mlx4_port0"
 284         echo eth > "/sys/bus/pci/devices/$PCI/mlx4_port1"
 285
 286    .. note::
 287
 288         If using Mellanox OFED one can permanently set the port link
 289         to Ethernet using connectx_port_config tool provided by it.
 290         :ref:`Mellanox_OFED_as_a_fallback`:
 291
 292 .. _QSG_2:
 293
 294 2. In case of bare metal or hypervisor, configure optimized steering mode
 295    by adding the following line to ``/etc/modprobe.d/mlx4_core.conf``:
 296
 297    .. code-block:: console
 298
 299         options mlx4_core log_num_mgm_entry_size=-7
 300
 301    .. note::
 302
 303         If VLAN filtering is used, set log_num_mgm_entry_size=-1.
 304         Performance degradation can occur on this case.
 305
 306 3. Restart the driver:
 307
 308    .. code-block:: console
 309
 310         /etc/init.d/openibd restart
 311
 312    or:
 313
 314    .. code-block:: console
 315
 316         service openibd restart
 317
 318 4. Compile DPDK and you are ready to go. See instructions on
 319    :ref:`Development Kit Build System <Development_Kit_Build_System>`
 320
 321 Performance tuning
 322 ------------------
 323
 324 1. Verify the optimized steering mode is configured:
 325
 326   .. code-block:: console
 327
 328         cat /sys/module/mlx4_core/parameters/log_num_mgm_entry_size
 329
 330 2. Use the CPU near local NUMA node to which the PCIe adapter is connected,
 331    for better performance. For VMs, verify that the right CPU
 332    and NUMA node are pinned according to the above. Run:
 333
 334    .. code-block:: console
 335
 336         lstopo-no-graphics
 337
 338    to identify the NUMA node to which the PCIe adapter is connected.
 339
 340 3. If more than one adapter is used, and root complex capabilities allow
 341    to put both adapters on the same NUMA node without PCI bandwidth degradation,
 342    it is recommended to locate both adapters on the same NUMA node.
 343    This in order to forward packets from one to the other without
 344    NUMA performance penalty.
 345
 346 4. Disable pause frames:
 347
 348    .. code-block:: console
 349
 350         ethtool -A <netdev> rx off tx off
 351
 352 5. Verify IO non-posted prefetch is disabled by default. This can be checked
 353    via the BIOS configuration. Please contact you server provider for more
 354    information about the settings.
 355
 356 .. note::
 357
 358         On some machines, depends on the machine integrator, it is beneficial
 359         to set the PCI max read request parameter to 1K. This can be
 360         done in the following way:
 361
 362         To query the read request size use:
 363
 364         .. code-block:: console
 365
 366                 setpci -s <NIC PCI address> 68.w
 367
 368         If the output is different than 3XXX, set it by:
 369
 370         .. code-block:: console
 371
 372                 setpci -s <NIC PCI address> 68.w=3XXX
 373
 374         The XXX can be different on different systems. Make sure to configure
 375         according to the setpci output.
 376
 377 Usage example
 378 -------------
 379
 380 This section demonstrates how to launch **testpmd** with Mellanox ConnectX-3
 381 devices managed by librte_pmd_mlx4.
 382
 383 #. Load the kernel modules:
 384
 385    .. code-block:: console
 386
 387       modprobe -a ib_uverbs mlx4_en mlx4_core mlx4_ib
 388
 389    Alternatively if MLNX_OFED is fully installed, the following script can
 390    be run:
 391
 392    .. code-block:: console
 393
 394       /etc/init.d/openibd restart
 395
 396    .. note::
 397
 398       User space I/O kernel modules (uio and igb_uio) are not used and do
 399       not have to be loaded.
 400
 401 #. Make sure Ethernet interfaces are in working order and linked to kernel
 402    verbs. Related sysfs entries should be present:
 403
 404    .. code-block:: console
 405
 406       ls -d /sys/class/net/*/device/infiniband_verbs/uverbs* | cut -d / -f 5
 407
 408    Example output:
 409
 410    .. code-block:: console
 411
 412       eth2
 413       eth3
 414       eth4
 415       eth5
 416
 417 #. Optionally, retrieve their PCI bus addresses for whitelisting:
 418
 419    .. code-block:: console
 420
 421       {
 422           for intf in eth2 eth3 eth4 eth5;
 423           do
 424               (cd "/sys/class/net/${intf}/device/" && pwd -P);
 425           done;
 426       } |
 427       sed -n 's,.*/\(.*\),-w \1,p'
 428
 429    Example output:
 430
 431    .. code-block:: console
 432
 433       -w 0000:83:00.0
 434       -w 0000:83:00.0
 435       -w 0000:84:00.0
 436       -w 0000:84:00.0
 437
 438    .. note::
 439
 440       There are only two distinct PCI bus addresses because the Mellanox
 441       ConnectX-3 adapters installed on this system are dual port.
 442
 443 #. Request huge pages:
 444
 445    .. code-block:: console
 446
 447       echo 1024 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages/nr_hugepages
 448
 449 #. Start testpmd with basic parameters:
 450
 451    .. code-block:: console
 452
 453       testpmd -l 8-15 -n 4 -w 0000:83:00.0 -w 0000:84:00.0 -- --rxq=2 --txq=2 -i
 454
 455    Example output:
 456
 457    .. code-block:: console
 458
 459       [...]
 460       EAL: PCI device 0000:83:00.0 on NUMA socket 1
 461       EAL:   probe driver: 15b3:1007 librte_pmd_mlx4
 462       PMD: librte_pmd_mlx4: PCI information matches, using device "mlx4_0" (VF: false)
 463       PMD: librte_pmd_mlx4: 2 port(s) detected
 464       PMD: librte_pmd_mlx4: port 1 MAC address is 00:02:c9:b5:b7:50
 465       PMD: librte_pmd_mlx4: port 2 MAC address is 00:02:c9:b5:b7:51
 466       EAL: PCI device 0000:84:00.0 on NUMA socket 1
 467       EAL:   probe driver: 15b3:1007 librte_pmd_mlx4
 468       PMD: librte_pmd_mlx4: PCI information matches, using device "mlx4_1" (VF: false)
 469       PMD: librte_pmd_mlx4: 2 port(s) detected
 470       PMD: librte_pmd_mlx4: port 1 MAC address is 00:02:c9:b5:ba:b0
 471       PMD: librte_pmd_mlx4: port 2 MAC address is 00:02:c9:b5:ba:b1
 472       Interactive-mode selected
 473       Configuring Port 0 (socket 0)
 474       PMD: librte_pmd_mlx4: 0x867d60: TX queues number update: 0 -> 2
 475       PMD: librte_pmd_mlx4: 0x867d60: RX queues number update: 0 -> 2
 476       Port 0: 00:02:C9:B5:B7:50
 477       Configuring Port 1 (socket 0)
 478       PMD: librte_pmd_mlx4: 0x867da0: TX queues number update: 0 -> 2
 479       PMD: librte_pmd_mlx4: 0x867da0: RX queues number update: 0 -> 2
 480       Port 1: 00:02:C9:B5:B7:51
 481       Configuring Port 2 (socket 0)
 482       PMD: librte_pmd_mlx4: 0x867de0: TX queues number update: 0 -> 2
 483       PMD: librte_pmd_mlx4: 0x867de0: RX queues number update: 0 -> 2
 484       Port 2: 00:02:C9:B5:BA:B0
 485       Configuring Port 3 (socket 0)
 486       PMD: librte_pmd_mlx4: 0x867e20: TX queues number update: 0 -> 2
 487       PMD: librte_pmd_mlx4: 0x867e20: RX queues number update: 0 -> 2
 488       Port 3: 00:02:C9:B5:BA:B1
 489       Checking link statuses...
 490       Port 0 Link Up - speed 10000 Mbps - full-duplex
 491       Port 1 Link Up - speed 40000 Mbps - full-duplex
 492       Port 2 Link Up - speed 10000 Mbps - full-duplex
 493       Port 3 Link Up - speed 40000 Mbps - full-duplex
 494       Done
 495       testpmd>