net/mlx5: fix partial inline of fine grain packets
[dpdk.git] / doc / guides / linux_gsg / build_dpdk.rst
index eadade2..0b08492 100644 (file)
@@ -1,45 +1,13 @@
-..  BSD LICENSE
-    Copyright(c) 2010-2015 Intel Corporation. All rights reserved.
-    All rights reserved.
-
-    Redistribution and use in source and binary forms, with or without
-    modification, are permitted provided that the following conditions
-    are met:
-
-    * Redistributions of source code must retain the above copyright
-    notice, this list of conditions and the following disclaimer.
-    * Redistributions in binary form must reproduce the above copyright
-    notice, this list of conditions and the following disclaimer in
-    the documentation and/or other materials provided with the
-    distribution.
-    * Neither the name of Intel Corporation nor the names of its
-    contributors may be used to endorse or promote products derived
-    from this software without specific prior written permission.
-
-    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
-    "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
-    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
-    A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
-    OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
-    SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
-    LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
-    DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
-    THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
-    (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
-    OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
+..  SPDX-License-Identifier: BSD-3-Clause
+    Copyright(c) 2010-2015 Intel Corporation.
 
 .. _linux_gsg_compiling_dpdk:
 
 Compiling the DPDK Target from Source
 =====================================
 
-.. note::
-
-    Parts of this process can also be done using the setup script described in
-    the :ref:`linux_setup_script` section of this document.
-
-Install the DPDK and Browse Sources
------------------------------------
+Uncompress DPDK and Browse Sources
+----------------------------------
 
 First, uncompress the archive and move to the uncompressed DPDK source directory:
 
@@ -58,215 +26,185 @@ The DPDK is composed of several directories:
 
 *   examples: Source code of DPDK application examples
 
-*   config, buildtools, mk: Framework-related makefiles, scripts and configuration
-
-Installation of DPDK Target Environments
-----------------------------------------
-
-The format of a DPDK target is::
+*   config, buildtools: Framework-related scripts and configuration
 
-    ARCH-MACHINE-EXECENV-TOOLCHAIN
+Compiling and Installing DPDK System-wide
+-----------------------------------------
 
-where:
+DPDK can be configured, built and installed on your system using the tools
+``meson`` and ``ninja``.
 
-* ``ARCH`` can be:  ``i686``, ``x86_64``, ``ppc_64``
 
-* ``MACHINE`` can be:  ``native``, ``power8``
+DPDK Configuration
+~~~~~~~~~~~~~~~~~~
 
-* ``EXECENV`` can be:  ``linuxapp``,  ``bsdapp``
-
-* ``TOOLCHAIN`` can be:  ``gcc``,  ``icc``
-
-The targets to be installed depend on the 32-bit and/or 64-bit packages and compilers installed on the host.
-Available targets can be found in the DPDK/config directory.
-The defconfig\_ prefix should not be used.
-
-.. note::
-
-    Configuration files are provided with the ``RTE_MACHINE`` optimization level set.
-    Within the configuration files, the ``RTE_MACHINE`` configuration value is set to native,
-    which means that the compiled software is tuned for the platform on which it is built.
-    For more information on this setting, and its possible values, see the *DPDK Programmers Guide*.
-
-When using the IntelĀ® C++ Compiler (icc), one of the following commands should be invoked for 64-bit or 32-bit use respectively.
-Notice that the shell scripts update the ``$PATH`` variable and therefore should not be performed in the same session.
-Also, verify the compiler's installation directory since the path may be different:
-
-.. code-block:: console
-
-    source /opt/intel/bin/iccvars.sh intel64
-    source /opt/intel/bin/iccvars.sh ia32
-
-To install and make targets, use the ``make install T=<target>`` command in the top-level DPDK directory.
-
-For example, to compile a 64-bit target using icc, run:
+To configure a DPDK build use:
 
 .. code-block:: console
 
-    make install T=x86_64-native-linuxapp-icc
-
-To compile a 32-bit build using gcc, the make command should be:
+     meson <options> build
 
-.. code-block:: console
-
-    make install T=i686-native-linuxapp-gcc
+where "build" is the desired output build directory, and "<options>" can be
+empty or one of a number of meson or DPDK-specific build options, described
+later in this section. The configuration process will finish with a summary
+of what DPDK libraries and drivers are to be built and installed, and for
+each item disabled, a reason why that is the case. This information can be
+used, for example, to identify any missing required packages for a driver.
 
-To prepare a target without building it, for example, if the configuration changes need to be made before compilation,
-use the ``make config T=<target>`` command:
+Once configured, to build and then install DPDK system-wide use:
 
 .. code-block:: console
 
-    make config T=x86_64-native-linuxapp-gcc
+        cd build
+        ninja
+        ninja install
+        ldconfig
 
-.. warning::
+The last two commands above generally need to be run as root,
+with the `ninja install` step copying the built objects to their final system-wide locations,
+and the last step causing the dynamic loader `ld.so` to update its cache to take account of the new objects.
 
-    Any kernel modules to be used, e.g. ``igb_uio``, ``kni``, must be compiled with the
-    same kernel as the one running on the target.
-    If the DPDK is not being built on the target machine,
-    the ``RTE_KERNELDIR`` environment variable should be used to point the compilation at a copy of the kernel version to be used on the target machine.
+.. note::
 
-Once the target environment is created, the user may move to the target environment directory and continue to make code changes and re-compile.
-The user may also make modifications to the compile-time DPDK configuration by editing the .config file in the build directory.
-(This is a build-local copy of the defconfig file from the top- level config directory).
+   On some linux distributions, such as Fedora or Redhat, paths in `/usr/local` are
+   not in the default paths for the loader. Therefore, on these
+   distributions, `/usr/local/lib` and `/usr/local/lib64` should be added
+   to a file in `/etc/ld.so.conf.d/` before running `ldconfig`.
 
-.. code-block:: console
+.. _adjusting_build_options:
 
-    cd x86_64-native-linuxapp-gcc
-    vi .config
-    make
+Adjusting Build Options
+~~~~~~~~~~~~~~~~~~~~~~~
 
-In addition, the make clean command can be used to remove any existing compiled files for a subsequent full, clean rebuild of the code.
+DPDK has a number of options that can be adjusted as part of the build configuration process.
+These options can be listed by running ``meson configure`` inside a configured build folder.
+Many of these options come from the "meson" tool itself and can be seen documented on the
+`Meson Website <https://mesonbuild.com/Builtin-options.html>`_.
 
-Browsing the Installed DPDK Environment Target
-----------------------------------------------
+For example, to change the build-type from the default, "debugoptimized",
+to a regular "debug" build, you can either:
 
-Once a target is created it contains all libraries, including poll-mode drivers, and header files for the DPDK environment that are required to build customer applications.
-In addition, the test and testpmd applications are built under the build/app directory, which may be used for testing.
-A kmod  directory is also present that contains kernel modules which may be loaded if needed.
+* pass ``-Dbuildtype=debug`` or ``--buildtype=debug`` to meson when configuring the build folder initially
 
-Loading Modules to Enable Userspace IO for DPDK
------------------------------------------------
+* run ``meson configure -Dbuildtype=debug`` inside the build folder after the initial meson run.
 
-To run any DPDK application, a suitable uio module can be loaded into the running kernel.
-In many cases, the standard ``uio_pci_generic`` module included in the Linux kernel
-can provide the uio capability. This module can be loaded using the command
+Other options are specific to the DPDK project but can be adjusted similarly.
+The "platform" option specifies a set a configuration parameters that will be used.
+The valid values are:
 
-.. code-block:: console
+* ``-Dplatform=native`` will tailor the configuration to the build machine.
 
-    sudo modprobe uio_pci_generic
+* ``-Dplatform=generic`` will use configuration that works on all machines
+  of the same architecture as the build machine.
 
-As an alternative to the ``uio_pci_generic``, the DPDK also includes the igb_uio
-module which can be found in the kmod subdirectory referred to above. It can
-be loaded as shown below:
+* ``-Dplatform=<SoC>`` will use configuration optimized for a particular SoC.
+  Consult the "socs" dictionary in ``config/arm/meson.build`` to see which
+  SoCs are supported.
 
-.. code-block:: console
+The instruction set will be set automatically by default according to these rules:
 
-    sudo modprobe uio
-    sudo insmod kmod/igb_uio.ko
+* ``-Dplatform=native`` sets ``cpu_instruction_set`` to ``native``,
+  which configures ``-march`` (x86_64), ``-mcpu`` (ppc), ``-mtune`` (ppc) to ``native``.
 
-.. note::
+* ``-Dplatform=generic`` sets ``cpu_instruction_set`` to ``generic``,
+  which configures ``-march`` (x86_64), ``-mcpu`` (ppc), ``-mtune`` (ppc) to
+  a common minimal baseline needed for DPDK.
 
-    For some devices which lack support for legacy interrupts, e.g. virtual function
-    (VF) devices, the ``igb_uio`` module may be needed in place of ``uio_pci_generic``.
+To override what instruction set will be used, set the ``cpu_instruction_set``
+parameter to the instruction set of your choice (such as ``corei7``, ``power8``, etc.).
 
-Since DPDK release 1.7 onward provides VFIO support, use of UIO is optional
-for platforms that support using VFIO.
+``cpu_instruction_set`` is not used in Arm builds, as setting the instruction set
+without other parameters leads to inferior builds. The way to tailor Arm builds
+is to build for a SoC using ``-Dplatform=<SoC>`` mentioned above.
 
-Loading VFIO Module
--------------------
+The values determined by the ``platform`` parameter may be overwritten.
+For example, to set the ``max_lcores`` value to 256, you can either:
 
-To run an DPDK application and make use of VFIO, the ``vfio-pci`` module must be loaded:
+* pass ``-Dmax_lcores=256`` to meson when configuring the build folder initially
 
-.. code-block:: console
+* run ``meson configure -Dmax_lcores=256`` inside the build folder after the initial meson run.
 
-    sudo modprobe vfio-pci
+Some of the DPDK sample applications in the `examples` directory can be
+automatically built as part of a meson build too.
+To do so, pass a comma-separated list of the examples to build to the
+`-Dexamples` meson option as below::
 
-Note that in order to use VFIO, your kernel must support it.
-VFIO kernel modules have been included in the Linux kernel since version 3.6.0 and are usually present by default,
-however please consult your distributions documentation to make sure that is the case.
+  meson -Dexamples=l2fwd,l3fwd build
 
-Also, to use VFIO, both kernel and BIOS must support and be configured to use IO virtualization (such as IntelĀ® VT-d).
+As with other meson options, this can also be set post-initial-config using `meson configure` in the build directory.
+There is also a special value "all" to request that all example applications whose
+dependencies are met on the current system are built.
+When `-Dexamples=all` is set as a meson option, meson will check each example application to see if it can be built,
+and add all which can be built to the list of tasks in the ninja build configuration file.
 
-For proper operation of VFIO when running DPDK applications as a non-privileged user, correct permissions should also be set up.
-This can be done by using the DPDK setup script (called dpdk-setup.sh and located in the usertools directory).
 
-.. _linux_gsg_binding_kernel:
+Building 32-bit DPDK on 64-bit Systems
+~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
-Binding and Unbinding Network Ports to/from the Kernel Modules
---------------------------------------------------------------
+To build a 32-bit copy of DPDK on a 64-bit OS,
+the ``-m32`` flag should be passed to the compiler and linker
+to force the generation of 32-bit objects and binaries.
+This can be done either by setting ``CFLAGS`` and ``LDFLAGS`` in the environment,
+or by passing the value to meson using ``-Dc_args=-m32`` and ``-Dc_link_args=-m32``.
+For correctly identifying and using any dependency packages,
+the ``pkg-config`` tool must also be configured
+to look in the appropriate directory for .pc files for 32-bit libraries.
+This is done by setting ``PKG_CONFIG_LIBDIR`` to the appropriate path.
 
-As of release 1.4, DPDK applications no longer automatically unbind all supported network ports from the kernel driver in use.
-Instead, all ports that are to be used by an DPDK application must be bound to the
-``uio_pci_generic``, ``igb_uio`` or ``vfio-pci`` module before the application is run.
-Any network ports under Linux* control will be ignored by the DPDK poll-mode drivers and cannot be used by the application.
+The following meson command can be used on RHEL/Fedora systems to configure a 32-bit build,
+assuming the relevant 32-bit development packages, such as a 32-bit libc, are installed::
 
-.. warning::
+  PKG_CONFIG_LIBDIR=/usr/lib/pkgconfig \
+      meson -Dc_args='-m32' -Dc_link_args='-m32' build
 
-    The DPDK will, by default, no longer automatically unbind network ports from the kernel driver at startup.
-    Any ports to be used by an DPDK application must be unbound from Linux* control and
-    bound to the ``uio_pci_generic``, ``igb_uio`` or ``vfio-pci`` module before the application is run.
+For Debian/Ubuntu systems, the equivalent command is::
 
-To bind ports to the ``uio_pci_generic``, ``igb_uio`` or ``vfio-pci`` module for DPDK use,
-and then subsequently return ports to Linux* control,
-a utility script called dpdk_nic _bind.py is provided in the usertools subdirectory.
-This utility can be used to provide a view of the current state of the network ports on the system,
-and to bind and unbind those ports from the different kernel modules, including the uio and vfio modules.
-The following are some examples of how the script can be used.
-A full description of the script and its parameters can be obtained by calling the script with the ``--help`` or ``--usage`` options.
-Note that the uio or vfio kernel modules to be used, should be loaded into the kernel before
-running the ``dpdk-devbind.py`` script.
+  PKG_CONFIG_LIBDIR=/usr/lib/i386-linux-gnu/pkgconfig \
+      meson -Dc_args='-m32' -Dc_link_args='-m32' build
 
-.. warning::
+Once the build directory has been configured,
+DPDK can be compiled using ``ninja`` as described above.
 
-    Due to the way VFIO works, there are certain limitations to which devices can be used with VFIO.
-    Mainly it comes down to how IOMMU groups work.
-    Any Virtual Function device can be used with VFIO on its own, but physical devices will require either all ports bound to VFIO,
-    or some of them bound to VFIO while others not being bound to anything at all.
 
-    If your device is behind a PCI-to-PCI bridge, the bridge will then be part of the IOMMU group in which your device is in.
-    Therefore, the bridge driver should also be unbound from the bridge PCI device for VFIO to work with devices behind the bridge.
+.. _building_app_using_installed_dpdk:
 
-.. warning::
+Building Applications Using Installed DPDK
+~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
-    While any user can run the dpdk-devbind.py script to view the status of the network ports,
-    binding or unbinding network ports requires root privileges.
+When installed system-wide, DPDK provides a pkg-config file ``libdpdk.pc`` for applications to query as part of their build.
+It's recommended that the pkg-config file be used, rather than hard-coding the parameters (cflags/ldflags)
+for DPDK into the application build process.
 
-To see the status of all network ports on the system:
+An example of how to query and use the pkg-config file can be found in the ``Makefile`` of each of the example applications included with DPDK.
+A simplified example snippet is shown below, where the target binary name has been stored in the variable ``$(APP)``
+and the sources for that build are stored in ``$(SRCS-y)``.
 
-.. code-block:: console
+.. code-block:: makefile
 
-    ./usertools/dpdk-devbind.py --status
+        PKGCONF = pkg-config
 
-    Network devices using DPDK-compatible driver
-    ============================================
-    0000:82:00.0 '82599EB 10-GbE NIC' drv=uio_pci_generic unused=ixgbe
-    0000:82:00.1 '82599EB 10-GbE NIC' drv=uio_pci_generic unused=ixgbe
+        CFLAGS += -O3 $(shell $(PKGCONF) --cflags libdpdk)
+        LDFLAGS += $(shell $(PKGCONF) --libs libdpdk)
 
-    Network devices using kernel driver
-    ===================================
-    0000:04:00.0 'I350 1-GbE NIC' if=em0  drv=igb unused=uio_pci_generic *Active*
-    0000:04:00.1 'I350 1-GbE NIC' if=eth1 drv=igb unused=uio_pci_generic
-    0000:04:00.2 'I350 1-GbE NIC' if=eth2 drv=igb unused=uio_pci_generic
-    0000:04:00.3 'I350 1-GbE NIC' if=eth3 drv=igb unused=uio_pci_generic
+        $(APP): $(SRCS-y) Makefile
+                $(CC) $(CFLAGS) $(SRCS-y) -o $@ $(LDFLAGS)
 
-    Other network devices
-    =====================
-    <none>
-
-To bind device ``eth1``,``04:00.1``, to the ``uio_pci_generic`` driver:
-
-.. code-block:: console
-
-    ./usertools/dpdk-devbind.py --bind=uio_pci_generic 04:00.1
-
-or, alternatively,
+.. note::
 
-.. code-block:: console
+   Unlike with the make build system present in older DPDK releases,
+   the meson system is not
+   designed to be used directly from a build directory. Instead it is
+   recommended that it be installed either system-wide or to a known
+   location in the user's home directory. The install location can be set
+   using the `--prefix` meson option (default: `/usr/local`).
 
-    ./usertools/dpdk-devbind.py --bind=uio_pci_generic eth1
+an equivalent build recipe for a simple DPDK application using meson as a
+build system is shown below:
 
-To restore device ``82:00.0`` to its original kernel binding:
+.. code-block:: python
 
-.. code-block:: console
+   project('dpdk-app', 'c')
 
-    ./usertools/dpdk-devbind.py --bind=ixgbe 82:00.0
+   dpdk = dependency('libdpdk')
+   sources = files('main.c')
+   executable('dpdk-app', sources, dependencies: dpdk)