doc/guides/cryptodevs/qat.rst

   1 ..  SPDX-License-Identifier: BSD-3-Clause
   2     Copyright(c) 2015-2016 Intel Corporation.
   3
   4 Intel(R) QuickAssist (QAT) Crypto Poll Mode Driver
   5 ==================================================
   6
   7 QAT documentation consists of three parts:
   8
   9 * Details of the symmetric crypto service below.
  10 * Details of the `compression service <http://doc.dpdk.org/guides/compressdevs/qat_comp.html>`_
  11   in the compressdev drivers section.
  12 * Details of building the common QAT infrastructure and the PMDs to support the
  13   above services. See :ref:`building_qat` below.
  14
  15
  16 Symmetric Crypto Service on QAT
  17 -------------------------------
  18
  19 The QAT crypto PMD provides poll mode crypto driver support for the following
  20 hardware accelerator devices:
  21
  22 * ``Intel QuickAssist Technology DH895xCC``
  23 * ``Intel QuickAssist Technology C62x``
  24 * ``Intel QuickAssist Technology C3xxx``
  25 * ``Intel QuickAssist Technology D15xx``
  26 * ``Intel QuickAssist Technology C4xxx``
  27
  28
  29 Features
  30 ~~~~~~~~
  31
  32 The QAT PMD has support for:
  33
  34 Cipher algorithms:
  35
  36 * ``RTE_CRYPTO_CIPHER_3DES_CBC``
  37 * ``RTE_CRYPTO_CIPHER_3DES_CTR``
  38 * ``RTE_CRYPTO_CIPHER_AES128_CBC``
  39 * ``RTE_CRYPTO_CIPHER_AES192_CBC``
  40 * ``RTE_CRYPTO_CIPHER_AES256_CBC``
  41 * ``RTE_CRYPTO_CIPHER_AES128_CTR``
  42 * ``RTE_CRYPTO_CIPHER_AES192_CTR``
  43 * ``RTE_CRYPTO_CIPHER_AES256_CTR``
  44 * ``RTE_CRYPTO_CIPHER_SNOW3G_UEA2``
  45 * ``RTE_CRYPTO_CIPHER_NULL``
  46 * ``RTE_CRYPTO_CIPHER_KASUMI_F8``
  47 * ``RTE_CRYPTO_CIPHER_DES_CBC``
  48 * ``RTE_CRYPTO_CIPHER_AES_DOCSISBPI``
  49 * ``RTE_CRYPTO_CIPHER_DES_DOCSISBPI``
  50 * ``RTE_CRYPTO_CIPHER_ZUC_EEA3``
  51
  52 Hash algorithms:
  53
  54 * ``RTE_CRYPTO_AUTH_SHA1_HMAC``
  55 * ``RTE_CRYPTO_AUTH_SHA224_HMAC``
  56 * ``RTE_CRYPTO_AUTH_SHA256_HMAC``
  57 * ``RTE_CRYPTO_AUTH_SHA384_HMAC``
  58 * ``RTE_CRYPTO_AUTH_SHA512_HMAC``
  59 * ``RTE_CRYPTO_AUTH_AES_XCBC_MAC``
  60 * ``RTE_CRYPTO_AUTH_SNOW3G_UIA2``
  61 * ``RTE_CRYPTO_AUTH_MD5_HMAC``
  62 * ``RTE_CRYPTO_AUTH_NULL``
  63 * ``RTE_CRYPTO_AUTH_KASUMI_F9``
  64 * ``RTE_CRYPTO_AUTH_AES_GMAC``
  65 * ``RTE_CRYPTO_AUTH_ZUC_EIA3``
  66 * ``RTE_CRYPTO_AUTH_AES_CMAC``
  67
  68 Supported AEAD algorithms:
  69
  70 * ``RTE_CRYPTO_AEAD_AES_GCM``
  71 * ``RTE_CRYPTO_AEAD_AES_CCM``
  72
  73
  74 Limitations
  75 ~~~~~~~~~~~
  76
  77 * Only supports the session-oriented API implementation (session-less APIs are not supported).
  78 * SNOW 3G (UEA2), KASUMI (F8) and ZUC (EEA3) supported only if cipher length and offset fields are byte-multiple.
  79 * SNOW 3G (UIA2) and ZUC (EIA3) supported only if hash length and offset fields are byte-multiple.
  80 * No BSD support as BSD QAT kernel driver not available.
  81 * ZUC EEA3/EIA3 is not supported by dh895xcc devices
  82 * Maximum additional authenticated data (AAD) for GCM is 240 bytes long and must be passed to the device in a buffer rounded up to the nearest block-size multiple (x16) and padded with zeros.
  83 * Queue pairs are not thread-safe (that is, within a single queue pair, RX and TX from different lcores is not supported).
  84
  85 Extra notes on KASUMI F9
  86 ~~~~~~~~~~~~~~~~~~~~~~~~
  87
  88 When using KASUMI F9 authentication algorithm, the input buffer must be
  89 constructed according to the
  90 `3GPP KASUMI specification <http://cryptome.org/3gpp/35201-900.pdf>`_
  91 (section 4.4, page 13). The input buffer has to have COUNT (4 bytes),
  92 FRESH (4 bytes), MESSAGE and DIRECTION (1 bit) concatenated. After the DIRECTION
  93 bit, a single '1' bit is appended, followed by between 0 and 7 '0' bits, so that
  94 the total length of the buffer is multiple of 8 bits. Note that the actual
  95 message can be any length, specified in bits.
  96
  97 Once this buffer is passed this way, when creating the crypto operation,
  98 length of data to authenticate "op.sym.auth.data.length" must be the length
  99 of all the items described above, including the padding at the end.
 100 Also, offset of data to authenticate "op.sym.auth.data.offset"
 101 must be such that points at the start of the COUNT bytes.
 102
 103
 104
 105 .. _building_qat:
 106
 107 Building PMDs on QAT
 108 --------------------
 109
 110 A QAT device can host multiple acceleration services:
 111
 112 * symmetric cryptography
 113 * data compression
 114
 115 These services are provided to DPDK applications via PMDs which register to
 116 implement the corresponding cryptodev and compressdev APIs. The PMDs use
 117 common QAT driver code which manages the QAT PCI device. They also depend on a
 118 QAT kernel driver being installed on the platform, see :ref:`qat_kernel` below.
 119
 120
 121 Configuring and Building the DPDK QAT PMDs
 122 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 123
 124
 125 Further information on configuring, building and installing DPDK is described
 126 `here <http://doc.dpdk.org/guides/linux_gsg/build_dpdk.html>`_.
 127
 128
 129 Quick instructions for QAT cryptodev PMD are as follows:
 130
 131 .. code-block:: console
 132
 133         cd to the top-level DPDK directory
 134         make defconfig
 135         sed -i 's,\(CONFIG_RTE_LIBRTE_PMD_QAT_SYM\)=n,\1=y,' build/.config
 136         make
 137
 138 Quick instructions for QAT compressdev PMD are as follows:
 139
 140 .. code-block:: console
 141
 142         cd to the top-level DPDK directory
 143         make defconfig
 144         make
 145
 146
 147 .. _building_qat_config:
 148
 149 Build Configuration
 150 ~~~~~~~~~~~~~~~~~~~
 151
 152 These are the build configuration options affecting QAT, and their default values:
 153
 154 .. code-block:: console
 155
 156         CONFIG_RTE_LIBRTE_PMD_QAT=y
 157         CONFIG_RTE_LIBRTE_PMD_QAT_SYM=n
 158         CONFIG_RTE_PMD_QAT_MAX_PCI_DEVICES=48
 159         CONFIG_RTE_PMD_QAT_COMP_SGL_MAX_SEGMENTS=16
 160         CONFIG_RTE_PMD_QAT_COMP_IM_BUFFER_SIZE=65536
 161
 162 CONFIG_RTE_LIBRTE_PMD_QAT must be enabled for any QAT PMD to be built.
 163
 164 The QAT cryptodev PMD has an external dependency on libcrypto, so is not
 165 built by default. CONFIG_RTE_LIBRTE_PMD_QAT_SYM should be enabled to build it.
 166
 167 The QAT compressdev PMD has no external dependencies, so needs no configuration
 168 options and is built by default.
 169
 170 The number of VFs per PF varies - see table below. If multiple QAT packages are
 171 installed on a platform then CONFIG_RTE_PMD_QAT_MAX_PCI_DEVICES should be
 172 adjusted to the number of VFs which the QAT common code will need to handle.
 173 Note, there are separate config items for max cryptodevs CONFIG_RTE_CRYPTO_MAX_DEVS
 174 and max compressdevs CONFIG_RTE_COMPRESS_MAX_DEVS, if necessary these should be
 175 adjusted to handle the total of QAT and other devices which the process will use.
 176
 177 QAT allocates internal structures to handle SGLs. For the compression service
 178 CONFIG_RTE_PMD_QAT_COMP_SGL_MAX_SEGMENTS can be changed if more segments are needed.
 179 An extra (max_inflight_ops x 16) bytes per queue_pair will be used for every increment.
 180
 181 QAT compression PMD needs intermediate buffers to support Deflate compression
 182 with Dynamic Huffman encoding. CONFIG_RTE_PMD_QAT_COMP_IM_BUFFER_SIZE
 183 specifies the size of a single buffer, the PMD will allocate a multiple of these,
 184 plus some extra space for associated meta-data. For GEN2 devices, 20 buffers are
 185 allocated while for GEN1 devices, 12 buffers are allocated, plus 1472 bytes overhead.
 186
 187 .. Note::
 188
 189         If the compressed output of a Deflate operation using Dynamic Huffman
 190         Encoding is too big to fit in an intermediate buffer, then the
 191         operation will return RTE_COMP_OP_STATUS_ERROR and an error will be
 192         displayed. Options for the application in this case
 193         are to split the input data into smaller chunks and resubmit
 194         in multiple operations or to configure QAT with
 195         larger intermediate buffers.
 196
 197
 198 Device and driver naming
 199 ~~~~~~~~~~~~~~~~~~~~~~~~
 200
 201 * The qat cryptodev driver name is "crypto_qat".
 202   The "rte_cryptodev_devices_get()" returns the devices exposed by this driver.
 203
 204 * Each qat crypto device has a unique name, in format
 205   "<pci bdf>_<service>", e.g. "0000:41:01.0_qat_sym".
 206   This name can be passed to "rte_cryptodev_get_dev_id()" to get the device_id.
 207
 208 .. Note::
 209
 210         The qat crypto driver name is passed to the dpdk-test-crypto-perf tool in the "-devtype" parameter.
 211
 212         The qat crypto device name is in the format of the slave parameter passed to the crypto scheduler.
 213
 214 * The qat compressdev driver name is "compress_qat".
 215   The rte_compressdev_devices_get() returns the devices exposed by this driver.
 216
 217 * Each qat compression device has a unique name, in format
 218   <pci bdf>_<service>, e.g. "0000:41:01.0_qat_comp".
 219   This name can be passed to rte_compressdev_get_dev_id() to get the device_id.
 220
 221 .. _qat_kernel:
 222
 223 Dependency on the QAT kernel driver
 224 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 225
 226 To use QAT an SRIOV-enabled QAT kernel driver is required. The VF
 227 devices created and initialised by this driver will be used by the QAT PMDs.
 228
 229 Instructions for installation are below, but first an explanation of the
 230 relationships between the PF/VF devices and the PMDs visible to
 231 DPDK applications.
 232
 233 Each QuickAssist PF device exposes a number of VF devices. Each VF device can
 234 enable one cryptodev PMD and/or one compressdev PMD.
 235 These QAT PMDs share the same underlying device and pci-mgmt code, but are
 236 enumerated independently on their respective APIs and appear as independent
 237 devices to applications.
 238
 239 .. Note::
 240
 241    Each VF can only be used by one DPDK process. It is not possible to share
 242    the same VF across multiple processes, even if these processes are using
 243    different acceleration services.
 244
 245    Conversely one DPDK process can use one or more QAT VFs and can expose both
 246    cryptodev and compressdev instances on each of those VFs.
 247
 248
 249 Available kernel drivers
 250 ~~~~~~~~~~~~~~~~~~~~~~~~
 251
 252 Kernel drivers for each device are listed in the following table. Scroll right
 253 to check that the driver and device supports the service you require.
 254
 255
 256 .. _table_qat_pmds_drivers:
 257
 258 .. table:: QAT device generations, devices and drivers
 259
 260    +-----+----------+---------------+---------------+------------+--------+------+--------+--------+-----------+-------------+
 261    | Gen | Device   | Driver/ver    | Kernel Module | Pci Driver | PF Did | #PFs | VF Did | VFs/PF | cryptodev | compressdev |
 262    +=====+==========+===============+===============+============+========+======+========+========+===========+=============+
 263    | 1   | DH895xCC | linux/4.4+    | qat_dh895xcc  | dh895xcc   | 435    | 1    | 443    | 32     | Yes       | No          |
 264    +-----+----------+---------------+---------------+------------+--------+------+--------+--------+-----------+-------------+
 265    | "   | "        | 01.org/4.2.0+ | "             | "          | "      | "    | "      | "      | Yes       | No          |
 266    +-----+----------+---------------+---------------+------------+--------+------+--------+--------+-----------+-------------+
 267    | 2   | C62x     | linux/4.5+    | qat_c62x      | c6xx       | 37c8   | 3    | 37c9   | 16     | Yes       | No          |
 268    +-----+----------+---------------+---------------+------------+--------+------+--------+--------+-----------+-------------+
 269    | "   | "        | 01.org/4.2.0+ | "             | "          | "      | "    | "      | "      | Yes       | Yes         |
 270    +-----+----------+---------------+---------------+------------+--------+------+--------+--------+-----------+-------------+
 271    | 2   | C3xxx    | linux/4.5+    | qat_c3xxx     | c3xxx      | 19e2   | 1    | 19e3   | 16     | Yes       | No          |
 272    +-----+----------+---------------+---------------+------------+--------+------+--------+--------+-----------+-------------+
 273    | "   | "        | 01.org/4.2.0+ | "             | "          | "      | "    | "      | "      | Yes       | Yes         |
 274    +-----+----------+---------------+---------------+------------+--------+------+--------+--------+-----------+-------------+
 275    | 2   | D15xx    | p             | qat_d15xx     | d15xx      | 6f54   | 1    | 6f55   | 16     | Yes       | No          |
 276    +-----+----------+---------------+---------------+------------+--------+------+--------+--------+-----------+-------------+
 277    | 3   | C4xxx    | p             | qat_c4xxx     | c4xxx      | 18a0   | 1    | 18a1   | 128    | Yes       | No          |
 278    +-----+----------+---------------+---------------+------------+--------+------+--------+--------+-----------+-------------+
 279
 280
 281 The ``Driver`` column indicates either the Linux kernel version in which
 282 support for this device was introduced or a driver available on Intel's 01.org
 283 website. There are both linux and 01.org kernel drivers available for some
 284 devices. p = release pending.
 285
 286 If you are running on a kernel which includes a driver for your device, see
 287 `Installation using kernel.org driver`_ below. Otherwise see
 288 `Installation using 01.org QAT driver`_.
 289
 290
 291 Installation using kernel.org driver
 292 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 293
 294 The examples below are based on the C62x device, if you have a different device
 295 use the corresponding values in the above table.
 296
 297 In BIOS ensure that SRIOV is enabled and either:
 298
 299 * Disable VT-d or
 300 * Enable VT-d and set ``"intel_iommu=on iommu=pt"`` in the grub file.
 301
 302 Check that the QAT driver is loaded on your system, by executing::
 303
 304     lsmod | grep qa
 305
 306 You should see the kernel module for your device listed, e.g.::
 307
 308     qat_c62x               5626  0
 309     intel_qat              82336  1 qat_c62x
 310
 311 Next, you need to expose the Virtual Functions (VFs) using the sysfs file system.
 312
 313 First find the BDFs (Bus-Device-Function) of the physical functions (PFs) of
 314 your device, e.g.::
 315
 316     lspci -d:37c8
 317
 318 You should see output similar to::
 319
 320     1a:00.0 Co-processor: Intel Corporation Device 37c8
 321     3d:00.0 Co-processor: Intel Corporation Device 37c8
 322     3f:00.0 Co-processor: Intel Corporation Device 37c8
 323
 324 Enable the VFs for each PF by echoing the number of VFs per PF to the pci driver::
 325
 326      echo 16 > /sys/bus/pci/drivers/c6xx/0000:1a:00.0/sriov_numvfs
 327      echo 16 > /sys/bus/pci/drivers/c6xx/0000:3d:00.0/sriov_numvfs
 328      echo 16 > /sys/bus/pci/drivers/c6xx/0000:3f:00.0/sriov_numvfs
 329
 330 Check that the VFs are available for use. For example ``lspci -d:37c9`` should
 331 list 48 VF devices available for a ``C62x`` device.
 332
 333 To complete the installation follow the instructions in
 334 `Binding the available VFs to the DPDK UIO driver`_.
 335
 336 .. Note::
 337
 338    If the QAT kernel modules are not loaded and you see an error like ``Failed
 339    to load MMP firmware qat_895xcc_mmp.bin`` in kernel logs, this may be as a
 340    result of not using a distribution, but just updating the kernel directly.
 341
 342    Download firmware from the `kernel firmware repo
 343    <http://git.kernel.org/cgit/linux/kernel/git/firmware/linux-firmware.git/tree/>`_.
 344
 345    Copy qat binaries to ``/lib/firmware``::
 346
 347       cp qat_895xcc.bin /lib/firmware
 348       cp qat_895xcc_mmp.bin /lib/firmware
 349
 350    Change to your linux source root directory and start the qat kernel modules::
 351
 352       insmod ./drivers/crypto/qat/qat_common/intel_qat.ko
 353       insmod ./drivers/crypto/qat/qat_dh895xcc/qat_dh895xcc.ko
 354
 355
 356 .. Note::
 357
 358    If you see the following warning in ``/var/log/messages`` it can be ignored:
 359    ``IOMMU should be enabled for SR-IOV to work correctly``.
 360
 361
 362 Installation using 01.org QAT driver
 363 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 364
 365 Download the latest QuickAssist Technology Driver from `01.org
 366 <https://01.org/packet-processing/intel%C2%AE-quickassist-technology-drivers-and-patches>`_.
 367 Consult the *Getting Started Guide* at the same URL for further information.
 368
 369 The steps below assume you are:
 370
 371 * Building on a platform with one ``C62x`` device.
 372 * Using package ``qat1.7.l.4.2.0-000xx.tar.gz``.
 373 * On Fedora26 kernel ``4.11.11-300.fc26.x86_64``.
 374
 375 In the BIOS ensure that SRIOV is enabled and VT-d is disabled.
 376
 377 Uninstall any existing QAT driver, for example by running:
 378
 379 * ``./installer.sh uninstall`` in the directory where originally installed.
 380
 381
 382 Build and install the SRIOV-enabled QAT driver::
 383
 384     mkdir /QAT
 385     cd /QAT
 386
 387     # Copy the package to this location and unpack
 388     tar zxof qat1.7.l.4.2.0-000xx.tar.gz
 389
 390     ./configure --enable-icp-sriov=host
 391     make install
 392
 393 You can use ``cat /sys/kernel/debug/qat<your device type and bdf>/version/fw`` to confirm the driver is correctly installed and is using firmware version 4.2.0.
 394 You can use ``lspci -d:37c9`` to confirm the presence of the 16 VF devices available per ``C62x`` PF.
 395
 396 Confirm the driver is correctly installed and is using firmware version 4.2.0::
 397
 398     cat /sys/kernel/debug/qat<your device type and bdf>/version/fw
 399
 400
 401 Confirm the presence of 48 VF devices - 16 per PF::
 402
 403     lspci -d:37c9
 404
 405
 406 To complete the installation - follow instructions in `Binding the available VFs to the DPDK UIO driver`_.
 407
 408 .. Note::
 409
 410    If using a later kernel and the build fails with an error relating to
 411    ``strict_stroul`` not being available apply the following patch:
 412
 413    .. code-block:: diff
 414
 415       /QAT/QAT1.6/quickassist/utilities/downloader/Target_CoreLibs/uclo/include/linux/uclo_platform.h
 416       + #if LINUX_VERSION_CODE >= KERNEL_VERSION(3,18,5)
 417       + #define STR_TO_64(str, base, num, endPtr) {endPtr=NULL; if (kstrtoul((str), (base), (num))) printk("Error strtoull convert %s\n", str); }
 418       + #else
 419       #if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,38)
 420       #define STR_TO_64(str, base, num, endPtr) {endPtr=NULL; if (strict_strtoull((str), (base), (num))) printk("Error strtoull convert %s\n", str); }
 421       #else
 422       #if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,25)
 423       #define STR_TO_64(str, base, num, endPtr) {endPtr=NULL; strict_strtoll((str), (base), (num));}
 424       #else
 425       #define STR_TO_64(str, base, num, endPtr)                                 \
 426            do {                                                               \
 427                  if (str[0] == '-')                                           \
 428                  {                                                            \
 429                       *(num) = -(simple_strtoull((str+1), &(endPtr), (base))); \
 430                  }else {                                                      \
 431                       *(num) = simple_strtoull((str), &(endPtr), (base));      \
 432                  }                                                            \
 433            } while(0)
 434       + #endif
 435       #endif
 436       #endif
 437
 438
 439 .. Note::
 440
 441    If the build fails due to missing header files you may need to do following::
 442
 443       sudo yum install zlib-devel
 444       sudo yum install openssl-devel
 445       sudo yum install libudev-devel
 446
 447 .. Note::
 448
 449    If the build or install fails due to mismatching kernel sources you may need to do the following::
 450
 451       sudo yum install kernel-headers-`uname -r`
 452       sudo yum install kernel-src-`uname -r`
 453       sudo yum install kernel-devel-`uname -r`
 454
 455
 456 Binding the available VFs to the DPDK UIO driver
 457 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 458
 459 Unbind the VFs from the stock driver so they can be bound to the uio driver.
 460
 461 For an Intel(R) QuickAssist Technology DH895xCC device
 462 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
 463
 464 The unbind command below assumes ``BDFs`` of ``03:01.00-03:04.07``, if your
 465 VFs are different adjust the unbind command below::
 466
 467     for device in $(seq 1 4); do \
 468         for fn in $(seq 0 7); do \
 469             echo -n 0000:03:0${device}.${fn} > \
 470             /sys/bus/pci/devices/0000\:03\:0${device}.${fn}/driver/unbind; \
 471         done; \
 472     done
 473
 474 For an Intel(R) QuickAssist Technology C62x device
 475 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
 476
 477 The unbind command below assumes ``BDFs`` of ``1a:01.00-1a:02.07``,
 478 ``3d:01.00-3d:02.07`` and ``3f:01.00-3f:02.07``, if your VFs are different
 479 adjust the unbind command below::
 480
 481     for device in $(seq 1 2); do \
 482         for fn in $(seq 0 7); do \
 483             echo -n 0000:1a:0${device}.${fn} > \
 484             /sys/bus/pci/devices/0000\:1a\:0${device}.${fn}/driver/unbind; \
 485
 486             echo -n 0000:3d:0${device}.${fn} > \
 487             /sys/bus/pci/devices/0000\:3d\:0${device}.${fn}/driver/unbind; \
 488
 489             echo -n 0000:3f:0${device}.${fn} > \
 490             /sys/bus/pci/devices/0000\:3f\:0${device}.${fn}/driver/unbind; \
 491         done; \
 492     done
 493
 494 For Intel(R) QuickAssist Technology C3xxx or D15xx device
 495 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
 496
 497 The unbind command below assumes ``BDFs`` of ``01:01.00-01:02.07``, if your
 498 VFs are different adjust the unbind command below::
 499
 500     for device in $(seq 1 2); do \
 501         for fn in $(seq 0 7); do \
 502             echo -n 0000:01:0${device}.${fn} > \
 503             /sys/bus/pci/devices/0000\:01\:0${device}.${fn}/driver/unbind; \
 504         done; \
 505     done
 506
 507 Bind to the DPDK uio driver
 508 ^^^^^^^^^^^^^^^^^^^^^^^^^^^
 509
 510 Install the DPDK igb_uio driver, bind the VF PCI Device id to it and use lspci
 511 to confirm the VF devices are now in use by igb_uio kernel driver,
 512 e.g. for the C62x device::
 513
 514     cd to the top-level DPDK directory
 515     modprobe uio
 516     insmod ./build/kmod/igb_uio.ko
 517     echo "8086 37c9" > /sys/bus/pci/drivers/igb_uio/new_id
 518     lspci -vvd:37c9
 519
 520
 521 Another way to bind the VFs to the DPDK UIO driver is by using the
 522 ``dpdk-devbind.py`` script::
 523
 524     cd to the top-level DPDK directory
 525     ./usertools/dpdk-devbind.py -b igb_uio 0000:03:01.1
 526
 527 Testing
 528 ~~~~~~~
 529
 530 QAT crypto PMD can be tested by running the test application::
 531
 532     make defconfig
 533     make -j
 534     cd ./build/app
 535     ./test -l1 -n1 -w <your qat bdf>
 536     RTE>>cryptodev_qat_autotest
 537
 538 QAT compression PMD can be tested by running the test application::
 539
 540     make defconfig
 541     sed -i 's,\(CONFIG_RTE_COMPRESSDEV_TEST\)=n,\1=y,' build/.config
 542     make -j
 543     cd ./build/app
 544     ./test -l1 -n1 -w <your qat bdf>
 545     RTE>>compressdev_autotest
 546
 547
 548 Debugging
 549 ~~~~~~~~~
 550
 551 There are 2 sets of trace available via the dynamic logging feature:
 552
 553 * pmd.qat_dp exposes trace on the data-path.
 554 * pmd.qat_general exposes all other trace.
 555
 556 pmd.qat exposes both sets of traces.
 557 They can be enabled using the log-level option (where 8=maximum log level) on
 558 the process cmdline, e.g. using any of the following::
 559
 560     --log-level="pmd.qat_general,8"
 561     --log-level="pmd.qat_dp,8"
 562     --log-level="pmd.qat,8"
 563
 564 .. Note::
 565
 566     The global RTE_LOG_DP_LEVEL overrides data-path trace so must be set to
 567     RTE_LOG_DEBUG to see all the trace. This variable is in config/rte_config.h
 568     for meson build and config/common_base for gnu make.
 569     Also the dynamic global log level overrides both sets of trace, so e.g. no
 570     QAT trace would display in this case::
 571
 572         --log-level="7" --log-level="pmd.qat_general,8"