doc/guides/howto/pvp_reference_benchmark.rst

   1 ..  SPDX-License-Identifier: BSD-3-Clause
   2     Copyright 2016 Red Hat, Inc.
   3
   4
   5
   6 PVP reference benchmark setup using testpmd
   7 ===========================================
   8
   9 This guide lists the steps required to setup a PVP benchmark using testpmd as
  10 a simple forwarder between NICs and Vhost interfaces. The goal of this setup
  11 is to have a reference PVP benchmark without using external vSwitches (OVS,
  12 VPP, ...) to make it easier to obtain reproducible results and to facilitate
  13 continuous integration testing.
  14
  15 The guide covers two ways of launching the VM, either by directly calling the
  16 QEMU command line, or by relying on libvirt. It has been tested with DPDK
  17 v16.11 using RHEL7 for both host and guest.
  18
  19
  20 Setup overview
  21 --------------
  22
  23 .. _figure_pvp_2nics:
  24
  25 .. figure:: img/pvp_2nics.*
  26
  27    PVP setup using 2 NICs
  28
  29 In this diagram, each red arrow represents one logical core. This use-case
  30 requires 6 dedicated logical cores. A forwarding configuration with a single
  31 NIC is also possible, requiring 3 logical cores.
  32
  33
  34 Host setup
  35 ----------
  36
  37 In this setup, we isolate 6 cores (from CPU2 to CPU7) on the same NUMA
  38 node. Two cores are assigned to the VM vCPUs running testpmd and four are
  39 assigned to testpmd on the host.
  40
  41
  42 Host tuning
  43 ~~~~~~~~~~~
  44
  45 #. On BIOS, disable turbo-boost and hyper-threads.
  46
  47 #. Append these options to Kernel command line:
  48
  49    .. code-block:: console
  50
  51       intel_pstate=disable mce=ignore_ce default_hugepagesz=1G hugepagesz=1G hugepages=6 isolcpus=2-7 rcu_nocbs=2-7 nohz_full=2-7 iommu=pt intel_iommu=on
  52
  53 #. Disable hyper-threads at runtime if necessary or if BIOS is not accessible:
  54
  55    .. code-block:: console
  56
  57       cat /sys/devices/system/cpu/cpu*[0-9]/topology/thread_siblings_list \
  58           | sort | uniq \
  59           | awk -F, '{system("echo 0 > /sys/devices/system/cpu/cpu"$2"/online")}'
  60
  61 #. Disable NMIs:
  62
  63    .. code-block:: console
  64
  65       echo 0 > /proc/sys/kernel/nmi_watchdog
  66
  67 #. Exclude isolated CPUs from the writeback cpumask:
  68
  69    .. code-block:: console
  70
  71       echo ffffff03 > /sys/bus/workqueue/devices/writeback/cpumask
  72
  73 #. Isolate CPUs from IRQs:
  74
  75    .. code-block:: console
  76
  77       clear_mask=0xfc #Isolate CPU2 to CPU7 from IRQs
  78       for i in /proc/irq/*/smp_affinity
  79       do
  80         echo "obase=16;$(( 0x$(cat $i) & ~$clear_mask ))" | bc > $i
  81       done
  82
  83
  84 Qemu build
  85 ~~~~~~~~~~
  86
  87 Build Qemu:
  88
  89     .. code-block:: console
  90
  91        git clone git://git.qemu.org/qemu.git
  92        cd qemu
  93        mkdir bin
  94        cd bin
  95        ../configure --target-list=x86_64-softmmu
  96        make
  97
  98
  99 DPDK build
 100 ~~~~~~~~~~
 101
 102 See :doc:`../linux_gsg/build_dpdk` for details.
 103
 104
 105 Testpmd launch
 106 ~~~~~~~~~~~~~~
 107
 108 #. Assign NICs to DPDK:
 109
 110    .. code-block:: console
 111
 112       modprobe vfio-pci
 113       usertools/dpdk-devbind -b vfio-pci 0000:11:00.0 0000:11:00.1
 114
 115    .. Note::
 116
 117       The Sandy Bridge family seems to have some IOMMU limitations giving poor
 118       performance results. To achieve good performance on these machines
 119       consider using UIO instead.
 120
 121 #. Launch the testpmd application:
 122
 123    .. code-block:: console
 124
 125       <build_dir>/app/dpdk-testpmd -l 0,2,3,4,5 --socket-mem=1024 -n 4 \
 126           --vdev 'net_vhost0,iface=/tmp/vhost-user1' \
 127           --vdev 'net_vhost1,iface=/tmp/vhost-user2' -- \
 128           --portmask=f -i --rxq=1 --txq=1 \
 129           --nb-cores=4 --forward-mode=io
 130
 131    With this command, isolated CPUs 2 to 5 will be used as lcores for PMD threads.
 132
 133 #. In testpmd interactive mode, set the portlist to obtain the correct port
 134    chaining:
 135
 136    .. code-block:: console
 137
 138       set portlist 0,2,1,3
 139       start
 140
 141
 142 VM launch
 143 ~~~~~~~~~
 144
 145 The VM may be launched either by calling QEMU directly, or by using libvirt.
 146
 147 Qemu way
 148 ^^^^^^^^
 149
 150 Launch QEMU with two Virtio-net devices paired to the vhost-user sockets
 151 created by testpmd. Below example uses default Virtio-net options, but options
 152 may be specified, for example to disable mergeable buffers or indirect
 153 descriptors.
 154
 155    .. code-block:: console
 156
 157       <QEMU path>/bin/x86_64-softmmu/qemu-system-x86_64 \
 158           -enable-kvm -cpu host -m 3072 -smp 3 \
 159           -chardev socket,id=char0,path=/tmp/vhost-user1 \
 160           -netdev type=vhost-user,id=mynet1,chardev=char0,vhostforce \
 161           -device virtio-net-pci,netdev=mynet1,mac=52:54:00:02:d9:01,addr=0x10 \
 162           -chardev socket,id=char1,path=/tmp/vhost-user2 \
 163           -netdev type=vhost-user,id=mynet2,chardev=char1,vhostforce \
 164           -device virtio-net-pci,netdev=mynet2,mac=52:54:00:02:d9:02,addr=0x11 \
 165           -object memory-backend-file,id=mem,size=3072M,mem-path=/dev/hugepages,share=on \
 166           -numa node,memdev=mem -mem-prealloc \
 167           -net user,hostfwd=tcp::1002$1-:22 -net nic \
 168           -qmp unix:/tmp/qmp.socket,server,nowait \
 169           -monitor stdio <vm_image>.qcow2
 170
 171 You can use this `qmp-vcpu-pin <https://patchwork.kernel.org/patch/9361617/>`_
 172 script to pin vCPUs.
 173
 174 It can be used as follows, for example to pin 3 vCPUs to CPUs 1, 6 and 7,
 175 where isolated CPUs 6 and 7 will be used as lcores for Virtio PMDs:
 176
 177    .. code-block:: console
 178
 179       export PYTHONPATH=$PYTHONPATH:<QEMU path>/scripts/qmp
 180       ./qmp-vcpu-pin -s /tmp/qmp.socket 1 6 7
 181
 182 Libvirt way
 183 ^^^^^^^^^^^
 184
 185 Some initial steps are required for libvirt to be able to connect to testpmd's
 186 sockets.
 187
 188 First, SELinux policy needs to be set to permissive, since testpmd is
 189 generally run as root (note, as reboot is required):
 190
 191    .. code-block:: console
 192
 193       cat /etc/selinux/config
 194
 195       # This file controls the state of SELinux on the system.
 196       # SELINUX= can take one of these three values:
 197       #     enforcing  - SELinux security policy is enforced.
 198       #     permissive - SELinux prints warnings instead of enforcing.
 199       #     disabled   - No SELinux policy is loaded.
 200       SELINUX=permissive
 201
 202       # SELINUXTYPE= can take one of three two values:
 203       #     targeted - Targeted processes are protected,
 204       #     minimum  - Modification of targeted policy.
 205       #                Only selected processes are protected.
 206       #     mls      - Multi Level Security protection.
 207       SELINUXTYPE=targeted
 208
 209
 210 Also, Qemu needs to be run as root, which has to be specified in
 211 ``/etc/libvirt/qemu.conf``:
 212
 213    .. code-block:: console
 214
 215       user = "root"
 216
 217 Once the domain created, the following snippet is an extract of he most
 218 important information (hugepages, vCPU pinning, Virtio PCI devices):
 219
 220    .. code-block:: xml
 221
 222       <domain type='kvm'>
 223         <memory unit='KiB'>3145728</memory>
 224         <currentMemory unit='KiB'>3145728</currentMemory>
 225         <memoryBacking>
 226           <hugepages>
 227             <page size='1048576' unit='KiB' nodeset='0'/>
 228           </hugepages>
 229           <locked/>
 230         </memoryBacking>
 231         <vcpu placement='static'>3</vcpu>
 232         <cputune>
 233           <vcpupin vcpu='0' cpuset='1'/>
 234           <vcpupin vcpu='1' cpuset='6'/>
 235           <vcpupin vcpu='2' cpuset='7'/>
 236           <emulatorpin cpuset='0'/>
 237         </cputune>
 238         <numatune>
 239           <memory mode='strict' nodeset='0'/>
 240         </numatune>
 241         <os>
 242           <type arch='x86_64' machine='pc-i440fx-rhel7.0.0'>hvm</type>
 243           <boot dev='hd'/>
 244         </os>
 245         <cpu mode='host-passthrough'>
 246           <topology sockets='1' cores='3' threads='1'/>
 247           <numa>
 248             <cell id='0' cpus='0-2' memory='3145728' unit='KiB' memAccess='shared'/>
 249           </numa>
 250         </cpu>
 251         <devices>
 252           <interface type='vhostuser'>
 253             <mac address='56:48:4f:53:54:01'/>
 254             <source type='unix' path='/tmp/vhost-user1' mode='client'/>
 255             <model type='virtio'/>
 256             <driver name='vhost' rx_queue_size='256' />
 257             <address type='pci' domain='0x0000' bus='0x00' slot='0x10' function='0x0'/>
 258           </interface>
 259           <interface type='vhostuser'>
 260             <mac address='56:48:4f:53:54:02'/>
 261             <source type='unix' path='/tmp/vhost-user2' mode='client'/>
 262             <model type='virtio'/>
 263             <driver name='vhost' rx_queue_size='256' />
 264             <address type='pci' domain='0x0000' bus='0x00' slot='0x11' function='0x0'/>
 265           </interface>
 266         </devices>
 267       </domain>
 268
 269
 270 Guest setup
 271 -----------
 272
 273
 274 Guest tuning
 275 ~~~~~~~~~~~~
 276
 277 #. Append these options to the Kernel command line:
 278
 279    .. code-block:: console
 280
 281       default_hugepagesz=1G hugepagesz=1G hugepages=1 intel_iommu=on iommu=pt isolcpus=1,2 rcu_nocbs=1,2 nohz_full=1,2
 282
 283 #. Disable NMIs:
 284
 285    .. code-block:: console
 286
 287       echo 0 > /proc/sys/kernel/nmi_watchdog
 288
 289 #. Exclude isolated CPU1 and CPU2 from the writeback cpumask:
 290
 291    .. code-block:: console
 292
 293       echo 1 > /sys/bus/workqueue/devices/writeback/cpumask
 294
 295 #. Isolate CPUs from IRQs:
 296
 297    .. code-block:: console
 298
 299       clear_mask=0x6 #Isolate CPU1 and CPU2 from IRQs
 300       for i in /proc/irq/*/smp_affinity
 301       do
 302         echo "obase=16;$(( 0x$(cat $i) & ~$clear_mask ))" | bc > $i
 303       done
 304
 305
 306 DPDK build
 307 ~~~~~~~~~~
 308
 309 See :doc:`../linux_gsg/build_dpdk` for details.
 310
 311
 312 Testpmd launch
 313 ~~~~~~~~~~~~~~
 314
 315 Probe vfio module without iommu:
 316
 317    .. code-block:: console
 318
 319       modprobe -r vfio_iommu_type1
 320       modprobe -r vfio
 321       modprobe  vfio enable_unsafe_noiommu_mode=1
 322       cat /sys/module/vfio/parameters/enable_unsafe_noiommu_mode
 323       modprobe vfio-pci
 324
 325 Bind the virtio-net devices to DPDK:
 326
 327    .. code-block:: console
 328
 329       usertools/dpdk-devbind.py -b vfio-pci 0000:00:10.0 0000:00:11.0
 330
 331 Start testpmd:
 332
 333    .. code-block:: console
 334
 335       <build_dir>/app/dpdk-testpmd -l 0,1,2 --socket-mem 1024 -n 4 \
 336           --proc-type auto --file-prefix pg -- \
 337           --portmask=3 --forward-mode=macswap --port-topology=chained \
 338           --disable-rss -i --rxq=1 --txq=1 \
 339           --rxd=256 --txd=256 --nb-cores=2 --auto-start
 340
 341 Results template
 342 ----------------
 343
 344 Below template should be used when sharing results:
 345
 346    .. code-block:: none
 347
 348       Traffic Generator: <Test equipment (e.g. IXIA, Moongen, ...)>
 349       Acceptable Loss: <n>%
 350       Validation run time: <n>min
 351       Host DPDK version/commit: <version, SHA-1>
 352       Guest DPDK version/commit: <version, SHA-1>
 353       Patches applied: <link to patchwork>
 354       QEMU version/commit: <version>
 355       Virtio features: <features (e.g. mrg_rxbuf='off', leave empty if default)>
 356       CPU: <CPU model>, <CPU frequency>
 357       NIC: <NIC model>
 358       Result: <n> Mpps