app/testpmd: disable Rx VLAN offloads by default
[dpdk.git] / doc / guides / howto / pvp_reference_benchmark.rst
1 ..  BSD LICENSE
2     Copyright(c) 2016 Red Hat, Inc. All rights reserved.
3     All rights reserved.
4
5     Redistribution and use in source and binary forms, with or without
6     modification, are permitted provided that the following conditions
7     are met:
8
9     * Redistributions of source code must retain the above copyright
10     notice, this list of conditions and the following disclaimer.
11     * Redistributions in binary form must reproduce the above copyright
12     notice, this list of conditions and the following disclaimer in
13     the documentation and/or other materials provided with the
14     distribution.
15     * Neither the name of Intel Corporation nor the names of its
16     contributors may be used to endorse or promote products derived
17     from this software without specific prior written permission.
18
19     THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
20     "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
21     LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
22     A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
23     OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
24     SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
25     LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
26     DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
27     THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
28     (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
29     OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
30
31
32 PVP reference benchmark setup using testpmd
33 ===========================================
34
35 This guide lists the steps required to setup a PVP benchmark using testpmd as
36 a simple forwarder between NICs and Vhost interfaces. The goal of this setup
37 is to have a reference PVP benchmark without using external vSwitches (OVS,
38 VPP, ...) to make it easier to obtain reproducible results and to facilitate
39 continuous integration testing.
40
41 The guide covers two ways of launching the VM, either by directly calling the
42 QEMU command line, or by relying on libvirt. It has been tested with DPDK
43 v16.11 using RHEL7 for both host and guest.
44
45
46 Setup overview
47 --------------
48
49 .. _figure_pvp_2nics:
50
51 .. figure:: img/pvp_2nics.*
52
53    PVP setup using 2 NICs
54
55 In this diagram, each red arrow represents one logical core. This use-case
56 requires 6 dedicated logical cores. A forwarding configuration with a single
57 NIC is also possible, requiring 3 logical cores.
58
59
60 Host setup
61 ----------
62
63 In this setup, we isolate 6 cores (from CPU2 to CPU7) on the same NUMA
64 node. Two cores are assigned to the VM vCPUs running testpmd and four are
65 assigned to testpmd on the host.
66
67
68 Host tuning
69 ~~~~~~~~~~~
70
71 #. On BIOS, disable turbo-boost and hyper-threads.
72
73 #. Append these options to Kernel command line:
74
75    .. code-block:: console
76
77       intel_pstate=disable mce=ignore_ce default_hugepagesz=1G hugepagesz=1G hugepages=6 isolcpus=2-7 rcu_nocbs=2-7 nohz_full=2-7 iommu=pt intel_iommu=on
78
79 #. Disable hyper-threads at runtime if necessary or if BIOS is not accessible:
80
81    .. code-block:: console
82
83       cat /sys/devices/system/cpu/cpu*[0-9]/topology/thread_siblings_list \
84           | sort | uniq \
85           | awk -F, '{system("echo 0 > /sys/devices/system/cpu/cpu"$2"/online")}'
86
87 #. Disable NMIs:
88
89    .. code-block:: console
90
91       echo 0 > /proc/sys/kernel/nmi_watchdog
92
93 #. Exclude isolated CPUs from the writeback cpumask:
94
95    .. code-block:: console
96
97       echo ffffff03 > /sys/bus/workqueue/devices/writeback/cpumask
98
99 #. Isolate CPUs from IRQs:
100
101    .. code-block:: console
102
103       clear_mask=0xfc #Isolate CPU2 to CPU7 from IRQs
104       for i in /proc/irq/*/smp_affinity
105       do
106         echo "obase=16;$(( 0x$(cat $i) & ~$clear_mask ))" | bc > $i
107       done
108
109
110 Qemu build
111 ~~~~~~~~~~
112
113 Build Qemu:
114
115     .. code-block:: console
116
117        git clone git://git.qemu.org/qemu.git
118        cd qemu
119        mkdir bin
120        cd bin
121        ../configure --target-list=x86_64-softmmu
122        make
123
124
125 DPDK build
126 ~~~~~~~~~~
127
128 Build DPDK:
129
130    .. code-block:: console
131
132       git clone git://dpdk.org/dpdk
133       cd dpdk
134       export RTE_SDK=$PWD
135       make install T=x86_64-native-linuxapp-gcc DESTDIR=install
136
137
138 Testpmd launch
139 ~~~~~~~~~~~~~~
140
141 #. Assign NICs to DPDK:
142
143    .. code-block:: console
144
145       modprobe vfio-pci
146       $RTE_SDK/install/sbin/dpdk-devbind -b vfio-pci 0000:11:00.0 0000:11:00.1
147
148    .. Note::
149
150       The Sandy Bridge family seems to have some IOMMU limitations giving poor
151       performance results. To achieve good performance on these machines
152       consider using UIO instead.
153
154 #. Launch the testpmd application:
155
156    .. code-block:: console
157
158       $RTE_SDK/install/bin/testpmd -l 0,2,3,4,5 --socket-mem=1024 -n 4 \
159           --vdev 'net_vhost0,iface=/tmp/vhost-user1' \
160           --vdev 'net_vhost1,iface=/tmp/vhost-user2' -- \
161           --portmask=f -i --rxq=1 --txq=1 \
162           --nb-cores=4 --forward-mode=io
163
164    With this command, isolated CPUs 2 to 5 will be used as lcores for PMD threads.
165
166 #. In testpmd interactive mode, set the portlist to obtain the correct port
167    chaining:
168
169    .. code-block:: console
170
171       set portlist 0,2,1,3
172       start
173
174
175 VM launch
176 ~~~~~~~~~
177
178 The VM may be launched either by calling QEMU directly, or by using libvirt.
179
180 Qemu way
181 ^^^^^^^^
182
183 Launch QEMU with two Virtio-net devices paired to the vhost-user sockets
184 created by testpmd. Below example uses default Virtio-net options, but options
185 may be specified, for example to disable mergeable buffers or indirect
186 descriptors.
187
188    .. code-block:: console
189
190       <QEMU path>/bin/x86_64-softmmu/qemu-system-x86_64 \
191           -enable-kvm -cpu host -m 3072 -smp 3 \
192           -chardev socket,id=char0,path=/tmp/vhost-user1 \
193           -netdev type=vhost-user,id=mynet1,chardev=char0,vhostforce \
194           -device virtio-net-pci,netdev=mynet1,mac=52:54:00:02:d9:01,addr=0x10 \
195           -chardev socket,id=char1,path=/tmp/vhost-user2 \
196           -netdev type=vhost-user,id=mynet2,chardev=char1,vhostforce \
197           -device virtio-net-pci,netdev=mynet2,mac=52:54:00:02:d9:02,addr=0x11 \
198           -object memory-backend-file,id=mem,size=3072M,mem-path=/dev/hugepages,share=on \
199           -numa node,memdev=mem -mem-prealloc \
200           -net user,hostfwd=tcp::1002$1-:22 -net nic \
201           -qmp unix:/tmp/qmp.socket,server,nowait \
202           -monitor stdio <vm_image>.qcow2
203
204 You can use this `qmp-vcpu-pin <https://patchwork.kernel.org/patch/9361617/>`_
205 script to pin vCPUs.
206
207 It can be used as follows, for example to pin 3 vCPUs to CPUs 1, 6 and 7,
208 where isolated CPUs 6 and 7 will be used as lcores for Virtio PMDs:
209
210    .. code-block:: console
211
212       export PYTHONPATH=$PYTHONPATH:<QEMU path>/scripts/qmp
213       ./qmp-vcpu-pin -s /tmp/qmp.socket 1 6 7
214
215 Libvirt way
216 ^^^^^^^^^^^
217
218 Some initial steps are required for libvirt to be able to connect to testpmd's
219 sockets.
220
221 First, SELinux policy needs to be set to permissive, since testpmd is
222 generally run as root (note, as reboot is required):
223
224    .. code-block:: console
225
226       cat /etc/selinux/config
227
228       # This file controls the state of SELinux on the system.
229       # SELINUX= can take one of these three values:
230       #     enforcing  - SELinux security policy is enforced.
231       #     permissive - SELinux prints warnings instead of enforcing.
232       #     disabled   - No SELinux policy is loaded.
233       SELINUX=permissive
234
235       # SELINUXTYPE= can take one of three two values:
236       #     targeted - Targeted processes are protected,
237       #     minimum  - Modification of targeted policy.
238       #                Only selected processes are protected.
239       #     mls      - Multi Level Security protection.
240       SELINUXTYPE=targeted
241
242
243 Also, Qemu needs to be run as root, which has to be specified in
244 ``/etc/libvirt/qemu.conf``:
245
246    .. code-block:: console
247
248       user = "root"
249
250 Once the domain created, the following snippet is an extract of he most
251 important information (hugepages, vCPU pinning, Virtio PCI devices):
252
253    .. code-block:: xml
254
255       <domain type='kvm'>
256         <memory unit='KiB'>3145728</memory>
257         <currentMemory unit='KiB'>3145728</currentMemory>
258         <memoryBacking>
259           <hugepages>
260             <page size='1048576' unit='KiB' nodeset='0'/>
261           </hugepages>
262           <locked/>
263         </memoryBacking>
264         <vcpu placement='static'>3</vcpu>
265         <cputune>
266           <vcpupin vcpu='0' cpuset='1'/>
267           <vcpupin vcpu='1' cpuset='6'/>
268           <vcpupin vcpu='2' cpuset='7'/>
269           <emulatorpin cpuset='0'/>
270         </cputune>
271         <numatune>
272           <memory mode='strict' nodeset='0'/>
273         </numatune>
274         <os>
275           <type arch='x86_64' machine='pc-i440fx-rhel7.0.0'>hvm</type>
276           <boot dev='hd'/>
277         </os>
278         <cpu mode='host-passthrough'>
279           <topology sockets='1' cores='3' threads='1'/>
280           <numa>
281             <cell id='0' cpus='0-2' memory='3145728' unit='KiB' memAccess='shared'/>
282           </numa>
283         </cpu>
284         <devices>
285           <interface type='vhostuser'>
286             <mac address='56:48:4f:53:54:01'/>
287             <source type='unix' path='/tmp/vhost-user1' mode='client'/>
288             <model type='virtio'/>
289             <driver name='vhost' rx_queue_size='256' />
290             <address type='pci' domain='0x0000' bus='0x00' slot='0x10' function='0x0'/>
291           </interface>
292           <interface type='vhostuser'>
293             <mac address='56:48:4f:53:54:02'/>
294             <source type='unix' path='/tmp/vhost-user2' mode='client'/>
295             <model type='virtio'/>
296             <driver name='vhost' rx_queue_size='256' />
297             <address type='pci' domain='0x0000' bus='0x00' slot='0x11' function='0x0'/>
298           </interface>
299         </devices>
300       </domain>
301
302
303 Guest setup
304 -----------
305
306
307 Guest tuning
308 ~~~~~~~~~~~~
309
310 #. Append these options to the Kernel command line:
311
312    .. code-block:: console
313
314       default_hugepagesz=1G hugepagesz=1G hugepages=1 intel_iommu=on iommu=pt isolcpus=1,2 rcu_nocbs=1,2 nohz_full=1,2
315
316 #. Disable NMIs:
317
318    .. code-block:: console
319
320       echo 0 > /proc/sys/kernel/nmi_watchdog
321
322 #. Exclude isolated CPU1 and CPU2 from the writeback cpumask:
323
324    .. code-block:: console
325
326       echo 1 > /sys/bus/workqueue/devices/writeback/cpumask
327
328 #. Isolate CPUs from IRQs:
329
330    .. code-block:: console
331
332       clear_mask=0x6 #Isolate CPU1 and CPU2 from IRQs
333       for i in /proc/irq/*/smp_affinity
334       do
335         echo "obase=16;$(( 0x$(cat $i) & ~$clear_mask ))" | bc > $i
336       done
337
338
339 DPDK build
340 ~~~~~~~~~~
341
342 Build DPDK:
343
344    .. code-block:: console
345
346       git clone git://dpdk.org/dpdk
347       cd dpdk
348       export RTE_SDK=$PWD
349       make install T=x86_64-native-linuxapp-gcc DESTDIR=install
350
351
352 Testpmd launch
353 ~~~~~~~~~~~~~~
354
355 Probe vfio module without iommu:
356
357    .. code-block:: console
358
359       modprobe -r vfio_iommu_type1
360       modprobe -r vfio
361       modprobe  vfio enable_unsafe_noiommu_mode=1
362       cat /sys/module/vfio/parameters/enable_unsafe_noiommu_mode
363       modprobe vfio-pci
364
365 Bind the virtio-net devices to DPDK:
366
367    .. code-block:: console
368
369       $RTE_SDK/usertools/dpdk-devbind.py -b vfio-pci 0000:00:10.0 0000:00:11.0
370
371 Start testpmd:
372
373    .. code-block:: console
374
375       $RTE_SDK/install/bin/testpmd -l 0,1,2 --socket-mem 1024 -n 4 \
376           --proc-type auto --file-prefix pg -- \
377           --portmask=3 --forward-mode=macswap --port-topology=chained \
378           --disable-rss -i --rxq=1 --txq=1 \
379           --rxd=256 --txd=256 --nb-cores=2 --auto-start
380
381 Results template
382 ----------------
383
384 Below template should be used when sharing results:
385
386    .. code-block:: none
387
388       Traffic Generator: <Test equipment (e.g. IXIA, Moongen, ...)>
389       Acceptable Loss: <n>%
390       Validation run time: <n>min
391       Host DPDK version/commit: <version, SHA-1>
392       Guest DPDK version/commit: <version, SHA-1>
393       Patches applied: <link to patchwork>
394       QEMU version/commit: <version>
395       Virtio features: <features (e.g. mrg_rxbuf='off', leave empty if default)>
396       CPU: <CPU model>, <CPU frequency>
397       NIC: <NIC model>
398       Result: <n> Mpps