doc: remove outdated list of supported OS
[dpdk.git] / doc / guides / howto / lm_virtio_vhost_user.rst
1 ..  BSD LICENSE
2     Copyright(c) 2016 Intel Corporation. All rights reserved.
3     All rights reserved.
4
5     Redistribution and use in source and binary forms, with or without
6     modification, are permitted provided that the following conditions
7     are met:
8
9     * Redistributions of source code must retain the above copyright
10     notice, this list of conditions and the following disclaimer.
11     * Redistributions in binary form must reproduce the above copyright
12     notice, this list of conditions and the following disclaimer in
13     the documentation and/or other materials provided with the
14     distribution.
15     * Neither the name of Intel Corporation nor the names of its
16     contributors may be used to endorse or promote products derived
17     from this software without specific prior written permission.
18
19     THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
20     "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
21     LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
22     A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
23     OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
24     SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
25     LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
26     DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
27     THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
28     (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
29     OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
30
31
32 Live Migration of VM with Virtio on host running vhost_user
33 ===========================================================
34
35 Overview
36 --------
37
38 Live Migration of a VM with DPDK Virtio PMD on a host which is
39 running the Vhost sample application (vhost-switch) and using the DPDK PMD (ixgbe or i40e).
40
41 The Vhost sample application uses VMDQ so SRIOV must be disabled on the NIC's.
42
43 The following sections show an example of how to do this migration.
44
45 Test Setup
46 ----------
47
48 To test the Live Migration two servers with identical operating systems installed are used.
49 KVM and QEMU is also required on the servers.
50
51 QEMU 2.5 is required for Live Migration of a VM with vhost_user running on the hosts.
52
53 In this example, the servers have Niantic and or Fortville NIC's installed.
54 The NIC's on both servers are connected to a switch
55 which is also connected to the traffic generator.
56
57 The switch is configured to broadcast traffic on all the NIC ports.
58
59 The ip address of host_server_1 is 10.237.212.46
60
61 The ip address of host_server_2 is 10.237.212.131
62
63 .. _figure_lm_vhost_user:
64
65 .. figure:: img/lm_vhost_user.*
66
67 Live Migration steps
68 --------------------
69
70 The sample scripts mentioned in the steps below can be found in the
71 :ref:`Sample host scripts <lm_virtio_vhost_user_host_scripts>` and
72 :ref:`Sample VM scripts <lm_virtio_vhost_user_vm_scripts>` sections.
73
74 On host_server_1: Terminal 1
75 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
76
77 Setup DPDK on host_server_1
78
79 .. code-block:: console
80
81    cd /root/dpdk/host_scripts
82    ./setup_dpdk_on_host.sh
83
84 On host_server_1: Terminal 2
85 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
86
87 Bind the Niantic or Fortville NIC to igb_uio on host_server_1.
88
89 For Fortville NIC.
90
91 .. code-block:: console
92
93    cd /root/dpdk/usertools
94    ./dpdk-devbind.py -b igb_uio 0000:02:00.0
95
96 For Niantic NIC.
97
98 .. code-block:: console
99
100    cd /root/dpdk/usertools
101    ./dpdk-devbind.py -b igb_uio 0000:09:00.0
102
103 On host_server_1: Terminal 3
104 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
105
106 For Fortville and Niantic NIC's reset SRIOV and run the
107 vhost_user sample application (vhost-switch) on host_server_1.
108
109 .. code-block:: console
110
111    cd /root/dpdk/host_scripts
112    ./reset_vf_on_212_46.sh
113    ./run_vhost_switch_on_host.sh
114
115 On host_server_1: Terminal 1
116 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
117
118 Start the VM on host_server_1
119
120 .. code-block:: console
121
122    ./vm_virtio_vhost_user.sh
123
124 On host_server_1: Terminal 4
125 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
126
127 Connect to the QEMU monitor on host_server_1.
128
129 .. code-block:: console
130
131    cd /root/dpdk/host_scripts
132    ./connect_to_qemu_mon_on_host.sh
133    (qemu)
134
135 On host_server_1: Terminal 1
136 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
137
138 **In VM on host_server_1:**
139
140 Setup DPDK in the VM and run testpmd in the VM.
141
142 .. code-block:: console
143
144    cd /root/dpdk/vm_scripts
145    ./setup_dpdk_in_vm.sh
146    ./run_testpmd_in_vm.sh
147
148    testpmd> show port info all
149    testpmd> set fwd mac retry
150    testpmd> start tx_first
151    testpmd> show port stats all
152
153 Virtio traffic is seen at P1 and P2.
154
155 On host_server_2: Terminal 1
156 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
157
158 Set up DPDK on the host_server_2.
159
160 .. code-block:: console
161
162    cd /root/dpdk/host_scripts
163    ./setup_dpdk_on_host.sh
164
165 On host_server_2: Terminal 2
166 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
167
168 Bind the Niantic or Fortville NIC to igb_uio on host_server_2.
169
170 For Fortville NIC.
171
172 .. code-block:: console
173
174    cd /root/dpdk/usertools
175    ./dpdk-devbind.py -b igb_uio 0000:03:00.0
176
177 For Niantic NIC.
178
179 .. code-block:: console
180
181    cd /root/dpdk/usertools
182    ./dpdk-devbind.py -b igb_uio 0000:06:00.0
183
184 On host_server_2: Terminal 3
185 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
186
187 For Fortville and Niantic NIC's reset SRIOV, and run
188 the vhost_user sample application on host_server_2.
189
190 .. code-block:: console
191
192    cd /root/dpdk/host_scripts
193    ./reset_vf_on_212_131.sh
194    ./run_vhost_switch_on_host.sh
195
196 On host_server_2: Terminal 1
197 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
198
199 Start the VM on host_server_2.
200
201 .. code-block:: console
202
203    ./vm_virtio_vhost_user_migrate.sh
204
205 On host_server_2: Terminal 4
206 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
207
208 Connect to the QEMU monitor on host_server_2.
209
210 .. code-block:: console
211
212    cd /root/dpdk/host_scripts
213    ./connect_to_qemu_mon_on_host.sh
214    (qemu) info status
215    VM status: paused (inmigrate)
216    (qemu)
217
218 On host_server_1: Terminal 4
219 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
220
221 Check that switch is up before migrating the VM.
222
223 .. code-block:: console
224
225    (qemu) migrate tcp:10.237.212.131:5555
226    (qemu) info status
227    VM status: paused (postmigrate)
228
229    (qemu) info migrate
230    capabilities: xbzrle: off rdma-pin-all: off auto-converge: off zero-blocks: off
231    Migration status: completed
232    total time: 11619 milliseconds
233    downtime: 5 milliseconds
234    setup: 7 milliseconds
235    transferred ram: 379699 kbytes
236    throughput: 267.82 mbps
237    remaining ram: 0 kbytes
238    total ram: 1590088 kbytes
239    duplicate: 303985 pages
240    skipped: 0 pages
241    normal: 94073 pages
242    normal bytes: 376292 kbytes
243    dirty sync count: 2
244    (qemu) quit
245
246 On host_server_2: Terminal 1
247 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
248
249 **In VM on host_server_2:**
250
251    Hit Enter key. This brings the user to the testpmd prompt.
252
253 .. code-block:: console
254
255    testpmd>
256
257 On host_server_2: Terminal 4
258 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
259
260 **In QEMU monitor on host_server_2**
261
262 .. code-block:: console
263
264    (qemu) info status
265    VM status: running
266
267 On host_server_2: Terminal 1
268 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
269
270 **In VM on host_server_2:**
271
272 .. code-block:: console
273
274    testomd> show port info all
275    testpmd> show port stats all
276
277 Virtio traffic is seen at P0 and P1.
278
279
280 .. _lm_virtio_vhost_user_host_scripts:
281
282 Sample host scripts
283 -------------------
284
285 reset_vf_on_212_46.sh
286 ~~~~~~~~~~~~~~~~~~~~~
287
288 .. code-block:: sh
289
290    #!/bin/sh
291    # This script is run on the host 10.237.212.46 to reset SRIOV
292
293    # BDF for Fortville NIC is 0000:02:00.0
294    cat /sys/bus/pci/devices/0000\:02\:00.0/max_vfs
295    echo 0 > /sys/bus/pci/devices/0000\:02\:00.0/max_vfs
296    cat /sys/bus/pci/devices/0000\:02\:00.0/max_vfs
297
298    # BDF for Niantic NIC is 0000:09:00.0
299    cat /sys/bus/pci/devices/0000\:09\:00.0/max_vfs
300    echo 0 > /sys/bus/pci/devices/0000\:09\:00.0/max_vfs
301    cat /sys/bus/pci/devices/0000\:09\:00.0/max_vfs
302
303 vm_virtio_vhost_user.sh
304 ~~~~~~~~~~~~~~~~~~~~~~~
305
306 .. code-block:: sh
307
308    #/bin/sh
309    # Script for use with vhost_user sample application
310    # The host system has 8 cpu's (0-7)
311
312    # Path to KVM tool
313    KVM_PATH="/usr/bin/qemu-system-x86_64"
314
315    # Guest Disk image
316    DISK_IMG="/home/user/disk_image/virt1_sml.disk"
317
318    # Number of guest cpus
319    VCPUS_NR="6"
320
321    # Memory
322    MEM=1024
323
324    VIRTIO_OPTIONS="csum=off,gso=off,guest_tso4=off,guest_tso6=off,guest_ecn=off"
325
326    # Socket Path
327    SOCKET_PATH="/root/dpdk/host_scripts/usvhost"
328
329    taskset -c 2-7 $KVM_PATH \
330     -enable-kvm \
331     -m $MEM \
332     -smp $VCPUS_NR \
333     -object memory-backend-file,id=mem,size=1024M,mem-path=/mnt/huge,share=on \
334     -numa node,memdev=mem,nodeid=0 \
335     -cpu host \
336     -name VM1 \
337     -no-reboot \
338     -net none \
339     -vnc none \
340     -nographic \
341     -hda $DISK_IMG \
342     -chardev socket,id=chr0,path=$SOCKET_PATH \
343     -netdev type=vhost-user,id=net1,chardev=chr0,vhostforce \
344     -device virtio-net-pci,netdev=net1,mac=CC:BB:BB:BB:BB:BB,$VIRTIO_OPTIONS \
345     -chardev socket,id=chr1,path=$SOCKET_PATH \
346     -netdev type=vhost-user,id=net2,chardev=chr1,vhostforce \
347     -device virtio-net-pci,netdev=net2,mac=DD:BB:BB:BB:BB:BB,$VIRTIO_OPTIONS \
348     -monitor telnet::3333,server,nowait
349
350 connect_to_qemu_mon_on_host.sh
351 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
352
353 .. code-block:: sh
354
355    #!/bin/sh
356    # This script is run on both hosts when the VM is up,
357    # to connect to the Qemu Monitor.
358
359    telnet 0 3333
360
361 reset_vf_on_212_131.sh
362 ~~~~~~~~~~~~~~~~~~~~~~
363
364 .. code-block:: sh
365
366    #!/bin/sh
367    # This script is run on the host 10.237.212.131 to reset SRIOV
368
369    # BDF for Ninatic NIC is 0000:06:00.0
370    cat /sys/bus/pci/devices/0000\:06\:00.0/max_vfs
371    echo 0 > /sys/bus/pci/devices/0000\:06\:00.0/max_vfs
372    cat /sys/bus/pci/devices/0000\:06\:00.0/max_vfs
373
374    # BDF for Fortville NIC is 0000:03:00.0
375    cat /sys/bus/pci/devices/0000\:03\:00.0/max_vfs
376    echo 0 > /sys/bus/pci/devices/0000\:03\:00.0/max_vfs
377    cat /sys/bus/pci/devices/0000\:03\:00.0/max_vfs
378
379 vm_virtio_vhost_user_migrate.sh
380 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
381
382 .. code-block:: sh
383
384    #/bin/sh
385    # Script for use with vhost user sample application
386    # The host system has 8 cpu's (0-7)
387
388    # Path to KVM tool
389    KVM_PATH="/usr/bin/qemu-system-x86_64"
390
391    # Guest Disk image
392    DISK_IMG="/home/user/disk_image/virt1_sml.disk"
393
394    # Number of guest cpus
395    VCPUS_NR="6"
396
397    # Memory
398    MEM=1024
399
400    VIRTIO_OPTIONS="csum=off,gso=off,guest_tso4=off,guest_tso6=off,guest_ecn=off"
401
402    # Socket Path
403    SOCKET_PATH="/root/dpdk/host_scripts/usvhost"
404
405    taskset -c 2-7 $KVM_PATH \
406     -enable-kvm \
407     -m $MEM \
408     -smp $VCPUS_NR \
409     -object memory-backend-file,id=mem,size=1024M,mem-path=/mnt/huge,share=on \
410     -numa node,memdev=mem,nodeid=0 \
411     -cpu host \
412     -name VM1 \
413     -no-reboot \
414     -net none \
415     -vnc none \
416     -nographic \
417     -hda $DISK_IMG \
418     -chardev socket,id=chr0,path=$SOCKET_PATH \
419     -netdev type=vhost-user,id=net1,chardev=chr0,vhostforce \
420     -device virtio-net-pci,netdev=net1,mac=CC:BB:BB:BB:BB:BB,$VIRTIO_OPTIONS \
421     -chardev socket,id=chr1,path=$SOCKET_PATH \
422     -netdev type=vhost-user,id=net2,chardev=chr1,vhostforce \
423     -device virtio-net-pci,netdev=net2,mac=DD:BB:BB:BB:BB:BB,$VIRTIO_OPTIONS \
424     -incoming tcp:0:5555 \
425     -monitor telnet::3333,server,nowait
426
427 .. _lm_virtio_vhost_user_vm_scripts:
428
429 Sample VM scripts
430 -----------------
431
432 setup_dpdk_virtio_in_vm.sh
433 ~~~~~~~~~~~~~~~~~~~~~~~~~~
434
435 .. code-block:: sh
436
437    #!/bin/sh
438    # this script matches the vm_virtio_vhost_user script
439    # virtio port is 03
440    # virtio port is 04
441
442    cat  /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages
443    echo 1024 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages
444    cat  /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages
445
446    ifconfig -a
447    /root/dpdk/usertools/dpdk-devbind.py --status
448
449    rmmod virtio-pci
450
451    modprobe uio
452    insmod /root/dpdk/x86_64-default-linuxapp-gcc/kmod/igb_uio.ko
453
454    /root/dpdk/usertools/dpdk-devbind.py -b igb_uio 0000:00:03.0
455    /root/dpdk/usertools/dpdk-devbind.py -b igb_uio 0000:00:04.0
456
457    /root/dpdk/usertools/dpdk-devbind.py --status
458
459 run_testpmd_in_vm.sh
460 ~~~~~~~~~~~~~~~~~~~~
461
462 .. code-block:: sh
463
464    #!/bin/sh
465    # Run testpmd for use with vhost_user sample app.
466    # test system has 8 cpus (0-7), use cpus 2-7 for VM
467
468    /root/dpdk/x86_64-default-linuxapp-gcc/app/testpmd \
469    -l 0-5 -n 4 --socket-mem 350 -- --burst=64 --i --disable-hw-vlan-filter