net/i40e: fix VF overwrite PF RSS LUT for X722
[dpdk.git] / usertools / dpdk-setup.sh
1 #! /bin/bash
2 # SPDX-License-Identifier: BSD-3-Clause
3 # Copyright(c) 2010-2014 Intel Corporation
4
5 #
6 # Run with "source /path/to/dpdk-setup.sh"
7 #
8
9 #
10 # Change to DPDK directory ( <this-script's-dir>/.. ), and export it as RTE_SDK
11 #
12 cd $(dirname ${BASH_SOURCE[0]})/..
13 export RTE_SDK=$PWD
14 echo "------------------------------------------------------------------------------"
15 echo " RTE_SDK exported as $RTE_SDK"
16 echo "------------------------------------------------------------------------------"
17
18 HUGEPGSZ=`cat /proc/meminfo  | grep Hugepagesize | cut -d : -f 2 | tr -d ' '`
19
20 #
21 # Application EAL parameters for setting memory options (amount/channels/ranks).
22 #
23 EAL_PARAMS='-n 4'
24
25 #
26 # Sets QUIT variable so script will finish.
27 #
28 quit()
29 {
30         QUIT=$1
31 }
32
33 # Shortcut for quit.
34 q()
35 {
36         quit
37 }
38
39 #
40 # Sets up environmental variables for ICC.
41 #
42 setup_icc()
43 {
44         DEFAULT_PATH=/opt/intel/bin/iccvars.sh
45         param=$1
46         shpath=`which iccvars.sh 2> /dev/null`
47         if [ $? -eq 0 ] ; then
48                 echo "Loading iccvars.sh from $shpath for $param"
49                 source $shpath $param
50         elif [ -f $DEFAULT_PATH ] ; then
51                 echo "Loading iccvars.sh from $DEFAULT_PATH for $param"
52                 source $DEFAULT_PATH $param
53         else
54                 echo "## ERROR: cannot find 'iccvars.sh' script to set up ICC."
55                 echo "##     To fix, please add the directory that contains"
56                 echo "##     iccvars.sh  to your 'PATH' environment variable."
57                 quit
58         fi
59 }
60
61 #
62 # Sets RTE_TARGET and does a "make install".
63 #
64 setup_target()
65 {
66         option=$1
67         export RTE_TARGET=${TARGETS[option]}
68
69         compiler=${RTE_TARGET##*-}
70         if [ "$compiler" == "icc" ] ; then
71                 platform=${RTE_TARGET%%-*}
72                 if [ "$platform" == "x86_64" ] ; then
73                         setup_icc intel64
74                 else
75                         setup_icc ia32
76                 fi
77         fi
78         if [ "$QUIT" == "0" ] ; then
79                 make install T=${RTE_TARGET}
80         fi
81         echo "------------------------------------------------------------------------------"
82         echo " RTE_TARGET exported as $RTE_TARGET"
83         echo "------------------------------------------------------------------------------"
84 }
85
86 #
87 # Creates hugepage filesystem.
88 #
89 create_mnt_huge()
90 {
91         echo "Creating /mnt/huge and mounting as hugetlbfs"
92         sudo mkdir -p /mnt/huge
93
94         grep -s '/mnt/huge' /proc/mounts > /dev/null
95         if [ $? -ne 0 ] ; then
96                 sudo mount -t hugetlbfs nodev /mnt/huge
97         fi
98 }
99
100 #
101 # Removes hugepage filesystem.
102 #
103 remove_mnt_huge()
104 {
105         echo "Unmounting /mnt/huge and removing directory"
106         grep -s '/mnt/huge' /proc/mounts > /dev/null
107         if [ $? -eq 0 ] ; then
108                 sudo umount /mnt/huge
109         fi
110
111         if [ -d /mnt/huge ] ; then
112                 sudo rm -R /mnt/huge
113         fi
114 }
115
116 #
117 # Unloads igb_uio.ko.
118 #
119 remove_igb_uio_module()
120 {
121         echo "Unloading any existing DPDK UIO module"
122         /sbin/lsmod | grep -s igb_uio > /dev/null
123         if [ $? -eq 0 ] ; then
124                 sudo /sbin/rmmod igb_uio
125         fi
126 }
127
128 #
129 # Loads new igb_uio.ko (and uio module if needed).
130 #
131 load_igb_uio_module()
132 {
133         if [ ! -f $RTE_SDK/$RTE_TARGET/kmod/igb_uio.ko ];then
134                 echo "## ERROR: Target does not have the DPDK UIO Kernel Module."
135                 echo "       To fix, please try to rebuild target."
136                 return
137         fi
138
139         remove_igb_uio_module
140
141         /sbin/lsmod | grep -s uio > /dev/null
142         if [ $? -ne 0 ] ; then
143                 modinfo uio > /dev/null
144                 if [ $? -eq 0 ]; then
145                         echo "Loading uio module"
146                         sudo /sbin/modprobe uio
147                 fi
148         fi
149
150         # UIO may be compiled into kernel, so it may not be an error if it can't
151         # be loaded.
152
153         echo "Loading DPDK UIO module"
154         sudo /sbin/insmod $RTE_SDK/$RTE_TARGET/kmod/igb_uio.ko
155         if [ $? -ne 0 ] ; then
156                 echo "## ERROR: Could not load kmod/igb_uio.ko."
157                 quit
158         fi
159 }
160
161 #
162 # Unloads VFIO modules.
163 #
164 remove_vfio_module()
165 {
166         echo "Unloading any existing VFIO module"
167         /sbin/lsmod | grep -s vfio > /dev/null
168         if [ $? -eq 0 ] ; then
169                 sudo /sbin/rmmod vfio-pci
170                 sudo /sbin/rmmod vfio_iommu_type1
171                 sudo /sbin/rmmod vfio
172         fi
173 }
174
175 #
176 # Loads new vfio-pci (and vfio module if needed).
177 #
178 load_vfio_module()
179 {
180         remove_vfio_module
181
182         VFIO_PATH="kernel/drivers/vfio/pci/vfio-pci.ko"
183
184         echo "Loading VFIO module"
185         /sbin/lsmod | grep -s vfio_pci > /dev/null
186         if [ $? -ne 0 ] ; then
187                 if [ -f /lib/modules/$(uname -r)/$VFIO_PATH ] ; then
188                         sudo /sbin/modprobe vfio-pci
189                 fi
190         fi
191
192         # make sure regular users can read /dev/vfio
193         echo "chmod /dev/vfio"
194         sudo chmod a+x /dev/vfio
195         if [ $? -ne 0 ] ; then
196                 echo "FAIL"
197                 quit
198         fi
199         echo "OK"
200
201         # check if /dev/vfio/vfio exists - that way we
202         # know we either loaded the module, or it was
203         # compiled into the kernel
204         if [ ! -e /dev/vfio/vfio ] ; then
205                 echo "## ERROR: VFIO not found!"
206         fi
207 }
208
209 #
210 # Unloads the rte_kni.ko module.
211 #
212 remove_kni_module()
213 {
214         echo "Unloading any existing DPDK KNI module"
215         /sbin/lsmod | grep -s rte_kni > /dev/null
216         if [ $? -eq 0 ] ; then
217                 sudo /sbin/rmmod rte_kni
218         fi
219 }
220
221 #
222 # Loads the rte_kni.ko module.
223 #
224 load_kni_module()
225 {
226     # Check that the KNI module is already built.
227         if [ ! -f $RTE_SDK/$RTE_TARGET/kmod/rte_kni.ko ];then
228                 echo "## ERROR: Target does not have the DPDK KNI Module."
229                 echo "       To fix, please try to rebuild target."
230                 return
231         fi
232
233     # Unload existing version if present.
234         remove_kni_module
235
236     # Now try load the KNI module.
237         echo "Loading DPDK KNI module"
238         sudo /sbin/insmod $RTE_SDK/$RTE_TARGET/kmod/rte_kni.ko
239         if [ $? -ne 0 ] ; then
240                 echo "## ERROR: Could not load kmod/rte_kni.ko."
241                 quit
242         fi
243 }
244
245 #
246 # Sets appropriate permissions on /dev/vfio/* files
247 #
248 set_vfio_permissions()
249 {
250         # make sure regular users can read /dev/vfio
251         echo "chmod /dev/vfio"
252         sudo chmod a+x /dev/vfio
253         if [ $? -ne 0 ] ; then
254                 echo "FAIL"
255                 quit
256         fi
257         echo "OK"
258
259         # make sure regular user can access everything inside /dev/vfio
260         echo "chmod /dev/vfio/*"
261         sudo chmod 0666 /dev/vfio/*
262         if [ $? -ne 0 ] ; then
263                 echo "FAIL"
264                 quit
265         fi
266         echo "OK"
267
268         # since permissions are only to be set when running as
269         # regular user, we only check ulimit here
270         #
271         # warn if regular user is only allowed
272         # to memlock <64M of memory
273         MEMLOCK_AMNT=`ulimit -l`
274
275         if [ "$MEMLOCK_AMNT" != "unlimited" ] ; then
276                 MEMLOCK_MB=`expr $MEMLOCK_AMNT / 1024`
277                 echo ""
278                 echo "Current user memlock limit: ${MEMLOCK_MB} MB"
279                 echo ""
280                 echo "This is the maximum amount of memory you will be"
281                 echo "able to use with DPDK and VFIO if run as current user."
282                 echo -n "To change this, please adjust limits.conf memlock "
283                 echo "limit for current user."
284
285                 if [ $MEMLOCK_AMNT -lt 65536 ] ; then
286                         echo ""
287                         echo "## WARNING: memlock limit is less than 64MB"
288                         echo -n "## DPDK with VFIO may not be able to initialize "
289                         echo "if run as current user."
290                 fi
291         fi
292 }
293
294 #
295 # Removes all reserved hugepages.
296 #
297 clear_huge_pages()
298 {
299         echo > .echo_tmp
300         for d in /sys/devices/system/node/node? ; do
301                 echo "echo 0 > $d/hugepages/hugepages-${HUGEPGSZ}/nr_hugepages" >> .echo_tmp
302         done
303         echo "Removing currently reserved hugepages"
304         sudo sh .echo_tmp
305         rm -f .echo_tmp
306
307         remove_mnt_huge
308 }
309
310 #
311 # Creates hugepages.
312 #
313 set_non_numa_pages()
314 {
315         clear_huge_pages
316
317         echo ""
318         echo "  Input the number of ${HUGEPGSZ} hugepages"
319         echo "  Example: to have 128MB of hugepages available in a 2MB huge page system,"
320         echo "  enter '64' to reserve 64 * 2MB pages"
321         echo -n "Number of pages: "
322         read Pages
323
324         echo "echo $Pages > /sys/kernel/mm/hugepages/hugepages-${HUGEPGSZ}/nr_hugepages" > .echo_tmp
325
326         echo "Reserving hugepages"
327         sudo sh .echo_tmp
328         rm -f .echo_tmp
329
330         create_mnt_huge
331 }
332
333 #
334 # Creates hugepages on specific NUMA nodes.
335 #
336 set_numa_pages()
337 {
338         clear_huge_pages
339
340         echo ""
341         echo "  Input the number of ${HUGEPGSZ} hugepages for each node"
342         echo "  Example: to have 128MB of hugepages available per node in a 2MB huge page system,"
343         echo "  enter '64' to reserve 64 * 2MB pages on each node"
344
345         echo > .echo_tmp
346         for d in /sys/devices/system/node/node? ; do
347                 node=$(basename $d)
348                 echo -n "Number of pages for $node: "
349                 read Pages
350                 echo "echo $Pages > $d/hugepages/hugepages-${HUGEPGSZ}/nr_hugepages" >> .echo_tmp
351         done
352         echo "Reserving hugepages"
353         sudo sh .echo_tmp
354         rm -f .echo_tmp
355
356         create_mnt_huge
357 }
358
359 #
360 # Run unit test application.
361 #
362 run_test_app()
363 {
364         echo ""
365         echo "  Enter hex bitmask of cores to execute test app on"
366         echo "  Example: to execute app on cores 0 to 7, enter 0xff"
367         echo -n "bitmask: "
368         read Bitmask
369         echo "Launching app"
370         sudo ${RTE_TARGET}/app/test -c $Bitmask $EAL_PARAMS
371 }
372
373 #
374 # Run unit testpmd application.
375 #
376 run_testpmd_app()
377 {
378         echo ""
379         echo "  Enter hex bitmask of cores to execute testpmd app on"
380         echo "  Example: to execute app on cores 0 to 7, enter 0xff"
381         echo -n "bitmask: "
382         read Bitmask
383         echo "Launching app"
384         sudo ${RTE_TARGET}/app/testpmd -c $Bitmask $EAL_PARAMS -- -i
385 }
386
387 #
388 # Print hugepage information.
389 #
390 grep_meminfo()
391 {
392         grep -i huge /proc/meminfo
393 }
394
395 #
396 # Calls dpdk-devbind.py --status to show the devices and what they
397 # are all bound to, in terms of drivers.
398 #
399 show_devices()
400 {
401         if [ -d /sys/module/vfio_pci -o -d /sys/module/igb_uio ]; then
402                 ${RTE_SDK}/usertools/dpdk-devbind.py --status
403         else
404                 echo "# Please load the 'igb_uio' or 'vfio-pci' kernel module before "
405                 echo "# querying or adjusting device bindings"
406         fi
407 }
408
409 #
410 # Uses dpdk-devbind.py to move devices to work with vfio-pci
411 #
412 bind_devices_to_vfio()
413 {
414         if [ -d /sys/module/vfio_pci ]; then
415                 ${RTE_SDK}/usertools/dpdk-devbind.py --status
416                 echo ""
417                 echo -n "Enter PCI address of device to bind to VFIO driver: "
418                 read PCI_PATH
419                 sudo ${RTE_SDK}/usertools/dpdk-devbind.py -b vfio-pci $PCI_PATH &&
420                         echo "OK"
421         else
422                 echo "# Please load the 'vfio-pci' kernel module before querying or "
423                 echo "# adjusting device bindings"
424         fi
425 }
426
427 #
428 # Uses dpdk-devbind.py to move devices to work with igb_uio
429 #
430 bind_devices_to_igb_uio()
431 {
432         if [ -d /sys/module/igb_uio ]; then
433                 ${RTE_SDK}/usertools/dpdk-devbind.py --status
434                 echo ""
435                 echo -n "Enter PCI address of device to bind to IGB UIO driver: "
436                 read PCI_PATH
437                 sudo ${RTE_SDK}/usertools/dpdk-devbind.py -b igb_uio $PCI_PATH && echo "OK"
438         else
439                 echo "# Please load the 'igb_uio' kernel module before querying or "
440                 echo "# adjusting device bindings"
441         fi
442 }
443
444 #
445 # Uses dpdk-devbind.py to move devices to work with kernel drivers again
446 #
447 unbind_devices()
448 {
449         ${RTE_SDK}/usertools/dpdk-devbind.py --status
450         echo ""
451         echo -n "Enter PCI address of device to unbind: "
452         read PCI_PATH
453         echo ""
454         echo -n "Enter name of kernel driver to bind the device to: "
455         read DRV
456         sudo ${RTE_SDK}/usertools/dpdk-devbind.py -b $DRV $PCI_PATH && echo "OK"
457 }
458
459 #
460 # Options for building a target. Note that this step MUST be first as it sets
461 # up TARGETS[] starting from 1, and this is accessed in setup_target using the
462 # user entered option.
463 #
464 step1_func()
465 {
466         TITLE="Select the DPDK environment to build"
467         CONFIG_NUM=1
468         for cfg in config/defconfig_* ; do
469                 cfg=${cfg/config\/defconfig_/}
470                 TEXT[$CONFIG_NUM]="$cfg"
471                 TARGETS[$CONFIG_NUM]=$cfg
472                 FUNC[$CONFIG_NUM]="setup_target"
473                 let "CONFIG_NUM+=1"
474         done
475 }
476
477 #
478 # Options for setting up environment.
479 #
480 step2_func()
481 {
482         TITLE="Setup linuxapp environment"
483
484         TEXT[1]="Insert IGB UIO module"
485         FUNC[1]="load_igb_uio_module"
486
487         TEXT[2]="Insert VFIO module"
488         FUNC[2]="load_vfio_module"
489
490         TEXT[3]="Insert KNI module"
491         FUNC[3]="load_kni_module"
492
493         TEXT[4]="Setup hugepage mappings for non-NUMA systems"
494         FUNC[4]="set_non_numa_pages"
495
496         TEXT[5]="Setup hugepage mappings for NUMA systems"
497         FUNC[5]="set_numa_pages"
498
499         TEXT[6]="Display current Ethernet/Crypto device settings"
500         FUNC[6]="show_devices"
501
502         TEXT[7]="Bind Ethernet/Crypto device to IGB UIO module"
503         FUNC[7]="bind_devices_to_igb_uio"
504
505         TEXT[8]="Bind Ethernet/Crypto device to VFIO module"
506         FUNC[8]="bind_devices_to_vfio"
507
508         TEXT[9]="Setup VFIO permissions"
509         FUNC[9]="set_vfio_permissions"
510 }
511
512 #
513 # Options for running applications.
514 #
515 step3_func()
516 {
517         TITLE="Run test application for linuxapp environment"
518
519         TEXT[1]="Run test application (\$RTE_TARGET/app/test)"
520         FUNC[1]="run_test_app"
521
522         TEXT[2]="Run testpmd application in interactive mode (\$RTE_TARGET/app/testpmd)"
523         FUNC[2]="run_testpmd_app"
524 }
525
526 #
527 # Other options
528 #
529 step4_func()
530 {
531         TITLE="Other tools"
532
533         TEXT[1]="List hugepage info from /proc/meminfo"
534         FUNC[1]="grep_meminfo"
535
536 }
537
538 #
539 # Options for cleaning up the system
540 #
541 step5_func()
542 {
543         TITLE="Uninstall and system cleanup"
544
545         TEXT[1]="Unbind devices from IGB UIO or VFIO driver"
546         FUNC[1]="unbind_devices"
547
548         TEXT[2]="Remove IGB UIO module"
549         FUNC[2]="remove_igb_uio_module"
550
551         TEXT[3]="Remove VFIO module"
552         FUNC[3]="remove_vfio_module"
553
554         TEXT[4]="Remove KNI module"
555         FUNC[4]="remove_kni_module"
556
557         TEXT[5]="Remove hugepage mappings"
558         FUNC[5]="clear_huge_pages"
559 }
560
561 STEPS[1]="step1_func"
562 STEPS[2]="step2_func"
563 STEPS[3]="step3_func"
564 STEPS[4]="step4_func"
565 STEPS[5]="step5_func"
566
567 QUIT=0
568
569 while [ "$QUIT" == "0" ]; do
570         OPTION_NUM=1
571
572         for s in $(seq ${#STEPS[@]}) ; do
573                 ${STEPS[s]}
574
575                 echo "----------------------------------------------------------"
576                 echo " Step $s: ${TITLE}"
577                 echo "----------------------------------------------------------"
578
579                 for i in $(seq ${#TEXT[@]}) ; do
580                         echo "[$OPTION_NUM] ${TEXT[i]}"
581                         OPTIONS[$OPTION_NUM]=${FUNC[i]}
582                         let "OPTION_NUM+=1"
583                 done
584
585                 # Clear TEXT and FUNC arrays before next step
586                 unset TEXT
587                 unset FUNC
588
589                 echo ""
590         done
591
592         echo "[$OPTION_NUM] Exit Script"
593         OPTIONS[$OPTION_NUM]="quit"
594         echo ""
595         echo -n "Option: "
596         read our_entry
597         echo ""
598         ${OPTIONS[our_entry]} ${our_entry}
599
600         if [ "$QUIT" == "0" ] ; then
601                 echo
602                 echo -n "Press enter to continue ..."; read
603         fi
604
605 done