usertools/dpdk-setup.sh

   1 #! /bin/bash
   2
   3 #   BSD LICENSE
   4 #
   5 #   Copyright(c) 2010-2014 Intel Corporation. All rights reserved.
   6 #   All rights reserved.
   7 #
   8 #   Redistribution and use in source and binary forms, with or without
   9 #   modification, are permitted provided that the following conditions
  10 #   are met:
  11 #
  12 #     * Redistributions of source code must retain the above copyright
  13 #       notice, this list of conditions and the following disclaimer.
  14 #     * Redistributions in binary form must reproduce the above copyright
  15 #       notice, this list of conditions and the following disclaimer in
  16 #       the documentation and/or other materials provided with the
  17 #       distribution.
  18 #     * Neither the name of Intel Corporation nor the names of its
  19 #       contributors may be used to endorse or promote products derived
  20 #       from this software without specific prior written permission.
  21 #
  22 #   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  23 #   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  24 #   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  25 #   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  26 #   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  27 #   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  28 #   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  29 #   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  30 #   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  31 #   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  32 #   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  33
  34 #
  35 # Run with "source /path/to/dpdk-setup.sh"
  36 #
  37
  38 #
  39 # Change to DPDK directory ( <this-script's-dir>/.. ), and export it as RTE_SDK
  40 #
  41 cd $(dirname ${BASH_SOURCE[0]})/..
  42 export RTE_SDK=$PWD
  43 echo "------------------------------------------------------------------------------"
  44 echo " RTE_SDK exported as $RTE_SDK"
  45 echo "------------------------------------------------------------------------------"
  46
  47 HUGEPGSZ=`cat /proc/meminfo  | grep Hugepagesize | cut -d : -f 2 | tr -d ' '`
  48
  49 #
  50 # Application EAL parameters for setting memory options (amount/channels/ranks).
  51 #
  52 EAL_PARAMS='-n 4'
  53
  54 #
  55 # Sets QUIT variable so script will finish.
  56 #
  57 quit()
  58 {
  59         QUIT=$1
  60 }
  61
  62 # Shortcut for quit.
  63 q()
  64 {
  65         quit
  66 }
  67
  68 #
  69 # Sets up environmental variables for ICC.
  70 #
  71 setup_icc()
  72 {
  73         DEFAULT_PATH=/opt/intel/bin/iccvars.sh
  74         param=$1
  75         shpath=`which iccvars.sh 2> /dev/null`
  76         if [ $? -eq 0 ] ; then
  77                 echo "Loading iccvars.sh from $shpath for $param"
  78                 source $shpath $param
  79         elif [ -f $DEFAULT_PATH ] ; then
  80                 echo "Loading iccvars.sh from $DEFAULT_PATH for $param"
  81                 source $DEFAULT_PATH $param
  82         else
  83                 echo "## ERROR: cannot find 'iccvars.sh' script to set up ICC."
  84                 echo "##     To fix, please add the directory that contains"
  85                 echo "##     iccvars.sh  to your 'PATH' environment variable."
  86                 quit
  87         fi
  88 }
  89
  90 #
  91 # Sets RTE_TARGET and does a "make install".
  92 #
  93 setup_target()
  94 {
  95         option=$1
  96         export RTE_TARGET=${TARGETS[option]}
  97
  98         compiler=${RTE_TARGET##*-}
  99         if [ "$compiler" == "icc" ] ; then
 100                 platform=${RTE_TARGET%%-*}
 101                 if [ "$platform" == "x86_64" ] ; then
 102                         setup_icc intel64
 103                 else
 104                         setup_icc ia32
 105                 fi
 106         fi
 107         if [ "$QUIT" == "0" ] ; then
 108                 make install T=${RTE_TARGET}
 109         fi
 110         echo "------------------------------------------------------------------------------"
 111         echo " RTE_TARGET exported as $RTE_TARGET"
 112         echo "------------------------------------------------------------------------------"
 113 }
 114
 115 #
 116 # Creates hugepage filesystem.
 117 #
 118 create_mnt_huge()
 119 {
 120         echo "Creating /mnt/huge and mounting as hugetlbfs"
 121         sudo mkdir -p /mnt/huge
 122
 123         grep -s '/mnt/huge' /proc/mounts > /dev/null
 124         if [ $? -ne 0 ] ; then
 125                 sudo mount -t hugetlbfs nodev /mnt/huge
 126         fi
 127 }
 128
 129 #
 130 # Removes hugepage filesystem.
 131 #
 132 remove_mnt_huge()
 133 {
 134         echo "Unmounting /mnt/huge and removing directory"
 135         grep -s '/mnt/huge' /proc/mounts > /dev/null
 136         if [ $? -eq 0 ] ; then
 137                 sudo umount /mnt/huge
 138         fi
 139
 140         if [ -d /mnt/huge ] ; then
 141                 sudo rm -R /mnt/huge
 142         fi
 143 }
 144
 145 #
 146 # Unloads igb_uio.ko.
 147 #
 148 remove_igb_uio_module()
 149 {
 150         echo "Unloading any existing DPDK UIO module"
 151         /sbin/lsmod | grep -s igb_uio > /dev/null
 152         if [ $? -eq 0 ] ; then
 153                 sudo /sbin/rmmod igb_uio
 154         fi
 155 }
 156
 157 #
 158 # Loads new igb_uio.ko (and uio module if needed).
 159 #
 160 load_igb_uio_module()
 161 {
 162         if [ ! -f $RTE_SDK/$RTE_TARGET/kmod/igb_uio.ko ];then
 163                 echo "## ERROR: Target does not have the DPDK UIO Kernel Module."
 164                 echo "       To fix, please try to rebuild target."
 165                 return
 166         fi
 167
 168         remove_igb_uio_module
 169
 170         /sbin/lsmod | grep -s uio > /dev/null
 171         if [ $? -ne 0 ] ; then
 172                 modinfo uio > /dev/null
 173                 if [ $? -eq 0 ]; then
 174                         echo "Loading uio module"
 175                         sudo /sbin/modprobe uio
 176                 fi
 177         fi
 178
 179         # UIO may be compiled into kernel, so it may not be an error if it can't
 180         # be loaded.
 181
 182         echo "Loading DPDK UIO module"
 183         sudo /sbin/insmod $RTE_SDK/$RTE_TARGET/kmod/igb_uio.ko
 184         if [ $? -ne 0 ] ; then
 185                 echo "## ERROR: Could not load kmod/igb_uio.ko."
 186                 quit
 187         fi
 188 }
 189
 190 #
 191 # Unloads VFIO modules.
 192 #
 193 remove_vfio_module()
 194 {
 195         echo "Unloading any existing VFIO module"
 196         /sbin/lsmod | grep -s vfio > /dev/null
 197         if [ $? -eq 0 ] ; then
 198                 sudo /sbin/rmmod vfio-pci
 199                 sudo /sbin/rmmod vfio_iommu_type1
 200                 sudo /sbin/rmmod vfio
 201         fi
 202 }
 203
 204 #
 205 # Loads new vfio-pci (and vfio module if needed).
 206 #
 207 load_vfio_module()
 208 {
 209         remove_vfio_module
 210
 211         VFIO_PATH="kernel/drivers/vfio/pci/vfio-pci.ko"
 212
 213         echo "Loading VFIO module"
 214         /sbin/lsmod | grep -s vfio_pci > /dev/null
 215         if [ $? -ne 0 ] ; then
 216                 if [ -f /lib/modules/$(uname -r)/$VFIO_PATH ] ; then
 217                         sudo /sbin/modprobe vfio-pci
 218                 fi
 219         fi
 220
 221         # make sure regular users can read /dev/vfio
 222         echo "chmod /dev/vfio"
 223         sudo chmod a+x /dev/vfio
 224         if [ $? -ne 0 ] ; then
 225                 echo "FAIL"
 226                 quit
 227         fi
 228         echo "OK"
 229
 230         # check if /dev/vfio/vfio exists - that way we
 231         # know we either loaded the module, or it was
 232         # compiled into the kernel
 233         if [ ! -e /dev/vfio/vfio ] ; then
 234                 echo "## ERROR: VFIO not found!"
 235         fi
 236 }
 237
 238 #
 239 # Unloads the rte_kni.ko module.
 240 #
 241 remove_kni_module()
 242 {
 243         echo "Unloading any existing DPDK KNI module"
 244         /sbin/lsmod | grep -s rte_kni > /dev/null
 245         if [ $? -eq 0 ] ; then
 246                 sudo /sbin/rmmod rte_kni
 247         fi
 248 }
 249
 250 #
 251 # Loads the rte_kni.ko module.
 252 #
 253 load_kni_module()
 254 {
 255     # Check that the KNI module is already built.
 256         if [ ! -f $RTE_SDK/$RTE_TARGET/kmod/rte_kni.ko ];then
 257                 echo "## ERROR: Target does not have the DPDK KNI Module."
 258                 echo "       To fix, please try to rebuild target."
 259                 return
 260         fi
 261
 262     # Unload existing version if present.
 263         remove_kni_module
 264
 265     # Now try load the KNI module.
 266         echo "Loading DPDK KNI module"
 267         sudo /sbin/insmod $RTE_SDK/$RTE_TARGET/kmod/rte_kni.ko
 268         if [ $? -ne 0 ] ; then
 269                 echo "## ERROR: Could not load kmod/rte_kni.ko."
 270                 quit
 271         fi
 272 }
 273
 274 #
 275 # Sets appropriate permissions on /dev/vfio/* files
 276 #
 277 set_vfio_permissions()
 278 {
 279         # make sure regular users can read /dev/vfio
 280         echo "chmod /dev/vfio"
 281         sudo chmod a+x /dev/vfio
 282         if [ $? -ne 0 ] ; then
 283                 echo "FAIL"
 284                 quit
 285         fi
 286         echo "OK"
 287
 288         # make sure regular user can access everything inside /dev/vfio
 289         echo "chmod /dev/vfio/*"
 290         sudo chmod 0666 /dev/vfio/*
 291         if [ $? -ne 0 ] ; then
 292                 echo "FAIL"
 293                 quit
 294         fi
 295         echo "OK"
 296
 297         # since permissions are only to be set when running as
 298         # regular user, we only check ulimit here
 299         #
 300         # warn if regular user is only allowed
 301         # to memlock <64M of memory
 302         MEMLOCK_AMNT=`ulimit -l`
 303
 304         if [ "$MEMLOCK_AMNT" != "unlimited" ] ; then
 305                 MEMLOCK_MB=`expr $MEMLOCK_AMNT / 1024`
 306                 echo ""
 307                 echo "Current user memlock limit: ${MEMLOCK_MB} MB"
 308                 echo ""
 309                 echo "This is the maximum amount of memory you will be"
 310                 echo "able to use with DPDK and VFIO if run as current user."
 311                 echo -n "To change this, please adjust limits.conf memlock "
 312                 echo "limit for current user."
 313
 314                 if [ $MEMLOCK_AMNT -lt 65536 ] ; then
 315                         echo ""
 316                         echo "## WARNING: memlock limit is less than 64MB"
 317                         echo -n "## DPDK with VFIO may not be able to initialize "
 318                         echo "if run as current user."
 319                 fi
 320         fi
 321 }
 322
 323 #
 324 # Removes all reserved hugepages.
 325 #
 326 clear_huge_pages()
 327 {
 328         echo > .echo_tmp
 329         for d in /sys/devices/system/node/node? ; do
 330                 echo "echo 0 > $d/hugepages/hugepages-${HUGEPGSZ}/nr_hugepages" >> .echo_tmp
 331         done
 332         echo "Removing currently reserved hugepages"
 333         sudo sh .echo_tmp
 334         rm -f .echo_tmp
 335
 336         remove_mnt_huge
 337 }
 338
 339 #
 340 # Creates hugepages.
 341 #
 342 set_non_numa_pages()
 343 {
 344         clear_huge_pages
 345
 346         echo ""
 347         echo "  Input the number of ${HUGEPGSZ} hugepages"
 348         echo "  Example: to have 128MB of hugepages available in a 2MB huge page system,"
 349         echo "  enter '64' to reserve 64 * 2MB pages"
 350         echo -n "Number of pages: "
 351         read Pages
 352
 353         echo "echo $Pages > /sys/kernel/mm/hugepages/hugepages-${HUGEPGSZ}/nr_hugepages" > .echo_tmp
 354
 355         echo "Reserving hugepages"
 356         sudo sh .echo_tmp
 357         rm -f .echo_tmp
 358
 359         create_mnt_huge
 360 }
 361
 362 #
 363 # Creates hugepages on specific NUMA nodes.
 364 #
 365 set_numa_pages()
 366 {
 367         clear_huge_pages
 368
 369         echo ""
 370         echo "  Input the number of ${HUGEPGSZ} hugepages for each node"
 371         echo "  Example: to have 128MB of hugepages available per node in a 2MB huge page system,"
 372         echo "  enter '64' to reserve 64 * 2MB pages on each node"
 373
 374         echo > .echo_tmp
 375         for d in /sys/devices/system/node/node? ; do
 376                 node=$(basename $d)
 377                 echo -n "Number of pages for $node: "
 378                 read Pages
 379                 echo "echo $Pages > $d/hugepages/hugepages-${HUGEPGSZ}/nr_hugepages" >> .echo_tmp
 380         done
 381         echo "Reserving hugepages"
 382         sudo sh .echo_tmp
 383         rm -f .echo_tmp
 384
 385         create_mnt_huge
 386 }
 387
 388 #
 389 # Run unit test application.
 390 #
 391 run_test_app()
 392 {
 393         echo ""
 394         echo "  Enter hex bitmask of cores to execute test app on"
 395         echo "  Example: to execute app on cores 0 to 7, enter 0xff"
 396         echo -n "bitmask: "
 397         read Bitmask
 398         echo "Launching app"
 399         sudo ${RTE_TARGET}/app/test -c $Bitmask $EAL_PARAMS
 400 }
 401
 402 #
 403 # Run unit testpmd application.
 404 #
 405 run_testpmd_app()
 406 {
 407         echo ""
 408         echo "  Enter hex bitmask of cores to execute testpmd app on"
 409         echo "  Example: to execute app on cores 0 to 7, enter 0xff"
 410         echo -n "bitmask: "
 411         read Bitmask
 412         echo "Launching app"
 413         sudo ${RTE_TARGET}/app/testpmd -c $Bitmask $EAL_PARAMS -- -i
 414 }
 415
 416 #
 417 # Print hugepage information.
 418 #
 419 grep_meminfo()
 420 {
 421         grep -i huge /proc/meminfo
 422 }
 423
 424 #
 425 # Calls dpdk-devbind.py --status to show the devices and what they
 426 # are all bound to, in terms of drivers.
 427 #
 428 show_devices()
 429 {
 430         if [ -d /sys/module/vfio_pci -o -d /sys/module/igb_uio ]; then
 431                 ${RTE_SDK}/usertools/dpdk-devbind.py --status
 432         else
 433                 echo "# Please load the 'igb_uio' or 'vfio-pci' kernel module before "
 434                 echo "# querying or adjusting device bindings"
 435         fi
 436 }
 437
 438 #
 439 # Uses dpdk-devbind.py to move devices to work with vfio-pci
 440 #
 441 bind_devices_to_vfio()
 442 {
 443         if [ -d /sys/module/vfio_pci ]; then
 444                 ${RTE_SDK}/usertools/dpdk-devbind.py --status
 445                 echo ""
 446                 echo -n "Enter PCI address of device to bind to VFIO driver: "
 447                 read PCI_PATH
 448                 sudo ${RTE_SDK}/usertools/dpdk-devbind.py -b vfio-pci $PCI_PATH &&
 449                         echo "OK"
 450         else
 451                 echo "# Please load the 'vfio-pci' kernel module before querying or "
 452                 echo "# adjusting device bindings"
 453         fi
 454 }
 455
 456 #
 457 # Uses dpdk-devbind.py to move devices to work with igb_uio
 458 #
 459 bind_devices_to_igb_uio()
 460 {
 461         if [ -d /sys/module/igb_uio ]; then
 462                 ${RTE_SDK}/usertools/dpdk-devbind.py --status
 463                 echo ""
 464                 echo -n "Enter PCI address of device to bind to IGB UIO driver: "
 465                 read PCI_PATH
 466                 sudo ${RTE_SDK}/usertools/dpdk-devbind.py -b igb_uio $PCI_PATH && echo "OK"
 467         else
 468                 echo "# Please load the 'igb_uio' kernel module before querying or "
 469                 echo "# adjusting device bindings"
 470         fi
 471 }
 472
 473 #
 474 # Uses dpdk-devbind.py to move devices to work with kernel drivers again
 475 #
 476 unbind_devices()
 477 {
 478         ${RTE_SDK}/usertools/dpdk-devbind.py --status
 479         echo ""
 480         echo -n "Enter PCI address of device to unbind: "
 481         read PCI_PATH
 482         echo ""
 483         echo -n "Enter name of kernel driver to bind the device to: "
 484         read DRV
 485         sudo ${RTE_SDK}/usertools/dpdk-devbind.py -b $DRV $PCI_PATH && echo "OK"
 486 }
 487
 488 #
 489 # Options for building a target. Note that this step MUST be first as it sets
 490 # up TARGETS[] starting from 1, and this is accessed in setup_target using the
 491 # user entered option.
 492 #
 493 step1_func()
 494 {
 495         TITLE="Select the DPDK environment to build"
 496         CONFIG_NUM=1
 497         for cfg in config/defconfig_* ; do
 498                 cfg=${cfg/config\/defconfig_/}
 499                 TEXT[$CONFIG_NUM]="$cfg"
 500                 TARGETS[$CONFIG_NUM]=$cfg
 501                 FUNC[$CONFIG_NUM]="setup_target"
 502                 let "CONFIG_NUM+=1"
 503         done
 504 }
 505
 506 #
 507 # Options for setting up environment.
 508 #
 509 step2_func()
 510 {
 511         TITLE="Setup linuxapp environment"
 512
 513         TEXT[1]="Insert IGB UIO module"
 514         FUNC[1]="load_igb_uio_module"
 515
 516         TEXT[2]="Insert VFIO module"
 517         FUNC[2]="load_vfio_module"
 518
 519         TEXT[3]="Insert KNI module"
 520         FUNC[3]="load_kni_module"
 521
 522         TEXT[4]="Setup hugepage mappings for non-NUMA systems"
 523         FUNC[4]="set_non_numa_pages"
 524
 525         TEXT[5]="Setup hugepage mappings for NUMA systems"
 526         FUNC[5]="set_numa_pages"
 527
 528         TEXT[6]="Display current Ethernet/Crypto device settings"
 529         FUNC[6]="show_devices"
 530
 531         TEXT[7]="Bind Ethernet/Crypto device to IGB UIO module"
 532         FUNC[7]="bind_devices_to_igb_uio"
 533
 534         TEXT[8]="Bind Ethernet/Crypto device to VFIO module"
 535         FUNC[8]="bind_devices_to_vfio"
 536
 537         TEXT[9]="Setup VFIO permissions"
 538         FUNC[9]="set_vfio_permissions"
 539 }
 540
 541 #
 542 # Options for running applications.
 543 #
 544 step3_func()
 545 {
 546         TITLE="Run test application for linuxapp environment"
 547
 548         TEXT[1]="Run test application (\$RTE_TARGET/app/test)"
 549         FUNC[1]="run_test_app"
 550
 551         TEXT[2]="Run testpmd application in interactive mode (\$RTE_TARGET/app/testpmd)"
 552         FUNC[2]="run_testpmd_app"
 553 }
 554
 555 #
 556 # Other options
 557 #
 558 step4_func()
 559 {
 560         TITLE="Other tools"
 561
 562         TEXT[1]="List hugepage info from /proc/meminfo"
 563         FUNC[1]="grep_meminfo"
 564
 565 }
 566
 567 #
 568 # Options for cleaning up the system
 569 #
 570 step5_func()
 571 {
 572         TITLE="Uninstall and system cleanup"
 573
 574         TEXT[1]="Unbind devices from IGB UIO or VFIO driver"
 575         FUNC[1]="unbind_devices"
 576
 577         TEXT[2]="Remove IGB UIO module"
 578         FUNC[2]="remove_igb_uio_module"
 579
 580         TEXT[3]="Remove VFIO module"
 581         FUNC[3]="remove_vfio_module"
 582
 583         TEXT[4]="Remove KNI module"
 584         FUNC[4]="remove_kni_module"
 585
 586         TEXT[5]="Remove hugepage mappings"
 587         FUNC[5]="clear_huge_pages"
 588 }
 589
 590 STEPS[1]="step1_func"
 591 STEPS[2]="step2_func"
 592 STEPS[3]="step3_func"
 593 STEPS[4]="step4_func"
 594 STEPS[5]="step5_func"
 595
 596 QUIT=0
 597
 598 while [ "$QUIT" == "0" ]; do
 599         OPTION_NUM=1
 600
 601         for s in $(seq ${#STEPS[@]}) ; do
 602                 ${STEPS[s]}
 603
 604                 echo "----------------------------------------------------------"
 605                 echo " Step $s: ${TITLE}"
 606                 echo "----------------------------------------------------------"
 607
 608                 for i in $(seq ${#TEXT[@]}) ; do
 609                         echo "[$OPTION_NUM] ${TEXT[i]}"
 610                         OPTIONS[$OPTION_NUM]=${FUNC[i]}
 611                         let "OPTION_NUM+=1"
 612                 done
 613
 614                 # Clear TEXT and FUNC arrays before next step
 615                 unset TEXT
 616                 unset FUNC
 617
 618                 echo ""
 619         done
 620
 621         echo "[$OPTION_NUM] Exit Script"
 622         OPTIONS[$OPTION_NUM]="quit"
 623         echo ""
 624         echo -n "Option: "
 625         read our_entry
 626         echo ""
 627         ${OPTIONS[our_entry]} ${our_entry}
 628
 629         if [ "$QUIT" == "0" ] ; then
 630                 echo
 631                 echo -n "Press enter to continue ..."; read
 632         fi
 633
 634 done