doc/guides/nics/mvpp2.rst

   1 ..  SPDX-License-Identifier: BSD-3-Clause
   2     Copyright(c) 2017 Marvell International Ltd.
   3     Copyright(c) 2017 Semihalf.
   4
   5 .. _mvpp2_poll_mode_driver:
   6
   7 MVPP2 Poll Mode Driver
   8 ======================
   9
  10 The MVPP2 PMD (**librte_net_mvpp2**) provides poll mode driver support
  11 for the Marvell PPv2 (Packet Processor v2) 1/10 Gbps adapter.
  12
  13 Detailed information about SoCs that use PPv2 can be obtained here:
  14
  15 * https://www.marvell.com/embedded-processors/armada-70xx/
  16 * https://www.marvell.com/embedded-processors/armada-80xx/
  17
  18
  19 Features
  20 --------
  21
  22 Features of the MVPP2 PMD are:
  23
  24 - Speed capabilities
  25 - Link status
  26 - Tx Queue start/stop
  27 - MTU update
  28 - Jumbo frame
  29 - Promiscuous mode
  30 - Allmulticast mode
  31 - Unicast MAC filter
  32 - Multicast MAC filter
  33 - RSS hash
  34 - VLAN filter
  35 - CRC offload
  36 - L3 checksum offload
  37 - L4 checksum offload
  38 - Packet type parsing
  39 - Basic stats
  40 - :ref:`Extended stats <extstats>`
  41 - RX flow control
  42 - Scattered TX frames
  43 - :ref:`QoS <extconf>`
  44 - :ref:`Flow API <flowapi>`
  45 - :ref:`Traffic metering and policing <mtrapi>`
  46 - :ref:`Traffic Management API <tmapi>`
  47
  48 Limitations
  49 -----------
  50
  51 - Number of lcores is limited to 9 by MUSDK internal design. If more lcores
  52   need to be allocated, locking will have to be considered. Number of available
  53   lcores can be changed via ``MRVL_MUSDK_HIFS_RESERVED`` define in
  54   ``mrvl_ethdev.c`` source file.
  55
  56 - Flushing vlans added for filtering is not possible due to MUSDK missing
  57   functionality. Current workaround is to reset board so that PPv2 has a
  58   chance to start in a sane state.
  59
  60 - MUSDK architecture does not support changing configuration in run time.
  61   All necessary configurations should be done before first dev_start().
  62
  63 - RX queue start/stop is not supported.
  64
  65 - Current implementation does not support replacement of buffers in the HW buffer pool
  66   at run time, so it is responsibility of the application to ensure that MTU does not exceed the configured buffer size.
  67
  68 - Configuring TX flow control currently is not supported.
  69
  70 - In current implementation, mechanism for acknowledging transmitted packets (``tx_done_cleanup``) is not supported.
  71
  72 - Running more than one DPDK-MUSDK application simultaneously is not supported.
  73
  74
  75 Prerequisites
  76 -------------
  77
  78 - Custom Linux Kernel sources
  79
  80   .. code-block:: console
  81
  82      git clone https://github.com/MarvellEmbeddedProcessors/linux-marvell.git -b linux-4.4.120-armada-18.09
  83
  84 - Out of tree `mvpp2x_sysfs` kernel module sources
  85
  86   .. code-block:: console
  87
  88      git clone https://github.com/MarvellEmbeddedProcessors/mvpp2x-marvell.git -b mvpp2x-armada-18.09
  89
  90 - MUSDK (Marvell User-Space SDK) sources
  91
  92   .. code-block:: console
  93
  94      git clone https://github.com/MarvellEmbeddedProcessors/musdk-marvell.git -b musdk-release-SDK-10.3.5.0-PR2
  95
  96   MUSDK is a light-weight library that provides direct access to Marvell's
  97   PPv2 (Packet Processor v2). Alternatively prebuilt MUSDK library can be
  98   requested from `Marvell Extranet <https://extranet.marvell.com>`_. Once
  99   approval has been granted, library can be found by typing ``musdk`` in
 100   the search box.
 101
 102   To get better understanding of the library one can consult documentation
 103   available in the ``doc`` top level directory of the MUSDK sources.
 104
 105 - DPDK environment
 106
 107   Follow the DPDK :ref:`Getting Started Guide for Linux <linux_gsg>` to setup
 108   DPDK environment.
 109
 110
 111 Building MUSDK
 112 --------------
 113
 114 Driver needs precompiled MUSDK library during compilation.
 115
 116 .. code-block:: console
 117
 118    export CROSS_COMPILE=<toolchain>/bin/aarch64-linux-gnu-
 119    ./bootstrap
 120    ./configure --host=aarch64-linux-gnu
 121    make install
 122
 123 MUSDK will be installed to `usr/local` under current directory.
 124 For the detailed build instructions please consult ``doc/musdk_get_started.txt``.
 125
 126
 127 Building DPDK
 128 -------------
 129
 130 Add path to libmusdk.pc in PKG_CONFIG_PATH environment variable.
 131
 132 .. code-block:: console
 133
 134    export PKG_CONFIG_PATH=$<musdk_install_dir>/lib/pkgconfig/:$PKG_CONFIG_PATH
 135
 136    meson build --cross-file config/arm/arm64_armada_linux_gcc
 137    ninja -C build
 138
 139
 140 Usage Example
 141 -------------
 142
 143 MVPP2 PMD requires extra out of tree kernel modules to function properly.
 144 `musdk_cma` sources are part of the MUSDK. Please consult
 145 ``doc/musdk_get_started.txt`` for the detailed build instructions.
 146 For `mvpp2x_sysfs` please consult ``Documentation/pp22_sysfs.txt`` for the
 147 detailed build instructions.
 148
 149 .. code-block:: console
 150
 151    insmod musdk_cma.ko
 152    insmod mvpp2x_sysfs.ko
 153
 154 Additionally interfaces used by DPDK application need to be put up:
 155
 156 .. code-block:: console
 157
 158    ip link set eth0 up
 159    ip link set eth2 up
 160
 161 In order to run testpmd example application following command can be used:
 162
 163 .. code-block:: console
 164
 165    ./dpdk-testpmd --vdev=eth_mvpp2,iface=eth0,iface=eth2 -c 7 -- \
 166      --burst=128 --txd=2048 --rxd=1024 --rxq=2 --txq=2  --nb-cores=2 \
 167      -i -a --rss-udp
 168
 169 .. _extstats:
 170
 171 Extended stats
 172 --------------
 173
 174 MVPP2 PMD supports the following extended statistics:
 175
 176         - ``rx_bytes``: number of RX bytes
 177         - ``rx_packets``: number of RX packets
 178         - ``rx_unicast_packets``: number of RX unicast packets
 179         - ``rx_errors``: number of RX MAC errors
 180         - ``rx_fullq_dropped``: number of RX packets dropped due to full RX queue
 181         - ``rx_bm_dropped``: number of RX packets dropped due to no available buffers in the HW pool
 182         - ``rx_early_dropped``: number of RX packets that were early dropped
 183         - ``rx_fifo_dropped``: number of RX packets dropped due to RX fifo overrun
 184         - ``rx_cls_dropped``: number of RX packets dropped by classifier
 185         - ``tx_bytes``: number of TX bytes
 186         - ``tx_packets``: number of TX packets
 187         - ``tx_unicast_packets``: number of TX unicast packets
 188         - ``tx_errors``: number of TX MAC errors
 189
 190
 191 .. _extconf:
 192
 193 External Configuration
 194 ----------------------
 195
 196 Several driver configuration (e.g. QoS) can be done through external configuration file. Path to the
 197 file must be given as `cfg` in driver's vdev parameter list.
 198
 199 Configuration syntax
 200 ~~~~~~~~~~~~~~~~~~~~
 201
 202 .. code-block:: console
 203
 204    [policer <policer_id>]
 205    token_unit = <token_unit>
 206    color = <color_mode>
 207    cir = <cir>
 208    ebs = <ebs>
 209    cbs = <cbs>
 210
 211    [parser udf <udf_id>]
 212    proto = <proto>
 213    field = <field>
 214    key = <key>
 215    mask = <mask>
 216    offset = <offset>
 217
 218    [port <portnum> default]
 219    start_hdr = <start_hdr>
 220    default_tc = <default_tc>
 221    mapping_priority = <mapping_priority>
 222
 223    rate_limit_enable = <rate_limit_enable>
 224    rate_limit = <rate_limit>
 225    burst_size = <burst_size>
 226
 227    default_policer = <policer_id>
 228
 229    [port <portnum> tc <traffic_class>]
 230    rxq = <rx_queue_list>
 231    pcp = <pcp_list>
 232    dscp = <dscp_list>
 233    default_color = <default_color>
 234
 235    [port <portnum> tc <traffic_class>]
 236    rxq = <rx_queue_list>
 237    pcp = <pcp_list>
 238    dscp = <dscp_list>
 239
 240    [port <portnum> txq <txqnum>]
 241    sched_mode = <sched_mode>
 242    wrr_weight = <wrr_weight>
 243
 244    rate_limit_enable = <rate_limit_enable>
 245    rate_limit = <rate_limit>
 246    burst_size = <burst_size>
 247
 248 Where:
 249
 250 - ``<udf_id>``: Logical UDF id.
 251
 252 - ``<proto>``: Indicate the preceding hdr before the UDF header (`eth` or `udp`).
 253
 254 - ``<field>``: Indicate the field of the <proto> hdr (`type` (eth) or `dport` (udp).
 255
 256 - ``<key>``: UDF key in string format starting with '0x'.
 257
 258 - ``<mask>``: UDF mask in string format starting with '0x'.
 259
 260 - ``<offset>``: Starting UDF offset from the <proto> hdr.
 261
 262 - ``<portnum>``: DPDK Port number (0..n).
 263
 264 - ``<start_hdr>``: Indicate what is the start header mode (`none` (eth), `dsa`, `ext_dsa` or `custom`).
 265
 266 - ``<default_tc>``: Default traffic class (e.g. 0)
 267
 268 - ``<mapping_priority>``: QoS priority for mapping (`ip`, `vlan`, `ip/vlan` or `vlan/ip`).
 269
 270 - ``<traffic_class>``: Traffic Class to be configured.
 271
 272 - ``<rx_queue_list>``: List of DPDK RX queues (e.g. 0 1 3-4)
 273
 274 - ``<pcp_list>``: List of PCP values to handle in particular TC (e.g. 0 1 3-4 7).
 275
 276 - ``<dscp_list>``: List of DSCP values to handle in particular TC (e.g. 0-12 32-48 63).
 277
 278 - ``<default_policer>``: Id of the policer configuration section to be used as default.
 279
 280 - ``<policer_id>``: Id of the policer configuration section (0..31).
 281
 282 - ``<token_unit>``: Policer token unit (`bytes` or `packets`).
 283
 284 - ``<color_mode>``: Policer color mode (`aware` or `blind`).
 285
 286 - ``<cir>``: Committed information rate in unit of kilo bits per second (data rate) or packets per second.
 287
 288 - ``<cbs>``: Committed burst size in unit of kilo bytes or number of packets.
 289
 290 - ``<ebs>``: Excess burst size in unit of kilo bytes or number of packets.
 291
 292 - ``<default_color>``: Default color for specific tc.
 293
 294 - ``<rate_limit_enable>``: Enables per port or per txq rate limiting (`0`/`1` to disable/enable).
 295
 296 - ``<rate_limit>``: Committed information rate, in kilo bits per second.
 297
 298 - ``<burst_size>``: Committed burst size, in kilo bytes.
 299
 300 - ``<sched_mode>``: Egress scheduler mode (`wrr` or `sp`).
 301
 302 - ``<wrr_weight>``: Txq weight.
 303
 304 Setting PCP/DSCP values for the default TC is not required. All PCP/DSCP
 305 values not assigned explicitly to particular TC will be handled by the
 306 default TC.
 307
 308 Configuration file example
 309 ^^^^^^^^^^^^^^^^^^^^^^^^^^
 310
 311 .. code-block:: console
 312
 313    [policer 0]
 314    token_unit = bytes
 315    color = blind
 316    cir = 100000
 317    ebs = 64
 318    cbs = 64
 319
 320    [port 0 default]
 321    default_tc = 0
 322    mapping_priority = ip
 323
 324    rate_limit_enable = 1
 325    rate_limit = 1000
 326    burst_size = 2000
 327
 328    [port 0 tc 0]
 329    rxq = 0 1
 330
 331    [port 0 txq 0]
 332    sched_mode = wrr
 333    wrr_weight = 10
 334
 335    [port 0 txq 1]
 336    sched_mode = wrr
 337    wrr_weight = 100
 338
 339    [port 0 txq 2]
 340    sched_mode = sp
 341
 342    [port 0 tc 1]
 343    rxq = 2
 344    pcp = 5 6 7
 345    dscp = 26-38
 346
 347    [port 1 default]
 348    default_tc = 0
 349    mapping_priority = vlan/ip
 350
 351    default_policer = 0
 352
 353    [port 1 tc 0]
 354    rxq = 0
 355    dscp = 10
 356
 357    [port 1 tc 1]
 358    rxq = 1
 359    dscp = 11-20
 360
 361    [port 1 tc 2]
 362    rxq = 2
 363    dscp = 30
 364
 365    [port 1 txq 0]
 366    rate_limit_enable = 1
 367    rate_limit = 10000
 368    burst_size = 2000
 369
 370 Configuration file example with UDF
 371 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
 372
 373 .. code-block:: console
 374
 375    [parser udf 0]
 376    proto = eth
 377    field = type
 378    key = 0x8842
 379    mask = 0xffff
 380    offset = 6
 381
 382 Usage example
 383 ^^^^^^^^^^^^^
 384
 385 .. code-block:: console
 386
 387    ./dpdk-testpmd --vdev=eth_mvpp2,iface=eth0,iface=eth2,cfg=/home/user/mrvl.conf \
 388      -c 7 -- -i -a --disable-hw-vlan-strip --rxq=3 --txq=3
 389
 390 .. _flowapi:
 391
 392 Flow API
 393 --------
 394
 395 PPv2 offers packet classification capabilities via classifier engine which
 396 can be configured via generic flow API offered by DPDK.
 397
 398 The :ref:`flow_isolated_mode` is supported.
 399
 400 For an additional description please refer to DPDK :doc:`../prog_guide/rte_flow`.
 401
 402 Supported flow actions
 403 ~~~~~~~~~~~~~~~~~~~~~~
 404
 405 Following flow action items are supported by the driver:
 406
 407 * DROP
 408 * QUEUE
 409 * METER
 410
 411 Supported flow items
 412 ~~~~~~~~~~~~~~~~~~~~
 413
 414 Following flow items and their respective fields are supported by the driver:
 415
 416 * ETH
 417
 418   * source MAC
 419   * destination MAC
 420   * ethertype
 421
 422 * VLAN
 423
 424   * PCP
 425   * VID
 426
 427 * IPV4
 428
 429   * DSCP
 430   * protocol
 431   * source address
 432   * destination address
 433
 434 * IPV6
 435
 436   * flow label
 437   * next header
 438   * source address
 439   * destination address
 440
 441 * UDP
 442
 443   * source port
 444   * destination port
 445
 446 * TCP
 447
 448   * source port
 449   * destination port
 450
 451 Classifier match engine
 452 ~~~~~~~~~~~~~~~~~~~~~~~
 453
 454 Classifier has an internal match engine which can be configured to
 455 operate in either exact or maskable mode.
 456
 457 Mode is selected upon creation of the first unique flow rule as follows:
 458
 459 * maskable, if key size is up to 8 bytes.
 460 * exact, otherwise, i.e for keys bigger than 8 bytes.
 461
 462 Where the key size equals the number of bytes of all fields specified
 463 in the flow items.
 464
 465 .. table:: Examples of key size calculation
 466
 467    +----------------------------------------------------------------------------+-------------------+-------------+
 468    | Flow pattern                                                               | Key size in bytes | Used engine |
 469    +============================================================================+===================+=============+
 470    | ETH (destination MAC) / VLAN (VID)                                         | 6 + 2 = 8         | Maskable    |
 471    +----------------------------------------------------------------------------+-------------------+-------------+
 472    | VLAN (VID) / IPV4 (source address)                                         | 2 + 4 = 6         | Maskable    |
 473    +----------------------------------------------------------------------------+-------------------+-------------+
 474    | TCP (source port, destination port)                                        | 2 + 2 = 4         | Maskable    |
 475    +----------------------------------------------------------------------------+-------------------+-------------+
 476    | VLAN (priority) / IPV4 (source address)                                    | 1 + 4 = 5         | Maskable    |
 477    +----------------------------------------------------------------------------+-------------------+-------------+
 478    | IPV4 (destination address) / UDP (source port, destination port)           | 6 + 2 + 2 = 10    | Exact       |
 479    +----------------------------------------------------------------------------+-------------------+-------------+
 480    | VLAN (VID) / IPV6 (flow label, destination address)                        | 2 + 3 + 16 = 21   | Exact       |
 481    +----------------------------------------------------------------------------+-------------------+-------------+
 482    | IPV4 (DSCP, source address, destination address)                           | 1 + 4 + 4 = 9     | Exact       |
 483    +----------------------------------------------------------------------------+-------------------+-------------+
 484    | IPV6 (flow label, source address, destination address)                     | 3 + 16 + 16 = 35  | Exact       |
 485    +----------------------------------------------------------------------------+-------------------+-------------+
 486
 487 From the user perspective maskable mode means that masks specified
 488 via flow rules are respected. In case of exact match mode, masks
 489 which do not provide exact matching (all bits masked) are ignored.
 490
 491 If the flow matches more than one classifier rule the first
 492 (with the lowest index) matched takes precedence.
 493
 494 Flow rules usage example
 495 ~~~~~~~~~~~~~~~~~~~~~~~~
 496
 497 Before proceeding run testpmd user application:
 498
 499 .. code-block:: console
 500
 501    ./dpdk-testpmd --vdev=eth_mvpp2,iface=eth0,iface=eth2 -c 3 -- -i --p 3 -a --disable-hw-vlan-strip
 502
 503 Example #1
 504 ^^^^^^^^^^
 505
 506 .. code-block:: console
 507
 508    testpmd> flow create 0 ingress pattern eth src is 10:11:12:13:14:15 / end actions drop / end
 509
 510 In this case key size is 6 bytes thus maskable type is selected. Testpmd
 511 will set mask to ff:ff:ff:ff:ff:ff i.e traffic explicitly matching
 512 above rule will be dropped.
 513
 514 Example #2
 515 ^^^^^^^^^^
 516
 517 .. code-block:: console
 518
 519    testpmd> flow create 0 ingress pattern ipv4 src spec 10.10.10.0 src mask 255.255.255.0 / tcp src spec 0x10 src mask 0x10 / end action drop / end
 520
 521 In this case key size is 8 bytes thus maskable type is selected.
 522 Flows which have IPv4 source addresses ranging from 10.10.10.0 to 10.10.10.255
 523 and tcp source port set to 16 will be dropped.
 524
 525 Example #3
 526 ^^^^^^^^^^
 527
 528 .. code-block:: console
 529
 530    testpmd> flow create 0 ingress pattern vlan vid spec 0x10 vid mask 0x10 / ipv4 src spec 10.10.1.1 src mask 255.255.0.0 dst spec 11.11.11.1 dst mask 255.255.255.0 / end actions drop / end
 531
 532 In this case key size is 10 bytes thus exact type is selected.
 533 Even though each item has partial mask set, masks will be ignored.
 534 As a result only flows with VID set to 16 and IPv4 source and destination
 535 addresses set to 10.10.1.1 and 11.11.11.1 respectively will be dropped.
 536
 537 Limitations
 538 ~~~~~~~~~~~
 539
 540 Following limitations need to be taken into account while creating flow rules:
 541
 542 * For IPv4 exact match type the key size must be up to 12 bytes.
 543 * For IPv6 exact match type the key size must be up to 36 bytes.
 544 * Following fields cannot be partially masked (all masks are treated as
 545   if they were exact):
 546
 547   * ETH: ethertype
 548   * VLAN: PCP, VID
 549   * IPv4: protocol
 550   * IPv6: next header
 551   * TCP/UDP: source port, destination port
 552
 553 * Only one classifier table can be created thus all rules in the table
 554   have to match table format. Table format is set during creation of
 555   the first unique flow rule.
 556 * Up to 5 fields can be specified per flow rule.
 557 * Up to 20 flow rules can be added.
 558
 559 For additional information about classifier please consult
 560 ``doc/musdk_cls_user_guide.txt``.
 561
 562 .. _mtrapi:
 563
 564 Traffic metering and policing
 565 -----------------------------
 566
 567 MVPP2 PMD supports DPDK traffic metering and policing that allows the following:
 568
 569 1. Meter ingress traffic.
 570 2. Do policing.
 571 3. Gather statistics.
 572
 573 For an additional description please refer to DPDK :doc:`Traffic Metering and Policing API <../prog_guide/traffic_metering_and_policing>`.
 574
 575 The policer objects defined by this feature can work with the default policer defined via config file as described in :ref:`QoS Support <extconf>`.
 576
 577 Limitations
 578 ~~~~~~~~~~~
 579
 580 The following capabilities are not supported:
 581
 582 - MTR object meter DSCP table update
 583 - MTR object policer action update
 584 - MTR object enabled statistics
 585
 586 Usage example
 587 ~~~~~~~~~~~~~
 588
 589 1. Run testpmd user app:
 590
 591    .. code-block:: console
 592
 593                 ./dpdk-testpmd --vdev=eth_mvpp2,iface=eth0,iface=eth2 -c 6 -- -i -p 3 -a --txd 1024 --rxd 1024
 594
 595 2. Create meter profile:
 596
 597    .. code-block:: console
 598
 599                 testpmd> add port meter profile 0 0 srtcm_rfc2697 2000 256 256
 600
 601 3. Create meter:
 602
 603    .. code-block:: console
 604
 605                 testpmd> create port meter 0 0 0 yes d d d 0 1 0
 606
 607 4. Create flow rule witch meter attached:
 608
 609    .. code-block:: console
 610
 611                 testpmd> flow create 0 ingress pattern ipv4 src is 10.10.10.1 / end actions meter mtr_id 0 / end
 612
 613 For a detailed usage description please refer to "Traffic Metering and Policing" section in DPDK :doc:`Testpmd Runtime Functions <../testpmd_app_ug/testpmd_funcs>`.
 614
 615
 616
 617 .. _tmapi:
 618
 619 Traffic Management API
 620 ----------------------
 621
 622 MVPP2 PMD supports generic DPDK Traffic Management API which allows to
 623 configure the following features:
 624
 625 1. Hierarchical scheduling
 626 2. Traffic shaping
 627 3. Congestion management
 628 4. Packet marking
 629
 630 Internally TM is represented by a hierarchy (tree) of nodes.
 631 Node which has a parent is called a leaf whereas node without
 632 parent is called a non-leaf (root).
 633 MVPP2 PMD supports two level hierarchy where level 0 represents ports and level 1 represents tx queues of a given port.
 634
 635 .. figure:: img/mvpp2_tm.*
 636
 637 Nodes hold following types of settings:
 638
 639 - for egress scheduler configuration: weight
 640 - for egress rate limiter: private shaper
 641 - bitmask indicating which statistics counters will be read
 642
 643 Hierarchy is always constructed from the top, i.e first a root node is added
 644 then some number of leaf nodes. Number of leaf nodes cannot exceed number
 645 of configured tx queues.
 646
 647 After hierarchy is complete it can be committed.
 648
 649
 650 For an additional description please refer to DPDK :doc:`Traffic Management API <../prog_guide/traffic_management>`.
 651
 652 Limitations
 653 ~~~~~~~~~~~
 654
 655 The following capabilities are not supported:
 656
 657 - Traffic manager WRED profile and WRED context
 658 - Traffic manager shared shaper update
 659 - Traffic manager packet marking
 660 - Maximum number of levels in hierarchy is 2
 661 - Currently dynamic change of a hierarchy is not supported
 662
 663 Usage example
 664 ~~~~~~~~~~~~~
 665
 666 For a detailed usage description please refer to "Traffic Management" section in DPDK :doc:`Testpmd Runtime Functions <../testpmd_app_ug/testpmd_funcs>`.
 667
 668 1. Run testpmd as follows:
 669
 670    .. code-block:: console
 671
 672                 ./dpdk-testpmd --vdev=net_mrvl,iface=eth0,iface=eth2,cfg=./qos_config -c 7 -- \
 673                 -i -p 3 --disable-hw-vlan-strip --rxq 3 --txq 3 --txd 1024 --rxd 1024
 674
 675 2. Stop all ports:
 676
 677    .. code-block:: console
 678
 679                 testpmd> port stop all
 680
 681 3. Add shaper profile:
 682
 683    .. code-block:: console
 684
 685                 testpmd> add port tm node shaper profile 0 0 900000 70000 0
 686
 687    Parameters have following meaning::
 688
 689                 0       - Id of a port.
 690                 0       - Id of a new shaper profile.
 691                 900000  - Shaper rate in bytes/s.
 692                 70000   - Bucket size in bytes.
 693                 0       - Packet length adjustment - ignored.
 694
 695 4. Add non-leaf node for port 0:
 696
 697    .. code-block:: console
 698
 699                 testpmd> add port tm nonleaf node 0 3 -1 0 0 0 0 0 1 3 0
 700
 701    Parameters have following meaning::
 702
 703                  0  - Id of a port
 704                  3  - Id of a new node.
 705                 -1  - Indicate that root does not have a parent.
 706                  0  - Priority of the node.
 707                  0  - Weight of the node.
 708                  0  - Id of a level. Since this is a root 0 is passed.
 709                  0  - Id of the shaper profile.
 710                  0  - Number of SP priorities.
 711                  3  - Enable statistics for both number of transmitted packets and bytes.
 712                  0  - Number of shared shapers.
 713
 714 5. Add leaf node for tx queue 0:
 715
 716    .. code-block:: console
 717
 718                 testpmd> add port tm leaf node 0 0 3 0 30 1 -1 0 0 1 0
 719
 720    Parameters have following meaning::
 721
 722                  0  - Id of a port.
 723                  0  - Id of a new node.
 724                  3  - Id of the parent node.
 725                  0  - Priority of a node.
 726                  30 - WRR weight.
 727                  1  - Id of a level. Since this is a leaf node 1 is passed.
 728                 -1  - Id of a shaper. -1 indicates that shaper is not attached.
 729                  0  - Congestion management is not supported.
 730                  0  - Congestion management is not supported.
 731                  1  - Enable statistics counter for number of transmitted packets.
 732                  0  - Number of shared shapers.
 733
 734 6. Add leaf node for tx queue 1:
 735
 736    .. code-block:: console
 737
 738         testpmd> add port tm leaf node 0 1 3 0 60 1 -1 0 0 1 0
 739
 740    Parameters have following meaning::
 741
 742                  0  - Id of a port.
 743                  1  - Id of a new node.
 744                  3  - Id of the parent node.
 745                  0  - Priority of a node.
 746                  60 - WRR weight.
 747                  1  - Id of a level. Since this is a leaf node 1 is passed.
 748                 -1  - Id of a shaper. -1 indicates that shaper is not attached.
 749                  0  - Congestion management is not supported.
 750                  0  - Congestion management is not supported.
 751                  1  - Enable statistics counter for number of transmitted packets.
 752                  0  - Number of shared shapers.
 753
 754 7. Add leaf node for tx queue 2:
 755
 756    .. code-block:: console
 757
 758                 testpmd> add port tm leaf node 0 2 3 0 99 1 -1 0 0 1 0
 759
 760    Parameters have following meaning::
 761
 762                  0  - Id of a port.
 763                  2  - Id of a new node.
 764                  3  - Id of the parent node.
 765                  0  - Priority of a node.
 766                  99 - WRR weight.
 767                  1  - Id of a level. Since this is a leaf node 1 is passed.
 768                 -1  - Id of a shaper. -1 indicates that shaper is not attached.
 769                  0  - Congestion management is not supported.
 770                  0  - Congestion management is not supported.
 771                  1  - Enable statistics counter for number of transmitted packets.
 772                  0  - Number of shared shapers.
 773
 774 8. Commit hierarchy:
 775
 776    .. code-block:: console
 777
 778                 testpmd> port tm hierarchy commit 0 no
 779
 780   Parameters have following meaning::
 781
 782                 0  - Id of a port.
 783                 no - Do not flush TM hierarchy if commit fails.
 784
 785 9. Start all ports
 786
 787    .. code-block:: console
 788
 789                 testpmd> port start all
 790
 791
 792
 793 10. Enable forwarding
 794
 795    .. code-block:: console
 796
 797                 testpmd> start