doc/guides/nics/mvpp2.rst

   1 ..  SPDX-License-Identifier: BSD-3-Clause
   2     Copyright(c) 2017 Marvell International Ltd.
   3     Copyright(c) 2017 Semihalf.
   4
   5 .. _mvpp2_poll_mode_driver:
   6
   7 MVPP2 Poll Mode Driver
   8 ======================
   9
  10 The MVPP2 PMD (**librte_net_mvpp2**) provides poll mode driver support
  11 for the Marvell PPv2 (Packet Processor v2) 1/10 Gbps adapter.
  12
  13 Detailed information about SoCs that use PPv2 can be obtained here:
  14
  15 * https://www.marvell.com/embedded-processors/armada-70xx/
  16 * https://www.marvell.com/embedded-processors/armada-80xx/
  17
  18
  19 Features
  20 --------
  21
  22 Features of the MVPP2 PMD are:
  23
  24 - Speed capabilities
  25 - Link status
  26 - Tx Queue start/stop
  27 - MTU update
  28 - Jumbo frame
  29 - Promiscuous mode
  30 - Allmulticast mode
  31 - Unicast MAC filter
  32 - Multicast MAC filter
  33 - RSS hash
  34 - VLAN filter
  35 - CRC offload
  36 - L3 checksum offload
  37 - L4 checksum offload
  38 - Packet type parsing
  39 - Basic stats
  40 - :ref:`Extended stats <extstats>`
  41 - RX flow control
  42 - Scattered TX frames
  43 - :ref:`QoS <extconf>`
  44 - :ref:`Flow API <flowapi>`
  45 - :ref:`Traffic metering and policing <mtrapi>`
  46 - :ref:`Traffic Management API <tmapi>`
  47
  48 Limitations
  49 -----------
  50
  51 - Number of lcores is limited to 9 by MUSDK internal design. If more lcores
  52   need to be allocated, locking will have to be considered. Number of available
  53   lcores can be changed via ``MRVL_MUSDK_HIFS_RESERVED`` define in
  54   ``mrvl_ethdev.c`` source file.
  55
  56 - Flushing vlans added for filtering is not possible due to MUSDK missing
  57   functionality. Current workaround is to reset board so that PPv2 has a
  58   chance to start in a sane state.
  59
  60 - MUSDK architecture does not support changing configuration in run time.
  61   All necessary configurations should be done before first dev_start().
  62
  63 - RX queue start/stop is not supported.
  64
  65 - Current implementation does not support replacement of buffers in the HW buffer pool
  66   at run time, so it is responsibility of the application to ensure that MTU does not exceed the configured buffer size.
  67
  68 - Configuring TX flow control currently is not supported.
  69
  70 - In current implementation, mechanism for acknowledging transmitted packets (``tx_done_cleanup``) is not supported.
  71
  72 - Running more than one DPDK-MUSDK application simultaneously is not supported.
  73
  74
  75 Prerequisites
  76 -------------
  77
  78 - Custom Linux Kernel sources
  79
  80   .. code-block:: console
  81
  82      git clone https://github.com/MarvellEmbeddedProcessors/linux-marvell.git -b linux-4.4.120-armada-18.09
  83
  84 - Out of tree `mvpp2x_sysfs` kernel module sources
  85
  86   .. code-block:: console
  87
  88      git clone https://github.com/MarvellEmbeddedProcessors/mvpp2x-marvell.git -b mvpp2x-armada-18.09
  89
  90 - MUSDK (Marvell User-Space SDK) sources
  91
  92   .. code-block:: console
  93
  94      git clone https://github.com/MarvellEmbeddedProcessors/musdk-marvell.git -b musdk-release-SDK-10.3.5.0-PR2
  95
  96   MUSDK is a light-weight library that provides direct access to Marvell's
  97   PPv2 (Packet Processor v2). Alternatively prebuilt MUSDK library can be
  98   requested from `Marvell Extranet <https://extranet.marvell.com>`_. Once
  99   approval has been granted, library can be found by typing ``musdk`` in
 100   the search box.
 101
 102   To get better understanding of the library one can consult documentation
 103   available in the ``doc`` top level directory of the MUSDK sources.
 104
 105 - DPDK environment
 106
 107   Follow the DPDK :ref:`Getting Started Guide for Linux <linux_gsg>` to setup
 108   DPDK environment.
 109
 110
 111 Building MUSDK
 112 --------------
 113
 114 Driver needs precompiled MUSDK library during compilation.
 115
 116 .. code-block:: console
 117
 118    export CROSS_COMPILE=<toolchain>/bin/aarch64-linux-gnu-
 119    ./bootstrap
 120    ./configure --host=aarch64-linux-gnu
 121    make install
 122
 123 MUSDK will be installed to `usr/local` under current directory.
 124 For the detailed build instructions please consult ``doc/musdk_get_started.txt``.
 125
 126
 127 Building DPDK
 128 -------------
 129
 130 Add path to libmusdk.pc in PKG_CONFIG_PATH environment variable.
 131
 132 .. code-block:: console
 133
 134    export PKG_CONFIG_PATH=$<musdk_install_dir>/lib/pkgconfig/:$PKG_CONFIG_PATH
 135
 136    meson build --cross-file config/arm/arm64_armada_linux_gcc
 137    ninja -C build
 138
 139
 140 Usage Example
 141 -------------
 142
 143 MVPP2 PMD requires extra out of tree kernel modules to function properly.
 144 `musdk_cma` sources are part of the MUSDK. Please consult
 145 ``doc/musdk_get_started.txt`` for the detailed build instructions.
 146 For `mvpp2x_sysfs` please consult ``Documentation/pp22_sysfs.txt`` for the
 147 detailed build instructions.
 148
 149 .. code-block:: console
 150
 151    insmod musdk_cma.ko
 152    insmod mvpp2x_sysfs.ko
 153
 154 Additionally interfaces used by DPDK application need to be put up:
 155
 156 .. code-block:: console
 157
 158    ip link set eth0 up
 159    ip link set eth2 up
 160
 161 In order to run testpmd example application following command can be used:
 162
 163 .. code-block:: console
 164
 165    ./dpdk-testpmd --vdev=eth_mvpp2,iface=eth0,iface=eth2 -c 7 -- \
 166      --burst=128 --txd=2048 --rxd=1024 --rxq=2 --txq=2  --nb-cores=2 \
 167      -i -a --rss-udp
 168
 169 .. _extstats:
 170
 171 Extended stats
 172 --------------
 173
 174 MVPP2 PMD supports the following extended statistics:
 175
 176         - ``rx_bytes``: number of RX bytes
 177         - ``rx_packets``: number of RX packets
 178         - ``rx_unicast_packets``: number of RX unicast packets
 179         - ``rx_errors``: number of RX MAC errors
 180         - ``rx_fullq_dropped``: number of RX packets dropped due to full RX queue
 181         - ``rx_bm_dropped``: number of RX packets dropped due to no available buffers in the HW pool
 182         - ``rx_early_dropped``: number of RX packets that were early dropped
 183         - ``rx_fifo_dropped``: number of RX packets dropped due to RX fifo overrun
 184         - ``rx_cls_dropped``: number of RX packets dropped by classifier
 185         - ``tx_bytes``: number of TX bytes
 186         - ``tx_packets``: number of TX packets
 187         - ``tx_unicast_packets``: number of TX unicast packets
 188         - ``tx_errors``: number of TX MAC errors
 189
 190
 191 .. _extconf:
 192
 193 External Configuration
 194 ----------------------
 195
 196 Several driver configuration (e.g. QoS) can be done through external configuration file. Path to the
 197 file must be given as `cfg` in driver's vdev parameter list.
 198
 199 Configuration syntax
 200 ~~~~~~~~~~~~~~~~~~~~
 201
 202 .. code-block:: console
 203
 204    [policer <policer_id>]
 205    token_unit = <token_unit>
 206    color = <color_mode>
 207    cir = <cir>
 208    ebs = <ebs>
 209    cbs = <cbs>
 210
 211    [port <portnum> default]
 212    dsa_mode = <dsa_mode>
 213    default_tc = <default_tc>
 214    mapping_priority = <mapping_priority>
 215
 216    rate_limit_enable = <rate_limit_enable>
 217    rate_limit = <rate_limit>
 218    burst_size = <burst_size>
 219
 220    default_policer = <policer_id>
 221
 222    [port <portnum> tc <traffic_class>]
 223    rxq = <rx_queue_list>
 224    pcp = <pcp_list>
 225    dscp = <dscp_list>
 226    default_color = <default_color>
 227
 228    [port <portnum> tc <traffic_class>]
 229    rxq = <rx_queue_list>
 230    pcp = <pcp_list>
 231    dscp = <dscp_list>
 232
 233    [port <portnum> txq <txqnum>]
 234    sched_mode = <sched_mode>
 235    wrr_weight = <wrr_weight>
 236
 237    rate_limit_enable = <rate_limit_enable>
 238    rate_limit = <rate_limit>
 239    burst_size = <burst_size>
 240
 241 Where:
 242
 243 - ``<portnum>``: DPDK Port number (0..n).
 244
 245 - ``<dsa_mode>``: Indicate what is the dsa header mode (`none`, `dsa`, or `ext_dsa`).
 246
 247 - ``<default_tc>``: Default traffic class (e.g. 0)
 248
 249 - ``<mapping_priority>``: QoS priority for mapping (`ip`, `vlan`, `ip/vlan` or `vlan/ip`).
 250
 251 - ``<traffic_class>``: Traffic Class to be configured.
 252
 253 - ``<rx_queue_list>``: List of DPDK RX queues (e.g. 0 1 3-4)
 254
 255 - ``<pcp_list>``: List of PCP values to handle in particular TC (e.g. 0 1 3-4 7).
 256
 257 - ``<dscp_list>``: List of DSCP values to handle in particular TC (e.g. 0-12 32-48 63).
 258
 259 - ``<default_policer>``: Id of the policer configuration section to be used as default.
 260
 261 - ``<policer_id>``: Id of the policer configuration section (0..31).
 262
 263 - ``<token_unit>``: Policer token unit (`bytes` or `packets`).
 264
 265 - ``<color_mode>``: Policer color mode (`aware` or `blind`).
 266
 267 - ``<cir>``: Committed information rate in unit of kilo bits per second (data rate) or packets per second.
 268
 269 - ``<cbs>``: Committed burst size in unit of kilo bytes or number of packets.
 270
 271 - ``<ebs>``: Excess burst size in unit of kilo bytes or number of packets.
 272
 273 - ``<default_color>``: Default color for specific tc.
 274
 275 - ``<rate_limit_enable>``: Enables per port or per txq rate limiting (`0`/`1` to disable/enable).
 276
 277 - ``<rate_limit>``: Committed information rate, in kilo bits per second.
 278
 279 - ``<burst_size>``: Committed burst size, in kilo bytes.
 280
 281 - ``<sched_mode>``: Egress scheduler mode (`wrr` or `sp`).
 282
 283 - ``<wrr_weight>``: Txq weight.
 284
 285 Setting PCP/DSCP values for the default TC is not required. All PCP/DSCP
 286 values not assigned explicitly to particular TC will be handled by the
 287 default TC.
 288
 289 Configuration file example
 290 ^^^^^^^^^^^^^^^^^^^^^^^^^^
 291
 292 .. code-block:: console
 293
 294    [policer 0]
 295    token_unit = bytes
 296    color = blind
 297    cir = 100000
 298    ebs = 64
 299    cbs = 64
 300
 301    [port 0 default]
 302    default_tc = 0
 303    mapping_priority = ip
 304
 305    rate_limit_enable = 1
 306    rate_limit = 1000
 307    burst_size = 2000
 308
 309    [port 0 tc 0]
 310    rxq = 0 1
 311
 312    [port 0 txq 0]
 313    sched_mode = wrr
 314    wrr_weight = 10
 315
 316    [port 0 txq 1]
 317    sched_mode = wrr
 318    wrr_weight = 100
 319
 320    [port 0 txq 2]
 321    sched_mode = sp
 322
 323    [port 0 tc 1]
 324    rxq = 2
 325    pcp = 5 6 7
 326    dscp = 26-38
 327
 328    [port 1 default]
 329    default_tc = 0
 330    mapping_priority = vlan/ip
 331
 332    default_policer = 0
 333
 334    [port 1 tc 0]
 335    rxq = 0
 336    dscp = 10
 337
 338    [port 1 tc 1]
 339    rxq = 1
 340    dscp = 11-20
 341
 342    [port 1 tc 2]
 343    rxq = 2
 344    dscp = 30
 345
 346    [port 1 txq 0]
 347    rate_limit_enable = 1
 348    rate_limit = 10000
 349    burst_size = 2000
 350
 351 Usage example
 352 ^^^^^^^^^^^^^
 353
 354 .. code-block:: console
 355
 356    ./dpdk-testpmd --vdev=eth_mvpp2,iface=eth0,iface=eth2,cfg=/home/user/mrvl.conf \
 357      -c 7 -- -i -a --disable-hw-vlan-strip --rxq=3 --txq=3
 358
 359 .. _flowapi:
 360
 361 Flow API
 362 --------
 363
 364 PPv2 offers packet classification capabilities via classifier engine which
 365 can be configured via generic flow API offered by DPDK.
 366
 367 The :ref:`flow_isolated_mode` is supported.
 368
 369 For an additional description please refer to DPDK :doc:`../prog_guide/rte_flow`.
 370
 371 Supported flow actions
 372 ~~~~~~~~~~~~~~~~~~~~~~
 373
 374 Following flow action items are supported by the driver:
 375
 376 * DROP
 377 * QUEUE
 378 * METER
 379
 380 Supported flow items
 381 ~~~~~~~~~~~~~~~~~~~~
 382
 383 Following flow items and their respective fields are supported by the driver:
 384
 385 * ETH
 386
 387   * source MAC
 388   * destination MAC
 389   * ethertype
 390
 391 * VLAN
 392
 393   * PCP
 394   * VID
 395
 396 * IPV4
 397
 398   * DSCP
 399   * protocol
 400   * source address
 401   * destination address
 402
 403 * IPV6
 404
 405   * flow label
 406   * next header
 407   * source address
 408   * destination address
 409
 410 * UDP
 411
 412   * source port
 413   * destination port
 414
 415 * TCP
 416
 417   * source port
 418   * destination port
 419
 420 Classifier match engine
 421 ~~~~~~~~~~~~~~~~~~~~~~~
 422
 423 Classifier has an internal match engine which can be configured to
 424 operate in either exact or maskable mode.
 425
 426 Mode is selected upon creation of the first unique flow rule as follows:
 427
 428 * maskable, if key size is up to 8 bytes.
 429 * exact, otherwise, i.e for keys bigger than 8 bytes.
 430
 431 Where the key size equals the number of bytes of all fields specified
 432 in the flow items.
 433
 434 .. table:: Examples of key size calculation
 435
 436    +----------------------------------------------------------------------------+-------------------+-------------+
 437    | Flow pattern                                                               | Key size in bytes | Used engine |
 438    +============================================================================+===================+=============+
 439    | ETH (destination MAC) / VLAN (VID)                                         | 6 + 2 = 8         | Maskable    |
 440    +----------------------------------------------------------------------------+-------------------+-------------+
 441    | VLAN (VID) / IPV4 (source address)                                         | 2 + 4 = 6         | Maskable    |
 442    +----------------------------------------------------------------------------+-------------------+-------------+
 443    | TCP (source port, destination port)                                        | 2 + 2 = 4         | Maskable    |
 444    +----------------------------------------------------------------------------+-------------------+-------------+
 445    | VLAN (priority) / IPV4 (source address)                                    | 1 + 4 = 5         | Maskable    |
 446    +----------------------------------------------------------------------------+-------------------+-------------+
 447    | IPV4 (destination address) / UDP (source port, destination port)           | 6 + 2 + 2 = 10    | Exact       |
 448    +----------------------------------------------------------------------------+-------------------+-------------+
 449    | VLAN (VID) / IPV6 (flow label, destination address)                        | 2 + 3 + 16 = 21   | Exact       |
 450    +----------------------------------------------------------------------------+-------------------+-------------+
 451    | IPV4 (DSCP, source address, destination address)                           | 1 + 4 + 4 = 9     | Exact       |
 452    +----------------------------------------------------------------------------+-------------------+-------------+
 453    | IPV6 (flow label, source address, destination address)                     | 3 + 16 + 16 = 35  | Exact       |
 454    +----------------------------------------------------------------------------+-------------------+-------------+
 455
 456 From the user perspective maskable mode means that masks specified
 457 via flow rules are respected. In case of exact match mode, masks
 458 which do not provide exact matching (all bits masked) are ignored.
 459
 460 If the flow matches more than one classifier rule the first
 461 (with the lowest index) matched takes precedence.
 462
 463 Flow rules usage example
 464 ~~~~~~~~~~~~~~~~~~~~~~~~
 465
 466 Before proceeding run testpmd user application:
 467
 468 .. code-block:: console
 469
 470    ./dpdk-testpmd --vdev=eth_mvpp2,iface=eth0,iface=eth2 -c 3 -- -i --p 3 -a --disable-hw-vlan-strip
 471
 472 Example #1
 473 ^^^^^^^^^^
 474
 475 .. code-block:: console
 476
 477    testpmd> flow create 0 ingress pattern eth src is 10:11:12:13:14:15 / end actions drop / end
 478
 479 In this case key size is 6 bytes thus maskable type is selected. Testpmd
 480 will set mask to ff:ff:ff:ff:ff:ff i.e traffic explicitly matching
 481 above rule will be dropped.
 482
 483 Example #2
 484 ^^^^^^^^^^
 485
 486 .. code-block:: console
 487
 488    testpmd> flow create 0 ingress pattern ipv4 src spec 10.10.10.0 src mask 255.255.255.0 / tcp src spec 0x10 src mask 0x10 / end action drop / end
 489
 490 In this case key size is 8 bytes thus maskable type is selected.
 491 Flows which have IPv4 source addresses ranging from 10.10.10.0 to 10.10.10.255
 492 and tcp source port set to 16 will be dropped.
 493
 494 Example #3
 495 ^^^^^^^^^^
 496
 497 .. code-block:: console
 498
 499    testpmd> flow create 0 ingress pattern vlan vid spec 0x10 vid mask 0x10 / ipv4 src spec 10.10.1.1 src mask 255.255.0.0 dst spec 11.11.11.1 dst mask 255.255.255.0 / end actions drop / end
 500
 501 In this case key size is 10 bytes thus exact type is selected.
 502 Even though each item has partial mask set, masks will be ignored.
 503 As a result only flows with VID set to 16 and IPv4 source and destination
 504 addresses set to 10.10.1.1 and 11.11.11.1 respectively will be dropped.
 505
 506 Limitations
 507 ~~~~~~~~~~~
 508
 509 Following limitations need to be taken into account while creating flow rules:
 510
 511 * For IPv4 exact match type the key size must be up to 12 bytes.
 512 * For IPv6 exact match type the key size must be up to 36 bytes.
 513 * Following fields cannot be partially masked (all masks are treated as
 514   if they were exact):
 515
 516   * ETH: ethertype
 517   * VLAN: PCP, VID
 518   * IPv4: protocol
 519   * IPv6: next header
 520   * TCP/UDP: source port, destination port
 521
 522 * Only one classifier table can be created thus all rules in the table
 523   have to match table format. Table format is set during creation of
 524   the first unique flow rule.
 525 * Up to 5 fields can be specified per flow rule.
 526 * Up to 20 flow rules can be added.
 527
 528 For additional information about classifier please consult
 529 ``doc/musdk_cls_user_guide.txt``.
 530
 531 .. _mtrapi:
 532
 533 Traffic metering and policing
 534 -----------------------------
 535
 536 MVPP2 PMD supports DPDK traffic metering and policing that allows the following:
 537
 538 1. Meter ingress traffic.
 539 2. Do policing.
 540 3. Gather statistics.
 541
 542 For an additional description please refer to DPDK :doc:`Traffic Metering and Policing API <../prog_guide/traffic_metering_and_policing>`.
 543
 544 The policer objects defined by this feature can work with the default policer defined via config file as described in :ref:`QoS Support <extconf>`.
 545
 546 Limitations
 547 ~~~~~~~~~~~
 548
 549 The following capabilities are not supported:
 550
 551 - MTR object meter DSCP table update
 552 - MTR object policer action update
 553 - MTR object enabled statistics
 554
 555 Usage example
 556 ~~~~~~~~~~~~~
 557
 558 1. Run testpmd user app:
 559
 560    .. code-block:: console
 561
 562                 ./dpdk-testpmd --vdev=eth_mvpp2,iface=eth0,iface=eth2 -c 6 -- -i -p 3 -a --txd 1024 --rxd 1024
 563
 564 2. Create meter profile:
 565
 566    .. code-block:: console
 567
 568                 testpmd> add port meter profile 0 0 srtcm_rfc2697 2000 256 256
 569
 570 3. Create meter:
 571
 572    .. code-block:: console
 573
 574                 testpmd> create port meter 0 0 0 yes d d d 0 1 0
 575
 576 4. Create flow rule witch meter attached:
 577
 578    .. code-block:: console
 579
 580                 testpmd> flow create 0 ingress pattern ipv4 src is 10.10.10.1 / end actions meter mtr_id 0 / end
 581
 582 For a detailed usage description please refer to "Traffic Metering and Policing" section in DPDK :doc:`Testpmd Runtime Functions <../testpmd_app_ug/testpmd_funcs>`.
 583
 584
 585
 586 .. _tmapi:
 587
 588 Traffic Management API
 589 ----------------------
 590
 591 MVPP2 PMD supports generic DPDK Traffic Management API which allows to
 592 configure the following features:
 593
 594 1. Hierarchical scheduling
 595 2. Traffic shaping
 596 3. Congestion management
 597 4. Packet marking
 598
 599 Internally TM is represented by a hierarchy (tree) of nodes.
 600 Node which has a parent is called a leaf whereas node without
 601 parent is called a non-leaf (root).
 602 MVPP2 PMD supports two level hierarchy where level 0 represents ports and level 1 represents tx queues of a given port.
 603
 604 .. figure:: img/mvpp2_tm.*
 605
 606 Nodes hold following types of settings:
 607
 608 - for egress scheduler configuration: weight
 609 - for egress rate limiter: private shaper
 610 - bitmask indicating which statistics counters will be read
 611
 612 Hierarchy is always constructed from the top, i.e first a root node is added
 613 then some number of leaf nodes. Number of leaf nodes cannot exceed number
 614 of configured tx queues.
 615
 616 After hierarchy is complete it can be committed.
 617
 618
 619 For an additional description please refer to DPDK :doc:`Traffic Management API <../prog_guide/traffic_management>`.
 620
 621 Limitations
 622 ~~~~~~~~~~~
 623
 624 The following capabilities are not supported:
 625
 626 - Traffic manager WRED profile and WRED context
 627 - Traffic manager shared shaper update
 628 - Traffic manager packet marking
 629 - Maximum number of levels in hierarchy is 2
 630 - Currently dynamic change of a hierarchy is not supported
 631
 632 Usage example
 633 ~~~~~~~~~~~~~
 634
 635 For a detailed usage description please refer to "Traffic Management" section in DPDK :doc:`Testpmd Runtime Functions <../testpmd_app_ug/testpmd_funcs>`.
 636
 637 1. Run testpmd as follows:
 638
 639    .. code-block:: console
 640
 641                 ./dpdk-testpmd --vdev=net_mrvl,iface=eth0,iface=eth2,cfg=./qos_config -c 7 -- \
 642                 -i -p 3 --disable-hw-vlan-strip --rxq 3 --txq 3 --txd 1024 --rxd 1024
 643
 644 2. Stop all ports:
 645
 646    .. code-block:: console
 647
 648                 testpmd> port stop all
 649
 650 3. Add shaper profile:
 651
 652    .. code-block:: console
 653
 654                 testpmd> add port tm node shaper profile 0 0 900000 70000 0
 655
 656    Parameters have following meaning::
 657
 658                 0       - Id of a port.
 659                 0       - Id of a new shaper profile.
 660                 900000  - Shaper rate in bytes/s.
 661                 70000   - Bucket size in bytes.
 662                 0       - Packet length adjustment - ignored.
 663
 664 4. Add non-leaf node for port 0:
 665
 666    .. code-block:: console
 667
 668                 testpmd> add port tm nonleaf node 0 3 -1 0 0 0 0 0 1 3 0
 669
 670    Parameters have following meaning::
 671
 672                  0  - Id of a port
 673                  3  - Id of a new node.
 674                 -1  - Indicate that root does not have a parent.
 675                  0  - Priority of the node.
 676                  0  - Weight of the node.
 677                  0  - Id of a level. Since this is a root 0 is passed.
 678                  0  - Id of the shaper profile.
 679                  0  - Number of SP priorities.
 680                  3  - Enable statistics for both number of transmitted packets and bytes.
 681                  0  - Number of shared shapers.
 682
 683 5. Add leaf node for tx queue 0:
 684
 685    .. code-block:: console
 686
 687                 testpmd> add port tm leaf node 0 0 3 0 30 1 -1 0 0 1 0
 688
 689    Parameters have following meaning::
 690
 691                  0  - Id of a port.
 692                  0  - Id of a new node.
 693                  3  - Id of the parent node.
 694                  0  - Priority of a node.
 695                  30 - WRR weight.
 696                  1  - Id of a level. Since this is a leaf node 1 is passed.
 697                 -1  - Id of a shaper. -1 indicates that shaper is not attached.
 698                  0  - Congestion management is not supported.
 699                  0  - Congestion management is not supported.
 700                  1  - Enable statistics counter for number of transmitted packets.
 701                  0  - Number of shared shapers.
 702
 703 6. Add leaf node for tx queue 1:
 704
 705    .. code-block:: console
 706
 707         testpmd> add port tm leaf node 0 1 3 0 60 1 -1 0 0 1 0
 708
 709    Parameters have following meaning::
 710
 711                  0  - Id of a port.
 712                  1  - Id of a new node.
 713                  3  - Id of the parent node.
 714                  0  - Priority of a node.
 715                  60 - WRR weight.
 716                  1  - Id of a level. Since this is a leaf node 1 is passed.
 717                 -1  - Id of a shaper. -1 indicates that shaper is not attached.
 718                  0  - Congestion management is not supported.
 719                  0  - Congestion management is not supported.
 720                  1  - Enable statistics counter for number of transmitted packets.
 721                  0  - Number of shared shapers.
 722
 723 7. Add leaf node for tx queue 2:
 724
 725    .. code-block:: console
 726
 727                 testpmd> add port tm leaf node 0 2 3 0 99 1 -1 0 0 1 0
 728
 729    Parameters have following meaning::
 730
 731                  0  - Id of a port.
 732                  2  - Id of a new node.
 733                  3  - Id of the parent node.
 734                  0  - Priority of a node.
 735                  99 - WRR weight.
 736                  1  - Id of a level. Since this is a leaf node 1 is passed.
 737                 -1  - Id of a shaper. -1 indicates that shaper is not attached.
 738                  0  - Congestion management is not supported.
 739                  0  - Congestion management is not supported.
 740                  1  - Enable statistics counter for number of transmitted packets.
 741                  0  - Number of shared shapers.
 742
 743 8. Commit hierarchy:
 744
 745    .. code-block:: console
 746
 747                 testpmd> port tm hierarchy commit 0 no
 748
 749   Parameters have following meaning::
 750
 751                 0  - Id of a port.
 752                 no - Do not flush TM hierarchy if commit fails.
 753
 754 9. Start all ports
 755
 756    .. code-block:: console
 757
 758                 testpmd> port start all
 759
 760
 761
 762 10. Enable forwarding
 763
 764    .. code-block:: console
 765
 766                 testpmd> start