doc/guides/nics/mvpp2.rst

   1 ..  SPDX-License-Identifier: BSD-3-Clause
   2     Copyright(c) 2017 Marvell International Ltd.
   3     Copyright(c) 2017 Semihalf.
   4
   5 .. _mvpp2_poll_mode_driver:
   6
   7 MVPP2 Poll Mode Driver
   8 ======================
   9
  10 The MVPP2 PMD (**librte_net_mvpp2**) provides poll mode driver support
  11 for the Marvell PPv2 (Packet Processor v2) 1/10 Gbps adapter.
  12
  13 Detailed information about SoCs that use PPv2 can be obtained here:
  14
  15 * https://www.marvell.com/embedded-processors/armada-70xx/
  16 * https://www.marvell.com/embedded-processors/armada-80xx/
  17
  18
  19 Features
  20 --------
  21
  22 Features of the MVPP2 PMD are:
  23
  24 - Speed capabilities
  25 - Link status
  26 - Tx Queue start/stop
  27 - MTU update
  28 - Jumbo frame
  29 - Promiscuous mode
  30 - Allmulticast mode
  31 - Unicast MAC filter
  32 - Multicast MAC filter
  33 - RSS hash
  34 - VLAN filter
  35 - CRC offload
  36 - L3 checksum offload
  37 - L4 checksum offload
  38 - Packet type parsing
  39 - Basic stats
  40 - :ref:`Extended stats <extstats>`
  41 - RX flow control
  42 - Scattered TX frames
  43 - :ref:`QoS <qossupport>`
  44 - :ref:`Flow API <flowapi>`
  45 - :ref:`Traffic metering and policing <mtrapi>`
  46 - :ref:`Traffic Management API <tmapi>`
  47
  48 Limitations
  49 -----------
  50
  51 - Number of lcores is limited to 9 by MUSDK internal design. If more lcores
  52   need to be allocated, locking will have to be considered. Number of available
  53   lcores can be changed via ``MRVL_MUSDK_HIFS_RESERVED`` define in
  54   ``mrvl_ethdev.c`` source file.
  55
  56 - Flushing vlans added for filtering is not possible due to MUSDK missing
  57   functionality. Current workaround is to reset board so that PPv2 has a
  58   chance to start in a sane state.
  59
  60 - MUSDK architecture does not support changing configuration in run time.
  61   All necessary configurations should be done before first dev_start().
  62
  63 - RX queue start/stop is not supported.
  64
  65 - Current implementation does not support replacement of buffers in the HW buffer pool
  66   at run time, so it is responsibility of the application to ensure that MTU does not exceed the configured buffer size.
  67
  68 - Configuring TX flow control currently is not supported.
  69
  70 - In current implementation, mechanism for acknowledging transmitted packets (``tx_done_cleanup``) is not supported.
  71
  72 - Running more than one DPDK-MUSDK application simultaneously is not supported.
  73
  74
  75 Prerequisites
  76 -------------
  77
  78 - Custom Linux Kernel sources
  79
  80   .. code-block:: console
  81
  82      git clone https://github.com/MarvellEmbeddedProcessors/linux-marvell.git -b linux-4.4.120-armada-18.09
  83
  84 - Out of tree `mvpp2x_sysfs` kernel module sources
  85
  86   .. code-block:: console
  87
  88      git clone https://github.com/MarvellEmbeddedProcessors/mvpp2x-marvell.git -b mvpp2x-armada-18.09
  89
  90 - MUSDK (Marvell User-Space SDK) sources
  91
  92   .. code-block:: console
  93
  94      git clone https://github.com/MarvellEmbeddedProcessors/musdk-marvell.git -b musdk-release-SDK-10.3.5.0-PR2
  95
  96   MUSDK is a light-weight library that provides direct access to Marvell's
  97   PPv2 (Packet Processor v2). Alternatively prebuilt MUSDK library can be
  98   requested from `Marvell Extranet <https://extranet.marvell.com>`_. Once
  99   approval has been granted, library can be found by typing ``musdk`` in
 100   the search box.
 101
 102   To get better understanding of the library one can consult documentation
 103   available in the ``doc`` top level directory of the MUSDK sources.
 104
 105 - DPDK environment
 106
 107   Follow the DPDK :ref:`Getting Started Guide for Linux <linux_gsg>` to setup
 108   DPDK environment.
 109
 110
 111 Building MUSDK
 112 --------------
 113
 114 Driver needs precompiled MUSDK library during compilation.
 115
 116 .. code-block:: console
 117
 118    export CROSS_COMPILE=<toolchain>/bin/aarch64-linux-gnu-
 119    ./bootstrap
 120    ./configure --host=aarch64-linux-gnu
 121    make install
 122
 123 MUSDK will be installed to `usr/local` under current directory.
 124 For the detailed build instructions please consult ``doc/musdk_get_started.txt``.
 125
 126
 127 Building DPDK
 128 -------------
 129
 130 Add path to libmusdk.pc in PKG_CONFIG_PATH environment variable.
 131
 132 .. code-block:: console
 133
 134    export PKG_CONFIG_PATH=$<musdk_install_dir>/lib/pkgconfig/:$PKG_CONFIG_PATH
 135
 136    meson build --cross-file config/arm/arm64_armada_linux_gcc
 137    ninja -C build
 138
 139
 140 Usage Example
 141 -------------
 142
 143 MVPP2 PMD requires extra out of tree kernel modules to function properly.
 144 `musdk_cma` sources are part of the MUSDK. Please consult
 145 ``doc/musdk_get_started.txt`` for the detailed build instructions.
 146 For `mvpp2x_sysfs` please consult ``Documentation/pp22_sysfs.txt`` for the
 147 detailed build instructions.
 148
 149 .. code-block:: console
 150
 151    insmod musdk_cma.ko
 152    insmod mvpp2x_sysfs.ko
 153
 154 Additionally interfaces used by DPDK application need to be put up:
 155
 156 .. code-block:: console
 157
 158    ip link set eth0 up
 159    ip link set eth2 up
 160
 161 In order to run testpmd example application following command can be used:
 162
 163 .. code-block:: console
 164
 165    ./dpdk-testpmd --vdev=eth_mvpp2,iface=eth0,iface=eth2 -c 7 -- \
 166      --burst=128 --txd=2048 --rxd=1024 --rxq=2 --txq=2  --nb-cores=2 \
 167      -i -a --rss-udp
 168
 169 .. _extstats:
 170
 171 Extended stats
 172 --------------
 173
 174 MVPP2 PMD supports the following extended statistics:
 175
 176         - ``rx_bytes``: number of RX bytes
 177         - ``rx_packets``: number of RX packets
 178         - ``rx_unicast_packets``: number of RX unicast packets
 179         - ``rx_errors``: number of RX MAC errors
 180         - ``rx_fullq_dropped``: number of RX packets dropped due to full RX queue
 181         - ``rx_bm_dropped``: number of RX packets dropped due to no available buffers in the HW pool
 182         - ``rx_early_dropped``: number of RX packets that were early dropped
 183         - ``rx_fifo_dropped``: number of RX packets dropped due to RX fifo overrun
 184         - ``rx_cls_dropped``: number of RX packets dropped by classifier
 185         - ``tx_bytes``: number of TX bytes
 186         - ``tx_packets``: number of TX packets
 187         - ``tx_unicast_packets``: number of TX unicast packets
 188         - ``tx_errors``: number of TX MAC errors
 189
 190
 191 .. _qossupport:
 192
 193 QoS Configuration
 194 -----------------
 195
 196 QoS configuration is done through external configuration file. Path to the
 197 file must be given as `cfg` in driver's vdev parameter list.
 198
 199 Configuration syntax
 200 ~~~~~~~~~~~~~~~~~~~~
 201
 202 .. code-block:: console
 203
 204    [policer <policer_id>]
 205    token_unit = <token_unit>
 206    color = <color_mode>
 207    cir = <cir>
 208    ebs = <ebs>
 209    cbs = <cbs>
 210
 211    [port <portnum> default]
 212    default_tc = <default_tc>
 213    mapping_priority = <mapping_priority>
 214
 215    rate_limit_enable = <rate_limit_enable>
 216    rate_limit = <rate_limit>
 217    burst_size = <burst_size>
 218
 219    default_policer = <policer_id>
 220
 221    [port <portnum> tc <traffic_class>]
 222    rxq = <rx_queue_list>
 223    pcp = <pcp_list>
 224    dscp = <dscp_list>
 225    default_color = <default_color>
 226
 227    [port <portnum> tc <traffic_class>]
 228    rxq = <rx_queue_list>
 229    pcp = <pcp_list>
 230    dscp = <dscp_list>
 231
 232    [port <portnum> txq <txqnum>]
 233    sched_mode = <sched_mode>
 234    wrr_weight = <wrr_weight>
 235
 236    rate_limit_enable = <rate_limit_enable>
 237    rate_limit = <rate_limit>
 238    burst_size = <burst_size>
 239
 240 Where:
 241
 242 - ``<portnum>``: DPDK Port number (0..n).
 243
 244 - ``<default_tc>``: Default traffic class (e.g. 0)
 245
 246 - ``<mapping_priority>``: QoS priority for mapping (`ip`, `vlan`, `ip/vlan` or `vlan/ip`).
 247
 248 - ``<traffic_class>``: Traffic Class to be configured.
 249
 250 - ``<rx_queue_list>``: List of DPDK RX queues (e.g. 0 1 3-4)
 251
 252 - ``<pcp_list>``: List of PCP values to handle in particular TC (e.g. 0 1 3-4 7).
 253
 254 - ``<dscp_list>``: List of DSCP values to handle in particular TC (e.g. 0-12 32-48 63).
 255
 256 - ``<default_policer>``: Id of the policer configuration section to be used as default.
 257
 258 - ``<policer_id>``: Id of the policer configuration section (0..31).
 259
 260 - ``<token_unit>``: Policer token unit (`bytes` or `packets`).
 261
 262 - ``<color_mode>``: Policer color mode (`aware` or `blind`).
 263
 264 - ``<cir>``: Committed information rate in unit of kilo bits per second (data rate) or packets per second.
 265
 266 - ``<cbs>``: Committed burst size in unit of kilo bytes or number of packets.
 267
 268 - ``<ebs>``: Excess burst size in unit of kilo bytes or number of packets.
 269
 270 - ``<default_color>``: Default color for specific tc.
 271
 272 - ``<rate_limit_enable>``: Enables per port or per txq rate limiting (`0`/`1` to disable/enable).
 273
 274 - ``<rate_limit>``: Committed information rate, in kilo bits per second.
 275
 276 - ``<burst_size>``: Committed burst size, in kilo bytes.
 277
 278 - ``<sched_mode>``: Egress scheduler mode (`wrr` or `sp`).
 279
 280 - ``<wrr_weight>``: Txq weight.
 281
 282 Setting PCP/DSCP values for the default TC is not required. All PCP/DSCP
 283 values not assigned explicitly to particular TC will be handled by the
 284 default TC.
 285
 286 Configuration file example
 287 ^^^^^^^^^^^^^^^^^^^^^^^^^^
 288
 289 .. code-block:: console
 290
 291    [policer 0]
 292    token_unit = bytes
 293    color = blind
 294    cir = 100000
 295    ebs = 64
 296    cbs = 64
 297
 298    [port 0 default]
 299    default_tc = 0
 300    mapping_priority = ip
 301
 302    rate_limit_enable = 1
 303    rate_limit = 1000
 304    burst_size = 2000
 305
 306    [port 0 tc 0]
 307    rxq = 0 1
 308
 309    [port 0 txq 0]
 310    sched_mode = wrr
 311    wrr_weight = 10
 312
 313    [port 0 txq 1]
 314    sched_mode = wrr
 315    wrr_weight = 100
 316
 317    [port 0 txq 2]
 318    sched_mode = sp
 319
 320    [port 0 tc 1]
 321    rxq = 2
 322    pcp = 5 6 7
 323    dscp = 26-38
 324
 325    [port 1 default]
 326    default_tc = 0
 327    mapping_priority = vlan/ip
 328
 329    default_policer = 0
 330
 331    [port 1 tc 0]
 332    rxq = 0
 333    dscp = 10
 334
 335    [port 1 tc 1]
 336    rxq = 1
 337    dscp = 11-20
 338
 339    [port 1 tc 2]
 340    rxq = 2
 341    dscp = 30
 342
 343    [port 1 txq 0]
 344    rate_limit_enable = 1
 345    rate_limit = 10000
 346    burst_size = 2000
 347
 348 Usage example
 349 ^^^^^^^^^^^^^
 350
 351 .. code-block:: console
 352
 353    ./dpdk-testpmd --vdev=eth_mvpp2,iface=eth0,iface=eth2,cfg=/home/user/mrvl.conf \
 354      -c 7 -- -i -a --disable-hw-vlan-strip --rxq=3 --txq=3
 355
 356 .. _flowapi:
 357
 358 Flow API
 359 --------
 360
 361 PPv2 offers packet classification capabilities via classifier engine which
 362 can be configured via generic flow API offered by DPDK.
 363
 364 The :ref:`flow_isolated_mode` is supported.
 365
 366 For an additional description please refer to DPDK :doc:`../prog_guide/rte_flow`.
 367
 368 Supported flow actions
 369 ~~~~~~~~~~~~~~~~~~~~~~
 370
 371 Following flow action items are supported by the driver:
 372
 373 * DROP
 374 * QUEUE
 375
 376 Supported flow items
 377 ~~~~~~~~~~~~~~~~~~~~
 378
 379 Following flow items and their respective fields are supported by the driver:
 380
 381 * ETH
 382
 383   * source MAC
 384   * destination MAC
 385   * ethertype
 386
 387 * VLAN
 388
 389   * PCP
 390   * VID
 391
 392 * IPV4
 393
 394   * DSCP
 395   * protocol
 396   * source address
 397   * destination address
 398
 399 * IPV6
 400
 401   * flow label
 402   * next header
 403   * source address
 404   * destination address
 405
 406 * UDP
 407
 408   * source port
 409   * destination port
 410
 411 * TCP
 412
 413   * source port
 414   * destination port
 415
 416 Classifier match engine
 417 ~~~~~~~~~~~~~~~~~~~~~~~
 418
 419 Classifier has an internal match engine which can be configured to
 420 operate in either exact or maskable mode.
 421
 422 Mode is selected upon creation of the first unique flow rule as follows:
 423
 424 * maskable, if key size is up to 8 bytes.
 425 * exact, otherwise, i.e for keys bigger than 8 bytes.
 426
 427 Where the key size equals the number of bytes of all fields specified
 428 in the flow items.
 429
 430 .. table:: Examples of key size calculation
 431
 432    +----------------------------------------------------------------------------+-------------------+-------------+
 433    | Flow pattern                                                               | Key size in bytes | Used engine |
 434    +============================================================================+===================+=============+
 435    | ETH (destination MAC) / VLAN (VID)                                         | 6 + 2 = 8         | Maskable    |
 436    +----------------------------------------------------------------------------+-------------------+-------------+
 437    | VLAN (VID) / IPV4 (source address)                                         | 2 + 4 = 6         | Maskable    |
 438    +----------------------------------------------------------------------------+-------------------+-------------+
 439    | TCP (source port, destination port)                                        | 2 + 2 = 4         | Maskable    |
 440    +----------------------------------------------------------------------------+-------------------+-------------+
 441    | VLAN (priority) / IPV4 (source address)                                    | 1 + 4 = 5         | Maskable    |
 442    +----------------------------------------------------------------------------+-------------------+-------------+
 443    | IPV4 (destination address) / UDP (source port, destination port)           | 6 + 2 + 2 = 10    | Exact       |
 444    +----------------------------------------------------------------------------+-------------------+-------------+
 445    | VLAN (VID) / IPV6 (flow label, destination address)                        | 2 + 3 + 16 = 21   | Exact       |
 446    +----------------------------------------------------------------------------+-------------------+-------------+
 447    | IPV4 (DSCP, source address, destination address)                           | 1 + 4 + 4 = 9     | Exact       |
 448    +----------------------------------------------------------------------------+-------------------+-------------+
 449    | IPV6 (flow label, source address, destination address)                     | 3 + 16 + 16 = 35  | Exact       |
 450    +----------------------------------------------------------------------------+-------------------+-------------+
 451
 452 From the user perspective maskable mode means that masks specified
 453 via flow rules are respected. In case of exact match mode, masks
 454 which do not provide exact matching (all bits masked) are ignored.
 455
 456 If the flow matches more than one classifier rule the first
 457 (with the lowest index) matched takes precedence.
 458
 459 Flow rules usage example
 460 ~~~~~~~~~~~~~~~~~~~~~~~~
 461
 462 Before proceeding run testpmd user application:
 463
 464 .. code-block:: console
 465
 466    ./dpdk-testpmd --vdev=eth_mvpp2,iface=eth0,iface=eth2 -c 3 -- -i --p 3 -a --disable-hw-vlan-strip
 467
 468 Example #1
 469 ^^^^^^^^^^
 470
 471 .. code-block:: console
 472
 473    testpmd> flow create 0 ingress pattern eth src is 10:11:12:13:14:15 / end actions drop / end
 474
 475 In this case key size is 6 bytes thus maskable type is selected. Testpmd
 476 will set mask to ff:ff:ff:ff:ff:ff i.e traffic explicitly matching
 477 above rule will be dropped.
 478
 479 Example #2
 480 ^^^^^^^^^^
 481
 482 .. code-block:: console
 483
 484    testpmd> flow create 0 ingress pattern ipv4 src spec 10.10.10.0 src mask 255.255.255.0 / tcp src spec 0x10 src mask 0x10 / end action drop / end
 485
 486 In this case key size is 8 bytes thus maskable type is selected.
 487 Flows which have IPv4 source addresses ranging from 10.10.10.0 to 10.10.10.255
 488 and tcp source port set to 16 will be dropped.
 489
 490 Example #3
 491 ^^^^^^^^^^
 492
 493 .. code-block:: console
 494
 495    testpmd> flow create 0 ingress pattern vlan vid spec 0x10 vid mask 0x10 / ipv4 src spec 10.10.1.1 src mask 255.255.0.0 dst spec 11.11.11.1 dst mask 255.255.255.0 / end actions drop / end
 496
 497 In this case key size is 10 bytes thus exact type is selected.
 498 Even though each item has partial mask set, masks will be ignored.
 499 As a result only flows with VID set to 16 and IPv4 source and destination
 500 addresses set to 10.10.1.1 and 11.11.11.1 respectively will be dropped.
 501
 502 Limitations
 503 ~~~~~~~~~~~
 504
 505 Following limitations need to be taken into account while creating flow rules:
 506
 507 * For IPv4 exact match type the key size must be up to 12 bytes.
 508 * For IPv6 exact match type the key size must be up to 36 bytes.
 509 * Following fields cannot be partially masked (all masks are treated as
 510   if they were exact):
 511
 512   * ETH: ethertype
 513   * VLAN: PCP, VID
 514   * IPv4: protocol
 515   * IPv6: next header
 516   * TCP/UDP: source port, destination port
 517
 518 * Only one classifier table can be created thus all rules in the table
 519   have to match table format. Table format is set during creation of
 520   the first unique flow rule.
 521 * Up to 5 fields can be specified per flow rule.
 522 * Up to 20 flow rules can be added.
 523
 524 For additional information about classifier please consult
 525 ``doc/musdk_cls_user_guide.txt``.
 526
 527 .. _mtrapi:
 528
 529 Traffic metering and policing
 530 -----------------------------
 531
 532 MVPP2 PMD supports DPDK traffic metering and policing that allows the following:
 533
 534 1. Meter ingress traffic.
 535 2. Do policing.
 536 3. Gather statistics.
 537
 538 For an additional description please refer to DPDK :doc:`Traffic Metering and Policing API <../prog_guide/traffic_metering_and_policing>`.
 539
 540 The policer objects defined by this feature can work with the default policer defined via config file as described in :ref:`QoS Support <qossupport>`.
 541
 542 Limitations
 543 ~~~~~~~~~~~
 544
 545 The following capabilities are not supported:
 546
 547 - MTR object meter DSCP table update
 548 - MTR object policer action update
 549 - MTR object enabled statistics
 550
 551 Usage example
 552 ~~~~~~~~~~~~~
 553
 554 1. Run testpmd user app:
 555
 556    .. code-block:: console
 557
 558                 ./dpdk-testpmd --vdev=eth_mvpp2,iface=eth0,iface=eth2 -c 6 -- -i -p 3 -a --txd 1024 --rxd 1024
 559
 560 2. Create meter profile:
 561
 562    .. code-block:: console
 563
 564                 testpmd> add port meter profile 0 0 srtcm_rfc2697 2000 256 256
 565
 566 3. Create meter:
 567
 568    .. code-block:: console
 569
 570                 testpmd> create port meter 0 0 0 yes d d d 0 1 0
 571
 572 4. Create flow rule witch meter attached:
 573
 574    .. code-block:: console
 575
 576                 testpmd> flow create 0 ingress pattern ipv4 src is 10.10.10.1 / end actions meter mtr_id 0 / end
 577
 578 For a detailed usage description please refer to "Traffic Metering and Policing" section in DPDK :doc:`Testpmd Runtime Functions <../testpmd_app_ug/testpmd_funcs>`.
 579
 580
 581
 582 .. _tmapi:
 583
 584 Traffic Management API
 585 ----------------------
 586
 587 MVPP2 PMD supports generic DPDK Traffic Management API which allows to
 588 configure the following features:
 589
 590 1. Hierarchical scheduling
 591 2. Traffic shaping
 592 3. Congestion management
 593 4. Packet marking
 594
 595 Internally TM is represented by a hierarchy (tree) of nodes.
 596 Node which has a parent is called a leaf whereas node without
 597 parent is called a non-leaf (root).
 598 MVPP2 PMD supports two level hierarchy where level 0 represents ports and level 1 represents tx queues of a given port.
 599
 600 .. figure:: img/mvpp2_tm.*
 601
 602 Nodes hold following types of settings:
 603
 604 - for egress scheduler configuration: weight
 605 - for egress rate limiter: private shaper
 606 - bitmask indicating which statistics counters will be read
 607
 608 Hierarchy is always constructed from the top, i.e first a root node is added
 609 then some number of leaf nodes. Number of leaf nodes cannot exceed number
 610 of configured tx queues.
 611
 612 After hierarchy is complete it can be committed.
 613
 614
 615 For an additional description please refer to DPDK :doc:`Traffic Management API <../prog_guide/traffic_management>`.
 616
 617 Limitations
 618 ~~~~~~~~~~~
 619
 620 The following capabilities are not supported:
 621
 622 - Traffic manager WRED profile and WRED context
 623 - Traffic manager shared shaper update
 624 - Traffic manager packet marking
 625 - Maximum number of levels in hierarchy is 2
 626 - Currently dynamic change of a hierarchy is not supported
 627
 628 Usage example
 629 ~~~~~~~~~~~~~
 630
 631 For a detailed usage description please refer to "Traffic Management" section in DPDK :doc:`Testpmd Runtime Functions <../testpmd_app_ug/testpmd_funcs>`.
 632
 633 1. Run testpmd as follows:
 634
 635    .. code-block:: console
 636
 637                 ./dpdk-testpmd --vdev=net_mrvl,iface=eth0,iface=eth2,cfg=./qos_config -c 7 -- \
 638                 -i -p 3 --disable-hw-vlan-strip --rxq 3 --txq 3 --txd 1024 --rxd 1024
 639
 640 2. Stop all ports:
 641
 642    .. code-block:: console
 643
 644                 testpmd> port stop all
 645
 646 3. Add shaper profile:
 647
 648    .. code-block:: console
 649
 650                 testpmd> add port tm node shaper profile 0 0 900000 70000 0
 651
 652    Parameters have following meaning::
 653
 654                 0       - Id of a port.
 655                 0       - Id of a new shaper profile.
 656                 900000  - Shaper rate in bytes/s.
 657                 70000   - Bucket size in bytes.
 658                 0       - Packet length adjustment - ignored.
 659
 660 4. Add non-leaf node for port 0:
 661
 662    .. code-block:: console
 663
 664                 testpmd> add port tm nonleaf node 0 3 -1 0 0 0 0 0 1 3 0
 665
 666    Parameters have following meaning::
 667
 668                  0  - Id of a port
 669                  3  - Id of a new node.
 670                 -1  - Indicate that root does not have a parent.
 671                  0  - Priority of the node.
 672                  0  - Weight of the node.
 673                  0  - Id of a level. Since this is a root 0 is passed.
 674                  0  - Id of the shaper profile.
 675                  0  - Number of SP priorities.
 676                  3  - Enable statistics for both number of transmitted packets and bytes.
 677                  0  - Number of shared shapers.
 678
 679 5. Add leaf node for tx queue 0:
 680
 681    .. code-block:: console
 682
 683                 testpmd> add port tm leaf node 0 0 3 0 30 1 -1 0 0 1 0
 684
 685    Parameters have following meaning::
 686
 687                  0  - Id of a port.
 688                  0  - Id of a new node.
 689                  3  - Id of the parent node.
 690                  0  - Priority of a node.
 691                  30 - WRR weight.
 692                  1  - Id of a level. Since this is a leaf node 1 is passed.
 693                 -1  - Id of a shaper. -1 indicates that shaper is not attached.
 694                  0  - Congestion management is not supported.
 695                  0  - Congestion management is not supported.
 696                  1  - Enable statistics counter for number of transmitted packets.
 697                  0  - Number of shared shapers.
 698
 699 6. Add leaf node for tx queue 1:
 700
 701    .. code-block:: console
 702
 703         testpmd> add port tm leaf node 0 1 3 0 60 1 -1 0 0 1 0
 704
 705    Parameters have following meaning::
 706
 707                  0  - Id of a port.
 708                  1  - Id of a new node.
 709                  3  - Id of the parent node.
 710                  0  - Priority of a node.
 711                  60 - WRR weight.
 712                  1  - Id of a level. Since this is a leaf node 1 is passed.
 713                 -1  - Id of a shaper. -1 indicates that shaper is not attached.
 714                  0  - Congestion management is not supported.
 715                  0  - Congestion management is not supported.
 716                  1  - Enable statistics counter for number of transmitted packets.
 717                  0  - Number of shared shapers.
 718
 719 7. Add leaf node for tx queue 2:
 720
 721    .. code-block:: console
 722
 723                 testpmd> add port tm leaf node 0 2 3 0 99 1 -1 0 0 1 0
 724
 725    Parameters have following meaning::
 726
 727                  0  - Id of a port.
 728                  2  - Id of a new node.
 729                  3  - Id of the parent node.
 730                  0  - Priority of a node.
 731                  99 - WRR weight.
 732                  1  - Id of a level. Since this is a leaf node 1 is passed.
 733                 -1  - Id of a shaper. -1 indicates that shaper is not attached.
 734                  0  - Congestion management is not supported.
 735                  0  - Congestion management is not supported.
 736                  1  - Enable statistics counter for number of transmitted packets.
 737                  0  - Number of shared shapers.
 738
 739 8. Commit hierarchy:
 740
 741    .. code-block:: console
 742
 743                 testpmd> port tm hierarchy commit 0 no
 744
 745   Parameters have following meaning::
 746
 747                 0  - Id of a port.
 748                 no - Do not flush TM hierarchy if commit fails.
 749
 750 9. Start all ports
 751
 752    .. code-block:: console
 753
 754                 testpmd> port start all
 755
 756
 757
 758 10. Enable forwarding
 759
 760    .. code-block:: console
 761
 762                 testpmd> start