doc/guides/nics/dpaa2.rst

   1 ..  SPDX-License-Identifier: BSD-3-Clause
   2     Copyright 2016,2020-2021 NXP
   3
   4
   5 DPAA2 Poll Mode Driver
   6 ======================
   7
   8 The DPAA2 NIC PMD (**librte_net_dpaa2**) provides poll mode driver
   9 support for the inbuilt NIC found in the **NXP DPAA2** SoC family.
  10
  11 More information can be found at `NXP Official Website
  12 <http://www.nxp.com/products/microcontrollers-and-processors/arm-processors/qoriq-arm-processors:QORIQ-ARM>`_.
  13
  14 NXP DPAA2 (Data Path Acceleration Architecture Gen2)
  15 ----------------------------------------------------
  16
  17 This section provides an overview of the NXP DPAA2 architecture
  18 and how it is integrated into the DPDK.
  19
  20 Contents summary
  21
  22 - DPAA2 overview
  23 - Overview of DPAA2 objects
  24 - DPAA2 driver architecture overview
  25
  26 .. _dpaa2_overview:
  27
  28 DPAA2 Overview
  29 ~~~~~~~~~~~~~~
  30
  31 Reference: `FSL MC BUS in Linux Kernel <https://www.kernel.org/doc/readme/drivers-staging-fsl-mc-README.txt>`_.
  32
  33 DPAA2 is a hardware architecture designed for high-speed network
  34 packet processing.  DPAA2 consists of sophisticated mechanisms for
  35 processing Ethernet packets, queue management, buffer management,
  36 autonomous L2 switching, virtual Ethernet bridging, and accelerator
  37 (e.g. crypto) sharing.
  38
  39 A DPAA2 hardware component called the Management Complex (or MC) manages the
  40 DPAA2 hardware resources.  The MC provides an object-based abstraction for
  41 software drivers to use the DPAA2 hardware.
  42
  43 The MC uses DPAA2 hardware resources such as queues, buffer pools, and
  44 network ports to create functional objects/devices such as network
  45 interfaces, an L2 switch, or accelerator instances.
  46
  47 The MC provides memory-mapped I/O command interfaces (MC portals)
  48 which DPAA2 software drivers use to operate on DPAA2 objects:
  49
  50 The diagram below shows an overview of the DPAA2 resource management
  51 architecture:
  52
  53 .. code-block:: console
  54
  55   +--------------------------------------+
  56   |                  OS                  |
  57   |                        DPAA2 drivers |
  58   |                             |        |
  59   +-----------------------------|--------+
  60                                 |
  61                                 | (create,discover,connect
  62                                 |  config,use,destroy)
  63                                 |
  64                   DPAA2         |
  65   +------------------------| mc portal |-+
  66   |                             |        |
  67   |   +- - - - - - - - - - - - -V- - -+  |
  68   |   |                               |  |
  69   |   |   Management Complex (MC)     |  |
  70   |   |                               |  |
  71   |   +- - - - - - - - - - - - - - - -+  |
  72   |                                      |
  73   | Hardware                  Hardware   |
  74   | Resources                 Objects    |
  75   | ---------                 -------    |
  76   | -queues                   -DPRC      |
  77   | -buffer pools             -DPMCP     |
  78   | -Eth MACs/ports           -DPIO      |
  79   | -network interface        -DPNI      |
  80   |  profiles                 -DPMAC     |
  81   | -queue portals            -DPBP      |
  82   | -MC portals                ...       |
  83   |  ...                                 |
  84   |                                      |
  85   +--------------------------------------+
  86
  87 The MC mediates operations such as create, discover,
  88 connect, configuration, and destroy.  Fast-path operations
  89 on data, such as packet transmit/receive, are not mediated by
  90 the MC and are done directly using memory mapped regions in
  91 DPIO objects.
  92
  93 Overview of DPAA2 Objects
  94 ~~~~~~~~~~~~~~~~~~~~~~~~~
  95
  96 The section provides a brief overview of some key DPAA2 objects.
  97 A simple scenario is described illustrating the objects involved
  98 in creating a network interfaces.
  99
 100 DPRC (Datapath Resource Container)
 101
 102  A DPRC is a container object that holds all the other
 103  types of DPAA2 objects.  In the example diagram below there
 104  are 8 objects of 5 types (DPMCP, DPIO, DPBP, DPNI, and DPMAC)
 105  in the container.
 106
 107 .. code-block:: console
 108
 109     +---------------------------------------------------------+
 110     | DPRC                                                    |
 111     |                                                         |
 112     |  +-------+  +-------+  +-------+  +-------+  +-------+  |
 113     |  | DPMCP |  | DPIO  |  | DPBP  |  | DPNI  |  | DPMAC |  |
 114     |  +-------+  +-------+  +-------+  +---+---+  +---+---+  |
 115     |  | DPMCP |  | DPIO  |                                   |
 116     |  +-------+  +-------+                                   |
 117     |  | DPMCP |                                              |
 118     |  +-------+                                              |
 119     |                                                         |
 120     +---------------------------------------------------------+
 121
 122 From the point of view of an OS, a DPRC behaves similar to a plug and
 123 play bus, like PCI.  DPRC commands can be used to enumerate the contents
 124 of the DPRC, discover the hardware objects present (including mappable
 125 regions and interrupts).
 126
 127 .. code-block:: console
 128
 129     DPRC.1 (bus)
 130       |
 131       +--+--------+-------+-------+-------+
 132          |        |       |       |       |
 133        DPMCP.1  DPIO.1  DPBP.1  DPNI.1  DPMAC.1
 134        DPMCP.2  DPIO.2
 135        DPMCP.3
 136
 137 Hardware objects can be created and destroyed dynamically, providing
 138 the ability to hot plug/unplug objects in and out of the DPRC.
 139
 140 A DPRC has a mappable MMIO region (an MC portal) that can be used
 141 to send MC commands.  It has an interrupt for status events (like
 142 hotplug).
 143
 144 All objects in a container share the same hardware "isolation context".
 145 This means that with respect to an IOMMU the isolation granularity
 146 is at the DPRC (container) level, not at the individual object
 147 level.
 148
 149 DPRCs can be defined statically and populated with objects
 150 via a config file passed to the MC when firmware starts
 151 it.  There is also a Linux user space tool called "restool"
 152 that can be used to create/destroy containers and objects
 153 dynamically.
 154
 155 DPAA2 Objects for an Ethernet Network Interface
 156 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 157
 158 A typical Ethernet NIC is monolithic-- the NIC device contains TX/RX
 159 queuing mechanisms, configuration mechanisms, buffer management,
 160 physical ports, and interrupts.  DPAA2 uses a more granular approach
 161 utilizing multiple hardware objects.  Each object provides specialized
 162 functions. Groups of these objects are used by software to provide
 163 Ethernet network interface functionality.  This approach provides
 164 efficient use of finite hardware resources, flexibility, and
 165 performance advantages.
 166
 167 The diagram below shows the objects needed for a simple
 168 network interface configuration on a system with 2 CPUs.
 169
 170 .. code-block:: console
 171
 172     +---+---+ +---+---+
 173        CPU0     CPU1
 174     +---+---+ +---+---+
 175         |         |
 176     +---+---+ +---+---+
 177        DPIO     DPIO
 178     +---+---+ +---+---+
 179           \     /
 180            \   /
 181             \ /
 182          +---+---+
 183             DPNI  --- DPBP,DPMCP
 184          +---+---+
 185              |
 186              |
 187          +---+---+
 188            DPMAC
 189          +---+---+
 190              |
 191           port/PHY
 192
 193 Below the objects are described.  For each object a brief description
 194 is provided along with a summary of the kinds of operations the object
 195 supports and a summary of key resources of the object (MMIO regions
 196 and IRQs).
 197
 198 DPMAC (Datapath Ethernet MAC): represents an Ethernet MAC, a
 199 hardware device that connects to an Ethernet PHY and allows
 200 physical transmission and reception of Ethernet frames.
 201
 202 - MMIO regions: none
 203 - IRQs: DPNI link change
 204 - commands: set link up/down, link config, get stats, IRQ config, enable, reset
 205
 206 DPNI (Datapath Network Interface): contains TX/RX queues,
 207 network interface configuration, and RX buffer pool configuration
 208 mechanisms.  The TX/RX queues are in memory and are identified by
 209 queue number.
 210
 211 - MMIO regions: none
 212 - IRQs: link state
 213 - commands: port config, offload config, queue config, parse/classify config, IRQ config, enable, reset
 214
 215 DPIO (Datapath I/O): provides interfaces to enqueue and dequeue
 216 packets and do hardware buffer pool management operations.  The DPAA2
 217 architecture separates the mechanism to access queues (the DPIO object)
 218 from the queues themselves.  The DPIO provides an MMIO interface to
 219 enqueue/dequeue packets.  To enqueue something a descriptor is written
 220 to the DPIO MMIO region, which includes the target queue number.
 221 There will typically be one DPIO assigned to each CPU.  This allows all
 222 CPUs to simultaneously perform enqueue/dequeued operations.  DPIOs are
 223 expected to be shared by different DPAA2 drivers.
 224
 225 - MMIO regions: queue operations, buffer management
 226 - IRQs: data availability, congestion notification, buffer pool depletion
 227 - commands: IRQ config, enable, reset
 228
 229 DPBP (Datapath Buffer Pool): represents a hardware buffer
 230 pool.
 231
 232 - MMIO regions: none
 233 - IRQs: none
 234 - commands: enable, reset
 235
 236 DPMCP (Datapath MC Portal): provides an MC command portal.
 237 Used by drivers to send commands to the MC to manage
 238 objects.
 239
 240 - MMIO regions: MC command portal
 241 - IRQs: command completion
 242 - commands: IRQ config, enable, reset
 243
 244 Object Connections
 245 ~~~~~~~~~~~~~~~~~~
 246
 247 Some objects have explicit relationships that must
 248 be configured:
 249
 250 - DPNI <--> DPMAC
 251 - DPNI <--> DPNI
 252 - DPNI <--> L2-switch-port
 253
 254 A DPNI must be connected to something such as a DPMAC,
 255 another DPNI, or L2 switch port.  The DPNI connection
 256 is made via a DPRC command.
 257
 258 .. code-block:: console
 259
 260     +-------+  +-------+
 261     | DPNI  |  | DPMAC |
 262     +---+---+  +---+---+
 263         |          |
 264         +==========+
 265
 266 - DPNI <--> DPBP
 267
 268 A network interface requires a 'buffer pool' (DPBP object) which provides
 269 a list of pointers to memory where received Ethernet data is to be copied.
 270 The Ethernet driver configures the DPBPs associated with the network
 271 interface.
 272
 273 Interrupts
 274 ~~~~~~~~~~
 275
 276 All interrupts generated by DPAA2 objects are message
 277 interrupts.  At the hardware level message interrupts
 278 generated by devices will normally have 3 components--
 279 1) a non-spoofable 'device-id' expressed on the hardware
 280 bus, 2) an address, 3) a data value.
 281
 282 In the case of DPAA2 devices/objects, all objects in the
 283 same container/DPRC share the same 'device-id'.
 284 For ARM-based SoC this is the same as the stream ID.
 285
 286
 287 DPAA2 DPDK - Poll Mode Driver Overview
 288 --------------------------------------
 289
 290 This section provides an overview of the drivers for
 291 DPAA2-- 1) the bus driver and associated "DPAA2 infrastructure"
 292 drivers and 2) functional object drivers (such as Ethernet).
 293
 294 As described previously, a DPRC is a container that holds the other
 295 types of DPAA2 objects.  It is functionally similar to a plug-and-play
 296 bus controller.
 297
 298 Each object in the DPRC is a Linux "device" and is bound to a driver.
 299 The diagram below shows the dpaa2 drivers involved in a networking
 300 scenario and the objects bound to each driver.  A brief description
 301 of each driver follows.
 302
 303 .. code-block:: console
 304
 305
 306                                        +------------+
 307                                        | DPDK DPAA2 |
 308                                        |     PMD    |
 309                                        +------------+       +------------+
 310                                        |  Ethernet  |.......|  Mempool   |
 311                     . . . . . . . . .  |   (DPNI)   |       |  (DPBP)    |
 312                    .                   +---+---+----+       +-----+------+
 313                   .                        ^   |                  .
 314                  .                         |   |<enqueue,         .
 315                 .                          |   | dequeue>         .
 316                .                           |   |                  .
 317               .                        +---+---V----+             .
 318              .      . . . . . . . . . .| DPIO driver|             .
 319             .      .                   |  (DPIO)    |             .
 320            .      .                    +-----+------+             .
 321           .      .                     |  QBMAN     |             .
 322          .      .                      |  Driver    |             .
 323     +----+------+-------+              +-----+----- |             .
 324     |   dpaa2 bus       |                    |                    .
 325     |   VFIO fslmc-bus  |....................|.....................
 326     |                   |                    |
 327     |     /bus/fslmc    |                    |
 328     +-------------------+                    |
 329                                              |
 330     ========================== HARDWARE =====|=======================
 331                                            DPIO
 332                                              |
 333                                            DPNI---DPBP
 334                                              |
 335                                            DPMAC
 336                                              |
 337                                             PHY
 338     =========================================|========================
 339
 340
 341 A brief description of each driver is provided below.
 342
 343 DPAA2 bus driver
 344 ~~~~~~~~~~~~~~~~
 345
 346 The DPAA2 bus driver is a rte_bus driver which scans the fsl-mc bus.
 347 Key functions include:
 348
 349 - Reading the container and setting up vfio group
 350 - Scanning and parsing the various MC objects and adding them to
 351   their respective device list.
 352
 353 Additionally, it also provides the object driver for generic MC objects.
 354
 355 DPIO driver
 356 ~~~~~~~~~~~
 357
 358 The DPIO driver is bound to DPIO objects and provides services that allow
 359 other drivers such as the Ethernet driver to enqueue and dequeue data for
 360 their respective objects.
 361 Key services include:
 362
 363 - Data availability notifications
 364 - Hardware queuing operations (enqueue and dequeue of data)
 365 - Hardware buffer pool management
 366
 367 To transmit a packet the Ethernet driver puts data on a queue and
 368 invokes a DPIO API.  For receive, the Ethernet driver registers
 369 a data availability notification callback.  To dequeue a packet
 370 a DPIO API is used.
 371
 372 There is typically one DPIO object per physical CPU for optimum
 373 performance, allowing different CPUs to simultaneously enqueue
 374 and dequeue data.
 375
 376 The DPIO driver operates on behalf of all DPAA2 drivers
 377 active  --  Ethernet, crypto, compression, etc.
 378
 379 DPBP based Mempool driver
 380 ~~~~~~~~~~~~~~~~~~~~~~~~~
 381
 382 The DPBP driver is bound to a DPBP objects and provides services to
 383 create a hardware offloaded packet buffer mempool.
 384
 385 DPAA2 NIC Driver
 386 ~~~~~~~~~~~~~~~~
 387 The Ethernet driver is bound to a DPNI and implements the kernel
 388 interfaces needed to connect the DPAA2 network interface to
 389 the network stack.
 390
 391 Each DPNI corresponds to a DPDK network interface.
 392
 393 Features
 394 ^^^^^^^^
 395
 396 Features of the DPAA2 PMD are:
 397
 398 - Multiple queues for TX and RX
 399 - Receive Side Scaling (RSS)
 400 - MAC/VLAN filtering
 401 - Packet type information
 402 - Checksum offload
 403 - Promiscuous mode
 404 - Multicast mode
 405 - Port hardware statistics
 406 - Jumbo frames
 407 - Link flow control
 408 - Scattered and gather for TX and RX
 409 - :ref:`Traffic Management API <dptmapi>`
 410
 411
 412 Supported DPAA2 SoCs
 413 --------------------
 414 - LX2160A
 415 - LS2084A/LS2044A
 416 - LS2088A/LS2048A
 417 - LS1088A/LS1048A
 418
 419 Prerequisites
 420 -------------
 421
 422 See :doc:`../platform/dpaa2` for setup information
 423
 424 - Follow the DPDK :ref:`Getting Started Guide for Linux <linux_gsg>` to setup the basic DPDK environment.
 425
 426 .. note::
 427
 428    Some part of fslmc bus code (mc flib - object library) routines are
 429    dual licensed (BSD & GPLv2), however they are used as BSD in DPDK in userspace.
 430
 431
 432 Driver compilation and testing
 433 ------------------------------
 434
 435 Refer to the document :ref:`compiling and testing a PMD for a NIC <pmd_build_and_test>`
 436 for details.
 437
 438 #. Running testpmd:
 439
 440    Follow instructions available in the document
 441    :ref:`compiling and testing a PMD for a NIC <pmd_build_and_test>`
 442    to run testpmd.
 443
 444    Example output:
 445
 446    .. code-block:: console
 447
 448       ./dpdk-testpmd -c 0xff -n 1 -- -i --portmask=0x3 --nb-cores=1 --no-flush-rx
 449
 450       .....
 451       EAL: Registered [pci] bus.
 452       EAL: Registered [fslmc] bus.
 453       EAL: Detected 8 lcore(s)
 454       EAL: Probing VFIO support...
 455       EAL: VFIO support initialized
 456       .....
 457       PMD: DPAA2: Processing Container = dprc.2
 458       EAL: fslmc: DPRC contains = 51 devices
 459       EAL: fslmc: Bus scan completed
 460       .....
 461       Configuring Port 0 (socket 0)
 462       Port 0: 00:00:00:00:00:01
 463       Configuring Port 1 (socket 0)
 464       Port 1: 00:00:00:00:00:02
 465       .....
 466       Checking link statuses...
 467       Port 0 Link Up - speed 10000 Mbps - full-duplex
 468       Port 1 Link Up - speed 10000 Mbps - full-duplex
 469       Done
 470       testpmd>
 471
 472
 473 * Use dev arg option ``drv_loopback=1`` to loopback packets at
 474   driver level. Any packet received will be reflected back by the
 475   driver on same port. e.g. ``fslmc:dpni.1,drv_loopback=1``
 476
 477 * Use dev arg option ``drv_no_prefetch=1`` to disable prefetching
 478   of the packet pull command which is issued  in the previous cycle.
 479   e.g. ``fslmc:dpni.1,drv_no_prefetch=1``
 480
 481 * Use dev arg option  ``drv_tx_conf=1`` to enable TX confirmation mode.
 482   In this mode tx conf queues need to be polled to free the buffers.
 483   e.g. ``fslmc:dpni.1,drv_tx_conf=1``
 484
 485 * Use dev arg option  ``drv_error_queue=1`` to enable Packets in Error queue.
 486   DPAA2 hardware drops the error packet in hardware. This option enables the
 487   hardware to not drop the error packet and let the driver dump the error
 488   packets, so that user can check what is wrong with those packets.
 489   e.g. ``fslmc:dpni.1,drv_error_queue=1``
 490
 491 Enabling logs
 492 -------------
 493
 494 For enabling logging for DPAA2 PMD, following log-level prefix can be used:
 495
 496  .. code-block:: console
 497
 498     <dpdk app> <EAL args> --log-level=bus.fslmc:<level> -- ...
 499
 500 Using ``bus.fslmc`` as log matching criteria, all FSLMC bus logs can be enabled
 501 which are lower than logging ``level``.
 502
 503  Or
 504
 505  .. code-block:: console
 506
 507     <dpdk app> <EAL args> --log-level=pmd.net.dpaa2:<level> -- ...
 508
 509 Using ``pmd.net.dpaa2`` as log matching criteria, all PMD logs can be enabled
 510 which are lower than logging ``level``.
 511
 512 Allowing & Blocking
 513 -------------------
 514
 515 For blocking a DPAA2 device, following commands can be used.
 516
 517  .. code-block:: console
 518
 519     <dpdk app> <EAL args> -b "fslmc:dpni.x" -- ...
 520
 521 Where x is the device object id as configured in resource container.
 522
 523 Running secondary debug app without blocklist
 524 ---------------------------------------------
 525
 526 dpaa2 hardware imposes limits on some H/W access devices like Management
 527 Control Port and H/W portal. This causes issue in their shared usages in
 528 case of multi-process applications. It can overcome by using
 529 allowlist/blocklist in primary and secondary applications.
 530
 531 In order to ease usage of standard debugging apps like dpdk-procinfo, dpaa2
 532 driver reserves extra Management Control Port and H/W portal which can be
 533 used by debug application to debug any existing application without
 534 blocking these devices in primary process.
 535
 536 Limitations
 537 -----------
 538
 539 Platform Requirement
 540 ~~~~~~~~~~~~~~~~~~~~
 541 DPAA2 drivers for DPDK can only work on NXP SoCs as listed in the
 542 ``Supported DPAA2 SoCs``.
 543
 544 Maximum packet length
 545 ~~~~~~~~~~~~~~~~~~~~~
 546
 547 The DPAA2 SoC family support a maximum of a 10240 jumbo frame. The value
 548 is fixed and cannot be changed. So, even when the ``rxmode.mtu``
 549 member of ``struct rte_eth_conf`` is set to a value lower than 10240, frames
 550 up to 10240 bytes can still reach the host interface.
 551
 552 Other Limitations
 553 ~~~~~~~~~~~~~~~~~
 554
 555 - RSS hash key cannot be modified.
 556 - RSS RETA cannot be configured.
 557
 558 .. _dptmapi:
 559
 560 Traffic Management API
 561 ----------------------
 562
 563 DPAA2 PMD supports generic DPDK Traffic Management API which allows to
 564 configure the following features:
 565
 566 1. Hierarchical scheduling
 567 2. Traffic shaping
 568
 569 Internally TM is represented by a hierarchy (tree) of nodes.
 570 Node which has a parent is called a leaf whereas node without
 571 parent is called a non-leaf (root).
 572
 573 Nodes hold following types of settings:
 574
 575 - for egress scheduler configuration: weight
 576 - for egress rate limiter: private shaper
 577
 578 Hierarchy is always constructed from the top, i.e first a root node is added
 579 then some number of leaf nodes. Number of leaf nodes cannot exceed number
 580 of configured tx queues.
 581
 582 After hierarchy is complete it can be committed.
 583
 584 For an additional description please refer to DPDK :doc:`Traffic Management API <../prog_guide/traffic_management>`.
 585
 586 Supported Features
 587 ~~~~~~~~~~~~~~~~~~
 588
 589 The following capabilities are supported:
 590
 591 - Level0 (root node) and Level1 are supported.
 592 - 1 private shaper at root node (port level) is supported.
 593 - 8 TX queues per port supported (1 channel per port)
 594 - Both SP and WFQ scheduling mechanisms are supported on all 8 queues.
 595 - Congestion notification is supported. It means if there is congestion on
 596     the network, DPDK driver will not enqueue any packet (no taildrop or WRED)
 597
 598   User can also check node, level capabilities using testpmd commands.
 599
 600 Usage example
 601 ~~~~~~~~~~~~~
 602
 603 For a detailed usage description please refer to "Traffic Management" section in DPDK :doc:`Testpmd Runtime Functions <../testpmd_app_ug/testpmd_funcs>`.
 604
 605 1. Run testpmd as follows:
 606
 607    .. code-block:: console
 608
 609         ./dpdk-testpmd  -c 0xf -n 1 -- -i --portmask 0x3 --nb-cores=1 --txq=4 --rxq=4
 610
 611 2. Stop all ports:
 612
 613    .. code-block:: console
 614
 615         testpmd> port stop all
 616
 617 3. Add shaper profile:
 618
 619    One port level shaper and strict priority on all 4 queues of port 0:
 620
 621    .. code-block:: console
 622
 623         add port tm node shaper profile 0 1 104857600 64 100 0 0
 624         add port tm nonleaf node 0 8 -1 0 1 0 1 1 1 0
 625         add port tm leaf node 0 0 8 0 1 1 -1 0 0 0 0
 626         add port tm leaf node 0 1 8 1 1 1 -1 0 0 0 0
 627         add port tm leaf node 0 2 8 2 1 1 -1 0 0 0 0
 628         add port tm leaf node 0 3 8 3 1 1 -1 0 0 0 0
 629         port tm hierarchy commit 0 no
 630
 631         or
 632
 633    One port level shaper and WFQ on all 4 queues of port 0:
 634
 635    .. code-block:: console
 636
 637         add port tm node shaper profile 0 1 104857600 64 100 0 0
 638         add port tm nonleaf node 0 8 -1 0 1 0 1 1 1 0
 639         add port tm leaf node 0 0 8 0 200 1 -1 0 0 0 0
 640         add port tm leaf node 0 1 8 0 300 1 -1 0 0 0 0
 641         add port tm leaf node 0 2 8 0 400 1 -1 0 0 0 0
 642         add port tm leaf node 0 3 8 0 500 1 -1 0 0 0 0
 643         port tm hierarchy commit 0 no
 644
 645 4. Create flows as per the source IP addresses:
 646
 647    .. code-block:: console
 648
 649         flow create 1 group 0 priority 1 ingress pattern ipv4 src is \
 650         10.10.10.1 / end actions queue index 0 / end
 651         flow create 1 group 0 priority 2 ingress pattern ipv4 src is \
 652         10.10.10.2 / end actions queue index 1 / end
 653         flow create 1 group 0 priority 3 ingress pattern ipv4 src is \
 654         10.10.10.3 / end actions queue index 2 / end
 655         flow create 1 group 0 priority 4 ingress pattern ipv4 src is \
 656         10.10.10.4 / end actions queue index 3 / end
 657
 658 5. Start all ports
 659
 660    .. code-block:: console
 661
 662         testpmd> port start all
 663
 664
 665
 666 6. Enable forwarding
 667
 668    .. code-block:: console
 669
 670                 testpmd> start
 671
 672 7. Inject the traffic on port1 as per the configured flows, you will see shaped and scheduled forwarded traffic on port0