examples/qos_meter/main.c

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  * Copyright(c) 2010-2016 Intel Corporation
   3  */
   4
   5 #include <stdio.h>
   6 #include <getopt.h>
   7
   8 #include <rte_common.h>
   9 #include <rte_eal.h>
  10 #include <rte_malloc.h>
  11 #include <rte_mempool.h>
  12 #include <rte_ethdev.h>
  13 #include <rte_cycles.h>
  14 #include <rte_mbuf.h>
  15 #include <rte_meter.h>
  16
  17 /*
  18  * Traffic metering configuration
  19  *
  20  */
  21 #define APP_MODE_FWD                    0
  22 #define APP_MODE_SRTCM_COLOR_BLIND      1
  23 #define APP_MODE_SRTCM_COLOR_AWARE      2
  24 #define APP_MODE_TRTCM_COLOR_BLIND      3
  25 #define APP_MODE_TRTCM_COLOR_AWARE      4
  26
  27 #define APP_MODE        APP_MODE_SRTCM_COLOR_BLIND
  28
  29
  30 #include "main.h"
  31
  32
  33 #define APP_PKT_FLOW_POS                33
  34 #define APP_PKT_COLOR_POS               5
  35
  36
  37 #if APP_PKT_FLOW_POS > 64 || APP_PKT_COLOR_POS > 64
  38 #error Byte offset needs to be less than 64
  39 #endif
  40
  41 /*
  42  * Buffer pool configuration
  43  *
  44  ***/
  45 #define NB_MBUF             8192
  46 #define MEMPOOL_CACHE_SIZE  256
  47
  48 static struct rte_mempool *pool = NULL;
  49
  50 /*
  51  * NIC configuration
  52  *
  53  ***/
  54 static struct rte_eth_conf port_conf = {
  55         .rxmode = {
  56                 .mq_mode        = ETH_MQ_RX_RSS,
  57                 .max_rx_pkt_len = RTE_ETHER_MAX_LEN,
  58                 .split_hdr_size = 0,
  59                 .offloads = DEV_RX_OFFLOAD_CHECKSUM,
  60         },
  61         .rx_adv_conf = {
  62                 .rss_conf = {
  63                         .rss_key = NULL,
  64                         .rss_hf = ETH_RSS_IP,
  65                 },
  66         },
  67         .txmode = {
  68                 .mq_mode = ETH_DCB_NONE,
  69         },
  70 };
  71
  72 #define NIC_RX_QUEUE_DESC               1024
  73 #define NIC_TX_QUEUE_DESC               1024
  74
  75 #define NIC_RX_QUEUE                    0
  76 #define NIC_TX_QUEUE                    0
  77
  78 /*
  79  * Packet RX/TX
  80  *
  81  ***/
  82 #define PKT_RX_BURST_MAX                32
  83 #define PKT_TX_BURST_MAX                32
  84 #define TIME_TX_DRAIN                   200000ULL
  85
  86 static uint16_t port_rx;
  87 static uint16_t port_tx;
  88 static struct rte_mbuf *pkts_rx[PKT_RX_BURST_MAX];
  89 struct rte_eth_dev_tx_buffer *tx_buffer;
  90
  91 struct rte_meter_srtcm_params app_srtcm_params = {
  92         .cir = 1000000 * 46,
  93         .cbs = 2048,
  94         .ebs = 2048
  95 };
  96
  97 struct rte_meter_srtcm_profile app_srtcm_profile;
  98
  99 struct rte_meter_trtcm_params app_trtcm_params = {
 100         .cir = 1000000 * 46,
 101         .pir = 1500000 * 46,
 102         .cbs = 2048,
 103         .pbs = 2048
 104 };
 105
 106 struct rte_meter_trtcm_profile app_trtcm_profile;
 107
 108 #define APP_FLOWS_MAX  256
 109
 110 FLOW_METER app_flows[APP_FLOWS_MAX];
 111
 112 static int
 113 app_configure_flow_table(void)
 114 {
 115         uint32_t i;
 116         int ret;
 117
 118         ret = rte_meter_srtcm_profile_config(&app_srtcm_profile,
 119                 &app_srtcm_params);
 120         if (ret)
 121                 return ret;
 122
 123         ret = rte_meter_trtcm_profile_config(&app_trtcm_profile,
 124                 &app_trtcm_params);
 125         if (ret)
 126                 return ret;
 127
 128         for (i = 0; i < APP_FLOWS_MAX; i++) {
 129                 ret = FUNC_CONFIG(&app_flows[i], &PROFILE);
 130                 if (ret)
 131                         return ret;
 132         }
 133
 134         return 0;
 135 }
 136
 137 static inline void
 138 app_set_pkt_color(uint8_t *pkt_data, enum policer_action color)
 139 {
 140         pkt_data[APP_PKT_COLOR_POS] = (uint8_t)color;
 141 }
 142
 143 static inline int
 144 app_pkt_handle(struct rte_mbuf *pkt, uint64_t time)
 145 {
 146         uint8_t input_color, output_color;
 147         uint8_t *pkt_data = rte_pktmbuf_mtod(pkt, uint8_t *);
 148         uint32_t pkt_len = rte_pktmbuf_pkt_len(pkt) -
 149                 sizeof(struct rte_ether_hdr);
 150         uint8_t flow_id = (uint8_t)(pkt_data[APP_PKT_FLOW_POS] & (APP_FLOWS_MAX - 1));
 151         input_color = pkt_data[APP_PKT_COLOR_POS];
 152         enum policer_action action;
 153
 154         /* color input is not used for blind modes */
 155         output_color = (uint8_t) FUNC_METER(&app_flows[flow_id],
 156                 &PROFILE,
 157                 time,
 158                 pkt_len,
 159                 (enum rte_color) input_color);
 160
 161         /* Apply policing and set the output color */
 162         action = policer_table[input_color][output_color];
 163         app_set_pkt_color(pkt_data, action);
 164
 165         return action;
 166 }
 167
 168
 169 static __rte_noreturn int
 170 main_loop(__rte_unused void *dummy)
 171 {
 172         uint64_t current_time, last_time = rte_rdtsc();
 173         uint32_t lcore_id = rte_lcore_id();
 174
 175         printf("Core %u: port RX = %d, port TX = %d\n", lcore_id, port_rx, port_tx);
 176
 177         while (1) {
 178                 uint64_t time_diff;
 179                 int i, nb_rx;
 180
 181                 /* Mechanism to avoid stale packets in the output buffer */
 182                 current_time = rte_rdtsc();
 183                 time_diff = current_time - last_time;
 184                 if (unlikely(time_diff > TIME_TX_DRAIN)) {
 185                         /* Flush tx buffer */
 186                         rte_eth_tx_buffer_flush(port_tx, NIC_TX_QUEUE, tx_buffer);
 187                         last_time = current_time;
 188                 }
 189
 190                 /* Read packet burst from NIC RX */
 191                 nb_rx = rte_eth_rx_burst(port_rx, NIC_RX_QUEUE, pkts_rx, PKT_RX_BURST_MAX);
 192
 193                 /* Handle packets */
 194                 for (i = 0; i < nb_rx; i ++) {
 195                         struct rte_mbuf *pkt = pkts_rx[i];
 196
 197                         /* Handle current packet */
 198                         if (app_pkt_handle(pkt, current_time) == DROP)
 199                                 rte_pktmbuf_free(pkt);
 200                         else
 201                                 rte_eth_tx_buffer(port_tx, NIC_TX_QUEUE, tx_buffer, pkt);
 202                 }
 203         }
 204 }
 205
 206 static void
 207 print_usage(const char *prgname)
 208 {
 209         printf ("%s [EAL options] -- -p PORTMASK\n"
 210                 "  -p PORTMASK: hexadecimal bitmask of ports to configure\n",
 211                 prgname);
 212 }
 213
 214 static int
 215 parse_portmask(const char *portmask)
 216 {
 217         char *end = NULL;
 218         unsigned long pm;
 219
 220         /* parse hexadecimal string */
 221         pm = strtoul(portmask, &end, 16);
 222         if ((portmask[0] == '\0') || (end == NULL) || (*end != '\0'))
 223                 return -1;
 224
 225         if (pm == 0)
 226                 return -1;
 227
 228         return pm;
 229 }
 230
 231 /* Parse the argument given in the command line of the application */
 232 static int
 233 parse_args(int argc, char **argv)
 234 {
 235         int opt;
 236         char **argvopt;
 237         int option_index;
 238         char *prgname = argv[0];
 239         static struct option lgopts[] = {
 240                 {NULL, 0, 0, 0}
 241         };
 242         uint64_t port_mask, i, mask;
 243
 244         argvopt = argv;
 245
 246         while ((opt = getopt_long(argc, argvopt, "p:", lgopts, &option_index)) != EOF) {
 247                 switch (opt) {
 248                 case 'p':
 249                         port_mask = parse_portmask(optarg);
 250                         if (port_mask == 0) {
 251                                 printf("invalid port mask (null port mask)\n");
 252                                 print_usage(prgname);
 253                                 return -1;
 254                         }
 255
 256                         for (i = 0, mask = 1; i < 64; i ++, mask <<= 1){
 257                                 if (mask & port_mask){
 258                                         port_rx = i;
 259                                         port_mask &= ~ mask;
 260                                         break;
 261                                 }
 262                         }
 263
 264                         for (i = 0, mask = 1; i < 64; i ++, mask <<= 1){
 265                                 if (mask & port_mask){
 266                                         port_tx = i;
 267                                         port_mask &= ~ mask;
 268                                         break;
 269                                 }
 270                         }
 271
 272                         if (port_mask != 0) {
 273                                 printf("invalid port mask (more than 2 ports)\n");
 274                                 print_usage(prgname);
 275                                 return -1;
 276                         }
 277                         break;
 278
 279                 default:
 280                         print_usage(prgname);
 281                         return -1;
 282                 }
 283         }
 284
 285         if (optind <= 1) {
 286                 print_usage(prgname);
 287                 return -1;
 288         }
 289
 290         argv[optind-1] = prgname;
 291
 292         optind = 1; /* reset getopt lib */
 293         return 0;
 294 }
 295
 296 int
 297 main(int argc, char **argv)
 298 {
 299         uint32_t lcore_id;
 300         uint16_t nb_rxd = NIC_RX_QUEUE_DESC;
 301         uint16_t nb_txd = NIC_TX_QUEUE_DESC;
 302         struct rte_eth_conf conf;
 303         struct rte_eth_rxconf rxq_conf;
 304         struct rte_eth_txconf txq_conf;
 305         struct rte_eth_dev_info dev_info;
 306         int ret;
 307
 308         /* EAL init */
 309         ret = rte_eal_init(argc, argv);
 310         if (ret < 0)
 311                 rte_exit(EXIT_FAILURE, "Invalid EAL parameters\n");
 312         argc -= ret;
 313         argv += ret;
 314         if (rte_lcore_count() != 1) {
 315                 rte_exit(EXIT_FAILURE, "This application does not accept more than one core. "
 316                 "Please adjust the \"-c COREMASK\" parameter accordingly.\n");
 317         }
 318
 319         /* Application non-EAL arguments parse */
 320         ret = parse_args(argc, argv);
 321         if (ret < 0)
 322                 rte_exit(EXIT_FAILURE, "Invalid input arguments\n");
 323
 324         /* Buffer pool init */
 325         pool = rte_pktmbuf_pool_create("pool", NB_MBUF, MEMPOOL_CACHE_SIZE,
 326                 0, RTE_MBUF_DEFAULT_BUF_SIZE, rte_socket_id());
 327         if (pool == NULL)
 328                 rte_exit(EXIT_FAILURE, "Buffer pool creation error\n");
 329
 330         /* NIC init */
 331         conf = port_conf;
 332
 333         ret = rte_eth_dev_info_get(port_rx, &dev_info);
 334         if (ret != 0)
 335                 rte_exit(EXIT_FAILURE,
 336                         "Error during getting device (port %u) info: %s\n",
 337                         port_rx, strerror(-ret));
 338
 339         if (dev_info.tx_offload_capa & DEV_TX_OFFLOAD_MBUF_FAST_FREE)
 340                 conf.txmode.offloads |= DEV_TX_OFFLOAD_MBUF_FAST_FREE;
 341
 342         conf.rx_adv_conf.rss_conf.rss_hf &= dev_info.flow_type_rss_offloads;
 343         if (conf.rx_adv_conf.rss_conf.rss_hf !=
 344                         port_conf.rx_adv_conf.rss_conf.rss_hf) {
 345                 printf("Port %u modified RSS hash function based on hardware support,"
 346                         "requested:%#"PRIx64" configured:%#"PRIx64"\n",
 347                         port_rx,
 348                         port_conf.rx_adv_conf.rss_conf.rss_hf,
 349                         conf.rx_adv_conf.rss_conf.rss_hf);
 350         }
 351
 352         ret = rte_eth_dev_configure(port_rx, 1, 1, &conf);
 353         if (ret < 0)
 354                 rte_exit(EXIT_FAILURE, "Port %d configuration error (%d)\n", port_rx, ret);
 355
 356         ret = rte_eth_dev_adjust_nb_rx_tx_desc(port_rx, &nb_rxd, &nb_txd);
 357         if (ret < 0)
 358                 rte_exit(EXIT_FAILURE, "Port %d adjust number of descriptors error (%d)\n",
 359                                 port_rx, ret);
 360
 361         rxq_conf = dev_info.default_rxconf;
 362         rxq_conf.offloads = conf.rxmode.offloads;
 363         ret = rte_eth_rx_queue_setup(port_rx, NIC_RX_QUEUE, nb_rxd,
 364                                 rte_eth_dev_socket_id(port_rx),
 365                                 &rxq_conf, pool);
 366         if (ret < 0)
 367                 rte_exit(EXIT_FAILURE, "Port %d RX queue setup error (%d)\n", port_rx, ret);
 368
 369         txq_conf = dev_info.default_txconf;
 370         txq_conf.offloads = conf.txmode.offloads;
 371         ret = rte_eth_tx_queue_setup(port_rx, NIC_TX_QUEUE, nb_txd,
 372                                 rte_eth_dev_socket_id(port_rx),
 373                                 &txq_conf);
 374         if (ret < 0)
 375         rte_exit(EXIT_FAILURE, "Port %d TX queue setup error (%d)\n", port_rx, ret);
 376
 377         conf = port_conf;
 378
 379         ret = rte_eth_dev_info_get(port_tx, &dev_info);
 380         if (ret != 0)
 381                 rte_exit(EXIT_FAILURE,
 382                         "Error during getting device (port %u) info: %s\n",
 383                         port_tx, strerror(-ret));
 384
 385         if (dev_info.tx_offload_capa & DEV_TX_OFFLOAD_MBUF_FAST_FREE)
 386                 conf.txmode.offloads |= DEV_TX_OFFLOAD_MBUF_FAST_FREE;
 387
 388         conf.rx_adv_conf.rss_conf.rss_hf &= dev_info.flow_type_rss_offloads;
 389         if (conf.rx_adv_conf.rss_conf.rss_hf !=
 390                         port_conf.rx_adv_conf.rss_conf.rss_hf) {
 391                 printf("Port %u modified RSS hash function based on hardware support,"
 392                         "requested:%#"PRIx64" configured:%#"PRIx64"\n",
 393                         port_tx,
 394                         port_conf.rx_adv_conf.rss_conf.rss_hf,
 395                         conf.rx_adv_conf.rss_conf.rss_hf);
 396         }
 397
 398         ret = rte_eth_dev_configure(port_tx, 1, 1, &conf);
 399         if (ret < 0)
 400                 rte_exit(EXIT_FAILURE, "Port %d configuration error (%d)\n", port_tx, ret);
 401
 402         nb_rxd = NIC_RX_QUEUE_DESC;
 403         nb_txd = NIC_TX_QUEUE_DESC;
 404         ret = rte_eth_dev_adjust_nb_rx_tx_desc(port_tx, &nb_rxd, &nb_txd);
 405         if (ret < 0)
 406                 rte_exit(EXIT_FAILURE, "Port %d adjust number of descriptors error (%d)\n",
 407                                 port_tx, ret);
 408
 409         rxq_conf = dev_info.default_rxconf;
 410         rxq_conf.offloads = conf.rxmode.offloads;
 411         ret = rte_eth_rx_queue_setup(port_tx, NIC_RX_QUEUE, nb_rxd,
 412                                 rte_eth_dev_socket_id(port_tx),
 413                                 NULL, pool);
 414         if (ret < 0)
 415                 rte_exit(EXIT_FAILURE, "Port %d RX queue setup error (%d)\n", port_tx, ret);
 416
 417         txq_conf = dev_info.default_txconf;
 418         txq_conf.offloads = conf.txmode.offloads;
 419         ret = rte_eth_tx_queue_setup(port_tx, NIC_TX_QUEUE, nb_txd,
 420                                 rte_eth_dev_socket_id(port_tx),
 421                                 NULL);
 422         if (ret < 0)
 423                 rte_exit(EXIT_FAILURE, "Port %d TX queue setup error (%d)\n", port_tx, ret);
 424
 425         tx_buffer = rte_zmalloc_socket("tx_buffer",
 426                         RTE_ETH_TX_BUFFER_SIZE(PKT_TX_BURST_MAX), 0,
 427                         rte_eth_dev_socket_id(port_tx));
 428         if (tx_buffer == NULL)
 429                 rte_exit(EXIT_FAILURE, "Port %d TX buffer allocation error\n",
 430                                 port_tx);
 431
 432         rte_eth_tx_buffer_init(tx_buffer, PKT_TX_BURST_MAX);
 433
 434         ret = rte_eth_dev_start(port_rx);
 435         if (ret < 0)
 436                 rte_exit(EXIT_FAILURE, "Port %d start error (%d)\n", port_rx, ret);
 437
 438         ret = rte_eth_dev_start(port_tx);
 439         if (ret < 0)
 440                 rte_exit(EXIT_FAILURE, "Port %d start error (%d)\n", port_tx, ret);
 441
 442         ret = rte_eth_promiscuous_enable(port_rx);
 443         if (ret != 0)
 444                 rte_exit(EXIT_FAILURE,
 445                         "Port %d promiscuous mode enable error (%s)\n",
 446                         port_rx, rte_strerror(-ret));
 447
 448         ret = rte_eth_promiscuous_enable(port_tx);
 449         if (ret != 0)
 450                 rte_exit(EXIT_FAILURE,
 451                         "Port %d promiscuous mode enable error (%s)\n",
 452                         port_rx, rte_strerror(-ret));
 453
 454         /* App configuration */
 455         ret = app_configure_flow_table();
 456         if (ret < 0)
 457                 rte_exit(EXIT_FAILURE, "Invalid configure flow table\n");
 458
 459         /* Launch per-lcore init on every lcore */
 460         rte_eal_mp_remote_launch(main_loop, NULL, CALL_MASTER);
 461         RTE_LCORE_FOREACH_SLAVE(lcore_id) {
 462                 if (rte_eal_wait_lcore(lcore_id) < 0)
 463                         return -1;
 464         }
 465
 466         return 0;
 467 }