net/softnic: add thread
[dpdk.git] / drivers / net / softnic / rte_eth_softnic_internals.h
1 /* SPDX-License-Identifier: BSD-3-Clause
2  * Copyright(c) 2017 Intel Corporation
3  */
4
5 #ifndef __INCLUDE_RTE_ETH_SOFTNIC_INTERNALS_H__
6 #define __INCLUDE_RTE_ETH_SOFTNIC_INTERNALS_H__
7
8 #include <stddef.h>
9 #include <stdint.h>
10 #include <sys/queue.h>
11
12 #include <rte_mempool.h>
13 #include <rte_mbuf.h>
14 #include <rte_ring.h>
15 #include <rte_ethdev.h>
16 #include <rte_sched.h>
17 #include <rte_port_in_action.h>
18 #include <rte_table_action.h>
19 #include <rte_pipeline.h>
20
21 #include <rte_ethdev_driver.h>
22 #include <rte_tm_driver.h>
23
24 #include "rte_eth_softnic.h"
25
26 #define NAME_SIZE                                            64
27
28 /**
29  * PMD Parameters
30  */
31
32 struct pmd_params {
33         const char *name;
34         const char *firmware;
35         uint32_t cpu_id;
36
37         /** Traffic Management (TM) */
38         struct {
39                 uint32_t n_queues; /**< Number of queues */
40                 uint16_t qsize[RTE_SCHED_TRAFFIC_CLASSES_PER_PIPE];
41         } tm;
42 };
43
44 /**
45  * MEMPOOL
46  */
47 struct softnic_mempool_params {
48         uint32_t buffer_size;
49         uint32_t pool_size;
50         uint32_t cache_size;
51 };
52
53 struct softnic_mempool {
54         TAILQ_ENTRY(softnic_mempool) node;
55         char name[NAME_SIZE];
56         struct rte_mempool *m;
57         uint32_t buffer_size;
58 };
59
60 TAILQ_HEAD(softnic_mempool_list, softnic_mempool);
61
62 /**
63  * SWQ
64  */
65 struct softnic_swq_params {
66         uint32_t size;
67 };
68
69 struct softnic_swq {
70         TAILQ_ENTRY(softnic_swq) node;
71         char name[NAME_SIZE];
72         struct rte_ring *r;
73 };
74
75 TAILQ_HEAD(softnic_swq_list, softnic_swq);
76
77 /**
78  * LINK
79  */
80 struct softnic_link_params {
81         const char *dev_name;
82         uint16_t port_id; /**< Valid only when *dev_name* is NULL. */
83 };
84
85 struct softnic_link {
86         TAILQ_ENTRY(softnic_link) node;
87         char name[NAME_SIZE];
88         uint16_t port_id;
89         uint32_t n_rxq;
90         uint32_t n_txq;
91 };
92
93 TAILQ_HEAD(softnic_link_list, softnic_link);
94
95 /**
96  * TMGR
97  */
98
99 #ifndef TM_MAX_SUBPORTS
100 #define TM_MAX_SUBPORTS                                 8
101 #endif
102
103 #ifndef TM_MAX_PIPES_PER_SUBPORT
104 #define TM_MAX_PIPES_PER_SUBPORT                        4096
105 #endif
106
107 struct tm_params {
108         struct rte_sched_port_params port_params;
109
110         struct rte_sched_subport_params subport_params[TM_MAX_SUBPORTS];
111
112         struct rte_sched_pipe_params
113                 pipe_profiles[RTE_SCHED_PIPE_PROFILES_PER_PORT];
114         uint32_t n_pipe_profiles;
115         uint32_t pipe_to_profile[TM_MAX_SUBPORTS * TM_MAX_PIPES_PER_SUBPORT];
116 };
117
118 /* TM Levels */
119 enum tm_node_level {
120         TM_NODE_LEVEL_PORT = 0,
121         TM_NODE_LEVEL_SUBPORT,
122         TM_NODE_LEVEL_PIPE,
123         TM_NODE_LEVEL_TC,
124         TM_NODE_LEVEL_QUEUE,
125         TM_NODE_LEVEL_MAX,
126 };
127
128 /* TM Shaper Profile */
129 struct tm_shaper_profile {
130         TAILQ_ENTRY(tm_shaper_profile) node;
131         uint32_t shaper_profile_id;
132         uint32_t n_users;
133         struct rte_tm_shaper_params params;
134 };
135
136 TAILQ_HEAD(tm_shaper_profile_list, tm_shaper_profile);
137
138 /* TM Shared Shaper */
139 struct tm_shared_shaper {
140         TAILQ_ENTRY(tm_shared_shaper) node;
141         uint32_t shared_shaper_id;
142         uint32_t n_users;
143         uint32_t shaper_profile_id;
144 };
145
146 TAILQ_HEAD(tm_shared_shaper_list, tm_shared_shaper);
147
148 /* TM WRED Profile */
149 struct tm_wred_profile {
150         TAILQ_ENTRY(tm_wred_profile) node;
151         uint32_t wred_profile_id;
152         uint32_t n_users;
153         struct rte_tm_wred_params params;
154 };
155
156 TAILQ_HEAD(tm_wred_profile_list, tm_wred_profile);
157
158 /* TM Node */
159 struct tm_node {
160         TAILQ_ENTRY(tm_node) node;
161         uint32_t node_id;
162         uint32_t parent_node_id;
163         uint32_t priority;
164         uint32_t weight;
165         uint32_t level;
166         struct tm_node *parent_node;
167         struct tm_shaper_profile *shaper_profile;
168         struct tm_wred_profile *wred_profile;
169         struct rte_tm_node_params params;
170         struct rte_tm_node_stats stats;
171         uint32_t n_children;
172 };
173
174 TAILQ_HEAD(tm_node_list, tm_node);
175
176 /* TM Hierarchy Specification */
177 struct tm_hierarchy {
178         struct tm_shaper_profile_list shaper_profiles;
179         struct tm_shared_shaper_list shared_shapers;
180         struct tm_wred_profile_list wred_profiles;
181         struct tm_node_list nodes;
182
183         uint32_t n_shaper_profiles;
184         uint32_t n_shared_shapers;
185         uint32_t n_wred_profiles;
186         uint32_t n_nodes;
187
188         uint32_t n_tm_nodes[TM_NODE_LEVEL_MAX];
189 };
190
191 struct tm_internals {
192         /** Hierarchy specification
193          *
194          *     -Hierarchy is unfrozen at init and when port is stopped.
195          *     -Hierarchy is frozen on successful hierarchy commit.
196          *     -Run-time hierarchy changes are not allowed, therefore it makes
197          *      sense to keep the hierarchy frozen after the port is started.
198          */
199         struct tm_hierarchy h;
200         int hierarchy_frozen;
201
202         /** Blueprints */
203         struct tm_params params;
204         struct rte_sched_port *sched;
205 };
206
207 struct softnic_tmgr_port {
208         TAILQ_ENTRY(softnic_tmgr_port) node;
209         char name[NAME_SIZE];
210         struct rte_sched_port *s;
211 };
212
213 TAILQ_HEAD(softnic_tmgr_port_list, softnic_tmgr_port);
214
215 /**
216  * TAP
217  */
218 struct softnic_tap {
219         TAILQ_ENTRY(softnic_tap) node;
220         char name[NAME_SIZE];
221         int fd;
222 };
223
224 TAILQ_HEAD(softnic_tap_list, softnic_tap);
225
226 /**
227  * Input port action
228  */
229 struct softnic_port_in_action_profile_params {
230         uint64_t action_mask;
231         struct rte_port_in_action_fltr_config fltr;
232         struct rte_port_in_action_lb_config lb;
233 };
234
235 struct softnic_port_in_action_profile {
236         TAILQ_ENTRY(softnic_port_in_action_profile) node;
237         char name[NAME_SIZE];
238         struct softnic_port_in_action_profile_params params;
239         struct rte_port_in_action_profile *ap;
240 };
241
242 TAILQ_HEAD(softnic_port_in_action_profile_list, softnic_port_in_action_profile);
243
244 /**
245  * Table action
246  */
247 struct softnic_table_action_profile_params {
248         uint64_t action_mask;
249         struct rte_table_action_common_config common;
250         struct rte_table_action_lb_config lb;
251         struct rte_table_action_mtr_config mtr;
252         struct rte_table_action_tm_config tm;
253         struct rte_table_action_encap_config encap;
254         struct rte_table_action_nat_config nat;
255         struct rte_table_action_ttl_config ttl;
256         struct rte_table_action_stats_config stats;
257 };
258
259 struct softnic_table_action_profile {
260         TAILQ_ENTRY(softnic_table_action_profile) node;
261         char name[NAME_SIZE];
262         struct softnic_table_action_profile_params params;
263         struct rte_table_action_profile *ap;
264 };
265
266 TAILQ_HEAD(softnic_table_action_profile_list, softnic_table_action_profile);
267
268 /**
269  * Pipeline
270  */
271 struct pipeline_params {
272         uint32_t timer_period_ms;
273         uint32_t offset_port_id;
274 };
275
276 enum softnic_port_in_type {
277         PORT_IN_RXQ,
278         PORT_IN_SWQ,
279         PORT_IN_TMGR,
280         PORT_IN_TAP,
281         PORT_IN_SOURCE,
282 };
283
284 struct softnic_port_in_params {
285         /* Read */
286         enum softnic_port_in_type type;
287         const char *dev_name;
288         union {
289                 struct {
290                         uint16_t queue_id;
291                 } rxq;
292
293                 struct {
294                         const char *mempool_name;
295                         uint32_t mtu;
296                 } tap;
297
298                 struct {
299                         const char *mempool_name;
300                         const char *file_name;
301                         uint32_t n_bytes_per_pkt;
302                 } source;
303         };
304         uint32_t burst_size;
305
306         /* Action */
307         const char *action_profile_name;
308 };
309
310 enum softnic_port_out_type {
311         PORT_OUT_TXQ,
312         PORT_OUT_SWQ,
313         PORT_OUT_TMGR,
314         PORT_OUT_TAP,
315         PORT_OUT_SINK,
316 };
317
318 struct softnic_port_out_params {
319         enum softnic_port_out_type type;
320         const char *dev_name;
321         union {
322                 struct {
323                         uint16_t queue_id;
324                 } txq;
325
326                 struct {
327                         const char *file_name;
328                         uint32_t max_n_pkts;
329                 } sink;
330         };
331         uint32_t burst_size;
332         int retry;
333         uint32_t n_retries;
334 };
335
336 enum softnic_table_type {
337         TABLE_ACL,
338         TABLE_ARRAY,
339         TABLE_HASH,
340         TABLE_LPM,
341         TABLE_STUB,
342 };
343
344 struct softnic_table_acl_params {
345         uint32_t n_rules;
346         uint32_t ip_header_offset;
347         int ip_version;
348 };
349
350 struct softnic_table_array_params {
351         uint32_t n_keys;
352         uint32_t key_offset;
353 };
354
355 struct softnic_table_hash_params {
356         uint32_t n_keys;
357         uint32_t key_offset;
358         uint32_t key_size;
359         uint8_t *key_mask;
360         uint32_t n_buckets;
361         int extendable_bucket;
362 };
363
364 struct softnic_table_lpm_params {
365         uint32_t n_rules;
366         uint32_t key_offset;
367         uint32_t key_size;
368 };
369
370 struct softnic_table_params {
371         /* Match */
372         enum softnic_table_type match_type;
373         union {
374                 struct softnic_table_acl_params acl;
375                 struct softnic_table_array_params array;
376                 struct softnic_table_hash_params hash;
377                 struct softnic_table_lpm_params lpm;
378         } match;
379
380         /* Action */
381         const char *action_profile_name;
382 };
383
384 struct softnic_port_in {
385         struct softnic_port_in_params params;
386         struct softnic_port_in_action_profile *ap;
387         struct rte_port_in_action *a;
388 };
389
390 struct softnic_table {
391         struct softnic_table_params params;
392         struct softnic_table_action_profile *ap;
393         struct rte_table_action *a;
394 };
395
396 struct pipeline {
397         TAILQ_ENTRY(pipeline) node;
398         char name[NAME_SIZE];
399
400         struct rte_pipeline *p;
401         struct softnic_port_in port_in[RTE_PIPELINE_PORT_IN_MAX];
402         struct softnic_table table[RTE_PIPELINE_TABLE_MAX];
403         uint32_t n_ports_in;
404         uint32_t n_ports_out;
405         uint32_t n_tables;
406
407         struct rte_ring *msgq_req;
408         struct rte_ring *msgq_rsp;
409         uint32_t timer_period_ms;
410
411         int enabled;
412         uint32_t thread_id;
413         uint32_t cpu_id;
414 };
415
416 TAILQ_HEAD(pipeline_list, pipeline);
417
418 /**
419  * Thread
420  */
421 #ifndef THREAD_PIPELINES_MAX
422 #define THREAD_PIPELINES_MAX                               256
423 #endif
424
425 #ifndef THREAD_MSGQ_SIZE
426 #define THREAD_MSGQ_SIZE                                   64
427 #endif
428
429 #ifndef THREAD_TIMER_PERIOD_MS
430 #define THREAD_TIMER_PERIOD_MS                             100
431 #endif
432
433 /**
434  * Master thead: data plane thread context
435  */
436 struct softnic_thread {
437         struct rte_ring *msgq_req;
438         struct rte_ring *msgq_rsp;
439
440         uint32_t enabled;
441 };
442
443 /**
444  * Data plane threads: context
445  */
446 #ifndef TABLE_RULE_ACTION_SIZE_MAX
447 #define TABLE_RULE_ACTION_SIZE_MAX                         2048
448 #endif
449
450 struct softnic_table_data {
451         struct rte_table_action *a;
452 };
453
454 struct pipeline_data {
455         struct rte_pipeline *p;
456         struct softnic_table_data table_data[RTE_PIPELINE_TABLE_MAX];
457         uint32_t n_tables;
458
459         struct rte_ring *msgq_req;
460         struct rte_ring *msgq_rsp;
461         uint64_t timer_period; /* Measured in CPU cycles. */
462         uint64_t time_next;
463
464         uint8_t buffer[TABLE_RULE_ACTION_SIZE_MAX];
465 };
466
467 struct softnic_thread_data {
468         struct rte_pipeline *p[THREAD_PIPELINES_MAX];
469         uint32_t n_pipelines;
470
471         struct pipeline_data pipeline_data[THREAD_PIPELINES_MAX];
472         struct rte_ring *msgq_req;
473         struct rte_ring *msgq_rsp;
474         uint64_t timer_period; /* Measured in CPU cycles. */
475         uint64_t time_next;
476         uint64_t time_next_min;
477         uint64_t iter;
478 } __rte_cache_aligned;
479
480 /**
481  * PMD Internals
482  */
483 struct pmd_internals {
484         /** Params */
485         struct pmd_params params;
486
487         struct {
488                 struct tm_internals tm; /**< Traffic Management */
489         } soft;
490
491         struct softnic_mempool_list mempool_list;
492         struct softnic_swq_list swq_list;
493         struct softnic_link_list link_list;
494         struct softnic_tmgr_port_list tmgr_port_list;
495         struct softnic_tap_list tap_list;
496         struct softnic_port_in_action_profile_list port_in_action_profile_list;
497         struct softnic_table_action_profile_list table_action_profile_list;
498         struct pipeline_list pipeline_list;
499         struct softnic_thread thread[RTE_MAX_LCORE];
500         struct softnic_thread_data thread_data[RTE_MAX_LCORE];
501 };
502
503 /**
504  * MEMPOOL
505  */
506 int
507 softnic_mempool_init(struct pmd_internals *p);
508
509 void
510 softnic_mempool_free(struct pmd_internals *p);
511
512 struct softnic_mempool *
513 softnic_mempool_find(struct pmd_internals *p,
514         const char *name);
515
516 struct softnic_mempool *
517 softnic_mempool_create(struct pmd_internals *p,
518         const char *name,
519         struct softnic_mempool_params *params);
520
521 /**
522  * SWQ
523  */
524 int
525 softnic_swq_init(struct pmd_internals *p);
526
527 void
528 softnic_swq_free(struct pmd_internals *p);
529
530 struct softnic_swq *
531 softnic_swq_find(struct pmd_internals *p,
532         const char *name);
533
534 struct softnic_swq *
535 softnic_swq_create(struct pmd_internals *p,
536         const char *name,
537         struct softnic_swq_params *params);
538
539 /**
540  * LINK
541  */
542 int
543 softnic_link_init(struct pmd_internals *p);
544
545 void
546 softnic_link_free(struct pmd_internals *p);
547
548 struct softnic_link *
549 softnic_link_find(struct pmd_internals *p,
550         const char *name);
551
552 struct softnic_link *
553 softnic_link_create(struct pmd_internals *p,
554         const char *name,
555         struct softnic_link_params *params);
556
557 /**
558  * TMGR
559  */
560 int
561 softnic_tmgr_init(struct pmd_internals *p);
562
563 void
564 softnic_tmgr_free(struct pmd_internals *p);
565
566 struct softnic_tmgr_port *
567 softnic_tmgr_port_find(struct pmd_internals *p,
568         const char *name);
569
570 struct softnic_tmgr_port *
571 softnic_tmgr_port_create(struct pmd_internals *p,
572         const char *name,
573         struct rte_sched_port *sched);
574
575 int
576 tm_init(struct pmd_internals *p);
577
578 void
579 tm_free(struct pmd_internals *p);
580
581 int
582 tm_start(struct pmd_internals *p);
583
584 void
585 tm_stop(struct pmd_internals *p);
586
587 static inline int
588 tm_used(struct rte_eth_dev *dev)
589 {
590         struct pmd_internals *p = dev->data->dev_private;
591
592         return p->soft.tm.h.n_tm_nodes[TM_NODE_LEVEL_PORT];
593 }
594
595 extern const struct rte_tm_ops pmd_tm_ops;
596
597 /**
598  * TAP
599  */
600 int
601 softnic_tap_init(struct pmd_internals *p);
602
603 void
604 softnic_tap_free(struct pmd_internals *p);
605
606 struct softnic_tap *
607 softnic_tap_find(struct pmd_internals *p,
608         const char *name);
609
610 struct softnic_tap *
611 softnic_tap_create(struct pmd_internals *p,
612         const char *name);
613
614 /**
615  * Input port action
616  */
617 int
618 softnic_port_in_action_profile_init(struct pmd_internals *p);
619
620 void
621 softnic_port_in_action_profile_free(struct pmd_internals *p);
622
623 struct softnic_port_in_action_profile *
624 softnic_port_in_action_profile_find(struct pmd_internals *p,
625         const char *name);
626
627 struct softnic_port_in_action_profile *
628 softnic_port_in_action_profile_create(struct pmd_internals *p,
629         const char *name,
630         struct softnic_port_in_action_profile_params *params);
631
632 /**
633  * Table action
634  */
635 int
636 softnic_table_action_profile_init(struct pmd_internals *p);
637
638 void
639 softnic_table_action_profile_free(struct pmd_internals *p);
640
641 struct softnic_table_action_profile *
642 softnic_table_action_profile_find(struct pmd_internals *p,
643         const char *name);
644
645 struct softnic_table_action_profile *
646 softnic_table_action_profile_create(struct pmd_internals *p,
647         const char *name,
648         struct softnic_table_action_profile_params *params);
649
650 /**
651  * Pipeline
652  */
653 int
654 softnic_pipeline_init(struct pmd_internals *p);
655
656 void
657 softnic_pipeline_free(struct pmd_internals *p);
658
659 struct pipeline *
660 softnic_pipeline_find(struct pmd_internals *p, const char *name);
661
662 struct pipeline *
663 softnic_pipeline_create(struct pmd_internals *p,
664         const char *name,
665         struct pipeline_params *params);
666
667 int
668 softnic_pipeline_port_in_create(struct pmd_internals *p,
669         const char *pipeline_name,
670         struct softnic_port_in_params *params,
671         int enabled);
672
673 int
674 softnic_pipeline_port_in_connect_to_table(struct pmd_internals *p,
675         const char *pipeline_name,
676         uint32_t port_id,
677         uint32_t table_id);
678
679 int
680 softnic_pipeline_port_out_create(struct pmd_internals *p,
681         const char *pipeline_name,
682         struct softnic_port_out_params *params);
683
684 int
685 softnic_pipeline_table_create(struct pmd_internals *p,
686         const char *pipeline_name,
687         struct softnic_table_params *params);
688
689 /**
690  * Thread
691  */
692 int
693 softnic_thread_init(struct pmd_internals *p);
694
695 void
696 softnic_thread_free(struct pmd_internals *p);
697
698 #endif /* __INCLUDE_RTE_ETH_SOFTNIC_INTERNALS_H__ */