net: add rte prefix to ether structures
[dpdk.git] / drivers / net / liquidio / lio_struct.h
1 /* SPDX-License-Identifier: BSD-3-Clause
2  * Copyright(c) 2017 Cavium, Inc
3  */
4
5 #ifndef _LIO_STRUCT_H_
6 #define _LIO_STRUCT_H_
7
8 #include <stdio.h>
9 #include <stdint.h>
10 #include <sys/queue.h>
11
12 #include <rte_spinlock.h>
13 #include <rte_atomic.h>
14
15 #include "lio_hw_defs.h"
16
17 struct lio_stailq_node {
18         STAILQ_ENTRY(lio_stailq_node) entries;
19 };
20
21 STAILQ_HEAD(lio_stailq_head, lio_stailq_node);
22
23 struct lio_version {
24         uint16_t major;
25         uint16_t minor;
26         uint16_t micro;
27         uint16_t reserved;
28 };
29
30 /** Input Queue statistics. Each input queue has four stats fields. */
31 struct lio_iq_stats {
32         uint64_t instr_posted; /**< Instructions posted to this queue. */
33         uint64_t instr_processed; /**< Instructions processed in this queue. */
34         uint64_t instr_dropped; /**< Instructions that could not be processed */
35         uint64_t bytes_sent; /**< Bytes sent through this queue. */
36         uint64_t tx_done; /**< Num of packets sent to network. */
37         uint64_t tx_iq_busy; /**< Num of times this iq was found to be full. */
38         uint64_t tx_dropped; /**< Num of pkts dropped due to xmitpath errors. */
39         uint64_t tx_tot_bytes; /**< Total count of bytes sent to network. */
40 };
41
42 /** Output Queue statistics. Each output queue has four stats fields. */
43 struct lio_droq_stats {
44         /** Number of packets received in this queue. */
45         uint64_t pkts_received;
46
47         /** Bytes received by this queue. */
48         uint64_t bytes_received;
49
50         /** Packets dropped due to no memory available. */
51         uint64_t dropped_nomem;
52
53         /** Packets dropped due to large number of pkts to process. */
54         uint64_t dropped_toomany;
55
56         /** Number of packets  sent to stack from this queue. */
57         uint64_t rx_pkts_received;
58
59         /** Number of Bytes sent to stack from this queue. */
60         uint64_t rx_bytes_received;
61
62         /** Num of Packets dropped due to receive path failures. */
63         uint64_t rx_dropped;
64
65         /** Num of vxlan packets received; */
66         uint64_t rx_vxlan;
67
68         /** Num of failures of rte_pktmbuf_alloc() */
69         uint64_t rx_alloc_failure;
70
71 };
72
73 /** The Descriptor Ring Output Queue structure.
74  *  This structure has all the information required to implement a
75  *  DROQ.
76  */
77 struct lio_droq {
78         /** A spinlock to protect access to this ring. */
79         rte_spinlock_t lock;
80
81         uint32_t q_no;
82
83         uint32_t pkt_count;
84
85         struct lio_device *lio_dev;
86
87         /** The 8B aligned descriptor ring starts at this address. */
88         struct lio_droq_desc *desc_ring;
89
90         /** Index in the ring where the driver should read the next packet */
91         uint32_t read_idx;
92
93         /** Index in the ring where Octeon will write the next packet */
94         uint32_t write_idx;
95
96         /** Index in the ring where the driver will refill the descriptor's
97          * buffer
98          */
99         uint32_t refill_idx;
100
101         /** Packets pending to be processed */
102         rte_atomic64_t pkts_pending;
103
104         /** Number of  descriptors in this ring. */
105         uint32_t nb_desc;
106
107         /** The number of descriptors pending refill. */
108         uint32_t refill_count;
109
110         uint32_t refill_threshold;
111
112         /** The 8B aligned info ptrs begin from this address. */
113         struct lio_droq_info *info_list;
114
115         /** The receive buffer list. This list has the virtual addresses of the
116          *  buffers.
117          */
118         struct lio_recv_buffer *recv_buf_list;
119
120         /** The size of each buffer pointed by the buffer pointer. */
121         uint32_t buffer_size;
122
123         /** Pointer to the mapped packet credit register.
124          *  Host writes number of info/buffer ptrs available to this register
125          */
126         void *pkts_credit_reg;
127
128         /** Pointer to the mapped packet sent register.
129          *  Octeon writes the number of packets DMA'ed to host memory
130          *  in this register.
131          */
132         void *pkts_sent_reg;
133
134         /** Statistics for this DROQ. */
135         struct lio_droq_stats stats;
136
137         /** DMA mapped address of the DROQ descriptor ring. */
138         size_t desc_ring_dma;
139
140         /** Info ptr list are allocated at this virtual address. */
141         size_t info_base_addr;
142
143         /** DMA mapped address of the info list */
144         size_t info_list_dma;
145
146         /** Allocated size of info list. */
147         uint32_t info_alloc_size;
148
149         /** Memory zone **/
150         const struct rte_memzone *desc_ring_mz;
151         const struct rte_memzone *info_mz;
152         struct rte_mempool *mpool;
153 };
154
155 /** Receive Header */
156 union octeon_rh {
157 #if RTE_BYTE_ORDER == RTE_BIG_ENDIAN
158         uint64_t rh64;
159         struct  {
160                 uint64_t opcode : 4;
161                 uint64_t subcode : 8;
162                 uint64_t len : 3; /** additional 64-bit words */
163                 uint64_t reserved : 17;
164                 uint64_t ossp : 32; /** opcode/subcode specific parameters */
165         } r;
166         struct  {
167                 uint64_t opcode : 4;
168                 uint64_t subcode : 8;
169                 uint64_t len : 3; /** additional 64-bit words */
170                 uint64_t extra : 28;
171                 uint64_t vlan : 12;
172                 uint64_t priority : 3;
173                 uint64_t csum_verified : 3; /** checksum verified. */
174                 uint64_t has_hwtstamp : 1; /** Has hardware timestamp.1 = yes.*/
175                 uint64_t encap_on : 1;
176                 uint64_t has_hash : 1; /** Has hash (rth or rss). 1 = yes. */
177         } r_dh;
178         struct {
179                 uint64_t opcode : 4;
180                 uint64_t subcode : 8;
181                 uint64_t len : 3; /** additional 64-bit words */
182                 uint64_t reserved : 8;
183                 uint64_t extra : 25;
184                 uint64_t gmxport : 16;
185         } r_nic_info;
186 #else
187         uint64_t rh64;
188         struct {
189                 uint64_t ossp : 32; /** opcode/subcode specific parameters */
190                 uint64_t reserved : 17;
191                 uint64_t len : 3; /** additional 64-bit words */
192                 uint64_t subcode : 8;
193                 uint64_t opcode : 4;
194         } r;
195         struct {
196                 uint64_t has_hash : 1; /** Has hash (rth or rss). 1 = yes. */
197                 uint64_t encap_on : 1;
198                 uint64_t has_hwtstamp : 1;  /** 1 = has hwtstamp */
199                 uint64_t csum_verified : 3; /** checksum verified. */
200                 uint64_t priority : 3;
201                 uint64_t vlan : 12;
202                 uint64_t extra : 28;
203                 uint64_t len : 3; /** additional 64-bit words */
204                 uint64_t subcode : 8;
205                 uint64_t opcode : 4;
206         } r_dh;
207         struct {
208                 uint64_t gmxport : 16;
209                 uint64_t extra : 25;
210                 uint64_t reserved : 8;
211                 uint64_t len : 3; /** additional 64-bit words */
212                 uint64_t subcode : 8;
213                 uint64_t opcode : 4;
214         } r_nic_info;
215 #endif
216 };
217
218 #define OCTEON_RH_SIZE (sizeof(union octeon_rh))
219
220 /** The txpciq info passed to host from the firmware */
221 union octeon_txpciq {
222         uint64_t txpciq64;
223
224         struct {
225 #if RTE_BYTE_ORDER == RTE_BIG_ENDIAN
226                 uint64_t q_no : 8;
227                 uint64_t port : 8;
228                 uint64_t pkind : 6;
229                 uint64_t use_qpg : 1;
230                 uint64_t qpg : 11;
231                 uint64_t aura_num : 10;
232                 uint64_t reserved : 20;
233 #else
234                 uint64_t reserved : 20;
235                 uint64_t aura_num : 10;
236                 uint64_t qpg : 11;
237                 uint64_t use_qpg : 1;
238                 uint64_t pkind : 6;
239                 uint64_t port : 8;
240                 uint64_t q_no : 8;
241 #endif
242         } s;
243 };
244
245 /** The instruction (input) queue.
246  *  The input queue is used to post raw (instruction) mode data or packet
247  *  data to Octeon device from the host. Each input queue for
248  *  a LIO device has one such structure to represent it.
249  */
250 struct lio_instr_queue {
251         /** A spinlock to protect access to the input ring.  */
252         rte_spinlock_t lock;
253
254         rte_spinlock_t post_lock;
255
256         struct lio_device *lio_dev;
257
258         uint32_t pkt_in_done;
259
260         rte_atomic64_t iq_flush_running;
261
262         /** Flag that indicates if the queue uses 64 byte commands. */
263         uint32_t iqcmd_64B:1;
264
265         /** Queue info. */
266         union octeon_txpciq txpciq;
267
268         uint32_t rsvd:17;
269
270         uint32_t status:8;
271
272         /** Number of  descriptors in this ring. */
273         uint32_t nb_desc;
274
275         /** Index in input ring where the driver should write the next packet */
276         uint32_t host_write_index;
277
278         /** Index in input ring where Octeon is expected to read the next
279          *  packet.
280          */
281         uint32_t lio_read_index;
282
283         /** This index aids in finding the window in the queue where Octeon
284          *  has read the commands.
285          */
286         uint32_t flush_index;
287
288         /** This field keeps track of the instructions pending in this queue. */
289         rte_atomic64_t instr_pending;
290
291         /** Pointer to the Virtual Base addr of the input ring. */
292         uint8_t *base_addr;
293
294         struct lio_request_list *request_list;
295
296         /** Octeon doorbell register for the ring. */
297         void *doorbell_reg;
298
299         /** Octeon instruction count register for this ring. */
300         void *inst_cnt_reg;
301
302         /** Number of instructions pending to be posted to Octeon. */
303         uint32_t fill_cnt;
304
305         /** Statistics for this input queue. */
306         struct lio_iq_stats stats;
307
308         /** DMA mapped base address of the input descriptor ring. */
309         uint64_t base_addr_dma;
310
311         /** Application context */
312         void *app_ctx;
313
314         /* network stack queue index */
315         int q_index;
316
317         /* Memory zone */
318         const struct rte_memzone *iq_mz;
319 };
320
321 /** This structure is used by driver to store information required
322  *  to free the mbuff when the packet has been fetched by Octeon.
323  *  Bytes offset below assume worst-case of a 64-bit system.
324  */
325 struct lio_buf_free_info {
326         /** Bytes 1-8. Pointer to network device private structure. */
327         struct lio_device *lio_dev;
328
329         /** Bytes 9-16. Pointer to mbuff. */
330         struct rte_mbuf *mbuf;
331
332         /** Bytes 17-24. Pointer to gather list. */
333         struct lio_gather *g;
334
335         /** Bytes 25-32. Physical address of mbuf->data or gather list. */
336         uint64_t dptr;
337
338         /** Bytes 33-47. Piggybacked soft command, if any */
339         struct lio_soft_command *sc;
340
341         /** Bytes 48-63. iq no */
342         uint64_t iq_no;
343 };
344
345 /* The Scatter-Gather List Entry. The scatter or gather component used with
346  * input instruction has this format.
347  */
348 struct lio_sg_entry {
349         /** The first 64 bit gives the size of data in each dptr. */
350         union {
351                 uint16_t size[4];
352                 uint64_t size64;
353         } u;
354
355         /** The 4 dptr pointers for this entry. */
356         uint64_t ptr[4];
357 };
358
359 #define LIO_SG_ENTRY_SIZE       (sizeof(struct lio_sg_entry))
360
361 /** Structure of a node in list of gather components maintained by
362  *  driver for each network device.
363  */
364 struct lio_gather {
365         /** List manipulation. Next and prev pointers. */
366         struct lio_stailq_node list;
367
368         /** Size of the gather component at sg in bytes. */
369         int sg_size;
370
371         /** Number of bytes that sg was adjusted to make it 8B-aligned. */
372         int adjust;
373
374         /** Gather component that can accommodate max sized fragment list
375          *  received from the IP layer.
376          */
377         struct lio_sg_entry *sg;
378 };
379
380 struct lio_rss_ctx {
381         uint16_t hash_key_size;
382         uint8_t  hash_key[LIO_RSS_MAX_KEY_SZ];
383         /* Ideally a factor of number of queues */
384         uint8_t  itable[LIO_RSS_MAX_TABLE_SZ];
385         uint8_t  itable_size;
386         uint8_t  ip;
387         uint8_t  tcp_hash;
388         uint8_t  ipv6;
389         uint8_t  ipv6_tcp_hash;
390         uint8_t  ipv6_ex;
391         uint8_t  ipv6_tcp_ex_hash;
392         uint8_t  hash_disable;
393 };
394
395 struct lio_io_enable {
396         uint64_t iq;
397         uint64_t oq;
398         uint64_t iq64B;
399 };
400
401 struct lio_fn_list {
402         void (*setup_iq_regs)(struct lio_device *, uint32_t);
403         void (*setup_oq_regs)(struct lio_device *, uint32_t);
404
405         int (*setup_mbox)(struct lio_device *);
406         void (*free_mbox)(struct lio_device *);
407
408         int (*setup_device_regs)(struct lio_device *);
409         int (*enable_io_queues)(struct lio_device *);
410         void (*disable_io_queues)(struct lio_device *);
411 };
412
413 struct lio_pf_vf_hs_word {
414 #if RTE_BYTE_ORDER == RTE_LITTLE_ENDIAN
415         /** PKIND value assigned for the DPI interface */
416         uint64_t pkind : 8;
417
418         /** OCTEON core clock multiplier */
419         uint64_t core_tics_per_us : 16;
420
421         /** OCTEON coprocessor clock multiplier */
422         uint64_t coproc_tics_per_us : 16;
423
424         /** app that currently running on OCTEON */
425         uint64_t app_mode : 8;
426
427         /** RESERVED */
428         uint64_t reserved : 16;
429
430 #elif RTE_BYTE_ORDER == RTE_BIG_ENDIAN
431
432         /** RESERVED */
433         uint64_t reserved : 16;
434
435         /** app that currently running on OCTEON */
436         uint64_t app_mode : 8;
437
438         /** OCTEON coprocessor clock multiplier */
439         uint64_t coproc_tics_per_us : 16;
440
441         /** OCTEON core clock multiplier */
442         uint64_t core_tics_per_us : 16;
443
444         /** PKIND value assigned for the DPI interface */
445         uint64_t pkind : 8;
446 #endif
447 };
448
449 struct lio_sriov_info {
450         /** Number of rings assigned to VF */
451         uint32_t rings_per_vf;
452
453         /** Number of VF devices enabled */
454         uint32_t num_vfs;
455 };
456
457 /* Head of a response list */
458 struct lio_response_list {
459         /** List structure to add delete pending entries to */
460         struct lio_stailq_head head;
461
462         /** A lock for this response list */
463         rte_spinlock_t lock;
464
465         rte_atomic64_t pending_req_count;
466 };
467
468 /* Structure to define the configuration attributes for each Input queue. */
469 struct lio_iq_config {
470         /* Max number of IQs available */
471         uint8_t max_iqs;
472
473         /** Pending list size (usually set to the sum of the size of all Input
474          *  queues)
475          */
476         uint32_t pending_list_size;
477
478         /** Command size - 32 or 64 bytes */
479         uint32_t instr_type;
480 };
481
482 /* Structure to define the configuration attributes for each Output queue. */
483 struct lio_oq_config {
484         /* Max number of OQs available */
485         uint8_t max_oqs;
486
487         /** If set, the Output queue uses info-pointer mode. (Default: 1 ) */
488         uint32_t info_ptr;
489
490         /** The number of buffers that were consumed during packet processing by
491          *  the driver on this Output queue before the driver attempts to
492          *  replenish the descriptor ring with new buffers.
493          */
494         uint32_t refill_threshold;
495 };
496
497 /* Structure to define the configuration. */
498 struct lio_config {
499         uint16_t card_type;
500         const char *card_name;
501
502         /** Input Queue attributes. */
503         struct lio_iq_config iq;
504
505         /** Output Queue attributes. */
506         struct lio_oq_config oq;
507
508         int num_nic_ports;
509
510         int num_def_tx_descs;
511
512         /* Num of desc for rx rings */
513         int num_def_rx_descs;
514
515         int def_rx_buf_size;
516 };
517
518 /** Status of a RGMII Link on Octeon as seen by core driver. */
519 union octeon_link_status {
520         uint64_t link_status64;
521
522         struct {
523 #if RTE_BYTE_ORDER == RTE_BIG_ENDIAN
524                 uint64_t duplex : 8;
525                 uint64_t mtu : 16;
526                 uint64_t speed : 16;
527                 uint64_t link_up : 1;
528                 uint64_t autoneg : 1;
529                 uint64_t if_mode : 5;
530                 uint64_t pause : 1;
531                 uint64_t flashing : 1;
532                 uint64_t reserved : 15;
533 #else
534                 uint64_t reserved : 15;
535                 uint64_t flashing : 1;
536                 uint64_t pause : 1;
537                 uint64_t if_mode : 5;
538                 uint64_t autoneg : 1;
539                 uint64_t link_up : 1;
540                 uint64_t speed : 16;
541                 uint64_t mtu : 16;
542                 uint64_t duplex : 8;
543 #endif
544         } s;
545 };
546
547 /** The rxpciq info passed to host from the firmware */
548 union octeon_rxpciq {
549         uint64_t rxpciq64;
550
551         struct {
552 #if RTE_BYTE_ORDER == RTE_BIG_ENDIAN
553                 uint64_t q_no : 8;
554                 uint64_t reserved : 56;
555 #else
556                 uint64_t reserved : 56;
557                 uint64_t q_no : 8;
558 #endif
559         } s;
560 };
561
562 /** Information for a OCTEON ethernet interface shared between core & host. */
563 struct octeon_link_info {
564         union octeon_link_status link;
565         uint64_t hw_addr;
566
567 #if RTE_BYTE_ORDER == RTE_BIG_ENDIAN
568         uint64_t gmxport : 16;
569         uint64_t macaddr_is_admin_assigned : 1;
570         uint64_t vlan_is_admin_assigned : 1;
571         uint64_t rsvd : 30;
572         uint64_t num_txpciq : 8;
573         uint64_t num_rxpciq : 8;
574 #else
575         uint64_t num_rxpciq : 8;
576         uint64_t num_txpciq : 8;
577         uint64_t rsvd : 30;
578         uint64_t vlan_is_admin_assigned : 1;
579         uint64_t macaddr_is_admin_assigned : 1;
580         uint64_t gmxport : 16;
581 #endif
582
583         union octeon_txpciq txpciq[LIO_MAX_IOQS_PER_IF];
584         union octeon_rxpciq rxpciq[LIO_MAX_IOQS_PER_IF];
585 };
586
587 /* -----------------------  THE LIO DEVICE  --------------------------- */
588 /** The lio device.
589  *  Each lio device has this structure to represent all its
590  *  components.
591  */
592 struct lio_device {
593         /** PCI device pointer */
594         struct rte_pci_device *pci_dev;
595
596         /** Octeon Chip type */
597         uint16_t chip_id;
598         uint16_t pf_num;
599         uint16_t vf_num;
600
601         /** This device's PCIe port used for traffic. */
602         uint16_t pcie_port;
603
604         /** The state of this device */
605         rte_atomic64_t status;
606
607         uint8_t intf_open;
608
609         struct octeon_link_info linfo;
610
611         uint8_t *hw_addr;
612
613         struct lio_fn_list fn_list;
614
615         uint32_t num_iqs;
616
617         /** Guards each glist */
618         rte_spinlock_t *glist_lock;
619         /** Array of gather component linked lists */
620         struct lio_stailq_head *glist_head;
621
622         /* The pool containing pre allocated buffers used for soft commands */
623         struct rte_mempool *sc_buf_pool;
624
625         /** The input instruction queues */
626         struct lio_instr_queue *instr_queue[LIO_MAX_POSSIBLE_INSTR_QUEUES];
627
628         /** The singly-linked tail queues of instruction response */
629         struct lio_response_list response_list;
630
631         uint32_t num_oqs;
632
633         /** The DROQ output queues  */
634         struct lio_droq *droq[LIO_MAX_POSSIBLE_OUTPUT_QUEUES];
635
636         struct lio_io_enable io_qmask;
637
638         struct lio_sriov_info sriov_info;
639
640         struct lio_pf_vf_hs_word pfvf_hsword;
641
642         /** Mail Box details of each lio queue. */
643         struct lio_mbox **mbox;
644
645         char dev_string[LIO_DEVICE_NAME_LEN]; /* Device print string */
646
647         const struct lio_config *default_config;
648
649         struct rte_eth_dev      *eth_dev;
650
651         uint64_t ifflags;
652         uint8_t max_rx_queues;
653         uint8_t max_tx_queues;
654         uint8_t nb_rx_queues;
655         uint8_t nb_tx_queues;
656         uint8_t port_configured;
657         struct lio_rss_ctx rss_state;
658         uint16_t port_id;
659         char firmware_version[LIO_FW_VERSION_LENGTH];
660 };
661 #endif /* _LIO_STRUCT_H_ */