net/i40e: fix Rx packet statistics
[dpdk.git] / drivers / net / octeontx_ep / otx_ep_vf.c
1 /* SPDX-License-Identifier: BSD-3-Clause
2  * Copyright(C) 2021 Marvell.
3  */
4
5 #include <rte_common.h>
6 #include <rte_cycles.h>
7 #include <rte_io.h>
8 #include <ethdev_driver.h>
9 #include <ethdev_pci.h>
10
11 #include "otx_ep_common.h"
12 #include "otx_ep_vf.h"
13
14
15 static void
16 otx_ep_setup_global_iq_reg(struct otx_ep_device *otx_ep, int q_no)
17 {
18         volatile uint64_t reg_val = 0ull;
19
20         /* Select ES, RO, NS, RDSIZE,DPTR Format#0 for IQs
21          * IS_64B is by default enabled.
22          */
23         reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_IN_CONTROL(q_no));
24
25         reg_val |= OTX_EP_R_IN_CTL_RDSIZE;
26         reg_val |= OTX_EP_R_IN_CTL_IS_64B;
27         reg_val |= OTX_EP_R_IN_CTL_ESR;
28
29         otx_ep_write64(reg_val, otx_ep->hw_addr, OTX_EP_R_IN_CONTROL(q_no));
30         reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_IN_CONTROL(q_no));
31
32         if (!(reg_val & OTX_EP_R_IN_CTL_IDLE)) {
33                 do {
34                         reg_val = rte_read64(otx_ep->hw_addr +
35                                               OTX_EP_R_IN_CONTROL(q_no));
36                 } while (!(reg_val & OTX_EP_R_IN_CTL_IDLE));
37         }
38 }
39
40 static void
41 otx_ep_setup_global_oq_reg(struct otx_ep_device *otx_ep, int q_no)
42 {
43         volatile uint64_t reg_val = 0ull;
44
45         reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_OUT_CONTROL(q_no));
46
47         reg_val &= ~(OTX_EP_R_OUT_CTL_IMODE);
48         reg_val &= ~(OTX_EP_R_OUT_CTL_ROR_P);
49         reg_val &= ~(OTX_EP_R_OUT_CTL_NSR_P);
50         reg_val &= ~(OTX_EP_R_OUT_CTL_ROR_I);
51         reg_val &= ~(OTX_EP_R_OUT_CTL_NSR_I);
52         reg_val &= ~(OTX_EP_R_OUT_CTL_ES_I);
53         reg_val &= ~(OTX_EP_R_OUT_CTL_ROR_D);
54         reg_val &= ~(OTX_EP_R_OUT_CTL_NSR_D);
55         reg_val &= ~(OTX_EP_R_OUT_CTL_ES_D);
56
57         /* INFO/DATA ptr swap is required  */
58         reg_val |= (OTX_EP_R_OUT_CTL_ES_P);
59
60         otx_ep_write64(reg_val, otx_ep->hw_addr, OTX_EP_R_OUT_CONTROL(q_no));
61 }
62
63 static void
64 otx_ep_setup_global_input_regs(struct otx_ep_device *otx_ep)
65 {
66         uint64_t q_no = 0ull;
67
68         for (q_no = 0; q_no < (otx_ep->sriov_info.rings_per_vf); q_no++)
69                 otx_ep_setup_global_iq_reg(otx_ep, q_no);
70 }
71
72 static void
73 otx_ep_setup_global_output_regs(struct otx_ep_device *otx_ep)
74 {
75         uint32_t q_no;
76
77         for (q_no = 0; q_no < (otx_ep->sriov_info.rings_per_vf); q_no++)
78                 otx_ep_setup_global_oq_reg(otx_ep, q_no);
79 }
80
81 static void
82 otx_ep_setup_device_regs(struct otx_ep_device *otx_ep)
83 {
84         otx_ep_setup_global_input_regs(otx_ep);
85         otx_ep_setup_global_output_regs(otx_ep);
86 }
87
88 static void
89 otx_ep_setup_iq_regs(struct otx_ep_device *otx_ep, uint32_t iq_no)
90 {
91         struct otx_ep_instr_queue *iq = otx_ep->instr_queue[iq_no];
92         volatile uint64_t reg_val = 0ull;
93
94         reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_IN_CONTROL(iq_no));
95
96         /* Wait till IDLE to set to 1, not supposed to configure BADDR
97          * as long as IDLE is 0
98          */
99         if (!(reg_val & OTX_EP_R_IN_CTL_IDLE)) {
100                 do {
101                         reg_val = rte_read64(otx_ep->hw_addr +
102                                               OTX_EP_R_IN_CONTROL(iq_no));
103                 } while (!(reg_val & OTX_EP_R_IN_CTL_IDLE));
104         }
105
106         /* Write the start of the input queue's ring and its size  */
107         otx_ep_write64(iq->base_addr_dma, otx_ep->hw_addr,
108                        OTX_EP_R_IN_INSTR_BADDR(iq_no));
109         otx_ep_write64(iq->nb_desc, otx_ep->hw_addr,
110                        OTX_EP_R_IN_INSTR_RSIZE(iq_no));
111
112         /* Remember the doorbell & instruction count register addr
113          * for this queue
114          */
115         iq->doorbell_reg = (uint8_t *)otx_ep->hw_addr +
116                            OTX_EP_R_IN_INSTR_DBELL(iq_no);
117         iq->inst_cnt_reg = (uint8_t *)otx_ep->hw_addr +
118                            OTX_EP_R_IN_CNTS(iq_no);
119
120         otx_ep_dbg("InstQ[%d]:dbell reg @ 0x%p instcnt_reg @ 0x%p\n",
121                      iq_no, iq->doorbell_reg, iq->inst_cnt_reg);
122
123         do {
124                 reg_val = rte_read32(iq->inst_cnt_reg);
125                 rte_write32(reg_val, iq->inst_cnt_reg);
126         } while (reg_val !=  0);
127
128         /* IN INTR_THRESHOLD is set to max(FFFFFFFF) which disable the IN INTR
129          * to raise
130          */
131         /* reg_val = rte_read64(otx_ep->hw_addr +
132          * OTX_EP_R_IN_INT_LEVELS(iq_no));
133          */
134         otx_ep_write64(OTX_EP_CLEAR_IN_INT_LVLS, otx_ep->hw_addr,
135                        OTX_EP_R_IN_INT_LEVELS(iq_no));
136 }
137
138 static void
139 otx_ep_setup_oq_regs(struct otx_ep_device *otx_ep, uint32_t oq_no)
140 {
141         volatile uint64_t reg_val = 0ull;
142         uint64_t oq_ctl = 0ull;
143
144         struct otx_ep_droq *droq = otx_ep->droq[oq_no];
145
146         /* Wait on IDLE to set to 1, supposed to configure BADDR
147          * as log as IDLE is 0
148          */
149         otx_ep_write64(0ULL, otx_ep->hw_addr, OTX_EP_R_OUT_ENABLE(oq_no));
150
151         reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_OUT_CONTROL(oq_no));
152
153         while (!(reg_val & OTX_EP_R_OUT_CTL_IDLE)) {
154                 reg_val = rte_read64(otx_ep->hw_addr +
155                                       OTX_EP_R_OUT_CONTROL(oq_no));
156         }
157
158         otx_ep_write64(droq->desc_ring_dma, otx_ep->hw_addr,
159                        OTX_EP_R_OUT_SLIST_BADDR(oq_no));
160         otx_ep_write64(droq->nb_desc, otx_ep->hw_addr,
161                        OTX_EP_R_OUT_SLIST_RSIZE(oq_no));
162
163         oq_ctl = rte_read64(otx_ep->hw_addr + OTX_EP_R_OUT_CONTROL(oq_no));
164
165         /* Clear the ISIZE and BSIZE (22-0) */
166         oq_ctl &= ~(OTX_EP_CLEAR_ISIZE_BSIZE);
167
168         /* Populate the BSIZE (15-0) */
169         oq_ctl |= (droq->buffer_size & OTX_EP_DROQ_BUFSZ_MASK);
170
171         otx_ep_write64(oq_ctl, otx_ep->hw_addr, OTX_EP_R_OUT_CONTROL(oq_no));
172
173         /* Mapped address of the pkt_sent and pkts_credit regs */
174         droq->pkts_sent_reg = (uint8_t *)otx_ep->hw_addr +
175                               OTX_EP_R_OUT_CNTS(oq_no);
176         droq->pkts_credit_reg = (uint8_t *)otx_ep->hw_addr +
177                                 OTX_EP_R_OUT_SLIST_DBELL(oq_no);
178
179         otx_ep_write64(OTX_EP_CLEAR_OUT_INT_LVLS, otx_ep->hw_addr,
180                        OTX_EP_R_OUT_INT_LEVELS(oq_no));
181
182         /* Clear the OQ doorbell  */
183         rte_write32(OTX_EP_CLEAR_SLIST_DBELL, droq->pkts_credit_reg);
184         while ((rte_read32(droq->pkts_credit_reg) != 0ull)) {
185                 rte_write32(OTX_EP_CLEAR_SLIST_DBELL, droq->pkts_credit_reg);
186                 rte_delay_ms(1);
187         }
188         otx_ep_dbg("OTX_EP_R[%d]_credit:%x\n", oq_no,
189                      rte_read32(droq->pkts_credit_reg));
190
191         /* Clear the OQ_OUT_CNTS doorbell  */
192         reg_val = rte_read32(droq->pkts_sent_reg);
193         rte_write32((uint32_t)reg_val, droq->pkts_sent_reg);
194
195         otx_ep_dbg("OTX_EP_R[%d]_sent: %x\n", oq_no,
196                      rte_read32(droq->pkts_sent_reg));
197
198         while (((rte_read32(droq->pkts_sent_reg)) != 0ull)) {
199                 reg_val = rte_read32(droq->pkts_sent_reg);
200                 rte_write32((uint32_t)reg_val, droq->pkts_sent_reg);
201                 rte_delay_ms(1);
202         }
203 }
204
205 static int
206 otx_ep_enable_iq(struct otx_ep_device *otx_ep, uint32_t q_no)
207 {
208         uint64_t loop = OTX_EP_BUSY_LOOP_COUNT;
209         uint64_t reg_val = 0ull;
210
211         /* Resetting doorbells during IQ enabling also to handle abrupt
212          * guest reboot. IQ reset does not clear the doorbells.
213          */
214         otx_ep_write64(0xFFFFFFFF, otx_ep->hw_addr,
215                        OTX_EP_R_IN_INSTR_DBELL(q_no));
216
217         while (((rte_read64(otx_ep->hw_addr +
218                  OTX_EP_R_IN_INSTR_DBELL(q_no))) != 0ull) && loop--) {
219                 rte_delay_ms(1);
220         }
221
222         if (loop == 0) {
223                 otx_ep_err("dbell reset failed\n");
224                 return -EIO;
225         }
226
227
228         reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_IN_ENABLE(q_no));
229         reg_val |= 0x1ull;
230
231         otx_ep_write64(reg_val, otx_ep->hw_addr, OTX_EP_R_IN_ENABLE(q_no));
232
233         otx_ep_info("IQ[%d] enable done\n", q_no);
234
235         return 0;
236 }
237
238 static int
239 otx_ep_enable_oq(struct otx_ep_device *otx_ep, uint32_t q_no)
240 {
241         uint64_t reg_val = 0ull;
242         uint64_t loop = OTX_EP_BUSY_LOOP_COUNT;
243
244         /* Resetting doorbells during IQ enabling also to handle abrupt
245          * guest reboot. IQ reset does not clear the doorbells.
246          */
247         otx_ep_write64(0xFFFFFFFF, otx_ep->hw_addr,
248                        OTX_EP_R_OUT_SLIST_DBELL(q_no));
249         while (((rte_read64(otx_ep->hw_addr +
250                  OTX_EP_R_OUT_SLIST_DBELL(q_no))) != 0ull) && loop--) {
251                 rte_delay_ms(1);
252         }
253         if (loop == 0) {
254                 otx_ep_err("dbell reset failed\n");
255                 return -EIO;
256         }
257
258
259         reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_OUT_ENABLE(q_no));
260         reg_val |= 0x1ull;
261         otx_ep_write64(reg_val, otx_ep->hw_addr, OTX_EP_R_OUT_ENABLE(q_no));
262
263         otx_ep_info("OQ[%d] enable done\n", q_no);
264
265         return 0;
266 }
267
268 static int
269 otx_ep_enable_io_queues(struct otx_ep_device *otx_ep)
270 {
271         uint32_t q_no = 0;
272         int ret;
273
274         for (q_no = 0; q_no < otx_ep->nb_tx_queues; q_no++) {
275                 ret = otx_ep_enable_iq(otx_ep, q_no);
276                 if (ret)
277                         return ret;
278         }
279
280         for (q_no = 0; q_no < otx_ep->nb_rx_queues; q_no++) {
281                 ret = otx_ep_enable_oq(otx_ep, q_no);
282                 if (ret)
283                         return ret;
284         }
285
286         return 0;
287 }
288
289 static void
290 otx_ep_disable_iq(struct otx_ep_device *otx_ep, uint32_t q_no)
291 {
292         uint64_t reg_val = 0ull;
293
294         /* Reset the doorbell register for this Input Queue. */
295         reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_IN_ENABLE(q_no));
296         reg_val &= ~0x1ull;
297
298         otx_ep_write64(reg_val, otx_ep->hw_addr, OTX_EP_R_IN_ENABLE(q_no));
299 }
300
301 static void
302 otx_ep_disable_oq(struct otx_ep_device *otx_ep, uint32_t q_no)
303 {
304         uint64_t reg_val = 0ull;
305
306         reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_OUT_ENABLE(q_no));
307         reg_val &= ~0x1ull;
308
309         otx_ep_write64(reg_val, otx_ep->hw_addr, OTX_EP_R_OUT_ENABLE(q_no));
310 }
311
312 static void
313 otx_ep_disable_io_queues(struct otx_ep_device *otx_ep)
314 {
315         uint32_t q_no = 0;
316
317         for (q_no = 0; q_no < otx_ep->sriov_info.rings_per_vf; q_no++) {
318                 otx_ep_disable_iq(otx_ep, q_no);
319                 otx_ep_disable_oq(otx_ep, q_no);
320         }
321 }
322
323 /* OTX_EP default configuration */
324 static const struct otx_ep_config default_otx_ep_conf = {
325         /* IQ attributes */
326         .iq                        = {
327                 .max_iqs           = OTX_EP_CFG_IO_QUEUES,
328                 .instr_type        = OTX_EP_64BYTE_INSTR,
329                 .pending_list_size = (OTX_EP_MAX_IQ_DESCRIPTORS *
330                                       OTX_EP_CFG_IO_QUEUES),
331         },
332
333         /* OQ attributes */
334         .oq                        = {
335                 .max_oqs           = OTX_EP_CFG_IO_QUEUES,
336                 .info_ptr          = OTX_EP_OQ_INFOPTR_MODE,
337                 .refill_threshold  = OTX_EP_OQ_REFIL_THRESHOLD,
338         },
339
340         .num_iqdef_descs           = OTX_EP_MAX_IQ_DESCRIPTORS,
341         .num_oqdef_descs           = OTX_EP_MAX_OQ_DESCRIPTORS,
342         .oqdef_buf_size            = OTX_EP_OQ_BUF_SIZE,
343
344 };
345
346
347 static const struct otx_ep_config*
348 otx_ep_get_defconf(struct otx_ep_device *otx_ep_dev __rte_unused)
349 {
350         const struct otx_ep_config *default_conf = NULL;
351
352         default_conf = &default_otx_ep_conf;
353
354         return default_conf;
355 }
356
357 int
358 otx_ep_vf_setup_device(struct otx_ep_device *otx_ep)
359 {
360         uint64_t reg_val = 0ull;
361
362         /* If application doesn't provide its conf, use driver default conf */
363         if (otx_ep->conf == NULL) {
364                 otx_ep->conf = otx_ep_get_defconf(otx_ep);
365                 if (otx_ep->conf == NULL) {
366                         otx_ep_err("OTX_EP VF default config not found\n");
367                         return -ENOENT;
368                 }
369                 otx_ep_info("Default config is used\n");
370         }
371
372         /* Get IOQs (RPVF] count */
373         reg_val = rte_read64(otx_ep->hw_addr + OTX_EP_R_IN_CONTROL(0));
374
375         otx_ep->sriov_info.rings_per_vf = ((reg_val >> OTX_EP_R_IN_CTL_RPVF_POS)
376                                           & OTX_EP_R_IN_CTL_RPVF_MASK);
377
378         otx_ep_info("OTX_EP RPVF: %d\n", otx_ep->sriov_info.rings_per_vf);
379
380         otx_ep->fn_list.setup_iq_regs       = otx_ep_setup_iq_regs;
381         otx_ep->fn_list.setup_oq_regs       = otx_ep_setup_oq_regs;
382
383         otx_ep->fn_list.setup_device_regs   = otx_ep_setup_device_regs;
384
385         otx_ep->fn_list.enable_io_queues    = otx_ep_enable_io_queues;
386         otx_ep->fn_list.disable_io_queues   = otx_ep_disable_io_queues;
387
388         otx_ep->fn_list.enable_iq           = otx_ep_enable_iq;
389         otx_ep->fn_list.disable_iq          = otx_ep_disable_iq;
390
391         otx_ep->fn_list.enable_oq           = otx_ep_enable_oq;
392         otx_ep->fn_list.disable_oq          = otx_ep_disable_oq;
393
394
395         return 0;
396 }