net/sfc/base: import Rx scatter support
[dpdk.git] / drivers / net / sfc / base / ef10_rx.c
1 /*
2  * Copyright (c) 2012-2016 Solarflare Communications Inc.
3  * All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions are met:
7  *
8  * 1. Redistributions of source code must retain the above copyright notice,
9  *    this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright notice,
11  *    this list of conditions and the following disclaimer in the documentation
12  *    and/or other materials provided with the distribution.
13  *
14  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
15  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
16  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
17  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
18  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
19  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
20  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS;
21  * OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY,
22  * WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR
23  * OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE,
24  * EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
25  *
26  * The views and conclusions contained in the software and documentation are
27  * those of the authors and should not be interpreted as representing official
28  * policies, either expressed or implied, of the FreeBSD Project.
29  */
30
31 #include "efx.h"
32 #include "efx_impl.h"
33
34
35 #if EFSYS_OPT_HUNTINGTON || EFSYS_OPT_MEDFORD
36
37
38 static  __checkReturn   efx_rc_t
39 efx_mcdi_init_rxq(
40         __in            efx_nic_t *enp,
41         __in            uint32_t size,
42         __in            uint32_t target_evq,
43         __in            uint32_t label,
44         __in            uint32_t instance,
45         __in            efsys_mem_t *esmp,
46         __in            boolean_t disable_scatter,
47         __in            uint32_t ps_bufsize)
48 {
49         efx_mcdi_req_t req;
50         uint8_t payload[MAX(MC_CMD_INIT_RXQ_EXT_IN_LEN,
51                             MC_CMD_INIT_RXQ_EXT_OUT_LEN)];
52         int npages = EFX_RXQ_NBUFS(size);
53         int i;
54         efx_qword_t *dma_addr;
55         uint64_t addr;
56         efx_rc_t rc;
57         uint32_t dma_mode;
58
59         /* If this changes, then the payload size might need to change. */
60         EFSYS_ASSERT3U(MC_CMD_INIT_RXQ_OUT_LEN, ==, 0);
61         EFSYS_ASSERT3U(size, <=, EFX_RXQ_MAXNDESCS);
62
63         if (ps_bufsize > 0)
64                 dma_mode = MC_CMD_INIT_RXQ_EXT_IN_PACKED_STREAM;
65         else
66                 dma_mode = MC_CMD_INIT_RXQ_EXT_IN_SINGLE_PACKET;
67
68         (void) memset(payload, 0, sizeof (payload));
69         req.emr_cmd = MC_CMD_INIT_RXQ;
70         req.emr_in_buf = payload;
71         req.emr_in_length = MC_CMD_INIT_RXQ_EXT_IN_LEN;
72         req.emr_out_buf = payload;
73         req.emr_out_length = MC_CMD_INIT_RXQ_EXT_OUT_LEN;
74
75         MCDI_IN_SET_DWORD(req, INIT_RXQ_EXT_IN_SIZE, size);
76         MCDI_IN_SET_DWORD(req, INIT_RXQ_EXT_IN_TARGET_EVQ, target_evq);
77         MCDI_IN_SET_DWORD(req, INIT_RXQ_EXT_IN_LABEL, label);
78         MCDI_IN_SET_DWORD(req, INIT_RXQ_EXT_IN_INSTANCE, instance);
79         MCDI_IN_POPULATE_DWORD_8(req, INIT_RXQ_EXT_IN_FLAGS,
80             INIT_RXQ_EXT_IN_FLAG_BUFF_MODE, 0,
81             INIT_RXQ_EXT_IN_FLAG_HDR_SPLIT, 0,
82             INIT_RXQ_EXT_IN_FLAG_TIMESTAMP, 0,
83             INIT_RXQ_EXT_IN_CRC_MODE, 0,
84             INIT_RXQ_EXT_IN_FLAG_PREFIX, 1,
85             INIT_RXQ_EXT_IN_FLAG_DISABLE_SCATTER, disable_scatter,
86             INIT_RXQ_EXT_IN_DMA_MODE,
87             dma_mode,
88             INIT_RXQ_EXT_IN_PACKED_STREAM_BUFF_SIZE, ps_bufsize);
89         MCDI_IN_SET_DWORD(req, INIT_RXQ_EXT_IN_OWNER_ID, 0);
90         MCDI_IN_SET_DWORD(req, INIT_RXQ_EXT_IN_PORT_ID, EVB_PORT_ID_ASSIGNED);
91
92         dma_addr = MCDI_IN2(req, efx_qword_t, INIT_RXQ_IN_DMA_ADDR);
93         addr = EFSYS_MEM_ADDR(esmp);
94
95         for (i = 0; i < npages; i++) {
96                 EFX_POPULATE_QWORD_2(*dma_addr,
97                     EFX_DWORD_1, (uint32_t)(addr >> 32),
98                     EFX_DWORD_0, (uint32_t)(addr & 0xffffffff));
99
100                 dma_addr++;
101                 addr += EFX_BUF_SIZE;
102         }
103
104         efx_mcdi_execute(enp, &req);
105
106         if (req.emr_rc != 0) {
107                 rc = req.emr_rc;
108                 goto fail1;
109         }
110
111         return (0);
112
113 fail1:
114         EFSYS_PROBE1(fail1, efx_rc_t, rc);
115
116         return (rc);
117 }
118
119 static  __checkReturn   efx_rc_t
120 efx_mcdi_fini_rxq(
121         __in            efx_nic_t *enp,
122         __in            uint32_t instance)
123 {
124         efx_mcdi_req_t req;
125         uint8_t payload[MAX(MC_CMD_FINI_RXQ_IN_LEN,
126                             MC_CMD_FINI_RXQ_OUT_LEN)];
127         efx_rc_t rc;
128
129         (void) memset(payload, 0, sizeof (payload));
130         req.emr_cmd = MC_CMD_FINI_RXQ;
131         req.emr_in_buf = payload;
132         req.emr_in_length = MC_CMD_FINI_RXQ_IN_LEN;
133         req.emr_out_buf = payload;
134         req.emr_out_length = MC_CMD_FINI_RXQ_OUT_LEN;
135
136         MCDI_IN_SET_DWORD(req, FINI_RXQ_IN_INSTANCE, instance);
137
138         efx_mcdi_execute_quiet(enp, &req);
139
140         if ((req.emr_rc != 0) && (req.emr_rc != MC_CMD_ERR_EALREADY)) {
141                 rc = req.emr_rc;
142                 goto fail1;
143         }
144
145         return (0);
146
147 fail1:
148         EFSYS_PROBE1(fail1, efx_rc_t, rc);
149
150         return (rc);
151 }
152
153
154         __checkReturn   efx_rc_t
155 ef10_rx_init(
156         __in            efx_nic_t *enp)
157 {
158
159         return (0);
160 }
161
162 #if EFSYS_OPT_RX_SCATTER
163         __checkReturn   efx_rc_t
164 ef10_rx_scatter_enable(
165         __in            efx_nic_t *enp,
166         __in            unsigned int buf_size)
167 {
168         _NOTE(ARGUNUSED(enp, buf_size))
169         return (0);
170 }
171 #endif  /* EFSYS_OPT_RX_SCATTER */
172
173
174 /*
175  * EF10 RX pseudo-header
176  * ---------------------
177  *
178  * Receive packets are prefixed by an (optional) 14 byte pseudo-header:
179  *
180  *  +00: Toeplitz hash value.
181  *       (32bit little-endian)
182  *  +04: Outer VLAN tag. Zero if the packet did not have an outer VLAN tag.
183  *       (16bit big-endian)
184  *  +06: Inner VLAN tag. Zero if the packet did not have an inner VLAN tag.
185  *       (16bit big-endian)
186  *  +08: Packet Length. Zero if the RX datapath was in cut-through mode.
187  *       (16bit little-endian)
188  *  +10: MAC timestamp. Zero if timestamping is not enabled.
189  *       (32bit little-endian)
190  *
191  * See "The RX Pseudo-header" in SF-109306-TC.
192  */
193
194         __checkReturn   efx_rc_t
195 ef10_rx_prefix_pktlen(
196         __in            efx_nic_t *enp,
197         __in            uint8_t *buffer,
198         __out           uint16_t *lengthp)
199 {
200         _NOTE(ARGUNUSED(enp))
201
202         /*
203          * The RX pseudo-header contains the packet length, excluding the
204          * pseudo-header. If the hardware receive datapath was operating in
205          * cut-through mode then the length in the RX pseudo-header will be
206          * zero, and the packet length must be obtained from the DMA length
207          * reported in the RX event.
208          */
209         *lengthp = buffer[8] | (buffer[9] << 8);
210         return (0);
211 }
212
213                         void
214 ef10_rx_qpost(
215         __in            efx_rxq_t *erp,
216         __in_ecount(n)  efsys_dma_addr_t *addrp,
217         __in            size_t size,
218         __in            unsigned int n,
219         __in            unsigned int completed,
220         __in            unsigned int added)
221 {
222         efx_qword_t qword;
223         unsigned int i;
224         unsigned int offset;
225         unsigned int id;
226
227         /* The client driver must not overfill the queue */
228         EFSYS_ASSERT3U(added - completed + n, <=,
229             EFX_RXQ_LIMIT(erp->er_mask + 1));
230
231         id = added & (erp->er_mask);
232         for (i = 0; i < n; i++) {
233                 EFSYS_PROBE4(rx_post, unsigned int, erp->er_index,
234                     unsigned int, id, efsys_dma_addr_t, addrp[i],
235                     size_t, size);
236
237                 EFX_POPULATE_QWORD_3(qword,
238                     ESF_DZ_RX_KER_BYTE_CNT, (uint32_t)(size),
239                     ESF_DZ_RX_KER_BUF_ADDR_DW0,
240                     (uint32_t)(addrp[i] & 0xffffffff),
241                     ESF_DZ_RX_KER_BUF_ADDR_DW1,
242                     (uint32_t)(addrp[i] >> 32));
243
244                 offset = id * sizeof (efx_qword_t);
245                 EFSYS_MEM_WRITEQ(erp->er_esmp, offset, &qword);
246
247                 id = (id + 1) & (erp->er_mask);
248         }
249 }
250
251                         void
252 ef10_rx_qpush(
253         __in    efx_rxq_t *erp,
254         __in    unsigned int added,
255         __inout unsigned int *pushedp)
256 {
257         efx_nic_t *enp = erp->er_enp;
258         unsigned int pushed = *pushedp;
259         uint32_t wptr;
260         efx_dword_t dword;
261
262         /* Hardware has alignment restriction for WPTR */
263         wptr = P2ALIGN(added, EF10_RX_WPTR_ALIGN);
264         if (pushed == wptr)
265                 return;
266
267         *pushedp = wptr;
268
269         /* Push the populated descriptors out */
270         wptr &= erp->er_mask;
271
272         EFX_POPULATE_DWORD_1(dword, ERF_DZ_RX_DESC_WPTR, wptr);
273
274         /* Guarantee ordering of memory (descriptors) and PIO (doorbell) */
275         EFX_DMA_SYNC_QUEUE_FOR_DEVICE(erp->er_esmp, erp->er_mask + 1,
276             wptr, pushed & erp->er_mask);
277         EFSYS_PIO_WRITE_BARRIER();
278         EFX_BAR_TBL_WRITED(enp, ER_DZ_RX_DESC_UPD_REG,
279                             erp->er_index, &dword, B_FALSE);
280 }
281
282         __checkReturn   efx_rc_t
283 ef10_rx_qflush(
284         __in    efx_rxq_t *erp)
285 {
286         efx_nic_t *enp = erp->er_enp;
287         efx_rc_t rc;
288
289         if ((rc = efx_mcdi_fini_rxq(enp, erp->er_index)) != 0)
290                 goto fail1;
291
292         return (0);
293
294 fail1:
295         EFSYS_PROBE1(fail1, efx_rc_t, rc);
296
297         return (rc);
298 }
299
300                 void
301 ef10_rx_qenable(
302         __in    efx_rxq_t *erp)
303 {
304         /* FIXME */
305         _NOTE(ARGUNUSED(erp))
306         /* FIXME */
307 }
308
309         __checkReturn   efx_rc_t
310 ef10_rx_qcreate(
311         __in            efx_nic_t *enp,
312         __in            unsigned int index,
313         __in            unsigned int label,
314         __in            efx_rxq_type_t type,
315         __in            efsys_mem_t *esmp,
316         __in            size_t n,
317         __in            uint32_t id,
318         __in            efx_evq_t *eep,
319         __in            efx_rxq_t *erp)
320 {
321         efx_nic_cfg_t *encp = &(enp->en_nic_cfg);
322         efx_rc_t rc;
323         boolean_t disable_scatter;
324         unsigned int ps_buf_size;
325
326         _NOTE(ARGUNUSED(id, erp))
327
328         EFX_STATIC_ASSERT(EFX_EV_RX_NLABELS == (1 << ESF_DZ_RX_QLABEL_WIDTH));
329         EFSYS_ASSERT3U(label, <, EFX_EV_RX_NLABELS);
330         EFSYS_ASSERT3U(enp->en_rx_qcount + 1, <, encp->enc_rxq_limit);
331
332         EFX_STATIC_ASSERT(ISP2(EFX_RXQ_MAXNDESCS));
333         EFX_STATIC_ASSERT(ISP2(EFX_RXQ_MINNDESCS));
334
335         if (!ISP2(n) || (n < EFX_RXQ_MINNDESCS) || (n > EFX_RXQ_MAXNDESCS)) {
336                 rc = EINVAL;
337                 goto fail1;
338         }
339         if (index >= encp->enc_rxq_limit) {
340                 rc = EINVAL;
341                 goto fail2;
342         }
343
344         switch (type) {
345         case EFX_RXQ_TYPE_DEFAULT:
346         case EFX_RXQ_TYPE_SCATTER:
347                 ps_buf_size = 0;
348                 break;
349         default:
350                 rc = ENOTSUP;
351                 goto fail3;
352         }
353
354         EFSYS_ASSERT(ps_buf_size == 0);
355
356         /* Scatter can only be disabled if the firmware supports doing so */
357         if (type == EFX_RXQ_TYPE_SCATTER)
358                 disable_scatter = B_FALSE;
359         else
360                 disable_scatter = encp->enc_rx_disable_scatter_supported;
361
362         if ((rc = efx_mcdi_init_rxq(enp, n, eep->ee_index, label, index,
363                     esmp, disable_scatter, ps_buf_size)) != 0)
364                 goto fail6;
365
366         erp->er_eep = eep;
367         erp->er_label = label;
368
369         ef10_ev_rxlabel_init(eep, erp, label, ps_buf_size != 0);
370
371         return (0);
372
373 fail6:
374         EFSYS_PROBE(fail6);
375 fail3:
376         EFSYS_PROBE(fail3);
377 fail2:
378         EFSYS_PROBE(fail2);
379 fail1:
380         EFSYS_PROBE1(fail1, efx_rc_t, rc);
381
382         return (rc);
383 }
384
385                 void
386 ef10_rx_qdestroy(
387         __in    efx_rxq_t *erp)
388 {
389         efx_nic_t *enp = erp->er_enp;
390         efx_evq_t *eep = erp->er_eep;
391         unsigned int label = erp->er_label;
392
393         ef10_ev_rxlabel_fini(eep, label);
394
395         EFSYS_ASSERT(enp->en_rx_qcount != 0);
396         --enp->en_rx_qcount;
397
398         EFSYS_KMEM_FREE(enp->en_esip, sizeof (efx_rxq_t), erp);
399 }
400
401                 void
402 ef10_rx_fini(
403         __in    efx_nic_t *enp)
404 {
405         _NOTE(ARGUNUSED(enp))
406 }
407
408 #endif /* EFSYS_OPT_HUNTINGTON || EFSYS_OPT_MEDFORD */