f53be015b87975404d5d3069461296a03137c9e5
[dpdk.git] / drivers / net / sfc / base / efx_mcdi.c
1 /* SPDX-License-Identifier: BSD-3-Clause
2  *
3  * Copyright (c) 2008-2018 Solarflare Communications Inc.
4  * All rights reserved.
5  */
6
7 #include "efx.h"
8 #include "efx_impl.h"
9
10 #if EFSYS_OPT_MCDI
11
12 /*
13  * There are three versions of the MCDI interface:
14  *  - MCDIv0: Siena BootROM. Transport uses MCDIv1 headers.
15  *  - MCDIv1: Siena firmware and Huntington BootROM.
16  *  - MCDIv2: EF10 firmware (Huntington/Medford) and Medford BootROM.
17  *            Transport uses MCDIv2 headers.
18  *
19  * MCDIv2 Header NOT_EPOCH flag
20  * ----------------------------
21  * A new epoch begins at initial startup or after an MC reboot, and defines when
22  * the MC should reject stale MCDI requests.
23  *
24  * The first MCDI request sent by the host should contain NOT_EPOCH=0, and all
25  * subsequent requests (until the next MC reboot) should contain NOT_EPOCH=1.
26  *
27  * After rebooting the MC will fail all requests with NOT_EPOCH=1 by writing a
28  * response with ERROR=1 and DATALEN=0 until a request is seen with NOT_EPOCH=0.
29  */
30
31
32
33 #if EFSYS_OPT_SIENA
34
35 static const efx_mcdi_ops_t     __efx_mcdi_siena_ops = {
36         siena_mcdi_init,                /* emco_init */
37         siena_mcdi_send_request,        /* emco_send_request */
38         siena_mcdi_poll_reboot,         /* emco_poll_reboot */
39         siena_mcdi_poll_response,       /* emco_poll_response */
40         siena_mcdi_read_response,       /* emco_read_response */
41         siena_mcdi_fini,                /* emco_fini */
42         siena_mcdi_feature_supported,   /* emco_feature_supported */
43         siena_mcdi_get_timeout,         /* emco_get_timeout */
44 };
45
46 #endif  /* EFSYS_OPT_SIENA */
47
48 #if EFSYS_OPT_HUNTINGTON || EFSYS_OPT_MEDFORD || EFSYS_OPT_MEDFORD2
49
50 static const efx_mcdi_ops_t     __efx_mcdi_ef10_ops = {
51         ef10_mcdi_init,                 /* emco_init */
52         ef10_mcdi_send_request,         /* emco_send_request */
53         ef10_mcdi_poll_reboot,          /* emco_poll_reboot */
54         ef10_mcdi_poll_response,        /* emco_poll_response */
55         ef10_mcdi_read_response,        /* emco_read_response */
56         ef10_mcdi_fini,                 /* emco_fini */
57         ef10_mcdi_feature_supported,    /* emco_feature_supported */
58         ef10_mcdi_get_timeout,          /* emco_get_timeout */
59 };
60
61 #endif  /* EFSYS_OPT_HUNTINGTON || EFSYS_OPT_MEDFORD || EFSYS_OPT_MEDFORD2 */
62
63
64
65         __checkReturn   efx_rc_t
66 efx_mcdi_init(
67         __in            efx_nic_t *enp,
68         __in            const efx_mcdi_transport_t *emtp)
69 {
70         const efx_mcdi_ops_t *emcop;
71         efx_rc_t rc;
72
73         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
74         EFSYS_ASSERT3U(enp->en_mod_flags, ==, 0);
75
76         switch (enp->en_family) {
77 #if EFSYS_OPT_SIENA
78         case EFX_FAMILY_SIENA:
79                 emcop = &__efx_mcdi_siena_ops;
80                 break;
81 #endif  /* EFSYS_OPT_SIENA */
82
83 #if EFSYS_OPT_HUNTINGTON
84         case EFX_FAMILY_HUNTINGTON:
85                 emcop = &__efx_mcdi_ef10_ops;
86                 break;
87 #endif  /* EFSYS_OPT_HUNTINGTON */
88
89 #if EFSYS_OPT_MEDFORD
90         case EFX_FAMILY_MEDFORD:
91                 emcop = &__efx_mcdi_ef10_ops;
92                 break;
93 #endif  /* EFSYS_OPT_MEDFORD */
94
95 #if EFSYS_OPT_MEDFORD2
96         case EFX_FAMILY_MEDFORD2:
97                 emcop = &__efx_mcdi_ef10_ops;
98                 break;
99 #endif  /* EFSYS_OPT_MEDFORD2 */
100
101         default:
102                 EFSYS_ASSERT(0);
103                 rc = ENOTSUP;
104                 goto fail1;
105         }
106
107         if (enp->en_features & EFX_FEATURE_MCDI_DMA) {
108                 /* MCDI requires a DMA buffer in host memory */
109                 if ((emtp == NULL) || (emtp->emt_dma_mem) == NULL) {
110                         rc = EINVAL;
111                         goto fail2;
112                 }
113         }
114         enp->en_mcdi.em_emtp = emtp;
115
116         if (emcop != NULL && emcop->emco_init != NULL) {
117                 if ((rc = emcop->emco_init(enp, emtp)) != 0)
118                         goto fail3;
119         }
120
121         enp->en_mcdi.em_emcop = emcop;
122         enp->en_mod_flags |= EFX_MOD_MCDI;
123
124         return (0);
125
126 fail3:
127         EFSYS_PROBE(fail3);
128 fail2:
129         EFSYS_PROBE(fail2);
130 fail1:
131         EFSYS_PROBE1(fail1, efx_rc_t, rc);
132
133         enp->en_mcdi.em_emcop = NULL;
134         enp->en_mcdi.em_emtp = NULL;
135         enp->en_mod_flags &= ~EFX_MOD_MCDI;
136
137         return (rc);
138 }
139
140                         void
141 efx_mcdi_fini(
142         __in            efx_nic_t *enp)
143 {
144         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
145         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
146
147         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
148         EFSYS_ASSERT3U(enp->en_mod_flags, ==, EFX_MOD_MCDI);
149
150         if (emcop != NULL && emcop->emco_fini != NULL)
151                 emcop->emco_fini(enp);
152
153         emip->emi_port = 0;
154         emip->emi_aborted = 0;
155
156         enp->en_mcdi.em_emcop = NULL;
157         enp->en_mod_flags &= ~EFX_MOD_MCDI;
158 }
159
160                         void
161 efx_mcdi_new_epoch(
162         __in            efx_nic_t *enp)
163 {
164         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
165         efsys_lock_state_t state;
166
167         /* Start a new epoch (allow fresh MCDI requests to succeed) */
168         EFSYS_LOCK(enp->en_eslp, state);
169         emip->emi_new_epoch = B_TRUE;
170         EFSYS_UNLOCK(enp->en_eslp, state);
171 }
172
173 static                  void
174 efx_mcdi_send_request(
175         __in            efx_nic_t *enp,
176         __in            void *hdrp,
177         __in            size_t hdr_len,
178         __in            void *sdup,
179         __in            size_t sdu_len)
180 {
181         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
182
183         emcop->emco_send_request(enp, hdrp, hdr_len, sdup, sdu_len);
184 }
185
186 static                  efx_rc_t
187 efx_mcdi_poll_reboot(
188         __in            efx_nic_t *enp)
189 {
190         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
191         efx_rc_t rc;
192
193         rc = emcop->emco_poll_reboot(enp);
194         return (rc);
195 }
196
197 static                  boolean_t
198 efx_mcdi_poll_response(
199         __in            efx_nic_t *enp)
200 {
201         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
202         boolean_t available;
203
204         available = emcop->emco_poll_response(enp);
205         return (available);
206 }
207
208 static                  void
209 efx_mcdi_read_response(
210         __in            efx_nic_t *enp,
211         __out           void *bufferp,
212         __in            size_t offset,
213         __in            size_t length)
214 {
215         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
216
217         emcop->emco_read_response(enp, bufferp, offset, length);
218 }
219
220                         void
221 efx_mcdi_request_start(
222         __in            efx_nic_t *enp,
223         __in            efx_mcdi_req_t *emrp,
224         __in            boolean_t ev_cpl)
225 {
226 #if EFSYS_OPT_MCDI_LOGGING
227         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
228 #endif
229         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
230         efx_dword_t hdr[2];
231         size_t hdr_len;
232         unsigned int max_version;
233         unsigned int seq;
234         unsigned int xflags;
235         boolean_t new_epoch;
236         efsys_lock_state_t state;
237
238         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
239         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
240         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
241
242         /*
243          * efx_mcdi_request_start() is naturally serialised against both
244          * efx_mcdi_request_poll() and efx_mcdi_ev_cpl()/efx_mcdi_ev_death(),
245          * by virtue of there only being one outstanding MCDI request.
246          * Unfortunately, upper layers may also call efx_mcdi_request_abort()
247          * at any time, to timeout a pending mcdi request, That request may
248          * then subsequently complete, meaning efx_mcdi_ev_cpl() or
249          * efx_mcdi_ev_death() may end up running in parallel with
250          * efx_mcdi_request_start(). This race is handled by ensuring that
251          * %emi_pending_req, %emi_ev_cpl and %emi_seq are protected by the
252          * en_eslp lock.
253          */
254         EFSYS_LOCK(enp->en_eslp, state);
255         EFSYS_ASSERT(emip->emi_pending_req == NULL);
256         emip->emi_pending_req = emrp;
257         emip->emi_ev_cpl = ev_cpl;
258         emip->emi_poll_cnt = 0;
259         seq = emip->emi_seq++ & EFX_MASK32(MCDI_HEADER_SEQ);
260         new_epoch = emip->emi_new_epoch;
261         max_version = emip->emi_max_version;
262         EFSYS_UNLOCK(enp->en_eslp, state);
263
264         xflags = 0;
265         if (ev_cpl)
266                 xflags |= MCDI_HEADER_XFLAGS_EVREQ;
267
268         /*
269          * Huntington firmware supports MCDIv2, but the Huntington BootROM only
270          * supports MCDIv1. Use MCDIv1 headers for MCDIv1 commands where
271          * possible to support this.
272          */
273         if ((max_version >= 2) &&
274             ((emrp->emr_cmd > MC_CMD_CMD_SPACE_ESCAPE_7) ||
275             (emrp->emr_in_length > MCDI_CTL_SDU_LEN_MAX_V1) ||
276             (emrp->emr_out_length > MCDI_CTL_SDU_LEN_MAX_V1))) {
277                 /* Construct MCDI v2 header */
278                 hdr_len = sizeof (hdr);
279                 EFX_POPULATE_DWORD_8(hdr[0],
280                     MCDI_HEADER_CODE, MC_CMD_V2_EXTN,
281                     MCDI_HEADER_RESYNC, 1,
282                     MCDI_HEADER_DATALEN, 0,
283                     MCDI_HEADER_SEQ, seq,
284                     MCDI_HEADER_NOT_EPOCH, new_epoch ? 0 : 1,
285                     MCDI_HEADER_ERROR, 0,
286                     MCDI_HEADER_RESPONSE, 0,
287                     MCDI_HEADER_XFLAGS, xflags);
288
289                 EFX_POPULATE_DWORD_2(hdr[1],
290                     MC_CMD_V2_EXTN_IN_EXTENDED_CMD, emrp->emr_cmd,
291                     MC_CMD_V2_EXTN_IN_ACTUAL_LEN, emrp->emr_in_length);
292         } else {
293                 /* Construct MCDI v1 header */
294                 hdr_len = sizeof (hdr[0]);
295                 EFX_POPULATE_DWORD_8(hdr[0],
296                     MCDI_HEADER_CODE, emrp->emr_cmd,
297                     MCDI_HEADER_RESYNC, 1,
298                     MCDI_HEADER_DATALEN, emrp->emr_in_length,
299                     MCDI_HEADER_SEQ, seq,
300                     MCDI_HEADER_NOT_EPOCH, new_epoch ? 0 : 1,
301                     MCDI_HEADER_ERROR, 0,
302                     MCDI_HEADER_RESPONSE, 0,
303                     MCDI_HEADER_XFLAGS, xflags);
304         }
305
306 #if EFSYS_OPT_MCDI_LOGGING
307         if (emtp->emt_logger != NULL) {
308                 emtp->emt_logger(emtp->emt_context, EFX_LOG_MCDI_REQUEST,
309                     &hdr[0], hdr_len,
310                     emrp->emr_in_buf, emrp->emr_in_length);
311         }
312 #endif /* EFSYS_OPT_MCDI_LOGGING */
313
314         efx_mcdi_send_request(enp, &hdr[0], hdr_len,
315             emrp->emr_in_buf, emrp->emr_in_length);
316 }
317
318
319 static                  void
320 efx_mcdi_read_response_header(
321         __in            efx_nic_t *enp,
322         __inout         efx_mcdi_req_t *emrp)
323 {
324 #if EFSYS_OPT_MCDI_LOGGING
325         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
326 #endif /* EFSYS_OPT_MCDI_LOGGING */
327         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
328         efx_dword_t hdr[2];
329         unsigned int hdr_len;
330         unsigned int data_len;
331         unsigned int seq;
332         unsigned int cmd;
333         unsigned int error;
334         efx_rc_t rc;
335
336         EFSYS_ASSERT(emrp != NULL);
337
338         efx_mcdi_read_response(enp, &hdr[0], 0, sizeof (hdr[0]));
339         hdr_len = sizeof (hdr[0]);
340
341         cmd = EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_CODE);
342         seq = EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_SEQ);
343         error = EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_ERROR);
344
345         if (cmd != MC_CMD_V2_EXTN) {
346                 data_len = EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_DATALEN);
347         } else {
348                 efx_mcdi_read_response(enp, &hdr[1], hdr_len, sizeof (hdr[1]));
349                 hdr_len += sizeof (hdr[1]);
350
351                 cmd = EFX_DWORD_FIELD(hdr[1], MC_CMD_V2_EXTN_IN_EXTENDED_CMD);
352                 data_len =
353                     EFX_DWORD_FIELD(hdr[1], MC_CMD_V2_EXTN_IN_ACTUAL_LEN);
354         }
355
356         if (error && (data_len == 0)) {
357                 /* The MC has rebooted since the request was sent. */
358                 EFSYS_SPIN(EFX_MCDI_STATUS_SLEEP_US);
359                 efx_mcdi_poll_reboot(enp);
360                 rc = EIO;
361                 goto fail1;
362         }
363         if ((cmd != emrp->emr_cmd) ||
364             (seq != ((emip->emi_seq - 1) & EFX_MASK32(MCDI_HEADER_SEQ)))) {
365                 /* Response is for a different request */
366                 rc = EIO;
367                 goto fail2;
368         }
369         if (error) {
370                 efx_dword_t err[2];
371                 unsigned int err_len = MIN(data_len, sizeof (err));
372                 int err_code = MC_CMD_ERR_EPROTO;
373                 int err_arg = 0;
374
375                 /* Read error code (and arg num for MCDI v2 commands) */
376                 efx_mcdi_read_response(enp, &err, hdr_len, err_len);
377
378                 if (err_len >= (MC_CMD_ERR_CODE_OFST + sizeof (efx_dword_t)))
379                         err_code = EFX_DWORD_FIELD(err[0], EFX_DWORD_0);
380 #ifdef WITH_MCDI_V2
381                 if (err_len >= (MC_CMD_ERR_ARG_OFST + sizeof (efx_dword_t)))
382                         err_arg = EFX_DWORD_FIELD(err[1], EFX_DWORD_0);
383 #endif
384                 emrp->emr_err_code = err_code;
385                 emrp->emr_err_arg = err_arg;
386
387 #if EFSYS_OPT_MCDI_PROXY_AUTH
388                 if ((err_code == MC_CMD_ERR_PROXY_PENDING) &&
389                     (err_len == sizeof (err))) {
390                         /*
391                          * The MCDI request would normally fail with EPERM, but
392                          * firmware has forwarded it to an authorization agent
393                          * attached to a privileged PF.
394                          *
395                          * Save the authorization request handle. The client
396                          * must wait for a PROXY_RESPONSE event, or timeout.
397                          */
398                         emrp->emr_proxy_handle = err_arg;
399                 }
400 #endif /* EFSYS_OPT_MCDI_PROXY_AUTH */
401
402 #if EFSYS_OPT_MCDI_LOGGING
403                 if (emtp->emt_logger != NULL) {
404                         emtp->emt_logger(emtp->emt_context,
405                             EFX_LOG_MCDI_RESPONSE,
406                             &hdr[0], hdr_len,
407                             &err[0], err_len);
408                 }
409 #endif /* EFSYS_OPT_MCDI_LOGGING */
410
411                 if (!emrp->emr_quiet) {
412                         EFSYS_PROBE3(mcdi_err_arg, int, emrp->emr_cmd,
413                             int, err_code, int, err_arg);
414                 }
415
416                 rc = efx_mcdi_request_errcode(err_code);
417                 goto fail3;
418         }
419
420         emrp->emr_rc = 0;
421         emrp->emr_out_length_used = data_len;
422 #if EFSYS_OPT_MCDI_PROXY_AUTH
423         emrp->emr_proxy_handle = 0;
424 #endif /* EFSYS_OPT_MCDI_PROXY_AUTH */
425         return;
426
427 fail3:
428 fail2:
429 fail1:
430         emrp->emr_rc = rc;
431         emrp->emr_out_length_used = 0;
432 }
433
434 static                  void
435 efx_mcdi_finish_response(
436         __in            efx_nic_t *enp,
437         __in            efx_mcdi_req_t *emrp)
438 {
439 #if EFSYS_OPT_MCDI_LOGGING
440         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
441 #endif /* EFSYS_OPT_MCDI_LOGGING */
442         efx_dword_t hdr[2];
443         unsigned int hdr_len;
444         size_t bytes;
445
446         if (emrp->emr_out_buf == NULL)
447                 return;
448
449         /* Read the command header to detect MCDI response format */
450         hdr_len = sizeof (hdr[0]);
451         efx_mcdi_read_response(enp, &hdr[0], 0, hdr_len);
452         if (EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_CODE) == MC_CMD_V2_EXTN) {
453                 /*
454                  * Read the actual payload length. The length given in the event
455                  * is only correct for responses with the V1 format.
456                  */
457                 efx_mcdi_read_response(enp, &hdr[1], hdr_len, sizeof (hdr[1]));
458                 hdr_len += sizeof (hdr[1]);
459
460                 emrp->emr_out_length_used = EFX_DWORD_FIELD(hdr[1],
461                                             MC_CMD_V2_EXTN_IN_ACTUAL_LEN);
462         }
463
464         /* Copy payload out into caller supplied buffer */
465         bytes = MIN(emrp->emr_out_length_used, emrp->emr_out_length);
466         efx_mcdi_read_response(enp, emrp->emr_out_buf, hdr_len, bytes);
467
468 #if EFSYS_OPT_MCDI_LOGGING
469         if (emtp->emt_logger != NULL) {
470                 emtp->emt_logger(emtp->emt_context,
471                     EFX_LOG_MCDI_RESPONSE,
472                     &hdr[0], hdr_len,
473                     emrp->emr_out_buf, bytes);
474         }
475 #endif /* EFSYS_OPT_MCDI_LOGGING */
476 }
477
478
479         __checkReturn   boolean_t
480 efx_mcdi_request_poll(
481         __in            efx_nic_t *enp)
482 {
483         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
484         efx_mcdi_req_t *emrp;
485         efsys_lock_state_t state;
486         efx_rc_t rc;
487
488         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
489         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
490         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
491
492         /* Serialise against post-watchdog efx_mcdi_ev* */
493         EFSYS_LOCK(enp->en_eslp, state);
494
495         EFSYS_ASSERT(emip->emi_pending_req != NULL);
496         EFSYS_ASSERT(!emip->emi_ev_cpl);
497         emrp = emip->emi_pending_req;
498
499         /* Check if hardware is unavailable */
500         if (efx_nic_hw_unavailable(enp)) {
501                 EFSYS_UNLOCK(enp->en_eslp, state);
502                 return (B_FALSE);
503         }
504
505         /* Check for reboot atomically w.r.t efx_mcdi_request_start */
506         if (emip->emi_poll_cnt++ == 0) {
507                 if ((rc = efx_mcdi_poll_reboot(enp)) != 0) {
508                         emip->emi_pending_req = NULL;
509                         EFSYS_UNLOCK(enp->en_eslp, state);
510
511                         /* Reboot/Assertion */
512                         if (rc == EIO || rc == EINTR)
513                                 efx_mcdi_raise_exception(enp, emrp, rc);
514
515                         goto fail1;
516                 }
517         }
518
519         /* Check if a response is available */
520         if (efx_mcdi_poll_response(enp) == B_FALSE) {
521                 EFSYS_UNLOCK(enp->en_eslp, state);
522                 return (B_FALSE);
523         }
524
525         /* Read the response header */
526         efx_mcdi_read_response_header(enp, emrp);
527
528         /* Request complete */
529         emip->emi_pending_req = NULL;
530
531         /* Ensure stale MCDI requests fail after an MC reboot. */
532         emip->emi_new_epoch = B_FALSE;
533
534         EFSYS_UNLOCK(enp->en_eslp, state);
535
536         if ((rc = emrp->emr_rc) != 0)
537                 goto fail2;
538
539         efx_mcdi_finish_response(enp, emrp);
540         return (B_TRUE);
541
542 fail2:
543         if (!emrp->emr_quiet)
544                 EFSYS_PROBE(fail2);
545 fail1:
546         if (!emrp->emr_quiet)
547                 EFSYS_PROBE1(fail1, efx_rc_t, rc);
548
549         return (B_TRUE);
550 }
551
552         __checkReturn   boolean_t
553 efx_mcdi_request_abort(
554         __in            efx_nic_t *enp)
555 {
556         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
557         efx_mcdi_req_t *emrp;
558         boolean_t aborted;
559         efsys_lock_state_t state;
560
561         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
562         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
563         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
564
565         /*
566          * efx_mcdi_ev_* may have already completed this event, and be
567          * spinning/blocked on the upper layer lock. So it *is* legitimate
568          * to for emi_pending_req to be NULL. If there is a pending event
569          * completed request, then provide a "credit" to allow
570          * efx_mcdi_ev_cpl() to accept a single spurious completion.
571          */
572         EFSYS_LOCK(enp->en_eslp, state);
573         emrp = emip->emi_pending_req;
574         aborted = (emrp != NULL);
575         if (aborted) {
576                 emip->emi_pending_req = NULL;
577
578                 /* Error the request */
579                 emrp->emr_out_length_used = 0;
580                 emrp->emr_rc = ETIMEDOUT;
581
582                 /* Provide a credit for seqno/emr_pending_req mismatches */
583                 if (emip->emi_ev_cpl)
584                         ++emip->emi_aborted;
585
586                 /*
587                  * The upper layer has called us, so we don't
588                  * need to complete the request.
589                  */
590         }
591         EFSYS_UNLOCK(enp->en_eslp, state);
592
593         return (aborted);
594 }
595
596                         void
597 efx_mcdi_get_timeout(
598         __in            efx_nic_t *enp,
599         __in            efx_mcdi_req_t *emrp,
600         __out           uint32_t *timeoutp)
601 {
602         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
603
604         emcop->emco_get_timeout(enp, emrp, timeoutp);
605 }
606
607         __checkReturn   efx_rc_t
608 efx_mcdi_request_errcode(
609         __in            unsigned int err)
610 {
611
612         switch (err) {
613                 /* MCDI v1 */
614         case MC_CMD_ERR_EPERM:
615                 return (EACCES);
616         case MC_CMD_ERR_ENOENT:
617                 return (ENOENT);
618         case MC_CMD_ERR_EINTR:
619                 return (EINTR);
620         case MC_CMD_ERR_EACCES:
621                 return (EACCES);
622         case MC_CMD_ERR_EBUSY:
623                 return (EBUSY);
624         case MC_CMD_ERR_EINVAL:
625                 return (EINVAL);
626         case MC_CMD_ERR_EDEADLK:
627                 return (EDEADLK);
628         case MC_CMD_ERR_ENOSYS:
629                 return (ENOTSUP);
630         case MC_CMD_ERR_ETIME:
631                 return (ETIMEDOUT);
632         case MC_CMD_ERR_ENOTSUP:
633                 return (ENOTSUP);
634         case MC_CMD_ERR_EALREADY:
635                 return (EALREADY);
636
637                 /* MCDI v2 */
638         case MC_CMD_ERR_EEXIST:
639                 return (EEXIST);
640 #ifdef MC_CMD_ERR_EAGAIN
641         case MC_CMD_ERR_EAGAIN:
642                 return (EAGAIN);
643 #endif
644 #ifdef MC_CMD_ERR_ENOSPC
645         case MC_CMD_ERR_ENOSPC:
646                 return (ENOSPC);
647 #endif
648         case MC_CMD_ERR_ERANGE:
649                 return (ERANGE);
650
651         case MC_CMD_ERR_ALLOC_FAIL:
652                 return (ENOMEM);
653         case MC_CMD_ERR_NO_VADAPTOR:
654                 return (ENOENT);
655         case MC_CMD_ERR_NO_EVB_PORT:
656                 return (ENOENT);
657         case MC_CMD_ERR_NO_VSWITCH:
658                 return (ENODEV);
659         case MC_CMD_ERR_VLAN_LIMIT:
660                 return (EINVAL);
661         case MC_CMD_ERR_BAD_PCI_FUNC:
662                 return (ENODEV);
663         case MC_CMD_ERR_BAD_VLAN_MODE:
664                 return (EINVAL);
665         case MC_CMD_ERR_BAD_VSWITCH_TYPE:
666                 return (EINVAL);
667         case MC_CMD_ERR_BAD_VPORT_TYPE:
668                 return (EINVAL);
669         case MC_CMD_ERR_MAC_EXIST:
670                 return (EEXIST);
671
672         case MC_CMD_ERR_PROXY_PENDING:
673                 return (EAGAIN);
674
675         default:
676                 EFSYS_PROBE1(mc_pcol_error, int, err);
677                 return (EIO);
678         }
679 }
680
681                         void
682 efx_mcdi_raise_exception(
683         __in            efx_nic_t *enp,
684         __in_opt        efx_mcdi_req_t *emrp,
685         __in            int rc)
686 {
687         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
688         efx_mcdi_exception_t exception;
689
690         /* Reboot or Assertion failure only */
691         EFSYS_ASSERT(rc == EIO || rc == EINTR);
692
693         /*
694          * If MC_CMD_REBOOT causes a reboot (dependent on parameters),
695          * then the EIO is not worthy of an exception.
696          */
697         if (emrp != NULL && emrp->emr_cmd == MC_CMD_REBOOT && rc == EIO)
698                 return;
699
700         exception = (rc == EIO)
701                 ? EFX_MCDI_EXCEPTION_MC_REBOOT
702                 : EFX_MCDI_EXCEPTION_MC_BADASSERT;
703
704         emtp->emt_exception(emtp->emt_context, exception);
705 }
706
707                         void
708 efx_mcdi_execute(
709         __in            efx_nic_t *enp,
710         __inout         efx_mcdi_req_t *emrp)
711 {
712         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
713
714         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
715         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
716
717         emrp->emr_quiet = B_FALSE;
718         emtp->emt_execute(emtp->emt_context, emrp);
719 }
720
721                         void
722 efx_mcdi_execute_quiet(
723         __in            efx_nic_t *enp,
724         __inout         efx_mcdi_req_t *emrp)
725 {
726         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
727
728         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
729         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
730
731         emrp->emr_quiet = B_TRUE;
732         emtp->emt_execute(emtp->emt_context, emrp);
733 }
734
735                         void
736 efx_mcdi_ev_cpl(
737         __in            efx_nic_t *enp,
738         __in            unsigned int seq,
739         __in            unsigned int outlen,
740         __in            int errcode)
741 {
742         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
743         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
744         efx_mcdi_req_t *emrp;
745         efsys_lock_state_t state;
746
747         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
748         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
749
750         /*
751          * Serialise against efx_mcdi_request_poll()/efx_mcdi_request_start()
752          * when we're completing an aborted request.
753          */
754         EFSYS_LOCK(enp->en_eslp, state);
755         if (emip->emi_pending_req == NULL || !emip->emi_ev_cpl ||
756             (seq != ((emip->emi_seq - 1) & EFX_MASK32(MCDI_HEADER_SEQ)))) {
757                 EFSYS_ASSERT(emip->emi_aborted > 0);
758                 if (emip->emi_aborted > 0)
759                         --emip->emi_aborted;
760                 EFSYS_UNLOCK(enp->en_eslp, state);
761                 return;
762         }
763
764         emrp = emip->emi_pending_req;
765         emip->emi_pending_req = NULL;
766         EFSYS_UNLOCK(enp->en_eslp, state);
767
768         if (emip->emi_max_version >= 2) {
769                 /* MCDIv2 response details do not fit into an event. */
770                 efx_mcdi_read_response_header(enp, emrp);
771         } else {
772                 if (errcode != 0) {
773                         if (!emrp->emr_quiet) {
774                                 EFSYS_PROBE2(mcdi_err, int, emrp->emr_cmd,
775                                     int, errcode);
776                         }
777                         emrp->emr_out_length_used = 0;
778                         emrp->emr_rc = efx_mcdi_request_errcode(errcode);
779                 } else {
780                         emrp->emr_out_length_used = outlen;
781                         emrp->emr_rc = 0;
782                 }
783         }
784         if (emrp->emr_rc == 0)
785                 efx_mcdi_finish_response(enp, emrp);
786
787         emtp->emt_ev_cpl(emtp->emt_context);
788 }
789
790 #if EFSYS_OPT_MCDI_PROXY_AUTH
791
792         __checkReturn   efx_rc_t
793 efx_mcdi_get_proxy_handle(
794         __in            efx_nic_t *enp,
795         __in            efx_mcdi_req_t *emrp,
796         __out           uint32_t *handlep)
797 {
798         efx_rc_t rc;
799
800         _NOTE(ARGUNUSED(enp))
801
802         /*
803          * Return proxy handle from MCDI request that returned with error
804          * MC_MCD_ERR_PROXY_PENDING. This handle is used to wait for a matching
805          * PROXY_RESPONSE event.
806          */
807         if ((emrp == NULL) || (handlep == NULL)) {
808                 rc = EINVAL;
809                 goto fail1;
810         }
811         if ((emrp->emr_rc != 0) &&
812             (emrp->emr_err_code == MC_CMD_ERR_PROXY_PENDING)) {
813                 *handlep = emrp->emr_proxy_handle;
814                 rc = 0;
815         } else {
816                 *handlep = 0;
817                 rc = ENOENT;
818         }
819         return (rc);
820
821 fail1:
822         EFSYS_PROBE1(fail1, efx_rc_t, rc);
823         return (rc);
824 }
825
826                         void
827 efx_mcdi_ev_proxy_response(
828         __in            efx_nic_t *enp,
829         __in            unsigned int handle,
830         __in            unsigned int status)
831 {
832         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
833         efx_rc_t rc;
834
835         /*
836          * Handle results of an authorization request for a privileged MCDI
837          * command. If authorization was granted then we must re-issue the
838          * original MCDI request. If authorization failed or timed out,
839          * then the original MCDI request should be completed with the
840          * result code from this event.
841          */
842         rc = (status == 0) ? 0 : efx_mcdi_request_errcode(status);
843
844         emtp->emt_ev_proxy_response(emtp->emt_context, handle, rc);
845 }
846 #endif /* EFSYS_OPT_MCDI_PROXY_AUTH */
847
848                         void
849 efx_mcdi_ev_death(
850         __in            efx_nic_t *enp,
851         __in            int rc)
852 {
853         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
854         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
855         efx_mcdi_req_t *emrp = NULL;
856         boolean_t ev_cpl;
857         efsys_lock_state_t state;
858
859         /*
860          * The MCDI request (if there is one) has been terminated, either
861          * by a BADASSERT or REBOOT event.
862          *
863          * If there is an outstanding event-completed MCDI operation, then we
864          * will never receive the completion event (because both MCDI
865          * completions and BADASSERT events are sent to the same evq). So
866          * complete this MCDI op.
867          *
868          * This function might run in parallel with efx_mcdi_request_poll()
869          * for poll completed mcdi requests, and also with
870          * efx_mcdi_request_start() for post-watchdog completions.
871          */
872         EFSYS_LOCK(enp->en_eslp, state);
873         emrp = emip->emi_pending_req;
874         ev_cpl = emip->emi_ev_cpl;
875         if (emrp != NULL && emip->emi_ev_cpl) {
876                 emip->emi_pending_req = NULL;
877
878                 emrp->emr_out_length_used = 0;
879                 emrp->emr_rc = rc;
880                 ++emip->emi_aborted;
881         }
882
883         /*
884          * Since we're running in parallel with a request, consume the
885          * status word before dropping the lock.
886          */
887         if (rc == EIO || rc == EINTR) {
888                 EFSYS_SPIN(EFX_MCDI_STATUS_SLEEP_US);
889                 (void) efx_mcdi_poll_reboot(enp);
890                 emip->emi_new_epoch = B_TRUE;
891         }
892
893         EFSYS_UNLOCK(enp->en_eslp, state);
894
895         efx_mcdi_raise_exception(enp, emrp, rc);
896
897         if (emrp != NULL && ev_cpl)
898                 emtp->emt_ev_cpl(emtp->emt_context);
899 }
900
901         __checkReturn           efx_rc_t
902 efx_mcdi_version(
903         __in                    efx_nic_t *enp,
904         __out_ecount_opt(4)     uint16_t versionp[4],
905         __out_opt               uint32_t *buildp,
906         __out_opt               efx_mcdi_boot_t *statusp)
907 {
908         efx_mcdi_req_t req;
909         EFX_MCDI_DECLARE_BUF(payload,
910                 MAX(MC_CMD_GET_VERSION_IN_LEN, MC_CMD_GET_BOOT_STATUS_IN_LEN),
911                 MAX(MC_CMD_GET_VERSION_OUT_LEN,
912                         MC_CMD_GET_BOOT_STATUS_OUT_LEN));
913         efx_word_t *ver_words;
914         uint16_t version[4];
915         uint32_t build;
916         efx_mcdi_boot_t status;
917         efx_rc_t rc;
918
919         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
920
921         req.emr_cmd = MC_CMD_GET_VERSION;
922         req.emr_in_buf = payload;
923         req.emr_in_length = MC_CMD_GET_VERSION_IN_LEN;
924         req.emr_out_buf = payload;
925         req.emr_out_length = MC_CMD_GET_VERSION_OUT_LEN;
926
927         efx_mcdi_execute(enp, &req);
928
929         if (req.emr_rc != 0) {
930                 rc = req.emr_rc;
931                 goto fail1;
932         }
933
934         /* bootrom support */
935         if (req.emr_out_length_used == MC_CMD_GET_VERSION_V0_OUT_LEN) {
936                 version[0] = version[1] = version[2] = version[3] = 0;
937                 build = MCDI_OUT_DWORD(req, GET_VERSION_OUT_FIRMWARE);
938
939                 goto version;
940         }
941
942         if (req.emr_out_length_used < MC_CMD_GET_VERSION_OUT_LEN) {
943                 rc = EMSGSIZE;
944                 goto fail2;
945         }
946
947         ver_words = MCDI_OUT2(req, efx_word_t, GET_VERSION_OUT_VERSION);
948         version[0] = EFX_WORD_FIELD(ver_words[0], EFX_WORD_0);
949         version[1] = EFX_WORD_FIELD(ver_words[1], EFX_WORD_0);
950         version[2] = EFX_WORD_FIELD(ver_words[2], EFX_WORD_0);
951         version[3] = EFX_WORD_FIELD(ver_words[3], EFX_WORD_0);
952         build = MCDI_OUT_DWORD(req, GET_VERSION_OUT_FIRMWARE);
953
954 version:
955         /* The bootrom doesn't understand BOOT_STATUS */
956         if (MC_FW_VERSION_IS_BOOTLOADER(build)) {
957                 status = EFX_MCDI_BOOT_ROM;
958                 goto out;
959         }
960
961         (void) memset(payload, 0, sizeof (payload));
962         req.emr_cmd = MC_CMD_GET_BOOT_STATUS;
963         req.emr_in_buf = payload;
964         req.emr_in_length = MC_CMD_GET_BOOT_STATUS_IN_LEN;
965         req.emr_out_buf = payload;
966         req.emr_out_length = MC_CMD_GET_BOOT_STATUS_OUT_LEN;
967
968         efx_mcdi_execute_quiet(enp, &req);
969
970         if (req.emr_rc == EACCES) {
971                 /* Unprivileged functions cannot access BOOT_STATUS */
972                 status = EFX_MCDI_BOOT_PRIMARY;
973                 version[0] = version[1] = version[2] = version[3] = 0;
974                 build = 0;
975                 goto out;
976         }
977
978         if (req.emr_rc != 0) {
979                 rc = req.emr_rc;
980                 goto fail3;
981         }
982
983         if (req.emr_out_length_used < MC_CMD_GET_BOOT_STATUS_OUT_LEN) {
984                 rc = EMSGSIZE;
985                 goto fail4;
986         }
987
988         if (MCDI_OUT_DWORD_FIELD(req, GET_BOOT_STATUS_OUT_FLAGS,
989             GET_BOOT_STATUS_OUT_FLAGS_PRIMARY))
990                 status = EFX_MCDI_BOOT_PRIMARY;
991         else
992                 status = EFX_MCDI_BOOT_SECONDARY;
993
994 out:
995         if (versionp != NULL)
996                 memcpy(versionp, version, sizeof (version));
997         if (buildp != NULL)
998                 *buildp = build;
999         if (statusp != NULL)
1000                 *statusp = status;
1001
1002         return (0);
1003
1004 fail4:
1005         EFSYS_PROBE(fail4);
1006 fail3:
1007         EFSYS_PROBE(fail3);
1008 fail2:
1009         EFSYS_PROBE(fail2);
1010 fail1:
1011         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1012
1013         return (rc);
1014 }
1015
1016         __checkReturn   efx_rc_t
1017 efx_mcdi_get_capabilities(
1018         __in            efx_nic_t *enp,
1019         __out_opt       uint32_t *flagsp,
1020         __out_opt       uint16_t *rx_dpcpu_fw_idp,
1021         __out_opt       uint16_t *tx_dpcpu_fw_idp,
1022         __out_opt       uint32_t *flags2p,
1023         __out_opt       uint32_t *tso2ncp)
1024 {
1025         efx_mcdi_req_t req;
1026         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_CAPABILITIES_IN_LEN,
1027                 MC_CMD_GET_CAPABILITIES_V2_OUT_LEN);
1028         boolean_t v2_capable;
1029         efx_rc_t rc;
1030
1031         req.emr_cmd = MC_CMD_GET_CAPABILITIES;
1032         req.emr_in_buf = payload;
1033         req.emr_in_length = MC_CMD_GET_CAPABILITIES_IN_LEN;
1034         req.emr_out_buf = payload;
1035         req.emr_out_length = MC_CMD_GET_CAPABILITIES_V2_OUT_LEN;
1036
1037         efx_mcdi_execute_quiet(enp, &req);
1038
1039         if (req.emr_rc != 0) {
1040                 rc = req.emr_rc;
1041                 goto fail1;
1042         }
1043
1044         if (req.emr_out_length_used < MC_CMD_GET_CAPABILITIES_OUT_LEN) {
1045                 rc = EMSGSIZE;
1046                 goto fail2;
1047         }
1048
1049         if (flagsp != NULL)
1050                 *flagsp = MCDI_OUT_DWORD(req, GET_CAPABILITIES_OUT_FLAGS1);
1051
1052         if (rx_dpcpu_fw_idp != NULL)
1053                 *rx_dpcpu_fw_idp = MCDI_OUT_WORD(req,
1054                                         GET_CAPABILITIES_OUT_RX_DPCPU_FW_ID);
1055
1056         if (tx_dpcpu_fw_idp != NULL)
1057                 *tx_dpcpu_fw_idp = MCDI_OUT_WORD(req,
1058                                         GET_CAPABILITIES_OUT_TX_DPCPU_FW_ID);
1059
1060         if (req.emr_out_length_used < MC_CMD_GET_CAPABILITIES_V2_OUT_LEN)
1061                 v2_capable = B_FALSE;
1062         else
1063                 v2_capable = B_TRUE;
1064
1065         if (flags2p != NULL) {
1066                 *flags2p = (v2_capable) ?
1067                         MCDI_OUT_DWORD(req, GET_CAPABILITIES_V2_OUT_FLAGS2) :
1068                         0;
1069         }
1070
1071         if (tso2ncp != NULL) {
1072                 *tso2ncp = (v2_capable) ?
1073                         MCDI_OUT_WORD(req,
1074                                 GET_CAPABILITIES_V2_OUT_TX_TSO_V2_N_CONTEXTS) :
1075                         0;
1076         }
1077
1078         return (0);
1079
1080 fail2:
1081         EFSYS_PROBE(fail2);
1082 fail1:
1083         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1084
1085         return (rc);
1086 }
1087
1088 static  __checkReturn   efx_rc_t
1089 efx_mcdi_do_reboot(
1090         __in            efx_nic_t *enp,
1091         __in            boolean_t after_assertion)
1092 {
1093         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_REBOOT_IN_LEN,
1094                 MC_CMD_REBOOT_OUT_LEN);
1095         efx_mcdi_req_t req;
1096         efx_rc_t rc;
1097
1098         /*
1099          * We could require the caller to have caused en_mod_flags=0 to
1100          * call this function. This doesn't help the other port though,
1101          * who's about to get the MC ripped out from underneath them.
1102          * Since they have to cope with the subsequent fallout of MCDI
1103          * failures, we should as well.
1104          */
1105         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
1106
1107         req.emr_cmd = MC_CMD_REBOOT;
1108         req.emr_in_buf = payload;
1109         req.emr_in_length = MC_CMD_REBOOT_IN_LEN;
1110         req.emr_out_buf = payload;
1111         req.emr_out_length = MC_CMD_REBOOT_OUT_LEN;
1112
1113         MCDI_IN_SET_DWORD(req, REBOOT_IN_FLAGS,
1114             (after_assertion ? MC_CMD_REBOOT_FLAGS_AFTER_ASSERTION : 0));
1115
1116         efx_mcdi_execute_quiet(enp, &req);
1117
1118         if (req.emr_rc == EACCES) {
1119                 /* Unprivileged functions cannot reboot the MC. */
1120                 goto out;
1121         }
1122
1123         /* A successful reboot request returns EIO. */
1124         if (req.emr_rc != 0 && req.emr_rc != EIO) {
1125                 rc = req.emr_rc;
1126                 goto fail1;
1127         }
1128
1129 out:
1130         return (0);
1131
1132 fail1:
1133         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1134
1135         return (rc);
1136 }
1137
1138         __checkReturn   efx_rc_t
1139 efx_mcdi_reboot(
1140         __in            efx_nic_t *enp)
1141 {
1142         return (efx_mcdi_do_reboot(enp, B_FALSE));
1143 }
1144
1145         __checkReturn   efx_rc_t
1146 efx_mcdi_exit_assertion_handler(
1147         __in            efx_nic_t *enp)
1148 {
1149         return (efx_mcdi_do_reboot(enp, B_TRUE));
1150 }
1151
1152         __checkReturn   efx_rc_t
1153 efx_mcdi_read_assertion(
1154         __in            efx_nic_t *enp)
1155 {
1156         efx_mcdi_req_t req;
1157         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_ASSERTS_IN_LEN,
1158                 MC_CMD_GET_ASSERTS_OUT_LEN);
1159         const char *reason;
1160         unsigned int flags;
1161         unsigned int index;
1162         unsigned int ofst;
1163         int retry;
1164         efx_rc_t rc;
1165
1166         /*
1167          * Before we attempt to chat to the MC, we should verify that the MC
1168          * isn't in it's assertion handler, either due to a previous reboot,
1169          * or because we're reinitializing due to an eec_exception().
1170          *
1171          * Use GET_ASSERTS to read any assertion state that may be present.
1172          * Retry this command twice. Once because a boot-time assertion failure
1173          * might cause the 1st MCDI request to fail. And once again because
1174          * we might race with efx_mcdi_exit_assertion_handler() running on
1175          * partner port(s) on the same NIC.
1176          */
1177         retry = 2;
1178         do {
1179                 (void) memset(payload, 0, sizeof (payload));
1180                 req.emr_cmd = MC_CMD_GET_ASSERTS;
1181                 req.emr_in_buf = payload;
1182                 req.emr_in_length = MC_CMD_GET_ASSERTS_IN_LEN;
1183                 req.emr_out_buf = payload;
1184                 req.emr_out_length = MC_CMD_GET_ASSERTS_OUT_LEN;
1185
1186                 MCDI_IN_SET_DWORD(req, GET_ASSERTS_IN_CLEAR, 1);
1187                 efx_mcdi_execute_quiet(enp, &req);
1188
1189         } while ((req.emr_rc == EINTR || req.emr_rc == EIO) && retry-- > 0);
1190
1191         if (req.emr_rc != 0) {
1192                 if (req.emr_rc == EACCES) {
1193                         /* Unprivileged functions cannot clear assertions. */
1194                         goto out;
1195                 }
1196                 rc = req.emr_rc;
1197                 goto fail1;
1198         }
1199
1200         if (req.emr_out_length_used < MC_CMD_GET_ASSERTS_OUT_LEN) {
1201                 rc = EMSGSIZE;
1202                 goto fail2;
1203         }
1204
1205         /* Print out any assertion state recorded */
1206         flags = MCDI_OUT_DWORD(req, GET_ASSERTS_OUT_GLOBAL_FLAGS);
1207         if (flags == MC_CMD_GET_ASSERTS_FLAGS_NO_FAILS)
1208                 return (0);
1209
1210         reason = (flags == MC_CMD_GET_ASSERTS_FLAGS_SYS_FAIL)
1211                 ? "system-level assertion"
1212                 : (flags == MC_CMD_GET_ASSERTS_FLAGS_THR_FAIL)
1213                 ? "thread-level assertion"
1214                 : (flags == MC_CMD_GET_ASSERTS_FLAGS_WDOG_FIRED)
1215                 ? "watchdog reset"
1216                 : (flags == MC_CMD_GET_ASSERTS_FLAGS_ADDR_TRAP)
1217                 ? "illegal address trap"
1218                 : "unknown assertion";
1219         EFSYS_PROBE3(mcpu_assertion,
1220             const char *, reason, unsigned int,
1221             MCDI_OUT_DWORD(req, GET_ASSERTS_OUT_SAVED_PC_OFFS),
1222             unsigned int,
1223             MCDI_OUT_DWORD(req, GET_ASSERTS_OUT_THREAD_OFFS));
1224
1225         /* Print out the registers (r1 ... r31) */
1226         ofst = MC_CMD_GET_ASSERTS_OUT_GP_REGS_OFFS_OFST;
1227         for (index = 1;
1228                 index < 1 + MC_CMD_GET_ASSERTS_OUT_GP_REGS_OFFS_NUM;
1229                 index++) {
1230                 EFSYS_PROBE2(mcpu_register, unsigned int, index, unsigned int,
1231                             EFX_DWORD_FIELD(*MCDI_OUT(req, efx_dword_t, ofst),
1232                                             EFX_DWORD_0));
1233                 ofst += sizeof (efx_dword_t);
1234         }
1235         EFSYS_ASSERT(ofst <= MC_CMD_GET_ASSERTS_OUT_LEN);
1236
1237 out:
1238         return (0);
1239
1240 fail2:
1241         EFSYS_PROBE(fail2);
1242 fail1:
1243         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1244
1245         return (rc);
1246 }
1247
1248
1249 /*
1250  * Internal routines for for specific MCDI requests.
1251  */
1252
1253         __checkReturn   efx_rc_t
1254 efx_mcdi_drv_attach(
1255         __in            efx_nic_t *enp,
1256         __in            boolean_t attach)
1257 {
1258         efx_mcdi_req_t req;
1259         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_DRV_ATTACH_IN_LEN,
1260                 MC_CMD_DRV_ATTACH_EXT_OUT_LEN);
1261         efx_rc_t rc;
1262
1263         req.emr_cmd = MC_CMD_DRV_ATTACH;
1264         req.emr_in_buf = payload;
1265         req.emr_in_length = MC_CMD_DRV_ATTACH_IN_LEN;
1266         req.emr_out_buf = payload;
1267         req.emr_out_length = MC_CMD_DRV_ATTACH_EXT_OUT_LEN;
1268
1269         /*
1270          * Typically, client drivers use DONT_CARE for the datapath firmware
1271          * type to ensure that the driver can attach to an unprivileged
1272          * function. The datapath firmware type to use is controlled by the
1273          * 'sfboot' utility.
1274          * If a client driver wishes to attach with a specific datapath firmware
1275          * type, that can be passed in second argument of efx_nic_probe API. One
1276          * such example is the ESXi native driver that attempts attaching with
1277          * FULL_FEATURED datapath firmware type first and fall backs to
1278          * DONT_CARE datapath firmware type if MC_CMD_DRV_ATTACH fails.
1279          */
1280         MCDI_IN_POPULATE_DWORD_2(req, DRV_ATTACH_IN_NEW_STATE,
1281             DRV_ATTACH_IN_ATTACH, attach ? 1 : 0,
1282             DRV_ATTACH_IN_SUBVARIANT_AWARE, EFSYS_OPT_FW_SUBVARIANT_AWARE);
1283         MCDI_IN_SET_DWORD(req, DRV_ATTACH_IN_UPDATE, 1);
1284         MCDI_IN_SET_DWORD(req, DRV_ATTACH_IN_FIRMWARE_ID, enp->efv);
1285
1286         efx_mcdi_execute(enp, &req);
1287
1288         if (req.emr_rc != 0) {
1289                 rc = req.emr_rc;
1290                 goto fail1;
1291         }
1292
1293         if (req.emr_out_length_used < MC_CMD_DRV_ATTACH_OUT_LEN) {
1294                 rc = EMSGSIZE;
1295                 goto fail2;
1296         }
1297
1298         return (0);
1299
1300 fail2:
1301         EFSYS_PROBE(fail2);
1302 fail1:
1303         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1304
1305         return (rc);
1306 }
1307
1308         __checkReturn           efx_rc_t
1309 efx_mcdi_get_board_cfg(
1310         __in                    efx_nic_t *enp,
1311         __out_opt               uint32_t *board_typep,
1312         __out_opt               efx_dword_t *capabilitiesp,
1313         __out_ecount_opt(6)     uint8_t mac_addrp[6])
1314 {
1315         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
1316         efx_mcdi_req_t req;
1317         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_BOARD_CFG_IN_LEN,
1318                 MC_CMD_GET_BOARD_CFG_OUT_LENMIN);
1319         efx_rc_t rc;
1320
1321         req.emr_cmd = MC_CMD_GET_BOARD_CFG;
1322         req.emr_in_buf = payload;
1323         req.emr_in_length = MC_CMD_GET_BOARD_CFG_IN_LEN;
1324         req.emr_out_buf = payload;
1325         req.emr_out_length = MC_CMD_GET_BOARD_CFG_OUT_LENMIN;
1326
1327         efx_mcdi_execute(enp, &req);
1328
1329         if (req.emr_rc != 0) {
1330                 rc = req.emr_rc;
1331                 goto fail1;
1332         }
1333
1334         if (req.emr_out_length_used < MC_CMD_GET_BOARD_CFG_OUT_LENMIN) {
1335                 rc = EMSGSIZE;
1336                 goto fail2;
1337         }
1338
1339         if (mac_addrp != NULL) {
1340                 uint8_t *addrp;
1341
1342                 if (emip->emi_port == 1) {
1343                         addrp = MCDI_OUT2(req, uint8_t,
1344                             GET_BOARD_CFG_OUT_MAC_ADDR_BASE_PORT0);
1345                 } else if (emip->emi_port == 2) {
1346                         addrp = MCDI_OUT2(req, uint8_t,
1347                             GET_BOARD_CFG_OUT_MAC_ADDR_BASE_PORT1);
1348                 } else {
1349                         rc = EINVAL;
1350                         goto fail3;
1351                 }
1352
1353                 EFX_MAC_ADDR_COPY(mac_addrp, addrp);
1354         }
1355
1356         if (capabilitiesp != NULL) {
1357                 if (emip->emi_port == 1) {
1358                         *capabilitiesp = *MCDI_OUT2(req, efx_dword_t,
1359                             GET_BOARD_CFG_OUT_CAPABILITIES_PORT0);
1360                 } else if (emip->emi_port == 2) {
1361                         *capabilitiesp = *MCDI_OUT2(req, efx_dword_t,
1362                             GET_BOARD_CFG_OUT_CAPABILITIES_PORT1);
1363                 } else {
1364                         rc = EINVAL;
1365                         goto fail4;
1366                 }
1367         }
1368
1369         if (board_typep != NULL) {
1370                 *board_typep = MCDI_OUT_DWORD(req,
1371                     GET_BOARD_CFG_OUT_BOARD_TYPE);
1372         }
1373
1374         return (0);
1375
1376 fail4:
1377         EFSYS_PROBE(fail4);
1378 fail3:
1379         EFSYS_PROBE(fail3);
1380 fail2:
1381         EFSYS_PROBE(fail2);
1382 fail1:
1383         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1384
1385         return (rc);
1386 }
1387
1388         __checkReturn   efx_rc_t
1389 efx_mcdi_get_resource_limits(
1390         __in            efx_nic_t *enp,
1391         __out_opt       uint32_t *nevqp,
1392         __out_opt       uint32_t *nrxqp,
1393         __out_opt       uint32_t *ntxqp)
1394 {
1395         efx_mcdi_req_t req;
1396         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_RESOURCE_LIMITS_IN_LEN,
1397                 MC_CMD_GET_RESOURCE_LIMITS_OUT_LEN);
1398         efx_rc_t rc;
1399
1400         req.emr_cmd = MC_CMD_GET_RESOURCE_LIMITS;
1401         req.emr_in_buf = payload;
1402         req.emr_in_length = MC_CMD_GET_RESOURCE_LIMITS_IN_LEN;
1403         req.emr_out_buf = payload;
1404         req.emr_out_length = MC_CMD_GET_RESOURCE_LIMITS_OUT_LEN;
1405
1406         efx_mcdi_execute(enp, &req);
1407
1408         if (req.emr_rc != 0) {
1409                 rc = req.emr_rc;
1410                 goto fail1;
1411         }
1412
1413         if (req.emr_out_length_used < MC_CMD_GET_RESOURCE_LIMITS_OUT_LEN) {
1414                 rc = EMSGSIZE;
1415                 goto fail2;
1416         }
1417
1418         if (nevqp != NULL)
1419                 *nevqp = MCDI_OUT_DWORD(req, GET_RESOURCE_LIMITS_OUT_EVQ);
1420         if (nrxqp != NULL)
1421                 *nrxqp = MCDI_OUT_DWORD(req, GET_RESOURCE_LIMITS_OUT_RXQ);
1422         if (ntxqp != NULL)
1423                 *ntxqp = MCDI_OUT_DWORD(req, GET_RESOURCE_LIMITS_OUT_TXQ);
1424
1425         return (0);
1426
1427 fail2:
1428         EFSYS_PROBE(fail2);
1429 fail1:
1430         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1431
1432         return (rc);
1433 }
1434
1435         __checkReturn   efx_rc_t
1436 efx_mcdi_get_phy_cfg(
1437         __in            efx_nic_t *enp)
1438 {
1439         efx_port_t *epp = &(enp->en_port);
1440         efx_nic_cfg_t *encp = &(enp->en_nic_cfg);
1441         efx_mcdi_req_t req;
1442         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_PHY_CFG_IN_LEN,
1443                 MC_CMD_GET_PHY_CFG_OUT_LEN);
1444 #if EFSYS_OPT_NAMES
1445         const char *namep;
1446         size_t namelen;
1447 #endif
1448         uint32_t phy_media_type;
1449         efx_rc_t rc;
1450
1451         req.emr_cmd = MC_CMD_GET_PHY_CFG;
1452         req.emr_in_buf = payload;
1453         req.emr_in_length = MC_CMD_GET_PHY_CFG_IN_LEN;
1454         req.emr_out_buf = payload;
1455         req.emr_out_length = MC_CMD_GET_PHY_CFG_OUT_LEN;
1456
1457         efx_mcdi_execute(enp, &req);
1458
1459         if (req.emr_rc != 0) {
1460                 rc = req.emr_rc;
1461                 goto fail1;
1462         }
1463
1464         if (req.emr_out_length_used < MC_CMD_GET_PHY_CFG_OUT_LEN) {
1465                 rc = EMSGSIZE;
1466                 goto fail2;
1467         }
1468
1469         encp->enc_phy_type = MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_TYPE);
1470 #if EFSYS_OPT_NAMES
1471         namep = MCDI_OUT2(req, char, GET_PHY_CFG_OUT_NAME);
1472         namelen = MIN(sizeof (encp->enc_phy_name) - 1,
1473                     strnlen(namep, MC_CMD_GET_PHY_CFG_OUT_NAME_LEN));
1474         (void) memset(encp->enc_phy_name, 0,
1475             sizeof (encp->enc_phy_name));
1476         memcpy(encp->enc_phy_name, namep, namelen);
1477 #endif  /* EFSYS_OPT_NAMES */
1478         (void) memset(encp->enc_phy_revision, 0,
1479             sizeof (encp->enc_phy_revision));
1480         memcpy(encp->enc_phy_revision,
1481                 MCDI_OUT2(req, char, GET_PHY_CFG_OUT_REVISION),
1482                 MIN(sizeof (encp->enc_phy_revision) - 1,
1483                     MC_CMD_GET_PHY_CFG_OUT_REVISION_LEN));
1484 #if EFSYS_OPT_PHY_LED_CONTROL
1485         encp->enc_led_mask = ((1 << EFX_PHY_LED_DEFAULT) |
1486                             (1 << EFX_PHY_LED_OFF) |
1487                             (1 << EFX_PHY_LED_ON));
1488 #endif  /* EFSYS_OPT_PHY_LED_CONTROL */
1489
1490         /* Get the media type of the fixed port, if recognised. */
1491         EFX_STATIC_ASSERT(MC_CMD_MEDIA_XAUI == EFX_PHY_MEDIA_XAUI);
1492         EFX_STATIC_ASSERT(MC_CMD_MEDIA_CX4 == EFX_PHY_MEDIA_CX4);
1493         EFX_STATIC_ASSERT(MC_CMD_MEDIA_KX4 == EFX_PHY_MEDIA_KX4);
1494         EFX_STATIC_ASSERT(MC_CMD_MEDIA_XFP == EFX_PHY_MEDIA_XFP);
1495         EFX_STATIC_ASSERT(MC_CMD_MEDIA_SFP_PLUS == EFX_PHY_MEDIA_SFP_PLUS);
1496         EFX_STATIC_ASSERT(MC_CMD_MEDIA_BASE_T == EFX_PHY_MEDIA_BASE_T);
1497         EFX_STATIC_ASSERT(MC_CMD_MEDIA_QSFP_PLUS == EFX_PHY_MEDIA_QSFP_PLUS);
1498         phy_media_type = MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_MEDIA_TYPE);
1499         epp->ep_fixed_port_type = (efx_phy_media_type_t)phy_media_type;
1500         if (epp->ep_fixed_port_type >= EFX_PHY_MEDIA_NTYPES)
1501                 epp->ep_fixed_port_type = EFX_PHY_MEDIA_INVALID;
1502
1503         epp->ep_phy_cap_mask =
1504                 MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_SUPPORTED_CAP);
1505 #if EFSYS_OPT_PHY_FLAGS
1506         encp->enc_phy_flags_mask = MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_FLAGS);
1507 #endif  /* EFSYS_OPT_PHY_FLAGS */
1508
1509         encp->enc_port = (uint8_t)MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_PRT);
1510
1511         /* Populate internal state */
1512         encp->enc_mcdi_mdio_channel =
1513                 (uint8_t)MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_CHANNEL);
1514
1515 #if EFSYS_OPT_PHY_STATS
1516         encp->enc_mcdi_phy_stat_mask =
1517                 MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_STATS_MASK);
1518 #endif  /* EFSYS_OPT_PHY_STATS */
1519
1520 #if EFSYS_OPT_BIST
1521         encp->enc_bist_mask = 0;
1522         if (MCDI_OUT_DWORD_FIELD(req, GET_PHY_CFG_OUT_FLAGS,
1523             GET_PHY_CFG_OUT_BIST_CABLE_SHORT))
1524                 encp->enc_bist_mask |= (1 << EFX_BIST_TYPE_PHY_CABLE_SHORT);
1525         if (MCDI_OUT_DWORD_FIELD(req, GET_PHY_CFG_OUT_FLAGS,
1526             GET_PHY_CFG_OUT_BIST_CABLE_LONG))
1527                 encp->enc_bist_mask |= (1 << EFX_BIST_TYPE_PHY_CABLE_LONG);
1528         if (MCDI_OUT_DWORD_FIELD(req, GET_PHY_CFG_OUT_FLAGS,
1529             GET_PHY_CFG_OUT_BIST))
1530                 encp->enc_bist_mask |= (1 << EFX_BIST_TYPE_PHY_NORMAL);
1531 #endif  /* EFSYS_OPT_BIST */
1532
1533         return (0);
1534
1535 fail2:
1536         EFSYS_PROBE(fail2);
1537 fail1:
1538         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1539
1540         return (rc);
1541 }
1542
1543         __checkReturn           efx_rc_t
1544 efx_mcdi_firmware_update_supported(
1545         __in                    efx_nic_t *enp,
1546         __out                   boolean_t *supportedp)
1547 {
1548         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
1549         efx_rc_t rc;
1550
1551         if (emcop != NULL) {
1552                 if ((rc = emcop->emco_feature_supported(enp,
1553                             EFX_MCDI_FEATURE_FW_UPDATE, supportedp)) != 0)
1554                         goto fail1;
1555         } else {
1556                 /* Earlier devices always supported updates */
1557                 *supportedp = B_TRUE;
1558         }
1559
1560         return (0);
1561
1562 fail1:
1563         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1564
1565         return (rc);
1566 }
1567
1568         __checkReturn           efx_rc_t
1569 efx_mcdi_macaddr_change_supported(
1570         __in                    efx_nic_t *enp,
1571         __out                   boolean_t *supportedp)
1572 {
1573         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
1574         efx_rc_t rc;
1575
1576         if (emcop != NULL) {
1577                 if ((rc = emcop->emco_feature_supported(enp,
1578                             EFX_MCDI_FEATURE_MACADDR_CHANGE, supportedp)) != 0)
1579                         goto fail1;
1580         } else {
1581                 /* Earlier devices always supported MAC changes */
1582                 *supportedp = B_TRUE;
1583         }
1584
1585         return (0);
1586
1587 fail1:
1588         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1589
1590         return (rc);
1591 }
1592
1593         __checkReturn           efx_rc_t
1594 efx_mcdi_link_control_supported(
1595         __in                    efx_nic_t *enp,
1596         __out                   boolean_t *supportedp)
1597 {
1598         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
1599         efx_rc_t rc;
1600
1601         if (emcop != NULL) {
1602                 if ((rc = emcop->emco_feature_supported(enp,
1603                             EFX_MCDI_FEATURE_LINK_CONTROL, supportedp)) != 0)
1604                         goto fail1;
1605         } else {
1606                 /* Earlier devices always supported link control */
1607                 *supportedp = B_TRUE;
1608         }
1609
1610         return (0);
1611
1612 fail1:
1613         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1614
1615         return (rc);
1616 }
1617
1618         __checkReturn           efx_rc_t
1619 efx_mcdi_mac_spoofing_supported(
1620         __in                    efx_nic_t *enp,
1621         __out                   boolean_t *supportedp)
1622 {
1623         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
1624         efx_rc_t rc;
1625
1626         if (emcop != NULL) {
1627                 if ((rc = emcop->emco_feature_supported(enp,
1628                             EFX_MCDI_FEATURE_MAC_SPOOFING, supportedp)) != 0)
1629                         goto fail1;
1630         } else {
1631                 /* Earlier devices always supported MAC spoofing */
1632                 *supportedp = B_TRUE;
1633         }
1634
1635         return (0);
1636
1637 fail1:
1638         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1639
1640         return (rc);
1641 }
1642
1643 #if EFSYS_OPT_BIST
1644
1645 #if EFSYS_OPT_HUNTINGTON || EFSYS_OPT_MEDFORD || EFSYS_OPT_MEDFORD2
1646 /*
1647  * Enter bist offline mode. This is a fw mode which puts the NIC into a state
1648  * where memory BIST tests can be run and not much else can interfere or happen.
1649  * A reboot is required to exit this mode.
1650  */
1651         __checkReturn           efx_rc_t
1652 efx_mcdi_bist_enable_offline(
1653         __in                    efx_nic_t *enp)
1654 {
1655         efx_mcdi_req_t req;
1656         efx_rc_t rc;
1657
1658         EFX_STATIC_ASSERT(MC_CMD_ENABLE_OFFLINE_BIST_IN_LEN == 0);
1659         EFX_STATIC_ASSERT(MC_CMD_ENABLE_OFFLINE_BIST_OUT_LEN == 0);
1660
1661         req.emr_cmd = MC_CMD_ENABLE_OFFLINE_BIST;
1662         req.emr_in_buf = NULL;
1663         req.emr_in_length = 0;
1664         req.emr_out_buf = NULL;
1665         req.emr_out_length = 0;
1666
1667         efx_mcdi_execute(enp, &req);
1668
1669         if (req.emr_rc != 0) {
1670                 rc = req.emr_rc;
1671                 goto fail1;
1672         }
1673
1674         return (0);
1675
1676 fail1:
1677         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1678
1679         return (rc);
1680 }
1681 #endif /* EFSYS_OPT_HUNTINGTON || EFSYS_OPT_MEDFORD || EFSYS_OPT_MEDFORD2 */
1682
1683         __checkReturn           efx_rc_t
1684 efx_mcdi_bist_start(
1685         __in                    efx_nic_t *enp,
1686         __in                    efx_bist_type_t type)
1687 {
1688         efx_mcdi_req_t req;
1689         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_START_BIST_IN_LEN,
1690                 MC_CMD_START_BIST_OUT_LEN);
1691         efx_rc_t rc;
1692
1693         req.emr_cmd = MC_CMD_START_BIST;
1694         req.emr_in_buf = payload;
1695         req.emr_in_length = MC_CMD_START_BIST_IN_LEN;
1696         req.emr_out_buf = payload;
1697         req.emr_out_length = MC_CMD_START_BIST_OUT_LEN;
1698
1699         switch (type) {
1700         case EFX_BIST_TYPE_PHY_NORMAL:
1701                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE, MC_CMD_PHY_BIST);
1702                 break;
1703         case EFX_BIST_TYPE_PHY_CABLE_SHORT:
1704                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1705                     MC_CMD_PHY_BIST_CABLE_SHORT);
1706                 break;
1707         case EFX_BIST_TYPE_PHY_CABLE_LONG:
1708                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1709                     MC_CMD_PHY_BIST_CABLE_LONG);
1710                 break;
1711         case EFX_BIST_TYPE_MC_MEM:
1712                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1713                     MC_CMD_MC_MEM_BIST);
1714                 break;
1715         case EFX_BIST_TYPE_SAT_MEM:
1716                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1717                     MC_CMD_PORT_MEM_BIST);
1718                 break;
1719         case EFX_BIST_TYPE_REG:
1720                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1721                     MC_CMD_REG_BIST);
1722                 break;
1723         default:
1724                 EFSYS_ASSERT(0);
1725         }
1726
1727         efx_mcdi_execute(enp, &req);
1728
1729         if (req.emr_rc != 0) {
1730                 rc = req.emr_rc;
1731                 goto fail1;
1732         }
1733
1734         return (0);
1735
1736 fail1:
1737         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1738
1739         return (rc);
1740 }
1741
1742 #endif /* EFSYS_OPT_BIST */
1743
1744
1745 /* Enable logging of some events (e.g. link state changes) */
1746         __checkReturn   efx_rc_t
1747 efx_mcdi_log_ctrl(
1748         __in            efx_nic_t *enp)
1749 {
1750         efx_mcdi_req_t req;
1751         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_LOG_CTRL_IN_LEN,
1752                 MC_CMD_LOG_CTRL_OUT_LEN);
1753         efx_rc_t rc;
1754
1755         req.emr_cmd = MC_CMD_LOG_CTRL;
1756         req.emr_in_buf = payload;
1757         req.emr_in_length = MC_CMD_LOG_CTRL_IN_LEN;
1758         req.emr_out_buf = payload;
1759         req.emr_out_length = MC_CMD_LOG_CTRL_OUT_LEN;
1760
1761         MCDI_IN_SET_DWORD(req, LOG_CTRL_IN_LOG_DEST,
1762                     MC_CMD_LOG_CTRL_IN_LOG_DEST_EVQ);
1763         MCDI_IN_SET_DWORD(req, LOG_CTRL_IN_LOG_DEST_EVQ, 0);
1764
1765         efx_mcdi_execute(enp, &req);
1766
1767         if (req.emr_rc != 0) {
1768                 rc = req.emr_rc;
1769                 goto fail1;
1770         }
1771
1772         return (0);
1773
1774 fail1:
1775         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1776
1777         return (rc);
1778 }
1779
1780
1781 #if EFSYS_OPT_MAC_STATS
1782
1783 typedef enum efx_stats_action_e {
1784         EFX_STATS_CLEAR,
1785         EFX_STATS_UPLOAD,
1786         EFX_STATS_ENABLE_NOEVENTS,
1787         EFX_STATS_ENABLE_EVENTS,
1788         EFX_STATS_DISABLE,
1789 } efx_stats_action_t;
1790
1791 static  __checkReturn   efx_rc_t
1792 efx_mcdi_mac_stats(
1793         __in            efx_nic_t *enp,
1794         __in_opt        efsys_mem_t *esmp,
1795         __in            efx_stats_action_t action,
1796         __in            uint16_t period_ms)
1797 {
1798         efx_mcdi_req_t req;
1799         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_MAC_STATS_IN_LEN,
1800                 MC_CMD_MAC_STATS_V2_OUT_DMA_LEN);
1801         int clear = (action == EFX_STATS_CLEAR);
1802         int upload = (action == EFX_STATS_UPLOAD);
1803         int enable = (action == EFX_STATS_ENABLE_NOEVENTS);
1804         int events = (action == EFX_STATS_ENABLE_EVENTS);
1805         int disable = (action == EFX_STATS_DISABLE);
1806         efx_rc_t rc;
1807
1808         req.emr_cmd = MC_CMD_MAC_STATS;
1809         req.emr_in_buf = payload;
1810         req.emr_in_length = MC_CMD_MAC_STATS_IN_LEN;
1811         req.emr_out_buf = payload;
1812         req.emr_out_length = MC_CMD_MAC_STATS_V2_OUT_DMA_LEN;
1813
1814         MCDI_IN_POPULATE_DWORD_6(req, MAC_STATS_IN_CMD,
1815             MAC_STATS_IN_DMA, upload,
1816             MAC_STATS_IN_CLEAR, clear,
1817             MAC_STATS_IN_PERIODIC_CHANGE, enable | events | disable,
1818             MAC_STATS_IN_PERIODIC_ENABLE, enable | events,
1819             MAC_STATS_IN_PERIODIC_NOEVENT, !events,
1820             MAC_STATS_IN_PERIOD_MS, (enable | events) ? period_ms : 0);
1821
1822         if (enable || events || upload) {
1823                 const efx_nic_cfg_t *encp = &enp->en_nic_cfg;
1824                 uint32_t bytes;
1825
1826                 /* Periodic stats or stats upload require a DMA buffer */
1827                 if (esmp == NULL) {
1828                         rc = EINVAL;
1829                         goto fail1;
1830                 }
1831
1832                 if (encp->enc_mac_stats_nstats < MC_CMD_MAC_NSTATS) {
1833                         /* MAC stats count too small for legacy MAC stats */
1834                         rc = ENOSPC;
1835                         goto fail2;
1836                 }
1837
1838                 bytes = encp->enc_mac_stats_nstats * sizeof (efx_qword_t);
1839
1840                 if (EFSYS_MEM_SIZE(esmp) < bytes) {
1841                         /* DMA buffer too small */
1842                         rc = ENOSPC;
1843                         goto fail3;
1844                 }
1845
1846                 MCDI_IN_SET_DWORD(req, MAC_STATS_IN_DMA_ADDR_LO,
1847                             EFSYS_MEM_ADDR(esmp) & 0xffffffff);
1848                 MCDI_IN_SET_DWORD(req, MAC_STATS_IN_DMA_ADDR_HI,
1849                             EFSYS_MEM_ADDR(esmp) >> 32);
1850                 MCDI_IN_SET_DWORD(req, MAC_STATS_IN_DMA_LEN, bytes);
1851         }
1852
1853         /*
1854          * NOTE: Do not use EVB_PORT_ID_ASSIGNED when disabling periodic stats,
1855          *       as this may fail (and leave periodic DMA enabled) if the
1856          *       vadapter has already been deleted.
1857          */
1858         MCDI_IN_SET_DWORD(req, MAC_STATS_IN_PORT_ID,
1859             (disable ? EVB_PORT_ID_NULL : enp->en_vport_id));
1860
1861         efx_mcdi_execute(enp, &req);
1862
1863         if (req.emr_rc != 0) {
1864                 /* EF10: Expect ENOENT if no DMA queues are initialised */
1865                 if ((req.emr_rc != ENOENT) ||
1866                     (enp->en_rx_qcount + enp->en_tx_qcount != 0)) {
1867                         rc = req.emr_rc;
1868                         goto fail4;
1869                 }
1870         }
1871
1872         return (0);
1873
1874 fail4:
1875         EFSYS_PROBE(fail4);
1876 fail3:
1877         EFSYS_PROBE(fail3);
1878 fail2:
1879         EFSYS_PROBE(fail2);
1880 fail1:
1881         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1882
1883         return (rc);
1884 }
1885
1886         __checkReturn   efx_rc_t
1887 efx_mcdi_mac_stats_clear(
1888         __in            efx_nic_t *enp)
1889 {
1890         efx_rc_t rc;
1891
1892         if ((rc = efx_mcdi_mac_stats(enp, NULL, EFX_STATS_CLEAR, 0)) != 0)
1893                 goto fail1;
1894
1895         return (0);
1896
1897 fail1:
1898         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1899
1900         return (rc);
1901 }
1902
1903         __checkReturn   efx_rc_t
1904 efx_mcdi_mac_stats_upload(
1905         __in            efx_nic_t *enp,
1906         __in            efsys_mem_t *esmp)
1907 {
1908         efx_rc_t rc;
1909
1910         /*
1911          * The MC DMAs aggregate statistics for our convenience, so we can
1912          * avoid having to pull the statistics buffer into the cache to
1913          * maintain cumulative statistics.
1914          */
1915         if ((rc = efx_mcdi_mac_stats(enp, esmp, EFX_STATS_UPLOAD, 0)) != 0)
1916                 goto fail1;
1917
1918         return (0);
1919
1920 fail1:
1921         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1922
1923         return (rc);
1924 }
1925
1926         __checkReturn   efx_rc_t
1927 efx_mcdi_mac_stats_periodic(
1928         __in            efx_nic_t *enp,
1929         __in            efsys_mem_t *esmp,
1930         __in            uint16_t period_ms,
1931         __in            boolean_t events)
1932 {
1933         efx_rc_t rc;
1934
1935         /*
1936          * The MC DMAs aggregate statistics for our convenience, so we can
1937          * avoid having to pull the statistics buffer into the cache to
1938          * maintain cumulative statistics.
1939          * Huntington uses a fixed 1sec period.
1940          * Medford uses a fixed 1sec period before v6.2.1.1033 firmware.
1941          */
1942         if (period_ms == 0)
1943                 rc = efx_mcdi_mac_stats(enp, NULL, EFX_STATS_DISABLE, 0);
1944         else if (events)
1945                 rc = efx_mcdi_mac_stats(enp, esmp, EFX_STATS_ENABLE_EVENTS,
1946                     period_ms);
1947         else
1948                 rc = efx_mcdi_mac_stats(enp, esmp, EFX_STATS_ENABLE_NOEVENTS,
1949                     period_ms);
1950
1951         if (rc != 0)
1952                 goto fail1;
1953
1954         return (0);
1955
1956 fail1:
1957         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1958
1959         return (rc);
1960 }
1961
1962 #endif  /* EFSYS_OPT_MAC_STATS */
1963
1964 #if EFSYS_OPT_HUNTINGTON || EFSYS_OPT_MEDFORD || EFSYS_OPT_MEDFORD2
1965
1966 /*
1967  * This function returns the pf and vf number of a function.  If it is a pf the
1968  * vf number is 0xffff.  The vf number is the index of the vf on that
1969  * function. So if you have 3 vfs on pf 0 the 3 vfs will return (pf=0,vf=0),
1970  * (pf=0,vf=1), (pf=0,vf=2) aand the pf will return (pf=0, vf=0xffff).
1971  */
1972         __checkReturn           efx_rc_t
1973 efx_mcdi_get_function_info(
1974         __in                    efx_nic_t *enp,
1975         __out                   uint32_t *pfp,
1976         __out_opt               uint32_t *vfp)
1977 {
1978         efx_mcdi_req_t req;
1979         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_FUNCTION_INFO_IN_LEN,
1980                 MC_CMD_GET_FUNCTION_INFO_OUT_LEN);
1981         efx_rc_t rc;
1982
1983         req.emr_cmd = MC_CMD_GET_FUNCTION_INFO;
1984         req.emr_in_buf = payload;
1985         req.emr_in_length = MC_CMD_GET_FUNCTION_INFO_IN_LEN;
1986         req.emr_out_buf = payload;
1987         req.emr_out_length = MC_CMD_GET_FUNCTION_INFO_OUT_LEN;
1988
1989         efx_mcdi_execute(enp, &req);
1990
1991         if (req.emr_rc != 0) {
1992                 rc = req.emr_rc;
1993                 goto fail1;
1994         }
1995
1996         if (req.emr_out_length_used < MC_CMD_GET_FUNCTION_INFO_OUT_LEN) {
1997                 rc = EMSGSIZE;
1998                 goto fail2;
1999         }
2000
2001         *pfp = MCDI_OUT_DWORD(req, GET_FUNCTION_INFO_OUT_PF);
2002         if (vfp != NULL)
2003                 *vfp = MCDI_OUT_DWORD(req, GET_FUNCTION_INFO_OUT_VF);
2004
2005         return (0);
2006
2007 fail2:
2008         EFSYS_PROBE(fail2);
2009 fail1:
2010         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2011
2012         return (rc);
2013 }
2014
2015         __checkReturn           efx_rc_t
2016 efx_mcdi_privilege_mask(
2017         __in                    efx_nic_t *enp,
2018         __in                    uint32_t pf,
2019         __in                    uint32_t vf,
2020         __out                   uint32_t *maskp)
2021 {
2022         efx_mcdi_req_t req;
2023         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_PRIVILEGE_MASK_IN_LEN,
2024                 MC_CMD_PRIVILEGE_MASK_OUT_LEN);
2025         efx_rc_t rc;
2026
2027         req.emr_cmd = MC_CMD_PRIVILEGE_MASK;
2028         req.emr_in_buf = payload;
2029         req.emr_in_length = MC_CMD_PRIVILEGE_MASK_IN_LEN;
2030         req.emr_out_buf = payload;
2031         req.emr_out_length = MC_CMD_PRIVILEGE_MASK_OUT_LEN;
2032
2033         MCDI_IN_POPULATE_DWORD_2(req, PRIVILEGE_MASK_IN_FUNCTION,
2034             PRIVILEGE_MASK_IN_FUNCTION_PF, pf,
2035             PRIVILEGE_MASK_IN_FUNCTION_VF, vf);
2036
2037         efx_mcdi_execute(enp, &req);
2038
2039         if (req.emr_rc != 0) {
2040                 rc = req.emr_rc;
2041                 goto fail1;
2042         }
2043
2044         if (req.emr_out_length_used < MC_CMD_PRIVILEGE_MASK_OUT_LEN) {
2045                 rc = EMSGSIZE;
2046                 goto fail2;
2047         }
2048
2049         *maskp = MCDI_OUT_DWORD(req, PRIVILEGE_MASK_OUT_OLD_MASK);
2050
2051         return (0);
2052
2053 fail2:
2054         EFSYS_PROBE(fail2);
2055 fail1:
2056         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2057
2058         return (rc);
2059 }
2060
2061 #endif /* EFSYS_OPT_HUNTINGTON || EFSYS_OPT_MEDFORD || EFSYS_OPT_MEDFORD2 */
2062
2063         __checkReturn           efx_rc_t
2064 efx_mcdi_set_workaround(
2065         __in                    efx_nic_t *enp,
2066         __in                    uint32_t type,
2067         __in                    boolean_t enabled,
2068         __out_opt               uint32_t *flagsp)
2069 {
2070         efx_mcdi_req_t req;
2071         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_WORKAROUND_IN_LEN,
2072                 MC_CMD_WORKAROUND_EXT_OUT_LEN);
2073         efx_rc_t rc;
2074
2075         req.emr_cmd = MC_CMD_WORKAROUND;
2076         req.emr_in_buf = payload;
2077         req.emr_in_length = MC_CMD_WORKAROUND_IN_LEN;
2078         req.emr_out_buf = payload;
2079         req.emr_out_length = MC_CMD_WORKAROUND_OUT_LEN;
2080
2081         MCDI_IN_SET_DWORD(req, WORKAROUND_IN_TYPE, type);
2082         MCDI_IN_SET_DWORD(req, WORKAROUND_IN_ENABLED, enabled ? 1 : 0);
2083
2084         efx_mcdi_execute_quiet(enp, &req);
2085
2086         if (req.emr_rc != 0) {
2087                 rc = req.emr_rc;
2088                 goto fail1;
2089         }
2090
2091         if (flagsp != NULL) {
2092                 if (req.emr_out_length_used >= MC_CMD_WORKAROUND_EXT_OUT_LEN)
2093                         *flagsp = MCDI_OUT_DWORD(req, WORKAROUND_EXT_OUT_FLAGS);
2094                 else
2095                         *flagsp = 0;
2096         }
2097
2098         return (0);
2099
2100 fail1:
2101         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2102
2103         return (rc);
2104 }
2105
2106
2107         __checkReturn           efx_rc_t
2108 efx_mcdi_get_workarounds(
2109         __in                    efx_nic_t *enp,
2110         __out_opt               uint32_t *implementedp,
2111         __out_opt               uint32_t *enabledp)
2112 {
2113         efx_mcdi_req_t req;
2114         EFX_MCDI_DECLARE_BUF(payload, 0, MC_CMD_GET_WORKAROUNDS_OUT_LEN);
2115         efx_rc_t rc;
2116
2117         req.emr_cmd = MC_CMD_GET_WORKAROUNDS;
2118         req.emr_in_buf = NULL;
2119         req.emr_in_length = 0;
2120         req.emr_out_buf = payload;
2121         req.emr_out_length = MC_CMD_GET_WORKAROUNDS_OUT_LEN;
2122
2123         efx_mcdi_execute(enp, &req);
2124
2125         if (req.emr_rc != 0) {
2126                 rc = req.emr_rc;
2127                 goto fail1;
2128         }
2129
2130         if (implementedp != NULL) {
2131                 *implementedp =
2132                     MCDI_OUT_DWORD(req, GET_WORKAROUNDS_OUT_IMPLEMENTED);
2133         }
2134
2135         if (enabledp != NULL) {
2136                 *enabledp = MCDI_OUT_DWORD(req, GET_WORKAROUNDS_OUT_ENABLED);
2137         }
2138
2139         return (0);
2140
2141 fail1:
2142         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2143
2144         return (rc);
2145 }
2146
2147 /*
2148  * Size of media information page in accordance with SFF-8472 and SFF-8436.
2149  * It is used in MCDI interface as well.
2150  */
2151 #define EFX_PHY_MEDIA_INFO_PAGE_SIZE            0x80
2152
2153 static  __checkReturn           efx_rc_t
2154 efx_mcdi_get_phy_media_info(
2155         __in                    efx_nic_t *enp,
2156         __in                    uint32_t mcdi_page,
2157         __in                    uint8_t offset,
2158         __in                    uint8_t len,
2159         __out_bcount(len)       uint8_t *data)
2160 {
2161         efx_mcdi_req_t req;
2162         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_PHY_MEDIA_INFO_IN_LEN,
2163                 MC_CMD_GET_PHY_MEDIA_INFO_OUT_LEN(
2164                         EFX_PHY_MEDIA_INFO_PAGE_SIZE));
2165         efx_rc_t rc;
2166
2167         EFSYS_ASSERT((uint32_t)offset + len <= EFX_PHY_MEDIA_INFO_PAGE_SIZE);
2168
2169         req.emr_cmd = MC_CMD_GET_PHY_MEDIA_INFO;
2170         req.emr_in_buf = payload;
2171         req.emr_in_length = MC_CMD_GET_PHY_MEDIA_INFO_IN_LEN;
2172         req.emr_out_buf = payload;
2173         req.emr_out_length =
2174             MC_CMD_GET_PHY_MEDIA_INFO_OUT_LEN(EFX_PHY_MEDIA_INFO_PAGE_SIZE);
2175
2176         MCDI_IN_SET_DWORD(req, GET_PHY_MEDIA_INFO_IN_PAGE, mcdi_page);
2177
2178         efx_mcdi_execute(enp, &req);
2179
2180         if (req.emr_rc != 0) {
2181                 rc = req.emr_rc;
2182                 goto fail1;
2183         }
2184
2185         if (req.emr_out_length_used !=
2186             MC_CMD_GET_PHY_MEDIA_INFO_OUT_LEN(EFX_PHY_MEDIA_INFO_PAGE_SIZE)) {
2187                 rc = EMSGSIZE;
2188                 goto fail2;
2189         }
2190
2191         if (MCDI_OUT_DWORD(req, GET_PHY_MEDIA_INFO_OUT_DATALEN) !=
2192             EFX_PHY_MEDIA_INFO_PAGE_SIZE) {
2193                 rc = EIO;
2194                 goto fail3;
2195         }
2196
2197         memcpy(data,
2198             MCDI_OUT2(req, uint8_t, GET_PHY_MEDIA_INFO_OUT_DATA) + offset,
2199             len);
2200
2201         return (0);
2202
2203 fail3:
2204         EFSYS_PROBE(fail3);
2205 fail2:
2206         EFSYS_PROBE(fail2);
2207 fail1:
2208         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2209
2210         return (rc);
2211 }
2212
2213         __checkReturn           efx_rc_t
2214 efx_mcdi_phy_module_get_info(
2215         __in                    efx_nic_t *enp,
2216         __in                    uint8_t dev_addr,
2217         __in                    size_t offset,
2218         __in                    size_t len,
2219         __out_bcount(len)       uint8_t *data)
2220 {
2221         efx_port_t *epp = &(enp->en_port);
2222         efx_rc_t rc;
2223         uint32_t mcdi_lower_page;
2224         uint32_t mcdi_upper_page;
2225
2226         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_PROBE);
2227
2228         /*
2229          * Map device address to MC_CMD_GET_PHY_MEDIA_INFO pages.
2230          * Offset plus length interface allows to access page 0 only.
2231          * I.e. non-zero upper pages are not accessible.
2232          * See SFF-8472 section 4 Memory Organization and SFF-8436 section 7.6
2233          * QSFP+ Memory Map for details on how information is structured
2234          * and accessible.
2235          */
2236         switch (epp->ep_fixed_port_type) {
2237         case EFX_PHY_MEDIA_SFP_PLUS:
2238                 /*
2239                  * In accordance with SFF-8472 Diagnostic Monitoring
2240                  * Interface for Optical Transceivers section 4 Memory
2241                  * Organization two 2-wire addresses are defined.
2242                  */
2243                 switch (dev_addr) {
2244                 /* Base information */
2245                 case EFX_PHY_MEDIA_INFO_DEV_ADDR_SFP_BASE:
2246                         /*
2247                          * MCDI page 0 should be used to access lower
2248                          * page 0 (0x00 - 0x7f) at the device address 0xA0.
2249                          */
2250                         mcdi_lower_page = 0;
2251                         /*
2252                          * MCDI page 1 should be used to access  upper
2253                          * page 0 (0x80 - 0xff) at the device address 0xA0.
2254                          */
2255                         mcdi_upper_page = 1;
2256                         break;
2257                 /* Diagnostics */
2258                 case EFX_PHY_MEDIA_INFO_DEV_ADDR_SFP_DDM:
2259                         /*
2260                          * MCDI page 2 should be used to access lower
2261                          * page 0 (0x00 - 0x7f) at the device address 0xA2.
2262                          */
2263                         mcdi_lower_page = 2;
2264                         /*
2265                          * MCDI page 3 should be used to access upper
2266                          * page 0 (0x80 - 0xff) at the device address 0xA2.
2267                          */
2268                         mcdi_upper_page = 3;
2269                         break;
2270                 default:
2271                         rc = ENOTSUP;
2272                         goto fail1;
2273                 }
2274                 break;
2275         case EFX_PHY_MEDIA_QSFP_PLUS:
2276                 switch (dev_addr) {
2277                 case EFX_PHY_MEDIA_INFO_DEV_ADDR_QSFP:
2278                         /*
2279                          * MCDI page -1 should be used to access lower page 0
2280                          * (0x00 - 0x7f).
2281                          */
2282                         mcdi_lower_page = (uint32_t)-1;
2283                         /*
2284                          * MCDI page 0 should be used to access upper page 0
2285                          * (0x80h - 0xff).
2286                          */
2287                         mcdi_upper_page = 0;
2288                         break;
2289                 default:
2290                         rc = ENOTSUP;
2291                         goto fail1;
2292                 }
2293                 break;
2294         default:
2295                 rc = ENOTSUP;
2296                 goto fail1;
2297         }
2298
2299         EFX_STATIC_ASSERT(EFX_PHY_MEDIA_INFO_PAGE_SIZE <= 0xFF);
2300
2301         if (offset < EFX_PHY_MEDIA_INFO_PAGE_SIZE) {
2302                 size_t read_len =
2303                     MIN(len, EFX_PHY_MEDIA_INFO_PAGE_SIZE - offset);
2304
2305                 rc = efx_mcdi_get_phy_media_info(enp,
2306                     mcdi_lower_page, (uint8_t)offset, (uint8_t)read_len, data);
2307                 if (rc != 0)
2308                         goto fail2;
2309
2310                 data += read_len;
2311                 len -= read_len;
2312
2313                 offset = 0;
2314         } else {
2315                 offset -= EFX_PHY_MEDIA_INFO_PAGE_SIZE;
2316         }
2317
2318         if (len > 0) {
2319                 EFSYS_ASSERT3U(len, <=, EFX_PHY_MEDIA_INFO_PAGE_SIZE);
2320                 EFSYS_ASSERT3U(offset, <, EFX_PHY_MEDIA_INFO_PAGE_SIZE);
2321
2322                 rc = efx_mcdi_get_phy_media_info(enp,
2323                     mcdi_upper_page, (uint8_t)offset, (uint8_t)len, data);
2324                 if (rc != 0)
2325                         goto fail3;
2326         }
2327
2328         return (0);
2329
2330 fail3:
2331         EFSYS_PROBE(fail3);
2332 fail2:
2333         EFSYS_PROBE(fail2);
2334 fail1:
2335         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2336
2337         return (rc);
2338 }
2339
2340 #endif  /* EFSYS_OPT_MCDI */