drivers/net/sfc/base/efx_mcdi.c

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  *
   3  * Copyright (c) 2008-2018 Solarflare Communications Inc.
   4  * All rights reserved.
   5  */
   6
   7 #include "efx.h"
   8 #include "efx_impl.h"
   9
  10 #if EFSYS_OPT_MCDI
  11
  12 /*
  13  * There are three versions of the MCDI interface:
  14  *  - MCDIv0: Siena BootROM. Transport uses MCDIv1 headers.
  15  *  - MCDIv1: Siena firmware and Huntington BootROM.
  16  *  - MCDIv2: EF10 firmware (Huntington/Medford) and Medford BootROM.
  17  *            Transport uses MCDIv2 headers.
  18  *
  19  * MCDIv2 Header NOT_EPOCH flag
  20  * ----------------------------
  21  * A new epoch begins at initial startup or after an MC reboot, and defines when
  22  * the MC should reject stale MCDI requests.
  23  *
  24  * The first MCDI request sent by the host should contain NOT_EPOCH=0, and all
  25  * subsequent requests (until the next MC reboot) should contain NOT_EPOCH=1.
  26  *
  27  * After rebooting the MC will fail all requests with NOT_EPOCH=1 by writing a
  28  * response with ERROR=1 and DATALEN=0 until a request is seen with NOT_EPOCH=0.
  29  */
  30
  31
  32
  33 #if EFSYS_OPT_SIENA
  34
  35 static const efx_mcdi_ops_t     __efx_mcdi_siena_ops = {
  36         siena_mcdi_init,                /* emco_init */
  37         siena_mcdi_send_request,        /* emco_send_request */
  38         siena_mcdi_poll_reboot,         /* emco_poll_reboot */
  39         siena_mcdi_poll_response,       /* emco_poll_response */
  40         siena_mcdi_read_response,       /* emco_read_response */
  41         siena_mcdi_fini,                /* emco_fini */
  42         siena_mcdi_feature_supported,   /* emco_feature_supported */
  43         siena_mcdi_get_timeout,         /* emco_get_timeout */
  44 };
  45
  46 #endif  /* EFSYS_OPT_SIENA */
  47
  48 #if EFSYS_OPT_HUNTINGTON || EFSYS_OPT_MEDFORD || EFSYS_OPT_MEDFORD2
  49
  50 static const efx_mcdi_ops_t     __efx_mcdi_ef10_ops = {
  51         ef10_mcdi_init,                 /* emco_init */
  52         ef10_mcdi_send_request,         /* emco_send_request */
  53         ef10_mcdi_poll_reboot,          /* emco_poll_reboot */
  54         ef10_mcdi_poll_response,        /* emco_poll_response */
  55         ef10_mcdi_read_response,        /* emco_read_response */
  56         ef10_mcdi_fini,                 /* emco_fini */
  57         ef10_mcdi_feature_supported,    /* emco_feature_supported */
  58         ef10_mcdi_get_timeout,          /* emco_get_timeout */
  59 };
  60
  61 #endif  /* EFSYS_OPT_HUNTINGTON || EFSYS_OPT_MEDFORD || EFSYS_OPT_MEDFORD2 */
  62
  63
  64
  65         __checkReturn   efx_rc_t
  66 efx_mcdi_init(
  67         __in            efx_nic_t *enp,
  68         __in            const efx_mcdi_transport_t *emtp)
  69 {
  70         const efx_mcdi_ops_t *emcop;
  71         efx_rc_t rc;
  72
  73         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
  74         EFSYS_ASSERT3U(enp->en_mod_flags, ==, 0);
  75
  76         switch (enp->en_family) {
  77 #if EFSYS_OPT_SIENA
  78         case EFX_FAMILY_SIENA:
  79                 emcop = &__efx_mcdi_siena_ops;
  80                 break;
  81 #endif  /* EFSYS_OPT_SIENA */
  82
  83 #if EFSYS_OPT_HUNTINGTON
  84         case EFX_FAMILY_HUNTINGTON:
  85                 emcop = &__efx_mcdi_ef10_ops;
  86                 break;
  87 #endif  /* EFSYS_OPT_HUNTINGTON */
  88
  89 #if EFSYS_OPT_MEDFORD
  90         case EFX_FAMILY_MEDFORD:
  91                 emcop = &__efx_mcdi_ef10_ops;
  92                 break;
  93 #endif  /* EFSYS_OPT_MEDFORD */
  94
  95 #if EFSYS_OPT_MEDFORD2
  96         case EFX_FAMILY_MEDFORD2:
  97                 emcop = &__efx_mcdi_ef10_ops;
  98                 break;
  99 #endif  /* EFSYS_OPT_MEDFORD2 */
 100
 101         default:
 102                 EFSYS_ASSERT(0);
 103                 rc = ENOTSUP;
 104                 goto fail1;
 105         }
 106
 107         if (enp->en_features & EFX_FEATURE_MCDI_DMA) {
 108                 /* MCDI requires a DMA buffer in host memory */
 109                 if ((emtp == NULL) || (emtp->emt_dma_mem) == NULL) {
 110                         rc = EINVAL;
 111                         goto fail2;
 112                 }
 113         }
 114         enp->en_mcdi.em_emtp = emtp;
 115
 116         if (emcop != NULL && emcop->emco_init != NULL) {
 117                 if ((rc = emcop->emco_init(enp, emtp)) != 0)
 118                         goto fail3;
 119         }
 120
 121         enp->en_mcdi.em_emcop = emcop;
 122         enp->en_mod_flags |= EFX_MOD_MCDI;
 123
 124         return (0);
 125
 126 fail3:
 127         EFSYS_PROBE(fail3);
 128 fail2:
 129         EFSYS_PROBE(fail2);
 130 fail1:
 131         EFSYS_PROBE1(fail1, efx_rc_t, rc);
 132
 133         enp->en_mcdi.em_emcop = NULL;
 134         enp->en_mcdi.em_emtp = NULL;
 135         enp->en_mod_flags &= ~EFX_MOD_MCDI;
 136
 137         return (rc);
 138 }
 139
 140                         void
 141 efx_mcdi_fini(
 142         __in            efx_nic_t *enp)
 143 {
 144         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 145         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 146
 147         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
 148         EFSYS_ASSERT3U(enp->en_mod_flags, ==, EFX_MOD_MCDI);
 149
 150         if (emcop != NULL && emcop->emco_fini != NULL)
 151                 emcop->emco_fini(enp);
 152
 153         emip->emi_port = 0;
 154         emip->emi_aborted = 0;
 155
 156         enp->en_mcdi.em_emcop = NULL;
 157         enp->en_mod_flags &= ~EFX_MOD_MCDI;
 158 }
 159
 160                         void
 161 efx_mcdi_new_epoch(
 162         __in            efx_nic_t *enp)
 163 {
 164         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 165         efsys_lock_state_t state;
 166
 167         /* Start a new epoch (allow fresh MCDI requests to succeed) */
 168         EFSYS_LOCK(enp->en_eslp, state);
 169         emip->emi_new_epoch = B_TRUE;
 170         EFSYS_UNLOCK(enp->en_eslp, state);
 171 }
 172
 173 static                  void
 174 efx_mcdi_send_request(
 175         __in            efx_nic_t *enp,
 176         __in            void *hdrp,
 177         __in            size_t hdr_len,
 178         __in            void *sdup,
 179         __in            size_t sdu_len)
 180 {
 181         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 182
 183         emcop->emco_send_request(enp, hdrp, hdr_len, sdup, sdu_len);
 184 }
 185
 186 static                  efx_rc_t
 187 efx_mcdi_poll_reboot(
 188         __in            efx_nic_t *enp)
 189 {
 190         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 191         efx_rc_t rc;
 192
 193         rc = emcop->emco_poll_reboot(enp);
 194         return (rc);
 195 }
 196
 197 static                  boolean_t
 198 efx_mcdi_poll_response(
 199         __in            efx_nic_t *enp)
 200 {
 201         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 202         boolean_t available;
 203
 204         available = emcop->emco_poll_response(enp);
 205         return (available);
 206 }
 207
 208 static                  void
 209 efx_mcdi_read_response(
 210         __in            efx_nic_t *enp,
 211         __out           void *bufferp,
 212         __in            size_t offset,
 213         __in            size_t length)
 214 {
 215         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 216
 217         emcop->emco_read_response(enp, bufferp, offset, length);
 218 }
 219
 220                         void
 221 efx_mcdi_request_start(
 222         __in            efx_nic_t *enp,
 223         __in            efx_mcdi_req_t *emrp,
 224         __in            boolean_t ev_cpl)
 225 {
 226 #if EFSYS_OPT_MCDI_LOGGING
 227         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 228 #endif
 229         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 230         efx_dword_t hdr[2];
 231         size_t hdr_len;
 232         unsigned int max_version;
 233         unsigned int seq;
 234         unsigned int xflags;
 235         boolean_t new_epoch;
 236         efsys_lock_state_t state;
 237
 238         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
 239         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 240         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 241
 242         /*
 243          * efx_mcdi_request_start() is naturally serialised against both
 244          * efx_mcdi_request_poll() and efx_mcdi_ev_cpl()/efx_mcdi_ev_death(),
 245          * by virtue of there only being one outstanding MCDI request.
 246          * Unfortunately, upper layers may also call efx_mcdi_request_abort()
 247          * at any time, to timeout a pending mcdi request, That request may
 248          * then subsequently complete, meaning efx_mcdi_ev_cpl() or
 249          * efx_mcdi_ev_death() may end up running in parallel with
 250          * efx_mcdi_request_start(). This race is handled by ensuring that
 251          * %emi_pending_req, %emi_ev_cpl and %emi_seq are protected by the
 252          * en_eslp lock.
 253          */
 254         EFSYS_LOCK(enp->en_eslp, state);
 255         EFSYS_ASSERT(emip->emi_pending_req == NULL);
 256         emip->emi_pending_req = emrp;
 257         emip->emi_ev_cpl = ev_cpl;
 258         emip->emi_poll_cnt = 0;
 259         seq = emip->emi_seq++ & EFX_MASK32(MCDI_HEADER_SEQ);
 260         new_epoch = emip->emi_new_epoch;
 261         max_version = emip->emi_max_version;
 262         EFSYS_UNLOCK(enp->en_eslp, state);
 263
 264         xflags = 0;
 265         if (ev_cpl)
 266                 xflags |= MCDI_HEADER_XFLAGS_EVREQ;
 267
 268         /*
 269          * Huntington firmware supports MCDIv2, but the Huntington BootROM only
 270          * supports MCDIv1. Use MCDIv1 headers for MCDIv1 commands where
 271          * possible to support this.
 272          */
 273         if ((max_version >= 2) &&
 274             ((emrp->emr_cmd > MC_CMD_CMD_SPACE_ESCAPE_7) ||
 275             (emrp->emr_in_length > MCDI_CTL_SDU_LEN_MAX_V1) ||
 276             (emrp->emr_out_length > MCDI_CTL_SDU_LEN_MAX_V1))) {
 277                 /* Construct MCDI v2 header */
 278                 hdr_len = sizeof (hdr);
 279                 EFX_POPULATE_DWORD_8(hdr[0],
 280                     MCDI_HEADER_CODE, MC_CMD_V2_EXTN,
 281                     MCDI_HEADER_RESYNC, 1,
 282                     MCDI_HEADER_DATALEN, 0,
 283                     MCDI_HEADER_SEQ, seq,
 284                     MCDI_HEADER_NOT_EPOCH, new_epoch ? 0 : 1,
 285                     MCDI_HEADER_ERROR, 0,
 286                     MCDI_HEADER_RESPONSE, 0,
 287                     MCDI_HEADER_XFLAGS, xflags);
 288
 289                 EFX_POPULATE_DWORD_2(hdr[1],
 290                     MC_CMD_V2_EXTN_IN_EXTENDED_CMD, emrp->emr_cmd,
 291                     MC_CMD_V2_EXTN_IN_ACTUAL_LEN, emrp->emr_in_length);
 292         } else {
 293                 /* Construct MCDI v1 header */
 294                 hdr_len = sizeof (hdr[0]);
 295                 EFX_POPULATE_DWORD_8(hdr[0],
 296                     MCDI_HEADER_CODE, emrp->emr_cmd,
 297                     MCDI_HEADER_RESYNC, 1,
 298                     MCDI_HEADER_DATALEN, emrp->emr_in_length,
 299                     MCDI_HEADER_SEQ, seq,
 300                     MCDI_HEADER_NOT_EPOCH, new_epoch ? 0 : 1,
 301                     MCDI_HEADER_ERROR, 0,
 302                     MCDI_HEADER_RESPONSE, 0,
 303                     MCDI_HEADER_XFLAGS, xflags);
 304         }
 305
 306 #if EFSYS_OPT_MCDI_LOGGING
 307         if (emtp->emt_logger != NULL) {
 308                 emtp->emt_logger(emtp->emt_context, EFX_LOG_MCDI_REQUEST,
 309                     &hdr[0], hdr_len,
 310                     emrp->emr_in_buf, emrp->emr_in_length);
 311         }
 312 #endif /* EFSYS_OPT_MCDI_LOGGING */
 313
 314         efx_mcdi_send_request(enp, &hdr[0], hdr_len,
 315             emrp->emr_in_buf, emrp->emr_in_length);
 316 }
 317
 318
 319 static                  void
 320 efx_mcdi_read_response_header(
 321         __in            efx_nic_t *enp,
 322         __inout         efx_mcdi_req_t *emrp)
 323 {
 324 #if EFSYS_OPT_MCDI_LOGGING
 325         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 326 #endif /* EFSYS_OPT_MCDI_LOGGING */
 327         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 328         efx_dword_t hdr[2];
 329         unsigned int hdr_len;
 330         unsigned int data_len;
 331         unsigned int seq;
 332         unsigned int cmd;
 333         unsigned int error;
 334         efx_rc_t rc;
 335
 336         EFSYS_ASSERT(emrp != NULL);
 337
 338         efx_mcdi_read_response(enp, &hdr[0], 0, sizeof (hdr[0]));
 339         hdr_len = sizeof (hdr[0]);
 340
 341         cmd = EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_CODE);
 342         seq = EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_SEQ);
 343         error = EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_ERROR);
 344
 345         if (cmd != MC_CMD_V2_EXTN) {
 346                 data_len = EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_DATALEN);
 347         } else {
 348                 efx_mcdi_read_response(enp, &hdr[1], hdr_len, sizeof (hdr[1]));
 349                 hdr_len += sizeof (hdr[1]);
 350
 351                 cmd = EFX_DWORD_FIELD(hdr[1], MC_CMD_V2_EXTN_IN_EXTENDED_CMD);
 352                 data_len =
 353                     EFX_DWORD_FIELD(hdr[1], MC_CMD_V2_EXTN_IN_ACTUAL_LEN);
 354         }
 355
 356         if (error && (data_len == 0)) {
 357                 /* The MC has rebooted since the request was sent. */
 358                 EFSYS_SPIN(EFX_MCDI_STATUS_SLEEP_US);
 359                 efx_mcdi_poll_reboot(enp);
 360                 rc = EIO;
 361                 goto fail1;
 362         }
 363         if ((cmd != emrp->emr_cmd) ||
 364             (seq != ((emip->emi_seq - 1) & EFX_MASK32(MCDI_HEADER_SEQ)))) {
 365                 /* Response is for a different request */
 366                 rc = EIO;
 367                 goto fail2;
 368         }
 369         if (error) {
 370                 efx_dword_t err[2];
 371                 unsigned int err_len = MIN(data_len, sizeof (err));
 372                 int err_code = MC_CMD_ERR_EPROTO;
 373                 int err_arg = 0;
 374
 375                 /* Read error code (and arg num for MCDI v2 commands) */
 376                 efx_mcdi_read_response(enp, &err, hdr_len, err_len);
 377
 378                 if (err_len >= (MC_CMD_ERR_CODE_OFST + sizeof (efx_dword_t)))
 379                         err_code = EFX_DWORD_FIELD(err[0], EFX_DWORD_0);
 380 #ifdef WITH_MCDI_V2
 381                 if (err_len >= (MC_CMD_ERR_ARG_OFST + sizeof (efx_dword_t)))
 382                         err_arg = EFX_DWORD_FIELD(err[1], EFX_DWORD_0);
 383 #endif
 384                 emrp->emr_err_code = err_code;
 385                 emrp->emr_err_arg = err_arg;
 386
 387 #if EFSYS_OPT_MCDI_PROXY_AUTH
 388                 if ((err_code == MC_CMD_ERR_PROXY_PENDING) &&
 389                     (err_len == sizeof (err))) {
 390                         /*
 391                          * The MCDI request would normally fail with EPERM, but
 392                          * firmware has forwarded it to an authorization agent
 393                          * attached to a privileged PF.
 394                          *
 395                          * Save the authorization request handle. The client
 396                          * must wait for a PROXY_RESPONSE event, or timeout.
 397                          */
 398                         emrp->emr_proxy_handle = err_arg;
 399                 }
 400 #endif /* EFSYS_OPT_MCDI_PROXY_AUTH */
 401
 402 #if EFSYS_OPT_MCDI_LOGGING
 403                 if (emtp->emt_logger != NULL) {
 404                         emtp->emt_logger(emtp->emt_context,
 405                             EFX_LOG_MCDI_RESPONSE,
 406                             &hdr[0], hdr_len,
 407                             &err[0], err_len);
 408                 }
 409 #endif /* EFSYS_OPT_MCDI_LOGGING */
 410
 411                 if (!emrp->emr_quiet) {
 412                         EFSYS_PROBE3(mcdi_err_arg, int, emrp->emr_cmd,
 413                             int, err_code, int, err_arg);
 414                 }
 415
 416                 rc = efx_mcdi_request_errcode(err_code);
 417                 goto fail3;
 418         }
 419
 420         emrp->emr_rc = 0;
 421         emrp->emr_out_length_used = data_len;
 422 #if EFSYS_OPT_MCDI_PROXY_AUTH
 423         emrp->emr_proxy_handle = 0;
 424 #endif /* EFSYS_OPT_MCDI_PROXY_AUTH */
 425         return;
 426
 427 fail3:
 428 fail2:
 429 fail1:
 430         emrp->emr_rc = rc;
 431         emrp->emr_out_length_used = 0;
 432 }
 433
 434 static                  void
 435 efx_mcdi_finish_response(
 436         __in            efx_nic_t *enp,
 437         __in            efx_mcdi_req_t *emrp)
 438 {
 439 #if EFSYS_OPT_MCDI_LOGGING
 440         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 441 #endif /* EFSYS_OPT_MCDI_LOGGING */
 442         efx_dword_t hdr[2];
 443         unsigned int hdr_len;
 444         size_t bytes;
 445
 446         if (emrp->emr_out_buf == NULL)
 447                 return;
 448
 449         /* Read the command header to detect MCDI response format */
 450         hdr_len = sizeof (hdr[0]);
 451         efx_mcdi_read_response(enp, &hdr[0], 0, hdr_len);
 452         if (EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_CODE) == MC_CMD_V2_EXTN) {
 453                 /*
 454                  * Read the actual payload length. The length given in the event
 455                  * is only correct for responses with the V1 format.
 456                  */
 457                 efx_mcdi_read_response(enp, &hdr[1], hdr_len, sizeof (hdr[1]));
 458                 hdr_len += sizeof (hdr[1]);
 459
 460                 emrp->emr_out_length_used = EFX_DWORD_FIELD(hdr[1],
 461                                             MC_CMD_V2_EXTN_IN_ACTUAL_LEN);
 462         }
 463
 464         /* Copy payload out into caller supplied buffer */
 465         bytes = MIN(emrp->emr_out_length_used, emrp->emr_out_length);
 466         efx_mcdi_read_response(enp, emrp->emr_out_buf, hdr_len, bytes);
 467
 468 #if EFSYS_OPT_MCDI_LOGGING
 469         if (emtp->emt_logger != NULL) {
 470                 emtp->emt_logger(emtp->emt_context,
 471                     EFX_LOG_MCDI_RESPONSE,
 472                     &hdr[0], hdr_len,
 473                     emrp->emr_out_buf, bytes);
 474         }
 475 #endif /* EFSYS_OPT_MCDI_LOGGING */
 476 }
 477
 478
 479         __checkReturn   boolean_t
 480 efx_mcdi_request_poll(
 481         __in            efx_nic_t *enp)
 482 {
 483         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 484         efx_mcdi_req_t *emrp;
 485         efsys_lock_state_t state;
 486         efx_rc_t rc;
 487
 488         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
 489         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 490         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 491
 492         /* Serialise against post-watchdog efx_mcdi_ev* */
 493         EFSYS_LOCK(enp->en_eslp, state);
 494
 495         EFSYS_ASSERT(emip->emi_pending_req != NULL);
 496         EFSYS_ASSERT(!emip->emi_ev_cpl);
 497         emrp = emip->emi_pending_req;
 498
 499         /* Check for reboot atomically w.r.t efx_mcdi_request_start */
 500         if (emip->emi_poll_cnt++ == 0) {
 501                 if ((rc = efx_mcdi_poll_reboot(enp)) != 0) {
 502                         emip->emi_pending_req = NULL;
 503                         EFSYS_UNLOCK(enp->en_eslp, state);
 504
 505                         /* Reboot/Assertion */
 506                         if (rc == EIO || rc == EINTR)
 507                                 efx_mcdi_raise_exception(enp, emrp, rc);
 508
 509                         goto fail1;
 510                 }
 511         }
 512
 513         /* Check if a response is available */
 514         if (efx_mcdi_poll_response(enp) == B_FALSE) {
 515                 EFSYS_UNLOCK(enp->en_eslp, state);
 516                 return (B_FALSE);
 517         }
 518
 519         /* Read the response header */
 520         efx_mcdi_read_response_header(enp, emrp);
 521
 522         /* Request complete */
 523         emip->emi_pending_req = NULL;
 524
 525         /* Ensure stale MCDI requests fail after an MC reboot. */
 526         emip->emi_new_epoch = B_FALSE;
 527
 528         EFSYS_UNLOCK(enp->en_eslp, state);
 529
 530         if ((rc = emrp->emr_rc) != 0)
 531                 goto fail2;
 532
 533         efx_mcdi_finish_response(enp, emrp);
 534         return (B_TRUE);
 535
 536 fail2:
 537         if (!emrp->emr_quiet)
 538                 EFSYS_PROBE(fail2);
 539 fail1:
 540         if (!emrp->emr_quiet)
 541                 EFSYS_PROBE1(fail1, efx_rc_t, rc);
 542
 543         return (B_TRUE);
 544 }
 545
 546         __checkReturn   boolean_t
 547 efx_mcdi_request_abort(
 548         __in            efx_nic_t *enp)
 549 {
 550         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 551         efx_mcdi_req_t *emrp;
 552         boolean_t aborted;
 553         efsys_lock_state_t state;
 554
 555         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
 556         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 557         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 558
 559         /*
 560          * efx_mcdi_ev_* may have already completed this event, and be
 561          * spinning/blocked on the upper layer lock. So it *is* legitimate
 562          * to for emi_pending_req to be NULL. If there is a pending event
 563          * completed request, then provide a "credit" to allow
 564          * efx_mcdi_ev_cpl() to accept a single spurious completion.
 565          */
 566         EFSYS_LOCK(enp->en_eslp, state);
 567         emrp = emip->emi_pending_req;
 568         aborted = (emrp != NULL);
 569         if (aborted) {
 570                 emip->emi_pending_req = NULL;
 571
 572                 /* Error the request */
 573                 emrp->emr_out_length_used = 0;
 574                 emrp->emr_rc = ETIMEDOUT;
 575
 576                 /* Provide a credit for seqno/emr_pending_req mismatches */
 577                 if (emip->emi_ev_cpl)
 578                         ++emip->emi_aborted;
 579
 580                 /*
 581                  * The upper layer has called us, so we don't
 582                  * need to complete the request.
 583                  */
 584         }
 585         EFSYS_UNLOCK(enp->en_eslp, state);
 586
 587         return (aborted);
 588 }
 589
 590                         void
 591 efx_mcdi_get_timeout(
 592         __in            efx_nic_t *enp,
 593         __in            efx_mcdi_req_t *emrp,
 594         __out           uint32_t *timeoutp)
 595 {
 596         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 597
 598         emcop->emco_get_timeout(enp, emrp, timeoutp);
 599 }
 600
 601         __checkReturn   efx_rc_t
 602 efx_mcdi_request_errcode(
 603         __in            unsigned int err)
 604 {
 605
 606         switch (err) {
 607                 /* MCDI v1 */
 608         case MC_CMD_ERR_EPERM:
 609                 return (EACCES);
 610         case MC_CMD_ERR_ENOENT:
 611                 return (ENOENT);
 612         case MC_CMD_ERR_EINTR:
 613                 return (EINTR);
 614         case MC_CMD_ERR_EACCES:
 615                 return (EACCES);
 616         case MC_CMD_ERR_EBUSY:
 617                 return (EBUSY);
 618         case MC_CMD_ERR_EINVAL:
 619                 return (EINVAL);
 620         case MC_CMD_ERR_EDEADLK:
 621                 return (EDEADLK);
 622         case MC_CMD_ERR_ENOSYS:
 623                 return (ENOTSUP);
 624         case MC_CMD_ERR_ETIME:
 625                 return (ETIMEDOUT);
 626         case MC_CMD_ERR_ENOTSUP:
 627                 return (ENOTSUP);
 628         case MC_CMD_ERR_EALREADY:
 629                 return (EALREADY);
 630
 631                 /* MCDI v2 */
 632         case MC_CMD_ERR_EEXIST:
 633                 return (EEXIST);
 634 #ifdef MC_CMD_ERR_EAGAIN
 635         case MC_CMD_ERR_EAGAIN:
 636                 return (EAGAIN);
 637 #endif
 638 #ifdef MC_CMD_ERR_ENOSPC
 639         case MC_CMD_ERR_ENOSPC:
 640                 return (ENOSPC);
 641 #endif
 642         case MC_CMD_ERR_ERANGE:
 643                 return (ERANGE);
 644
 645         case MC_CMD_ERR_ALLOC_FAIL:
 646                 return (ENOMEM);
 647         case MC_CMD_ERR_NO_VADAPTOR:
 648                 return (ENOENT);
 649         case MC_CMD_ERR_NO_EVB_PORT:
 650                 return (ENOENT);
 651         case MC_CMD_ERR_NO_VSWITCH:
 652                 return (ENODEV);
 653         case MC_CMD_ERR_VLAN_LIMIT:
 654                 return (EINVAL);
 655         case MC_CMD_ERR_BAD_PCI_FUNC:
 656                 return (ENODEV);
 657         case MC_CMD_ERR_BAD_VLAN_MODE:
 658                 return (EINVAL);
 659         case MC_CMD_ERR_BAD_VSWITCH_TYPE:
 660                 return (EINVAL);
 661         case MC_CMD_ERR_BAD_VPORT_TYPE:
 662                 return (EINVAL);
 663         case MC_CMD_ERR_MAC_EXIST:
 664                 return (EEXIST);
 665
 666         case MC_CMD_ERR_PROXY_PENDING:
 667                 return (EAGAIN);
 668
 669         default:
 670                 EFSYS_PROBE1(mc_pcol_error, int, err);
 671                 return (EIO);
 672         }
 673 }
 674
 675                         void
 676 efx_mcdi_raise_exception(
 677         __in            efx_nic_t *enp,
 678         __in_opt        efx_mcdi_req_t *emrp,
 679         __in            int rc)
 680 {
 681         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 682         efx_mcdi_exception_t exception;
 683
 684         /* Reboot or Assertion failure only */
 685         EFSYS_ASSERT(rc == EIO || rc == EINTR);
 686
 687         /*
 688          * If MC_CMD_REBOOT causes a reboot (dependent on parameters),
 689          * then the EIO is not worthy of an exception.
 690          */
 691         if (emrp != NULL && emrp->emr_cmd == MC_CMD_REBOOT && rc == EIO)
 692                 return;
 693
 694         exception = (rc == EIO)
 695                 ? EFX_MCDI_EXCEPTION_MC_REBOOT
 696                 : EFX_MCDI_EXCEPTION_MC_BADASSERT;
 697
 698         emtp->emt_exception(emtp->emt_context, exception);
 699 }
 700
 701                         void
 702 efx_mcdi_execute(
 703         __in            efx_nic_t *enp,
 704         __inout         efx_mcdi_req_t *emrp)
 705 {
 706         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 707
 708         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 709         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 710
 711         emrp->emr_quiet = B_FALSE;
 712         emtp->emt_execute(emtp->emt_context, emrp);
 713 }
 714
 715                         void
 716 efx_mcdi_execute_quiet(
 717         __in            efx_nic_t *enp,
 718         __inout         efx_mcdi_req_t *emrp)
 719 {
 720         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 721
 722         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 723         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 724
 725         emrp->emr_quiet = B_TRUE;
 726         emtp->emt_execute(emtp->emt_context, emrp);
 727 }
 728
 729                         void
 730 efx_mcdi_ev_cpl(
 731         __in            efx_nic_t *enp,
 732         __in            unsigned int seq,
 733         __in            unsigned int outlen,
 734         __in            int errcode)
 735 {
 736         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 737         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 738         efx_mcdi_req_t *emrp;
 739         efsys_lock_state_t state;
 740
 741         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 742         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 743
 744         /*
 745          * Serialise against efx_mcdi_request_poll()/efx_mcdi_request_start()
 746          * when we're completing an aborted request.
 747          */
 748         EFSYS_LOCK(enp->en_eslp, state);
 749         if (emip->emi_pending_req == NULL || !emip->emi_ev_cpl ||
 750             (seq != ((emip->emi_seq - 1) & EFX_MASK32(MCDI_HEADER_SEQ)))) {
 751                 EFSYS_ASSERT(emip->emi_aborted > 0);
 752                 if (emip->emi_aborted > 0)
 753                         --emip->emi_aborted;
 754                 EFSYS_UNLOCK(enp->en_eslp, state);
 755                 return;
 756         }
 757
 758         emrp = emip->emi_pending_req;
 759         emip->emi_pending_req = NULL;
 760         EFSYS_UNLOCK(enp->en_eslp, state);
 761
 762         if (emip->emi_max_version >= 2) {
 763                 /* MCDIv2 response details do not fit into an event. */
 764                 efx_mcdi_read_response_header(enp, emrp);
 765         } else {
 766                 if (errcode != 0) {
 767                         if (!emrp->emr_quiet) {
 768                                 EFSYS_PROBE2(mcdi_err, int, emrp->emr_cmd,
 769                                     int, errcode);
 770                         }
 771                         emrp->emr_out_length_used = 0;
 772                         emrp->emr_rc = efx_mcdi_request_errcode(errcode);
 773                 } else {
 774                         emrp->emr_out_length_used = outlen;
 775                         emrp->emr_rc = 0;
 776                 }
 777         }
 778         if (emrp->emr_rc == 0)
 779                 efx_mcdi_finish_response(enp, emrp);
 780
 781         emtp->emt_ev_cpl(emtp->emt_context);
 782 }
 783
 784 #if EFSYS_OPT_MCDI_PROXY_AUTH
 785
 786         __checkReturn   efx_rc_t
 787 efx_mcdi_get_proxy_handle(
 788         __in            efx_nic_t *enp,
 789         __in            efx_mcdi_req_t *emrp,
 790         __out           uint32_t *handlep)
 791 {
 792         efx_rc_t rc;
 793
 794         _NOTE(ARGUNUSED(enp))
 795
 796         /*
 797          * Return proxy handle from MCDI request that returned with error
 798          * MC_MCD_ERR_PROXY_PENDING. This handle is used to wait for a matching
 799          * PROXY_RESPONSE event.
 800          */
 801         if ((emrp == NULL) || (handlep == NULL)) {
 802                 rc = EINVAL;
 803                 goto fail1;
 804         }
 805         if ((emrp->emr_rc != 0) &&
 806             (emrp->emr_err_code == MC_CMD_ERR_PROXY_PENDING)) {
 807                 *handlep = emrp->emr_proxy_handle;
 808                 rc = 0;
 809         } else {
 810                 *handlep = 0;
 811                 rc = ENOENT;
 812         }
 813         return (rc);
 814
 815 fail1:
 816         EFSYS_PROBE1(fail1, efx_rc_t, rc);
 817         return (rc);
 818 }
 819
 820                         void
 821 efx_mcdi_ev_proxy_response(
 822         __in            efx_nic_t *enp,
 823         __in            unsigned int handle,
 824         __in            unsigned int status)
 825 {
 826         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 827         efx_rc_t rc;
 828
 829         /*
 830          * Handle results of an authorization request for a privileged MCDI
 831          * command. If authorization was granted then we must re-issue the
 832          * original MCDI request. If authorization failed or timed out,
 833          * then the original MCDI request should be completed with the
 834          * result code from this event.
 835          */
 836         rc = (status == 0) ? 0 : efx_mcdi_request_errcode(status);
 837
 838         emtp->emt_ev_proxy_response(emtp->emt_context, handle, rc);
 839 }
 840 #endif /* EFSYS_OPT_MCDI_PROXY_AUTH */
 841
 842                         void
 843 efx_mcdi_ev_death(
 844         __in            efx_nic_t *enp,
 845         __in            int rc)
 846 {
 847         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 848         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 849         efx_mcdi_req_t *emrp = NULL;
 850         boolean_t ev_cpl;
 851         efsys_lock_state_t state;
 852
 853         /*
 854          * The MCDI request (if there is one) has been terminated, either
 855          * by a BADASSERT or REBOOT event.
 856          *
 857          * If there is an outstanding event-completed MCDI operation, then we
 858          * will never receive the completion event (because both MCDI
 859          * completions and BADASSERT events are sent to the same evq). So
 860          * complete this MCDI op.
 861          *
 862          * This function might run in parallel with efx_mcdi_request_poll()
 863          * for poll completed mcdi requests, and also with
 864          * efx_mcdi_request_start() for post-watchdog completions.
 865          */
 866         EFSYS_LOCK(enp->en_eslp, state);
 867         emrp = emip->emi_pending_req;
 868         ev_cpl = emip->emi_ev_cpl;
 869         if (emrp != NULL && emip->emi_ev_cpl) {
 870                 emip->emi_pending_req = NULL;
 871
 872                 emrp->emr_out_length_used = 0;
 873                 emrp->emr_rc = rc;
 874                 ++emip->emi_aborted;
 875         }
 876
 877         /*
 878          * Since we're running in parallel with a request, consume the
 879          * status word before dropping the lock.
 880          */
 881         if (rc == EIO || rc == EINTR) {
 882                 EFSYS_SPIN(EFX_MCDI_STATUS_SLEEP_US);
 883                 (void) efx_mcdi_poll_reboot(enp);
 884                 emip->emi_new_epoch = B_TRUE;
 885         }
 886
 887         EFSYS_UNLOCK(enp->en_eslp, state);
 888
 889         efx_mcdi_raise_exception(enp, emrp, rc);
 890
 891         if (emrp != NULL && ev_cpl)
 892                 emtp->emt_ev_cpl(emtp->emt_context);
 893 }
 894
 895         __checkReturn           efx_rc_t
 896 efx_mcdi_version(
 897         __in                    efx_nic_t *enp,
 898         __out_ecount_opt(4)     uint16_t versionp[4],
 899         __out_opt               uint32_t *buildp,
 900         __out_opt               efx_mcdi_boot_t *statusp)
 901 {
 902         efx_mcdi_req_t req;
 903         EFX_MCDI_DECLARE_BUF(payload,
 904                 MAX(MC_CMD_GET_VERSION_IN_LEN, MC_CMD_GET_BOOT_STATUS_IN_LEN),
 905                 MAX(MC_CMD_GET_VERSION_OUT_LEN,
 906                         MC_CMD_GET_BOOT_STATUS_OUT_LEN));
 907         efx_word_t *ver_words;
 908         uint16_t version[4];
 909         uint32_t build;
 910         efx_mcdi_boot_t status;
 911         efx_rc_t rc;
 912
 913         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 914
 915         req.emr_cmd = MC_CMD_GET_VERSION;
 916         req.emr_in_buf = payload;
 917         req.emr_in_length = MC_CMD_GET_VERSION_IN_LEN;
 918         req.emr_out_buf = payload;
 919         req.emr_out_length = MC_CMD_GET_VERSION_OUT_LEN;
 920
 921         efx_mcdi_execute(enp, &req);
 922
 923         if (req.emr_rc != 0) {
 924                 rc = req.emr_rc;
 925                 goto fail1;
 926         }
 927
 928         /* bootrom support */
 929         if (req.emr_out_length_used == MC_CMD_GET_VERSION_V0_OUT_LEN) {
 930                 version[0] = version[1] = version[2] = version[3] = 0;
 931                 build = MCDI_OUT_DWORD(req, GET_VERSION_OUT_FIRMWARE);
 932
 933                 goto version;
 934         }
 935
 936         if (req.emr_out_length_used < MC_CMD_GET_VERSION_OUT_LEN) {
 937                 rc = EMSGSIZE;
 938                 goto fail2;
 939         }
 940
 941         ver_words = MCDI_OUT2(req, efx_word_t, GET_VERSION_OUT_VERSION);
 942         version[0] = EFX_WORD_FIELD(ver_words[0], EFX_WORD_0);
 943         version[1] = EFX_WORD_FIELD(ver_words[1], EFX_WORD_0);
 944         version[2] = EFX_WORD_FIELD(ver_words[2], EFX_WORD_0);
 945         version[3] = EFX_WORD_FIELD(ver_words[3], EFX_WORD_0);
 946         build = MCDI_OUT_DWORD(req, GET_VERSION_OUT_FIRMWARE);
 947
 948 version:
 949         /* The bootrom doesn't understand BOOT_STATUS */
 950         if (MC_FW_VERSION_IS_BOOTLOADER(build)) {
 951                 status = EFX_MCDI_BOOT_ROM;
 952                 goto out;
 953         }
 954
 955         (void) memset(payload, 0, sizeof (payload));
 956         req.emr_cmd = MC_CMD_GET_BOOT_STATUS;
 957         req.emr_in_buf = payload;
 958         req.emr_in_length = MC_CMD_GET_BOOT_STATUS_IN_LEN;
 959         req.emr_out_buf = payload;
 960         req.emr_out_length = MC_CMD_GET_BOOT_STATUS_OUT_LEN;
 961
 962         efx_mcdi_execute_quiet(enp, &req);
 963
 964         if (req.emr_rc == EACCES) {
 965                 /* Unprivileged functions cannot access BOOT_STATUS */
 966                 status = EFX_MCDI_BOOT_PRIMARY;
 967                 version[0] = version[1] = version[2] = version[3] = 0;
 968                 build = 0;
 969                 goto out;
 970         }
 971
 972         if (req.emr_rc != 0) {
 973                 rc = req.emr_rc;
 974                 goto fail3;
 975         }
 976
 977         if (req.emr_out_length_used < MC_CMD_GET_BOOT_STATUS_OUT_LEN) {
 978                 rc = EMSGSIZE;
 979                 goto fail4;
 980         }
 981
 982         if (MCDI_OUT_DWORD_FIELD(req, GET_BOOT_STATUS_OUT_FLAGS,
 983             GET_BOOT_STATUS_OUT_FLAGS_PRIMARY))
 984                 status = EFX_MCDI_BOOT_PRIMARY;
 985         else
 986                 status = EFX_MCDI_BOOT_SECONDARY;
 987
 988 out:
 989         if (versionp != NULL)
 990                 memcpy(versionp, version, sizeof (version));
 991         if (buildp != NULL)
 992                 *buildp = build;
 993         if (statusp != NULL)
 994                 *statusp = status;
 995
 996         return (0);
 997
 998 fail4:
 999         EFSYS_PROBE(fail4);
1000 fail3:
1001         EFSYS_PROBE(fail3);
1002 fail2:
1003         EFSYS_PROBE(fail2);
1004 fail1:
1005         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1006
1007         return (rc);
1008 }
1009
1010         __checkReturn   efx_rc_t
1011 efx_mcdi_get_capabilities(
1012         __in            efx_nic_t *enp,
1013         __out_opt       uint32_t *flagsp,
1014         __out_opt       uint16_t *rx_dpcpu_fw_idp,
1015         __out_opt       uint16_t *tx_dpcpu_fw_idp,
1016         __out_opt       uint32_t *flags2p,
1017         __out_opt       uint32_t *tso2ncp)
1018 {
1019         efx_mcdi_req_t req;
1020         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_CAPABILITIES_IN_LEN,
1021                 MC_CMD_GET_CAPABILITIES_V2_OUT_LEN);
1022         boolean_t v2_capable;
1023         efx_rc_t rc;
1024
1025         req.emr_cmd = MC_CMD_GET_CAPABILITIES;
1026         req.emr_in_buf = payload;
1027         req.emr_in_length = MC_CMD_GET_CAPABILITIES_IN_LEN;
1028         req.emr_out_buf = payload;
1029         req.emr_out_length = MC_CMD_GET_CAPABILITIES_V2_OUT_LEN;
1030
1031         efx_mcdi_execute_quiet(enp, &req);
1032
1033         if (req.emr_rc != 0) {
1034                 rc = req.emr_rc;
1035                 goto fail1;
1036         }
1037
1038         if (req.emr_out_length_used < MC_CMD_GET_CAPABILITIES_OUT_LEN) {
1039                 rc = EMSGSIZE;
1040                 goto fail2;
1041         }
1042
1043         if (flagsp != NULL)
1044                 *flagsp = MCDI_OUT_DWORD(req, GET_CAPABILITIES_OUT_FLAGS1);
1045
1046         if (rx_dpcpu_fw_idp != NULL)
1047                 *rx_dpcpu_fw_idp = MCDI_OUT_WORD(req,
1048                                         GET_CAPABILITIES_OUT_RX_DPCPU_FW_ID);
1049
1050         if (tx_dpcpu_fw_idp != NULL)
1051                 *tx_dpcpu_fw_idp = MCDI_OUT_WORD(req,
1052                                         GET_CAPABILITIES_OUT_TX_DPCPU_FW_ID);
1053
1054         if (req.emr_out_length_used < MC_CMD_GET_CAPABILITIES_V2_OUT_LEN)
1055                 v2_capable = B_FALSE;
1056         else
1057                 v2_capable = B_TRUE;
1058
1059         if (flags2p != NULL) {
1060                 *flags2p = (v2_capable) ?
1061                         MCDI_OUT_DWORD(req, GET_CAPABILITIES_V2_OUT_FLAGS2) :
1062                         0;
1063         }
1064
1065         if (tso2ncp != NULL) {
1066                 *tso2ncp = (v2_capable) ?
1067                         MCDI_OUT_WORD(req,
1068                                 GET_CAPABILITIES_V2_OUT_TX_TSO_V2_N_CONTEXTS) :
1069                         0;
1070         }
1071
1072         return (0);
1073
1074 fail2:
1075         EFSYS_PROBE(fail2);
1076 fail1:
1077         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1078
1079         return (rc);
1080 }
1081
1082 static  __checkReturn   efx_rc_t
1083 efx_mcdi_do_reboot(
1084         __in            efx_nic_t *enp,
1085         __in            boolean_t after_assertion)
1086 {
1087         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_REBOOT_IN_LEN,
1088                 MC_CMD_REBOOT_OUT_LEN);
1089         efx_mcdi_req_t req;
1090         efx_rc_t rc;
1091
1092         /*
1093          * We could require the caller to have caused en_mod_flags=0 to
1094          * call this function. This doesn't help the other port though,
1095          * who's about to get the MC ripped out from underneath them.
1096          * Since they have to cope with the subsequent fallout of MCDI
1097          * failures, we should as well.
1098          */
1099         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
1100
1101         req.emr_cmd = MC_CMD_REBOOT;
1102         req.emr_in_buf = payload;
1103         req.emr_in_length = MC_CMD_REBOOT_IN_LEN;
1104         req.emr_out_buf = payload;
1105         req.emr_out_length = MC_CMD_REBOOT_OUT_LEN;
1106
1107         MCDI_IN_SET_DWORD(req, REBOOT_IN_FLAGS,
1108             (after_assertion ? MC_CMD_REBOOT_FLAGS_AFTER_ASSERTION : 0));
1109
1110         efx_mcdi_execute_quiet(enp, &req);
1111
1112         if (req.emr_rc == EACCES) {
1113                 /* Unprivileged functions cannot reboot the MC. */
1114                 goto out;
1115         }
1116
1117         /* A successful reboot request returns EIO. */
1118         if (req.emr_rc != 0 && req.emr_rc != EIO) {
1119                 rc = req.emr_rc;
1120                 goto fail1;
1121         }
1122
1123 out:
1124         return (0);
1125
1126 fail1:
1127         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1128
1129         return (rc);
1130 }
1131
1132         __checkReturn   efx_rc_t
1133 efx_mcdi_reboot(
1134         __in            efx_nic_t *enp)
1135 {
1136         return (efx_mcdi_do_reboot(enp, B_FALSE));
1137 }
1138
1139         __checkReturn   efx_rc_t
1140 efx_mcdi_exit_assertion_handler(
1141         __in            efx_nic_t *enp)
1142 {
1143         return (efx_mcdi_do_reboot(enp, B_TRUE));
1144 }
1145
1146         __checkReturn   efx_rc_t
1147 efx_mcdi_read_assertion(
1148         __in            efx_nic_t *enp)
1149 {
1150         efx_mcdi_req_t req;
1151         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_ASSERTS_IN_LEN,
1152                 MC_CMD_GET_ASSERTS_OUT_LEN);
1153         const char *reason;
1154         unsigned int flags;
1155         unsigned int index;
1156         unsigned int ofst;
1157         int retry;
1158         efx_rc_t rc;
1159
1160         /*
1161          * Before we attempt to chat to the MC, we should verify that the MC
1162          * isn't in it's assertion handler, either due to a previous reboot,
1163          * or because we're reinitializing due to an eec_exception().
1164          *
1165          * Use GET_ASSERTS to read any assertion state that may be present.
1166          * Retry this command twice. Once because a boot-time assertion failure
1167          * might cause the 1st MCDI request to fail. And once again because
1168          * we might race with efx_mcdi_exit_assertion_handler() running on
1169          * partner port(s) on the same NIC.
1170          */
1171         retry = 2;
1172         do {
1173                 (void) memset(payload, 0, sizeof (payload));
1174                 req.emr_cmd = MC_CMD_GET_ASSERTS;
1175                 req.emr_in_buf = payload;
1176                 req.emr_in_length = MC_CMD_GET_ASSERTS_IN_LEN;
1177                 req.emr_out_buf = payload;
1178                 req.emr_out_length = MC_CMD_GET_ASSERTS_OUT_LEN;
1179
1180                 MCDI_IN_SET_DWORD(req, GET_ASSERTS_IN_CLEAR, 1);
1181                 efx_mcdi_execute_quiet(enp, &req);
1182
1183         } while ((req.emr_rc == EINTR || req.emr_rc == EIO) && retry-- > 0);
1184
1185         if (req.emr_rc != 0) {
1186                 if (req.emr_rc == EACCES) {
1187                         /* Unprivileged functions cannot clear assertions. */
1188                         goto out;
1189                 }
1190                 rc = req.emr_rc;
1191                 goto fail1;
1192         }
1193
1194         if (req.emr_out_length_used < MC_CMD_GET_ASSERTS_OUT_LEN) {
1195                 rc = EMSGSIZE;
1196                 goto fail2;
1197         }
1198
1199         /* Print out any assertion state recorded */
1200         flags = MCDI_OUT_DWORD(req, GET_ASSERTS_OUT_GLOBAL_FLAGS);
1201         if (flags == MC_CMD_GET_ASSERTS_FLAGS_NO_FAILS)
1202                 return (0);
1203
1204         reason = (flags == MC_CMD_GET_ASSERTS_FLAGS_SYS_FAIL)
1205                 ? "system-level assertion"
1206                 : (flags == MC_CMD_GET_ASSERTS_FLAGS_THR_FAIL)
1207                 ? "thread-level assertion"
1208                 : (flags == MC_CMD_GET_ASSERTS_FLAGS_WDOG_FIRED)
1209                 ? "watchdog reset"
1210                 : (flags == MC_CMD_GET_ASSERTS_FLAGS_ADDR_TRAP)
1211                 ? "illegal address trap"
1212                 : "unknown assertion";
1213         EFSYS_PROBE3(mcpu_assertion,
1214             const char *, reason, unsigned int,
1215             MCDI_OUT_DWORD(req, GET_ASSERTS_OUT_SAVED_PC_OFFS),
1216             unsigned int,
1217             MCDI_OUT_DWORD(req, GET_ASSERTS_OUT_THREAD_OFFS));
1218
1219         /* Print out the registers (r1 ... r31) */
1220         ofst = MC_CMD_GET_ASSERTS_OUT_GP_REGS_OFFS_OFST;
1221         for (index = 1;
1222                 index < 1 + MC_CMD_GET_ASSERTS_OUT_GP_REGS_OFFS_NUM;
1223                 index++) {
1224                 EFSYS_PROBE2(mcpu_register, unsigned int, index, unsigned int,
1225                             EFX_DWORD_FIELD(*MCDI_OUT(req, efx_dword_t, ofst),
1226                                             EFX_DWORD_0));
1227                 ofst += sizeof (efx_dword_t);
1228         }
1229         EFSYS_ASSERT(ofst <= MC_CMD_GET_ASSERTS_OUT_LEN);
1230
1231 out:
1232         return (0);
1233
1234 fail2:
1235         EFSYS_PROBE(fail2);
1236 fail1:
1237         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1238
1239         return (rc);
1240 }
1241
1242
1243 /*
1244  * Internal routines for for specific MCDI requests.
1245  */
1246
1247         __checkReturn   efx_rc_t
1248 efx_mcdi_drv_attach(
1249         __in            efx_nic_t *enp,
1250         __in            boolean_t attach)
1251 {
1252         efx_mcdi_req_t req;
1253         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_DRV_ATTACH_IN_LEN,
1254                 MC_CMD_DRV_ATTACH_EXT_OUT_LEN);
1255         efx_rc_t rc;
1256
1257         req.emr_cmd = MC_CMD_DRV_ATTACH;
1258         req.emr_in_buf = payload;
1259         req.emr_in_length = MC_CMD_DRV_ATTACH_IN_LEN;
1260         req.emr_out_buf = payload;
1261         req.emr_out_length = MC_CMD_DRV_ATTACH_EXT_OUT_LEN;
1262
1263         /*
1264          * Typically, client drivers use DONT_CARE for the datapath firmware
1265          * type to ensure that the driver can attach to an unprivileged
1266          * function. The datapath firmware type to use is controlled by the
1267          * 'sfboot' utility.
1268          * If a client driver wishes to attach with a specific datapath firmware
1269          * type, that can be passed in second argument of efx_nic_probe API. One
1270          * such example is the ESXi native driver that attempts attaching with
1271          * FULL_FEATURED datapath firmware type first and fall backs to
1272          * DONT_CARE datapath firmware type if MC_CMD_DRV_ATTACH fails.
1273          */
1274         MCDI_IN_POPULATE_DWORD_2(req, DRV_ATTACH_IN_NEW_STATE,
1275             DRV_ATTACH_IN_ATTACH, attach ? 1 : 0,
1276             DRV_ATTACH_IN_SUBVARIANT_AWARE, EFSYS_OPT_FW_SUBVARIANT_AWARE);
1277         MCDI_IN_SET_DWORD(req, DRV_ATTACH_IN_UPDATE, 1);
1278         MCDI_IN_SET_DWORD(req, DRV_ATTACH_IN_FIRMWARE_ID, enp->efv);
1279
1280         efx_mcdi_execute(enp, &req);
1281
1282         if (req.emr_rc != 0) {
1283                 rc = req.emr_rc;
1284                 goto fail1;
1285         }
1286
1287         if (req.emr_out_length_used < MC_CMD_DRV_ATTACH_OUT_LEN) {
1288                 rc = EMSGSIZE;
1289                 goto fail2;
1290         }
1291
1292         return (0);
1293
1294 fail2:
1295         EFSYS_PROBE(fail2);
1296 fail1:
1297         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1298
1299         return (rc);
1300 }
1301
1302         __checkReturn           efx_rc_t
1303 efx_mcdi_get_board_cfg(
1304         __in                    efx_nic_t *enp,
1305         __out_opt               uint32_t *board_typep,
1306         __out_opt               efx_dword_t *capabilitiesp,
1307         __out_ecount_opt(6)     uint8_t mac_addrp[6])
1308 {
1309         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
1310         efx_mcdi_req_t req;
1311         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_BOARD_CFG_IN_LEN,
1312                 MC_CMD_GET_BOARD_CFG_OUT_LENMIN);
1313         efx_rc_t rc;
1314
1315         req.emr_cmd = MC_CMD_GET_BOARD_CFG;
1316         req.emr_in_buf = payload;
1317         req.emr_in_length = MC_CMD_GET_BOARD_CFG_IN_LEN;
1318         req.emr_out_buf = payload;
1319         req.emr_out_length = MC_CMD_GET_BOARD_CFG_OUT_LENMIN;
1320
1321         efx_mcdi_execute(enp, &req);
1322
1323         if (req.emr_rc != 0) {
1324                 rc = req.emr_rc;
1325                 goto fail1;
1326         }
1327
1328         if (req.emr_out_length_used < MC_CMD_GET_BOARD_CFG_OUT_LENMIN) {
1329                 rc = EMSGSIZE;
1330                 goto fail2;
1331         }
1332
1333         if (mac_addrp != NULL) {
1334                 uint8_t *addrp;
1335
1336                 if (emip->emi_port == 1) {
1337                         addrp = MCDI_OUT2(req, uint8_t,
1338                             GET_BOARD_CFG_OUT_MAC_ADDR_BASE_PORT0);
1339                 } else if (emip->emi_port == 2) {
1340                         addrp = MCDI_OUT2(req, uint8_t,
1341                             GET_BOARD_CFG_OUT_MAC_ADDR_BASE_PORT1);
1342                 } else {
1343                         rc = EINVAL;
1344                         goto fail3;
1345                 }
1346
1347                 EFX_MAC_ADDR_COPY(mac_addrp, addrp);
1348         }
1349
1350         if (capabilitiesp != NULL) {
1351                 if (emip->emi_port == 1) {
1352                         *capabilitiesp = *MCDI_OUT2(req, efx_dword_t,
1353                             GET_BOARD_CFG_OUT_CAPABILITIES_PORT0);
1354                 } else if (emip->emi_port == 2) {
1355                         *capabilitiesp = *MCDI_OUT2(req, efx_dword_t,
1356                             GET_BOARD_CFG_OUT_CAPABILITIES_PORT1);
1357                 } else {
1358                         rc = EINVAL;
1359                         goto fail4;
1360                 }
1361         }
1362
1363         if (board_typep != NULL) {
1364                 *board_typep = MCDI_OUT_DWORD(req,
1365                     GET_BOARD_CFG_OUT_BOARD_TYPE);
1366         }
1367
1368         return (0);
1369
1370 fail4:
1371         EFSYS_PROBE(fail4);
1372 fail3:
1373         EFSYS_PROBE(fail3);
1374 fail2:
1375         EFSYS_PROBE(fail2);
1376 fail1:
1377         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1378
1379         return (rc);
1380 }
1381
1382         __checkReturn   efx_rc_t
1383 efx_mcdi_get_resource_limits(
1384         __in            efx_nic_t *enp,
1385         __out_opt       uint32_t *nevqp,
1386         __out_opt       uint32_t *nrxqp,
1387         __out_opt       uint32_t *ntxqp)
1388 {
1389         efx_mcdi_req_t req;
1390         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_RESOURCE_LIMITS_IN_LEN,
1391                 MC_CMD_GET_RESOURCE_LIMITS_OUT_LEN);
1392         efx_rc_t rc;
1393
1394         req.emr_cmd = MC_CMD_GET_RESOURCE_LIMITS;
1395         req.emr_in_buf = payload;
1396         req.emr_in_length = MC_CMD_GET_RESOURCE_LIMITS_IN_LEN;
1397         req.emr_out_buf = payload;
1398         req.emr_out_length = MC_CMD_GET_RESOURCE_LIMITS_OUT_LEN;
1399
1400         efx_mcdi_execute(enp, &req);
1401
1402         if (req.emr_rc != 0) {
1403                 rc = req.emr_rc;
1404                 goto fail1;
1405         }
1406
1407         if (req.emr_out_length_used < MC_CMD_GET_RESOURCE_LIMITS_OUT_LEN) {
1408                 rc = EMSGSIZE;
1409                 goto fail2;
1410         }
1411
1412         if (nevqp != NULL)
1413                 *nevqp = MCDI_OUT_DWORD(req, GET_RESOURCE_LIMITS_OUT_EVQ);
1414         if (nrxqp != NULL)
1415                 *nrxqp = MCDI_OUT_DWORD(req, GET_RESOURCE_LIMITS_OUT_RXQ);
1416         if (ntxqp != NULL)
1417                 *ntxqp = MCDI_OUT_DWORD(req, GET_RESOURCE_LIMITS_OUT_TXQ);
1418
1419         return (0);
1420
1421 fail2:
1422         EFSYS_PROBE(fail2);
1423 fail1:
1424         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1425
1426         return (rc);
1427 }
1428
1429         __checkReturn   efx_rc_t
1430 efx_mcdi_get_phy_cfg(
1431         __in            efx_nic_t *enp)
1432 {
1433         efx_port_t *epp = &(enp->en_port);
1434         efx_nic_cfg_t *encp = &(enp->en_nic_cfg);
1435         efx_mcdi_req_t req;
1436         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_PHY_CFG_IN_LEN,
1437                 MC_CMD_GET_PHY_CFG_OUT_LEN);
1438 #if EFSYS_OPT_NAMES
1439         const char *namep;
1440         size_t namelen;
1441 #endif
1442         uint32_t phy_media_type;
1443         efx_rc_t rc;
1444
1445         req.emr_cmd = MC_CMD_GET_PHY_CFG;
1446         req.emr_in_buf = payload;
1447         req.emr_in_length = MC_CMD_GET_PHY_CFG_IN_LEN;
1448         req.emr_out_buf = payload;
1449         req.emr_out_length = MC_CMD_GET_PHY_CFG_OUT_LEN;
1450
1451         efx_mcdi_execute(enp, &req);
1452
1453         if (req.emr_rc != 0) {
1454                 rc = req.emr_rc;
1455                 goto fail1;
1456         }
1457
1458         if (req.emr_out_length_used < MC_CMD_GET_PHY_CFG_OUT_LEN) {
1459                 rc = EMSGSIZE;
1460                 goto fail2;
1461         }
1462
1463         encp->enc_phy_type = MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_TYPE);
1464 #if EFSYS_OPT_NAMES
1465         namep = MCDI_OUT2(req, char, GET_PHY_CFG_OUT_NAME);
1466         namelen = MIN(sizeof (encp->enc_phy_name) - 1,
1467                     strnlen(namep, MC_CMD_GET_PHY_CFG_OUT_NAME_LEN));
1468         (void) memset(encp->enc_phy_name, 0,
1469             sizeof (encp->enc_phy_name));
1470         memcpy(encp->enc_phy_name, namep, namelen);
1471 #endif  /* EFSYS_OPT_NAMES */
1472         (void) memset(encp->enc_phy_revision, 0,
1473             sizeof (encp->enc_phy_revision));
1474         memcpy(encp->enc_phy_revision,
1475                 MCDI_OUT2(req, char, GET_PHY_CFG_OUT_REVISION),
1476                 MIN(sizeof (encp->enc_phy_revision) - 1,
1477                     MC_CMD_GET_PHY_CFG_OUT_REVISION_LEN));
1478 #if EFSYS_OPT_PHY_LED_CONTROL
1479         encp->enc_led_mask = ((1 << EFX_PHY_LED_DEFAULT) |
1480                             (1 << EFX_PHY_LED_OFF) |
1481                             (1 << EFX_PHY_LED_ON));
1482 #endif  /* EFSYS_OPT_PHY_LED_CONTROL */
1483
1484         /* Get the media type of the fixed port, if recognised. */
1485         EFX_STATIC_ASSERT(MC_CMD_MEDIA_XAUI == EFX_PHY_MEDIA_XAUI);
1486         EFX_STATIC_ASSERT(MC_CMD_MEDIA_CX4 == EFX_PHY_MEDIA_CX4);
1487         EFX_STATIC_ASSERT(MC_CMD_MEDIA_KX4 == EFX_PHY_MEDIA_KX4);
1488         EFX_STATIC_ASSERT(MC_CMD_MEDIA_XFP == EFX_PHY_MEDIA_XFP);
1489         EFX_STATIC_ASSERT(MC_CMD_MEDIA_SFP_PLUS == EFX_PHY_MEDIA_SFP_PLUS);
1490         EFX_STATIC_ASSERT(MC_CMD_MEDIA_BASE_T == EFX_PHY_MEDIA_BASE_T);
1491         EFX_STATIC_ASSERT(MC_CMD_MEDIA_QSFP_PLUS == EFX_PHY_MEDIA_QSFP_PLUS);
1492         phy_media_type = MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_MEDIA_TYPE);
1493         epp->ep_fixed_port_type = (efx_phy_media_type_t)phy_media_type;
1494         if (epp->ep_fixed_port_type >= EFX_PHY_MEDIA_NTYPES)
1495                 epp->ep_fixed_port_type = EFX_PHY_MEDIA_INVALID;
1496
1497         epp->ep_phy_cap_mask =
1498                 MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_SUPPORTED_CAP);
1499 #if EFSYS_OPT_PHY_FLAGS
1500         encp->enc_phy_flags_mask = MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_FLAGS);
1501 #endif  /* EFSYS_OPT_PHY_FLAGS */
1502
1503         encp->enc_port = (uint8_t)MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_PRT);
1504
1505         /* Populate internal state */
1506         encp->enc_mcdi_mdio_channel =
1507                 (uint8_t)MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_CHANNEL);
1508
1509 #if EFSYS_OPT_PHY_STATS
1510         encp->enc_mcdi_phy_stat_mask =
1511                 MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_STATS_MASK);
1512 #endif  /* EFSYS_OPT_PHY_STATS */
1513
1514 #if EFSYS_OPT_BIST
1515         encp->enc_bist_mask = 0;
1516         if (MCDI_OUT_DWORD_FIELD(req, GET_PHY_CFG_OUT_FLAGS,
1517             GET_PHY_CFG_OUT_BIST_CABLE_SHORT))
1518                 encp->enc_bist_mask |= (1 << EFX_BIST_TYPE_PHY_CABLE_SHORT);
1519         if (MCDI_OUT_DWORD_FIELD(req, GET_PHY_CFG_OUT_FLAGS,
1520             GET_PHY_CFG_OUT_BIST_CABLE_LONG))
1521                 encp->enc_bist_mask |= (1 << EFX_BIST_TYPE_PHY_CABLE_LONG);
1522         if (MCDI_OUT_DWORD_FIELD(req, GET_PHY_CFG_OUT_FLAGS,
1523             GET_PHY_CFG_OUT_BIST))
1524                 encp->enc_bist_mask |= (1 << EFX_BIST_TYPE_PHY_NORMAL);
1525 #endif  /* EFSYS_OPT_BIST */
1526
1527         return (0);
1528
1529 fail2:
1530         EFSYS_PROBE(fail2);
1531 fail1:
1532         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1533
1534         return (rc);
1535 }
1536
1537         __checkReturn           efx_rc_t
1538 efx_mcdi_firmware_update_supported(
1539         __in                    efx_nic_t *enp,
1540         __out                   boolean_t *supportedp)
1541 {
1542         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
1543         efx_rc_t rc;
1544
1545         if (emcop != NULL) {
1546                 if ((rc = emcop->emco_feature_supported(enp,
1547                             EFX_MCDI_FEATURE_FW_UPDATE, supportedp)) != 0)
1548                         goto fail1;
1549         } else {
1550                 /* Earlier devices always supported updates */
1551                 *supportedp = B_TRUE;
1552         }
1553
1554         return (0);
1555
1556 fail1:
1557         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1558
1559         return (rc);
1560 }
1561
1562         __checkReturn           efx_rc_t
1563 efx_mcdi_macaddr_change_supported(
1564         __in                    efx_nic_t *enp,
1565         __out                   boolean_t *supportedp)
1566 {
1567         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
1568         efx_rc_t rc;
1569
1570         if (emcop != NULL) {
1571                 if ((rc = emcop->emco_feature_supported(enp,
1572                             EFX_MCDI_FEATURE_MACADDR_CHANGE, supportedp)) != 0)
1573                         goto fail1;
1574         } else {
1575                 /* Earlier devices always supported MAC changes */
1576                 *supportedp = B_TRUE;
1577         }
1578
1579         return (0);
1580
1581 fail1:
1582         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1583
1584         return (rc);
1585 }
1586
1587         __checkReturn           efx_rc_t
1588 efx_mcdi_link_control_supported(
1589         __in                    efx_nic_t *enp,
1590         __out                   boolean_t *supportedp)
1591 {
1592         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
1593         efx_rc_t rc;
1594
1595         if (emcop != NULL) {
1596                 if ((rc = emcop->emco_feature_supported(enp,
1597                             EFX_MCDI_FEATURE_LINK_CONTROL, supportedp)) != 0)
1598                         goto fail1;
1599         } else {
1600                 /* Earlier devices always supported link control */
1601                 *supportedp = B_TRUE;
1602         }
1603
1604         return (0);
1605
1606 fail1:
1607         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1608
1609         return (rc);
1610 }
1611
1612         __checkReturn           efx_rc_t
1613 efx_mcdi_mac_spoofing_supported(
1614         __in                    efx_nic_t *enp,
1615         __out                   boolean_t *supportedp)
1616 {
1617         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
1618         efx_rc_t rc;
1619
1620         if (emcop != NULL) {
1621                 if ((rc = emcop->emco_feature_supported(enp,
1622                             EFX_MCDI_FEATURE_MAC_SPOOFING, supportedp)) != 0)
1623                         goto fail1;
1624         } else {
1625                 /* Earlier devices always supported MAC spoofing */
1626                 *supportedp = B_TRUE;
1627         }
1628
1629         return (0);
1630
1631 fail1:
1632         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1633
1634         return (rc);
1635 }
1636
1637 #if EFSYS_OPT_BIST
1638
1639 #if EFSYS_OPT_HUNTINGTON || EFSYS_OPT_MEDFORD || EFSYS_OPT_MEDFORD2
1640 /*
1641  * Enter bist offline mode. This is a fw mode which puts the NIC into a state
1642  * where memory BIST tests can be run and not much else can interfere or happen.
1643  * A reboot is required to exit this mode.
1644  */
1645         __checkReturn           efx_rc_t
1646 efx_mcdi_bist_enable_offline(
1647         __in                    efx_nic_t *enp)
1648 {
1649         efx_mcdi_req_t req;
1650         efx_rc_t rc;
1651
1652         EFX_STATIC_ASSERT(MC_CMD_ENABLE_OFFLINE_BIST_IN_LEN == 0);
1653         EFX_STATIC_ASSERT(MC_CMD_ENABLE_OFFLINE_BIST_OUT_LEN == 0);
1654
1655         req.emr_cmd = MC_CMD_ENABLE_OFFLINE_BIST;
1656         req.emr_in_buf = NULL;
1657         req.emr_in_length = 0;
1658         req.emr_out_buf = NULL;
1659         req.emr_out_length = 0;
1660
1661         efx_mcdi_execute(enp, &req);
1662
1663         if (req.emr_rc != 0) {
1664                 rc = req.emr_rc;
1665                 goto fail1;
1666         }
1667
1668         return (0);
1669
1670 fail1:
1671         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1672
1673         return (rc);
1674 }
1675 #endif /* EFSYS_OPT_HUNTINGTON || EFSYS_OPT_MEDFORD || EFSYS_OPT_MEDFORD2 */
1676
1677         __checkReturn           efx_rc_t
1678 efx_mcdi_bist_start(
1679         __in                    efx_nic_t *enp,
1680         __in                    efx_bist_type_t type)
1681 {
1682         efx_mcdi_req_t req;
1683         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_START_BIST_IN_LEN,
1684                 MC_CMD_START_BIST_OUT_LEN);
1685         efx_rc_t rc;
1686
1687         req.emr_cmd = MC_CMD_START_BIST;
1688         req.emr_in_buf = payload;
1689         req.emr_in_length = MC_CMD_START_BIST_IN_LEN;
1690         req.emr_out_buf = payload;
1691         req.emr_out_length = MC_CMD_START_BIST_OUT_LEN;
1692
1693         switch (type) {
1694         case EFX_BIST_TYPE_PHY_NORMAL:
1695                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE, MC_CMD_PHY_BIST);
1696                 break;
1697         case EFX_BIST_TYPE_PHY_CABLE_SHORT:
1698                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1699                     MC_CMD_PHY_BIST_CABLE_SHORT);
1700                 break;
1701         case EFX_BIST_TYPE_PHY_CABLE_LONG:
1702                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1703                     MC_CMD_PHY_BIST_CABLE_LONG);
1704                 break;
1705         case EFX_BIST_TYPE_MC_MEM:
1706                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1707                     MC_CMD_MC_MEM_BIST);
1708                 break;
1709         case EFX_BIST_TYPE_SAT_MEM:
1710                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1711                     MC_CMD_PORT_MEM_BIST);
1712                 break;
1713         case EFX_BIST_TYPE_REG:
1714                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1715                     MC_CMD_REG_BIST);
1716                 break;
1717         default:
1718                 EFSYS_ASSERT(0);
1719         }
1720
1721         efx_mcdi_execute(enp, &req);
1722
1723         if (req.emr_rc != 0) {
1724                 rc = req.emr_rc;
1725                 goto fail1;
1726         }
1727
1728         return (0);
1729
1730 fail1:
1731         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1732
1733         return (rc);
1734 }
1735
1736 #endif /* EFSYS_OPT_BIST */
1737
1738
1739 /* Enable logging of some events (e.g. link state changes) */
1740         __checkReturn   efx_rc_t
1741 efx_mcdi_log_ctrl(
1742         __in            efx_nic_t *enp)
1743 {
1744         efx_mcdi_req_t req;
1745         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_LOG_CTRL_IN_LEN,
1746                 MC_CMD_LOG_CTRL_OUT_LEN);
1747         efx_rc_t rc;
1748
1749         req.emr_cmd = MC_CMD_LOG_CTRL;
1750         req.emr_in_buf = payload;
1751         req.emr_in_length = MC_CMD_LOG_CTRL_IN_LEN;
1752         req.emr_out_buf = payload;
1753         req.emr_out_length = MC_CMD_LOG_CTRL_OUT_LEN;
1754
1755         MCDI_IN_SET_DWORD(req, LOG_CTRL_IN_LOG_DEST,
1756                     MC_CMD_LOG_CTRL_IN_LOG_DEST_EVQ);
1757         MCDI_IN_SET_DWORD(req, LOG_CTRL_IN_LOG_DEST_EVQ, 0);
1758
1759         efx_mcdi_execute(enp, &req);
1760
1761         if (req.emr_rc != 0) {
1762                 rc = req.emr_rc;
1763                 goto fail1;
1764         }
1765
1766         return (0);
1767
1768 fail1:
1769         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1770
1771         return (rc);
1772 }
1773
1774
1775 #if EFSYS_OPT_MAC_STATS
1776
1777 typedef enum efx_stats_action_e {
1778         EFX_STATS_CLEAR,
1779         EFX_STATS_UPLOAD,
1780         EFX_STATS_ENABLE_NOEVENTS,
1781         EFX_STATS_ENABLE_EVENTS,
1782         EFX_STATS_DISABLE,
1783 } efx_stats_action_t;
1784
1785 static  __checkReturn   efx_rc_t
1786 efx_mcdi_mac_stats(
1787         __in            efx_nic_t *enp,
1788         __in_opt        efsys_mem_t *esmp,
1789         __in            efx_stats_action_t action,
1790         __in            uint16_t period_ms)
1791 {
1792         efx_mcdi_req_t req;
1793         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_MAC_STATS_IN_LEN,
1794                 MC_CMD_MAC_STATS_V2_OUT_DMA_LEN);
1795         int clear = (action == EFX_STATS_CLEAR);
1796         int upload = (action == EFX_STATS_UPLOAD);
1797         int enable = (action == EFX_STATS_ENABLE_NOEVENTS);
1798         int events = (action == EFX_STATS_ENABLE_EVENTS);
1799         int disable = (action == EFX_STATS_DISABLE);
1800         efx_rc_t rc;
1801
1802         req.emr_cmd = MC_CMD_MAC_STATS;
1803         req.emr_in_buf = payload;
1804         req.emr_in_length = MC_CMD_MAC_STATS_IN_LEN;
1805         req.emr_out_buf = payload;
1806         req.emr_out_length = MC_CMD_MAC_STATS_V2_OUT_DMA_LEN;
1807
1808         MCDI_IN_POPULATE_DWORD_6(req, MAC_STATS_IN_CMD,
1809             MAC_STATS_IN_DMA, upload,
1810             MAC_STATS_IN_CLEAR, clear,
1811             MAC_STATS_IN_PERIODIC_CHANGE, enable | events | disable,
1812             MAC_STATS_IN_PERIODIC_ENABLE, enable | events,
1813             MAC_STATS_IN_PERIODIC_NOEVENT, !events,
1814             MAC_STATS_IN_PERIOD_MS, (enable | events) ? period_ms : 0);
1815
1816         if (enable || events || upload) {
1817                 const efx_nic_cfg_t *encp = &enp->en_nic_cfg;
1818                 uint32_t bytes;
1819
1820                 /* Periodic stats or stats upload require a DMA buffer */
1821                 if (esmp == NULL) {
1822                         rc = EINVAL;
1823                         goto fail1;
1824                 }
1825
1826                 if (encp->enc_mac_stats_nstats < MC_CMD_MAC_NSTATS) {
1827                         /* MAC stats count too small for legacy MAC stats */
1828                         rc = ENOSPC;
1829                         goto fail2;
1830                 }
1831
1832                 bytes = encp->enc_mac_stats_nstats * sizeof (efx_qword_t);
1833
1834                 if (EFSYS_MEM_SIZE(esmp) < bytes) {
1835                         /* DMA buffer too small */
1836                         rc = ENOSPC;
1837                         goto fail3;
1838                 }
1839
1840                 MCDI_IN_SET_DWORD(req, MAC_STATS_IN_DMA_ADDR_LO,
1841                             EFSYS_MEM_ADDR(esmp) & 0xffffffff);
1842                 MCDI_IN_SET_DWORD(req, MAC_STATS_IN_DMA_ADDR_HI,
1843                             EFSYS_MEM_ADDR(esmp) >> 32);
1844                 MCDI_IN_SET_DWORD(req, MAC_STATS_IN_DMA_LEN, bytes);
1845         }
1846
1847         /*
1848          * NOTE: Do not use EVB_PORT_ID_ASSIGNED when disabling periodic stats,
1849          *       as this may fail (and leave periodic DMA enabled) if the
1850          *       vadapter has already been deleted.
1851          */
1852         MCDI_IN_SET_DWORD(req, MAC_STATS_IN_PORT_ID,
1853             (disable ? EVB_PORT_ID_NULL : enp->en_vport_id));
1854
1855         efx_mcdi_execute(enp, &req);
1856
1857         if (req.emr_rc != 0) {
1858                 /* EF10: Expect ENOENT if no DMA queues are initialised */
1859                 if ((req.emr_rc != ENOENT) ||
1860                     (enp->en_rx_qcount + enp->en_tx_qcount != 0)) {
1861                         rc = req.emr_rc;
1862                         goto fail4;
1863                 }
1864         }
1865
1866         return (0);
1867
1868 fail4:
1869         EFSYS_PROBE(fail4);
1870 fail3:
1871         EFSYS_PROBE(fail3);
1872 fail2:
1873         EFSYS_PROBE(fail2);
1874 fail1:
1875         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1876
1877         return (rc);
1878 }
1879
1880         __checkReturn   efx_rc_t
1881 efx_mcdi_mac_stats_clear(
1882         __in            efx_nic_t *enp)
1883 {
1884         efx_rc_t rc;
1885
1886         if ((rc = efx_mcdi_mac_stats(enp, NULL, EFX_STATS_CLEAR, 0)) != 0)
1887                 goto fail1;
1888
1889         return (0);
1890
1891 fail1:
1892         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1893
1894         return (rc);
1895 }
1896
1897         __checkReturn   efx_rc_t
1898 efx_mcdi_mac_stats_upload(
1899         __in            efx_nic_t *enp,
1900         __in            efsys_mem_t *esmp)
1901 {
1902         efx_rc_t rc;
1903
1904         /*
1905          * The MC DMAs aggregate statistics for our convenience, so we can
1906          * avoid having to pull the statistics buffer into the cache to
1907          * maintain cumulative statistics.
1908          */
1909         if ((rc = efx_mcdi_mac_stats(enp, esmp, EFX_STATS_UPLOAD, 0)) != 0)
1910                 goto fail1;
1911
1912         return (0);
1913
1914 fail1:
1915         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1916
1917         return (rc);
1918 }
1919
1920         __checkReturn   efx_rc_t
1921 efx_mcdi_mac_stats_periodic(
1922         __in            efx_nic_t *enp,
1923         __in            efsys_mem_t *esmp,
1924         __in            uint16_t period_ms,
1925         __in            boolean_t events)
1926 {
1927         efx_rc_t rc;
1928
1929         /*
1930          * The MC DMAs aggregate statistics for our convenience, so we can
1931          * avoid having to pull the statistics buffer into the cache to
1932          * maintain cumulative statistics.
1933          * Huntington uses a fixed 1sec period.
1934          * Medford uses a fixed 1sec period before v6.2.1.1033 firmware.
1935          */
1936         if (period_ms == 0)
1937                 rc = efx_mcdi_mac_stats(enp, NULL, EFX_STATS_DISABLE, 0);
1938         else if (events)
1939                 rc = efx_mcdi_mac_stats(enp, esmp, EFX_STATS_ENABLE_EVENTS,
1940                     period_ms);
1941         else
1942                 rc = efx_mcdi_mac_stats(enp, esmp, EFX_STATS_ENABLE_NOEVENTS,
1943                     period_ms);
1944
1945         if (rc != 0)
1946                 goto fail1;
1947
1948         return (0);
1949
1950 fail1:
1951         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1952
1953         return (rc);
1954 }
1955
1956 #endif  /* EFSYS_OPT_MAC_STATS */
1957
1958 #if EFSYS_OPT_HUNTINGTON || EFSYS_OPT_MEDFORD || EFSYS_OPT_MEDFORD2
1959
1960 /*
1961  * This function returns the pf and vf number of a function.  If it is a pf the
1962  * vf number is 0xffff.  The vf number is the index of the vf on that
1963  * function. So if you have 3 vfs on pf 0 the 3 vfs will return (pf=0,vf=0),
1964  * (pf=0,vf=1), (pf=0,vf=2) aand the pf will return (pf=0, vf=0xffff).
1965  */
1966         __checkReturn           efx_rc_t
1967 efx_mcdi_get_function_info(
1968         __in                    efx_nic_t *enp,
1969         __out                   uint32_t *pfp,
1970         __out_opt               uint32_t *vfp)
1971 {
1972         efx_mcdi_req_t req;
1973         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_FUNCTION_INFO_IN_LEN,
1974                 MC_CMD_GET_FUNCTION_INFO_OUT_LEN);
1975         efx_rc_t rc;
1976
1977         req.emr_cmd = MC_CMD_GET_FUNCTION_INFO;
1978         req.emr_in_buf = payload;
1979         req.emr_in_length = MC_CMD_GET_FUNCTION_INFO_IN_LEN;
1980         req.emr_out_buf = payload;
1981         req.emr_out_length = MC_CMD_GET_FUNCTION_INFO_OUT_LEN;
1982
1983         efx_mcdi_execute(enp, &req);
1984
1985         if (req.emr_rc != 0) {
1986                 rc = req.emr_rc;
1987                 goto fail1;
1988         }
1989
1990         if (req.emr_out_length_used < MC_CMD_GET_FUNCTION_INFO_OUT_LEN) {
1991                 rc = EMSGSIZE;
1992                 goto fail2;
1993         }
1994
1995         *pfp = MCDI_OUT_DWORD(req, GET_FUNCTION_INFO_OUT_PF);
1996         if (vfp != NULL)
1997                 *vfp = MCDI_OUT_DWORD(req, GET_FUNCTION_INFO_OUT_VF);
1998
1999         return (0);
2000
2001 fail2:
2002         EFSYS_PROBE(fail2);
2003 fail1:
2004         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2005
2006         return (rc);
2007 }
2008
2009         __checkReturn           efx_rc_t
2010 efx_mcdi_privilege_mask(
2011         __in                    efx_nic_t *enp,
2012         __in                    uint32_t pf,
2013         __in                    uint32_t vf,
2014         __out                   uint32_t *maskp)
2015 {
2016         efx_mcdi_req_t req;
2017         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_PRIVILEGE_MASK_IN_LEN,
2018                 MC_CMD_PRIVILEGE_MASK_OUT_LEN);
2019         efx_rc_t rc;
2020
2021         req.emr_cmd = MC_CMD_PRIVILEGE_MASK;
2022         req.emr_in_buf = payload;
2023         req.emr_in_length = MC_CMD_PRIVILEGE_MASK_IN_LEN;
2024         req.emr_out_buf = payload;
2025         req.emr_out_length = MC_CMD_PRIVILEGE_MASK_OUT_LEN;
2026
2027         MCDI_IN_POPULATE_DWORD_2(req, PRIVILEGE_MASK_IN_FUNCTION,
2028             PRIVILEGE_MASK_IN_FUNCTION_PF, pf,
2029             PRIVILEGE_MASK_IN_FUNCTION_VF, vf);
2030
2031         efx_mcdi_execute(enp, &req);
2032
2033         if (req.emr_rc != 0) {
2034                 rc = req.emr_rc;
2035                 goto fail1;
2036         }
2037
2038         if (req.emr_out_length_used < MC_CMD_PRIVILEGE_MASK_OUT_LEN) {
2039                 rc = EMSGSIZE;
2040                 goto fail2;
2041         }
2042
2043         *maskp = MCDI_OUT_DWORD(req, PRIVILEGE_MASK_OUT_OLD_MASK);
2044
2045         return (0);
2046
2047 fail2:
2048         EFSYS_PROBE(fail2);
2049 fail1:
2050         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2051
2052         return (rc);
2053 }
2054
2055 #endif /* EFSYS_OPT_HUNTINGTON || EFSYS_OPT_MEDFORD || EFSYS_OPT_MEDFORD2 */
2056
2057         __checkReturn           efx_rc_t
2058 efx_mcdi_set_workaround(
2059         __in                    efx_nic_t *enp,
2060         __in                    uint32_t type,
2061         __in                    boolean_t enabled,
2062         __out_opt               uint32_t *flagsp)
2063 {
2064         efx_mcdi_req_t req;
2065         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_WORKAROUND_IN_LEN,
2066                 MC_CMD_WORKAROUND_EXT_OUT_LEN);
2067         efx_rc_t rc;
2068
2069         req.emr_cmd = MC_CMD_WORKAROUND;
2070         req.emr_in_buf = payload;
2071         req.emr_in_length = MC_CMD_WORKAROUND_IN_LEN;
2072         req.emr_out_buf = payload;
2073         req.emr_out_length = MC_CMD_WORKAROUND_OUT_LEN;
2074
2075         MCDI_IN_SET_DWORD(req, WORKAROUND_IN_TYPE, type);
2076         MCDI_IN_SET_DWORD(req, WORKAROUND_IN_ENABLED, enabled ? 1 : 0);
2077
2078         efx_mcdi_execute_quiet(enp, &req);
2079
2080         if (req.emr_rc != 0) {
2081                 rc = req.emr_rc;
2082                 goto fail1;
2083         }
2084
2085         if (flagsp != NULL) {
2086                 if (req.emr_out_length_used >= MC_CMD_WORKAROUND_EXT_OUT_LEN)
2087                         *flagsp = MCDI_OUT_DWORD(req, WORKAROUND_EXT_OUT_FLAGS);
2088                 else
2089                         *flagsp = 0;
2090         }
2091
2092         return (0);
2093
2094 fail1:
2095         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2096
2097         return (rc);
2098 }
2099
2100
2101         __checkReturn           efx_rc_t
2102 efx_mcdi_get_workarounds(
2103         __in                    efx_nic_t *enp,
2104         __out_opt               uint32_t *implementedp,
2105         __out_opt               uint32_t *enabledp)
2106 {
2107         efx_mcdi_req_t req;
2108         EFX_MCDI_DECLARE_BUF(payload, 0, MC_CMD_GET_WORKAROUNDS_OUT_LEN);
2109         efx_rc_t rc;
2110
2111         req.emr_cmd = MC_CMD_GET_WORKAROUNDS;
2112         req.emr_in_buf = NULL;
2113         req.emr_in_length = 0;
2114         req.emr_out_buf = payload;
2115         req.emr_out_length = MC_CMD_GET_WORKAROUNDS_OUT_LEN;
2116
2117         efx_mcdi_execute(enp, &req);
2118
2119         if (req.emr_rc != 0) {
2120                 rc = req.emr_rc;
2121                 goto fail1;
2122         }
2123
2124         if (implementedp != NULL) {
2125                 *implementedp =
2126                     MCDI_OUT_DWORD(req, GET_WORKAROUNDS_OUT_IMPLEMENTED);
2127         }
2128
2129         if (enabledp != NULL) {
2130                 *enabledp = MCDI_OUT_DWORD(req, GET_WORKAROUNDS_OUT_ENABLED);
2131         }
2132
2133         return (0);
2134
2135 fail1:
2136         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2137
2138         return (rc);
2139 }
2140
2141 /*
2142  * Size of media information page in accordance with SFF-8472 and SFF-8436.
2143  * It is used in MCDI interface as well.
2144  */
2145 #define EFX_PHY_MEDIA_INFO_PAGE_SIZE            0x80
2146
2147 static  __checkReturn           efx_rc_t
2148 efx_mcdi_get_phy_media_info(
2149         __in                    efx_nic_t *enp,
2150         __in                    uint32_t mcdi_page,
2151         __in                    uint8_t offset,
2152         __in                    uint8_t len,
2153         __out_bcount(len)       uint8_t *data)
2154 {
2155         efx_mcdi_req_t req;
2156         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_PHY_MEDIA_INFO_IN_LEN,
2157                 MC_CMD_GET_PHY_MEDIA_INFO_OUT_LEN(
2158                         EFX_PHY_MEDIA_INFO_PAGE_SIZE));
2159         efx_rc_t rc;
2160
2161         EFSYS_ASSERT((uint32_t)offset + len <= EFX_PHY_MEDIA_INFO_PAGE_SIZE);
2162
2163         req.emr_cmd = MC_CMD_GET_PHY_MEDIA_INFO;
2164         req.emr_in_buf = payload;
2165         req.emr_in_length = MC_CMD_GET_PHY_MEDIA_INFO_IN_LEN;
2166         req.emr_out_buf = payload;
2167         req.emr_out_length =
2168             MC_CMD_GET_PHY_MEDIA_INFO_OUT_LEN(EFX_PHY_MEDIA_INFO_PAGE_SIZE);
2169
2170         MCDI_IN_SET_DWORD(req, GET_PHY_MEDIA_INFO_IN_PAGE, mcdi_page);
2171
2172         efx_mcdi_execute(enp, &req);
2173
2174         if (req.emr_rc != 0) {
2175                 rc = req.emr_rc;
2176                 goto fail1;
2177         }
2178
2179         if (req.emr_out_length_used !=
2180             MC_CMD_GET_PHY_MEDIA_INFO_OUT_LEN(EFX_PHY_MEDIA_INFO_PAGE_SIZE)) {
2181                 rc = EMSGSIZE;
2182                 goto fail2;
2183         }
2184
2185         if (MCDI_OUT_DWORD(req, GET_PHY_MEDIA_INFO_OUT_DATALEN) !=
2186             EFX_PHY_MEDIA_INFO_PAGE_SIZE) {
2187                 rc = EIO;
2188                 goto fail3;
2189         }
2190
2191         memcpy(data,
2192             MCDI_OUT2(req, uint8_t, GET_PHY_MEDIA_INFO_OUT_DATA) + offset,
2193             len);
2194
2195         return (0);
2196
2197 fail3:
2198         EFSYS_PROBE(fail3);
2199 fail2:
2200         EFSYS_PROBE(fail2);
2201 fail1:
2202         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2203
2204         return (rc);
2205 }
2206
2207 /*
2208  * 2-wire device address of the base information in accordance with SFF-8472
2209  * Diagnostic Monitoring Interface for Optical Transceivers section
2210  * 4 Memory Organization.
2211  */
2212 #define EFX_PHY_MEDIA_INFO_DEV_ADDR_SFP_BASE    0xA0
2213
2214 /*
2215  * 2-wire device address of the digital diagnostics monitoring interface
2216  * in accordance with SFF-8472 Diagnostic Monitoring Interface for Optical
2217  * Transceivers section 4 Memory Organization.
2218  */
2219 #define EFX_PHY_MEDIA_INFO_DEV_ADDR_SFP_DDM     0xA2
2220
2221 /*
2222  * Hard wired 2-wire device address for QSFP+ in accordance with SFF-8436
2223  * QSFP+ 10 Gbs 4X PLUGGABLE TRANSCEIVER section 7.4 Device Addressing and
2224  * Operation.
2225  */
2226 #define EFX_PHY_MEDIA_INFO_DEV_ADDR_QSFP        0xA0
2227
2228         __checkReturn           efx_rc_t
2229 efx_mcdi_phy_module_get_info(
2230         __in                    efx_nic_t *enp,
2231         __in                    uint8_t dev_addr,
2232         __in                    uint8_t offset,
2233         __in                    uint8_t len,
2234         __out_bcount(len)       uint8_t *data)
2235 {
2236         efx_port_t *epp = &(enp->en_port);
2237         efx_rc_t rc;
2238         uint32_t mcdi_lower_page;
2239         uint32_t mcdi_upper_page;
2240
2241         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_PROBE);
2242
2243         /*
2244          * Map device address to MC_CMD_GET_PHY_MEDIA_INFO pages.
2245          * Offset plus length interface allows to access page 0 only.
2246          * I.e. non-zero upper pages are not accessible.
2247          * See SFF-8472 section 4 Memory Organization and SFF-8436 section 7.6
2248          * QSFP+ Memory Map for details on how information is structured
2249          * and accessible.
2250          */
2251         switch (epp->ep_fixed_port_type) {
2252         case EFX_PHY_MEDIA_SFP_PLUS:
2253                 /*
2254                  * In accordance with SFF-8472 Diagnostic Monitoring
2255                  * Interface for Optical Transceivers section 4 Memory
2256                  * Organization two 2-wire addresses are defined.
2257                  */
2258                 switch (dev_addr) {
2259                 /* Base information */
2260                 case EFX_PHY_MEDIA_INFO_DEV_ADDR_SFP_BASE:
2261                         /*
2262                          * MCDI page 0 should be used to access lower
2263                          * page 0 (0x00 - 0x7f) at the device address 0xA0.
2264                          */
2265                         mcdi_lower_page = 0;
2266                         /*
2267                          * MCDI page 1 should be used to access  upper
2268                          * page 0 (0x80 - 0xff) at the device address 0xA0.
2269                          */
2270                         mcdi_upper_page = 1;
2271                         break;
2272                 /* Diagnostics */
2273                 case EFX_PHY_MEDIA_INFO_DEV_ADDR_SFP_DDM:
2274                         /*
2275                          * MCDI page 2 should be used to access lower
2276                          * page 0 (0x00 - 0x7f) at the device address 0xA2.
2277                          */
2278                         mcdi_lower_page = 2;
2279                         /*
2280                          * MCDI page 3 should be used to access upper
2281                          * page 0 (0x80 - 0xff) at the device address 0xA2.
2282                          */
2283                         mcdi_upper_page = 3;
2284                         break;
2285                 default:
2286                         rc = ENOTSUP;
2287                         goto fail1;
2288                 }
2289                 break;
2290         case EFX_PHY_MEDIA_QSFP_PLUS:
2291                 switch (dev_addr) {
2292                 case EFX_PHY_MEDIA_INFO_DEV_ADDR_QSFP:
2293                         /*
2294                          * MCDI page -1 should be used to access lower page 0
2295                          * (0x00 - 0x7f).
2296                          */
2297                         mcdi_lower_page = (uint32_t)-1;
2298                         /*
2299                          * MCDI page 0 should be used to access upper page 0
2300                          * (0x80h - 0xff).
2301                          */
2302                         mcdi_upper_page = 0;
2303                         break;
2304                 default:
2305                         rc = ENOTSUP;
2306                         goto fail1;
2307                 }
2308                 break;
2309         default:
2310                 rc = ENOTSUP;
2311                 goto fail1;
2312         }
2313
2314         if (offset < EFX_PHY_MEDIA_INFO_PAGE_SIZE) {
2315                 uint8_t read_len =
2316                     MIN(len, EFX_PHY_MEDIA_INFO_PAGE_SIZE - offset);
2317
2318                 rc = efx_mcdi_get_phy_media_info(enp,
2319                     mcdi_lower_page, offset, read_len, data);
2320                 if (rc != 0)
2321                         goto fail2;
2322
2323                 data += read_len;
2324                 len -= read_len;
2325
2326                 offset = 0;
2327         } else {
2328                 offset -= EFX_PHY_MEDIA_INFO_PAGE_SIZE;
2329         }
2330
2331         if (len > 0) {
2332                 EFSYS_ASSERT3U(len, <=, EFX_PHY_MEDIA_INFO_PAGE_SIZE);
2333                 EFSYS_ASSERT3U(offset, <, EFX_PHY_MEDIA_INFO_PAGE_SIZE);
2334
2335                 rc = efx_mcdi_get_phy_media_info(enp,
2336                     mcdi_upper_page, offset, len, data);
2337                 if (rc != 0)
2338                         goto fail3;
2339         }
2340
2341         return (0);
2342
2343 fail3:
2344         EFSYS_PROBE(fail3);
2345 fail2:
2346         EFSYS_PROBE(fail2);
2347 fail1:
2348         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2349
2350         return (rc);
2351 }
2352
2353 #endif  /* EFSYS_OPT_MCDI */