drivers/net/sfc/base/efx_mcdi.c

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  *
   3  * Copyright (c) 2008-2018 Solarflare Communications Inc.
   4  * All rights reserved.
   5  */
   6
   7 #include "efx.h"
   8 #include "efx_impl.h"
   9
  10 #if EFSYS_OPT_MCDI
  11
  12 /*
  13  * There are three versions of the MCDI interface:
  14  *  - MCDIv0: Siena BootROM. Transport uses MCDIv1 headers.
  15  *  - MCDIv1: Siena firmware and Huntington BootROM.
  16  *  - MCDIv2: EF10 firmware (Huntington/Medford) and Medford BootROM.
  17  *            Transport uses MCDIv2 headers.
  18  *
  19  * MCDIv2 Header NOT_EPOCH flag
  20  * ----------------------------
  21  * A new epoch begins at initial startup or after an MC reboot, and defines when
  22  * the MC should reject stale MCDI requests.
  23  *
  24  * The first MCDI request sent by the host should contain NOT_EPOCH=0, and all
  25  * subsequent requests (until the next MC reboot) should contain NOT_EPOCH=1.
  26  *
  27  * After rebooting the MC will fail all requests with NOT_EPOCH=1 by writing a
  28  * response with ERROR=1 and DATALEN=0 until a request is seen with NOT_EPOCH=0.
  29  */
  30
  31
  32
  33 #if EFSYS_OPT_SIENA
  34
  35 static const efx_mcdi_ops_t     __efx_mcdi_siena_ops = {
  36         siena_mcdi_init,                /* emco_init */
  37         siena_mcdi_send_request,        /* emco_send_request */
  38         siena_mcdi_poll_reboot,         /* emco_poll_reboot */
  39         siena_mcdi_poll_response,       /* emco_poll_response */
  40         siena_mcdi_read_response,       /* emco_read_response */
  41         siena_mcdi_fini,                /* emco_fini */
  42         siena_mcdi_feature_supported,   /* emco_feature_supported */
  43         siena_mcdi_get_timeout,         /* emco_get_timeout */
  44 };
  45
  46 #endif  /* EFSYS_OPT_SIENA */
  47
  48 #if EFX_OPTS_EF10()
  49
  50 static const efx_mcdi_ops_t     __efx_mcdi_ef10_ops = {
  51         ef10_mcdi_init,                 /* emco_init */
  52         ef10_mcdi_send_request,         /* emco_send_request */
  53         ef10_mcdi_poll_reboot,          /* emco_poll_reboot */
  54         ef10_mcdi_poll_response,        /* emco_poll_response */
  55         ef10_mcdi_read_response,        /* emco_read_response */
  56         ef10_mcdi_fini,                 /* emco_fini */
  57         ef10_mcdi_feature_supported,    /* emco_feature_supported */
  58         ef10_mcdi_get_timeout,          /* emco_get_timeout */
  59 };
  60
  61 #endif  /* EFX_OPTS_EF10() */
  62
  63
  64
  65         __checkReturn   efx_rc_t
  66 efx_mcdi_init(
  67         __in            efx_nic_t *enp,
  68         __in            const efx_mcdi_transport_t *emtp)
  69 {
  70         const efx_mcdi_ops_t *emcop;
  71         efx_rc_t rc;
  72
  73         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
  74         EFSYS_ASSERT3U(enp->en_mod_flags, ==, 0);
  75
  76         switch (enp->en_family) {
  77 #if EFSYS_OPT_SIENA
  78         case EFX_FAMILY_SIENA:
  79                 emcop = &__efx_mcdi_siena_ops;
  80                 break;
  81 #endif  /* EFSYS_OPT_SIENA */
  82
  83 #if EFSYS_OPT_HUNTINGTON
  84         case EFX_FAMILY_HUNTINGTON:
  85                 emcop = &__efx_mcdi_ef10_ops;
  86                 break;
  87 #endif  /* EFSYS_OPT_HUNTINGTON */
  88
  89 #if EFSYS_OPT_MEDFORD
  90         case EFX_FAMILY_MEDFORD:
  91                 emcop = &__efx_mcdi_ef10_ops;
  92                 break;
  93 #endif  /* EFSYS_OPT_MEDFORD */
  94
  95 #if EFSYS_OPT_MEDFORD2
  96         case EFX_FAMILY_MEDFORD2:
  97                 emcop = &__efx_mcdi_ef10_ops;
  98                 break;
  99 #endif  /* EFSYS_OPT_MEDFORD2 */
 100
 101         default:
 102                 EFSYS_ASSERT(0);
 103                 rc = ENOTSUP;
 104                 goto fail1;
 105         }
 106
 107         if (enp->en_features & EFX_FEATURE_MCDI_DMA) {
 108                 /* MCDI requires a DMA buffer in host memory */
 109                 if ((emtp == NULL) || (emtp->emt_dma_mem) == NULL) {
 110                         rc = EINVAL;
 111                         goto fail2;
 112                 }
 113         }
 114         enp->en_mcdi.em_emtp = emtp;
 115
 116         if (emcop != NULL && emcop->emco_init != NULL) {
 117                 if ((rc = emcop->emco_init(enp, emtp)) != 0)
 118                         goto fail3;
 119         }
 120
 121         enp->en_mcdi.em_emcop = emcop;
 122         enp->en_mod_flags |= EFX_MOD_MCDI;
 123
 124         return (0);
 125
 126 fail3:
 127         EFSYS_PROBE(fail3);
 128 fail2:
 129         EFSYS_PROBE(fail2);
 130 fail1:
 131         EFSYS_PROBE1(fail1, efx_rc_t, rc);
 132
 133         enp->en_mcdi.em_emcop = NULL;
 134         enp->en_mcdi.em_emtp = NULL;
 135         enp->en_mod_flags &= ~EFX_MOD_MCDI;
 136
 137         return (rc);
 138 }
 139
 140                         void
 141 efx_mcdi_fini(
 142         __in            efx_nic_t *enp)
 143 {
 144         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 145         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 146
 147         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
 148         EFSYS_ASSERT3U(enp->en_mod_flags, ==, EFX_MOD_MCDI);
 149
 150         if (emcop != NULL && emcop->emco_fini != NULL)
 151                 emcop->emco_fini(enp);
 152
 153         emip->emi_port = 0;
 154         emip->emi_aborted = 0;
 155
 156         enp->en_mcdi.em_emcop = NULL;
 157         enp->en_mod_flags &= ~EFX_MOD_MCDI;
 158 }
 159
 160                         void
 161 efx_mcdi_new_epoch(
 162         __in            efx_nic_t *enp)
 163 {
 164         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 165         efsys_lock_state_t state;
 166
 167         /* Start a new epoch (allow fresh MCDI requests to succeed) */
 168         EFSYS_LOCK(enp->en_eslp, state);
 169         emip->emi_new_epoch = B_TRUE;
 170         EFSYS_UNLOCK(enp->en_eslp, state);
 171 }
 172
 173 static                  void
 174 efx_mcdi_send_request(
 175         __in            efx_nic_t *enp,
 176         __in            void *hdrp,
 177         __in            size_t hdr_len,
 178         __in            void *sdup,
 179         __in            size_t sdu_len)
 180 {
 181         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 182
 183         emcop->emco_send_request(enp, hdrp, hdr_len, sdup, sdu_len);
 184 }
 185
 186 static                  efx_rc_t
 187 efx_mcdi_poll_reboot(
 188         __in            efx_nic_t *enp)
 189 {
 190         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 191         efx_rc_t rc;
 192
 193         rc = emcop->emco_poll_reboot(enp);
 194         return (rc);
 195 }
 196
 197 static                  boolean_t
 198 efx_mcdi_poll_response(
 199         __in            efx_nic_t *enp)
 200 {
 201         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 202         boolean_t available;
 203
 204         available = emcop->emco_poll_response(enp);
 205         return (available);
 206 }
 207
 208 static                  void
 209 efx_mcdi_read_response(
 210         __in            efx_nic_t *enp,
 211         __out           void *bufferp,
 212         __in            size_t offset,
 213         __in            size_t length)
 214 {
 215         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 216
 217         emcop->emco_read_response(enp, bufferp, offset, length);
 218 }
 219
 220                         void
 221 efx_mcdi_request_start(
 222         __in            efx_nic_t *enp,
 223         __in            efx_mcdi_req_t *emrp,
 224         __in            boolean_t ev_cpl)
 225 {
 226 #if EFSYS_OPT_MCDI_LOGGING
 227         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 228 #endif
 229         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 230         efx_dword_t hdr[2];
 231         size_t hdr_len;
 232         unsigned int max_version;
 233         unsigned int seq;
 234         unsigned int xflags;
 235         boolean_t new_epoch;
 236         efsys_lock_state_t state;
 237
 238         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
 239         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 240         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 241
 242         /*
 243          * efx_mcdi_request_start() is naturally serialised against both
 244          * efx_mcdi_request_poll() and efx_mcdi_ev_cpl()/efx_mcdi_ev_death(),
 245          * by virtue of there only being one outstanding MCDI request.
 246          * Unfortunately, upper layers may also call efx_mcdi_request_abort()
 247          * at any time, to timeout a pending mcdi request, That request may
 248          * then subsequently complete, meaning efx_mcdi_ev_cpl() or
 249          * efx_mcdi_ev_death() may end up running in parallel with
 250          * efx_mcdi_request_start(). This race is handled by ensuring that
 251          * %emi_pending_req, %emi_ev_cpl and %emi_seq are protected by the
 252          * en_eslp lock.
 253          */
 254         EFSYS_LOCK(enp->en_eslp, state);
 255         EFSYS_ASSERT(emip->emi_pending_req == NULL);
 256         emip->emi_pending_req = emrp;
 257         emip->emi_ev_cpl = ev_cpl;
 258         emip->emi_poll_cnt = 0;
 259         seq = emip->emi_seq++ & EFX_MASK32(MCDI_HEADER_SEQ);
 260         new_epoch = emip->emi_new_epoch;
 261         max_version = emip->emi_max_version;
 262         EFSYS_UNLOCK(enp->en_eslp, state);
 263
 264         xflags = 0;
 265         if (ev_cpl)
 266                 xflags |= MCDI_HEADER_XFLAGS_EVREQ;
 267
 268         /*
 269          * Huntington firmware supports MCDIv2, but the Huntington BootROM only
 270          * supports MCDIv1. Use MCDIv1 headers for MCDIv1 commands where
 271          * possible to support this.
 272          */
 273         if ((max_version >= 2) &&
 274             ((emrp->emr_cmd > MC_CMD_CMD_SPACE_ESCAPE_7) ||
 275             (emrp->emr_in_length > MCDI_CTL_SDU_LEN_MAX_V1) ||
 276             (emrp->emr_out_length > MCDI_CTL_SDU_LEN_MAX_V1))) {
 277                 /* Construct MCDI v2 header */
 278                 hdr_len = sizeof (hdr);
 279                 EFX_POPULATE_DWORD_8(hdr[0],
 280                     MCDI_HEADER_CODE, MC_CMD_V2_EXTN,
 281                     MCDI_HEADER_RESYNC, 1,
 282                     MCDI_HEADER_DATALEN, 0,
 283                     MCDI_HEADER_SEQ, seq,
 284                     MCDI_HEADER_NOT_EPOCH, new_epoch ? 0 : 1,
 285                     MCDI_HEADER_ERROR, 0,
 286                     MCDI_HEADER_RESPONSE, 0,
 287                     MCDI_HEADER_XFLAGS, xflags);
 288
 289                 EFX_POPULATE_DWORD_2(hdr[1],
 290                     MC_CMD_V2_EXTN_IN_EXTENDED_CMD, emrp->emr_cmd,
 291                     MC_CMD_V2_EXTN_IN_ACTUAL_LEN, emrp->emr_in_length);
 292         } else {
 293                 /* Construct MCDI v1 header */
 294                 hdr_len = sizeof (hdr[0]);
 295                 EFX_POPULATE_DWORD_8(hdr[0],
 296                     MCDI_HEADER_CODE, emrp->emr_cmd,
 297                     MCDI_HEADER_RESYNC, 1,
 298                     MCDI_HEADER_DATALEN, emrp->emr_in_length,
 299                     MCDI_HEADER_SEQ, seq,
 300                     MCDI_HEADER_NOT_EPOCH, new_epoch ? 0 : 1,
 301                     MCDI_HEADER_ERROR, 0,
 302                     MCDI_HEADER_RESPONSE, 0,
 303                     MCDI_HEADER_XFLAGS, xflags);
 304         }
 305
 306 #if EFSYS_OPT_MCDI_LOGGING
 307         if (emtp->emt_logger != NULL) {
 308                 emtp->emt_logger(emtp->emt_context, EFX_LOG_MCDI_REQUEST,
 309                     &hdr[0], hdr_len,
 310                     emrp->emr_in_buf, emrp->emr_in_length);
 311         }
 312 #endif /* EFSYS_OPT_MCDI_LOGGING */
 313
 314         efx_mcdi_send_request(enp, &hdr[0], hdr_len,
 315             emrp->emr_in_buf, emrp->emr_in_length);
 316 }
 317
 318
 319 static                  void
 320 efx_mcdi_read_response_header(
 321         __in            efx_nic_t *enp,
 322         __inout         efx_mcdi_req_t *emrp)
 323 {
 324 #if EFSYS_OPT_MCDI_LOGGING
 325         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 326 #endif /* EFSYS_OPT_MCDI_LOGGING */
 327         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 328         efx_dword_t hdr[2];
 329         unsigned int hdr_len;
 330         unsigned int data_len;
 331         unsigned int seq;
 332         unsigned int cmd;
 333         unsigned int error;
 334         efx_rc_t rc;
 335
 336         EFSYS_ASSERT(emrp != NULL);
 337
 338         efx_mcdi_read_response(enp, &hdr[0], 0, sizeof (hdr[0]));
 339         hdr_len = sizeof (hdr[0]);
 340
 341         cmd = EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_CODE);
 342         seq = EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_SEQ);
 343         error = EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_ERROR);
 344
 345         if (cmd != MC_CMD_V2_EXTN) {
 346                 data_len = EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_DATALEN);
 347         } else {
 348                 efx_mcdi_read_response(enp, &hdr[1], hdr_len, sizeof (hdr[1]));
 349                 hdr_len += sizeof (hdr[1]);
 350
 351                 cmd = EFX_DWORD_FIELD(hdr[1], MC_CMD_V2_EXTN_IN_EXTENDED_CMD);
 352                 data_len =
 353                     EFX_DWORD_FIELD(hdr[1], MC_CMD_V2_EXTN_IN_ACTUAL_LEN);
 354         }
 355
 356         if (error && (data_len == 0)) {
 357                 /* The MC has rebooted since the request was sent. */
 358                 EFSYS_SPIN(EFX_MCDI_STATUS_SLEEP_US);
 359                 efx_mcdi_poll_reboot(enp);
 360                 rc = EIO;
 361                 goto fail1;
 362         }
 363         if ((cmd != emrp->emr_cmd) ||
 364             (seq != ((emip->emi_seq - 1) & EFX_MASK32(MCDI_HEADER_SEQ)))) {
 365                 /* Response is for a different request */
 366                 rc = EIO;
 367                 goto fail2;
 368         }
 369         if (error) {
 370                 efx_dword_t err[2];
 371                 unsigned int err_len = MIN(data_len, sizeof (err));
 372                 int err_code = MC_CMD_ERR_EPROTO;
 373                 int err_arg = 0;
 374
 375                 /* Read error code (and arg num for MCDI v2 commands) */
 376                 efx_mcdi_read_response(enp, &err, hdr_len, err_len);
 377
 378                 if (err_len >= (MC_CMD_ERR_CODE_OFST + sizeof (efx_dword_t)))
 379                         err_code = EFX_DWORD_FIELD(err[0], EFX_DWORD_0);
 380 #ifdef WITH_MCDI_V2
 381                 if (err_len >= (MC_CMD_ERR_ARG_OFST + sizeof (efx_dword_t)))
 382                         err_arg = EFX_DWORD_FIELD(err[1], EFX_DWORD_0);
 383 #endif
 384                 emrp->emr_err_code = err_code;
 385                 emrp->emr_err_arg = err_arg;
 386
 387 #if EFSYS_OPT_MCDI_PROXY_AUTH
 388                 if ((err_code == MC_CMD_ERR_PROXY_PENDING) &&
 389                     (err_len == sizeof (err))) {
 390                         /*
 391                          * The MCDI request would normally fail with EPERM, but
 392                          * firmware has forwarded it to an authorization agent
 393                          * attached to a privileged PF.
 394                          *
 395                          * Save the authorization request handle. The client
 396                          * must wait for a PROXY_RESPONSE event, or timeout.
 397                          */
 398                         emrp->emr_proxy_handle = err_arg;
 399                 }
 400 #endif /* EFSYS_OPT_MCDI_PROXY_AUTH */
 401
 402 #if EFSYS_OPT_MCDI_LOGGING
 403                 if (emtp->emt_logger != NULL) {
 404                         emtp->emt_logger(emtp->emt_context,
 405                             EFX_LOG_MCDI_RESPONSE,
 406                             &hdr[0], hdr_len,
 407                             &err[0], err_len);
 408                 }
 409 #endif /* EFSYS_OPT_MCDI_LOGGING */
 410
 411                 if (!emrp->emr_quiet) {
 412                         EFSYS_PROBE3(mcdi_err_arg, int, emrp->emr_cmd,
 413                             int, err_code, int, err_arg);
 414                 }
 415
 416                 rc = efx_mcdi_request_errcode(err_code);
 417                 goto fail3;
 418         }
 419
 420         emrp->emr_rc = 0;
 421         emrp->emr_out_length_used = data_len;
 422 #if EFSYS_OPT_MCDI_PROXY_AUTH
 423         emrp->emr_proxy_handle = 0;
 424 #endif /* EFSYS_OPT_MCDI_PROXY_AUTH */
 425         return;
 426
 427 fail3:
 428 fail2:
 429 fail1:
 430         emrp->emr_rc = rc;
 431         emrp->emr_out_length_used = 0;
 432 }
 433
 434 static                  void
 435 efx_mcdi_finish_response(
 436         __in            efx_nic_t *enp,
 437         __in            efx_mcdi_req_t *emrp)
 438 {
 439 #if EFSYS_OPT_MCDI_LOGGING
 440         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 441 #endif /* EFSYS_OPT_MCDI_LOGGING */
 442         efx_dword_t hdr[2];
 443         unsigned int hdr_len;
 444         size_t bytes;
 445
 446         if (emrp->emr_out_buf == NULL)
 447                 return;
 448
 449         /* Read the command header to detect MCDI response format */
 450         hdr_len = sizeof (hdr[0]);
 451         efx_mcdi_read_response(enp, &hdr[0], 0, hdr_len);
 452         if (EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_CODE) == MC_CMD_V2_EXTN) {
 453                 /*
 454                  * Read the actual payload length. The length given in the event
 455                  * is only correct for responses with the V1 format.
 456                  */
 457                 efx_mcdi_read_response(enp, &hdr[1], hdr_len, sizeof (hdr[1]));
 458                 hdr_len += sizeof (hdr[1]);
 459
 460                 emrp->emr_out_length_used = EFX_DWORD_FIELD(hdr[1],
 461                                             MC_CMD_V2_EXTN_IN_ACTUAL_LEN);
 462         }
 463
 464         /* Copy payload out into caller supplied buffer */
 465         bytes = MIN(emrp->emr_out_length_used, emrp->emr_out_length);
 466         efx_mcdi_read_response(enp, emrp->emr_out_buf, hdr_len, bytes);
 467
 468 #if EFSYS_OPT_MCDI_LOGGING
 469         if (emtp->emt_logger != NULL) {
 470                 emtp->emt_logger(emtp->emt_context,
 471                     EFX_LOG_MCDI_RESPONSE,
 472                     &hdr[0], hdr_len,
 473                     emrp->emr_out_buf, bytes);
 474         }
 475 #endif /* EFSYS_OPT_MCDI_LOGGING */
 476 }
 477
 478
 479         __checkReturn   boolean_t
 480 efx_mcdi_request_poll(
 481         __in            efx_nic_t *enp)
 482 {
 483         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 484         efx_mcdi_req_t *emrp;
 485         efsys_lock_state_t state;
 486         efx_rc_t rc;
 487
 488         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
 489         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 490         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 491
 492         /* Serialise against post-watchdog efx_mcdi_ev* */
 493         EFSYS_LOCK(enp->en_eslp, state);
 494
 495         EFSYS_ASSERT(emip->emi_pending_req != NULL);
 496         EFSYS_ASSERT(!emip->emi_ev_cpl);
 497         emrp = emip->emi_pending_req;
 498
 499         /* Check if hardware is unavailable */
 500         if (efx_nic_hw_unavailable(enp)) {
 501                 EFSYS_UNLOCK(enp->en_eslp, state);
 502                 return (B_FALSE);
 503         }
 504
 505         /* Check for reboot atomically w.r.t efx_mcdi_request_start */
 506         if (emip->emi_poll_cnt++ == 0) {
 507                 if ((rc = efx_mcdi_poll_reboot(enp)) != 0) {
 508                         emip->emi_pending_req = NULL;
 509                         EFSYS_UNLOCK(enp->en_eslp, state);
 510
 511                         /* Reboot/Assertion */
 512                         if (rc == EIO || rc == EINTR)
 513                                 efx_mcdi_raise_exception(enp, emrp, rc);
 514
 515                         goto fail1;
 516                 }
 517         }
 518
 519         /* Check if a response is available */
 520         if (efx_mcdi_poll_response(enp) == B_FALSE) {
 521                 EFSYS_UNLOCK(enp->en_eslp, state);
 522                 return (B_FALSE);
 523         }
 524
 525         /* Read the response header */
 526         efx_mcdi_read_response_header(enp, emrp);
 527
 528         /* Request complete */
 529         emip->emi_pending_req = NULL;
 530
 531         /* Ensure stale MCDI requests fail after an MC reboot. */
 532         emip->emi_new_epoch = B_FALSE;
 533
 534         EFSYS_UNLOCK(enp->en_eslp, state);
 535
 536         if ((rc = emrp->emr_rc) != 0)
 537                 goto fail2;
 538
 539         efx_mcdi_finish_response(enp, emrp);
 540         return (B_TRUE);
 541
 542 fail2:
 543         if (!emrp->emr_quiet)
 544                 EFSYS_PROBE(fail2);
 545 fail1:
 546         if (!emrp->emr_quiet)
 547                 EFSYS_PROBE1(fail1, efx_rc_t, rc);
 548
 549         return (B_TRUE);
 550 }
 551
 552         __checkReturn   boolean_t
 553 efx_mcdi_request_abort(
 554         __in            efx_nic_t *enp)
 555 {
 556         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 557         efx_mcdi_req_t *emrp;
 558         boolean_t aborted;
 559         efsys_lock_state_t state;
 560
 561         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
 562         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 563         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 564
 565         /*
 566          * efx_mcdi_ev_* may have already completed this event, and be
 567          * spinning/blocked on the upper layer lock. So it *is* legitimate
 568          * to for emi_pending_req to be NULL. If there is a pending event
 569          * completed request, then provide a "credit" to allow
 570          * efx_mcdi_ev_cpl() to accept a single spurious completion.
 571          */
 572         EFSYS_LOCK(enp->en_eslp, state);
 573         emrp = emip->emi_pending_req;
 574         aborted = (emrp != NULL);
 575         if (aborted) {
 576                 emip->emi_pending_req = NULL;
 577
 578                 /* Error the request */
 579                 emrp->emr_out_length_used = 0;
 580                 emrp->emr_rc = ETIMEDOUT;
 581
 582                 /* Provide a credit for seqno/emr_pending_req mismatches */
 583                 if (emip->emi_ev_cpl)
 584                         ++emip->emi_aborted;
 585
 586                 /*
 587                  * The upper layer has called us, so we don't
 588                  * need to complete the request.
 589                  */
 590         }
 591         EFSYS_UNLOCK(enp->en_eslp, state);
 592
 593         return (aborted);
 594 }
 595
 596                         void
 597 efx_mcdi_get_timeout(
 598         __in            efx_nic_t *enp,
 599         __in            efx_mcdi_req_t *emrp,
 600         __out           uint32_t *timeoutp)
 601 {
 602         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 603
 604         emcop->emco_get_timeout(enp, emrp, timeoutp);
 605 }
 606
 607         __checkReturn   efx_rc_t
 608 efx_mcdi_request_errcode(
 609         __in            unsigned int err)
 610 {
 611
 612         switch (err) {
 613                 /* MCDI v1 */
 614         case MC_CMD_ERR_EPERM:
 615                 return (EACCES);
 616         case MC_CMD_ERR_ENOENT:
 617                 return (ENOENT);
 618         case MC_CMD_ERR_EINTR:
 619                 return (EINTR);
 620         case MC_CMD_ERR_EACCES:
 621                 return (EACCES);
 622         case MC_CMD_ERR_EBUSY:
 623                 return (EBUSY);
 624         case MC_CMD_ERR_EINVAL:
 625                 return (EINVAL);
 626         case MC_CMD_ERR_EDEADLK:
 627                 return (EDEADLK);
 628         case MC_CMD_ERR_ENOSYS:
 629                 return (ENOTSUP);
 630         case MC_CMD_ERR_ETIME:
 631                 return (ETIMEDOUT);
 632         case MC_CMD_ERR_ENOTSUP:
 633                 return (ENOTSUP);
 634         case MC_CMD_ERR_EALREADY:
 635                 return (EALREADY);
 636
 637                 /* MCDI v2 */
 638         case MC_CMD_ERR_EEXIST:
 639                 return (EEXIST);
 640 #ifdef MC_CMD_ERR_EAGAIN
 641         case MC_CMD_ERR_EAGAIN:
 642                 return (EAGAIN);
 643 #endif
 644 #ifdef MC_CMD_ERR_ENOSPC
 645         case MC_CMD_ERR_ENOSPC:
 646                 return (ENOSPC);
 647 #endif
 648         case MC_CMD_ERR_ERANGE:
 649                 return (ERANGE);
 650
 651         case MC_CMD_ERR_ALLOC_FAIL:
 652                 return (ENOMEM);
 653         case MC_CMD_ERR_NO_VADAPTOR:
 654                 return (ENOENT);
 655         case MC_CMD_ERR_NO_EVB_PORT:
 656                 return (ENOENT);
 657         case MC_CMD_ERR_NO_VSWITCH:
 658                 return (ENODEV);
 659         case MC_CMD_ERR_VLAN_LIMIT:
 660                 return (EINVAL);
 661         case MC_CMD_ERR_BAD_PCI_FUNC:
 662                 return (ENODEV);
 663         case MC_CMD_ERR_BAD_VLAN_MODE:
 664                 return (EINVAL);
 665         case MC_CMD_ERR_BAD_VSWITCH_TYPE:
 666                 return (EINVAL);
 667         case MC_CMD_ERR_BAD_VPORT_TYPE:
 668                 return (EINVAL);
 669         case MC_CMD_ERR_MAC_EXIST:
 670                 return (EEXIST);
 671
 672         case MC_CMD_ERR_PROXY_PENDING:
 673                 return (EAGAIN);
 674
 675         default:
 676                 EFSYS_PROBE1(mc_pcol_error, int, err);
 677                 return (EIO);
 678         }
 679 }
 680
 681                         void
 682 efx_mcdi_raise_exception(
 683         __in            efx_nic_t *enp,
 684         __in_opt        efx_mcdi_req_t *emrp,
 685         __in            int rc)
 686 {
 687         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 688         efx_mcdi_exception_t exception;
 689
 690         /* Reboot or Assertion failure only */
 691         EFSYS_ASSERT(rc == EIO || rc == EINTR);
 692
 693         /*
 694          * If MC_CMD_REBOOT causes a reboot (dependent on parameters),
 695          * then the EIO is not worthy of an exception.
 696          */
 697         if (emrp != NULL && emrp->emr_cmd == MC_CMD_REBOOT && rc == EIO)
 698                 return;
 699
 700         exception = (rc == EIO)
 701                 ? EFX_MCDI_EXCEPTION_MC_REBOOT
 702                 : EFX_MCDI_EXCEPTION_MC_BADASSERT;
 703
 704         emtp->emt_exception(emtp->emt_context, exception);
 705 }
 706
 707                         void
 708 efx_mcdi_execute(
 709         __in            efx_nic_t *enp,
 710         __inout         efx_mcdi_req_t *emrp)
 711 {
 712         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 713
 714         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 715         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 716
 717         emrp->emr_quiet = B_FALSE;
 718         emtp->emt_execute(emtp->emt_context, emrp);
 719 }
 720
 721                         void
 722 efx_mcdi_execute_quiet(
 723         __in            efx_nic_t *enp,
 724         __inout         efx_mcdi_req_t *emrp)
 725 {
 726         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 727
 728         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 729         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 730
 731         emrp->emr_quiet = B_TRUE;
 732         emtp->emt_execute(emtp->emt_context, emrp);
 733 }
 734
 735                         void
 736 efx_mcdi_ev_cpl(
 737         __in            efx_nic_t *enp,
 738         __in            unsigned int seq,
 739         __in            unsigned int outlen,
 740         __in            int errcode)
 741 {
 742         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 743         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 744         efx_mcdi_req_t *emrp;
 745         efsys_lock_state_t state;
 746
 747         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 748         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 749
 750         /*
 751          * Serialise against efx_mcdi_request_poll()/efx_mcdi_request_start()
 752          * when we're completing an aborted request.
 753          */
 754         EFSYS_LOCK(enp->en_eslp, state);
 755         if (emip->emi_pending_req == NULL || !emip->emi_ev_cpl ||
 756             (seq != ((emip->emi_seq - 1) & EFX_MASK32(MCDI_HEADER_SEQ)))) {
 757                 EFSYS_ASSERT(emip->emi_aborted > 0);
 758                 if (emip->emi_aborted > 0)
 759                         --emip->emi_aborted;
 760                 EFSYS_UNLOCK(enp->en_eslp, state);
 761                 return;
 762         }
 763
 764         emrp = emip->emi_pending_req;
 765         emip->emi_pending_req = NULL;
 766         EFSYS_UNLOCK(enp->en_eslp, state);
 767
 768         if (emip->emi_max_version >= 2) {
 769                 /* MCDIv2 response details do not fit into an event. */
 770                 efx_mcdi_read_response_header(enp, emrp);
 771         } else {
 772                 if (errcode != 0) {
 773                         if (!emrp->emr_quiet) {
 774                                 EFSYS_PROBE2(mcdi_err, int, emrp->emr_cmd,
 775                                     int, errcode);
 776                         }
 777                         emrp->emr_out_length_used = 0;
 778                         emrp->emr_rc = efx_mcdi_request_errcode(errcode);
 779                 } else {
 780                         emrp->emr_out_length_used = outlen;
 781                         emrp->emr_rc = 0;
 782                 }
 783         }
 784         if (emrp->emr_rc == 0)
 785                 efx_mcdi_finish_response(enp, emrp);
 786
 787         emtp->emt_ev_cpl(emtp->emt_context);
 788 }
 789
 790 #if EFSYS_OPT_MCDI_PROXY_AUTH
 791
 792         __checkReturn   efx_rc_t
 793 efx_mcdi_get_proxy_handle(
 794         __in            efx_nic_t *enp,
 795         __in            efx_mcdi_req_t *emrp,
 796         __out           uint32_t *handlep)
 797 {
 798         efx_rc_t rc;
 799
 800         _NOTE(ARGUNUSED(enp))
 801
 802         /*
 803          * Return proxy handle from MCDI request that returned with error
 804          * MC_MCD_ERR_PROXY_PENDING. This handle is used to wait for a matching
 805          * PROXY_RESPONSE event.
 806          */
 807         if ((emrp == NULL) || (handlep == NULL)) {
 808                 rc = EINVAL;
 809                 goto fail1;
 810         }
 811         if ((emrp->emr_rc != 0) &&
 812             (emrp->emr_err_code == MC_CMD_ERR_PROXY_PENDING)) {
 813                 *handlep = emrp->emr_proxy_handle;
 814                 rc = 0;
 815         } else {
 816                 *handlep = 0;
 817                 rc = ENOENT;
 818         }
 819         return (rc);
 820
 821 fail1:
 822         EFSYS_PROBE1(fail1, efx_rc_t, rc);
 823         return (rc);
 824 }
 825
 826                         void
 827 efx_mcdi_ev_proxy_response(
 828         __in            efx_nic_t *enp,
 829         __in            unsigned int handle,
 830         __in            unsigned int status)
 831 {
 832         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 833         efx_rc_t rc;
 834
 835         /*
 836          * Handle results of an authorization request for a privileged MCDI
 837          * command. If authorization was granted then we must re-issue the
 838          * original MCDI request. If authorization failed or timed out,
 839          * then the original MCDI request should be completed with the
 840          * result code from this event.
 841          */
 842         rc = (status == 0) ? 0 : efx_mcdi_request_errcode(status);
 843
 844         emtp->emt_ev_proxy_response(emtp->emt_context, handle, rc);
 845 }
 846 #endif /* EFSYS_OPT_MCDI_PROXY_AUTH */
 847
 848                         void
 849 efx_mcdi_ev_death(
 850         __in            efx_nic_t *enp,
 851         __in            int rc)
 852 {
 853         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 854         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 855         efx_mcdi_req_t *emrp = NULL;
 856         boolean_t ev_cpl;
 857         efsys_lock_state_t state;
 858
 859         /*
 860          * The MCDI request (if there is one) has been terminated, either
 861          * by a BADASSERT or REBOOT event.
 862          *
 863          * If there is an outstanding event-completed MCDI operation, then we
 864          * will never receive the completion event (because both MCDI
 865          * completions and BADASSERT events are sent to the same evq). So
 866          * complete this MCDI op.
 867          *
 868          * This function might run in parallel with efx_mcdi_request_poll()
 869          * for poll completed mcdi requests, and also with
 870          * efx_mcdi_request_start() for post-watchdog completions.
 871          */
 872         EFSYS_LOCK(enp->en_eslp, state);
 873         emrp = emip->emi_pending_req;
 874         ev_cpl = emip->emi_ev_cpl;
 875         if (emrp != NULL && emip->emi_ev_cpl) {
 876                 emip->emi_pending_req = NULL;
 877
 878                 emrp->emr_out_length_used = 0;
 879                 emrp->emr_rc = rc;
 880                 ++emip->emi_aborted;
 881         }
 882
 883         /*
 884          * Since we're running in parallel with a request, consume the
 885          * status word before dropping the lock.
 886          */
 887         if (rc == EIO || rc == EINTR) {
 888                 EFSYS_SPIN(EFX_MCDI_STATUS_SLEEP_US);
 889                 (void) efx_mcdi_poll_reboot(enp);
 890                 emip->emi_new_epoch = B_TRUE;
 891         }
 892
 893         EFSYS_UNLOCK(enp->en_eslp, state);
 894
 895         efx_mcdi_raise_exception(enp, emrp, rc);
 896
 897         if (emrp != NULL && ev_cpl)
 898                 emtp->emt_ev_cpl(emtp->emt_context);
 899 }
 900
 901         __checkReturn           efx_rc_t
 902 efx_mcdi_version(
 903         __in                    efx_nic_t *enp,
 904         __out_ecount_opt(4)     uint16_t versionp[4],
 905         __out_opt               uint32_t *buildp,
 906         __out_opt               efx_mcdi_boot_t *statusp)
 907 {
 908         efx_mcdi_req_t req;
 909         EFX_MCDI_DECLARE_BUF(payload,
 910                 MAX(MC_CMD_GET_VERSION_IN_LEN, MC_CMD_GET_BOOT_STATUS_IN_LEN),
 911                 MAX(MC_CMD_GET_VERSION_OUT_LEN,
 912                         MC_CMD_GET_BOOT_STATUS_OUT_LEN));
 913         efx_word_t *ver_words;
 914         uint16_t version[4];
 915         uint32_t build;
 916         efx_mcdi_boot_t status;
 917         efx_rc_t rc;
 918
 919         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 920
 921         req.emr_cmd = MC_CMD_GET_VERSION;
 922         req.emr_in_buf = payload;
 923         req.emr_in_length = MC_CMD_GET_VERSION_IN_LEN;
 924         req.emr_out_buf = payload;
 925         req.emr_out_length = MC_CMD_GET_VERSION_OUT_LEN;
 926
 927         efx_mcdi_execute(enp, &req);
 928
 929         if (req.emr_rc != 0) {
 930                 rc = req.emr_rc;
 931                 goto fail1;
 932         }
 933
 934         /* bootrom support */
 935         if (req.emr_out_length_used == MC_CMD_GET_VERSION_V0_OUT_LEN) {
 936                 version[0] = version[1] = version[2] = version[3] = 0;
 937                 build = MCDI_OUT_DWORD(req, GET_VERSION_OUT_FIRMWARE);
 938
 939                 goto version;
 940         }
 941
 942         if (req.emr_out_length_used < MC_CMD_GET_VERSION_OUT_LEN) {
 943                 rc = EMSGSIZE;
 944                 goto fail2;
 945         }
 946
 947         ver_words = MCDI_OUT2(req, efx_word_t, GET_VERSION_OUT_VERSION);
 948         version[0] = EFX_WORD_FIELD(ver_words[0], EFX_WORD_0);
 949         version[1] = EFX_WORD_FIELD(ver_words[1], EFX_WORD_0);
 950         version[2] = EFX_WORD_FIELD(ver_words[2], EFX_WORD_0);
 951         version[3] = EFX_WORD_FIELD(ver_words[3], EFX_WORD_0);
 952         build = MCDI_OUT_DWORD(req, GET_VERSION_OUT_FIRMWARE);
 953
 954 version:
 955         /* The bootrom doesn't understand BOOT_STATUS */
 956         if (MC_FW_VERSION_IS_BOOTLOADER(build)) {
 957                 status = EFX_MCDI_BOOT_ROM;
 958                 goto out;
 959         }
 960
 961         (void) memset(payload, 0, sizeof (payload));
 962         req.emr_cmd = MC_CMD_GET_BOOT_STATUS;
 963         req.emr_in_buf = payload;
 964         req.emr_in_length = MC_CMD_GET_BOOT_STATUS_IN_LEN;
 965         req.emr_out_buf = payload;
 966         req.emr_out_length = MC_CMD_GET_BOOT_STATUS_OUT_LEN;
 967
 968         efx_mcdi_execute_quiet(enp, &req);
 969
 970         if (req.emr_rc == EACCES) {
 971                 /* Unprivileged functions cannot access BOOT_STATUS */
 972                 status = EFX_MCDI_BOOT_PRIMARY;
 973                 version[0] = version[1] = version[2] = version[3] = 0;
 974                 build = 0;
 975                 goto out;
 976         }
 977
 978         if (req.emr_rc != 0) {
 979                 rc = req.emr_rc;
 980                 goto fail3;
 981         }
 982
 983         if (req.emr_out_length_used < MC_CMD_GET_BOOT_STATUS_OUT_LEN) {
 984                 rc = EMSGSIZE;
 985                 goto fail4;
 986         }
 987
 988         if (MCDI_OUT_DWORD_FIELD(req, GET_BOOT_STATUS_OUT_FLAGS,
 989             GET_BOOT_STATUS_OUT_FLAGS_PRIMARY))
 990                 status = EFX_MCDI_BOOT_PRIMARY;
 991         else
 992                 status = EFX_MCDI_BOOT_SECONDARY;
 993
 994 out:
 995         if (versionp != NULL)
 996                 memcpy(versionp, version, sizeof (version));
 997         if (buildp != NULL)
 998                 *buildp = build;
 999         if (statusp != NULL)
1000                 *statusp = status;
1001
1002         return (0);
1003
1004 fail4:
1005         EFSYS_PROBE(fail4);
1006 fail3:
1007         EFSYS_PROBE(fail3);
1008 fail2:
1009         EFSYS_PROBE(fail2);
1010 fail1:
1011         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1012
1013         return (rc);
1014 }
1015
1016         __checkReturn   efx_rc_t
1017 efx_mcdi_get_capabilities(
1018         __in            efx_nic_t *enp,
1019         __out_opt       uint32_t *flagsp,
1020         __out_opt       uint16_t *rx_dpcpu_fw_idp,
1021         __out_opt       uint16_t *tx_dpcpu_fw_idp,
1022         __out_opt       uint32_t *flags2p,
1023         __out_opt       uint32_t *tso2ncp)
1024 {
1025         efx_mcdi_req_t req;
1026         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_CAPABILITIES_IN_LEN,
1027                 MC_CMD_GET_CAPABILITIES_V2_OUT_LEN);
1028         boolean_t v2_capable;
1029         efx_rc_t rc;
1030
1031         req.emr_cmd = MC_CMD_GET_CAPABILITIES;
1032         req.emr_in_buf = payload;
1033         req.emr_in_length = MC_CMD_GET_CAPABILITIES_IN_LEN;
1034         req.emr_out_buf = payload;
1035         req.emr_out_length = MC_CMD_GET_CAPABILITIES_V2_OUT_LEN;
1036
1037         efx_mcdi_execute_quiet(enp, &req);
1038
1039         if (req.emr_rc != 0) {
1040                 rc = req.emr_rc;
1041                 goto fail1;
1042         }
1043
1044         if (req.emr_out_length_used < MC_CMD_GET_CAPABILITIES_OUT_LEN) {
1045                 rc = EMSGSIZE;
1046                 goto fail2;
1047         }
1048
1049         if (flagsp != NULL)
1050                 *flagsp = MCDI_OUT_DWORD(req, GET_CAPABILITIES_OUT_FLAGS1);
1051
1052         if (rx_dpcpu_fw_idp != NULL)
1053                 *rx_dpcpu_fw_idp = MCDI_OUT_WORD(req,
1054                                         GET_CAPABILITIES_OUT_RX_DPCPU_FW_ID);
1055
1056         if (tx_dpcpu_fw_idp != NULL)
1057                 *tx_dpcpu_fw_idp = MCDI_OUT_WORD(req,
1058                                         GET_CAPABILITIES_OUT_TX_DPCPU_FW_ID);
1059
1060         if (req.emr_out_length_used < MC_CMD_GET_CAPABILITIES_V2_OUT_LEN)
1061                 v2_capable = B_FALSE;
1062         else
1063                 v2_capable = B_TRUE;
1064
1065         if (flags2p != NULL) {
1066                 *flags2p = (v2_capable) ?
1067                         MCDI_OUT_DWORD(req, GET_CAPABILITIES_V2_OUT_FLAGS2) :
1068                         0;
1069         }
1070
1071         if (tso2ncp != NULL) {
1072                 *tso2ncp = (v2_capable) ?
1073                         MCDI_OUT_WORD(req,
1074                                 GET_CAPABILITIES_V2_OUT_TX_TSO_V2_N_CONTEXTS) :
1075                         0;
1076         }
1077
1078         return (0);
1079
1080 fail2:
1081         EFSYS_PROBE(fail2);
1082 fail1:
1083         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1084
1085         return (rc);
1086 }
1087
1088 static  __checkReturn   efx_rc_t
1089 efx_mcdi_do_reboot(
1090         __in            efx_nic_t *enp,
1091         __in            boolean_t after_assertion)
1092 {
1093         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_REBOOT_IN_LEN,
1094                 MC_CMD_REBOOT_OUT_LEN);
1095         efx_mcdi_req_t req;
1096         efx_rc_t rc;
1097
1098         /*
1099          * We could require the caller to have caused en_mod_flags=0 to
1100          * call this function. This doesn't help the other port though,
1101          * who's about to get the MC ripped out from underneath them.
1102          * Since they have to cope with the subsequent fallout of MCDI
1103          * failures, we should as well.
1104          */
1105         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
1106
1107         req.emr_cmd = MC_CMD_REBOOT;
1108         req.emr_in_buf = payload;
1109         req.emr_in_length = MC_CMD_REBOOT_IN_LEN;
1110         req.emr_out_buf = payload;
1111         req.emr_out_length = MC_CMD_REBOOT_OUT_LEN;
1112
1113         MCDI_IN_SET_DWORD(req, REBOOT_IN_FLAGS,
1114             (after_assertion ? MC_CMD_REBOOT_FLAGS_AFTER_ASSERTION : 0));
1115
1116         efx_mcdi_execute_quiet(enp, &req);
1117
1118         if (req.emr_rc == EACCES) {
1119                 /* Unprivileged functions cannot reboot the MC. */
1120                 goto out;
1121         }
1122
1123         /* A successful reboot request returns EIO. */
1124         if (req.emr_rc != 0 && req.emr_rc != EIO) {
1125                 rc = req.emr_rc;
1126                 goto fail1;
1127         }
1128
1129 out:
1130         return (0);
1131
1132 fail1:
1133         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1134
1135         return (rc);
1136 }
1137
1138         __checkReturn   efx_rc_t
1139 efx_mcdi_reboot(
1140         __in            efx_nic_t *enp)
1141 {
1142         return (efx_mcdi_do_reboot(enp, B_FALSE));
1143 }
1144
1145         __checkReturn   efx_rc_t
1146 efx_mcdi_exit_assertion_handler(
1147         __in            efx_nic_t *enp)
1148 {
1149         return (efx_mcdi_do_reboot(enp, B_TRUE));
1150 }
1151
1152         __checkReturn   efx_rc_t
1153 efx_mcdi_read_assertion(
1154         __in            efx_nic_t *enp)
1155 {
1156         efx_mcdi_req_t req;
1157         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_ASSERTS_IN_LEN,
1158                 MC_CMD_GET_ASSERTS_OUT_LEN);
1159         const char *reason;
1160         unsigned int flags;
1161         unsigned int index;
1162         unsigned int ofst;
1163         int retry;
1164         efx_rc_t rc;
1165
1166         /*
1167          * Before we attempt to chat to the MC, we should verify that the MC
1168          * isn't in it's assertion handler, either due to a previous reboot,
1169          * or because we're reinitializing due to an eec_exception().
1170          *
1171          * Use GET_ASSERTS to read any assertion state that may be present.
1172          * Retry this command twice. Once because a boot-time assertion failure
1173          * might cause the 1st MCDI request to fail. And once again because
1174          * we might race with efx_mcdi_exit_assertion_handler() running on
1175          * partner port(s) on the same NIC.
1176          */
1177         retry = 2;
1178         do {
1179                 (void) memset(payload, 0, sizeof (payload));
1180                 req.emr_cmd = MC_CMD_GET_ASSERTS;
1181                 req.emr_in_buf = payload;
1182                 req.emr_in_length = MC_CMD_GET_ASSERTS_IN_LEN;
1183                 req.emr_out_buf = payload;
1184                 req.emr_out_length = MC_CMD_GET_ASSERTS_OUT_LEN;
1185
1186                 MCDI_IN_SET_DWORD(req, GET_ASSERTS_IN_CLEAR, 1);
1187                 efx_mcdi_execute_quiet(enp, &req);
1188
1189         } while ((req.emr_rc == EINTR || req.emr_rc == EIO) && retry-- > 0);
1190
1191         if (req.emr_rc != 0) {
1192                 if (req.emr_rc == EACCES) {
1193                         /* Unprivileged functions cannot clear assertions. */
1194                         goto out;
1195                 }
1196                 rc = req.emr_rc;
1197                 goto fail1;
1198         }
1199
1200         if (req.emr_out_length_used < MC_CMD_GET_ASSERTS_OUT_LEN) {
1201                 rc = EMSGSIZE;
1202                 goto fail2;
1203         }
1204
1205         /* Print out any assertion state recorded */
1206         flags = MCDI_OUT_DWORD(req, GET_ASSERTS_OUT_GLOBAL_FLAGS);
1207         if (flags == MC_CMD_GET_ASSERTS_FLAGS_NO_FAILS)
1208                 return (0);
1209
1210         reason = (flags == MC_CMD_GET_ASSERTS_FLAGS_SYS_FAIL)
1211                 ? "system-level assertion"
1212                 : (flags == MC_CMD_GET_ASSERTS_FLAGS_THR_FAIL)
1213                 ? "thread-level assertion"
1214                 : (flags == MC_CMD_GET_ASSERTS_FLAGS_WDOG_FIRED)
1215                 ? "watchdog reset"
1216                 : (flags == MC_CMD_GET_ASSERTS_FLAGS_ADDR_TRAP)
1217                 ? "illegal address trap"
1218                 : "unknown assertion";
1219         EFSYS_PROBE3(mcpu_assertion,
1220             const char *, reason, unsigned int,
1221             MCDI_OUT_DWORD(req, GET_ASSERTS_OUT_SAVED_PC_OFFS),
1222             unsigned int,
1223             MCDI_OUT_DWORD(req, GET_ASSERTS_OUT_THREAD_OFFS));
1224
1225         /* Print out the registers (r1 ... r31) */
1226         ofst = MC_CMD_GET_ASSERTS_OUT_GP_REGS_OFFS_OFST;
1227         for (index = 1;
1228                 index < 1 + MC_CMD_GET_ASSERTS_OUT_GP_REGS_OFFS_NUM;
1229                 index++) {
1230                 EFSYS_PROBE2(mcpu_register, unsigned int, index, unsigned int,
1231                             EFX_DWORD_FIELD(*MCDI_OUT(req, efx_dword_t, ofst),
1232                                             EFX_DWORD_0));
1233                 ofst += sizeof (efx_dword_t);
1234         }
1235         EFSYS_ASSERT(ofst <= MC_CMD_GET_ASSERTS_OUT_LEN);
1236
1237 out:
1238         return (0);
1239
1240 fail2:
1241         EFSYS_PROBE(fail2);
1242 fail1:
1243         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1244
1245         return (rc);
1246 }
1247
1248
1249 /*
1250  * Internal routines for for specific MCDI requests.
1251  */
1252
1253         __checkReturn   efx_rc_t
1254 efx_mcdi_drv_attach(
1255         __in            efx_nic_t *enp,
1256         __in            boolean_t attach)
1257 {
1258         efx_mcdi_req_t req;
1259         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_DRV_ATTACH_IN_V2_LEN,
1260                 MC_CMD_DRV_ATTACH_EXT_OUT_LEN);
1261         efx_rc_t rc;
1262
1263         req.emr_cmd = MC_CMD_DRV_ATTACH;
1264         req.emr_in_buf = payload;
1265         if (enp->en_drv_version[0] == '\0') {
1266                 req.emr_in_length = MC_CMD_DRV_ATTACH_IN_LEN;
1267         } else {
1268                 req.emr_in_length = MC_CMD_DRV_ATTACH_IN_V2_LEN;
1269         }
1270         req.emr_out_buf = payload;
1271         req.emr_out_length = MC_CMD_DRV_ATTACH_EXT_OUT_LEN;
1272
1273         /*
1274          * Typically, client drivers use DONT_CARE for the datapath firmware
1275          * type to ensure that the driver can attach to an unprivileged
1276          * function. The datapath firmware type to use is controlled by the
1277          * 'sfboot' utility.
1278          * If a client driver wishes to attach with a specific datapath firmware
1279          * type, that can be passed in second argument of efx_nic_probe API. One
1280          * such example is the ESXi native driver that attempts attaching with
1281          * FULL_FEATURED datapath firmware type first and fall backs to
1282          * DONT_CARE datapath firmware type if MC_CMD_DRV_ATTACH fails.
1283          */
1284         MCDI_IN_POPULATE_DWORD_2(req, DRV_ATTACH_IN_NEW_STATE,
1285             DRV_ATTACH_IN_ATTACH, attach ? 1 : 0,
1286             DRV_ATTACH_IN_SUBVARIANT_AWARE, EFSYS_OPT_FW_SUBVARIANT_AWARE);
1287         MCDI_IN_SET_DWORD(req, DRV_ATTACH_IN_UPDATE, 1);
1288         MCDI_IN_SET_DWORD(req, DRV_ATTACH_IN_FIRMWARE_ID, enp->efv);
1289
1290         if (req.emr_in_length >= MC_CMD_DRV_ATTACH_IN_V2_LEN) {
1291                 EFX_STATIC_ASSERT(sizeof (enp->en_drv_version) ==
1292                     MC_CMD_DRV_ATTACH_IN_V2_DRIVER_VERSION_LEN);
1293                 memcpy(MCDI_IN2(req, char, DRV_ATTACH_IN_V2_DRIVER_VERSION),
1294                     enp->en_drv_version,
1295                     MC_CMD_DRV_ATTACH_IN_V2_DRIVER_VERSION_LEN);
1296         }
1297
1298         efx_mcdi_execute(enp, &req);
1299
1300         if (req.emr_rc != 0) {
1301                 rc = req.emr_rc;
1302                 goto fail1;
1303         }
1304
1305         if (req.emr_out_length_used < MC_CMD_DRV_ATTACH_OUT_LEN) {
1306                 rc = EMSGSIZE;
1307                 goto fail2;
1308         }
1309
1310         return (0);
1311
1312 fail2:
1313         EFSYS_PROBE(fail2);
1314 fail1:
1315         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1316
1317         return (rc);
1318 }
1319
1320         __checkReturn           efx_rc_t
1321 efx_mcdi_get_board_cfg(
1322         __in                    efx_nic_t *enp,
1323         __out_opt               uint32_t *board_typep,
1324         __out_opt               efx_dword_t *capabilitiesp,
1325         __out_ecount_opt(6)     uint8_t mac_addrp[6])
1326 {
1327         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
1328         efx_mcdi_req_t req;
1329         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_BOARD_CFG_IN_LEN,
1330                 MC_CMD_GET_BOARD_CFG_OUT_LENMIN);
1331         efx_rc_t rc;
1332
1333         req.emr_cmd = MC_CMD_GET_BOARD_CFG;
1334         req.emr_in_buf = payload;
1335         req.emr_in_length = MC_CMD_GET_BOARD_CFG_IN_LEN;
1336         req.emr_out_buf = payload;
1337         req.emr_out_length = MC_CMD_GET_BOARD_CFG_OUT_LENMIN;
1338
1339         efx_mcdi_execute(enp, &req);
1340
1341         if (req.emr_rc != 0) {
1342                 rc = req.emr_rc;
1343                 goto fail1;
1344         }
1345
1346         if (req.emr_out_length_used < MC_CMD_GET_BOARD_CFG_OUT_LENMIN) {
1347                 rc = EMSGSIZE;
1348                 goto fail2;
1349         }
1350
1351         if (mac_addrp != NULL) {
1352                 uint8_t *addrp;
1353
1354                 if (emip->emi_port == 1) {
1355                         addrp = MCDI_OUT2(req, uint8_t,
1356                             GET_BOARD_CFG_OUT_MAC_ADDR_BASE_PORT0);
1357                 } else if (emip->emi_port == 2) {
1358                         addrp = MCDI_OUT2(req, uint8_t,
1359                             GET_BOARD_CFG_OUT_MAC_ADDR_BASE_PORT1);
1360                 } else {
1361                         rc = EINVAL;
1362                         goto fail3;
1363                 }
1364
1365                 EFX_MAC_ADDR_COPY(mac_addrp, addrp);
1366         }
1367
1368         if (capabilitiesp != NULL) {
1369                 if (emip->emi_port == 1) {
1370                         *capabilitiesp = *MCDI_OUT2(req, efx_dword_t,
1371                             GET_BOARD_CFG_OUT_CAPABILITIES_PORT0);
1372                 } else if (emip->emi_port == 2) {
1373                         *capabilitiesp = *MCDI_OUT2(req, efx_dword_t,
1374                             GET_BOARD_CFG_OUT_CAPABILITIES_PORT1);
1375                 } else {
1376                         rc = EINVAL;
1377                         goto fail4;
1378                 }
1379         }
1380
1381         if (board_typep != NULL) {
1382                 *board_typep = MCDI_OUT_DWORD(req,
1383                     GET_BOARD_CFG_OUT_BOARD_TYPE);
1384         }
1385
1386         return (0);
1387
1388 fail4:
1389         EFSYS_PROBE(fail4);
1390 fail3:
1391         EFSYS_PROBE(fail3);
1392 fail2:
1393         EFSYS_PROBE(fail2);
1394 fail1:
1395         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1396
1397         return (rc);
1398 }
1399
1400         __checkReturn   efx_rc_t
1401 efx_mcdi_get_resource_limits(
1402         __in            efx_nic_t *enp,
1403         __out_opt       uint32_t *nevqp,
1404         __out_opt       uint32_t *nrxqp,
1405         __out_opt       uint32_t *ntxqp)
1406 {
1407         efx_mcdi_req_t req;
1408         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_RESOURCE_LIMITS_IN_LEN,
1409                 MC_CMD_GET_RESOURCE_LIMITS_OUT_LEN);
1410         efx_rc_t rc;
1411
1412         req.emr_cmd = MC_CMD_GET_RESOURCE_LIMITS;
1413         req.emr_in_buf = payload;
1414         req.emr_in_length = MC_CMD_GET_RESOURCE_LIMITS_IN_LEN;
1415         req.emr_out_buf = payload;
1416         req.emr_out_length = MC_CMD_GET_RESOURCE_LIMITS_OUT_LEN;
1417
1418         efx_mcdi_execute(enp, &req);
1419
1420         if (req.emr_rc != 0) {
1421                 rc = req.emr_rc;
1422                 goto fail1;
1423         }
1424
1425         if (req.emr_out_length_used < MC_CMD_GET_RESOURCE_LIMITS_OUT_LEN) {
1426                 rc = EMSGSIZE;
1427                 goto fail2;
1428         }
1429
1430         if (nevqp != NULL)
1431                 *nevqp = MCDI_OUT_DWORD(req, GET_RESOURCE_LIMITS_OUT_EVQ);
1432         if (nrxqp != NULL)
1433                 *nrxqp = MCDI_OUT_DWORD(req, GET_RESOURCE_LIMITS_OUT_RXQ);
1434         if (ntxqp != NULL)
1435                 *ntxqp = MCDI_OUT_DWORD(req, GET_RESOURCE_LIMITS_OUT_TXQ);
1436
1437         return (0);
1438
1439 fail2:
1440         EFSYS_PROBE(fail2);
1441 fail1:
1442         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1443
1444         return (rc);
1445 }
1446
1447         __checkReturn   efx_rc_t
1448 efx_mcdi_get_phy_cfg(
1449         __in            efx_nic_t *enp)
1450 {
1451         efx_port_t *epp = &(enp->en_port);
1452         efx_nic_cfg_t *encp = &(enp->en_nic_cfg);
1453         efx_mcdi_req_t req;
1454         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_PHY_CFG_IN_LEN,
1455                 MC_CMD_GET_PHY_CFG_OUT_LEN);
1456 #if EFSYS_OPT_NAMES
1457         const char *namep;
1458         size_t namelen;
1459 #endif
1460         uint32_t phy_media_type;
1461         efx_rc_t rc;
1462
1463         req.emr_cmd = MC_CMD_GET_PHY_CFG;
1464         req.emr_in_buf = payload;
1465         req.emr_in_length = MC_CMD_GET_PHY_CFG_IN_LEN;
1466         req.emr_out_buf = payload;
1467         req.emr_out_length = MC_CMD_GET_PHY_CFG_OUT_LEN;
1468
1469         efx_mcdi_execute(enp, &req);
1470
1471         if (req.emr_rc != 0) {
1472                 rc = req.emr_rc;
1473                 goto fail1;
1474         }
1475
1476         if (req.emr_out_length_used < MC_CMD_GET_PHY_CFG_OUT_LEN) {
1477                 rc = EMSGSIZE;
1478                 goto fail2;
1479         }
1480
1481         encp->enc_phy_type = MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_TYPE);
1482 #if EFSYS_OPT_NAMES
1483         namep = MCDI_OUT2(req, char, GET_PHY_CFG_OUT_NAME);
1484         namelen = MIN(sizeof (encp->enc_phy_name) - 1,
1485                     strnlen(namep, MC_CMD_GET_PHY_CFG_OUT_NAME_LEN));
1486         (void) memset(encp->enc_phy_name, 0,
1487             sizeof (encp->enc_phy_name));
1488         memcpy(encp->enc_phy_name, namep, namelen);
1489 #endif  /* EFSYS_OPT_NAMES */
1490         (void) memset(encp->enc_phy_revision, 0,
1491             sizeof (encp->enc_phy_revision));
1492         memcpy(encp->enc_phy_revision,
1493                 MCDI_OUT2(req, char, GET_PHY_CFG_OUT_REVISION),
1494                 MIN(sizeof (encp->enc_phy_revision) - 1,
1495                     MC_CMD_GET_PHY_CFG_OUT_REVISION_LEN));
1496 #if EFSYS_OPT_PHY_LED_CONTROL
1497         encp->enc_led_mask = ((1 << EFX_PHY_LED_DEFAULT) |
1498                             (1 << EFX_PHY_LED_OFF) |
1499                             (1 << EFX_PHY_LED_ON));
1500 #endif  /* EFSYS_OPT_PHY_LED_CONTROL */
1501
1502         /* Get the media type of the fixed port, if recognised. */
1503         EFX_STATIC_ASSERT(MC_CMD_MEDIA_XAUI == EFX_PHY_MEDIA_XAUI);
1504         EFX_STATIC_ASSERT(MC_CMD_MEDIA_CX4 == EFX_PHY_MEDIA_CX4);
1505         EFX_STATIC_ASSERT(MC_CMD_MEDIA_KX4 == EFX_PHY_MEDIA_KX4);
1506         EFX_STATIC_ASSERT(MC_CMD_MEDIA_XFP == EFX_PHY_MEDIA_XFP);
1507         EFX_STATIC_ASSERT(MC_CMD_MEDIA_SFP_PLUS == EFX_PHY_MEDIA_SFP_PLUS);
1508         EFX_STATIC_ASSERT(MC_CMD_MEDIA_BASE_T == EFX_PHY_MEDIA_BASE_T);
1509         EFX_STATIC_ASSERT(MC_CMD_MEDIA_QSFP_PLUS == EFX_PHY_MEDIA_QSFP_PLUS);
1510         phy_media_type = MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_MEDIA_TYPE);
1511         epp->ep_fixed_port_type = (efx_phy_media_type_t)phy_media_type;
1512         if (epp->ep_fixed_port_type >= EFX_PHY_MEDIA_NTYPES)
1513                 epp->ep_fixed_port_type = EFX_PHY_MEDIA_INVALID;
1514
1515         epp->ep_phy_cap_mask =
1516                 MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_SUPPORTED_CAP);
1517 #if EFSYS_OPT_PHY_FLAGS
1518         encp->enc_phy_flags_mask = MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_FLAGS);
1519 #endif  /* EFSYS_OPT_PHY_FLAGS */
1520
1521         encp->enc_port = (uint8_t)MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_PRT);
1522
1523         /* Populate internal state */
1524         encp->enc_mcdi_mdio_channel =
1525                 (uint8_t)MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_CHANNEL);
1526
1527 #if EFSYS_OPT_PHY_STATS
1528         encp->enc_mcdi_phy_stat_mask =
1529                 MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_STATS_MASK);
1530 #endif  /* EFSYS_OPT_PHY_STATS */
1531
1532 #if EFSYS_OPT_BIST
1533         encp->enc_bist_mask = 0;
1534         if (MCDI_OUT_DWORD_FIELD(req, GET_PHY_CFG_OUT_FLAGS,
1535             GET_PHY_CFG_OUT_BIST_CABLE_SHORT))
1536                 encp->enc_bist_mask |= (1 << EFX_BIST_TYPE_PHY_CABLE_SHORT);
1537         if (MCDI_OUT_DWORD_FIELD(req, GET_PHY_CFG_OUT_FLAGS,
1538             GET_PHY_CFG_OUT_BIST_CABLE_LONG))
1539                 encp->enc_bist_mask |= (1 << EFX_BIST_TYPE_PHY_CABLE_LONG);
1540         if (MCDI_OUT_DWORD_FIELD(req, GET_PHY_CFG_OUT_FLAGS,
1541             GET_PHY_CFG_OUT_BIST))
1542                 encp->enc_bist_mask |= (1 << EFX_BIST_TYPE_PHY_NORMAL);
1543 #endif  /* EFSYS_OPT_BIST */
1544
1545         return (0);
1546
1547 fail2:
1548         EFSYS_PROBE(fail2);
1549 fail1:
1550         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1551
1552         return (rc);
1553 }
1554
1555         __checkReturn           efx_rc_t
1556 efx_mcdi_firmware_update_supported(
1557         __in                    efx_nic_t *enp,
1558         __out                   boolean_t *supportedp)
1559 {
1560         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
1561         efx_rc_t rc;
1562
1563         if (emcop != NULL) {
1564                 if ((rc = emcop->emco_feature_supported(enp,
1565                             EFX_MCDI_FEATURE_FW_UPDATE, supportedp)) != 0)
1566                         goto fail1;
1567         } else {
1568                 /* Earlier devices always supported updates */
1569                 *supportedp = B_TRUE;
1570         }
1571
1572         return (0);
1573
1574 fail1:
1575         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1576
1577         return (rc);
1578 }
1579
1580         __checkReturn           efx_rc_t
1581 efx_mcdi_macaddr_change_supported(
1582         __in                    efx_nic_t *enp,
1583         __out                   boolean_t *supportedp)
1584 {
1585         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
1586         efx_rc_t rc;
1587
1588         if (emcop != NULL) {
1589                 if ((rc = emcop->emco_feature_supported(enp,
1590                             EFX_MCDI_FEATURE_MACADDR_CHANGE, supportedp)) != 0)
1591                         goto fail1;
1592         } else {
1593                 /* Earlier devices always supported MAC changes */
1594                 *supportedp = B_TRUE;
1595         }
1596
1597         return (0);
1598
1599 fail1:
1600         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1601
1602         return (rc);
1603 }
1604
1605         __checkReturn           efx_rc_t
1606 efx_mcdi_link_control_supported(
1607         __in                    efx_nic_t *enp,
1608         __out                   boolean_t *supportedp)
1609 {
1610         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
1611         efx_rc_t rc;
1612
1613         if (emcop != NULL) {
1614                 if ((rc = emcop->emco_feature_supported(enp,
1615                             EFX_MCDI_FEATURE_LINK_CONTROL, supportedp)) != 0)
1616                         goto fail1;
1617         } else {
1618                 /* Earlier devices always supported link control */
1619                 *supportedp = B_TRUE;
1620         }
1621
1622         return (0);
1623
1624 fail1:
1625         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1626
1627         return (rc);
1628 }
1629
1630         __checkReturn           efx_rc_t
1631 efx_mcdi_mac_spoofing_supported(
1632         __in                    efx_nic_t *enp,
1633         __out                   boolean_t *supportedp)
1634 {
1635         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
1636         efx_rc_t rc;
1637
1638         if (emcop != NULL) {
1639                 if ((rc = emcop->emco_feature_supported(enp,
1640                             EFX_MCDI_FEATURE_MAC_SPOOFING, supportedp)) != 0)
1641                         goto fail1;
1642         } else {
1643                 /* Earlier devices always supported MAC spoofing */
1644                 *supportedp = B_TRUE;
1645         }
1646
1647         return (0);
1648
1649 fail1:
1650         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1651
1652         return (rc);
1653 }
1654
1655 #if EFSYS_OPT_BIST
1656
1657 #if EFX_OPTS_EF10()
1658 /*
1659  * Enter bist offline mode. This is a fw mode which puts the NIC into a state
1660  * where memory BIST tests can be run and not much else can interfere or happen.
1661  * A reboot is required to exit this mode.
1662  */
1663         __checkReturn           efx_rc_t
1664 efx_mcdi_bist_enable_offline(
1665         __in                    efx_nic_t *enp)
1666 {
1667         efx_mcdi_req_t req;
1668         efx_rc_t rc;
1669
1670         EFX_STATIC_ASSERT(MC_CMD_ENABLE_OFFLINE_BIST_IN_LEN == 0);
1671         EFX_STATIC_ASSERT(MC_CMD_ENABLE_OFFLINE_BIST_OUT_LEN == 0);
1672
1673         req.emr_cmd = MC_CMD_ENABLE_OFFLINE_BIST;
1674         req.emr_in_buf = NULL;
1675         req.emr_in_length = 0;
1676         req.emr_out_buf = NULL;
1677         req.emr_out_length = 0;
1678
1679         efx_mcdi_execute(enp, &req);
1680
1681         if (req.emr_rc != 0) {
1682                 rc = req.emr_rc;
1683                 goto fail1;
1684         }
1685
1686         return (0);
1687
1688 fail1:
1689         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1690
1691         return (rc);
1692 }
1693 #endif /* EFX_OPTS_EF10() */
1694
1695         __checkReturn           efx_rc_t
1696 efx_mcdi_bist_start(
1697         __in                    efx_nic_t *enp,
1698         __in                    efx_bist_type_t type)
1699 {
1700         efx_mcdi_req_t req;
1701         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_START_BIST_IN_LEN,
1702                 MC_CMD_START_BIST_OUT_LEN);
1703         efx_rc_t rc;
1704
1705         req.emr_cmd = MC_CMD_START_BIST;
1706         req.emr_in_buf = payload;
1707         req.emr_in_length = MC_CMD_START_BIST_IN_LEN;
1708         req.emr_out_buf = payload;
1709         req.emr_out_length = MC_CMD_START_BIST_OUT_LEN;
1710
1711         switch (type) {
1712         case EFX_BIST_TYPE_PHY_NORMAL:
1713                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE, MC_CMD_PHY_BIST);
1714                 break;
1715         case EFX_BIST_TYPE_PHY_CABLE_SHORT:
1716                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1717                     MC_CMD_PHY_BIST_CABLE_SHORT);
1718                 break;
1719         case EFX_BIST_TYPE_PHY_CABLE_LONG:
1720                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1721                     MC_CMD_PHY_BIST_CABLE_LONG);
1722                 break;
1723         case EFX_BIST_TYPE_MC_MEM:
1724                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1725                     MC_CMD_MC_MEM_BIST);
1726                 break;
1727         case EFX_BIST_TYPE_SAT_MEM:
1728                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1729                     MC_CMD_PORT_MEM_BIST);
1730                 break;
1731         case EFX_BIST_TYPE_REG:
1732                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1733                     MC_CMD_REG_BIST);
1734                 break;
1735         default:
1736                 EFSYS_ASSERT(0);
1737         }
1738
1739         efx_mcdi_execute(enp, &req);
1740
1741         if (req.emr_rc != 0) {
1742                 rc = req.emr_rc;
1743                 goto fail1;
1744         }
1745
1746         return (0);
1747
1748 fail1:
1749         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1750
1751         return (rc);
1752 }
1753
1754 #endif /* EFSYS_OPT_BIST */
1755
1756
1757 /* Enable logging of some events (e.g. link state changes) */
1758         __checkReturn   efx_rc_t
1759 efx_mcdi_log_ctrl(
1760         __in            efx_nic_t *enp)
1761 {
1762         efx_mcdi_req_t req;
1763         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_LOG_CTRL_IN_LEN,
1764                 MC_CMD_LOG_CTRL_OUT_LEN);
1765         efx_rc_t rc;
1766
1767         req.emr_cmd = MC_CMD_LOG_CTRL;
1768         req.emr_in_buf = payload;
1769         req.emr_in_length = MC_CMD_LOG_CTRL_IN_LEN;
1770         req.emr_out_buf = payload;
1771         req.emr_out_length = MC_CMD_LOG_CTRL_OUT_LEN;
1772
1773         MCDI_IN_SET_DWORD(req, LOG_CTRL_IN_LOG_DEST,
1774                     MC_CMD_LOG_CTRL_IN_LOG_DEST_EVQ);
1775         MCDI_IN_SET_DWORD(req, LOG_CTRL_IN_LOG_DEST_EVQ, 0);
1776
1777         efx_mcdi_execute(enp, &req);
1778
1779         if (req.emr_rc != 0) {
1780                 rc = req.emr_rc;
1781                 goto fail1;
1782         }
1783
1784         return (0);
1785
1786 fail1:
1787         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1788
1789         return (rc);
1790 }
1791
1792
1793 #if EFSYS_OPT_MAC_STATS
1794
1795 typedef enum efx_stats_action_e {
1796         EFX_STATS_CLEAR,
1797         EFX_STATS_UPLOAD,
1798         EFX_STATS_ENABLE_NOEVENTS,
1799         EFX_STATS_ENABLE_EVENTS,
1800         EFX_STATS_DISABLE,
1801 } efx_stats_action_t;
1802
1803 static  __checkReturn   efx_rc_t
1804 efx_mcdi_mac_stats(
1805         __in            efx_nic_t *enp,
1806         __in_opt        efsys_mem_t *esmp,
1807         __in            efx_stats_action_t action,
1808         __in            uint16_t period_ms)
1809 {
1810         efx_mcdi_req_t req;
1811         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_MAC_STATS_IN_LEN,
1812                 MC_CMD_MAC_STATS_V2_OUT_DMA_LEN);
1813         int clear = (action == EFX_STATS_CLEAR);
1814         int upload = (action == EFX_STATS_UPLOAD);
1815         int enable = (action == EFX_STATS_ENABLE_NOEVENTS);
1816         int events = (action == EFX_STATS_ENABLE_EVENTS);
1817         int disable = (action == EFX_STATS_DISABLE);
1818         efx_rc_t rc;
1819
1820         req.emr_cmd = MC_CMD_MAC_STATS;
1821         req.emr_in_buf = payload;
1822         req.emr_in_length = MC_CMD_MAC_STATS_IN_LEN;
1823         req.emr_out_buf = payload;
1824         req.emr_out_length = MC_CMD_MAC_STATS_V2_OUT_DMA_LEN;
1825
1826         MCDI_IN_POPULATE_DWORD_6(req, MAC_STATS_IN_CMD,
1827             MAC_STATS_IN_DMA, upload,
1828             MAC_STATS_IN_CLEAR, clear,
1829             MAC_STATS_IN_PERIODIC_CHANGE, enable | events | disable,
1830             MAC_STATS_IN_PERIODIC_ENABLE, enable | events,
1831             MAC_STATS_IN_PERIODIC_NOEVENT, !events,
1832             MAC_STATS_IN_PERIOD_MS, (enable | events) ? period_ms : 0);
1833
1834         if (enable || events || upload) {
1835                 const efx_nic_cfg_t *encp = &enp->en_nic_cfg;
1836                 uint32_t bytes;
1837
1838                 /* Periodic stats or stats upload require a DMA buffer */
1839                 if (esmp == NULL) {
1840                         rc = EINVAL;
1841                         goto fail1;
1842                 }
1843
1844                 if (encp->enc_mac_stats_nstats < MC_CMD_MAC_NSTATS) {
1845                         /* MAC stats count too small for legacy MAC stats */
1846                         rc = ENOSPC;
1847                         goto fail2;
1848                 }
1849
1850                 bytes = encp->enc_mac_stats_nstats * sizeof (efx_qword_t);
1851
1852                 if (EFSYS_MEM_SIZE(esmp) < bytes) {
1853                         /* DMA buffer too small */
1854                         rc = ENOSPC;
1855                         goto fail3;
1856                 }
1857
1858                 MCDI_IN_SET_DWORD(req, MAC_STATS_IN_DMA_ADDR_LO,
1859                             EFSYS_MEM_ADDR(esmp) & 0xffffffff);
1860                 MCDI_IN_SET_DWORD(req, MAC_STATS_IN_DMA_ADDR_HI,
1861                             EFSYS_MEM_ADDR(esmp) >> 32);
1862                 MCDI_IN_SET_DWORD(req, MAC_STATS_IN_DMA_LEN, bytes);
1863         }
1864
1865         /*
1866          * NOTE: Do not use EVB_PORT_ID_ASSIGNED when disabling periodic stats,
1867          *       as this may fail (and leave periodic DMA enabled) if the
1868          *       vadapter has already been deleted.
1869          */
1870         MCDI_IN_SET_DWORD(req, MAC_STATS_IN_PORT_ID,
1871             (disable ? EVB_PORT_ID_NULL : enp->en_vport_id));
1872
1873         efx_mcdi_execute(enp, &req);
1874
1875         if (req.emr_rc != 0) {
1876                 /* EF10: Expect ENOENT if no DMA queues are initialised */
1877                 if ((req.emr_rc != ENOENT) ||
1878                     (enp->en_rx_qcount + enp->en_tx_qcount != 0)) {
1879                         rc = req.emr_rc;
1880                         goto fail4;
1881                 }
1882         }
1883
1884         return (0);
1885
1886 fail4:
1887         EFSYS_PROBE(fail4);
1888 fail3:
1889         EFSYS_PROBE(fail3);
1890 fail2:
1891         EFSYS_PROBE(fail2);
1892 fail1:
1893         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1894
1895         return (rc);
1896 }
1897
1898         __checkReturn   efx_rc_t
1899 efx_mcdi_mac_stats_clear(
1900         __in            efx_nic_t *enp)
1901 {
1902         efx_rc_t rc;
1903
1904         if ((rc = efx_mcdi_mac_stats(enp, NULL, EFX_STATS_CLEAR, 0)) != 0)
1905                 goto fail1;
1906
1907         return (0);
1908
1909 fail1:
1910         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1911
1912         return (rc);
1913 }
1914
1915         __checkReturn   efx_rc_t
1916 efx_mcdi_mac_stats_upload(
1917         __in            efx_nic_t *enp,
1918         __in            efsys_mem_t *esmp)
1919 {
1920         efx_rc_t rc;
1921
1922         /*
1923          * The MC DMAs aggregate statistics for our convenience, so we can
1924          * avoid having to pull the statistics buffer into the cache to
1925          * maintain cumulative statistics.
1926          */
1927         if ((rc = efx_mcdi_mac_stats(enp, esmp, EFX_STATS_UPLOAD, 0)) != 0)
1928                 goto fail1;
1929
1930         return (0);
1931
1932 fail1:
1933         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1934
1935         return (rc);
1936 }
1937
1938         __checkReturn   efx_rc_t
1939 efx_mcdi_mac_stats_periodic(
1940         __in            efx_nic_t *enp,
1941         __in            efsys_mem_t *esmp,
1942         __in            uint16_t period_ms,
1943         __in            boolean_t events)
1944 {
1945         efx_rc_t rc;
1946
1947         /*
1948          * The MC DMAs aggregate statistics for our convenience, so we can
1949          * avoid having to pull the statistics buffer into the cache to
1950          * maintain cumulative statistics.
1951          * Huntington uses a fixed 1sec period.
1952          * Medford uses a fixed 1sec period before v6.2.1.1033 firmware.
1953          */
1954         if (period_ms == 0)
1955                 rc = efx_mcdi_mac_stats(enp, NULL, EFX_STATS_DISABLE, 0);
1956         else if (events)
1957                 rc = efx_mcdi_mac_stats(enp, esmp, EFX_STATS_ENABLE_EVENTS,
1958                     period_ms);
1959         else
1960                 rc = efx_mcdi_mac_stats(enp, esmp, EFX_STATS_ENABLE_NOEVENTS,
1961                     period_ms);
1962
1963         if (rc != 0)
1964                 goto fail1;
1965
1966         return (0);
1967
1968 fail1:
1969         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1970
1971         return (rc);
1972 }
1973
1974 #endif  /* EFSYS_OPT_MAC_STATS */
1975
1976 #if EFX_OPTS_EF10()
1977
1978 /*
1979  * This function returns the pf and vf number of a function.  If it is a pf the
1980  * vf number is 0xffff.  The vf number is the index of the vf on that
1981  * function. So if you have 3 vfs on pf 0 the 3 vfs will return (pf=0,vf=0),
1982  * (pf=0,vf=1), (pf=0,vf=2) aand the pf will return (pf=0, vf=0xffff).
1983  */
1984         __checkReturn           efx_rc_t
1985 efx_mcdi_get_function_info(
1986         __in                    efx_nic_t *enp,
1987         __out                   uint32_t *pfp,
1988         __out_opt               uint32_t *vfp)
1989 {
1990         efx_mcdi_req_t req;
1991         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_FUNCTION_INFO_IN_LEN,
1992                 MC_CMD_GET_FUNCTION_INFO_OUT_LEN);
1993         efx_rc_t rc;
1994
1995         req.emr_cmd = MC_CMD_GET_FUNCTION_INFO;
1996         req.emr_in_buf = payload;
1997         req.emr_in_length = MC_CMD_GET_FUNCTION_INFO_IN_LEN;
1998         req.emr_out_buf = payload;
1999         req.emr_out_length = MC_CMD_GET_FUNCTION_INFO_OUT_LEN;
2000
2001         efx_mcdi_execute(enp, &req);
2002
2003         if (req.emr_rc != 0) {
2004                 rc = req.emr_rc;
2005                 goto fail1;
2006         }
2007
2008         if (req.emr_out_length_used < MC_CMD_GET_FUNCTION_INFO_OUT_LEN) {
2009                 rc = EMSGSIZE;
2010                 goto fail2;
2011         }
2012
2013         *pfp = MCDI_OUT_DWORD(req, GET_FUNCTION_INFO_OUT_PF);
2014         if (vfp != NULL)
2015                 *vfp = MCDI_OUT_DWORD(req, GET_FUNCTION_INFO_OUT_VF);
2016
2017         return (0);
2018
2019 fail2:
2020         EFSYS_PROBE(fail2);
2021 fail1:
2022         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2023
2024         return (rc);
2025 }
2026
2027         __checkReturn           efx_rc_t
2028 efx_mcdi_privilege_mask(
2029         __in                    efx_nic_t *enp,
2030         __in                    uint32_t pf,
2031         __in                    uint32_t vf,
2032         __out                   uint32_t *maskp)
2033 {
2034         efx_mcdi_req_t req;
2035         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_PRIVILEGE_MASK_IN_LEN,
2036                 MC_CMD_PRIVILEGE_MASK_OUT_LEN);
2037         efx_rc_t rc;
2038
2039         req.emr_cmd = MC_CMD_PRIVILEGE_MASK;
2040         req.emr_in_buf = payload;
2041         req.emr_in_length = MC_CMD_PRIVILEGE_MASK_IN_LEN;
2042         req.emr_out_buf = payload;
2043         req.emr_out_length = MC_CMD_PRIVILEGE_MASK_OUT_LEN;
2044
2045         MCDI_IN_POPULATE_DWORD_2(req, PRIVILEGE_MASK_IN_FUNCTION,
2046             PRIVILEGE_MASK_IN_FUNCTION_PF, pf,
2047             PRIVILEGE_MASK_IN_FUNCTION_VF, vf);
2048
2049         efx_mcdi_execute(enp, &req);
2050
2051         if (req.emr_rc != 0) {
2052                 rc = req.emr_rc;
2053                 goto fail1;
2054         }
2055
2056         if (req.emr_out_length_used < MC_CMD_PRIVILEGE_MASK_OUT_LEN) {
2057                 rc = EMSGSIZE;
2058                 goto fail2;
2059         }
2060
2061         *maskp = MCDI_OUT_DWORD(req, PRIVILEGE_MASK_OUT_OLD_MASK);
2062
2063         return (0);
2064
2065 fail2:
2066         EFSYS_PROBE(fail2);
2067 fail1:
2068         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2069
2070         return (rc);
2071 }
2072
2073 #endif /* EFX_OPTS_EF10() */
2074
2075         __checkReturn           efx_rc_t
2076 efx_mcdi_set_workaround(
2077         __in                    efx_nic_t *enp,
2078         __in                    uint32_t type,
2079         __in                    boolean_t enabled,
2080         __out_opt               uint32_t *flagsp)
2081 {
2082         efx_mcdi_req_t req;
2083         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_WORKAROUND_IN_LEN,
2084                 MC_CMD_WORKAROUND_EXT_OUT_LEN);
2085         efx_rc_t rc;
2086
2087         req.emr_cmd = MC_CMD_WORKAROUND;
2088         req.emr_in_buf = payload;
2089         req.emr_in_length = MC_CMD_WORKAROUND_IN_LEN;
2090         req.emr_out_buf = payload;
2091         req.emr_out_length = MC_CMD_WORKAROUND_OUT_LEN;
2092
2093         MCDI_IN_SET_DWORD(req, WORKAROUND_IN_TYPE, type);
2094         MCDI_IN_SET_DWORD(req, WORKAROUND_IN_ENABLED, enabled ? 1 : 0);
2095
2096         efx_mcdi_execute_quiet(enp, &req);
2097
2098         if (req.emr_rc != 0) {
2099                 rc = req.emr_rc;
2100                 goto fail1;
2101         }
2102
2103         if (flagsp != NULL) {
2104                 if (req.emr_out_length_used >= MC_CMD_WORKAROUND_EXT_OUT_LEN)
2105                         *flagsp = MCDI_OUT_DWORD(req, WORKAROUND_EXT_OUT_FLAGS);
2106                 else
2107                         *flagsp = 0;
2108         }
2109
2110         return (0);
2111
2112 fail1:
2113         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2114
2115         return (rc);
2116 }
2117
2118
2119         __checkReturn           efx_rc_t
2120 efx_mcdi_get_workarounds(
2121         __in                    efx_nic_t *enp,
2122         __out_opt               uint32_t *implementedp,
2123         __out_opt               uint32_t *enabledp)
2124 {
2125         efx_mcdi_req_t req;
2126         EFX_MCDI_DECLARE_BUF(payload, 0, MC_CMD_GET_WORKAROUNDS_OUT_LEN);
2127         efx_rc_t rc;
2128
2129         req.emr_cmd = MC_CMD_GET_WORKAROUNDS;
2130         req.emr_in_buf = NULL;
2131         req.emr_in_length = 0;
2132         req.emr_out_buf = payload;
2133         req.emr_out_length = MC_CMD_GET_WORKAROUNDS_OUT_LEN;
2134
2135         efx_mcdi_execute(enp, &req);
2136
2137         if (req.emr_rc != 0) {
2138                 rc = req.emr_rc;
2139                 goto fail1;
2140         }
2141
2142         if (implementedp != NULL) {
2143                 *implementedp =
2144                     MCDI_OUT_DWORD(req, GET_WORKAROUNDS_OUT_IMPLEMENTED);
2145         }
2146
2147         if (enabledp != NULL) {
2148                 *enabledp = MCDI_OUT_DWORD(req, GET_WORKAROUNDS_OUT_ENABLED);
2149         }
2150
2151         return (0);
2152
2153 fail1:
2154         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2155
2156         return (rc);
2157 }
2158
2159 /*
2160  * Size of media information page in accordance with SFF-8472 and SFF-8436.
2161  * It is used in MCDI interface as well.
2162  */
2163 #define EFX_PHY_MEDIA_INFO_PAGE_SIZE            0x80
2164
2165 /*
2166  * Transceiver identifiers from SFF-8024 Table 4-1.
2167  */
2168 #define EFX_SFF_TRANSCEIVER_ID_SFP              0x03 /* SFP/SFP+/SFP28 */
2169 #define EFX_SFF_TRANSCEIVER_ID_QSFP             0x0c /* QSFP */
2170 #define EFX_SFF_TRANSCEIVER_ID_QSFP_PLUS        0x0d /* QSFP+ or later */
2171 #define EFX_SFF_TRANSCEIVER_ID_QSFP28           0x11 /* QSFP28 or later */
2172
2173 static  __checkReturn           efx_rc_t
2174 efx_mcdi_get_phy_media_info(
2175         __in                    efx_nic_t *enp,
2176         __in                    uint32_t mcdi_page,
2177         __in                    uint8_t offset,
2178         __in                    uint8_t len,
2179         __out_bcount(len)       uint8_t *data)
2180 {
2181         efx_mcdi_req_t req;
2182         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_PHY_MEDIA_INFO_IN_LEN,
2183                 MC_CMD_GET_PHY_MEDIA_INFO_OUT_LEN(
2184                         EFX_PHY_MEDIA_INFO_PAGE_SIZE));
2185         efx_rc_t rc;
2186
2187         EFSYS_ASSERT((uint32_t)offset + len <= EFX_PHY_MEDIA_INFO_PAGE_SIZE);
2188
2189         req.emr_cmd = MC_CMD_GET_PHY_MEDIA_INFO;
2190         req.emr_in_buf = payload;
2191         req.emr_in_length = MC_CMD_GET_PHY_MEDIA_INFO_IN_LEN;
2192         req.emr_out_buf = payload;
2193         req.emr_out_length =
2194             MC_CMD_GET_PHY_MEDIA_INFO_OUT_LEN(EFX_PHY_MEDIA_INFO_PAGE_SIZE);
2195
2196         MCDI_IN_SET_DWORD(req, GET_PHY_MEDIA_INFO_IN_PAGE, mcdi_page);
2197
2198         efx_mcdi_execute(enp, &req);
2199
2200         if (req.emr_rc != 0) {
2201                 rc = req.emr_rc;
2202                 goto fail1;
2203         }
2204
2205         if (req.emr_out_length_used !=
2206             MC_CMD_GET_PHY_MEDIA_INFO_OUT_LEN(EFX_PHY_MEDIA_INFO_PAGE_SIZE)) {
2207                 rc = EMSGSIZE;
2208                 goto fail2;
2209         }
2210
2211         if (MCDI_OUT_DWORD(req, GET_PHY_MEDIA_INFO_OUT_DATALEN) !=
2212             EFX_PHY_MEDIA_INFO_PAGE_SIZE) {
2213                 rc = EIO;
2214                 goto fail3;
2215         }
2216
2217         memcpy(data,
2218             MCDI_OUT2(req, uint8_t, GET_PHY_MEDIA_INFO_OUT_DATA) + offset,
2219             len);
2220
2221         return (0);
2222
2223 fail3:
2224         EFSYS_PROBE(fail3);
2225 fail2:
2226         EFSYS_PROBE(fail2);
2227 fail1:
2228         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2229
2230         return (rc);
2231 }
2232
2233         __checkReturn           efx_rc_t
2234 efx_mcdi_phy_module_get_info(
2235         __in                    efx_nic_t *enp,
2236         __in                    uint8_t dev_addr,
2237         __in                    size_t offset,
2238         __in                    size_t len,
2239         __out_bcount(len)       uint8_t *data)
2240 {
2241         efx_port_t *epp = &(enp->en_port);
2242         efx_rc_t rc;
2243         uint32_t mcdi_lower_page;
2244         uint32_t mcdi_upper_page;
2245         uint8_t id;
2246
2247         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_PROBE);
2248
2249         /*
2250          * Map device address to MC_CMD_GET_PHY_MEDIA_INFO pages.
2251          * Offset plus length interface allows to access page 0 only.
2252          * I.e. non-zero upper pages are not accessible.
2253          * See SFF-8472 section 4 Memory Organization and SFF-8436 section 7.6
2254          * QSFP+ Memory Map for details on how information is structured
2255          * and accessible.
2256          */
2257         switch (epp->ep_fixed_port_type) {
2258         case EFX_PHY_MEDIA_SFP_PLUS:
2259         case EFX_PHY_MEDIA_QSFP_PLUS:
2260                 /* Port type supports modules */
2261                 break;
2262         default:
2263                 rc = ENOTSUP;
2264                 goto fail1;
2265         }
2266
2267         /*
2268          * For all supported port types, MCDI page 0 offset 0 holds the
2269          * transceiver identifier. Probe to determine the data layout.
2270          * Definitions from SFF-8024 Table 4-1.
2271          */
2272         rc = efx_mcdi_get_phy_media_info(enp,
2273                     0, 0, sizeof(id), &id);
2274         if (rc != 0)
2275                 goto fail2;
2276
2277         switch (id) {
2278         case EFX_SFF_TRANSCEIVER_ID_SFP:
2279                 /*
2280                  * In accordance with SFF-8472 Diagnostic Monitoring
2281                  * Interface for Optical Transceivers section 4 Memory
2282                  * Organization two 2-wire addresses are defined.
2283                  */
2284                 switch (dev_addr) {
2285                 /* Base information */
2286                 case EFX_PHY_MEDIA_INFO_DEV_ADDR_SFP_BASE:
2287                         /*
2288                          * MCDI page 0 should be used to access lower
2289                          * page 0 (0x00 - 0x7f) at the device address 0xA0.
2290                          */
2291                         mcdi_lower_page = 0;
2292                         /*
2293                          * MCDI page 1 should be used to access  upper
2294                          * page 0 (0x80 - 0xff) at the device address 0xA0.
2295                          */
2296                         mcdi_upper_page = 1;
2297                         break;
2298                 /* Diagnostics */
2299                 case EFX_PHY_MEDIA_INFO_DEV_ADDR_SFP_DDM:
2300                         /*
2301                          * MCDI page 2 should be used to access lower
2302                          * page 0 (0x00 - 0x7f) at the device address 0xA2.
2303                          */
2304                         mcdi_lower_page = 2;
2305                         /*
2306                          * MCDI page 3 should be used to access upper
2307                          * page 0 (0x80 - 0xff) at the device address 0xA2.
2308                          */
2309                         mcdi_upper_page = 3;
2310                         break;
2311                 default:
2312                         rc = ENOTSUP;
2313                         goto fail3;
2314                 }
2315                 break;
2316         case EFX_SFF_TRANSCEIVER_ID_QSFP:
2317         case EFX_SFF_TRANSCEIVER_ID_QSFP_PLUS:
2318         case EFX_SFF_TRANSCEIVER_ID_QSFP28:
2319                 switch (dev_addr) {
2320                 case EFX_PHY_MEDIA_INFO_DEV_ADDR_QSFP:
2321                         /*
2322                          * MCDI page -1 should be used to access lower page 0
2323                          * (0x00 - 0x7f).
2324                          */
2325                         mcdi_lower_page = (uint32_t)-1;
2326                         /*
2327                          * MCDI page 0 should be used to access upper page 0
2328                          * (0x80h - 0xff).
2329                          */
2330                         mcdi_upper_page = 0;
2331                         break;
2332                 default:
2333                         rc = ENOTSUP;
2334                         goto fail3;
2335                 }
2336                 break;
2337         default:
2338                 rc = ENOTSUP;
2339                 goto fail3;
2340         }
2341
2342         EFX_STATIC_ASSERT(EFX_PHY_MEDIA_INFO_PAGE_SIZE <= 0xFF);
2343
2344         if (offset < EFX_PHY_MEDIA_INFO_PAGE_SIZE) {
2345                 size_t read_len =
2346                     MIN(len, EFX_PHY_MEDIA_INFO_PAGE_SIZE - offset);
2347
2348                 rc = efx_mcdi_get_phy_media_info(enp,
2349                     mcdi_lower_page, (uint8_t)offset, (uint8_t)read_len, data);
2350                 if (rc != 0)
2351                         goto fail4;
2352
2353                 data += read_len;
2354                 len -= read_len;
2355
2356                 offset = 0;
2357         } else {
2358                 offset -= EFX_PHY_MEDIA_INFO_PAGE_SIZE;
2359         }
2360
2361         if (len > 0) {
2362                 EFSYS_ASSERT3U(len, <=, EFX_PHY_MEDIA_INFO_PAGE_SIZE);
2363                 EFSYS_ASSERT3U(offset, <, EFX_PHY_MEDIA_INFO_PAGE_SIZE);
2364
2365                 rc = efx_mcdi_get_phy_media_info(enp,
2366                     mcdi_upper_page, (uint8_t)offset, (uint8_t)len, data);
2367                 if (rc != 0)
2368                         goto fail5;
2369         }
2370
2371         return (0);
2372
2373 fail5:
2374         EFSYS_PROBE(fail5);
2375 fail4:
2376         EFSYS_PROBE(fail4);
2377 fail3:
2378         EFSYS_PROBE(fail3);
2379 fail2:
2380         EFSYS_PROBE(fail2);
2381 fail1:
2382         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2383
2384         return (rc);
2385 }
2386
2387 #endif  /* EFSYS_OPT_MCDI */