drivers/net/sfc/base/efx_mcdi.c

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  *
   3  * Copyright(c) 2019-2020 Xilinx, Inc.
   4  * Copyright(c) 2008-2019 Solarflare Communications Inc.
   5  */
   6
   7 #include "efx.h"
   8 #include "efx_impl.h"
   9
  10 #if EFSYS_OPT_MCDI
  11
  12 /*
  13  * There are three versions of the MCDI interface:
  14  *  - MCDIv0: Siena BootROM. Transport uses MCDIv1 headers.
  15  *  - MCDIv1: Siena firmware and Huntington BootROM.
  16  *  - MCDIv2: EF10 firmware (Huntington/Medford) and Medford BootROM.
  17  *            Transport uses MCDIv2 headers.
  18  *
  19  * MCDIv2 Header NOT_EPOCH flag
  20  * ----------------------------
  21  * A new epoch begins at initial startup or after an MC reboot, and defines when
  22  * the MC should reject stale MCDI requests.
  23  *
  24  * The first MCDI request sent by the host should contain NOT_EPOCH=0, and all
  25  * subsequent requests (until the next MC reboot) should contain NOT_EPOCH=1.
  26  *
  27  * After rebooting the MC will fail all requests with NOT_EPOCH=1 by writing a
  28  * response with ERROR=1 and DATALEN=0 until a request is seen with NOT_EPOCH=0.
  29  */
  30
  31
  32
  33 #if EFSYS_OPT_SIENA
  34
  35 static const efx_mcdi_ops_t     __efx_mcdi_siena_ops = {
  36         siena_mcdi_init,                /* emco_init */
  37         siena_mcdi_send_request,        /* emco_send_request */
  38         siena_mcdi_poll_reboot,         /* emco_poll_reboot */
  39         siena_mcdi_poll_response,       /* emco_poll_response */
  40         siena_mcdi_read_response,       /* emco_read_response */
  41         siena_mcdi_fini,                /* emco_fini */
  42         siena_mcdi_feature_supported,   /* emco_feature_supported */
  43         siena_mcdi_get_timeout,         /* emco_get_timeout */
  44 };
  45
  46 #endif  /* EFSYS_OPT_SIENA */
  47
  48 #if EFX_OPTS_EF10()
  49
  50 static const efx_mcdi_ops_t     __efx_mcdi_ef10_ops = {
  51         ef10_mcdi_init,                 /* emco_init */
  52         ef10_mcdi_send_request,         /* emco_send_request */
  53         ef10_mcdi_poll_reboot,          /* emco_poll_reboot */
  54         ef10_mcdi_poll_response,        /* emco_poll_response */
  55         ef10_mcdi_read_response,        /* emco_read_response */
  56         ef10_mcdi_fini,                 /* emco_fini */
  57         ef10_mcdi_feature_supported,    /* emco_feature_supported */
  58         ef10_mcdi_get_timeout,          /* emco_get_timeout */
  59 };
  60
  61 #endif  /* EFX_OPTS_EF10() */
  62
  63
  64
  65         __checkReturn   efx_rc_t
  66 efx_mcdi_init(
  67         __in            efx_nic_t *enp,
  68         __in            const efx_mcdi_transport_t *emtp)
  69 {
  70         const efx_mcdi_ops_t *emcop;
  71         efx_rc_t rc;
  72
  73         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
  74         EFSYS_ASSERT3U(enp->en_mod_flags, ==, 0);
  75
  76         switch (enp->en_family) {
  77 #if EFSYS_OPT_SIENA
  78         case EFX_FAMILY_SIENA:
  79                 emcop = &__efx_mcdi_siena_ops;
  80                 break;
  81 #endif  /* EFSYS_OPT_SIENA */
  82
  83 #if EFSYS_OPT_HUNTINGTON
  84         case EFX_FAMILY_HUNTINGTON:
  85                 emcop = &__efx_mcdi_ef10_ops;
  86                 break;
  87 #endif  /* EFSYS_OPT_HUNTINGTON */
  88
  89 #if EFSYS_OPT_MEDFORD
  90         case EFX_FAMILY_MEDFORD:
  91                 emcop = &__efx_mcdi_ef10_ops;
  92                 break;
  93 #endif  /* EFSYS_OPT_MEDFORD */
  94
  95 #if EFSYS_OPT_MEDFORD2
  96         case EFX_FAMILY_MEDFORD2:
  97                 emcop = &__efx_mcdi_ef10_ops;
  98                 break;
  99 #endif  /* EFSYS_OPT_MEDFORD2 */
 100
 101         default:
 102                 EFSYS_ASSERT(0);
 103                 rc = ENOTSUP;
 104                 goto fail1;
 105         }
 106
 107         if (enp->en_features & EFX_FEATURE_MCDI_DMA) {
 108                 /* MCDI requires a DMA buffer in host memory */
 109                 if ((emtp == NULL) || (emtp->emt_dma_mem) == NULL) {
 110                         rc = EINVAL;
 111                         goto fail2;
 112                 }
 113         }
 114         enp->en_mcdi.em_emtp = emtp;
 115
 116         if (emcop != NULL && emcop->emco_init != NULL) {
 117                 if ((rc = emcop->emco_init(enp, emtp)) != 0)
 118                         goto fail3;
 119         }
 120
 121         enp->en_mcdi.em_emcop = emcop;
 122         enp->en_mod_flags |= EFX_MOD_MCDI;
 123
 124         return (0);
 125
 126 fail3:
 127         EFSYS_PROBE(fail3);
 128 fail2:
 129         EFSYS_PROBE(fail2);
 130 fail1:
 131         EFSYS_PROBE1(fail1, efx_rc_t, rc);
 132
 133         enp->en_mcdi.em_emcop = NULL;
 134         enp->en_mcdi.em_emtp = NULL;
 135         enp->en_mod_flags &= ~EFX_MOD_MCDI;
 136
 137         return (rc);
 138 }
 139
 140                         void
 141 efx_mcdi_fini(
 142         __in            efx_nic_t *enp)
 143 {
 144         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 145         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 146
 147         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
 148         EFSYS_ASSERT3U(enp->en_mod_flags, ==, EFX_MOD_MCDI);
 149
 150         if (emcop != NULL && emcop->emco_fini != NULL)
 151                 emcop->emco_fini(enp);
 152
 153         emip->emi_port = 0;
 154         emip->emi_aborted = 0;
 155
 156         enp->en_mcdi.em_emcop = NULL;
 157         enp->en_mod_flags &= ~EFX_MOD_MCDI;
 158 }
 159
 160                         void
 161 efx_mcdi_new_epoch(
 162         __in            efx_nic_t *enp)
 163 {
 164         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 165         efsys_lock_state_t state;
 166
 167         /* Start a new epoch (allow fresh MCDI requests to succeed) */
 168         EFSYS_LOCK(enp->en_eslp, state);
 169         emip->emi_new_epoch = B_TRUE;
 170         EFSYS_UNLOCK(enp->en_eslp, state);
 171 }
 172
 173 static                  void
 174 efx_mcdi_send_request(
 175         __in            efx_nic_t *enp,
 176         __in            void *hdrp,
 177         __in            size_t hdr_len,
 178         __in            void *sdup,
 179         __in            size_t sdu_len)
 180 {
 181         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 182
 183         emcop->emco_send_request(enp, hdrp, hdr_len, sdup, sdu_len);
 184 }
 185
 186 static                  efx_rc_t
 187 efx_mcdi_poll_reboot(
 188         __in            efx_nic_t *enp)
 189 {
 190         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 191         efx_rc_t rc;
 192
 193         rc = emcop->emco_poll_reboot(enp);
 194         return (rc);
 195 }
 196
 197 static                  boolean_t
 198 efx_mcdi_poll_response(
 199         __in            efx_nic_t *enp)
 200 {
 201         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 202         boolean_t available;
 203
 204         available = emcop->emco_poll_response(enp);
 205         return (available);
 206 }
 207
 208 static                  void
 209 efx_mcdi_read_response(
 210         __in            efx_nic_t *enp,
 211         __out           void *bufferp,
 212         __in            size_t offset,
 213         __in            size_t length)
 214 {
 215         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 216
 217         emcop->emco_read_response(enp, bufferp, offset, length);
 218 }
 219
 220                         void
 221 efx_mcdi_request_start(
 222         __in            efx_nic_t *enp,
 223         __in            efx_mcdi_req_t *emrp,
 224         __in            boolean_t ev_cpl)
 225 {
 226 #if EFSYS_OPT_MCDI_LOGGING
 227         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 228 #endif
 229         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 230         efx_dword_t hdr[2];
 231         size_t hdr_len;
 232         unsigned int max_version;
 233         unsigned int seq;
 234         unsigned int xflags;
 235         boolean_t new_epoch;
 236         efsys_lock_state_t state;
 237
 238         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
 239         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 240         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 241
 242         /*
 243          * efx_mcdi_request_start() is naturally serialised against both
 244          * efx_mcdi_request_poll() and efx_mcdi_ev_cpl()/efx_mcdi_ev_death(),
 245          * by virtue of there only being one outstanding MCDI request.
 246          * Unfortunately, upper layers may also call efx_mcdi_request_abort()
 247          * at any time, to timeout a pending mcdi request, That request may
 248          * then subsequently complete, meaning efx_mcdi_ev_cpl() or
 249          * efx_mcdi_ev_death() may end up running in parallel with
 250          * efx_mcdi_request_start(). This race is handled by ensuring that
 251          * %emi_pending_req, %emi_ev_cpl and %emi_seq are protected by the
 252          * en_eslp lock.
 253          */
 254         EFSYS_LOCK(enp->en_eslp, state);
 255         EFSYS_ASSERT(emip->emi_pending_req == NULL);
 256         emip->emi_pending_req = emrp;
 257         emip->emi_ev_cpl = ev_cpl;
 258         emip->emi_poll_cnt = 0;
 259         seq = emip->emi_seq++ & EFX_MASK32(MCDI_HEADER_SEQ);
 260         new_epoch = emip->emi_new_epoch;
 261         max_version = emip->emi_max_version;
 262         EFSYS_UNLOCK(enp->en_eslp, state);
 263
 264         xflags = 0;
 265         if (ev_cpl)
 266                 xflags |= MCDI_HEADER_XFLAGS_EVREQ;
 267
 268         /*
 269          * Huntington firmware supports MCDIv2, but the Huntington BootROM only
 270          * supports MCDIv1. Use MCDIv1 headers for MCDIv1 commands where
 271          * possible to support this.
 272          */
 273         if ((max_version >= 2) &&
 274             ((emrp->emr_cmd > MC_CMD_CMD_SPACE_ESCAPE_7) ||
 275             (emrp->emr_in_length > MCDI_CTL_SDU_LEN_MAX_V1) ||
 276             (emrp->emr_out_length > MCDI_CTL_SDU_LEN_MAX_V1))) {
 277                 /* Construct MCDI v2 header */
 278                 hdr_len = sizeof (hdr);
 279                 EFX_POPULATE_DWORD_8(hdr[0],
 280                     MCDI_HEADER_CODE, MC_CMD_V2_EXTN,
 281                     MCDI_HEADER_RESYNC, 1,
 282                     MCDI_HEADER_DATALEN, 0,
 283                     MCDI_HEADER_SEQ, seq,
 284                     MCDI_HEADER_NOT_EPOCH, new_epoch ? 0 : 1,
 285                     MCDI_HEADER_ERROR, 0,
 286                     MCDI_HEADER_RESPONSE, 0,
 287                     MCDI_HEADER_XFLAGS, xflags);
 288
 289                 EFX_POPULATE_DWORD_2(hdr[1],
 290                     MC_CMD_V2_EXTN_IN_EXTENDED_CMD, emrp->emr_cmd,
 291                     MC_CMD_V2_EXTN_IN_ACTUAL_LEN, emrp->emr_in_length);
 292         } else {
 293                 /* Construct MCDI v1 header */
 294                 hdr_len = sizeof (hdr[0]);
 295                 EFX_POPULATE_DWORD_8(hdr[0],
 296                     MCDI_HEADER_CODE, emrp->emr_cmd,
 297                     MCDI_HEADER_RESYNC, 1,
 298                     MCDI_HEADER_DATALEN, emrp->emr_in_length,
 299                     MCDI_HEADER_SEQ, seq,
 300                     MCDI_HEADER_NOT_EPOCH, new_epoch ? 0 : 1,
 301                     MCDI_HEADER_ERROR, 0,
 302                     MCDI_HEADER_RESPONSE, 0,
 303                     MCDI_HEADER_XFLAGS, xflags);
 304         }
 305
 306 #if EFSYS_OPT_MCDI_LOGGING
 307         if (emtp->emt_logger != NULL) {
 308                 emtp->emt_logger(emtp->emt_context, EFX_LOG_MCDI_REQUEST,
 309                     &hdr[0], hdr_len,
 310                     emrp->emr_in_buf, emrp->emr_in_length);
 311         }
 312 #endif /* EFSYS_OPT_MCDI_LOGGING */
 313
 314         efx_mcdi_send_request(enp, &hdr[0], hdr_len,
 315             emrp->emr_in_buf, emrp->emr_in_length);
 316 }
 317
 318
 319 static                  void
 320 efx_mcdi_read_response_header(
 321         __in            efx_nic_t *enp,
 322         __inout         efx_mcdi_req_t *emrp)
 323 {
 324 #if EFSYS_OPT_MCDI_LOGGING
 325         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 326 #endif /* EFSYS_OPT_MCDI_LOGGING */
 327         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 328         efx_dword_t hdr[2];
 329         unsigned int hdr_len;
 330         unsigned int data_len;
 331         unsigned int seq;
 332         unsigned int cmd;
 333         unsigned int error;
 334         efx_rc_t rc;
 335
 336         EFSYS_ASSERT(emrp != NULL);
 337
 338         efx_mcdi_read_response(enp, &hdr[0], 0, sizeof (hdr[0]));
 339         hdr_len = sizeof (hdr[0]);
 340
 341         cmd = EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_CODE);
 342         seq = EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_SEQ);
 343         error = EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_ERROR);
 344
 345         if (cmd != MC_CMD_V2_EXTN) {
 346                 data_len = EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_DATALEN);
 347         } else {
 348                 efx_mcdi_read_response(enp, &hdr[1], hdr_len, sizeof (hdr[1]));
 349                 hdr_len += sizeof (hdr[1]);
 350
 351                 cmd = EFX_DWORD_FIELD(hdr[1], MC_CMD_V2_EXTN_IN_EXTENDED_CMD);
 352                 data_len =
 353                     EFX_DWORD_FIELD(hdr[1], MC_CMD_V2_EXTN_IN_ACTUAL_LEN);
 354         }
 355
 356         if (error && (data_len == 0)) {
 357                 /* The MC has rebooted since the request was sent. */
 358                 EFSYS_SPIN(EFX_MCDI_STATUS_SLEEP_US);
 359                 efx_mcdi_poll_reboot(enp);
 360                 rc = EIO;
 361                 goto fail1;
 362         }
 363 #if EFSYS_OPT_MCDI_PROXY_AUTH_SERVER
 364         if (((cmd != emrp->emr_cmd) && (emrp->emr_cmd != MC_CMD_PROXY_CMD)) ||
 365 #else
 366         if ((cmd != emrp->emr_cmd) ||
 367 #endif
 368             (seq != ((emip->emi_seq - 1) & EFX_MASK32(MCDI_HEADER_SEQ)))) {
 369                 /* Response is for a different request */
 370                 rc = EIO;
 371                 goto fail2;
 372         }
 373         if (error) {
 374                 efx_dword_t err[2];
 375                 unsigned int err_len = MIN(data_len, sizeof (err));
 376                 int err_code = MC_CMD_ERR_EPROTO;
 377                 int err_arg = 0;
 378
 379                 /* Read error code (and arg num for MCDI v2 commands) */
 380                 efx_mcdi_read_response(enp, &err, hdr_len, err_len);
 381
 382                 if (err_len >= (MC_CMD_ERR_CODE_OFST + sizeof (efx_dword_t)))
 383                         err_code = EFX_DWORD_FIELD(err[0], EFX_DWORD_0);
 384 #ifdef WITH_MCDI_V2
 385                 if (err_len >= (MC_CMD_ERR_ARG_OFST + sizeof (efx_dword_t)))
 386                         err_arg = EFX_DWORD_FIELD(err[1], EFX_DWORD_0);
 387 #endif
 388                 emrp->emr_err_code = err_code;
 389                 emrp->emr_err_arg = err_arg;
 390
 391 #if EFSYS_OPT_MCDI_PROXY_AUTH
 392                 if ((err_code == MC_CMD_ERR_PROXY_PENDING) &&
 393                     (err_len == sizeof (err))) {
 394                         /*
 395                          * The MCDI request would normally fail with EPERM, but
 396                          * firmware has forwarded it to an authorization agent
 397                          * attached to a privileged PF.
 398                          *
 399                          * Save the authorization request handle. The client
 400                          * must wait for a PROXY_RESPONSE event, or timeout.
 401                          */
 402                         emrp->emr_proxy_handle = err_arg;
 403                 }
 404 #endif /* EFSYS_OPT_MCDI_PROXY_AUTH */
 405
 406 #if EFSYS_OPT_MCDI_LOGGING
 407                 if (emtp->emt_logger != NULL) {
 408                         emtp->emt_logger(emtp->emt_context,
 409                             EFX_LOG_MCDI_RESPONSE,
 410                             &hdr[0], hdr_len,
 411                             &err[0], err_len);
 412                 }
 413 #endif /* EFSYS_OPT_MCDI_LOGGING */
 414
 415                 if (!emrp->emr_quiet) {
 416                         EFSYS_PROBE3(mcdi_err_arg, int, emrp->emr_cmd,
 417                             int, err_code, int, err_arg);
 418                 }
 419
 420                 rc = efx_mcdi_request_errcode(err_code);
 421                 goto fail3;
 422         }
 423
 424         emrp->emr_rc = 0;
 425         emrp->emr_out_length_used = data_len;
 426 #if EFSYS_OPT_MCDI_PROXY_AUTH
 427         emrp->emr_proxy_handle = 0;
 428 #endif /* EFSYS_OPT_MCDI_PROXY_AUTH */
 429         return;
 430
 431 fail3:
 432 fail2:
 433 fail1:
 434         emrp->emr_rc = rc;
 435         emrp->emr_out_length_used = 0;
 436 }
 437
 438 static                  void
 439 efx_mcdi_finish_response(
 440         __in            efx_nic_t *enp,
 441         __in            efx_mcdi_req_t *emrp)
 442 {
 443 #if EFSYS_OPT_MCDI_LOGGING
 444         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 445 #endif /* EFSYS_OPT_MCDI_LOGGING */
 446         efx_dword_t hdr[2];
 447         unsigned int hdr_len;
 448         size_t bytes;
 449         unsigned int resp_off;
 450 #if EFSYS_OPT_MCDI_PROXY_AUTH_SERVER
 451         unsigned int resp_cmd;
 452         boolean_t proxied_cmd_resp = B_FALSE;
 453 #endif /* EFSYS_OPT_MCDI_PROXY_AUTH_SERVER */
 454
 455         if (emrp->emr_out_buf == NULL)
 456                 return;
 457
 458         /* Read the command header to detect MCDI response format */
 459         hdr_len = sizeof (hdr[0]);
 460         efx_mcdi_read_response(enp, &hdr[0], 0, hdr_len);
 461         if (EFX_DWORD_FIELD(hdr[0], MCDI_HEADER_CODE) == MC_CMD_V2_EXTN) {
 462                 /*
 463                  * Read the actual payload length. The length given in the event
 464                  * is only correct for responses with the V1 format.
 465                  */
 466                 efx_mcdi_read_response(enp, &hdr[1], hdr_len, sizeof (hdr[1]));
 467                 hdr_len += sizeof (hdr[1]);
 468                 resp_off = hdr_len;
 469
 470                 emrp->emr_out_length_used = EFX_DWORD_FIELD(hdr[1],
 471                                                 MC_CMD_V2_EXTN_IN_ACTUAL_LEN);
 472 #if EFSYS_OPT_MCDI_PROXY_AUTH_SERVER
 473                 /*
 474                  * A proxy MCDI command is executed by PF on behalf of
 475                  * one of its VFs. The command to be proxied follows
 476                  * immediately afterward in the host buffer.
 477                  * PROXY_CMD inner call complete response should be copied to
 478                  * output buffer so that it can be returned to the requesting
 479                  * function in MC_CMD_PROXY_COMPLETE payload.
 480                  */
 481                 resp_cmd =
 482                         EFX_DWORD_FIELD(hdr[1], MC_CMD_V2_EXTN_IN_EXTENDED_CMD);
 483                 proxied_cmd_resp = ((emrp->emr_cmd == MC_CMD_PROXY_CMD) &&
 484                                         (resp_cmd != MC_CMD_PROXY_CMD));
 485                 if (proxied_cmd_resp) {
 486                         resp_off = 0;
 487                         emrp->emr_out_length_used += hdr_len;
 488                 }
 489 #endif /* EFSYS_OPT_MCDI_PROXY_AUTH_SERVER */
 490         } else {
 491                 resp_off = hdr_len;
 492         }
 493
 494         /* Copy payload out into caller supplied buffer */
 495         bytes = MIN(emrp->emr_out_length_used, emrp->emr_out_length);
 496         efx_mcdi_read_response(enp, emrp->emr_out_buf, resp_off, bytes);
 497
 498 #if EFSYS_OPT_MCDI_LOGGING
 499         if (emtp->emt_logger != NULL) {
 500                 emtp->emt_logger(emtp->emt_context,
 501                     EFX_LOG_MCDI_RESPONSE,
 502                     &hdr[0], hdr_len,
 503                     emrp->emr_out_buf, bytes);
 504         }
 505 #endif /* EFSYS_OPT_MCDI_LOGGING */
 506 }
 507
 508
 509         __checkReturn   boolean_t
 510 efx_mcdi_request_poll(
 511         __in            efx_nic_t *enp)
 512 {
 513         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 514         efx_mcdi_req_t *emrp;
 515         efsys_lock_state_t state;
 516         efx_rc_t rc;
 517
 518         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
 519         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 520         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 521
 522         /* Serialise against post-watchdog efx_mcdi_ev* */
 523         EFSYS_LOCK(enp->en_eslp, state);
 524
 525         EFSYS_ASSERT(emip->emi_pending_req != NULL);
 526         EFSYS_ASSERT(!emip->emi_ev_cpl);
 527         emrp = emip->emi_pending_req;
 528
 529         /* Check if hardware is unavailable */
 530         if (efx_nic_hw_unavailable(enp)) {
 531                 EFSYS_UNLOCK(enp->en_eslp, state);
 532                 return (B_FALSE);
 533         }
 534
 535         /* Check for reboot atomically w.r.t efx_mcdi_request_start */
 536         if (emip->emi_poll_cnt++ == 0) {
 537                 if ((rc = efx_mcdi_poll_reboot(enp)) != 0) {
 538                         emip->emi_pending_req = NULL;
 539                         EFSYS_UNLOCK(enp->en_eslp, state);
 540
 541                         /* Reboot/Assertion */
 542                         if (rc == EIO || rc == EINTR)
 543                                 efx_mcdi_raise_exception(enp, emrp, rc);
 544
 545                         goto fail1;
 546                 }
 547         }
 548
 549         /* Check if a response is available */
 550         if (efx_mcdi_poll_response(enp) == B_FALSE) {
 551                 EFSYS_UNLOCK(enp->en_eslp, state);
 552                 return (B_FALSE);
 553         }
 554
 555         /* Read the response header */
 556         efx_mcdi_read_response_header(enp, emrp);
 557
 558         /* Request complete */
 559         emip->emi_pending_req = NULL;
 560
 561         /* Ensure stale MCDI requests fail after an MC reboot. */
 562         emip->emi_new_epoch = B_FALSE;
 563
 564         EFSYS_UNLOCK(enp->en_eslp, state);
 565
 566         if ((rc = emrp->emr_rc) != 0)
 567                 goto fail2;
 568
 569         efx_mcdi_finish_response(enp, emrp);
 570         return (B_TRUE);
 571
 572 fail2:
 573         if (!emrp->emr_quiet)
 574                 EFSYS_PROBE(fail2);
 575 fail1:
 576         if (!emrp->emr_quiet)
 577                 EFSYS_PROBE1(fail1, efx_rc_t, rc);
 578
 579         return (B_TRUE);
 580 }
 581
 582         __checkReturn   boolean_t
 583 efx_mcdi_request_abort(
 584         __in            efx_nic_t *enp)
 585 {
 586         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 587         efx_mcdi_req_t *emrp;
 588         boolean_t aborted;
 589         efsys_lock_state_t state;
 590
 591         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
 592         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 593         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 594
 595         /*
 596          * efx_mcdi_ev_* may have already completed this event, and be
 597          * spinning/blocked on the upper layer lock. So it *is* legitimate
 598          * to for emi_pending_req to be NULL. If there is a pending event
 599          * completed request, then provide a "credit" to allow
 600          * efx_mcdi_ev_cpl() to accept a single spurious completion.
 601          */
 602         EFSYS_LOCK(enp->en_eslp, state);
 603         emrp = emip->emi_pending_req;
 604         aborted = (emrp != NULL);
 605         if (aborted) {
 606                 emip->emi_pending_req = NULL;
 607
 608                 /* Error the request */
 609                 emrp->emr_out_length_used = 0;
 610                 emrp->emr_rc = ETIMEDOUT;
 611
 612                 /* Provide a credit for seqno/emr_pending_req mismatches */
 613                 if (emip->emi_ev_cpl)
 614                         ++emip->emi_aborted;
 615
 616                 /*
 617                  * The upper layer has called us, so we don't
 618                  * need to complete the request.
 619                  */
 620         }
 621         EFSYS_UNLOCK(enp->en_eslp, state);
 622
 623         return (aborted);
 624 }
 625
 626                         void
 627 efx_mcdi_get_timeout(
 628         __in            efx_nic_t *enp,
 629         __in            efx_mcdi_req_t *emrp,
 630         __out           uint32_t *timeoutp)
 631 {
 632         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
 633
 634         emcop->emco_get_timeout(enp, emrp, timeoutp);
 635 }
 636
 637         __checkReturn   efx_rc_t
 638 efx_mcdi_request_errcode(
 639         __in            unsigned int err)
 640 {
 641
 642         switch (err) {
 643                 /* MCDI v1 */
 644         case MC_CMD_ERR_EPERM:
 645                 return (EACCES);
 646         case MC_CMD_ERR_ENOENT:
 647                 return (ENOENT);
 648         case MC_CMD_ERR_EINTR:
 649                 return (EINTR);
 650         case MC_CMD_ERR_EACCES:
 651                 return (EACCES);
 652         case MC_CMD_ERR_EBUSY:
 653                 return (EBUSY);
 654         case MC_CMD_ERR_EINVAL:
 655                 return (EINVAL);
 656         case MC_CMD_ERR_EDEADLK:
 657                 return (EDEADLK);
 658         case MC_CMD_ERR_ENOSYS:
 659                 return (ENOTSUP);
 660         case MC_CMD_ERR_ETIME:
 661                 return (ETIMEDOUT);
 662         case MC_CMD_ERR_ENOTSUP:
 663                 return (ENOTSUP);
 664         case MC_CMD_ERR_EALREADY:
 665                 return (EALREADY);
 666
 667                 /* MCDI v2 */
 668         case MC_CMD_ERR_EEXIST:
 669                 return (EEXIST);
 670 #ifdef MC_CMD_ERR_EAGAIN
 671         case MC_CMD_ERR_EAGAIN:
 672                 return (EAGAIN);
 673 #endif
 674 #ifdef MC_CMD_ERR_ENOSPC
 675         case MC_CMD_ERR_ENOSPC:
 676                 return (ENOSPC);
 677 #endif
 678         case MC_CMD_ERR_ERANGE:
 679                 return (ERANGE);
 680
 681         case MC_CMD_ERR_ALLOC_FAIL:
 682                 return (ENOMEM);
 683         case MC_CMD_ERR_NO_VADAPTOR:
 684                 return (ENOENT);
 685         case MC_CMD_ERR_NO_EVB_PORT:
 686                 return (ENOENT);
 687         case MC_CMD_ERR_NO_VSWITCH:
 688                 return (ENODEV);
 689         case MC_CMD_ERR_VLAN_LIMIT:
 690                 return (EINVAL);
 691         case MC_CMD_ERR_BAD_PCI_FUNC:
 692                 return (ENODEV);
 693         case MC_CMD_ERR_BAD_VLAN_MODE:
 694                 return (EINVAL);
 695         case MC_CMD_ERR_BAD_VSWITCH_TYPE:
 696                 return (EINVAL);
 697         case MC_CMD_ERR_BAD_VPORT_TYPE:
 698                 return (EINVAL);
 699         case MC_CMD_ERR_MAC_EXIST:
 700                 return (EEXIST);
 701
 702         case MC_CMD_ERR_PROXY_PENDING:
 703                 return (EAGAIN);
 704
 705         default:
 706                 EFSYS_PROBE1(mc_pcol_error, int, err);
 707                 return (EIO);
 708         }
 709 }
 710
 711                         void
 712 efx_mcdi_raise_exception(
 713         __in            efx_nic_t *enp,
 714         __in_opt        efx_mcdi_req_t *emrp,
 715         __in            int rc)
 716 {
 717         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 718         efx_mcdi_exception_t exception;
 719
 720         /* Reboot or Assertion failure only */
 721         EFSYS_ASSERT(rc == EIO || rc == EINTR);
 722
 723         /*
 724          * If MC_CMD_REBOOT causes a reboot (dependent on parameters),
 725          * then the EIO is not worthy of an exception.
 726          */
 727         if (emrp != NULL && emrp->emr_cmd == MC_CMD_REBOOT && rc == EIO)
 728                 return;
 729
 730         exception = (rc == EIO)
 731                 ? EFX_MCDI_EXCEPTION_MC_REBOOT
 732                 : EFX_MCDI_EXCEPTION_MC_BADASSERT;
 733
 734         emtp->emt_exception(emtp->emt_context, exception);
 735 }
 736
 737                         void
 738 efx_mcdi_execute(
 739         __in            efx_nic_t *enp,
 740         __inout         efx_mcdi_req_t *emrp)
 741 {
 742         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 743
 744         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 745         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 746
 747         emrp->emr_quiet = B_FALSE;
 748         emtp->emt_execute(emtp->emt_context, emrp);
 749 }
 750
 751                         void
 752 efx_mcdi_execute_quiet(
 753         __in            efx_nic_t *enp,
 754         __inout         efx_mcdi_req_t *emrp)
 755 {
 756         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 757
 758         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 759         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 760
 761         emrp->emr_quiet = B_TRUE;
 762         emtp->emt_execute(emtp->emt_context, emrp);
 763 }
 764
 765                         void
 766 efx_mcdi_ev_cpl(
 767         __in            efx_nic_t *enp,
 768         __in            unsigned int seq,
 769         __in            unsigned int outlen,
 770         __in            int errcode)
 771 {
 772         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 773         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 774         efx_mcdi_req_t *emrp;
 775         efsys_lock_state_t state;
 776
 777         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_MCDI);
 778         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 779
 780         /*
 781          * Serialise against efx_mcdi_request_poll()/efx_mcdi_request_start()
 782          * when we're completing an aborted request.
 783          */
 784         EFSYS_LOCK(enp->en_eslp, state);
 785         if (emip->emi_pending_req == NULL || !emip->emi_ev_cpl ||
 786             (seq != ((emip->emi_seq - 1) & EFX_MASK32(MCDI_HEADER_SEQ)))) {
 787                 EFSYS_ASSERT(emip->emi_aborted > 0);
 788                 if (emip->emi_aborted > 0)
 789                         --emip->emi_aborted;
 790                 EFSYS_UNLOCK(enp->en_eslp, state);
 791                 return;
 792         }
 793
 794         emrp = emip->emi_pending_req;
 795         emip->emi_pending_req = NULL;
 796         EFSYS_UNLOCK(enp->en_eslp, state);
 797
 798         if (emip->emi_max_version >= 2) {
 799                 /* MCDIv2 response details do not fit into an event. */
 800                 efx_mcdi_read_response_header(enp, emrp);
 801         } else {
 802                 if (errcode != 0) {
 803                         if (!emrp->emr_quiet) {
 804                                 EFSYS_PROBE2(mcdi_err, int, emrp->emr_cmd,
 805                                     int, errcode);
 806                         }
 807                         emrp->emr_out_length_used = 0;
 808                         emrp->emr_rc = efx_mcdi_request_errcode(errcode);
 809                 } else {
 810                         emrp->emr_out_length_used = outlen;
 811                         emrp->emr_rc = 0;
 812                 }
 813         }
 814         if (emrp->emr_rc == 0)
 815                 efx_mcdi_finish_response(enp, emrp);
 816
 817         emtp->emt_ev_cpl(emtp->emt_context);
 818 }
 819
 820 #if EFSYS_OPT_MCDI_PROXY_AUTH
 821
 822         __checkReturn   efx_rc_t
 823 efx_mcdi_get_proxy_handle(
 824         __in            efx_nic_t *enp,
 825         __in            efx_mcdi_req_t *emrp,
 826         __out           uint32_t *handlep)
 827 {
 828         efx_rc_t rc;
 829
 830         _NOTE(ARGUNUSED(enp))
 831
 832         /*
 833          * Return proxy handle from MCDI request that returned with error
 834          * MC_MCD_ERR_PROXY_PENDING. This handle is used to wait for a matching
 835          * PROXY_RESPONSE event.
 836          */
 837         if ((emrp == NULL) || (handlep == NULL)) {
 838                 rc = EINVAL;
 839                 goto fail1;
 840         }
 841         if ((emrp->emr_rc != 0) &&
 842             (emrp->emr_err_code == MC_CMD_ERR_PROXY_PENDING)) {
 843                 *handlep = emrp->emr_proxy_handle;
 844                 rc = 0;
 845         } else {
 846                 *handlep = 0;
 847                 rc = ENOENT;
 848         }
 849         return (rc);
 850
 851 fail1:
 852         EFSYS_PROBE1(fail1, efx_rc_t, rc);
 853         return (rc);
 854 }
 855
 856                         void
 857 efx_mcdi_ev_proxy_response(
 858         __in            efx_nic_t *enp,
 859         __in            unsigned int handle,
 860         __in            unsigned int status)
 861 {
 862         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 863         efx_rc_t rc;
 864
 865         /*
 866          * Handle results of an authorization request for a privileged MCDI
 867          * command. If authorization was granted then we must re-issue the
 868          * original MCDI request. If authorization failed or timed out,
 869          * then the original MCDI request should be completed with the
 870          * result code from this event.
 871          */
 872         rc = (status == 0) ? 0 : efx_mcdi_request_errcode(status);
 873
 874         emtp->emt_ev_proxy_response(emtp->emt_context, handle, rc);
 875 }
 876 #endif /* EFSYS_OPT_MCDI_PROXY_AUTH */
 877
 878 #if EFSYS_OPT_MCDI_PROXY_AUTH_SERVER
 879                         void
 880 efx_mcdi_ev_proxy_request(
 881         __in            efx_nic_t *enp,
 882         __in            unsigned int index)
 883 {
 884         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 885
 886         if (emtp->emt_ev_proxy_request != NULL)
 887                 emtp->emt_ev_proxy_request(emtp->emt_context, index);
 888 }
 889 #endif /* EFSYS_OPT_MCDI_PROXY_AUTH_SERVER */
 890                         void
 891 efx_mcdi_ev_death(
 892         __in            efx_nic_t *enp,
 893         __in            int rc)
 894 {
 895         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
 896         const efx_mcdi_transport_t *emtp = enp->en_mcdi.em_emtp;
 897         efx_mcdi_req_t *emrp = NULL;
 898         boolean_t ev_cpl;
 899         efsys_lock_state_t state;
 900
 901         /*
 902          * The MCDI request (if there is one) has been terminated, either
 903          * by a BADASSERT or REBOOT event.
 904          *
 905          * If there is an outstanding event-completed MCDI operation, then we
 906          * will never receive the completion event (because both MCDI
 907          * completions and BADASSERT events are sent to the same evq). So
 908          * complete this MCDI op.
 909          *
 910          * This function might run in parallel with efx_mcdi_request_poll()
 911          * for poll completed mcdi requests, and also with
 912          * efx_mcdi_request_start() for post-watchdog completions.
 913          */
 914         EFSYS_LOCK(enp->en_eslp, state);
 915         emrp = emip->emi_pending_req;
 916         ev_cpl = emip->emi_ev_cpl;
 917         if (emrp != NULL && emip->emi_ev_cpl) {
 918                 emip->emi_pending_req = NULL;
 919
 920                 emrp->emr_out_length_used = 0;
 921                 emrp->emr_rc = rc;
 922                 ++emip->emi_aborted;
 923         }
 924
 925         /*
 926          * Since we're running in parallel with a request, consume the
 927          * status word before dropping the lock.
 928          */
 929         if (rc == EIO || rc == EINTR) {
 930                 EFSYS_SPIN(EFX_MCDI_STATUS_SLEEP_US);
 931                 (void) efx_mcdi_poll_reboot(enp);
 932                 emip->emi_new_epoch = B_TRUE;
 933         }
 934
 935         EFSYS_UNLOCK(enp->en_eslp, state);
 936
 937         efx_mcdi_raise_exception(enp, emrp, rc);
 938
 939         if (emrp != NULL && ev_cpl)
 940                 emtp->emt_ev_cpl(emtp->emt_context);
 941 }
 942
 943         __checkReturn           efx_rc_t
 944 efx_mcdi_version(
 945         __in                    efx_nic_t *enp,
 946         __out_ecount_opt(4)     uint16_t versionp[4],
 947         __out_opt               uint32_t *buildp,
 948         __out_opt               efx_mcdi_boot_t *statusp)
 949 {
 950         efx_mcdi_req_t req;
 951         EFX_MCDI_DECLARE_BUF(payload,
 952                 MAX(MC_CMD_GET_VERSION_IN_LEN, MC_CMD_GET_BOOT_STATUS_IN_LEN),
 953                 MAX(MC_CMD_GET_VERSION_OUT_LEN,
 954                         MC_CMD_GET_BOOT_STATUS_OUT_LEN));
 955         efx_word_t *ver_words;
 956         uint16_t version[4];
 957         uint32_t build;
 958         efx_mcdi_boot_t status;
 959         efx_rc_t rc;
 960
 961         EFSYS_ASSERT3U(enp->en_features, &, EFX_FEATURE_MCDI);
 962
 963         req.emr_cmd = MC_CMD_GET_VERSION;
 964         req.emr_in_buf = payload;
 965         req.emr_in_length = MC_CMD_GET_VERSION_IN_LEN;
 966         req.emr_out_buf = payload;
 967         req.emr_out_length = MC_CMD_GET_VERSION_OUT_LEN;
 968
 969         efx_mcdi_execute(enp, &req);
 970
 971         if (req.emr_rc != 0) {
 972                 rc = req.emr_rc;
 973                 goto fail1;
 974         }
 975
 976         /* bootrom support */
 977         if (req.emr_out_length_used == MC_CMD_GET_VERSION_V0_OUT_LEN) {
 978                 version[0] = version[1] = version[2] = version[3] = 0;
 979                 build = MCDI_OUT_DWORD(req, GET_VERSION_OUT_FIRMWARE);
 980
 981                 goto version;
 982         }
 983
 984         if (req.emr_out_length_used < MC_CMD_GET_VERSION_OUT_LEN) {
 985                 rc = EMSGSIZE;
 986                 goto fail2;
 987         }
 988
 989         ver_words = MCDI_OUT2(req, efx_word_t, GET_VERSION_OUT_VERSION);
 990         version[0] = EFX_WORD_FIELD(ver_words[0], EFX_WORD_0);
 991         version[1] = EFX_WORD_FIELD(ver_words[1], EFX_WORD_0);
 992         version[2] = EFX_WORD_FIELD(ver_words[2], EFX_WORD_0);
 993         version[3] = EFX_WORD_FIELD(ver_words[3], EFX_WORD_0);
 994         build = MCDI_OUT_DWORD(req, GET_VERSION_OUT_FIRMWARE);
 995
 996 version:
 997         /* The bootrom doesn't understand BOOT_STATUS */
 998         if (MC_FW_VERSION_IS_BOOTLOADER(build)) {
 999                 status = EFX_MCDI_BOOT_ROM;
1000                 goto out;
1001         }
1002
1003         (void) memset(payload, 0, sizeof (payload));
1004         req.emr_cmd = MC_CMD_GET_BOOT_STATUS;
1005         req.emr_in_buf = payload;
1006         req.emr_in_length = MC_CMD_GET_BOOT_STATUS_IN_LEN;
1007         req.emr_out_buf = payload;
1008         req.emr_out_length = MC_CMD_GET_BOOT_STATUS_OUT_LEN;
1009
1010         efx_mcdi_execute_quiet(enp, &req);
1011
1012         if (req.emr_rc == EACCES) {
1013                 /* Unprivileged functions cannot access BOOT_STATUS */
1014                 status = EFX_MCDI_BOOT_PRIMARY;
1015                 version[0] = version[1] = version[2] = version[3] = 0;
1016                 build = 0;
1017                 goto out;
1018         }
1019
1020         if (req.emr_rc != 0) {
1021                 rc = req.emr_rc;
1022                 goto fail3;
1023         }
1024
1025         if (req.emr_out_length_used < MC_CMD_GET_BOOT_STATUS_OUT_LEN) {
1026                 rc = EMSGSIZE;
1027                 goto fail4;
1028         }
1029
1030         if (MCDI_OUT_DWORD_FIELD(req, GET_BOOT_STATUS_OUT_FLAGS,
1031             GET_BOOT_STATUS_OUT_FLAGS_PRIMARY))
1032                 status = EFX_MCDI_BOOT_PRIMARY;
1033         else
1034                 status = EFX_MCDI_BOOT_SECONDARY;
1035
1036 out:
1037         if (versionp != NULL)
1038                 memcpy(versionp, version, sizeof (version));
1039         if (buildp != NULL)
1040                 *buildp = build;
1041         if (statusp != NULL)
1042                 *statusp = status;
1043
1044         return (0);
1045
1046 fail4:
1047         EFSYS_PROBE(fail4);
1048 fail3:
1049         EFSYS_PROBE(fail3);
1050 fail2:
1051         EFSYS_PROBE(fail2);
1052 fail1:
1053         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1054
1055         return (rc);
1056 }
1057
1058         __checkReturn   efx_rc_t
1059 efx_mcdi_get_capabilities(
1060         __in            efx_nic_t *enp,
1061         __out_opt       uint32_t *flagsp,
1062         __out_opt       uint16_t *rx_dpcpu_fw_idp,
1063         __out_opt       uint16_t *tx_dpcpu_fw_idp,
1064         __out_opt       uint32_t *flags2p,
1065         __out_opt       uint32_t *tso2ncp)
1066 {
1067         efx_mcdi_req_t req;
1068         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_CAPABILITIES_IN_LEN,
1069                 MC_CMD_GET_CAPABILITIES_V2_OUT_LEN);
1070         boolean_t v2_capable;
1071         efx_rc_t rc;
1072
1073         req.emr_cmd = MC_CMD_GET_CAPABILITIES;
1074         req.emr_in_buf = payload;
1075         req.emr_in_length = MC_CMD_GET_CAPABILITIES_IN_LEN;
1076         req.emr_out_buf = payload;
1077         req.emr_out_length = MC_CMD_GET_CAPABILITIES_V2_OUT_LEN;
1078
1079         efx_mcdi_execute_quiet(enp, &req);
1080
1081         if (req.emr_rc != 0) {
1082                 rc = req.emr_rc;
1083                 goto fail1;
1084         }
1085
1086         if (req.emr_out_length_used < MC_CMD_GET_CAPABILITIES_OUT_LEN) {
1087                 rc = EMSGSIZE;
1088                 goto fail2;
1089         }
1090
1091         if (flagsp != NULL)
1092                 *flagsp = MCDI_OUT_DWORD(req, GET_CAPABILITIES_OUT_FLAGS1);
1093
1094         if (rx_dpcpu_fw_idp != NULL)
1095                 *rx_dpcpu_fw_idp = MCDI_OUT_WORD(req,
1096                                         GET_CAPABILITIES_OUT_RX_DPCPU_FW_ID);
1097
1098         if (tx_dpcpu_fw_idp != NULL)
1099                 *tx_dpcpu_fw_idp = MCDI_OUT_WORD(req,
1100                                         GET_CAPABILITIES_OUT_TX_DPCPU_FW_ID);
1101
1102         if (req.emr_out_length_used < MC_CMD_GET_CAPABILITIES_V2_OUT_LEN)
1103                 v2_capable = B_FALSE;
1104         else
1105                 v2_capable = B_TRUE;
1106
1107         if (flags2p != NULL) {
1108                 *flags2p = (v2_capable) ?
1109                         MCDI_OUT_DWORD(req, GET_CAPABILITIES_V2_OUT_FLAGS2) :
1110                         0;
1111         }
1112
1113         if (tso2ncp != NULL) {
1114                 *tso2ncp = (v2_capable) ?
1115                         MCDI_OUT_WORD(req,
1116                                 GET_CAPABILITIES_V2_OUT_TX_TSO_V2_N_CONTEXTS) :
1117                         0;
1118         }
1119
1120         return (0);
1121
1122 fail2:
1123         EFSYS_PROBE(fail2);
1124 fail1:
1125         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1126
1127         return (rc);
1128 }
1129
1130 static  __checkReturn   efx_rc_t
1131 efx_mcdi_do_reboot(
1132         __in            efx_nic_t *enp,
1133         __in            boolean_t after_assertion)
1134 {
1135         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_REBOOT_IN_LEN,
1136                 MC_CMD_REBOOT_OUT_LEN);
1137         efx_mcdi_req_t req;
1138         efx_rc_t rc;
1139
1140         /*
1141          * We could require the caller to have caused en_mod_flags=0 to
1142          * call this function. This doesn't help the other port though,
1143          * who's about to get the MC ripped out from underneath them.
1144          * Since they have to cope with the subsequent fallout of MCDI
1145          * failures, we should as well.
1146          */
1147         EFSYS_ASSERT3U(enp->en_magic, ==, EFX_NIC_MAGIC);
1148
1149         req.emr_cmd = MC_CMD_REBOOT;
1150         req.emr_in_buf = payload;
1151         req.emr_in_length = MC_CMD_REBOOT_IN_LEN;
1152         req.emr_out_buf = payload;
1153         req.emr_out_length = MC_CMD_REBOOT_OUT_LEN;
1154
1155         MCDI_IN_SET_DWORD(req, REBOOT_IN_FLAGS,
1156             (after_assertion ? MC_CMD_REBOOT_FLAGS_AFTER_ASSERTION : 0));
1157
1158         efx_mcdi_execute_quiet(enp, &req);
1159
1160         if (req.emr_rc == EACCES) {
1161                 /* Unprivileged functions cannot reboot the MC. */
1162                 goto out;
1163         }
1164
1165         /* A successful reboot request returns EIO. */
1166         if (req.emr_rc != 0 && req.emr_rc != EIO) {
1167                 rc = req.emr_rc;
1168                 goto fail1;
1169         }
1170
1171 out:
1172         return (0);
1173
1174 fail1:
1175         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1176
1177         return (rc);
1178 }
1179
1180         __checkReturn   efx_rc_t
1181 efx_mcdi_reboot(
1182         __in            efx_nic_t *enp)
1183 {
1184         return (efx_mcdi_do_reboot(enp, B_FALSE));
1185 }
1186
1187         __checkReturn   efx_rc_t
1188 efx_mcdi_exit_assertion_handler(
1189         __in            efx_nic_t *enp)
1190 {
1191         return (efx_mcdi_do_reboot(enp, B_TRUE));
1192 }
1193
1194         __checkReturn   efx_rc_t
1195 efx_mcdi_read_assertion(
1196         __in            efx_nic_t *enp)
1197 {
1198         efx_mcdi_req_t req;
1199         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_ASSERTS_IN_LEN,
1200                 MC_CMD_GET_ASSERTS_OUT_LEN);
1201         const char *reason;
1202         unsigned int flags;
1203         unsigned int index;
1204         unsigned int ofst;
1205         int retry;
1206         efx_rc_t rc;
1207
1208         /*
1209          * Before we attempt to chat to the MC, we should verify that the MC
1210          * isn't in it's assertion handler, either due to a previous reboot,
1211          * or because we're reinitializing due to an eec_exception().
1212          *
1213          * Use GET_ASSERTS to read any assertion state that may be present.
1214          * Retry this command twice. Once because a boot-time assertion failure
1215          * might cause the 1st MCDI request to fail. And once again because
1216          * we might race with efx_mcdi_exit_assertion_handler() running on
1217          * partner port(s) on the same NIC.
1218          */
1219         retry = 2;
1220         do {
1221                 (void) memset(payload, 0, sizeof (payload));
1222                 req.emr_cmd = MC_CMD_GET_ASSERTS;
1223                 req.emr_in_buf = payload;
1224                 req.emr_in_length = MC_CMD_GET_ASSERTS_IN_LEN;
1225                 req.emr_out_buf = payload;
1226                 req.emr_out_length = MC_CMD_GET_ASSERTS_OUT_LEN;
1227
1228                 MCDI_IN_SET_DWORD(req, GET_ASSERTS_IN_CLEAR, 1);
1229                 efx_mcdi_execute_quiet(enp, &req);
1230
1231         } while ((req.emr_rc == EINTR || req.emr_rc == EIO) && retry-- > 0);
1232
1233         if (req.emr_rc != 0) {
1234                 if (req.emr_rc == EACCES) {
1235                         /* Unprivileged functions cannot clear assertions. */
1236                         goto out;
1237                 }
1238                 rc = req.emr_rc;
1239                 goto fail1;
1240         }
1241
1242         if (req.emr_out_length_used < MC_CMD_GET_ASSERTS_OUT_LEN) {
1243                 rc = EMSGSIZE;
1244                 goto fail2;
1245         }
1246
1247         /* Print out any assertion state recorded */
1248         flags = MCDI_OUT_DWORD(req, GET_ASSERTS_OUT_GLOBAL_FLAGS);
1249         if (flags == MC_CMD_GET_ASSERTS_FLAGS_NO_FAILS)
1250                 return (0);
1251
1252         reason = (flags == MC_CMD_GET_ASSERTS_FLAGS_SYS_FAIL)
1253                 ? "system-level assertion"
1254                 : (flags == MC_CMD_GET_ASSERTS_FLAGS_THR_FAIL)
1255                 ? "thread-level assertion"
1256                 : (flags == MC_CMD_GET_ASSERTS_FLAGS_WDOG_FIRED)
1257                 ? "watchdog reset"
1258                 : (flags == MC_CMD_GET_ASSERTS_FLAGS_ADDR_TRAP)
1259                 ? "illegal address trap"
1260                 : "unknown assertion";
1261         EFSYS_PROBE3(mcpu_assertion,
1262             const char *, reason, unsigned int,
1263             MCDI_OUT_DWORD(req, GET_ASSERTS_OUT_SAVED_PC_OFFS),
1264             unsigned int,
1265             MCDI_OUT_DWORD(req, GET_ASSERTS_OUT_THREAD_OFFS));
1266
1267         /* Print out the registers (r1 ... r31) */
1268         ofst = MC_CMD_GET_ASSERTS_OUT_GP_REGS_OFFS_OFST;
1269         for (index = 1;
1270                 index < 1 + MC_CMD_GET_ASSERTS_OUT_GP_REGS_OFFS_NUM;
1271                 index++) {
1272                 EFSYS_PROBE2(mcpu_register, unsigned int, index, unsigned int,
1273                             EFX_DWORD_FIELD(*MCDI_OUT(req, efx_dword_t, ofst),
1274                                             EFX_DWORD_0));
1275                 ofst += sizeof (efx_dword_t);
1276         }
1277         EFSYS_ASSERT(ofst <= MC_CMD_GET_ASSERTS_OUT_LEN);
1278
1279 out:
1280         return (0);
1281
1282 fail2:
1283         EFSYS_PROBE(fail2);
1284 fail1:
1285         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1286
1287         return (rc);
1288 }
1289
1290
1291 /*
1292  * Internal routines for for specific MCDI requests.
1293  */
1294
1295         __checkReturn   efx_rc_t
1296 efx_mcdi_drv_attach(
1297         __in            efx_nic_t *enp,
1298         __in            boolean_t attach)
1299 {
1300         efx_mcdi_req_t req;
1301         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_DRV_ATTACH_IN_V2_LEN,
1302                 MC_CMD_DRV_ATTACH_EXT_OUT_LEN);
1303         efx_rc_t rc;
1304
1305         req.emr_cmd = MC_CMD_DRV_ATTACH;
1306         req.emr_in_buf = payload;
1307         if (enp->en_drv_version[0] == '\0') {
1308                 req.emr_in_length = MC_CMD_DRV_ATTACH_IN_LEN;
1309         } else {
1310                 req.emr_in_length = MC_CMD_DRV_ATTACH_IN_V2_LEN;
1311         }
1312         req.emr_out_buf = payload;
1313         req.emr_out_length = MC_CMD_DRV_ATTACH_EXT_OUT_LEN;
1314
1315         /*
1316          * Typically, client drivers use DONT_CARE for the datapath firmware
1317          * type to ensure that the driver can attach to an unprivileged
1318          * function. The datapath firmware type to use is controlled by the
1319          * 'sfboot' utility.
1320          * If a client driver wishes to attach with a specific datapath firmware
1321          * type, that can be passed in second argument of efx_nic_probe API. One
1322          * such example is the ESXi native driver that attempts attaching with
1323          * FULL_FEATURED datapath firmware type first and fall backs to
1324          * DONT_CARE datapath firmware type if MC_CMD_DRV_ATTACH fails.
1325          */
1326         MCDI_IN_POPULATE_DWORD_2(req, DRV_ATTACH_IN_NEW_STATE,
1327             DRV_ATTACH_IN_ATTACH, attach ? 1 : 0,
1328             DRV_ATTACH_IN_SUBVARIANT_AWARE, EFSYS_OPT_FW_SUBVARIANT_AWARE);
1329         MCDI_IN_SET_DWORD(req, DRV_ATTACH_IN_UPDATE, 1);
1330         MCDI_IN_SET_DWORD(req, DRV_ATTACH_IN_FIRMWARE_ID, enp->efv);
1331
1332         if (req.emr_in_length >= MC_CMD_DRV_ATTACH_IN_V2_LEN) {
1333                 EFX_STATIC_ASSERT(sizeof (enp->en_drv_version) ==
1334                     MC_CMD_DRV_ATTACH_IN_V2_DRIVER_VERSION_LEN);
1335                 memcpy(MCDI_IN2(req, char, DRV_ATTACH_IN_V2_DRIVER_VERSION),
1336                     enp->en_drv_version,
1337                     MC_CMD_DRV_ATTACH_IN_V2_DRIVER_VERSION_LEN);
1338         }
1339
1340         efx_mcdi_execute(enp, &req);
1341
1342         if (req.emr_rc != 0) {
1343                 rc = req.emr_rc;
1344                 goto fail1;
1345         }
1346
1347         if (req.emr_out_length_used < MC_CMD_DRV_ATTACH_OUT_LEN) {
1348                 rc = EMSGSIZE;
1349                 goto fail2;
1350         }
1351
1352         return (0);
1353
1354 fail2:
1355         EFSYS_PROBE(fail2);
1356 fail1:
1357         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1358
1359         return (rc);
1360 }
1361
1362         __checkReturn           efx_rc_t
1363 efx_mcdi_get_board_cfg(
1364         __in                    efx_nic_t *enp,
1365         __out_opt               uint32_t *board_typep,
1366         __out_opt               efx_dword_t *capabilitiesp,
1367         __out_ecount_opt(6)     uint8_t mac_addrp[6])
1368 {
1369         efx_mcdi_iface_t *emip = &(enp->en_mcdi.em_emip);
1370         efx_mcdi_req_t req;
1371         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_BOARD_CFG_IN_LEN,
1372                 MC_CMD_GET_BOARD_CFG_OUT_LENMIN);
1373         efx_rc_t rc;
1374
1375         req.emr_cmd = MC_CMD_GET_BOARD_CFG;
1376         req.emr_in_buf = payload;
1377         req.emr_in_length = MC_CMD_GET_BOARD_CFG_IN_LEN;
1378         req.emr_out_buf = payload;
1379         req.emr_out_length = MC_CMD_GET_BOARD_CFG_OUT_LENMIN;
1380
1381         efx_mcdi_execute(enp, &req);
1382
1383         if (req.emr_rc != 0) {
1384                 rc = req.emr_rc;
1385                 goto fail1;
1386         }
1387
1388         if (req.emr_out_length_used < MC_CMD_GET_BOARD_CFG_OUT_LENMIN) {
1389                 rc = EMSGSIZE;
1390                 goto fail2;
1391         }
1392
1393         if (mac_addrp != NULL) {
1394                 uint8_t *addrp;
1395
1396                 if (emip->emi_port == 1) {
1397                         addrp = MCDI_OUT2(req, uint8_t,
1398                             GET_BOARD_CFG_OUT_MAC_ADDR_BASE_PORT0);
1399                 } else if (emip->emi_port == 2) {
1400                         addrp = MCDI_OUT2(req, uint8_t,
1401                             GET_BOARD_CFG_OUT_MAC_ADDR_BASE_PORT1);
1402                 } else {
1403                         rc = EINVAL;
1404                         goto fail3;
1405                 }
1406
1407                 EFX_MAC_ADDR_COPY(mac_addrp, addrp);
1408         }
1409
1410         if (capabilitiesp != NULL) {
1411                 if (emip->emi_port == 1) {
1412                         *capabilitiesp = *MCDI_OUT2(req, efx_dword_t,
1413                             GET_BOARD_CFG_OUT_CAPABILITIES_PORT0);
1414                 } else if (emip->emi_port == 2) {
1415                         *capabilitiesp = *MCDI_OUT2(req, efx_dword_t,
1416                             GET_BOARD_CFG_OUT_CAPABILITIES_PORT1);
1417                 } else {
1418                         rc = EINVAL;
1419                         goto fail4;
1420                 }
1421         }
1422
1423         if (board_typep != NULL) {
1424                 *board_typep = MCDI_OUT_DWORD(req,
1425                     GET_BOARD_CFG_OUT_BOARD_TYPE);
1426         }
1427
1428         return (0);
1429
1430 fail4:
1431         EFSYS_PROBE(fail4);
1432 fail3:
1433         EFSYS_PROBE(fail3);
1434 fail2:
1435         EFSYS_PROBE(fail2);
1436 fail1:
1437         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1438
1439         return (rc);
1440 }
1441
1442         __checkReturn   efx_rc_t
1443 efx_mcdi_get_resource_limits(
1444         __in            efx_nic_t *enp,
1445         __out_opt       uint32_t *nevqp,
1446         __out_opt       uint32_t *nrxqp,
1447         __out_opt       uint32_t *ntxqp)
1448 {
1449         efx_mcdi_req_t req;
1450         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_RESOURCE_LIMITS_IN_LEN,
1451                 MC_CMD_GET_RESOURCE_LIMITS_OUT_LEN);
1452         efx_rc_t rc;
1453
1454         req.emr_cmd = MC_CMD_GET_RESOURCE_LIMITS;
1455         req.emr_in_buf = payload;
1456         req.emr_in_length = MC_CMD_GET_RESOURCE_LIMITS_IN_LEN;
1457         req.emr_out_buf = payload;
1458         req.emr_out_length = MC_CMD_GET_RESOURCE_LIMITS_OUT_LEN;
1459
1460         efx_mcdi_execute(enp, &req);
1461
1462         if (req.emr_rc != 0) {
1463                 rc = req.emr_rc;
1464                 goto fail1;
1465         }
1466
1467         if (req.emr_out_length_used < MC_CMD_GET_RESOURCE_LIMITS_OUT_LEN) {
1468                 rc = EMSGSIZE;
1469                 goto fail2;
1470         }
1471
1472         if (nevqp != NULL)
1473                 *nevqp = MCDI_OUT_DWORD(req, GET_RESOURCE_LIMITS_OUT_EVQ);
1474         if (nrxqp != NULL)
1475                 *nrxqp = MCDI_OUT_DWORD(req, GET_RESOURCE_LIMITS_OUT_RXQ);
1476         if (ntxqp != NULL)
1477                 *ntxqp = MCDI_OUT_DWORD(req, GET_RESOURCE_LIMITS_OUT_TXQ);
1478
1479         return (0);
1480
1481 fail2:
1482         EFSYS_PROBE(fail2);
1483 fail1:
1484         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1485
1486         return (rc);
1487 }
1488
1489         __checkReturn   efx_rc_t
1490 efx_mcdi_get_phy_cfg(
1491         __in            efx_nic_t *enp)
1492 {
1493         efx_port_t *epp = &(enp->en_port);
1494         efx_nic_cfg_t *encp = &(enp->en_nic_cfg);
1495         efx_mcdi_req_t req;
1496         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_PHY_CFG_IN_LEN,
1497                 MC_CMD_GET_PHY_CFG_OUT_LEN);
1498 #if EFSYS_OPT_NAMES
1499         const char *namep;
1500         size_t namelen;
1501 #endif
1502         uint32_t phy_media_type;
1503         efx_rc_t rc;
1504
1505         req.emr_cmd = MC_CMD_GET_PHY_CFG;
1506         req.emr_in_buf = payload;
1507         req.emr_in_length = MC_CMD_GET_PHY_CFG_IN_LEN;
1508         req.emr_out_buf = payload;
1509         req.emr_out_length = MC_CMD_GET_PHY_CFG_OUT_LEN;
1510
1511         efx_mcdi_execute(enp, &req);
1512
1513         if (req.emr_rc != 0) {
1514                 rc = req.emr_rc;
1515                 goto fail1;
1516         }
1517
1518         if (req.emr_out_length_used < MC_CMD_GET_PHY_CFG_OUT_LEN) {
1519                 rc = EMSGSIZE;
1520                 goto fail2;
1521         }
1522
1523         encp->enc_phy_type = MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_TYPE);
1524 #if EFSYS_OPT_NAMES
1525         namep = MCDI_OUT2(req, char, GET_PHY_CFG_OUT_NAME);
1526         namelen = MIN(sizeof (encp->enc_phy_name) - 1,
1527                     strnlen(namep, MC_CMD_GET_PHY_CFG_OUT_NAME_LEN));
1528         (void) memset(encp->enc_phy_name, 0,
1529             sizeof (encp->enc_phy_name));
1530         memcpy(encp->enc_phy_name, namep, namelen);
1531 #endif  /* EFSYS_OPT_NAMES */
1532         (void) memset(encp->enc_phy_revision, 0,
1533             sizeof (encp->enc_phy_revision));
1534         memcpy(encp->enc_phy_revision,
1535                 MCDI_OUT2(req, char, GET_PHY_CFG_OUT_REVISION),
1536                 MIN(sizeof (encp->enc_phy_revision) - 1,
1537                     MC_CMD_GET_PHY_CFG_OUT_REVISION_LEN));
1538 #if EFSYS_OPT_PHY_LED_CONTROL
1539         encp->enc_led_mask = ((1 << EFX_PHY_LED_DEFAULT) |
1540                             (1 << EFX_PHY_LED_OFF) |
1541                             (1 << EFX_PHY_LED_ON));
1542 #endif  /* EFSYS_OPT_PHY_LED_CONTROL */
1543
1544         /* Get the media type of the fixed port, if recognised. */
1545         EFX_STATIC_ASSERT(MC_CMD_MEDIA_XAUI == EFX_PHY_MEDIA_XAUI);
1546         EFX_STATIC_ASSERT(MC_CMD_MEDIA_CX4 == EFX_PHY_MEDIA_CX4);
1547         EFX_STATIC_ASSERT(MC_CMD_MEDIA_KX4 == EFX_PHY_MEDIA_KX4);
1548         EFX_STATIC_ASSERT(MC_CMD_MEDIA_XFP == EFX_PHY_MEDIA_XFP);
1549         EFX_STATIC_ASSERT(MC_CMD_MEDIA_SFP_PLUS == EFX_PHY_MEDIA_SFP_PLUS);
1550         EFX_STATIC_ASSERT(MC_CMD_MEDIA_BASE_T == EFX_PHY_MEDIA_BASE_T);
1551         EFX_STATIC_ASSERT(MC_CMD_MEDIA_QSFP_PLUS == EFX_PHY_MEDIA_QSFP_PLUS);
1552         phy_media_type = MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_MEDIA_TYPE);
1553         epp->ep_fixed_port_type = (efx_phy_media_type_t)phy_media_type;
1554         if (epp->ep_fixed_port_type >= EFX_PHY_MEDIA_NTYPES)
1555                 epp->ep_fixed_port_type = EFX_PHY_MEDIA_INVALID;
1556
1557         epp->ep_phy_cap_mask =
1558                 MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_SUPPORTED_CAP);
1559 #if EFSYS_OPT_PHY_FLAGS
1560         encp->enc_phy_flags_mask = MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_FLAGS);
1561 #endif  /* EFSYS_OPT_PHY_FLAGS */
1562
1563         encp->enc_port = (uint8_t)MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_PRT);
1564
1565         /* Populate internal state */
1566         encp->enc_mcdi_mdio_channel =
1567                 (uint8_t)MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_CHANNEL);
1568
1569 #if EFSYS_OPT_PHY_STATS
1570         encp->enc_mcdi_phy_stat_mask =
1571                 MCDI_OUT_DWORD(req, GET_PHY_CFG_OUT_STATS_MASK);
1572 #endif  /* EFSYS_OPT_PHY_STATS */
1573
1574 #if EFSYS_OPT_BIST
1575         encp->enc_bist_mask = 0;
1576         if (MCDI_OUT_DWORD_FIELD(req, GET_PHY_CFG_OUT_FLAGS,
1577             GET_PHY_CFG_OUT_BIST_CABLE_SHORT))
1578                 encp->enc_bist_mask |= (1 << EFX_BIST_TYPE_PHY_CABLE_SHORT);
1579         if (MCDI_OUT_DWORD_FIELD(req, GET_PHY_CFG_OUT_FLAGS,
1580             GET_PHY_CFG_OUT_BIST_CABLE_LONG))
1581                 encp->enc_bist_mask |= (1 << EFX_BIST_TYPE_PHY_CABLE_LONG);
1582         if (MCDI_OUT_DWORD_FIELD(req, GET_PHY_CFG_OUT_FLAGS,
1583             GET_PHY_CFG_OUT_BIST))
1584                 encp->enc_bist_mask |= (1 << EFX_BIST_TYPE_PHY_NORMAL);
1585 #endif  /* EFSYS_OPT_BIST */
1586
1587         return (0);
1588
1589 fail2:
1590         EFSYS_PROBE(fail2);
1591 fail1:
1592         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1593
1594         return (rc);
1595 }
1596
1597         __checkReturn           efx_rc_t
1598 efx_mcdi_firmware_update_supported(
1599         __in                    efx_nic_t *enp,
1600         __out                   boolean_t *supportedp)
1601 {
1602         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
1603         efx_rc_t rc;
1604
1605         if (emcop != NULL) {
1606                 if ((rc = emcop->emco_feature_supported(enp,
1607                             EFX_MCDI_FEATURE_FW_UPDATE, supportedp)) != 0)
1608                         goto fail1;
1609         } else {
1610                 /* Earlier devices always supported updates */
1611                 *supportedp = B_TRUE;
1612         }
1613
1614         return (0);
1615
1616 fail1:
1617         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1618
1619         return (rc);
1620 }
1621
1622         __checkReturn           efx_rc_t
1623 efx_mcdi_macaddr_change_supported(
1624         __in                    efx_nic_t *enp,
1625         __out                   boolean_t *supportedp)
1626 {
1627         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
1628         efx_rc_t rc;
1629
1630         if (emcop != NULL) {
1631                 if ((rc = emcop->emco_feature_supported(enp,
1632                             EFX_MCDI_FEATURE_MACADDR_CHANGE, supportedp)) != 0)
1633                         goto fail1;
1634         } else {
1635                 /* Earlier devices always supported MAC changes */
1636                 *supportedp = B_TRUE;
1637         }
1638
1639         return (0);
1640
1641 fail1:
1642         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1643
1644         return (rc);
1645 }
1646
1647         __checkReturn           efx_rc_t
1648 efx_mcdi_link_control_supported(
1649         __in                    efx_nic_t *enp,
1650         __out                   boolean_t *supportedp)
1651 {
1652         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
1653         efx_rc_t rc;
1654
1655         if (emcop != NULL) {
1656                 if ((rc = emcop->emco_feature_supported(enp,
1657                             EFX_MCDI_FEATURE_LINK_CONTROL, supportedp)) != 0)
1658                         goto fail1;
1659         } else {
1660                 /* Earlier devices always supported link control */
1661                 *supportedp = B_TRUE;
1662         }
1663
1664         return (0);
1665
1666 fail1:
1667         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1668
1669         return (rc);
1670 }
1671
1672         __checkReturn           efx_rc_t
1673 efx_mcdi_mac_spoofing_supported(
1674         __in                    efx_nic_t *enp,
1675         __out                   boolean_t *supportedp)
1676 {
1677         const efx_mcdi_ops_t *emcop = enp->en_mcdi.em_emcop;
1678         efx_rc_t rc;
1679
1680         if (emcop != NULL) {
1681                 if ((rc = emcop->emco_feature_supported(enp,
1682                             EFX_MCDI_FEATURE_MAC_SPOOFING, supportedp)) != 0)
1683                         goto fail1;
1684         } else {
1685                 /* Earlier devices always supported MAC spoofing */
1686                 *supportedp = B_TRUE;
1687         }
1688
1689         return (0);
1690
1691 fail1:
1692         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1693
1694         return (rc);
1695 }
1696
1697 #if EFSYS_OPT_BIST
1698
1699 #if EFX_OPTS_EF10()
1700 /*
1701  * Enter bist offline mode. This is a fw mode which puts the NIC into a state
1702  * where memory BIST tests can be run and not much else can interfere or happen.
1703  * A reboot is required to exit this mode.
1704  */
1705         __checkReturn           efx_rc_t
1706 efx_mcdi_bist_enable_offline(
1707         __in                    efx_nic_t *enp)
1708 {
1709         efx_mcdi_req_t req;
1710         efx_rc_t rc;
1711
1712         EFX_STATIC_ASSERT(MC_CMD_ENABLE_OFFLINE_BIST_IN_LEN == 0);
1713         EFX_STATIC_ASSERT(MC_CMD_ENABLE_OFFLINE_BIST_OUT_LEN == 0);
1714
1715         req.emr_cmd = MC_CMD_ENABLE_OFFLINE_BIST;
1716         req.emr_in_buf = NULL;
1717         req.emr_in_length = 0;
1718         req.emr_out_buf = NULL;
1719         req.emr_out_length = 0;
1720
1721         efx_mcdi_execute(enp, &req);
1722
1723         if (req.emr_rc != 0) {
1724                 rc = req.emr_rc;
1725                 goto fail1;
1726         }
1727
1728         return (0);
1729
1730 fail1:
1731         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1732
1733         return (rc);
1734 }
1735 #endif /* EFX_OPTS_EF10() */
1736
1737         __checkReturn           efx_rc_t
1738 efx_mcdi_bist_start(
1739         __in                    efx_nic_t *enp,
1740         __in                    efx_bist_type_t type)
1741 {
1742         efx_mcdi_req_t req;
1743         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_START_BIST_IN_LEN,
1744                 MC_CMD_START_BIST_OUT_LEN);
1745         efx_rc_t rc;
1746
1747         req.emr_cmd = MC_CMD_START_BIST;
1748         req.emr_in_buf = payload;
1749         req.emr_in_length = MC_CMD_START_BIST_IN_LEN;
1750         req.emr_out_buf = payload;
1751         req.emr_out_length = MC_CMD_START_BIST_OUT_LEN;
1752
1753         switch (type) {
1754         case EFX_BIST_TYPE_PHY_NORMAL:
1755                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE, MC_CMD_PHY_BIST);
1756                 break;
1757         case EFX_BIST_TYPE_PHY_CABLE_SHORT:
1758                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1759                     MC_CMD_PHY_BIST_CABLE_SHORT);
1760                 break;
1761         case EFX_BIST_TYPE_PHY_CABLE_LONG:
1762                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1763                     MC_CMD_PHY_BIST_CABLE_LONG);
1764                 break;
1765         case EFX_BIST_TYPE_MC_MEM:
1766                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1767                     MC_CMD_MC_MEM_BIST);
1768                 break;
1769         case EFX_BIST_TYPE_SAT_MEM:
1770                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1771                     MC_CMD_PORT_MEM_BIST);
1772                 break;
1773         case EFX_BIST_TYPE_REG:
1774                 MCDI_IN_SET_DWORD(req, START_BIST_IN_TYPE,
1775                     MC_CMD_REG_BIST);
1776                 break;
1777         default:
1778                 EFSYS_ASSERT(0);
1779         }
1780
1781         efx_mcdi_execute(enp, &req);
1782
1783         if (req.emr_rc != 0) {
1784                 rc = req.emr_rc;
1785                 goto fail1;
1786         }
1787
1788         return (0);
1789
1790 fail1:
1791         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1792
1793         return (rc);
1794 }
1795
1796 #endif /* EFSYS_OPT_BIST */
1797
1798
1799 /* Enable logging of some events (e.g. link state changes) */
1800         __checkReturn   efx_rc_t
1801 efx_mcdi_log_ctrl(
1802         __in            efx_nic_t *enp)
1803 {
1804         efx_mcdi_req_t req;
1805         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_LOG_CTRL_IN_LEN,
1806                 MC_CMD_LOG_CTRL_OUT_LEN);
1807         efx_rc_t rc;
1808
1809         req.emr_cmd = MC_CMD_LOG_CTRL;
1810         req.emr_in_buf = payload;
1811         req.emr_in_length = MC_CMD_LOG_CTRL_IN_LEN;
1812         req.emr_out_buf = payload;
1813         req.emr_out_length = MC_CMD_LOG_CTRL_OUT_LEN;
1814
1815         MCDI_IN_SET_DWORD(req, LOG_CTRL_IN_LOG_DEST,
1816                     MC_CMD_LOG_CTRL_IN_LOG_DEST_EVQ);
1817         MCDI_IN_SET_DWORD(req, LOG_CTRL_IN_LOG_DEST_EVQ, 0);
1818
1819         efx_mcdi_execute(enp, &req);
1820
1821         if (req.emr_rc != 0) {
1822                 rc = req.emr_rc;
1823                 goto fail1;
1824         }
1825
1826         return (0);
1827
1828 fail1:
1829         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1830
1831         return (rc);
1832 }
1833
1834
1835 #if EFSYS_OPT_MAC_STATS
1836
1837         __checkReturn   efx_rc_t
1838 efx_mcdi_mac_stats(
1839         __in            efx_nic_t *enp,
1840         __in            uint32_t vport_id,
1841         __in_opt        efsys_mem_t *esmp,
1842         __in            efx_stats_action_t action,
1843         __in            uint16_t period_ms)
1844 {
1845         efx_mcdi_req_t req;
1846         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_MAC_STATS_IN_LEN,
1847                 MC_CMD_MAC_STATS_V2_OUT_DMA_LEN);
1848         int clear = (action == EFX_STATS_CLEAR);
1849         int upload = (action == EFX_STATS_UPLOAD);
1850         int enable = (action == EFX_STATS_ENABLE_NOEVENTS);
1851         int events = (action == EFX_STATS_ENABLE_EVENTS);
1852         int disable = (action == EFX_STATS_DISABLE);
1853         efx_rc_t rc;
1854
1855         req.emr_cmd = MC_CMD_MAC_STATS;
1856         req.emr_in_buf = payload;
1857         req.emr_in_length = MC_CMD_MAC_STATS_IN_LEN;
1858         req.emr_out_buf = payload;
1859         req.emr_out_length = MC_CMD_MAC_STATS_V2_OUT_DMA_LEN;
1860
1861         MCDI_IN_POPULATE_DWORD_6(req, MAC_STATS_IN_CMD,
1862             MAC_STATS_IN_DMA, upload,
1863             MAC_STATS_IN_CLEAR, clear,
1864             MAC_STATS_IN_PERIODIC_CHANGE, enable | events | disable,
1865             MAC_STATS_IN_PERIODIC_ENABLE, enable | events,
1866             MAC_STATS_IN_PERIODIC_NOEVENT, !events,
1867             MAC_STATS_IN_PERIOD_MS, (enable | events) ? period_ms : 0);
1868
1869         if (enable || events || upload) {
1870                 const efx_nic_cfg_t *encp = &enp->en_nic_cfg;
1871                 uint32_t bytes;
1872
1873                 /* Periodic stats or stats upload require a DMA buffer */
1874                 if (esmp == NULL) {
1875                         rc = EINVAL;
1876                         goto fail1;
1877                 }
1878
1879                 if (encp->enc_mac_stats_nstats < MC_CMD_MAC_NSTATS) {
1880                         /* MAC stats count too small for legacy MAC stats */
1881                         rc = ENOSPC;
1882                         goto fail2;
1883                 }
1884
1885                 bytes = encp->enc_mac_stats_nstats * sizeof (efx_qword_t);
1886
1887                 if (EFSYS_MEM_SIZE(esmp) < bytes) {
1888                         /* DMA buffer too small */
1889                         rc = ENOSPC;
1890                         goto fail3;
1891                 }
1892
1893                 MCDI_IN_SET_DWORD(req, MAC_STATS_IN_DMA_ADDR_LO,
1894                             EFSYS_MEM_ADDR(esmp) & 0xffffffff);
1895                 MCDI_IN_SET_DWORD(req, MAC_STATS_IN_DMA_ADDR_HI,
1896                             EFSYS_MEM_ADDR(esmp) >> 32);
1897                 MCDI_IN_SET_DWORD(req, MAC_STATS_IN_DMA_LEN, bytes);
1898         }
1899
1900         /*
1901          * NOTE: Do not use EVB_PORT_ID_ASSIGNED when disabling periodic stats,
1902          *       as this may fail (and leave periodic DMA enabled) if the
1903          *       vadapter has already been deleted.
1904          */
1905         MCDI_IN_SET_DWORD(req, MAC_STATS_IN_PORT_ID,
1906                 (disable ? EVB_PORT_ID_NULL : vport_id));
1907
1908         efx_mcdi_execute(enp, &req);
1909
1910         if (req.emr_rc != 0) {
1911                 /* EF10: Expect ENOENT if no DMA queues are initialised */
1912                 if ((req.emr_rc != ENOENT) ||
1913                     (enp->en_rx_qcount + enp->en_tx_qcount != 0)) {
1914                         rc = req.emr_rc;
1915                         goto fail4;
1916                 }
1917         }
1918
1919         return (0);
1920
1921 fail4:
1922         EFSYS_PROBE(fail4);
1923 fail3:
1924         EFSYS_PROBE(fail3);
1925 fail2:
1926         EFSYS_PROBE(fail2);
1927 fail1:
1928         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1929
1930         return (rc);
1931 }
1932
1933         __checkReturn   efx_rc_t
1934 efx_mcdi_mac_stats_clear(
1935         __in            efx_nic_t *enp)
1936 {
1937         efx_rc_t rc;
1938
1939         if ((rc = efx_mcdi_mac_stats(enp, enp->en_vport_id, NULL,
1940                         EFX_STATS_CLEAR, 0)) != 0)
1941                 goto fail1;
1942
1943         return (0);
1944
1945 fail1:
1946         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1947
1948         return (rc);
1949 }
1950
1951         __checkReturn   efx_rc_t
1952 efx_mcdi_mac_stats_upload(
1953         __in            efx_nic_t *enp,
1954         __in            efsys_mem_t *esmp)
1955 {
1956         efx_rc_t rc;
1957
1958         /*
1959          * The MC DMAs aggregate statistics for our convenience, so we can
1960          * avoid having to pull the statistics buffer into the cache to
1961          * maintain cumulative statistics.
1962          */
1963         if ((rc = efx_mcdi_mac_stats(enp, enp->en_vport_id, esmp,
1964                         EFX_STATS_UPLOAD, 0)) != 0)
1965                 goto fail1;
1966
1967         return (0);
1968
1969 fail1:
1970         EFSYS_PROBE1(fail1, efx_rc_t, rc);
1971
1972         return (rc);
1973 }
1974
1975         __checkReturn   efx_rc_t
1976 efx_mcdi_mac_stats_periodic(
1977         __in            efx_nic_t *enp,
1978         __in            efsys_mem_t *esmp,
1979         __in            uint16_t period_ms,
1980         __in            boolean_t events)
1981 {
1982         efx_rc_t rc;
1983
1984         /*
1985          * The MC DMAs aggregate statistics for our convenience, so we can
1986          * avoid having to pull the statistics buffer into the cache to
1987          * maintain cumulative statistics.
1988          * Huntington uses a fixed 1sec period.
1989          * Medford uses a fixed 1sec period before v6.2.1.1033 firmware.
1990          */
1991         if (period_ms == 0)
1992                 rc = efx_mcdi_mac_stats(enp, enp->en_vport_id, NULL,
1993                         EFX_STATS_DISABLE, 0);
1994         else if (events)
1995                 rc = efx_mcdi_mac_stats(enp, enp->en_vport_id, esmp,
1996                         EFX_STATS_ENABLE_EVENTS, period_ms);
1997         else
1998                 rc = efx_mcdi_mac_stats(enp, enp->en_vport_id, esmp,
1999                         EFX_STATS_ENABLE_NOEVENTS, period_ms);
2000
2001         if (rc != 0)
2002                 goto fail1;
2003
2004         return (0);
2005
2006 fail1:
2007         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2008
2009         return (rc);
2010 }
2011
2012 #endif  /* EFSYS_OPT_MAC_STATS */
2013
2014 #if EFX_OPTS_EF10()
2015
2016 /*
2017  * This function returns the pf and vf number of a function.  If it is a pf the
2018  * vf number is 0xffff.  The vf number is the index of the vf on that
2019  * function. So if you have 3 vfs on pf 0 the 3 vfs will return (pf=0,vf=0),
2020  * (pf=0,vf=1), (pf=0,vf=2) aand the pf will return (pf=0, vf=0xffff).
2021  */
2022         __checkReturn           efx_rc_t
2023 efx_mcdi_get_function_info(
2024         __in                    efx_nic_t *enp,
2025         __out                   uint32_t *pfp,
2026         __out_opt               uint32_t *vfp)
2027 {
2028         efx_mcdi_req_t req;
2029         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_FUNCTION_INFO_IN_LEN,
2030                 MC_CMD_GET_FUNCTION_INFO_OUT_LEN);
2031         efx_rc_t rc;
2032
2033         req.emr_cmd = MC_CMD_GET_FUNCTION_INFO;
2034         req.emr_in_buf = payload;
2035         req.emr_in_length = MC_CMD_GET_FUNCTION_INFO_IN_LEN;
2036         req.emr_out_buf = payload;
2037         req.emr_out_length = MC_CMD_GET_FUNCTION_INFO_OUT_LEN;
2038
2039         efx_mcdi_execute(enp, &req);
2040
2041         if (req.emr_rc != 0) {
2042                 rc = req.emr_rc;
2043                 goto fail1;
2044         }
2045
2046         if (req.emr_out_length_used < MC_CMD_GET_FUNCTION_INFO_OUT_LEN) {
2047                 rc = EMSGSIZE;
2048                 goto fail2;
2049         }
2050
2051         *pfp = MCDI_OUT_DWORD(req, GET_FUNCTION_INFO_OUT_PF);
2052         if (vfp != NULL)
2053                 *vfp = MCDI_OUT_DWORD(req, GET_FUNCTION_INFO_OUT_VF);
2054
2055         return (0);
2056
2057 fail2:
2058         EFSYS_PROBE(fail2);
2059 fail1:
2060         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2061
2062         return (rc);
2063 }
2064
2065         __checkReturn           efx_rc_t
2066 efx_mcdi_privilege_mask(
2067         __in                    efx_nic_t *enp,
2068         __in                    uint32_t pf,
2069         __in                    uint32_t vf,
2070         __out                   uint32_t *maskp)
2071 {
2072         efx_mcdi_req_t req;
2073         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_PRIVILEGE_MASK_IN_LEN,
2074                 MC_CMD_PRIVILEGE_MASK_OUT_LEN);
2075         efx_rc_t rc;
2076
2077         req.emr_cmd = MC_CMD_PRIVILEGE_MASK;
2078         req.emr_in_buf = payload;
2079         req.emr_in_length = MC_CMD_PRIVILEGE_MASK_IN_LEN;
2080         req.emr_out_buf = payload;
2081         req.emr_out_length = MC_CMD_PRIVILEGE_MASK_OUT_LEN;
2082
2083         MCDI_IN_POPULATE_DWORD_2(req, PRIVILEGE_MASK_IN_FUNCTION,
2084             PRIVILEGE_MASK_IN_FUNCTION_PF, pf,
2085             PRIVILEGE_MASK_IN_FUNCTION_VF, vf);
2086
2087         efx_mcdi_execute(enp, &req);
2088
2089         if (req.emr_rc != 0) {
2090                 rc = req.emr_rc;
2091                 goto fail1;
2092         }
2093
2094         if (req.emr_out_length_used < MC_CMD_PRIVILEGE_MASK_OUT_LEN) {
2095                 rc = EMSGSIZE;
2096                 goto fail2;
2097         }
2098
2099         *maskp = MCDI_OUT_DWORD(req, PRIVILEGE_MASK_OUT_OLD_MASK);
2100
2101         return (0);
2102
2103 fail2:
2104         EFSYS_PROBE(fail2);
2105 fail1:
2106         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2107
2108         return (rc);
2109 }
2110
2111 #endif /* EFX_OPTS_EF10() */
2112
2113         __checkReturn           efx_rc_t
2114 efx_mcdi_set_workaround(
2115         __in                    efx_nic_t *enp,
2116         __in                    uint32_t type,
2117         __in                    boolean_t enabled,
2118         __out_opt               uint32_t *flagsp)
2119 {
2120         efx_mcdi_req_t req;
2121         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_WORKAROUND_IN_LEN,
2122                 MC_CMD_WORKAROUND_EXT_OUT_LEN);
2123         efx_rc_t rc;
2124
2125         req.emr_cmd = MC_CMD_WORKAROUND;
2126         req.emr_in_buf = payload;
2127         req.emr_in_length = MC_CMD_WORKAROUND_IN_LEN;
2128         req.emr_out_buf = payload;
2129         req.emr_out_length = MC_CMD_WORKAROUND_OUT_LEN;
2130
2131         MCDI_IN_SET_DWORD(req, WORKAROUND_IN_TYPE, type);
2132         MCDI_IN_SET_DWORD(req, WORKAROUND_IN_ENABLED, enabled ? 1 : 0);
2133
2134         efx_mcdi_execute_quiet(enp, &req);
2135
2136         if (req.emr_rc != 0) {
2137                 rc = req.emr_rc;
2138                 goto fail1;
2139         }
2140
2141         if (flagsp != NULL) {
2142                 if (req.emr_out_length_used >= MC_CMD_WORKAROUND_EXT_OUT_LEN)
2143                         *flagsp = MCDI_OUT_DWORD(req, WORKAROUND_EXT_OUT_FLAGS);
2144                 else
2145                         *flagsp = 0;
2146         }
2147
2148         return (0);
2149
2150 fail1:
2151         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2152
2153         return (rc);
2154 }
2155
2156
2157         __checkReturn           efx_rc_t
2158 efx_mcdi_get_workarounds(
2159         __in                    efx_nic_t *enp,
2160         __out_opt               uint32_t *implementedp,
2161         __out_opt               uint32_t *enabledp)
2162 {
2163         efx_mcdi_req_t req;
2164         EFX_MCDI_DECLARE_BUF(payload, 0, MC_CMD_GET_WORKAROUNDS_OUT_LEN);
2165         efx_rc_t rc;
2166
2167         req.emr_cmd = MC_CMD_GET_WORKAROUNDS;
2168         req.emr_in_buf = NULL;
2169         req.emr_in_length = 0;
2170         req.emr_out_buf = payload;
2171         req.emr_out_length = MC_CMD_GET_WORKAROUNDS_OUT_LEN;
2172
2173         efx_mcdi_execute(enp, &req);
2174
2175         if (req.emr_rc != 0) {
2176                 rc = req.emr_rc;
2177                 goto fail1;
2178         }
2179
2180         if (implementedp != NULL) {
2181                 *implementedp =
2182                     MCDI_OUT_DWORD(req, GET_WORKAROUNDS_OUT_IMPLEMENTED);
2183         }
2184
2185         if (enabledp != NULL) {
2186                 *enabledp = MCDI_OUT_DWORD(req, GET_WORKAROUNDS_OUT_ENABLED);
2187         }
2188
2189         return (0);
2190
2191 fail1:
2192         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2193
2194         return (rc);
2195 }
2196
2197 /*
2198  * Size of media information page in accordance with SFF-8472 and SFF-8436.
2199  * It is used in MCDI interface as well.
2200  */
2201 #define EFX_PHY_MEDIA_INFO_PAGE_SIZE            0x80
2202
2203 /*
2204  * Transceiver identifiers from SFF-8024 Table 4-1.
2205  */
2206 #define EFX_SFF_TRANSCEIVER_ID_SFP              0x03 /* SFP/SFP+/SFP28 */
2207 #define EFX_SFF_TRANSCEIVER_ID_QSFP             0x0c /* QSFP */
2208 #define EFX_SFF_TRANSCEIVER_ID_QSFP_PLUS        0x0d /* QSFP+ or later */
2209 #define EFX_SFF_TRANSCEIVER_ID_QSFP28           0x11 /* QSFP28 or later */
2210
2211 static  __checkReturn           efx_rc_t
2212 efx_mcdi_get_phy_media_info(
2213         __in                    efx_nic_t *enp,
2214         __in                    uint32_t mcdi_page,
2215         __in                    uint8_t offset,
2216         __in                    uint8_t len,
2217         __out_bcount(len)       uint8_t *data)
2218 {
2219         efx_mcdi_req_t req;
2220         EFX_MCDI_DECLARE_BUF(payload, MC_CMD_GET_PHY_MEDIA_INFO_IN_LEN,
2221                 MC_CMD_GET_PHY_MEDIA_INFO_OUT_LEN(
2222                         EFX_PHY_MEDIA_INFO_PAGE_SIZE));
2223         efx_rc_t rc;
2224
2225         EFSYS_ASSERT((uint32_t)offset + len <= EFX_PHY_MEDIA_INFO_PAGE_SIZE);
2226
2227         req.emr_cmd = MC_CMD_GET_PHY_MEDIA_INFO;
2228         req.emr_in_buf = payload;
2229         req.emr_in_length = MC_CMD_GET_PHY_MEDIA_INFO_IN_LEN;
2230         req.emr_out_buf = payload;
2231         req.emr_out_length =
2232             MC_CMD_GET_PHY_MEDIA_INFO_OUT_LEN(EFX_PHY_MEDIA_INFO_PAGE_SIZE);
2233
2234         MCDI_IN_SET_DWORD(req, GET_PHY_MEDIA_INFO_IN_PAGE, mcdi_page);
2235
2236         efx_mcdi_execute(enp, &req);
2237
2238         if (req.emr_rc != 0) {
2239                 rc = req.emr_rc;
2240                 goto fail1;
2241         }
2242
2243         if (req.emr_out_length_used !=
2244             MC_CMD_GET_PHY_MEDIA_INFO_OUT_LEN(EFX_PHY_MEDIA_INFO_PAGE_SIZE)) {
2245                 rc = EMSGSIZE;
2246                 goto fail2;
2247         }
2248
2249         if (MCDI_OUT_DWORD(req, GET_PHY_MEDIA_INFO_OUT_DATALEN) !=
2250             EFX_PHY_MEDIA_INFO_PAGE_SIZE) {
2251                 rc = EIO;
2252                 goto fail3;
2253         }
2254
2255         memcpy(data,
2256             MCDI_OUT2(req, uint8_t, GET_PHY_MEDIA_INFO_OUT_DATA) + offset,
2257             len);
2258
2259         return (0);
2260
2261 fail3:
2262         EFSYS_PROBE(fail3);
2263 fail2:
2264         EFSYS_PROBE(fail2);
2265 fail1:
2266         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2267
2268         return (rc);
2269 }
2270
2271         __checkReturn           efx_rc_t
2272 efx_mcdi_phy_module_get_info(
2273         __in                    efx_nic_t *enp,
2274         __in                    uint8_t dev_addr,
2275         __in                    size_t offset,
2276         __in                    size_t len,
2277         __out_bcount(len)       uint8_t *data)
2278 {
2279         efx_port_t *epp = &(enp->en_port);
2280         efx_rc_t rc;
2281         uint32_t mcdi_lower_page;
2282         uint32_t mcdi_upper_page;
2283         uint8_t id;
2284
2285         EFSYS_ASSERT3U(enp->en_mod_flags, &, EFX_MOD_PROBE);
2286
2287         /*
2288          * Map device address to MC_CMD_GET_PHY_MEDIA_INFO pages.
2289          * Offset plus length interface allows to access page 0 only.
2290          * I.e. non-zero upper pages are not accessible.
2291          * See SFF-8472 section 4 Memory Organization and SFF-8436 section 7.6
2292          * QSFP+ Memory Map for details on how information is structured
2293          * and accessible.
2294          */
2295         switch (epp->ep_fixed_port_type) {
2296         case EFX_PHY_MEDIA_SFP_PLUS:
2297         case EFX_PHY_MEDIA_QSFP_PLUS:
2298                 /* Port type supports modules */
2299                 break;
2300         default:
2301                 rc = ENOTSUP;
2302                 goto fail1;
2303         }
2304
2305         /*
2306          * For all supported port types, MCDI page 0 offset 0 holds the
2307          * transceiver identifier. Probe to determine the data layout.
2308          * Definitions from SFF-8024 Table 4-1.
2309          */
2310         rc = efx_mcdi_get_phy_media_info(enp,
2311                     0, 0, sizeof(id), &id);
2312         if (rc != 0)
2313                 goto fail2;
2314
2315         switch (id) {
2316         case EFX_SFF_TRANSCEIVER_ID_SFP:
2317                 /*
2318                  * In accordance with SFF-8472 Diagnostic Monitoring
2319                  * Interface for Optical Transceivers section 4 Memory
2320                  * Organization two 2-wire addresses are defined.
2321                  */
2322                 switch (dev_addr) {
2323                 /* Base information */
2324                 case EFX_PHY_MEDIA_INFO_DEV_ADDR_SFP_BASE:
2325                         /*
2326                          * MCDI page 0 should be used to access lower
2327                          * page 0 (0x00 - 0x7f) at the device address 0xA0.
2328                          */
2329                         mcdi_lower_page = 0;
2330                         /*
2331                          * MCDI page 1 should be used to access  upper
2332                          * page 0 (0x80 - 0xff) at the device address 0xA0.
2333                          */
2334                         mcdi_upper_page = 1;
2335                         break;
2336                 /* Diagnostics */
2337                 case EFX_PHY_MEDIA_INFO_DEV_ADDR_SFP_DDM:
2338                         /*
2339                          * MCDI page 2 should be used to access lower
2340                          * page 0 (0x00 - 0x7f) at the device address 0xA2.
2341                          */
2342                         mcdi_lower_page = 2;
2343                         /*
2344                          * MCDI page 3 should be used to access upper
2345                          * page 0 (0x80 - 0xff) at the device address 0xA2.
2346                          */
2347                         mcdi_upper_page = 3;
2348                         break;
2349                 default:
2350                         rc = ENOTSUP;
2351                         goto fail3;
2352                 }
2353                 break;
2354         case EFX_SFF_TRANSCEIVER_ID_QSFP:
2355         case EFX_SFF_TRANSCEIVER_ID_QSFP_PLUS:
2356         case EFX_SFF_TRANSCEIVER_ID_QSFP28:
2357                 switch (dev_addr) {
2358                 case EFX_PHY_MEDIA_INFO_DEV_ADDR_QSFP:
2359                         /*
2360                          * MCDI page -1 should be used to access lower page 0
2361                          * (0x00 - 0x7f).
2362                          */
2363                         mcdi_lower_page = (uint32_t)-1;
2364                         /*
2365                          * MCDI page 0 should be used to access upper page 0
2366                          * (0x80h - 0xff).
2367                          */
2368                         mcdi_upper_page = 0;
2369                         break;
2370                 default:
2371                         rc = ENOTSUP;
2372                         goto fail3;
2373                 }
2374                 break;
2375         default:
2376                 rc = ENOTSUP;
2377                 goto fail3;
2378         }
2379
2380         EFX_STATIC_ASSERT(EFX_PHY_MEDIA_INFO_PAGE_SIZE <= 0xFF);
2381
2382         if (offset < EFX_PHY_MEDIA_INFO_PAGE_SIZE) {
2383                 size_t read_len =
2384                     MIN(len, EFX_PHY_MEDIA_INFO_PAGE_SIZE - offset);
2385
2386                 rc = efx_mcdi_get_phy_media_info(enp,
2387                     mcdi_lower_page, (uint8_t)offset, (uint8_t)read_len, data);
2388                 if (rc != 0)
2389                         goto fail4;
2390
2391                 data += read_len;
2392                 len -= read_len;
2393
2394                 offset = 0;
2395         } else {
2396                 offset -= EFX_PHY_MEDIA_INFO_PAGE_SIZE;
2397         }
2398
2399         if (len > 0) {
2400                 EFSYS_ASSERT3U(len, <=, EFX_PHY_MEDIA_INFO_PAGE_SIZE);
2401                 EFSYS_ASSERT3U(offset, <, EFX_PHY_MEDIA_INFO_PAGE_SIZE);
2402
2403                 rc = efx_mcdi_get_phy_media_info(enp,
2404                     mcdi_upper_page, (uint8_t)offset, (uint8_t)len, data);
2405                 if (rc != 0)
2406                         goto fail5;
2407         }
2408
2409         return (0);
2410
2411 fail5:
2412         EFSYS_PROBE(fail5);
2413 fail4:
2414         EFSYS_PROBE(fail4);
2415 fail3:
2416         EFSYS_PROBE(fail3);
2417 fail2:
2418         EFSYS_PROBE(fail2);
2419 fail1:
2420         EFSYS_PROBE1(fail1, efx_rc_t, rc);
2421
2422         return (rc);
2423 }
2424
2425 #endif  /* EFSYS_OPT_MCDI */