drivers/common/cnxk/roc_sso.c

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  * Copyright(C) 2021 Marvell.
   3  */
   4
   5 #include "roc_api.h"
   6 #include "roc_priv.h"
   7
   8 /* Private functions. */
   9 static int
  10 sso_lf_alloc(struct roc_sso *roc_sso, enum sso_lf_type lf_type, uint16_t nb_lf,
  11              void **rsp)
  12 {
  13         struct dev *dev = &roc_sso_to_sso_priv(roc_sso)->dev;
  14         int rc = -ENOSPC;
  15
  16         switch (lf_type) {
  17         case SSO_LF_TYPE_HWS: {
  18                 struct ssow_lf_alloc_req *req;
  19
  20                 req = mbox_alloc_msg_ssow_lf_alloc(dev->mbox);
  21                 if (req == NULL)
  22                         return rc;
  23                 req->hws = nb_lf;
  24         } break;
  25         case SSO_LF_TYPE_HWGRP: {
  26                 struct sso_lf_alloc_req *req;
  27
  28                 req = mbox_alloc_msg_sso_lf_alloc(dev->mbox);
  29                 if (req == NULL)
  30                         return rc;
  31                 req->hwgrps = nb_lf;
  32         } break;
  33         default:
  34                 break;
  35         }
  36
  37         rc = mbox_process_msg(dev->mbox, rsp);
  38         if (rc < 0)
  39                 return rc;
  40
  41         return 0;
  42 }
  43
  44 static int
  45 sso_lf_free(struct roc_sso *roc_sso, enum sso_lf_type lf_type, uint16_t nb_lf)
  46 {
  47         struct dev *dev = &roc_sso_to_sso_priv(roc_sso)->dev;
  48         int rc = -ENOSPC;
  49
  50         switch (lf_type) {
  51         case SSO_LF_TYPE_HWS: {
  52                 struct ssow_lf_free_req *req;
  53
  54                 req = mbox_alloc_msg_ssow_lf_free(dev->mbox);
  55                 if (req == NULL)
  56                         return rc;
  57                 req->hws = nb_lf;
  58         } break;
  59         case SSO_LF_TYPE_HWGRP: {
  60                 struct sso_lf_free_req *req;
  61
  62                 req = mbox_alloc_msg_sso_lf_free(dev->mbox);
  63                 if (req == NULL)
  64                         return rc;
  65                 req->hwgrps = nb_lf;
  66         } break;
  67         default:
  68                 break;
  69         }
  70
  71         rc = mbox_process(dev->mbox);
  72         if (rc < 0)
  73                 return rc;
  74
  75         return 0;
  76 }
  77
  78 static int
  79 sso_rsrc_attach(struct roc_sso *roc_sso, enum sso_lf_type lf_type,
  80                 uint16_t nb_lf)
  81 {
  82         struct dev *dev = &roc_sso_to_sso_priv(roc_sso)->dev;
  83         struct rsrc_attach_req *req;
  84         int rc = -ENOSPC;
  85
  86         req = mbox_alloc_msg_attach_resources(dev->mbox);
  87         if (req == NULL)
  88                 return rc;
  89         switch (lf_type) {
  90         case SSO_LF_TYPE_HWS:
  91                 req->ssow = nb_lf;
  92                 break;
  93         case SSO_LF_TYPE_HWGRP:
  94                 req->sso = nb_lf;
  95                 break;
  96         default:
  97                 return SSO_ERR_PARAM;
  98         }
  99
 100         req->modify = true;
 101         if (mbox_process(dev->mbox) < 0)
 102                 return -EIO;
 103
 104         return 0;
 105 }
 106
 107 static int
 108 sso_rsrc_detach(struct roc_sso *roc_sso, enum sso_lf_type lf_type)
 109 {
 110         struct dev *dev = &roc_sso_to_sso_priv(roc_sso)->dev;
 111         struct rsrc_detach_req *req;
 112         int rc = -ENOSPC;
 113
 114         req = mbox_alloc_msg_detach_resources(dev->mbox);
 115         if (req == NULL)
 116                 return rc;
 117         switch (lf_type) {
 118         case SSO_LF_TYPE_HWS:
 119                 req->ssow = true;
 120                 break;
 121         case SSO_LF_TYPE_HWGRP:
 122                 req->sso = true;
 123                 break;
 124         default:
 125                 return SSO_ERR_PARAM;
 126         }
 127
 128         req->partial = true;
 129         if (mbox_process(dev->mbox) < 0)
 130                 return -EIO;
 131
 132         return 0;
 133 }
 134
 135 static int
 136 sso_rsrc_get(struct roc_sso *roc_sso)
 137 {
 138         struct dev *dev = &roc_sso_to_sso_priv(roc_sso)->dev;
 139         struct free_rsrcs_rsp *rsrc_cnt;
 140         int rc;
 141
 142         mbox_alloc_msg_free_rsrc_cnt(dev->mbox);
 143         rc = mbox_process_msg(dev->mbox, (void **)&rsrc_cnt);
 144         if (rc < 0) {
 145                 plt_err("Failed to get free resource count\n");
 146                 return rc;
 147         }
 148
 149         roc_sso->max_hwgrp = rsrc_cnt->sso;
 150         roc_sso->max_hws = rsrc_cnt->ssow;
 151
 152         return 0;
 153 }
 154
 155 static void
 156 sso_hws_link_modify(uint8_t hws, uintptr_t base, struct plt_bitmap *bmp,
 157                     uint16_t hwgrp[], uint16_t n, uint16_t enable)
 158 {
 159         uint64_t reg;
 160         int i, j, k;
 161
 162         i = 0;
 163         while (n) {
 164                 uint64_t mask[4] = {
 165                         0x8000,
 166                         0x8000,
 167                         0x8000,
 168                         0x8000,
 169                 };
 170
 171                 k = n % 4;
 172                 k = k ? k : 4;
 173                 for (j = 0; j < k; j++) {
 174                         mask[j] = hwgrp[i + j] | enable << 14;
 175                         enable ? plt_bitmap_set(bmp, hwgrp[i + j]) :
 176                                  plt_bitmap_clear(bmp, hwgrp[i + j]);
 177                         plt_sso_dbg("HWS %d Linked to HWGRP %d", hws,
 178                                     hwgrp[i + j]);
 179                 }
 180
 181                 n -= j;
 182                 i += j;
 183                 reg = mask[0] | mask[1] << 16 | mask[2] << 32 | mask[3] << 48;
 184                 plt_write64(reg, base + SSOW_LF_GWS_GRPMSK_CHG);
 185         }
 186 }
 187
 188 static int
 189 sso_msix_fill(struct roc_sso *roc_sso, uint16_t nb_hws, uint16_t nb_hwgrp)
 190 {
 191         struct sso *sso = roc_sso_to_sso_priv(roc_sso);
 192         struct msix_offset_rsp *rsp;
 193         struct dev *dev = &sso->dev;
 194         int i, rc;
 195
 196         mbox_alloc_msg_msix_offset(dev->mbox);
 197         rc = mbox_process_msg(dev->mbox, (void **)&rsp);
 198         if (rc < 0)
 199                 return rc;
 200
 201         for (i = 0; i < nb_hws; i++)
 202                 sso->hws_msix_offset[i] = rsp->ssow_msixoff[i];
 203         for (i = 0; i < nb_hwgrp; i++)
 204                 sso->hwgrp_msix_offset[i] = rsp->sso_msixoff[i];
 205
 206         return 0;
 207 }
 208
 209 /* Public Functions. */
 210 uintptr_t
 211 roc_sso_hws_base_get(struct roc_sso *roc_sso, uint8_t hws)
 212 {
 213         struct dev *dev = &roc_sso_to_sso_priv(roc_sso)->dev;
 214
 215         return dev->bar2 + (RVU_BLOCK_ADDR_SSOW << 20 | hws << 12);
 216 }
 217
 218 uintptr_t
 219 roc_sso_hwgrp_base_get(struct roc_sso *roc_sso, uint16_t hwgrp)
 220 {
 221         struct dev *dev = &roc_sso_to_sso_priv(roc_sso)->dev;
 222
 223         return dev->bar2 + (RVU_BLOCK_ADDR_SSO << 20 | hwgrp << 12);
 224 }
 225
 226 uint64_t
 227 roc_sso_ns_to_gw(struct roc_sso *roc_sso, uint64_t ns)
 228 {
 229         struct dev *dev = &roc_sso_to_sso_priv(roc_sso)->dev;
 230         uint64_t current_us, current_ns, new_ns;
 231         uintptr_t base;
 232
 233         base = dev->bar2 + (RVU_BLOCK_ADDR_SSOW << 20);
 234         current_us = plt_read64(base + SSOW_LF_GWS_NW_TIM);
 235         /* From HRM, table 14-19:
 236          * The SSOW_LF_GWS_NW_TIM[NW_TIM] period is specified in n-1 notation.
 237          */
 238         current_us += 1;
 239
 240         /* From HRM, table 14-1:
 241          * SSOW_LF_GWS_NW_TIM[NW_TIM] specifies the minimum timeout. The SSO
 242          * hardware times out a GET_WORK request within 2 usec of the minimum
 243          * timeout specified by SSOW_LF_GWS_NW_TIM[NW_TIM].
 244          */
 245         current_us += 2;
 246         current_ns = current_us * 1E3;
 247         new_ns = (ns - PLT_MIN(ns, current_ns));
 248         new_ns = !new_ns ? 1 : new_ns;
 249         return (new_ns * plt_tsc_hz()) / 1E9;
 250 }
 251
 252 int
 253 roc_sso_hws_link(struct roc_sso *roc_sso, uint8_t hws, uint16_t hwgrp[],
 254                  uint16_t nb_hwgrp)
 255 {
 256         struct dev *dev = &roc_sso_to_sso_priv(roc_sso)->dev;
 257         struct sso *sso;
 258         uintptr_t base;
 259
 260         sso = roc_sso_to_sso_priv(roc_sso);
 261         base = dev->bar2 + (RVU_BLOCK_ADDR_SSOW << 20 | hws << 12);
 262         sso_hws_link_modify(hws, base, sso->link_map[hws], hwgrp, nb_hwgrp, 1);
 263
 264         return nb_hwgrp;
 265 }
 266
 267 int
 268 roc_sso_hws_unlink(struct roc_sso *roc_sso, uint8_t hws, uint16_t hwgrp[],
 269                    uint16_t nb_hwgrp)
 270 {
 271         struct dev *dev = &roc_sso_to_sso_priv(roc_sso)->dev;
 272         struct sso *sso;
 273         uintptr_t base;
 274
 275         sso = roc_sso_to_sso_priv(roc_sso);
 276         base = dev->bar2 + (RVU_BLOCK_ADDR_SSOW << 20 | hws << 12);
 277         sso_hws_link_modify(hws, base, sso->link_map[hws], hwgrp, nb_hwgrp, 0);
 278
 279         return nb_hwgrp;
 280 }
 281
 282 int
 283 roc_sso_hwgrp_hws_link_status(struct roc_sso *roc_sso, uint8_t hws,
 284                               uint16_t hwgrp)
 285 {
 286         struct sso *sso;
 287
 288         sso = roc_sso_to_sso_priv(roc_sso);
 289         return plt_bitmap_get(sso->link_map[hws], hwgrp);
 290 }
 291
 292 int
 293 roc_sso_hwgrp_qos_config(struct roc_sso *roc_sso, struct roc_sso_hwgrp_qos *qos,
 294                          uint8_t nb_qos, uint32_t nb_xaq)
 295 {
 296         struct dev *dev = &roc_sso_to_sso_priv(roc_sso)->dev;
 297         struct sso_grp_qos_cfg *req;
 298         int i, rc;
 299
 300         for (i = 0; i < nb_qos; i++) {
 301                 uint8_t xaq_prcnt = qos[i].xaq_prcnt;
 302                 uint8_t iaq_prcnt = qos[i].iaq_prcnt;
 303                 uint8_t taq_prcnt = qos[i].taq_prcnt;
 304
 305                 req = mbox_alloc_msg_sso_grp_qos_config(dev->mbox);
 306                 if (req == NULL) {
 307                         rc = mbox_process(dev->mbox);
 308                         if (rc < 0)
 309                                 return rc;
 310                         req = mbox_alloc_msg_sso_grp_qos_config(dev->mbox);
 311                         if (req == NULL)
 312                                 return -ENOSPC;
 313                 }
 314                 req->grp = qos[i].hwgrp;
 315                 req->xaq_limit = (nb_xaq * (xaq_prcnt ? xaq_prcnt : 100)) / 100;
 316                 req->taq_thr = (SSO_HWGRP_IAQ_MAX_THR_MASK *
 317                                 (iaq_prcnt ? iaq_prcnt : 100)) /
 318                                100;
 319                 req->iaq_thr = (SSO_HWGRP_TAQ_MAX_THR_MASK *
 320                                 (taq_prcnt ? taq_prcnt : 100)) /
 321                                100;
 322         }
 323
 324         return mbox_process(dev->mbox);
 325 }
 326
 327 int
 328 roc_sso_hwgrp_alloc_xaq(struct roc_sso *roc_sso, uint32_t npa_aura_id,
 329                         uint16_t hwgrps)
 330 {
 331         struct dev *dev = &roc_sso_to_sso_priv(roc_sso)->dev;
 332         struct sso_hw_setconfig *req;
 333         int rc = -ENOSPC;
 334
 335         req = mbox_alloc_msg_sso_hw_setconfig(dev->mbox);
 336         if (req == NULL)
 337                 return rc;
 338         req->npa_pf_func = idev_npa_pffunc_get();
 339         req->npa_aura_id = npa_aura_id;
 340         req->hwgrps = hwgrps;
 341
 342         return mbox_process(dev->mbox);
 343 }
 344
 345 int
 346 roc_sso_hwgrp_release_xaq(struct roc_sso *roc_sso, uint16_t hwgrps)
 347 {
 348         struct dev *dev = &roc_sso_to_sso_priv(roc_sso)->dev;
 349         struct sso_hw_xaq_release *req;
 350
 351         req = mbox_alloc_msg_sso_hw_release_xaq_aura(dev->mbox);
 352         if (req == NULL)
 353                 return -EINVAL;
 354         req->hwgrps = hwgrps;
 355
 356         return mbox_process(dev->mbox);
 357 }
 358
 359 int
 360 roc_sso_hwgrp_set_priority(struct roc_sso *roc_sso, uint16_t hwgrp,
 361                            uint8_t weight, uint8_t affinity, uint8_t priority)
 362 {
 363         struct dev *dev = &roc_sso_to_sso_priv(roc_sso)->dev;
 364         struct sso_grp_priority *req;
 365         int rc = -ENOSPC;
 366
 367         req = mbox_alloc_msg_sso_grp_set_priority(dev->mbox);
 368         if (req == NULL)
 369                 return rc;
 370         req->grp = hwgrp;
 371         req->weight = weight;
 372         req->affinity = affinity;
 373         req->priority = priority;
 374
 375         rc = mbox_process(dev->mbox);
 376         if (rc < 0)
 377                 return rc;
 378         plt_sso_dbg("HWGRP %d weight %d affinity %d priority %d", hwgrp, weight,
 379                     affinity, priority);
 380
 381         return 0;
 382 }
 383
 384 int
 385 roc_sso_rsrc_init(struct roc_sso *roc_sso, uint8_t nb_hws, uint16_t nb_hwgrp)
 386 {
 387         struct sso *sso = roc_sso_to_sso_priv(roc_sso);
 388         struct sso_lf_alloc_rsp *rsp_hwgrp;
 389         int rc;
 390
 391         if (roc_sso->max_hwgrp < nb_hwgrp)
 392                 return -ENOENT;
 393         if (roc_sso->max_hws < nb_hws)
 394                 return -ENOENT;
 395
 396         rc = sso_rsrc_attach(roc_sso, SSO_LF_TYPE_HWS, nb_hws);
 397         if (rc < 0) {
 398                 plt_err("Unable to attach SSO HWS LFs");
 399                 return rc;
 400         }
 401
 402         rc = sso_rsrc_attach(roc_sso, SSO_LF_TYPE_HWGRP, nb_hwgrp);
 403         if (rc < 0) {
 404                 plt_err("Unable to attach SSO HWGRP LFs");
 405                 goto hwgrp_atch_fail;
 406         }
 407
 408         rc = sso_lf_alloc(roc_sso, SSO_LF_TYPE_HWS, nb_hws, NULL);
 409         if (rc < 0) {
 410                 plt_err("Unable to alloc SSO HWS LFs");
 411                 goto hws_alloc_fail;
 412         }
 413
 414         rc = sso_lf_alloc(roc_sso, SSO_LF_TYPE_HWGRP, nb_hwgrp,
 415                           (void **)&rsp_hwgrp);
 416         if (rc < 0) {
 417                 plt_err("Unable to alloc SSO HWGRP Lfs");
 418                 goto hwgrp_alloc_fail;
 419         }
 420
 421         roc_sso->xaq_buf_size = rsp_hwgrp->xaq_buf_size;
 422         roc_sso->xae_waes = rsp_hwgrp->xaq_wq_entries;
 423         roc_sso->iue = rsp_hwgrp->in_unit_entries;
 424
 425         rc = sso_msix_fill(roc_sso, nb_hws, nb_hwgrp);
 426         if (rc < 0) {
 427                 plt_err("Unable to get MSIX offsets for SSO LFs");
 428                 goto sso_msix_fail;
 429         }
 430
 431         rc = sso_register_irqs_priv(roc_sso, &sso->pci_dev->intr_handle, nb_hws,
 432                                     nb_hwgrp);
 433         if (rc < 0) {
 434                 plt_err("Failed to register SSO LF IRQs");
 435                 goto sso_msix_fail;
 436         }
 437
 438         roc_sso->nb_hwgrp = nb_hwgrp;
 439         roc_sso->nb_hws = nb_hws;
 440
 441         return 0;
 442 sso_msix_fail:
 443         sso_lf_free(roc_sso, SSO_LF_TYPE_HWGRP, nb_hwgrp);
 444 hwgrp_alloc_fail:
 445         sso_lf_free(roc_sso, SSO_LF_TYPE_HWS, nb_hws);
 446 hws_alloc_fail:
 447         sso_rsrc_detach(roc_sso, SSO_LF_TYPE_HWGRP);
 448 hwgrp_atch_fail:
 449         sso_rsrc_detach(roc_sso, SSO_LF_TYPE_HWS);
 450         return rc;
 451 }
 452
 453 void
 454 roc_sso_rsrc_fini(struct roc_sso *roc_sso)
 455 {
 456         struct sso *sso = roc_sso_to_sso_priv(roc_sso);
 457
 458         if (!roc_sso->nb_hws && !roc_sso->nb_hwgrp)
 459                 return;
 460
 461         sso_unregister_irqs_priv(roc_sso, &sso->pci_dev->intr_handle,
 462                                  roc_sso->nb_hws, roc_sso->nb_hwgrp);
 463         sso_lf_free(roc_sso, SSO_LF_TYPE_HWS, roc_sso->nb_hws);
 464         sso_lf_free(roc_sso, SSO_LF_TYPE_HWGRP, roc_sso->nb_hwgrp);
 465
 466         sso_rsrc_detach(roc_sso, SSO_LF_TYPE_HWS);
 467         sso_rsrc_detach(roc_sso, SSO_LF_TYPE_HWGRP);
 468
 469         roc_sso->nb_hwgrp = 0;
 470         roc_sso->nb_hws = 0;
 471 }
 472
 473 int
 474 roc_sso_dev_init(struct roc_sso *roc_sso)
 475 {
 476         struct plt_pci_device *pci_dev;
 477         uint32_t link_map_sz;
 478         struct sso *sso;
 479         void *link_mem;
 480         int i, rc;
 481
 482         if (roc_sso == NULL || roc_sso->pci_dev == NULL)
 483                 return SSO_ERR_PARAM;
 484
 485         PLT_STATIC_ASSERT(sizeof(struct sso) <= ROC_SSO_MEM_SZ);
 486         sso = roc_sso_to_sso_priv(roc_sso);
 487         memset(sso, 0, sizeof(*sso));
 488         pci_dev = roc_sso->pci_dev;
 489
 490         rc = dev_init(&sso->dev, pci_dev);
 491         if (rc < 0) {
 492                 plt_err("Failed to init roc device");
 493                 goto fail;
 494         }
 495
 496         rc = sso_rsrc_get(roc_sso);
 497         if (rc < 0) {
 498                 plt_err("Failed to get SSO resources");
 499                 goto rsrc_fail;
 500         }
 501         rc = -ENOMEM;
 502
 503         sso->link_map =
 504                 plt_zmalloc(sizeof(struct plt_bitmap *) * roc_sso->max_hws, 0);
 505         if (sso->link_map == NULL) {
 506                 plt_err("Failed to allocate memory for link_map array");
 507                 goto rsrc_fail;
 508         }
 509
 510         link_map_sz = plt_bitmap_get_memory_footprint(roc_sso->max_hwgrp);
 511         sso->link_map_mem = plt_zmalloc(link_map_sz * roc_sso->max_hws, 0);
 512         if (sso->link_map_mem == NULL) {
 513                 plt_err("Failed to get link_map memory");
 514                 goto rsrc_fail;
 515         }
 516
 517         link_mem = sso->link_map_mem;
 518         for (i = 0; i < roc_sso->max_hws; i++) {
 519                 sso->link_map[i] = plt_bitmap_init(roc_sso->max_hwgrp, link_mem,
 520                                                    link_map_sz);
 521                 if (sso->link_map[i] == NULL) {
 522                         plt_err("Failed to allocate link map");
 523                         goto link_mem_free;
 524                 }
 525                 link_mem = PLT_PTR_ADD(link_mem, link_map_sz);
 526         }
 527         idev_sso_pffunc_set(sso->dev.pf_func);
 528         sso->pci_dev = pci_dev;
 529         sso->dev.drv_inited = true;
 530         roc_sso->lmt_base = sso->dev.lmt_base;
 531
 532         return 0;
 533 link_mem_free:
 534         plt_free(sso->link_map_mem);
 535 rsrc_fail:
 536         rc |= dev_fini(&sso->dev, pci_dev);
 537 fail:
 538         return rc;
 539 }
 540
 541 int
 542 roc_sso_dev_fini(struct roc_sso *roc_sso)
 543 {
 544         struct sso *sso;
 545
 546         sso = roc_sso_to_sso_priv(roc_sso);
 547         sso->dev.drv_inited = false;
 548
 549         return dev_fini(&sso->dev, sso->pci_dev);
 550 }