net/ice/base: fix null pointer dereferences for parser
[dpdk.git] / drivers / net / bnxt / hsi_struct_def_dpdk.h
index 7cb93b7..4d7efb1 100644 (file)
@@ -1,5 +1,5 @@
 /* SPDX-License-Identifier: BSD-3-Clause
- * Copyright (c) 2014-2020 Broadcom Inc.
+ * Copyright (c) 2014-2021 Broadcom Inc.
  * All rights reserved.
  *
  * DO NOT MODIFY!!! This file is automatically generated.
@@ -269,6 +269,7 @@ struct cmd_nums {
         */
        uint16_t        req_type;
        #define HWRM_VER_GET                              UINT32_C(0x0)
+       #define HWRM_FUNC_ECHO_RESPONSE                   UINT32_C(0xb)
        #define HWRM_ERROR_RECOVERY_QCFG                  UINT32_C(0xc)
        #define HWRM_FUNC_DRV_IF_CHANGE                   UINT32_C(0xd)
        #define HWRM_FUNC_BUF_UNRGTR                      UINT32_C(0xe)
@@ -336,6 +337,8 @@ struct cmd_nums {
        #define HWRM_VNIC_PLCMODES_CFG                    UINT32_C(0x48)
        #define HWRM_VNIC_PLCMODES_QCFG                   UINT32_C(0x49)
        #define HWRM_VNIC_QCAPS                           UINT32_C(0x4a)
+       /* Updates specific fields in RX VNIC structure */
+       #define HWRM_VNIC_UPDATE                          UINT32_C(0x4b)
        #define HWRM_RING_ALLOC                           UINT32_C(0x50)
        #define HWRM_RING_FREE                            UINT32_C(0x51)
        #define HWRM_RING_CMPL_RING_QAGGINT_PARAMS        UINT32_C(0x52)
@@ -358,6 +361,11 @@ struct cmd_nums {
        #define HWRM_QUEUE_MPLS_QCAPS                     UINT32_C(0x80)
        #define HWRM_QUEUE_MPLSTC2PRI_QCFG                UINT32_C(0x81)
        #define HWRM_QUEUE_MPLSTC2PRI_CFG                 UINT32_C(0x82)
+       #define HWRM_QUEUE_VLANPRI_QCAPS                  UINT32_C(0x83)
+       #define HWRM_QUEUE_VLANPRI2PRI_QCFG               UINT32_C(0x84)
+       #define HWRM_QUEUE_VLANPRI2PRI_CFG                UINT32_C(0x85)
+       #define HWRM_QUEUE_GLOBAL_CFG                     UINT32_C(0x86)
+       #define HWRM_QUEUE_GLOBAL_QCFG                    UINT32_C(0x87)
        #define HWRM_CFA_L2_FILTER_ALLOC                  UINT32_C(0x90)
        #define HWRM_CFA_L2_FILTER_FREE                   UINT32_C(0x91)
        #define HWRM_CFA_L2_FILTER_CFG                    UINT32_C(0x92)
@@ -392,7 +400,13 @@ struct cmd_nums {
        #define HWRM_PORT_PHY_MDIO_BUS_ACQUIRE            UINT32_C(0xb7)
        #define HWRM_PORT_PHY_MDIO_BUS_RELEASE            UINT32_C(0xb8)
        #define HWRM_PORT_QSTATS_EXT_PFC_WD               UINT32_C(0xb9)
-       #define HWRM_PORT_ECN_QSTATS                      UINT32_C(0xba)
+       /* Reserved. */
+       #define HWRM_RESERVED7                            UINT32_C(0xba)
+       #define HWRM_PORT_TX_FIR_CFG                      UINT32_C(0xbb)
+       #define HWRM_PORT_TX_FIR_QCFG                     UINT32_C(0xbc)
+       #define HWRM_PORT_ECN_QSTATS                      UINT32_C(0xbd)
+       #define HWRM_FW_LIVEPATCH_QUERY                   UINT32_C(0xbe)
+       #define HWRM_FW_LIVEPATCH                         UINT32_C(0xbf)
        #define HWRM_FW_RESET                             UINT32_C(0xc0)
        #define HWRM_FW_QSTATUS                           UINT32_C(0xc1)
        #define HWRM_FW_HEALTH_CHECK                      UINT32_C(0xc2)
@@ -426,6 +440,8 @@ struct cmd_nums {
        #define HWRM_FW_STATE_UNQUIESCE                   UINT32_C(0xd8)
        /* Tells the fw to collect dsc dump on a given port and lane. */
        #define HWRM_PORT_DSC_DUMP                        UINT32_C(0xd9)
+       #define HWRM_PORT_EP_TX_QCFG                      UINT32_C(0xda)
+       #define HWRM_PORT_EP_TX_CFG                       UINT32_C(0xdb)
        #define HWRM_TEMP_MONITOR_QUERY                   UINT32_C(0xe0)
        #define HWRM_REG_POWER_QUERY                      UINT32_C(0xe1)
        #define HWRM_CORE_FREQUENCY_QUERY                 UINT32_C(0xe2)
@@ -523,6 +539,10 @@ struct cmd_nums {
        #define HWRM_CFA_ADV_FLOW_MGNT_QCAPS              UINT32_C(0x124)
        /* Experimental - DEPRECATED */
        #define HWRM_CFA_TFLIB                            UINT32_C(0x125)
+       /* Experimental */
+       #define HWRM_CFA_LAG_GROUP_MEMBER_RGTR            UINT32_C(0x126)
+       /* Experimental */
+       #define HWRM_CFA_LAG_GROUP_MEMBER_UNRGTR          UINT32_C(0x127)
        /* Engine CKV - Get the current allocation status of keys provisioned in the key vault. */
        #define HWRM_ENGINE_CKV_STATUS                    UINT32_C(0x12e)
        /* Engine CKV - Add a new CKEK used to encrypt keys. */
@@ -621,6 +641,22 @@ struct cmd_nums {
        #define HWRM_FUNC_QSTATS_EXT                      UINT32_C(0x198)
        /* Queries extended statistics context */
        #define HWRM_STAT_EXT_CTX_QUERY                   UINT32_C(0x199)
+       /* Configure SoC packet DMA settings */
+       #define HWRM_FUNC_SPD_CFG                         UINT32_C(0x19a)
+       /* Query SoC packet DMA settings */
+       #define HWRM_FUNC_SPD_QCFG                        UINT32_C(0x19b)
+       /* PTP - Queries configuration of timesync IO pins. */
+       #define HWRM_FUNC_PTP_PIN_QCFG                    UINT32_C(0x19c)
+       /* PTP - Configuration of timesync IO pins. */
+       #define HWRM_FUNC_PTP_PIN_CFG                     UINT32_C(0x19d)
+       /* PTP - Configuration for disciplining PHC. */
+       #define HWRM_FUNC_PTP_CFG                         UINT32_C(0x19e)
+       /* PTP - Queries for PHC timestamps. */
+       #define HWRM_FUNC_PTP_TS_QUERY                    UINT32_C(0x19f)
+       /* PTP - Extended PTP configuration. */
+       #define HWRM_FUNC_PTP_EXT_CFG                     UINT32_C(0x1a0)
+       /* PTP - Query extended PTP configuration. */
+       #define HWRM_FUNC_PTP_EXT_QCFG                    UINT32_C(0x1a1)
        /* Experimental */
        #define HWRM_SELFTEST_QLIST                       UINT32_C(0x200)
        /* Experimental */
@@ -648,6 +684,36 @@ struct cmd_nums {
        #define HWRM_MFG_FRU_EEPROM_WRITE                 UINT32_C(0x20a)
        /* Tells the fw to read the fru memory */
        #define HWRM_MFG_FRU_EEPROM_READ                  UINT32_C(0x20b)
+       /* Used to provision SoC software images */
+       #define HWRM_MFG_SOC_IMAGE                        UINT32_C(0x20c)
+       /* Retrieves the SoC status and image provisioning information */
+       #define HWRM_MFG_SOC_QSTATUS                      UINT32_C(0x20d)
+       /* Tells the fw to program the seeprom memory */
+       #define HWRM_MFG_PARAM_SEEPROM_SYNC               UINT32_C(0x20e)
+       /* Tells the fw to read the seeprom memory */
+       #define HWRM_MFG_PARAM_SEEPROM_READ               UINT32_C(0x20f)
+       /* Tells the fw to get the health of seeprom data */
+       #define HWRM_MFG_PARAM_SEEPROM_HEALTH             UINT32_C(0x210)
+       /*
+        * The command is used for certificate provisioning to export a
+        * Certificate Signing Request (CSR) from the device.
+        */
+       #define HWRM_MFG_PRVSN_EXPORT_CSR                 UINT32_C(0x211)
+       /*
+        * The command is used for certificate provisioning to import a
+        * CA-signed certificate chain to the device.
+        */
+       #define HWRM_MFG_PRVSN_IMPORT_CERT                UINT32_C(0x212)
+       /*
+        * The command is used for certificate provisioning to query the
+        * provisioned state.
+        */
+       #define HWRM_MFG_PRVSN_GET_STATE                  UINT32_C(0x213)
+       /*
+        * The command is used to get the hash of the NVM configuration that is
+        * calculated during firmware boot.
+        */
+       #define HWRM_MFG_GET_NVM_MEASUREMENT              UINT32_C(0x214)
        /* Experimental */
        #define HWRM_TF                                   UINT32_C(0x2bc)
        /* Experimental */
@@ -673,10 +739,18 @@ struct cmd_nums {
        /* Experimental */
        #define HWRM_TF_SESSION_RESC_FLUSH                UINT32_C(0x2cf)
        /* Experimental */
+       #define HWRM_TF_SESSION_RESC_INFO                 UINT32_C(0x2d0)
+       /* Experimental */
        #define HWRM_TF_TBL_TYPE_GET                      UINT32_C(0x2da)
        /* Experimental */
        #define HWRM_TF_TBL_TYPE_SET                      UINT32_C(0x2db)
        /* Experimental */
+       #define HWRM_TF_TBL_TYPE_BULK_GET                 UINT32_C(0x2dc)
+       /* Experimental */
+       #define HWRM_TF_CTXT_MEM_ALLOC                    UINT32_C(0x2e2)
+       /* Experimental */
+       #define HWRM_TF_CTXT_MEM_FREE                     UINT32_C(0x2e3)
+       /* Experimental */
        #define HWRM_TF_CTXT_MEM_RGTR                     UINT32_C(0x2e4)
        /* Experimental */
        #define HWRM_TF_CTXT_MEM_UNRGTR                   UINT32_C(0x2e5)
@@ -693,6 +767,10 @@ struct cmd_nums {
        /* Experimental */
        #define HWRM_TF_EM_DELETE                         UINT32_C(0x2eb)
        /* Experimental */
+       #define HWRM_TF_EM_HASH_INSERT                    UINT32_C(0x2ec)
+       /* Experimental */
+       #define HWRM_TF_EM_MOVE                           UINT32_C(0x2ed)
+       /* Experimental */
        #define HWRM_TF_TCAM_SET                          UINT32_C(0x2f8)
        /* Experimental */
        #define HWRM_TF_TCAM_GET                          UINT32_C(0x2f9)
@@ -747,6 +825,25 @@ struct cmd_nums {
        #define HWRM_DBG_QCFG                             UINT32_C(0xff21)
        /* Set destination parameters for crashdump medium */
        #define HWRM_DBG_CRASHDUMP_MEDIUM_CFG             UINT32_C(0xff22)
+       /* Experimental */
+       #define HWRM_DBG_USEQ_ALLOC                       UINT32_C(0xff23)
+       /* Experimental */
+       #define HWRM_DBG_USEQ_FREE                        UINT32_C(0xff24)
+       /* Experimental */
+       #define HWRM_DBG_USEQ_FLUSH                       UINT32_C(0xff25)
+       /* Experimental */
+       #define HWRM_DBG_USEQ_QCAPS                       UINT32_C(0xff26)
+       /* Experimental */
+       #define HWRM_DBG_USEQ_CW_CFG                      UINT32_C(0xff27)
+       /* Experimental */
+       #define HWRM_DBG_USEQ_SCHED_CFG                   UINT32_C(0xff28)
+       /* Experimental */
+       #define HWRM_DBG_USEQ_RUN                         UINT32_C(0xff29)
+       /* Experimental */
+       #define HWRM_DBG_USEQ_DELIVERY_REQ                UINT32_C(0xff2a)
+       /* Experimental */
+       #define HWRM_DBG_USEQ_RESP_HDR                    UINT32_C(0xff2b)
+       #define HWRM_NVM_DEFRAG                           UINT32_C(0xffec)
        #define HWRM_NVM_REQ_ARBITRATION                  UINT32_C(0xffed)
        /* Experimental */
        #define HWRM_NVM_FACTORY_DEFAULTS                 UINT32_C(0xffee)
@@ -860,6 +957,18 @@ struct ret_codes {
         * may try again later.
         */
        #define HWRM_ERR_CODE_BUSY                         UINT32_C(0x10)
+       /*
+        * This error code is reported by Firmware when an operation requested
+        * by the host is not allowed due to a secure lock violation.
+        */
+       #define HWRM_ERR_CODE_RESOURCE_LOCKED              UINT32_C(0x11)
+       /*
+        * This error code is reported by Firmware when an operation requested
+        * by a VF cannot be forwarded to the parent PF as required, either
+        * because the PF is down or otherwise doesn't have an appropriate
+        * async completion ring or associated forwarding buffers configured.
+        */
+       #define HWRM_ERR_CODE_PF_UNAVAILABLE               UINT32_C(0x12)
        /*
         * This value indicates that the HWRM response is in TLV format and
         * should be interpreted as one or more TLVs starting with the
@@ -945,10 +1054,10 @@ struct hwrm_err_output {
 #define HWRM_TARGET_ID_TOOLS 0xFFFD
 #define HWRM_VERSION_MAJOR 1
 #define HWRM_VERSION_MINOR 10
-#define HWRM_VERSION_UPDATE 1
+#define HWRM_VERSION_UPDATE 2
 /* non-zero means beta version */
-#define HWRM_VERSION_RSVD 56
-#define HWRM_VERSION_STR "1.10.1.56"
+#define HWRM_VERSION_RSVD 44
+#define HWRM_VERSION_STR "1.10.2.44"
 
 /****************
  * hwrm_ver_get *
@@ -1335,18 +1444,34 @@ struct hwrm_ver_get_output {
         * If set to 1, it will indicate to host drivers that firmware is
         * not ready to start full blown HWRM commands. Host drivers should
         * re-try HWRM_VER_GET with some timeout period. The timeout period
-        * can be selected up to 5 seconds.
+        * can be selected up to 5 seconds. Host drivers should also check
+        * for dev_not_rdy_backing_store to identify if flag is set due to
+        * backing store not been available.
         * For Example, PCIe hot-plug:
         *     Hot plug timing is system dependent. It generally takes up to
         *     600 miliseconds for firmware to clear DEV_NOT_RDY flag.
         * If set to 0, device is ready to accept all HWRM commands.
         */
-       #define HWRM_VER_GET_OUTPUT_FLAGS_DEV_NOT_RDY       UINT32_C(0x1)
+       #define HWRM_VER_GET_OUTPUT_FLAGS_DEV_NOT_RDY \
+               UINT32_C(0x1)
        /*
         * If set to 1, external version present.
         * If set to 0, external version not present.
         */
-       #define HWRM_VER_GET_OUTPUT_FLAGS_EXT_VER_AVAIL     UINT32_C(0x2)
+       #define HWRM_VER_GET_OUTPUT_FLAGS_EXT_VER_AVAIL \
+               UINT32_C(0x2)
+       /*
+        * Firmware sets this flag along with dev_not_rdy flag to indicate
+        * host drivers that it has not completed resource initialization
+        * required for data path operations. Host drivers should not send
+        * any HWRM command that requires data path resources. Firmware will
+        * fail those commands with HWRM_ERR_CODE_BUSY. Host drivers can retry
+        * those commands once both the flags are cleared.
+        * If this flag and dev_not_rdy flag are set to 0, device is ready
+        * to accept all HWRM commands.
+        */
+       #define HWRM_VER_GET_OUTPUT_FLAGS_DEV_NOT_RDY_BACKING_STORE \
+               UINT32_C(0x4)
        uint8_t unused_0[2];
        /*
         * For backward compatibility this field must be set to 1.
@@ -1488,7 +1613,18 @@ struct hwrm_ver_get_output {
         * used with the short cmd request format.
         */
        uint16_t        max_ext_req_len;
-       uint8_t unused_1[5];
+       /*
+        * This field returns the maximum request timeout value in seconds.
+        * For backward compatibility, a value of zero should be interpreted
+        * as the default value of 40 seconds. Drivers should always honor the
+        * maximum timeout, but are permitted to warn if a longer duration than
+        * this default is advertised. Values larger than 40 seconds should
+        * only be used as a stopgap measure to address a device limitation or
+        * for the purposes of test and debugging. The long term goal is for
+        * firmware to significantly reduce this value in the passage of time.
+        */
+       uint16_t        max_req_timeout;
+       uint8_t unused_1[3];
        /*
         * This field is used in Output records to indicate that the output
         * is completely written to RAM.  This field should be read as '1'
@@ -1499,6 +1635,657 @@ struct hwrm_ver_get_output {
        uint8_t valid;
 } __rte_packed;
 
+/* cfa_bds_read_cmd_data_msg (size:128b/16B) */
+struct cfa_bds_read_cmd_data_msg {
+       /* This value selects the format for the mid-path command for the CFA. */
+       uint8_t opcode;
+       /*
+        * This is read command. From 32 to 128B can be read from a table
+        * using this command.
+        */
+       #define CFA_BDS_READ_CMD_DATA_MSG_OPCODE_READ UINT32_C(0x0)
+       #define CFA_BDS_READ_CMD_DATA_MSG_OPCODE_LAST \
+               CFA_BDS_READ_CMD_DATA_MSG_OPCODE_READ
+       /* This value selects the table type to be acted upon. */
+       uint8_t table_type;
+       /* This value selects the table type to be acted upon. */
+       #define CFA_BDS_READ_CMD_DATA_MSG_TABLE_TYPE_MASK  UINT32_C(0xf)
+       #define CFA_BDS_READ_CMD_DATA_MSG_TABLE_TYPE_SFT   0
+       /* This command acts on the action table of the specified scope. */
+       #define CFA_BDS_READ_CMD_DATA_MSG_TABLE_TYPE_ACTION  UINT32_C(0x0)
+       /* This command acts on the exact match table of the specified scope. */
+       #define CFA_BDS_READ_CMD_DATA_MSG_TABLE_TYPE_EM      UINT32_C(0x1)
+       #define CFA_BDS_READ_CMD_DATA_MSG_TABLE_TYPE_LAST \
+               CFA_BDS_READ_CMD_DATA_MSG_TABLE_TYPE_EM
+       /* This value selects which table scope will be accessed. */
+       uint8_t table_scope;
+       #define CFA_BDS_READ_CMD_DATA_MSG_TABLE_SCOPE_MASK UINT32_C(0x1f)
+       #define CFA_BDS_READ_CMD_DATA_MSG_TABLE_SCOPE_SFT 0
+       /*
+        * This value identifies the number of 32B units will be accessed. A
+        * value of zero is invalid. Maximum value is 4.
+        */
+       uint8_t data_size;
+       #define CFA_BDS_READ_CMD_DATA_MSG_DATA_SIZE_MASK UINT32_C(0x7)
+       #define CFA_BDS_READ_CMD_DATA_MSG_DATA_SIZE_SFT 0
+       /* This is the 32B index into the selected table to access. */
+       uint32_t        table_index;
+       #define CFA_BDS_READ_CMD_DATA_MSG_TABLE_INDEX_MASK UINT32_C(0x3ffffff)
+       #define CFA_BDS_READ_CMD_DATA_MSG_TABLE_INDEX_SFT 0
+       /*
+        * This is the 64b host address where you want the data returned to. The
+        * data will be written to the same function as the one that owns the SQ
+        * this command is read from. The bottom two bits of this value must be
+        * zero. The size of the write is controlled by the data_size field.
+        */
+       uint64_t        host_address;
+} __rte_packed;
+
+/* cfa_bds_write_cmd_data_msg (size:1152b/144B) */
+struct cfa_bds_write_cmd_data_msg {
+       /* This value selects the format for the mid-path command for the CFA. */
+       uint8_t opcode;
+       /*
+        * This is write command. From 32 to 128B can be written to a table
+        * using this command.
+        */
+       #define CFA_BDS_WRITE_CMD_DATA_MSG_OPCODE_WRITE UINT32_C(0x1)
+       #define CFA_BDS_WRITE_CMD_DATA_MSG_OPCODE_LAST \
+               CFA_BDS_WRITE_CMD_DATA_MSG_OPCODE_WRITE
+       /* This value selects the table type to be acted upon. */
+       uint8_t write_thru_table_type;
+       /* This value selects the table type to be acted upon. */
+       #define CFA_BDS_WRITE_CMD_DATA_MSG_TABLE_TYPE_MASK  UINT32_C(0xf)
+       #define CFA_BDS_WRITE_CMD_DATA_MSG_TABLE_TYPE_SFT   0
+       /* This command acts on the action table of the specified scope. */
+       #define CFA_BDS_WRITE_CMD_DATA_MSG_TABLE_TYPE_ACTION  UINT32_C(0x0)
+       /* This command acts on the exact match table of the specified scope. */
+       #define CFA_BDS_WRITE_CMD_DATA_MSG_TABLE_TYPE_EM      UINT32_C(0x1)
+       #define CFA_BDS_WRITE_CMD_DATA_MSG_TABLE_TYPE_LAST \
+               CFA_BDS_WRITE_CMD_DATA_MSG_TABLE_TYPE_EM
+       /*
+        * Indicates write-through control. Indicates write-through when set,
+        * or write back when cleared.
+        */
+       #define CFA_BDS_WRITE_CMD_DATA_MSG_WRITE_THRU       UINT32_C(0x10)
+       /* This value selects which table scope will be accessed. */
+       uint8_t table_scope;
+       #define CFA_BDS_WRITE_CMD_DATA_MSG_TABLE_SCOPE_MASK UINT32_C(0x1f)
+       #define CFA_BDS_WRITE_CMD_DATA_MSG_TABLE_SCOPE_SFT 0
+       /*
+        * This value identifies the number of 32B units will be accessed. A
+        * value of zero is invalid. Maximum value is 4.
+        */
+       uint8_t data_size;
+       #define CFA_BDS_WRITE_CMD_DATA_MSG_DATA_SIZE_MASK UINT32_C(0x7)
+       #define CFA_BDS_WRITE_CMD_DATA_MSG_DATA_SIZE_SFT 0
+       /* This is the 32B index into the selected table to access. */
+       uint32_t        table_index;
+       #define CFA_BDS_WRITE_CMD_DATA_MSG_TABLE_INDEX_MASK UINT32_C(0x3ffffff)
+       #define CFA_BDS_WRITE_CMD_DATA_MSG_TABLE_INDEX_SFT 0
+       uint32_t        unused0;
+       uint32_t        unused1;
+       /*
+        * This is the data to be written. Data length is determined by the
+        * data_size field. The bd_cnt in the encapsulating BD must also be set
+        * correctly to ensure that the BD is processed correctly and the full
+        * WRITE_CMD message is extracted from the BD.
+        */
+       uint32_t        dta[32];
+} __rte_packed;
+
+/* cfa_bds_read_clr_cmd_data_msg (size:256b/32B) */
+struct cfa_bds_read_clr_cmd_data_msg {
+       /* This value selects the format for the mid-path command for the CFA. */
+       uint8_t opcode;
+       /*
+        * This is read-clear command. 32B can be read from a table and
+        * a 16b mask can be used to clear specific 16b units after the
+        * read as an atomic operation.
+        */
+       #define CFA_BDS_READ_CLR_CMD_DATA_MSG_OPCODE_READ_CLR UINT32_C(0x2)
+       #define CFA_BDS_READ_CLR_CMD_DATA_MSG_OPCODE_LAST \
+               CFA_BDS_READ_CLR_CMD_DATA_MSG_OPCODE_READ_CLR
+       /* This value selects the table type to be acted upon. */
+       uint8_t table_type;
+       /* This value selects the table type to be acted upon. */
+       #define CFA_BDS_READ_CLR_CMD_DATA_MSG_TABLE_TYPE_MASK  UINT32_C(0xf)
+       #define CFA_BDS_READ_CLR_CMD_DATA_MSG_TABLE_TYPE_SFT   0
+       /* This command acts on the action table of the specified scope. */
+       #define CFA_BDS_READ_CLR_CMD_DATA_MSG_TABLE_TYPE_ACTION  UINT32_C(0x0)
+       /* This command acts on the exact match table of the specified scope. */
+       #define CFA_BDS_READ_CLR_CMD_DATA_MSG_TABLE_TYPE_EM      UINT32_C(0x1)
+       #define CFA_BDS_READ_CLR_CMD_DATA_MSG_TABLE_TYPE_LAST \
+               CFA_BDS_READ_CLR_CMD_DATA_MSG_TABLE_TYPE_EM
+       /* This value selects which table scope will be accessed. */
+       uint8_t table_scope;
+       #define CFA_BDS_READ_CLR_CMD_DATA_MSG_TABLE_SCOPE_MASK UINT32_C(0x1f)
+       #define CFA_BDS_READ_CLR_CMD_DATA_MSG_TABLE_SCOPE_SFT 0
+       /*
+        * This value identifies the number of 32B units will be accessed.
+        * Always set the value to 1.
+        */
+       uint8_t data_size;
+       #define CFA_BDS_READ_CLR_CMD_DATA_MSG_DATA_SIZE_MASK UINT32_C(0x7)
+       #define CFA_BDS_READ_CLR_CMD_DATA_MSG_DATA_SIZE_SFT 0
+       /* This is the 32B index into the selected table to access. */
+       uint32_t        table_index;
+       #define CFA_BDS_READ_CLR_CMD_DATA_MSG_TABLE_INDEX_MASK \
+               UINT32_C(0x3ffffff)
+       #define CFA_BDS_READ_CLR_CMD_DATA_MSG_TABLE_INDEX_SFT 0
+       /*
+        * This is the 64b host address where you want the data returned to. The
+        * data will be written to the same function as the one that owns the SQ
+        * this command is read from. The bottom two bits of this value must be
+        * zero. The size of the write is controlled by the data_size field.
+        */
+       uint64_t        host_address;
+       /*
+        * This is active high clear mask for the 32B of data that this command
+        * can read. Bit 0 of the field will clear bits 15:0 of the first word
+        * of data read when set to '1'.
+        */
+       uint16_t        clear_mask;
+       uint16_t        unused0[3];
+       uint16_t        unused1[4];
+} __rte_packed;
+
+/* cfa_bds_em_insert_cmd_data_msg (size:1152b/144B) */
+struct cfa_bds_em_insert_cmd_data_msg {
+       /* This value selects the format for the mid-path command for the CFA. */
+       uint8_t opcode;
+       /*
+        * An exact match table insert will be attempted into the table.
+        * If there is a free location in the bucket, the payload will
+        * be written to the bucket.
+        */
+       #define CFA_BDS_EM_INSERT_CMD_DATA_MSG_OPCODE_EM_INSERT UINT32_C(0x3)
+       #define CFA_BDS_EM_INSERT_CMD_DATA_MSG_OPCODE_LAST \
+               CFA_BDS_EM_INSERT_CMD_DATA_MSG_OPCODE_EM_INSERT
+       /*
+        * Indicates write-through control. Indicates write-through when set,
+        * or write back when cleared.
+        */
+       uint8_t write_thru;
+       #define CFA_BDS_EM_INSERT_CMD_DATA_MSG_UNUSED_MASK    UINT32_C(0xf)
+       #define CFA_BDS_EM_INSERT_CMD_DATA_MSG_UNUSED_SFT     0
+       /*
+        * Indicates write-through control. Indicates write-through when set,
+        * or write back when cleared.
+        */
+       #define CFA_BDS_EM_INSERT_CMD_DATA_MSG_WRITE_THRU     UINT32_C(0x10)
+       /* This value selects which table scope will be accessed. */
+       uint8_t table_scope;
+       #define CFA_BDS_EM_INSERT_CMD_DATA_MSG_TABLE_SCOPE_MASK UINT32_C(0x1f)
+       #define CFA_BDS_EM_INSERT_CMD_DATA_MSG_TABLE_SCOPE_SFT 0
+       /*
+        * This value identifies the number of 32B units will be accessed. A
+        * value of zero is invalid. Maximum value is 4.
+        */
+       uint8_t data_size;
+       #define CFA_BDS_EM_INSERT_CMD_DATA_MSG_DATA_SIZE_MASK UINT32_C(0x7)
+       #define CFA_BDS_EM_INSERT_CMD_DATA_MSG_DATA_SIZE_SFT 0
+       /* This is the 32B index into the selected table to access. */
+       uint32_t        table_index;
+       #define CFA_BDS_EM_INSERT_CMD_DATA_MSG_TABLE_INDEX_MASK \
+               UINT32_C(0x3ffffff)
+       #define CFA_BDS_EM_INSERT_CMD_DATA_MSG_TABLE_INDEX_SFT 0
+       /*
+        * This is the 64b host address where you want the data returned to. The
+        * data will be written to the same function as the one that owns the SQ
+        */
+       uint64_t        host_address;
+       /*
+        * This is the Exact Match Lookup Record. Data length is determined by
+        * the data_size field. The bd_cnt in the encapsulating BD must also be
+        */
+       uint32_t        dta[32];
+} __rte_packed;
+
+/* cfa_bds_em_delete_cmd_data_msg (size:256b/32B) */
+struct cfa_bds_em_delete_cmd_data_msg {
+       /* This value selects the format for the mid-path command for the CFA. */
+       uint8_t opcode;
+       /* An exact match table delete will be attempted. */
+       #define CFA_BDS_EM_DELETE_CMD_DATA_MSG_OPCODE_EM_DELETE UINT32_C(0x4)
+       #define CFA_BDS_EM_DELETE_CMD_DATA_MSG_OPCODE_LAST \
+               CFA_BDS_EM_DELETE_CMD_DATA_MSG_OPCODE_EM_DELETE
+       /*
+        * Indicates write-through control. Indicates write-through when set,
+        * or write back when cleared.
+        */
+       uint8_t write_thru;
+       #define CFA_BDS_EM_DELETE_CMD_DATA_MSG_UNUSED_MASK    UINT32_C(0xf)
+       #define CFA_BDS_EM_DELETE_CMD_DATA_MSG_UNUSED_SFT     0
+       /*
+        * Indicates write-through control. Indicates write-through when set,
+        * or write back when cleared.
+        */
+       #define CFA_BDS_EM_DELETE_CMD_DATA_MSG_WRITE_THRU     UINT32_C(0x10)
+       /* This value selects which table scope will be accessed. */
+       uint8_t table_scope;
+       #define CFA_BDS_EM_DELETE_CMD_DATA_MSG_TABLE_SCOPE_MASK UINT32_C(0x1f)
+       #define CFA_BDS_EM_DELETE_CMD_DATA_MSG_TABLE_SCOPE_SFT 0
+       /*
+        * This value identifies the number of 32B units will be accessed. A
+        * value of zero is invalid. Maximum value is 4.
+        */
+       uint8_t data_size;
+       #define CFA_BDS_EM_DELETE_CMD_DATA_MSG_DATA_SIZE_MASK UINT32_C(0x7)
+       #define CFA_BDS_EM_DELETE_CMD_DATA_MSG_DATA_SIZE_SFT 0
+       uint32_t        unused0;
+       /*
+        * This is the 64b host address where you want the data returned to. The
+        * data will be written to the same function as the one that owns the SQ
+        */
+       uint64_t        host_address;
+       /*
+        * This is the Exact Match Lookup Record. Data length is determined by
+        * the data_size field. The bd_cnt in the encapsulating BD must also be
+        */
+       uint64_t        dta;
+       uint32_t        unused1[2];
+} __rte_packed;
+
+/* cfa_bds_invalidate_cmd_data_msg (size:128b/16B) */
+struct cfa_bds_invalidate_cmd_data_msg {
+       /* This value selects the format for the mid-path command for the CFA. */
+       uint8_t opcode;
+       /*
+        * The specified table area will be invalidated. If it is needed.
+        * again, it will be read from the backing store.
+        */
+       #define CFA_BDS_INVALIDATE_CMD_DATA_MSG_OPCODE_INVALIDATE UINT32_C(0x5)
+       #define CFA_BDS_INVALIDATE_CMD_DATA_MSG_OPCODE_LAST \
+               CFA_BDS_INVALIDATE_CMD_DATA_MSG_OPCODE_INVALIDATE
+       /* This value selects the table type to be acted upon. */
+       uint8_t table_type;
+       /* This value selects the table type to be acted upon. */
+       #define CFA_BDS_INVALIDATE_CMD_DATA_MSG_TABLE_TYPE_MASK  UINT32_C(0xf)
+       #define CFA_BDS_INVALIDATE_CMD_DATA_MSG_TABLE_TYPE_SFT   0
+       /* This command acts on the action table of the specified scope. */
+       #define CFA_BDS_INVALIDATE_CMD_DATA_MSG_TABLE_TYPE_ACTION \
+               UINT32_C(0x0)
+       /* This command acts on the exact match table of the specified scope. */
+       #define CFA_BDS_INVALIDATE_CMD_DATA_MSG_TABLE_TYPE_EM \
+               UINT32_C(0x1)
+       #define CFA_BDS_INVALIDATE_CMD_DATA_MSG_TABLE_TYPE_LAST \
+               CFA_BDS_INVALIDATE_CMD_DATA_MSG_TABLE_TYPE_EM
+       /* This value selects which table scope will be accessed. */
+       uint8_t table_scope;
+       #define CFA_BDS_INVALIDATE_CMD_DATA_MSG_TABLE_SCOPE_MASK UINT32_C(0x1f)
+       #define CFA_BDS_INVALIDATE_CMD_DATA_MSG_TABLE_SCOPE_SFT 0
+       /* This value specifies the number of cache lines to invalidate. */
+       uint8_t data_size;
+       #define CFA_BDS_INVALIDATE_CMD_DATA_MSG_DATA_SIZE_MASK UINT32_C(0x7)
+       #define CFA_BDS_INVALIDATE_CMD_DATA_MSG_DATA_SIZE_SFT 0
+       /* This is the 32B index into the selected table to access. */
+       uint32_t        table_index;
+       #define CFA_BDS_INVALIDATE_CMD_DATA_MSG_TABLE_INDEX_MASK \
+               UINT32_C(0x3ffffff)
+       #define CFA_BDS_INVALIDATE_CMD_DATA_MSG_TABLE_INDEX_SFT 0
+       uint32_t        unused[2];
+} __rte_packed;
+
+/* cfa_bds_event_collect_cmd_data_msg (size:128b/16B) */
+struct cfa_bds_event_collect_cmd_data_msg {
+       /* This value selects the format for the mid-path command for the CFA. */
+       uint8_t opcode;
+       /* Reads notification messages from the Host Notification Queue. */
+       #define CFA_BDS_EVENT_COLLECT_CMD_DATA_MSG_OPCODE_EVENT_COLLECT \
+               UINT32_C(0x6)
+       #define CFA_BDS_EVENT_COLLECT_CMD_DATA_MSG_OPCODE_LAST \
+               CFA_BDS_EVENT_COLLECT_CMD_DATA_MSG_OPCODE_EVENT_COLLECT
+       uint8_t unused0;
+       /* This value selects which table scope will be accessed. */
+       uint8_t table_scope;
+       #define CFA_BDS_EVENT_COLLECT_CMD_DATA_MSG_TABLE_SCOPE_MASK \
+               UINT32_C(0x1f)
+       #define CFA_BDS_EVENT_COLLECT_CMD_DATA_MSG_TABLE_SCOPE_SFT 0
+       /*
+        * This value identifies the number of 32B units will be accessed. A
+        * value of zero is invalid. Maximum value is 4.
+        */
+       uint8_t data_size;
+       #define CFA_BDS_EVENT_COLLECT_CMD_DATA_MSG_DATA_SIZE_MASK UINT32_C(0x7)
+       #define CFA_BDS_EVENT_COLLECT_CMD_DATA_MSG_DATA_SIZE_SFT 0
+       uint32_t        unused1;
+       /*
+        * This is the 64b host address where you want the data returned to. The
+        * data will be written to the same function as the one that owns the SQ
+        */
+       uint64_t        host_address;
+} __rte_packed;
+
+/* ce_bds_add_data_msg (size:512b/64B) */
+struct ce_bds_add_data_msg {
+       uint32_t        version_algorithm_kid_opcode;
+       /*
+        * This value selects the operation for the mid-path command for the
+        * crypto blocks.
+        */
+       #define CE_BDS_ADD_DATA_MSG_OPCODE_MASK               UINT32_C(0xf)
+       #define CE_BDS_ADD_DATA_MSG_OPCODE_SFT                0
+       /*
+        * This is the add command. Using this opcode, Host Driver can add
+        * information required for kTLS processing. The information is
+        * updated in the CFCK context.
+        */
+       #define CE_BDS_ADD_DATA_MSG_OPCODE_ADD                  UINT32_C(0x1)
+       #define CE_BDS_ADD_DATA_MSG_OPCODE_LAST \
+               CE_BDS_ADD_DATA_MSG_OPCODE_ADD
+       /*
+        * This field is the Crypto Context ID. The KID is used to store
+        * information used by the associated kTLS offloaded connection.
+        */
+       #define CE_BDS_ADD_DATA_MSG_KID_MASK \
+               UINT32_C(0xfffff0)
+       #define CE_BDS_ADD_DATA_MSG_KID_SFT                   4
+       /*
+        * Currently only two algorithms are supported, AES_GCM_128 and
+        * AES_GCM_256. Additional bits for future growth.
+        */
+       #define CE_BDS_ADD_DATA_MSG_ALGORITHM_MASK \
+               UINT32_C(0xf000000)
+       #define CE_BDS_ADD_DATA_MSG_ALGORITHM_SFT             24
+       /* AES_GCM_128 Algorithm */
+       #define CE_BDS_ADD_DATA_MSG_ALGORITHM_AES_GCM_128 \
+               UINT32_C(0x1000000)
+       /* AES_GCM_256 Algorithm */
+       #define CE_BDS_ADD_DATA_MSG_ALGORITHM_AES_GCM_256 \
+               UINT32_C(0x2000000)
+       /*
+        * Version number of TLS connection. HW will provide registers that
+        * converts the 4b encoded version number to 16b of actual version
+        * number in the TLS Header. * Initialized --> By mid-path command *
+        * Updated --> Never though another mid-path command will result in an
+        * update.
+        */
+       #define CE_BDS_ADD_DATA_MSG_VERSION_MASK \
+               UINT32_C(0xf0000000)
+       #define CE_BDS_ADD_DATA_MSG_VERSION_SFT               28
+       /* TLS1.2 Version */
+       #define CE_BDS_ADD_DATA_MSG__TLS1_2 \
+               (UINT32_C(0x0) << 28)
+       /* TLS1.3 Version */
+       #define CE_BDS_ADD_DATA_MSG__TLS1_3 \
+               (UINT32_C(0x1) << 28)
+       #define CE_BDS_ADD_DATA_MSG__LAST \
+               CE_BDS_ADD_DATA_MSG__TLS1_3
+       /*
+        * Command Type in the TLS header. HW will provide registers that
+        * converts the 3b encoded command type to 8b of actual command type in
+        * the TLS Header. * Initialized --> By mid-path command * Updated -->
+        * Never though another mid-path command will result in an update
+        */
+       uint8_t cmd_type;
+       #define CE_BDS_ADD_DATA_MSG_CMD_TYPE_MASK UINT32_C(0x7)
+       #define CE_BDS_ADD_DATA_MSG_CMD_TYPE_SFT 0
+       /* Application */
+       #define CE_BDS_ADD_DATA_MSG_CMD_TYPE_APP   UINT32_C(0x0)
+       #define CE_BDS_ADD_DATA_MSG_CMD_TYPE_LAST \
+               CE_BDS_ADD_DATA_MSG_CMD_TYPE_APP
+       uint8_t unused0[3];
+       /*
+        * Salt is part of the nonce that is used as the Initial Vector (IV) in
+        * AES-GCM cipher suites. These are exchanged as part of the handshake
+        * process and is either the client_write_iv (when the client is
+        * sending) or server_write_iv (when the server is sending). In
+        * TLS1.2, 4B of Salt is concatenated with 8B of explicit_nonce to
+        * generate the 12B of IV. In TLS1.3, 8B of TLS record sequence number
+        * is zero padded to 12B and then xor'ed with the 4B of salt to generate
+        * the 12B of IV. This value is initialized by this mid-path command.
+        */
+       uint32_t        salt;
+       uint32_t        unused1;
+       /*
+        * This field keeps track of the TCP sequence number that is expected as
+        * the first byte in the next TCP packet. This field is calculated by HW
+        * using the output of the parser. The field is initialized as part of
+        * the Mid-path BD download/update of a kTLS connection. For every TCP
+        * packet processed, TCE HW will update the value to Current packet TCP
+        * sequence number + Current packet TCP Payload Length.
+        */
+       uint32_t        pkt_tcp_seq_num;
+       /*
+        * This field maintains the TCP sequence number of the first byte in the
+        * header of the active TLS record. This field is initialized as part of
+        * the Mid-path BD download/update of a kTLS connection. For every
+        * record that is processed, TCE HW copies the value from the
+        * next_tls_header_tcp_seq_num field.
+        */
+       uint32_t        tls_header_tcp_seq_num;
+       /*
+        * This is sequence number for the TLS record in a particular session.
+        * In TLS1.2, record sequence number is part of the Associated Data (AD)
+        * in the AEAD algorithm. In TLS1.3, record sequence number is part of
+        * the Initial Vector (IV). The field is initialized as part of the
+        * mid-path BD download/update of a kTLS connection. TCE HW increments
+        * the field after that for every record processed as it parses the TCP
+        * packet.
+        */
+       uint32_t        record_seq_num[2];
+       /*
+        * Key used for encrypting or decrypting TLS records. The Key is
+        * exchanged during the hand-shake protocol by the client-server and
+        * provided to HW through this mid-path BD.
+        */
+       uint32_t        session_key[8];
+} __rte_packed;
+
+/* ce_bds_delete_data_msg (size:64b/8B) */
+struct ce_bds_delete_data_msg {
+       uint32_t        kid_opcode;
+       /*
+        * This value selects the operation for the mid-path command for the
+        * crypto blocks.
+        */
+       #define CE_BDS_DELETE_DATA_MSG_OPCODE_MASK  UINT32_C(0xf)
+       #define CE_BDS_DELETE_DATA_MSG_OPCODE_SFT   0
+       /*
+        * This is the delete command. Using this opcode, the host Driver
+        * can remove a key context from the CFCK. If context is deleted
+        * and packets with the same KID come through the pipeline, the
+        * following actions are taken. For transmit packets, no crypto
+        * operation will be performed, payload will be zero'ed out. For
+        * receive packets, no crypto operation will be performed,
+        * payload will be unmodified.
+        */
+       #define CE_BDS_DELETE_DATA_MSG_OPCODE_DELETE  UINT32_C(0x2)
+       #define CE_BDS_DELETE_DATA_MSG_OPCODE_LAST \
+               CE_BDS_DELETE_DATA_MSG_OPCODE_DELETE
+       /*
+        * This field is the Crypto Context ID. The KID is used to store
+        * information used by the associated kTLS offloaded connection.
+        */
+       #define CE_BDS_DELETE_DATA_MSG_KID_MASK     UINT32_C(0xfffff0)
+       #define CE_BDS_DELETE_DATA_MSG_KID_SFT      4
+       uint32_t        unused0;
+} __rte_packed;
+
+/* ce_bds_resync_resp_ack_msg (size:128b/16B) */
+struct ce_bds_resync_resp_ack_msg {
+       uint32_t        resync_status_kid_opcode;
+       /*
+        * This value selects the operation for the mid-path command for the
+        * crypto blocks.
+        */
+       #define CE_BDS_RESYNC_RESP_ACK_MSG_OPCODE_MASK       UINT32_C(0xf)
+       #define CE_BDS_RESYNC_RESP_ACK_MSG_OPCODE_SFT        0
+       /*
+        * This command is used by the driver as a response to the resync
+        * request sent by the crypto engine.
+        */
+       #define CE_BDS_RESYNC_RESP_ACK_MSG_OPCODE_RESYNC       UINT32_C(0x3)
+       #define CE_BDS_RESYNC_RESP_ACK_MSG_OPCODE_LAST \
+               CE_BDS_RESYNC_RESP_ACK_MSG_OPCODE_RESYNC
+       /*
+        * This field is the Crypto Context ID. The KID is used to store
+        * information used by the associated kTLS offloaded connection.
+        */
+       #define CE_BDS_RESYNC_RESP_ACK_MSG_KID_MASK          UINT32_C(0xfffff0)
+       #define CE_BDS_RESYNC_RESP_ACK_MSG_KID_SFT           4
+       /*
+        * This field indicates if the resync request resulted in a success or
+        * a failure.
+        */
+       #define CE_BDS_RESYNC_RESP_ACK_MSG_RESYNC_STATUS \
+               UINT32_C(0x1000000)
+       /*
+        * An ACK indicates that the driver was able to find the TLS record
+        * associated with TCP sequence number provided by the HW
+        */
+       #define CE_BDS_RESYNC_RESP_ACK_MSG_RESYNC_STATUS_ACK \
+               (UINT32_C(0x0) << 24)
+       #define CE_BDS_RESYNC_RESP_ACK_MSG_RESYNC_STATUS_LAST \
+               CE_BDS_RESYNC_RESP_ACK_MSG_RESYNC_STATUS_ACK
+       /*
+        * This field is the echo of the TCP sequence number provided in the
+        * resync request by the HW. If HW sent multiple resync requests, it
+        * only tracks the latest TCP sequence number. When the response from
+        * the Driver doesn't match the latest request, HW will drop the resync
+        * response.
+        */
+       uint32_t        resync_record_tcp_seq_num;
+       /*
+        * This field indicates the TLS record sequence number associated with
+        * the resync request. HW will take this number and add the delta records
+        * it has found since sending the resync request, update the context and
+        * resume decrypting records.
+        */
+       uint32_t        resync_record_seq_num[2];
+} __rte_packed;
+
+/* ce_bds_resync_resp_nack_msg (size:64b/8B) */
+struct ce_bds_resync_resp_nack_msg {
+       uint32_t        resync_status_kid_opcode;
+       /*
+        * This value selects the operation for the mid-path command for the
+        * crypto blocks.
+        */
+       #define CE_BDS_RESYNC_RESP_NACK_MSG_OPCODE_MASK       UINT32_C(0xf)
+       #define CE_BDS_RESYNC_RESP_NACK_MSG_OPCODE_SFT        0
+       /*
+        * This command is used by the driver as a response to the resync
+        * request sent by the crypto engine.
+        */
+       #define CE_BDS_RESYNC_RESP_NACK_MSG_OPCODE_RESYNC       UINT32_C(0x3)
+       #define CE_BDS_RESYNC_RESP_NACK_MSG_OPCODE_LAST \
+               CE_BDS_RESYNC_RESP_NACK_MSG_OPCODE_RESYNC
+       /*
+        * This field is the Crypto Context ID. The KID is used to store
+        * information used by the associated kTLS offloaded connection.
+        */
+       #define CE_BDS_RESYNC_RESP_NACK_MSG_KID_MASK \
+               UINT32_C(0xfffff0)
+       #define CE_BDS_RESYNC_RESP_NACK_MSG_KID_SFT           4
+       /*
+        * This field indicates if the resync request resulted in a success or
+        * a failure.
+        */
+       #define CE_BDS_RESYNC_RESP_NACK_MSG_RESYNC_STATUS \
+               UINT32_C(0x1000000)
+       /*
+        * An NAK indicates that the driver wasn't able to find the TLS
+        * record associated with TCP sequence number provided by the HW
+        */
+       #define CE_BDS_RESYNC_RESP_NACK_MSG_RESYNC_STATUS_NACK \
+               (UINT32_C(0x1) << 24)
+       #define CE_BDS_RESYNC_RESP_NACK_MSG_RESYNC_STATUS_LAST \
+               CE_BDS_RESYNC_RESP_NACK_MSG_RESYNC_STATUS_NACK
+       /*
+        * This field is the echo of the TCP sequence number provided in the
+        * resync request by the HW. If HW sent multiple resync requests, it
+        * only tracks the latest TCP sequence number. When the response from
+        * the Driver doesn't match the latest request, HW will drop the resync
+        * response.
+        */
+       uint32_t        resync_record_tcp_seq_num;
+} __rte_packed;
+
+/* crypto_presync_bd_cmd (size:256b/32B) */
+struct crypto_presync_bd_cmd {
+       uint8_t flags;
+       /*
+        * Typically, presync BDs are used for packet retransmissions. Source
+        * port sends all the packets in order over the network to destination
+        * port and packets get dropped in the network. The destination port
+        * will request retranmission of dropped packets and source port driver
+        * will send presync BD to setup the transmitter appropriately. It will
+        * provide the start and end TCP sequence number of the data to be
+        * transmitted. HW keeps two sets of context variable, one for in order
+        * traffic and one for retransmission traffic. HW is designed to
+        * transmit everything posted in the presync BD and return to in order
+        * mode after that. No inorder context variables are updated in the
+        * process. There is a special case where packets can be dropped
+        * between the TCP stack and Device Driver (Berkeley Packet Filter for
+        * ex) and HW still needs to transmit rest of the traffic. In this
+        * mode, driver will send a presync BD as if it is a retransmission but
+        * at the end of the transmission, the in order variables need to be
+        * updated. This flag is used by driver to indicate that in order
+        * variables needs to be updated at the end of completing the task
+        * associated with the presync BD.
+        */
+       #define CRYPTO_PRESYNC_BD_CMD_FLAGS_UPDATE_IN_ORDER_VAR \
+               UINT32_C(0x1)
+       uint8_t unused0;
+       uint16_t        unused1;
+       /*
+        * This field maintains the TCP sequence number of the first byte in the
+        * Header of the active TLS record. This field is set to 0 during
+        * mid-path BD updates, but is set to correct value when a presync BD is
+        * detected. For every record that is processed, the value from the
+        * next_tls_header_tcp_seq_num field is copied.
+        */
+       uint32_t        header_tcp_seq_num;
+       /*
+        * When a retransmitted packet has a TLS authentication TAG present and
+        * the data spans multiple TCP Packets, HW is required to read the entire
+        * record to recalculate the TAG but only transmit what is required. This
+        * field is the start TCP sequence number of the packet(s) that need to
+        * be re-transmitted. This field is initialized to 0 during Mid-path BD
+        * add command and initialized to value provided by the driver when
+        * Pre-sync BD is detected. This field is never updated unless another
+        * Pre-sync BD signaling a new retransmission is scheduled.
+        */
+       uint32_t        start_tcp_seq_num;
+       /*
+        * When a retransmitted packet has a TLS authentication TAG present and
+        * the data spans multiple TCP Packets, HW is required to read the
+        * entire record to recalculate the TAG but only transmit what is
+        * required. This field is the end TCP sequence number of the packet(s)
+        * that need to be re-transmitted. This field is initialized to 0 during
+        * Mid-path BD add command and initialized to value provided by the
+        * driver when Pre-sync BD is detected. This field is never updated
+        * unless another Pre-sync BD signaling a new retransmission is
+        * scheduled.
+        */
+       uint32_t        end_tcp_seq_num;
+       /*
+        * For TLS1.2, an explicit nonce is used as part of the IV (concatenated
+        * with the SALT). For retans packets, this field is extracted from the
+        * TLS record, field right after the TLS Header and stored in the
+        * context. This field needs to be stored in context as TCP segmentation
+        * could have split the field into multiple TCP packets. This value is
+        * initialized to 0 when presync BD is detected by taking the value from
+        * the first TLS header. When subsequent TLS Headers are detected, the
+        * value is extracted from packet.
+        */
+       uint32_t        explicit_nonce[2];
+       /*
+        * This is sequence number for the TLS record in a particular session. In
+        * TLS1.2, record sequence number is part of the Associated Data (AD) in
+        * the AEAD algorithm. In TLS1.3, record sequence number is part of the
+        * Initial Vector (IV). The field is initialized to 0 during Mid-path BD
+        * download. Is initialized to correct value when a pre-sync BD is
+        * detected. TCE HW increments the field after that for every record
+        * processed as it parses the TCP packet. Subsequent pre-sync BDs
+        * delivering more retransmission instruction will also update this
+        * field.
+        */
+       uint32_t        record_seq_num[2];
+} __rte_packed;
+
 /* bd_base (size:64b/8B) */
 struct bd_base {
        uint8_t type;
@@ -1530,6 +2317,16 @@ struct bd_base {
         * RX Producer Assembly Buffer Descriptor.
         */
        #define BD_BASE_TYPE_RX_PROD_AGG        UINT32_C(0x6)
+       /*
+        * Indicates that this BD is used to issue a command to one of
+        * the mid-path destinations.
+        */
+       #define BD_BASE_TYPE_TX_BD_MP_CMD       UINT32_C(0x8)
+       /*
+        * Indicates that this BD is used to issue a cryptographic pre-
+        * sync command through the fast path and destined for TCE.
+        */
+       #define BD_BASE_TYPE_TX_BD_PRESYNC_CMD  UINT32_C(0x9)
        /*
         * Indicates that this BD is 32B long and is used for
         * normal L2 packet transmission.
@@ -1642,7 +2439,12 @@ struct tx_bd_short {
         * used for any data that the driver wants to associate with the
         * transmit BD.
         *
-        * This field must be valid on the first BD of a packet.
+        * This field must be valid on the first BD of a packet. If completion
+        * coalescing is enabled on the TX ring, it is suggested that the driver
+        * populate the opaque field to indicate the specific TX ring with which
+        * the completion is associated, then utilize the opaque and sq_cons_idx
+        * fields in the coalesced completion record to determine the specific
+        * packets that are to be completed on that ring.
         */
        uint32_t        opaque;
        /*
@@ -1745,11 +2547,16 @@ struct tx_bd_long {
         */
        uint16_t        len;
        /*
-        * The opaque data field is pass through to the completion and can be
+        * The opaque data field is passed through to the completion and can be
         * used for any data that the driver wants to associate with the
         * transmit BD.
         *
-        * This field must be valid on the first BD of a packet.
+        * This field must be valid on the first BD of a packet. If completion
+        * coalescing is enabled on the TX ring, it is suggested that the driver
+        * populate the opaque field to indicate the specific TX ring with which
+        * the completion is associated, then utilize the opaque and sq_cons_idx
+        * fields in the coalesced completion record to determine the specific
+        * packets that are to be completed on that ring.
         */
        uint32_t        opaque;
        /*
@@ -1802,7 +2609,7 @@ struct tx_bd_long_hi {
        #define TX_BD_LONG_LFLAGS_NOCRC              UINT32_C(0x4)
        /*
         * If set to 1, the device will record the time at which the packet
-        * was actually transmitted at the TX MAC.
+        * was actually transmitted at the TX MAC for 2-step time sync.
         *
         * This bit must be valid on the first BD of a packet.
         */
@@ -1829,9 +2636,9 @@ struct tx_bd_long_hi {
         * Send Offload) processing for both normal or encapsulated
         * packets, which is a form of TCP segmentation. When this bit
         * is 1, the hdr_size and mss fields must be valid. The driver
-        * doesn't need to set t_ip_chksum, ip_chksum, and tcp_udp_chksum
-        * flags since the controller will replace the appropriate
-        * checksum fields for segmented packets.
+        * doesn't need to set ot_ip_chksum, t_ip_chksum, ip_chksum, and
+        * tcp_udp_chksum flags since the controller will replace the
+        * appropriate checksum fields for segmented packets.
         *
         * When this bit is 1, the hdr_size and mss fields must be valid.
         */
@@ -1868,7 +2675,47 @@ struct tx_bd_long_hi {
         * packet. Packet must be a valid FCoE format packet.
         */
        #define TX_BD_LONG_LFLAGS_FCOE_CRC           UINT32_C(0x200)
-       uint16_t        hdr_size;
+       /*
+        * If set to '1', then the timestamp from the BD is used. If cleared
+        * to 0, then TWE provides the timestamp.
+        */
+       #define TX_BD_LONG_LFLAGS_BD_TS_EN           UINT32_C(0x400)
+       /*
+        * If set to '1', this operation will cause a trace capture in each
+        * block it passes through.
+        */
+       #define TX_BD_LONG_LFLAGS_DEBUG_TRACE        UINT32_C(0x800)
+       /*
+        * If set to '1', the device will record the time at which the packet
+        * was actually transmitted at the TX MAC for 1-step time sync. This
+        * bit must be valid on the first BD of a packet.
+        */
+       #define TX_BD_LONG_LFLAGS_STAMP_1STEP        UINT32_C(0x1000)
+       /*
+        * If set to '1', the controller replaces the Outer-tunnel IP checksum
+        * field with hardware calculated IP checksum for the IP header of the
+        * packet associated with this descriptor. For outer UDP checksum, it
+        * will be the following behavior for all cases independent of settings
+        * of inner LSO and checksum offload BD flags. If outer UDP checksum
+        * is 0, then do not update it. If outer UDP checksum is non zero, then
+        * the hardware should compute and update it.
+        */
+       #define TX_BD_LONG_LFLAGS_OT_IP_CHKSUM       UINT32_C(0x2000)
+       /*
+        * If set to zero when LSO is '1', then the IPID of the Outer-tunnel IP
+        * header will not be modified during LSO operations. If set to one
+        * when LSO is '1', then the IPID of the Outer-tunnel IP header will be
+        * incremented for each subsequent segment of an LSO operation. The
+        * flag is ignored if the LSO packet is a normal (non-tunneled) TCP
+        * packet.
+        */
+       #define TX_BD_LONG_LFLAGS_OT_IPID            UINT32_C(0x4000)
+       /*
+        * If set to '1', When set to 1, KTLS encryption will be enabled for
+        * the packet.
+        */
+       #define TX_BD_LONG_LFLAGS_CRYPTO_EN          UINT32_C(0x8000)
+       uint16_t        kid_or_ts_low_hdr_size;
        /*
         * When LSO is '1', this field must contain the offset of the
         * TCP payload from the beginning of the packet in as
@@ -1878,9 +2725,16 @@ struct tx_bd_long_hi {
         *
         * This value must be valid on the first BD of a packet.
         */
-       #define TX_BD_LONG_HDR_SIZE_MASK UINT32_C(0x1ff)
-       #define TX_BD_LONG_HDR_SIZE_SFT 0
-       uint32_t        mss;
+       #define TX_BD_LONG_HDR_SIZE_MASK     UINT32_C(0x1ff)
+       #define TX_BD_LONG_HDR_SIZE_SFT      0
+       /*
+        * If lflags.bd_ts_en is 1, this is the lower 7 bits of the 24-bit
+        * timestamp. If lflags.crypto_en is 1, this is the lower 7 bits of the
+        * 20-bit KID.
+        */
+       #define TX_BD_LONG_KID_OR_TS_LOW_MASK UINT32_C(0xfe00)
+       #define TX_BD_LONG_KID_OR_TS_LOW_SFT 9
+       uint32_t        kid_or_ts_high_mss;
        /*
         * This is the MSS value that will be used to do the LSO processing.
         * The value is the length in bytes of the TCP payload for each
@@ -1888,9 +2742,22 @@ struct tx_bd_long_hi {
         *
         * This value must be valid on the first BD of a packet.
         */
-       #define TX_BD_LONG_MSS_MASK UINT32_C(0x7fff)
-       #define TX_BD_LONG_MSS_SFT 0
-       uint16_t        unused2;
+       #define TX_BD_LONG_MSS_MASK           UINT32_C(0x7fff)
+       #define TX_BD_LONG_MSS_SFT            0
+       /*
+        * If lflags.bd_ts_en is 1, this is the upper 17 bits of the 24-bit
+        * timestamp. If lflags.crypto_en is 1, the least significant 13 bits
+        * of this field contain the upper 13 bits of the 20-bit KID.
+        */
+       #define TX_BD_LONG_KID_OR_TS_HIGH_MASK UINT32_C(0xffff8000)
+       #define TX_BD_LONG_KID_OR_TS_HIGH_SFT 15
+       /*
+        * This value selects bits 25:16 of the CFA action to perform on the
+        * packet. See the cfa_action field for more information.
+        */
+       uint16_t        cfa_action_high;
+       #define TX_BD_LONG_CFA_ACTION_HIGH_MASK UINT32_C(0x3ff)
+       #define TX_BD_LONG_CFA_ACTION_HIGH_SFT 0
        /*
         * This value selects a CFA action to perform on the packet.
         * Set this value to zero if no CFA action is desired.
@@ -1904,51 +2771,69 @@ struct tx_bd_long_hi {
         */
        uint32_t        cfa_meta;
        /* When key=1, This is the VLAN tag VID value. */
-       #define TX_BD_LONG_CFA_META_VLAN_VID_MASK     UINT32_C(0xfff)
-       #define TX_BD_LONG_CFA_META_VLAN_VID_SFT      0
+       #define TX_BD_LONG_CFA_META_VLAN_VID_MASK        UINT32_C(0xfff)
+       #define TX_BD_LONG_CFA_META_VLAN_VID_SFT         0
        /* When key=1, This is the VLAN tag DE value. */
-       #define TX_BD_LONG_CFA_META_VLAN_DE           UINT32_C(0x1000)
+       #define TX_BD_LONG_CFA_META_VLAN_DE              UINT32_C(0x1000)
        /* When key=1, This is the VLAN tag PRI value. */
-       #define TX_BD_LONG_CFA_META_VLAN_PRI_MASK     UINT32_C(0xe000)
-       #define TX_BD_LONG_CFA_META_VLAN_PRI_SFT      13
+       #define TX_BD_LONG_CFA_META_VLAN_PRI_MASK        UINT32_C(0xe000)
+       #define TX_BD_LONG_CFA_META_VLAN_PRI_SFT         13
        /* When key=1, This is the VLAN tag TPID select value. */
-       #define TX_BD_LONG_CFA_META_VLAN_TPID_MASK    UINT32_C(0x70000)
-       #define TX_BD_LONG_CFA_META_VLAN_TPID_SFT     16
+       #define TX_BD_LONG_CFA_META_VLAN_TPID_MASK       UINT32_C(0x70000)
+       #define TX_BD_LONG_CFA_META_VLAN_TPID_SFT        16
        /* 0x88a8 */
-       #define TX_BD_LONG_CFA_META_VLAN_TPID_TPID88A8  (UINT32_C(0x0) << 16)
+       #define TX_BD_LONG_CFA_META_VLAN_TPID_TPID88A8 \
+               (UINT32_C(0x0) << 16)
        /* 0x8100 */
-       #define TX_BD_LONG_CFA_META_VLAN_TPID_TPID8100  (UINT32_C(0x1) << 16)
+       #define TX_BD_LONG_CFA_META_VLAN_TPID_TPID8100 \
+               (UINT32_C(0x1) << 16)
        /* 0x9100 */
-       #define TX_BD_LONG_CFA_META_VLAN_TPID_TPID9100  (UINT32_C(0x2) << 16)
+       #define TX_BD_LONG_CFA_META_VLAN_TPID_TPID9100 \
+               (UINT32_C(0x2) << 16)
        /* 0x9200 */
-       #define TX_BD_LONG_CFA_META_VLAN_TPID_TPID9200  (UINT32_C(0x3) << 16)
+       #define TX_BD_LONG_CFA_META_VLAN_TPID_TPID9200 \
+               (UINT32_C(0x3) << 16)
        /* 0x9300 */
-       #define TX_BD_LONG_CFA_META_VLAN_TPID_TPID9300  (UINT32_C(0x4) << 16)
+       #define TX_BD_LONG_CFA_META_VLAN_TPID_TPID9300 \
+               (UINT32_C(0x4) << 16)
        /* Value programmed in CFA VLANTPID register. */
-       #define TX_BD_LONG_CFA_META_VLAN_TPID_TPIDCFG   (UINT32_C(0x5) << 16)
+       #define TX_BD_LONG_CFA_META_VLAN_TPID_TPIDCFG \
+               (UINT32_C(0x5) << 16)
        #define TX_BD_LONG_CFA_META_VLAN_TPID_LAST \
                TX_BD_LONG_CFA_META_VLAN_TPID_TPIDCFG
        /* When key=1, This is the VLAN tag TPID select value. */
-       #define TX_BD_LONG_CFA_META_VLAN_RESERVED_MASK UINT32_C(0xff80000)
-       #define TX_BD_LONG_CFA_META_VLAN_RESERVED_SFT 19
+       #define TX_BD_LONG_CFA_META_VLAN_RESERVED_MASK   UINT32_C(0xff80000)
+       #define TX_BD_LONG_CFA_META_VLAN_RESERVED_SFT    19
        /*
         * This field identifies the type of edit to be performed
         * on the packet.
         *
         * This value must be valid on the first BD of a packet.
         */
-       #define TX_BD_LONG_CFA_META_KEY_MASK          UINT32_C(0xf0000000)
-       #define TX_BD_LONG_CFA_META_KEY_SFT           28
+       #define TX_BD_LONG_CFA_META_KEY_MASK             UINT32_C(0xf0000000)
+       #define TX_BD_LONG_CFA_META_KEY_SFT              28
        /* No editing */
-       #define TX_BD_LONG_CFA_META_KEY_NONE            (UINT32_C(0x0) << 28)
+       #define TX_BD_LONG_CFA_META_KEY_NONE \
+               (UINT32_C(0x0) << 28)
        /*
         * - meta[17:16] - TPID select value (0 = 0x8100).
         * - meta[15:12] - PRI/DE value.
         * - meta[11:0] - VID value.
         */
-       #define TX_BD_LONG_CFA_META_KEY_VLAN_TAG        (UINT32_C(0x1) << 28)
+       #define TX_BD_LONG_CFA_META_KEY_VLAN_TAG \
+               (UINT32_C(0x1) << 28)
+       /*
+        * Provide metadata
+        * - Wh+/SR - this option is not supported.
+        * - Thor - cfa_meta[15:0] is used for metadata output if en_bd_meta
+        *   is set in the Lookup Table.
+        * - SR2 - {4’d0, cfa_meta[27:0]} is used for metadata output if
+        *   en_bd_meta is set in the Lookup Table.
+        */
+       #define TX_BD_LONG_CFA_META_KEY_METADATA_TRANSFER \
+               (UINT32_C(0x2) << 28)
        #define TX_BD_LONG_CFA_META_KEY_LAST \
-               TX_BD_LONG_CFA_META_KEY_VLAN_TAG
+               TX_BD_LONG_CFA_META_KEY_METADATA_TRANSFER
 } __rte_packed;
 
 /*
@@ -2025,7 +2910,12 @@ struct tx_bd_long_inline {
        /*
         * The opaque data field is passed through to the completion and can be
         * used for any data that the driver wants to associate with the transmit
-        * BD.
+        * BD. This field must be valid on the first BD of a packet. If
+        * completion coalescing is enabled on the TX ring, it is suggested that
+        * the driver populate the opaque field to indicate the specific TX ring
+        * with which the completion is associated, then utilize the opaque and
+        * sq_cons_idx fields in the coalesced completion record to determine
+        * the specific packets that are to be completed on that ring.
         *
         * This field must be valid on the first BD of a packet.
         */
@@ -2063,7 +2953,8 @@ struct tx_bd_long_inline {
        #define TX_BD_LONG_INLINE_LFLAGS_NOCRC              UINT32_C(0x4)
        /*
         * If set to 1, the device will record the time at which the packet
-        * was actually transmitted at the TX MAC.
+        * was actually transmitted at the TX MAC for 2-step time sync. This
+        * bit must be valid on the first BD of a packet.
         */
        #define TX_BD_LONG_INLINE_LFLAGS_STAMP              UINT32_C(0x8)
        /*
@@ -2092,9 +2983,73 @@ struct tx_bd_long_inline {
         * packet. Packet must be a valid FCoE format packet.
         */
        #define TX_BD_LONG_INLINE_LFLAGS_FCOE_CRC           UINT32_C(0x200)
-       uint16_t        unused2;
-       uint32_t        unused3;
-       uint16_t        unused4;
+       /*
+        * If set to '1', then the timestamp from the BD is used. If cleared
+        * to 0, then TWE provides the timestamp.
+        */
+       #define TX_BD_LONG_INLINE_LFLAGS_BD_TS_EN           UINT32_C(0x400)
+       /*
+        * If set to '1', this operation will cause a trace capture in each
+        * block it passes through.
+        */
+       #define TX_BD_LONG_INLINE_LFLAGS_DEBUG_TRACE        UINT32_C(0x800)
+       /*
+        * If set to '1', the device will record the time at which the packet
+        * was actually transmitted at the TX MAC for 1-step time sync. This
+        * bit must be valid on the first BD of a packet.
+        */
+       #define TX_BD_LONG_INLINE_LFLAGS_STAMP_1STEP        UINT32_C(0x1000)
+       /*
+        * If set to '1', the controller replaces the Outer-tunnel IP checksum
+        * field with hardware calculated IP checksum for the IP header of the
+        * packet associated with this descriptor. For outer UDP checksum, it
+        * will be the following behavior for all cases independent of settings
+        * of inner LSO and checksum offload BD flags. If outer UDP checksum
+        * is 0, then do not update it. If outer UDP checksum is non zero, then
+        * the hardware should compute and update it.
+        */
+       #define TX_BD_LONG_INLINE_LFLAGS_OT_IP_CHKSUM       UINT32_C(0x2000)
+       /*
+        * If set to zero when LSO is '1', then the IPID of the Outer-tunnel IP
+        * header will not be modified during LSO operations. If set to one
+        * when LSO is '1', then the IPID of the Outer-tunnel IP header will be
+        * incremented for each subsequent segment of an LSO operation. The
+        * flag is ignored if the LSO packet is a normal (non-tunneled) TCP
+        * packet.
+        */
+       #define TX_BD_LONG_INLINE_LFLAGS_OT_IPID            UINT32_C(0x4000)
+       /*
+        * If set to '1', When set to 1, KTLS encryption will be enabled for
+        * the packet.
+        */
+       #define TX_BD_LONG_INLINE_LFLAGS_CRYPTO_EN          UINT32_C(0x8000)
+       uint8_t unused2;
+       uint8_t kid_or_ts_low;
+       #define TX_BD_LONG_INLINE_UNUSED            UINT32_C(0x1)
+       /*
+        * If lflags.bd_ts_en is 1, this is the lower 7 bits of the 24-bit
+        * timestamp. If lflags.crypto_en is 1, this is the lower 7 bits of
+        * the 20-bit KID.
+        */
+       #define TX_BD_LONG_INLINE_KID_OR_TS_LOW_MASK UINT32_C(0xfe)
+       #define TX_BD_LONG_INLINE_KID_OR_TS_LOW_SFT 1
+       uint32_t        kid_or_ts_high;
+       #define TX_BD_LONG_INLINE_UNUSED_MASK        UINT32_C(0x7fff)
+       #define TX_BD_LONG_INLINE_UNUSED_SFT         0
+       /*
+        * If lflags.bd_ts_en is 1, this is the upper 17 bits of the 24-bit
+        * timestamp. If lflags.crypto_en is 1, the least significant 13 bits
+        * of this field contain the upper 13 bits of the 20-bit KID.
+        */
+       #define TX_BD_LONG_INLINE_KID_OR_TS_HIGH_MASK UINT32_C(0xffff8000)
+       #define TX_BD_LONG_INLINE_KID_OR_TS_HIGH_SFT 15
+       /*
+        * This value selects bits 25:16 of the CFA action to perform on the
+        * packet. See the cfa_action field for more information.
+        */
+       uint16_t        cfa_action_high;
+       #define TX_BD_LONG_INLINE_CFA_ACTION_HIGH_MASK UINT32_C(0x3ff)
+       #define TX_BD_LONG_INLINE_CFA_ACTION_HIGH_SFT 0
        /*
         * This value selects a CFA action to perform on the packet.
         * Set this value to zero if no CFA action is desired.
@@ -2108,16 +3063,19 @@ struct tx_bd_long_inline {
         */
        uint32_t        cfa_meta;
        /* When key = 1, this is the VLAN tag VID value. */
-       #define TX_BD_LONG_INLINE_CFA_META_VLAN_VID_MASK     UINT32_C(0xfff)
-       #define TX_BD_LONG_INLINE_CFA_META_VLAN_VID_SFT      0
+       #define TX_BD_LONG_INLINE_CFA_META_VLAN_VID_MASK        UINT32_C(0xfff)
+       #define TX_BD_LONG_INLINE_CFA_META_VLAN_VID_SFT         0
        /* When key = 1, this is the VLAN tag DE value. */
-       #define TX_BD_LONG_INLINE_CFA_META_VLAN_DE           UINT32_C(0x1000)
+       #define TX_BD_LONG_INLINE_CFA_META_VLAN_DE \
+               UINT32_C(0x1000)
        /* When key = 1, this is the VLAN tag PRI value. */
-       #define TX_BD_LONG_INLINE_CFA_META_VLAN_PRI_MASK     UINT32_C(0xe000)
-       #define TX_BD_LONG_INLINE_CFA_META_VLAN_PRI_SFT      13
+       #define TX_BD_LONG_INLINE_CFA_META_VLAN_PRI_MASK \
+               UINT32_C(0xe000)
+       #define TX_BD_LONG_INLINE_CFA_META_VLAN_PRI_SFT         13
        /* When key = 1, this is the VLAN tag TPID select value. */
-       #define TX_BD_LONG_INLINE_CFA_META_VLAN_TPID_MASK    UINT32_C(0x70000)
-       #define TX_BD_LONG_INLINE_CFA_META_VLAN_TPID_SFT     16
+       #define TX_BD_LONG_INLINE_CFA_META_VLAN_TPID_MASK \
+               UINT32_C(0x70000)
+       #define TX_BD_LONG_INLINE_CFA_META_VLAN_TPID_SFT        16
        /* 0x88a8 */
        #define TX_BD_LONG_INLINE_CFA_META_VLAN_TPID_TPID88A8 \
                (UINT32_C(0x0) << 16)
@@ -2140,7 +3098,7 @@ struct tx_bd_long_inline {
                TX_BD_LONG_INLINE_CFA_META_VLAN_TPID_TPIDCFG
        #define TX_BD_LONG_INLINE_CFA_META_VLAN_RESERVED_MASK \
                UINT32_C(0xff80000)
-       #define TX_BD_LONG_INLINE_CFA_META_VLAN_RESERVED_SFT 19
+       #define TX_BD_LONG_INLINE_CFA_META_VLAN_RESERVED_SFT    19
        /*
         * This field identifies the type of edit to be performed
         * on the packet.
@@ -2149,7 +3107,7 @@ struct tx_bd_long_inline {
         */
        #define TX_BD_LONG_INLINE_CFA_META_KEY_MASK \
                UINT32_C(0xf0000000)
-       #define TX_BD_LONG_INLINE_CFA_META_KEY_SFT           28
+       #define TX_BD_LONG_INLINE_CFA_META_KEY_SFT              28
        /* No editing */
        #define TX_BD_LONG_INLINE_CFA_META_KEY_NONE \
                (UINT32_C(0x0) << 28)
@@ -2160,8 +3118,18 @@ struct tx_bd_long_inline {
         */
        #define TX_BD_LONG_INLINE_CFA_META_KEY_VLAN_TAG \
                (UINT32_C(0x1) << 28)
+       /*
+        * Provide metadata
+        * - Wh+/SR - this option is not supported.
+        * - Thor - cfa_meta[15:0] is used for metadata output if en_bd_meta
+        *   is set in the Lookup Table.
+        * - SR2 - {4’d0, cfa_meta[27:0]} is used for metadata output if
+        *   en_bd_meta is set in the Lookup Table.
+        */
+       #define TX_BD_LONG_INLINE_CFA_META_KEY_METADATA_TRANSFER \
+               (UINT32_C(0x2) << 28)
        #define TX_BD_LONG_INLINE_CFA_META_KEY_LAST \
-               TX_BD_LONG_INLINE_CFA_META_KEY_VLAN_TAG
+               TX_BD_LONG_INLINE_CFA_META_KEY_METADATA_TRANSFER
 } __rte_packed;
 
 /* tx_bd_empty (size:128b/16B) */
@@ -2182,6 +3150,97 @@ struct tx_bd_empty {
        uint8_t unused_4[8];
 } __rte_packed;
 
+/* tx_bd_mp_cmd (size:128b/16B) */
+struct tx_bd_mp_cmd {
+       /* Unless otherwise stated, sub-fields of this field are always valid. */
+       uint16_t        flags_type;
+       /* This value identifies the type of buffer descriptor. */
+       #define TX_BD_MP_CMD_TYPE_MASK        UINT32_C(0x3f)
+       #define TX_BD_MP_CMD_TYPE_SFT         0
+       /*
+        * Indicates that this BD is used to issue a command to one of
+        * the mid-path destinations.
+        */
+       #define TX_BD_MP_CMD_TYPE_TX_BD_MP_CMD  UINT32_C(0x8)
+       #define TX_BD_MP_CMD_TYPE_LAST         TX_BD_MP_CMD_TYPE_TX_BD_MP_CMD
+       #define TX_BD_MP_CMD_FLAGS_MASK       UINT32_C(0xffc0)
+       #define TX_BD_MP_CMD_FLAGS_SFT        6
+       /*  */
+       #define TX_BD_MP_CMD_FLAGS_UNUSED_MASK UINT32_C(0xc0)
+       #define TX_BD_MP_CMD_FLAGS_UNUSED_SFT  6
+       /*
+        * This value indicates the number of 16B BD locations (slots)
+        * consumed in the ring by this mid-path command BD, including the
+        * BD header and the command field.
+        */
+       #define TX_BD_MP_CMD_FLAGS_BD_CNT_MASK UINT32_C(0x1f00)
+       #define TX_BD_MP_CMD_FLAGS_BD_CNT_SFT  8
+       /*
+        * This value defines the length of command field in bytes. The maximum
+        * value shall be 496.
+        */
+       uint16_t        len;
+       /*
+        * The opaque data field is pass through to the completion and can be
+        * used for any data that the driver wants to associate with this
+        * Tx mid-path command.
+        */
+       uint32_t        opaque;
+       uint64_t        unused1;
+} __rte_packed;
+
+/* tx_bd_presync_cmd (size:128b/16B) */
+struct tx_bd_presync_cmd {
+       /* Unless otherwise stated, sub-fields of this field are always valid. */
+       uint16_t        flags_type;
+       /* This value identifies the type of buffer descriptor. */
+       #define TX_BD_PRESYNC_CMD_TYPE_MASK             UINT32_C(0x3f)
+       #define TX_BD_PRESYNC_CMD_TYPE_SFT              0
+       /*
+        * Indicates that this BD is used to issue a cryptographic pre-
+        * sync command through the fast path and destined for TCE.
+        */
+       #define TX_BD_PRESYNC_CMD_TYPE_TX_BD_PRESYNC_CMD  UINT32_C(0x9)
+       #define TX_BD_PRESYNC_CMD_TYPE_LAST \
+               TX_BD_PRESYNC_CMD_TYPE_TX_BD_PRESYNC_CMD
+       #define TX_BD_PRESYNC_CMD_FLAGS_MASK            UINT32_C(0xffc0)
+       #define TX_BD_PRESYNC_CMD_FLAGS_SFT             6
+       /*  */
+       #define TX_BD_PRESYNC_CMD_FLAGS_UNUSED_MASK      UINT32_C(0xc0)
+       #define TX_BD_PRESYNC_CMD_FLAGS_UNUSED_SFT       6
+       /*
+        * This value indicates the number of 16B BD locations (slots)
+        * consumed in the ring by this pre-sync command BD, including the
+        * BD header and the command field.
+        */
+       #define TX_BD_PRESYNC_CMD_FLAGS_BD_CNT_MASK      UINT32_C(0x1f00)
+       #define TX_BD_PRESYNC_CMD_FLAGS_BD_CNT_SFT       8
+       /*
+        * This value defines the length of command field in bytes. The maximum
+        * value shall be 496.
+        */
+       uint16_t        len;
+       /*
+        * The opaque data field is pass through to TCE and can be used for
+        * debug.
+        */
+       uint32_t        opaque;
+       /*
+        * This field is the Crypto Context ID to which the retransmit packet is
+        * applied. The KID references the context fields used by the
+        * associated kTLS offloaded connection.
+        */
+       uint32_t        kid;
+       /*
+        * The KID value of all-ones is reserved for non-KTLS packets, which
+        * only implies that this value must not be used when filling this
+        * field for crypto packets.
+        */
+       #define TX_BD_PRESYNC_CMD_KID_VAL_MASK UINT32_C(0xfffff)
+       #define TX_BD_PRESYNC_CMD_KID_VAL_SFT 0
+       uint32_t        unused_1;
+} __rte_packed;
+
 /* rx_prod_pkt_bd (size:128b/16B) */
 struct rx_prod_pkt_bd {
        /* This value identifies the type of buffer descriptor. */
@@ -2310,6 +3369,297 @@ struct rx_prod_agg_bd {
        uint64_t        address;
 } __rte_packed;
 
+/* cfa_cmpls_cmp_data_msg (size:128b/16B) */
+struct cfa_cmpls_cmp_data_msg {
+       uint32_t        mp_client_dma_length_opcode_status_type;
+       /*
+        * This field represents the Mid-Path client that generated the
+        * completion.
+        */
+       #define CFA_CMPLS_CMP_DATA_MSG_TYPE_MASK                UINT32_C(0x3f)
+       #define CFA_CMPLS_CMP_DATA_MSG_TYPE_SFT                 0
+       /* Mid Path Short Completion with length = 16B. */
+       #define CFA_CMPLS_CMP_DATA_MSG_TYPE_MID_PATH_SHORT \
+               UINT32_C(0x1e)
+       #define CFA_CMPLS_CMP_DATA_MSG_TYPE_LAST \
+               CFA_CMPLS_CMP_DATA_MSG_TYPE_MID_PATH_SHORT
+       /* This value indicates the status for the command. */
+       #define CFA_CMPLS_CMP_DATA_MSG_STATUS_MASK              UINT32_C(0x3c0)
+       #define CFA_CMPLS_CMP_DATA_MSG_STATUS_SFT               6
+       /* Completed without error. */
+       #define CFA_CMPLS_CMP_DATA_MSG_STATUS_OK \
+               (UINT32_C(0x0) << 6)
+       /* Indicates an unsupported CFA opcode in the command. */
+       #define CFA_CMPLS_CMP_DATA_MSG_STATUS_UNSPRT_ERR \
+               (UINT32_C(0x1) << 6)
+       /*
+        * Indicates a CFA command formatting error. This error can occur on
+        * any of the supported CFA commands.
+        */
+       #define CFA_CMPLS_CMP_DATA_MSG_STATUS_FMT_ERR \
+               (UINT32_C(0x2) << 6)
+       /*
+        * Indicates an SVIF-Table scope error. This error can occur on any
+        * of the supported CFA commands.
+        */
+       #define CFA_CMPLS_CMP_DATA_MSG_STATUS_SCOPE_ERR \
+               (UINT32_C(0x3) << 6)
+       /*
+        * Indicates that the table_index is either outside of the
+        * table_scope range set by its EM_SIZE or, for EM Insert, it is in
+        * the static bucket range. This error can occur on EM Insert
+        * commands. It can also occur on Read, Read Clear, Write, and
+        * Invalidate commands if the table_type is EM.
+        */
+       #define CFA_CMPLS_CMP_DATA_MSG_STATUS_ADDR_ERR \
+               (UINT32_C(0x4) << 6)
+       /*
+        * Cache operation responded with an error. This error can occur on
+        * Read, Read Clear, Write, EM Insert, and EM Delete commands.
+        */
+       #define CFA_CMPLS_CMP_DATA_MSG_STATUS_CACHE_ERR \
+               (UINT32_C(0x5) << 6)
+       /*
+        * Indicates failure on EM Insert or EM Delete Command. Hash index
+        * and hash msb are returned in table_index and hash_msb fields.
+        * Dma_length is set to 1 if the bucket is also returned (as dma
+        * data).
+        */
+       #define CFA_CMPLS_CMP_DATA_MSG_STATUS_EM_FAIL \
+               (UINT32_C(0x6) << 6)
+       /*
+        * Indicates no notifications were available on an Event Collection
+        * command.
+        */
+       #define CFA_CMPLS_CMP_DATA_MSG_STATUS_EVENT_COLLECT_FAIL \
+               (UINT32_C(0x7) << 6)
+       #define CFA_CMPLS_CMP_DATA_MSG_STATUS_LAST \
+               CFA_CMPLS_CMP_DATA_MSG_STATUS_EVENT_COLLECT_FAIL
+       #define CFA_CMPLS_CMP_DATA_MSG_UNUSED0_MASK             UINT32_C(0xc00)
+       #define CFA_CMPLS_CMP_DATA_MSG_UNUSED0_SFT              10
+       /* This is the opcode from the command. */
+       #define CFA_CMPLS_CMP_DATA_MSG_OPCODE_MASK \
+               UINT32_C(0xff000)
+       #define CFA_CMPLS_CMP_DATA_MSG_OPCODE_SFT               12
+       /*
+        * This is read command. From 32 to 128B can be read from a table
+        * using this command.
+        */
+       #define CFA_CMPLS_CMP_DATA_MSG_OPCODE_READ \
+               (UINT32_C(0x0) << 12)
+       /*
+        * This is write command. From 32 to 128B can be written to a table
+        * using this command.
+        */
+       #define CFA_CMPLS_CMP_DATA_MSG_OPCODE_WRITE \
+               (UINT32_C(0x1) << 12)
+       /*
+        * This is read-clear command. 32B can be read from a table and a 16b
+        * mask can be used to clear specific 16b units after the read as an
+        * atomic operation.
+        */
+       #define CFA_CMPLS_CMP_DATA_MSG_OPCODE_READ_CLR \
+               (UINT32_C(0x2) << 12)
+       /*
+        * An exact match table insert will be attempted into the table. If
+        * there is a free location in the bucket, the payload will be
+        * written to the bucket.
+        */
+       #define CFA_CMPLS_CMP_DATA_MSG_OPCODE_EM_INSERT \
+               (UINT32_C(0x3) << 12)
+       /* An exact match table delete will be attempted. */
+       #define CFA_CMPLS_CMP_DATA_MSG_OPCODE_EM_DELETE \
+               (UINT32_C(0x4) << 12)
+       /*
+        * The specified table area will be invalidated. If it is needed
+        * again, it will be read from the backing store.
+        */
+       #define CFA_CMPLS_CMP_DATA_MSG_OPCODE_INVALIDATE \
+               (UINT32_C(0x5) << 12)
+       /* Reads notification messages from the Host Notification Queue. */
+       #define CFA_CMPLS_CMP_DATA_MSG_OPCODE_EVENT_COLLECT \
+               (UINT32_C(0x6) << 12)
+       #define CFA_CMPLS_CMP_DATA_MSG_OPCODE_LAST \
+               CFA_CMPLS_CMP_DATA_MSG_OPCODE_EVENT_COLLECT
+       /*
+        * This field indicates the length of the DMA that accompanies the
+        * completion. Specified in units of DWords (32b). Valid values are
+        * between 0 and 128. A value of zero indicates that there is no DMA
+        * that accompanies the completion.
+        */
+       #define CFA_CMPLS_CMP_DATA_MSG_DMA_LENGTH_MASK \
+               UINT32_C(0xff00000)
+       #define CFA_CMPLS_CMP_DATA_MSG_DMA_LENGTH_SFT           20
+       /*
+        * This field represents the Mid-Path client that generated the
+        * completion.
+        */
+       #define CFA_CMPLS_CMP_DATA_MSG_MP_CLIENT_MASK \
+               UINT32_C(0xf0000000)
+       #define CFA_CMPLS_CMP_DATA_MSG_MP_CLIENT_SFT            28
+       /* TX configrable flow processing block. */
+       #define CFA_CMPLS_CMP_DATA_MSG_MP_CLIENT_TE_CFA \
+               (UINT32_C(0x2) << 28)
+       /* RX configrable flow processing block. */
+       #define CFA_CMPLS_CMP_DATA_MSG_MP_CLIENT_RE_CFA \
+               (UINT32_C(0x3) << 28)
+       #define CFA_CMPLS_CMP_DATA_MSG_MP_CLIENT_LAST \
+               CFA_CMPLS_CMP_DATA_MSG_MP_CLIENT_RE_CFA
+       /*
+        * This is a copy of the opaque field from the mid path BD of this
+        * command.
+        */
+       uint32_t        opaque;
+       uint16_t        hash_msb_v;
+       /*
+        * This value is written by the NIC such that it will be different for
+        * each pass through the completion queue. The even passes will
+        * write 1. The odd passes will write 0.
+        */
+       #define CFA_CMPLS_CMP_DATA_MSG_V            UINT32_C(0x1)
+       #define CFA_CMPLS_CMP_DATA_MSG_UNUSED1_MASK UINT32_C(0xe)
+       #define CFA_CMPLS_CMP_DATA_MSG_UNUSED1_SFT  1
+       /*
+        * This is the upper 12b of the hash, returned on Exact Match
+        * Insertion/Deletion Commands.
+        */
+       #define CFA_CMPLS_CMP_DATA_MSG_HASH_MSB_MASK UINT32_C(0xfff0)
+       #define CFA_CMPLS_CMP_DATA_MSG_HASH_MSB_SFT 4
+       /* This is the table type from the command. */
+       uint8_t table_type;
+       #define CFA_CMPLS_CMP_DATA_MSG_UNUSED2_MASK     UINT32_C(0xf)
+       #define CFA_CMPLS_CMP_DATA_MSG_UNUSED2_SFT      0
+       #define CFA_CMPLS_CMP_DATA_MSG_TABLE_TYPE_MASK  UINT32_C(0xf0)
+       #define CFA_CMPLS_CMP_DATA_MSG_TABLE_TYPE_SFT   4
+       /* This command acts on the action table of the specified scope. */
+       #define CFA_CMPLS_CMP_DATA_MSG_TABLE_TYPE_ACTION  (UINT32_C(0x0) << 4)
+       /* This command acts on the exact match table of the specified scope. */
+       #define CFA_CMPLS_CMP_DATA_MSG_TABLE_TYPE_EM      (UINT32_C(0x1) << 4)
+       #define CFA_CMPLS_CMP_DATA_MSG_TABLE_TYPE_LAST \
+               CFA_CMPLS_CMP_DATA_MSG_TABLE_TYPE_EM
+       uint8_t table_scope;
+       /* This is the table scope from the command. */
+       #define CFA_CMPLS_CMP_DATA_MSG_TABLE_SCOPE_MASK UINT32_C(0x1f)
+       #define CFA_CMPLS_CMP_DATA_MSG_TABLE_SCOPE_SFT 0
+       uint32_t        table_index;
+       /*
+        * This is the table index from the command (if it exists). However, if
+        * an Exact Match Insertion/Deletion command failed, then this is the
+        * table index of the calculated static hash bucket.
+        */
+       #define CFA_CMPLS_CMP_DATA_MSG_TABLE_INDEX_MASK UINT32_C(0x3ffffff)
+       #define CFA_CMPLS_CMP_DATA_MSG_TABLE_INDEX_SFT 0
+} __rte_packed;
+
+/* CFA Mid-Path 32B DMA Message */
+/* cfa_dma32b_data_msg (size:256b/32B) */
+struct cfa_dma32b_data_msg {
+       /* DMA data value. */
+       uint32_t        dta[8];
+} __rte_packed;
+
+/* CFA Mid-Path 64B DMA Message */
+/* cfa_dma64b_data_msg (size:512b/64B) */
+struct cfa_dma64b_data_msg {
+       /* DMA data value. */
+       uint32_t        dta[16];
+} __rte_packed;
+
+/* CFA Mid-Path 96B DMA Message */
+/* cfa_dma96b_data_msg (size:768b/96B) */
+struct cfa_dma96b_data_msg {
+       /* DMA data value. */
+       uint32_t        dta[24];
+} __rte_packed;
+
+/* CFA Mid-Path 128B DMA Message */
+/* cfa_dma128b_data_msg (size:1024b/128B) */
+struct cfa_dma128b_data_msg {
+       /* DMA data value. */
+       uint32_t        dta[32];
+} __rte_packed;
+
+/* ce_cmpls_cmp_data_msg (size:128b/16B) */
+struct ce_cmpls_cmp_data_msg {
+       uint16_t        status_subtype_type;
+       /*
+        * This field indicates the exact type of the completion. By
+        * convention, the LSB identifies the length of the record in 16B
+        * units. Even values indicate 16B records. Odd values indicate 32B
+        * records.
+        */
+       #define CE_CMPLS_CMP_DATA_MSG_TYPE_MASK          UINT32_C(0x3f)
+       #define CE_CMPLS_CMP_DATA_MSG_TYPE_SFT           0
+       /* Completion of a Mid Path Command. Length = 16B */
+       #define CE_CMPLS_CMP_DATA_MSG_TYPE_MID_PATH_SHORT  UINT32_C(0x1e)
+       #define CE_CMPLS_CMP_DATA_MSG_TYPE_LAST \
+               CE_CMPLS_CMP_DATA_MSG_TYPE_MID_PATH_SHORT
+       /*
+        * This value indicates the CE sub-type operation that is being
+        * completed.
+        */
+       #define CE_CMPLS_CMP_DATA_MSG_SUBTYPE_MASK       UINT32_C(0x3c0)
+       #define CE_CMPLS_CMP_DATA_MSG_SUBTYPE_SFT        6
+       /* Completion Response for a Solicited Command. */
+       #define CE_CMPLS_CMP_DATA_MSG_SUBTYPE_SOLICITED    (UINT32_C(0x0) << 6)
+       /* Error Completion (Unsolicited). */
+       #define CE_CMPLS_CMP_DATA_MSG_SUBTYPE_ERR          (UINT32_C(0x1) << 6)
+       /* Re-Sync Completion (Unsolicited) */
+       #define CE_CMPLS_CMP_DATA_MSG_SUBTYPE_RESYNC       (UINT32_C(0x2) << 6)
+       #define CE_CMPLS_CMP_DATA_MSG_SUBTYPE_LAST \
+               CE_CMPLS_CMP_DATA_MSG_SUBTYPE_RESYNC
+       /* This value indicates the status for the command. */
+       #define CE_CMPLS_CMP_DATA_MSG_STATUS_MASK        UINT32_C(0x3c00)
+       #define CE_CMPLS_CMP_DATA_MSG_STATUS_SFT         10
+       /* Completed without error. */
+       #define CE_CMPLS_CMP_DATA_MSG_STATUS_OK \
+               (UINT32_C(0x0) << 10)
+       /* CFCK load error. */
+       #define CE_CMPLS_CMP_DATA_MSG_STATUS_CTX_LD_ERR \
+               (UINT32_C(0x1) << 10)
+       /* FID check error. */
+       #define CE_CMPLS_CMP_DATA_MSG_STATUS_FID_CHK_ERR \
+               (UINT32_C(0x2) << 10)
+       #define CE_CMPLS_CMP_DATA_MSG_STATUS_LAST \
+               CE_CMPLS_CMP_DATA_MSG_STATUS_FID_CHK_ERR
+       uint8_t unused0;
+       uint8_t mp_clients;
+       #define CE_CMPLS_CMP_DATA_MSG_UNUSED1_MASK   UINT32_C(0xf)
+       #define CE_CMPLS_CMP_DATA_MSG_UNUSED1_SFT    0
+       /*
+        * This field represents the Mid-Path client that generated the
+        * completion.
+        */
+       #define CE_CMPLS_CMP_DATA_MSG_MP_CLIENTS_MASK UINT32_C(0xf0)
+       #define CE_CMPLS_CMP_DATA_MSG_MP_CLIENTS_SFT 4
+       /* TX crypto engine block. */
+       #define CE_CMPLS_CMP_DATA_MSG_MP_CLIENTS_TCE   (UINT32_C(0x0) << 4)
+       /* RX crypto engine block. */
+       #define CE_CMPLS_CMP_DATA_MSG_MP_CLIENTS_RCE   (UINT32_C(0x1) << 4)
+       #define CE_CMPLS_CMP_DATA_MSG_MP_CLIENTS_LAST \
+               CE_CMPLS_CMP_DATA_MSG_MP_CLIENTS_RCE
+       /*
+        * This is a copy of the opaque field from the mid path BD of this
+        * command.
+        */
+       uint32_t        opaque;
+       /*  */
+       uint32_t        kid_v;
+       /*
+        * This value is written by the NIC such that it will be different
+        * for each pass through the completion queue. The even passes will
+        * write 1. The odd passes will write 0.
+        */
+       #define CE_CMPLS_CMP_DATA_MSG_V       UINT32_C(0x1)
+       /*
+        * This field is the Crypto Context ID. The KID is used to store
+        * information used by the associated kTLS offloaded connection.
+        */
+       #define CE_CMPLS_CMP_DATA_MSG_KID_MASK UINT32_C(0x1ffffe)
+       #define CE_CMPLS_CMP_DATA_MSG_KID_SFT 1
+       uint32_t        unused2;
+} __rte_packed;
+
 /* cmpl_base (size:128b/16B) */
 struct cmpl_base {
        uint16_t        type;
@@ -5423,27 +6773,32 @@ struct rx_tpa_v2_end_cmpl {
         * records. Odd values indicate 32B
         * records.
         */
-       #define RX_TPA_V2_END_CMPL_TYPE_MASK                UINT32_C(0x3f)
-       #define RX_TPA_V2_END_CMPL_TYPE_SFT                 0
+       #define RX_TPA_V2_END_CMPL_TYPE_MASK \
+               UINT32_C(0x3f)
+       #define RX_TPA_V2_END_CMPL_TYPE_SFT                       0
        /*
         * RX L2 TPA End Completion:
         * Completion at the end of a TPA operation.
         * Length = 32B
         */
-       #define RX_TPA_V2_END_CMPL_TYPE_RX_TPA_END            UINT32_C(0x15)
+       #define RX_TPA_V2_END_CMPL_TYPE_RX_TPA_END \
+               UINT32_C(0x15)
        #define RX_TPA_V2_END_CMPL_TYPE_LAST \
                RX_TPA_V2_END_CMPL_TYPE_RX_TPA_END
-       #define RX_TPA_V2_END_CMPL_FLAGS_MASK               UINT32_C(0xffc0)
-       #define RX_TPA_V2_END_CMPL_FLAGS_SFT                6
+       #define RX_TPA_V2_END_CMPL_FLAGS_MASK \
+               UINT32_C(0xffc0)
+       #define RX_TPA_V2_END_CMPL_FLAGS_SFT                      6
        /*
         * When this bit is '1', it indicates a packet that has an
         * error of some type. Type of error is indicated in
         * error_flags.
         */
-       #define RX_TPA_V2_END_CMPL_FLAGS_ERROR               UINT32_C(0x40)
+       #define RX_TPA_V2_END_CMPL_FLAGS_ERROR \
+               UINT32_C(0x40)
        /* This field indicates how the packet was placed in the buffer. */
-       #define RX_TPA_V2_END_CMPL_FLAGS_PLACEMENT_MASK      UINT32_C(0x380)
-       #define RX_TPA_V2_END_CMPL_FLAGS_PLACEMENT_SFT       7
+       #define RX_TPA_V2_END_CMPL_FLAGS_PLACEMENT_MASK \
+               UINT32_C(0x380)
+       #define RX_TPA_V2_END_CMPL_FLAGS_PLACEMENT_SFT             7
        /*
         * Jumbo:
         * TPA Packet was placed using jumbo algorithm. This means
@@ -5482,11 +6837,30 @@ struct rx_tpa_v2_end_cmpl {
         */
        #define RX_TPA_V2_END_CMPL_FLAGS_PLACEMENT_GRO_HDS \
                (UINT32_C(0x6) << 7)
+       /*
+        * IOC/Header-Data Separation:
+        * Packet will be placed using In-Order Completion/HDS where
+        * the header is in the first packet buffer. Payload of each
+        * packet will be placed such that each packet starts at the
+        * beginning of an aggregation buffer.
+        */
+       #define RX_TPA_V2_END_CMPL_FLAGS_PLACEMENT_IOC_HDS \
+               (UINT32_C(0x7) << 7)
        #define RX_TPA_V2_END_CMPL_FLAGS_PLACEMENT_LAST \
-               RX_TPA_V2_END_CMPL_FLAGS_PLACEMENT_GRO_HDS
-       /* unused is 2 b */
-       #define RX_TPA_V2_END_CMPL_FLAGS_UNUSED_MASK         UINT32_C(0xc00)
-       #define RX_TPA_V2_END_CMPL_FLAGS_UNUSED_SFT          10
+               RX_TPA_V2_END_CMPL_FLAGS_PLACEMENT_IOC_HDS
+       /* unused is 1 b */
+       #define RX_TPA_V2_END_CMPL_FLAGS_UNUSED \
+               UINT32_C(0x400)
+       /*
+        * This bit is '1' if metadata has been added to the end of the
+        * packet in host memory. Metadata starts at the first 32B boundary
+        * after the end of the packet for regular and jumbo placement.
+        * It starts at the first 32B boundary after the end of the header
+        * for HDS placement. The length of the metadata is indicated in the
+        * metadata itself.
+        */
+       #define RX_TPA_V2_END_CMPL_FLAGS_PKT_METADATA_PRESENT \
+               UINT32_C(0x800)
        /*
         * This value indicates what the inner packet determined for the
         * packet was.
@@ -5496,8 +6870,9 @@ struct rx_tpa_v2_end_cmpl {
         *     field is valid and contains the TCP checksum.
         *     This also indicates that the payload_offset field is valid.
         */
-       #define RX_TPA_V2_END_CMPL_FLAGS_ITYPE_MASK          UINT32_C(0xf000)
-       #define RX_TPA_V2_END_CMPL_FLAGS_ITYPE_SFT           12
+       #define RX_TPA_V2_END_CMPL_FLAGS_ITYPE_MASK \
+               UINT32_C(0xf000)
+       #define RX_TPA_V2_END_CMPL_FLAGS_ITYPE_SFT                 12
        /*
         * This value is zero for TPA End completions.
         * There is no data in the buffer that corresponds to the opaque
@@ -6047,6 +7422,12 @@ struct hwrm_async_event_cmpl {
        /* Master function selection event */
        #define HWRM_ASYNC_EVENT_CMPL_EVENT_ID_ERROR_RECOVERY \
                UINT32_C(0x9)
+       /*
+        * An event signifying that a ring has been disabled by
+        * hw due to error.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_EVENT_ID_RING_MONITOR_MSG \
+               UINT32_C(0xa)
        /* Function driver unloaded */
        #define HWRM_ASYNC_EVENT_CMPL_EVENT_ID_FUNC_DRVR_UNLOAD \
                UINT32_C(0x10)
@@ -6156,6 +7537,35 @@ struct hwrm_async_event_cmpl {
         */
        #define HWRM_ASYNC_EVENT_CMPL_EVENT_ID_PFC_WATCHDOG_CFG_CHANGE \
                UINT32_C(0x41)
+       /*
+        * An echo request from the firmware. An echo response is expected by
+        * the firmware.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_EVENT_ID_ECHO_REQUEST \
+               UINT32_C(0x42)
+       /*
+        * An event from firmware indicating who has been selected as the
+        * PHC Master or secondary. Also indicates the last time a failover
+        * happens.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_EVENT_ID_PHC_MASTER \
+               UINT32_C(0x43)
+       /*
+        * An event from firmware showing the last PPS timestamp that has been
+        * latched.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_EVENT_ID_PPS_TIMESTAMP \
+               UINT32_C(0x44)
+       /*
+        * An event from firmware indicating that an error has occurred.
+        * The driver should log the event so that an administrator can be
+        * aware that a problem has occurred that may need attention.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_EVENT_ID_ERROR_REPORT \
+               UINT32_C(0x45)
+       /* Maximum Registrable event id. */
+       #define HWRM_ASYNC_EVENT_CMPL_EVENT_ID_MAX_RGTR_EVENT_ID \
+               UINT32_C(0x46)
        /*
         * A trace log message. This contains firmware trace logs string
         * embedded in the asynchronous message. This is an experimental
@@ -6448,6 +7858,9 @@ struct hwrm_async_event_cmpl_dcb_config_change {
        /* APP configuration change */
        #define HWRM_ASYNC_EVENT_CMPL_DCB_CONFIG_CHANGE_EVENT_DATA2_APP \
                UINT32_C(0x4)
+       /* DSCP configuration change */
+       #define HWRM_ASYNC_EVENT_CMPL_DCB_CONFIG_CHANGE_EVENT_DATA2_DSCP \
+               UINT32_C(0x8)
        uint8_t opaque_v;
        /*
         * This value is written by the NIC such that it will be different
@@ -6792,8 +8205,20 @@ struct hwrm_async_event_cmpl_reset_notify {
                UINT32_C(0x8)
        #define HWRM_ASYNC_EVENT_CMPL_RESET_NOTIFY_EVENT_ID_LAST \
                HWRM_ASYNC_EVENT_CMPL_RESET_NOTIFY_EVENT_ID_RESET_NOTIFY
-       /* Event specific data */
+       /* Event specific data. The data is for internal debug use only. */
        uint32_t        event_data2;
+       /*
+        * These bits indicate the status as being reported by the firmware.
+        * This value is exactly the same as status code in fw_status register.
+        * If the status code is equal to 0x8000, then the reset is initiated
+        * by the Host using the FW_RESET command when the FW is in a healthy
+        * state. If the status code is not equal to 0x8000, then the reset is
+        * initiated by the FW to recover from the error or FATAL state.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_RESET_NOTIFY_EVENT_DATA2_FW_STATUS_CODE_MASK \
+               UINT32_C(0xffff)
+       #define HWRM_ASYNC_EVENT_CMPL_RESET_NOTIFY_EVENT_DATA2_FW_STATUS_CODE_SFT \
+               0
        uint8_t opaque_v;
        /*
         * This value is written by the NIC such that it will be different
@@ -6855,8 +8280,11 @@ struct hwrm_async_event_cmpl_reset_notify {
        /* A non-fatal firmware exception has occurred. */
        #define HWRM_ASYNC_EVENT_CMPL_RESET_NOTIFY_EVENT_DATA1_REASON_CODE_FW_EXCEPTION_NON_FATAL \
                (UINT32_C(0x3) << 8)
+       /* Fast reset */
+       #define HWRM_ASYNC_EVENT_CMPL_RESET_NOTIFY_EVENT_DATA1_REASON_CODE_FAST_RESET \
+               (UINT32_C(0x4) << 8)
        #define HWRM_ASYNC_EVENT_CMPL_RESET_NOTIFY_EVENT_DATA1_REASON_CODE_LAST \
-               HWRM_ASYNC_EVENT_CMPL_RESET_NOTIFY_EVENT_DATA1_REASON_CODE_FW_EXCEPTION_NON_FATAL
+               HWRM_ASYNC_EVENT_CMPL_RESET_NOTIFY_EVENT_DATA1_REASON_CODE_FAST_RESET
        /*
         * Minimum time before driver should attempt access - units 100ms ticks.
         * Range 0-65535
@@ -6936,6 +8364,71 @@ struct hwrm_async_event_cmpl_error_recovery {
                UINT32_C(0x2)
 } __rte_packed;
 
+/* hwrm_async_event_cmpl_ring_monitor_msg (size:128b/16B) */
+struct hwrm_async_event_cmpl_ring_monitor_msg {
+       uint16_t        type;
+       /*
+        * This field indicates the exact type of the completion.
+        * By convention, the LSB identifies the length of the
+        * record in 16B units. Even values indicate 16B
+        * records. Odd values indicate 32B
+        * records.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_TYPE_MASK \
+               UINT32_C(0x3f)
+       #define HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_TYPE_SFT             0
+       /* HWRM Asynchronous Event Information */
+       #define HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_TYPE_HWRM_ASYNC_EVENT \
+               UINT32_C(0x2e)
+       #define HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_TYPE_LAST \
+               HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_TYPE_HWRM_ASYNC_EVENT
+       /* Identifiers of events. */
+       uint16_t        event_id;
+       /* Ring Monitor Message. */
+       #define HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_EVENT_ID_RING_MONITOR_MSG \
+               UINT32_C(0xa)
+       #define HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_EVENT_ID_LAST \
+               HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_EVENT_ID_RING_MONITOR_MSG
+       /* Event specific data */
+       uint32_t        event_data2;
+       /* Type of Ring disabled. */
+       #define HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_EVENT_DATA2_DISABLE_RING_TYPE_MASK \
+               UINT32_C(0xff)
+       #define HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_EVENT_DATA2_DISABLE_RING_TYPE_SFT \
+               0
+       /* tx ring disabled. */
+       #define HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_EVENT_DATA2_DISABLE_RING_TYPE_TX \
+               UINT32_C(0x0)
+       /* rx ring disabled. */
+       #define HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_EVENT_DATA2_DISABLE_RING_TYPE_RX \
+               UINT32_C(0x1)
+       /* cmpl ring disabled. */
+       #define HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_EVENT_DATA2_DISABLE_RING_TYPE_CMPL \
+               UINT32_C(0x2)
+       #define HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_EVENT_DATA2_DISABLE_RING_TYPE_LAST \
+               HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_EVENT_DATA2_DISABLE_RING_TYPE_CMPL
+       uint8_t opaque_v;
+       /*
+        * This value is written by the NIC such that it will be different
+        * for each pass through the completion queue. The even passes
+        * will write 1. The odd passes will write 0.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_V          UINT32_C(0x1)
+       /* opaque is 7 b */
+       #define HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_OPAQUE_MASK \
+               UINT32_C(0xfe)
+       #define HWRM_ASYNC_EVENT_CMPL_RING_MONITOR_MSG_OPAQUE_SFT 1
+       /* 8-lsb timestamp from POR (100-msec resolution) */
+       uint8_t timestamp_lo;
+       /* 16-lsb timestamp from POR (100-msec resolution) */
+       uint16_t        timestamp_hi;
+       /*
+        * Event specific data. If ring_type_disabled indicates a tx,rx or cmpl
+        * then this field will indicate the ring id.
+        */
+       uint32_t        event_data1;
+} __rte_packed;
+
 /* hwrm_async_event_cmpl_func_drvr_unload (size:128b/16B) */
 struct hwrm_async_event_cmpl_func_drvr_unload {
        uint16_t        type;
@@ -7382,6 +8875,17 @@ struct hwrm_async_event_cmpl_vf_cfg_change {
                HWRM_ASYNC_EVENT_CMPL_VF_CFG_CHANGE_EVENT_ID_VF_CFG_CHANGE
        /* Event specific data */
        uint32_t        event_data2;
+       /*
+        * This value indicates the VF ID of the VF whose configuration
+        * is changing if this async. event is sent to the parent PF.
+        * The firmware supports sending this to the parent PF if the
+        * `hwrm_func_qcaps.vf_cfg_async_for_pf_supported` value is 1.
+        * This value is undefined when the async. event is sent to the
+        * VF.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_VF_CFG_CHANGE_EVENT_DATA2_VF_ID_MASK \
+               UINT32_C(0xffff)
+       #define HWRM_ASYNC_EVENT_CMPL_VF_CFG_CHANGE_EVENT_DATA2_VF_ID_SFT 0
        uint8_t opaque_v;
        /*
         * This value is written by the NIC such that it will be different
@@ -8226,6 +9730,278 @@ struct hwrm_async_event_cmpl_pfc_watchdog_cfg_change {
                8
 } __rte_packed;
 
+/* hwrm_async_event_cmpl_echo_request (size:128b/16B) */
+struct hwrm_async_event_cmpl_echo_request {
+       uint16_t        type;
+       /*
+        * This field indicates the exact type of the completion.
+        * By convention, the LSB identifies the length of the
+        * record in 16B units. Even values indicate 16B
+        * records. Odd values indicate 32B
+        * records.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ECHO_REQUEST_TYPE_MASK \
+               UINT32_C(0x3f)
+       #define HWRM_ASYNC_EVENT_CMPL_ECHO_REQUEST_TYPE_SFT             0
+       /* HWRM Asynchronous Event Information */
+       #define HWRM_ASYNC_EVENT_CMPL_ECHO_REQUEST_TYPE_HWRM_ASYNC_EVENT \
+               UINT32_C(0x2e)
+       #define HWRM_ASYNC_EVENT_CMPL_ECHO_REQUEST_TYPE_LAST \
+               HWRM_ASYNC_EVENT_CMPL_ECHO_REQUEST_TYPE_HWRM_ASYNC_EVENT
+       /* Identifiers of events. */
+       uint16_t        event_id;
+       /*
+        * An echo request from the firmware. An echo response is expected by
+        * the firmware.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ECHO_REQUEST_EVENT_ID_ECHO_REQUEST \
+               UINT32_C(0x42)
+       #define HWRM_ASYNC_EVENT_CMPL_ECHO_REQUEST_EVENT_ID_LAST \
+               HWRM_ASYNC_EVENT_CMPL_ECHO_REQUEST_EVENT_ID_ECHO_REQUEST
+       /* Event specific data that should be provided in the echo response */
+       uint32_t        event_data2;
+       uint8_t opaque_v;
+       /*
+        * This value is written by the NIC such that it will be different
+        * for each pass through the completion queue. The even passes
+        * will write 1. The odd passes will write 0.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ECHO_REQUEST_V          UINT32_C(0x1)
+       /* opaque is 7 b */
+       #define HWRM_ASYNC_EVENT_CMPL_ECHO_REQUEST_OPAQUE_MASK UINT32_C(0xfe)
+       #define HWRM_ASYNC_EVENT_CMPL_ECHO_REQUEST_OPAQUE_SFT 1
+       /* 8-lsb timestamp from POR (100-msec resolution) */
+       uint8_t timestamp_lo;
+       /* 16-lsb timestamp from POR (100-msec resolution) */
+       uint16_t        timestamp_hi;
+       /* Event specific data that should be provided in the echo response */
+       uint32_t        event_data1;
+} __rte_packed;
+
+/* hwrm_async_event_cmpl_phc_master (size:128b/16B) */
+struct hwrm_async_event_cmpl_phc_master {
+       uint16_t        type;
+       /*
+        * This field indicates the exact type of the completion.
+        * By convention, the LSB identifies the length of the
+        * record in 16B units. Even values indicate 16B
+        * records. Odd values indicate 32B
+        * records.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_TYPE_MASK \
+               UINT32_C(0x3f)
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_TYPE_SFT             0
+       /* HWRM Asynchronous Event Information */
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_TYPE_HWRM_ASYNC_EVENT \
+               UINT32_C(0x2e)
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_TYPE_LAST \
+               HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_TYPE_HWRM_ASYNC_EVENT
+       /* Identifiers of events. */
+       uint16_t        event_id;
+       /*
+        * This async event is used to notify driver of changes
+        * in PHC master. Only one master function can configure
+        * PHC.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_EVENT_ID_PHC_MASTER \
+               UINT32_C(0x43)
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_EVENT_ID_LAST \
+               HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_EVENT_ID_PHC_MASTER
+       /* Event specific data */
+       uint32_t        event_data2;
+       /* This field provides the current master function. */
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_EVENT_DATA2_PHC_MASTER_FID_MASK \
+               UINT32_C(0xffff)
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_EVENT_DATA2_PHC_MASTER_FID_SFT \
+               0
+       /* This field provides the current secondary function. */
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_EVENT_DATA2_PHC_SEC_FID_MASK \
+               UINT32_C(0xffff0000)
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_EVENT_DATA2_PHC_SEC_FID_SFT \
+               16
+       uint8_t opaque_v;
+       /*
+        * This value is written by the NIC such that it will be different
+        * for each pass through the completion queue. The even passes
+        * will write 1. The odd passes will write 0.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_V          UINT32_C(0x1)
+       /* opaque is 7 b */
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_OPAQUE_MASK UINT32_C(0xfe)
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_OPAQUE_SFT 1
+       /* 8-lsb timestamp (100-msec resolution) */
+       uint8_t timestamp_lo;
+       /* 16-lsb timestamp (100-msec resolution) */
+       uint16_t        timestamp_hi;
+       /* Event specific data */
+       uint32_t        event_data1;
+       /* Indicates to the driver the type of PHC event. */
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_EVENT_DATA1_FLAGS_MASK \
+               UINT32_C(0xf)
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_EVENT_DATA1_FLAGS_SFT \
+               0
+       /*
+        * Indicates PHC Master selection event. The master fid is
+        * specified in event_data2.phc_master_fid.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_EVENT_DATA1_FLAGS_PHC_MASTER \
+               UINT32_C(0x1)
+       /*
+        * Indicates PHC Secondary selection event. The secondary fid is
+        * specified in event_data2.phc_sec_fid.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_EVENT_DATA1_FLAGS_PHC_SECONDARY \
+               UINT32_C(0x2)
+       /*
+        * Indicates PHC failover event. Failover happens from
+        * event_data2.phc_master_fid to event_data2.phc_sec_fid.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_EVENT_DATA1_FLAGS_PHC_FAILOVER \
+               UINT32_C(0x3)
+       #define HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_EVENT_DATA1_FLAGS_LAST \
+               HWRM_ASYNC_EVENT_CMPL_PHC_MASTER_EVENT_DATA1_FLAGS_PHC_FAILOVER
+} __rte_packed;
+
+/* hwrm_async_event_cmpl_pps_timestamp (size:128b/16B) */
+struct hwrm_async_event_cmpl_pps_timestamp {
+       uint16_t        type;
+       /*
+        * This field indicates the exact type of the completion.
+        * By convention, the LSB identifies the length of the
+        * record in 16B units. Even values indicate 16B
+        * records. Odd values indicate 32B
+        * records.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_TYPE_MASK \
+               UINT32_C(0x3f)
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_TYPE_SFT             0
+       /* HWRM Asynchronous Event Information */
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_TYPE_HWRM_ASYNC_EVENT \
+               UINT32_C(0x2e)
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_TYPE_LAST \
+               HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_TYPE_HWRM_ASYNC_EVENT
+       /* Identifiers of events. */
+       uint16_t        event_id;
+       /*
+        * This async notification message can be used to inform
+        * driver of the latest PPS timestamp that has been latched.
+        * When driver enables PPS event, Firmware will generate
+        * PPS timestamps every second, Firmware informs driver
+        * of this timestamp through the async event.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_EVENT_ID_PPS_TIMESTAMP \
+               UINT32_C(0x44)
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_EVENT_ID_LAST \
+               HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_EVENT_ID_PPS_TIMESTAMP
+       /* Event specific data */
+       uint32_t        event_data2;
+       /* Indicates the PPS event type */
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_EVENT_DATA2_EVENT_TYPE \
+               UINT32_C(0x1)
+       /* This is an internal event. */
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_EVENT_DATA2_EVENT_TYPE_INTERNAL \
+               UINT32_C(0x0)
+       /* This is an external event. */
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_EVENT_DATA2_EVENT_TYPE_EXTERNAL \
+               UINT32_C(0x1)
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_EVENT_DATA2_EVENT_TYPE_LAST \
+               HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_EVENT_DATA2_EVENT_TYPE_EXTERNAL
+       /*
+        * Indicates the pin number on which the event is
+        * received.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_EVENT_DATA2_PIN_NUMBER_MASK \
+               UINT32_C(0xe)
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_EVENT_DATA2_PIN_NUMBER_SFT \
+               1
+       /*
+        * Contains bits[47:32] of the upper PPS timestamp.
+        * Lower 32 bits are in event_data1. Together they
+        * provide the 48 bit PPS timestamp.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_EVENT_DATA2_PPS_TIMESTAMP_UPPER_MASK \
+               UINT32_C(0xffff0)
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_EVENT_DATA2_PPS_TIMESTAMP_UPPER_SFT \
+               4
+       uint8_t opaque_v;
+       /*
+        * This value is written by the NIC such that it will be different
+        * for each pass through the completion queue. The even passes
+        * will write 1. The odd passes will write 0.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_V          UINT32_C(0x1)
+       /* opaque is 7 b */
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_OPAQUE_MASK UINT32_C(0xfe)
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_OPAQUE_SFT 1
+       /* 8-lsb timestamp (100-msec resolution) */
+       uint8_t timestamp_lo;
+       /* 16-lsb timestamp (100-msec resolution) */
+       uint16_t        timestamp_hi;
+       /* Contains the lower 32 bits of the PPS timestamp. */
+       uint32_t        event_data1;
+       /* Contains the lower 32 bit PPS timestamp */
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_EVENT_DATA1_PPS_TIMESTAMP_LOWER_MASK \
+               UINT32_C(0xffffffff)
+       #define HWRM_ASYNC_EVENT_CMPL_PPS_TIMESTAMP_EVENT_DATA1_PPS_TIMESTAMP_LOWER_SFT \
+               0
+} __rte_packed;
+
+/* hwrm_async_event_cmpl_error_report (size:128b/16B) */
+struct hwrm_async_event_cmpl_error_report {
+       uint16_t        type;
+       /*
+        * This field indicates the exact type of the completion.
+        * By convention, the LSB identifies the length of the
+        * record in 16B units. Even values indicate 16B
+        * records. Odd values indicate 32B
+        * records.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_TYPE_MASK \
+               UINT32_C(0x3f)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_TYPE_SFT             0
+       /* HWRM Asynchronous Event Information */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_TYPE_HWRM_ASYNC_EVENT \
+               UINT32_C(0x2e)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_TYPE_LAST \
+               HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_TYPE_HWRM_ASYNC_EVENT
+       /* Identifiers of events. */
+       uint16_t        event_id;
+       /*
+        * This async notification message is used to inform
+        * the driver that an error has occurred which may need
+        * the attention of the administrator.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_EVENT_ID_ERROR_REPORT \
+               UINT32_C(0x45)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_EVENT_ID_LAST \
+               HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_EVENT_ID_ERROR_REPORT
+       /* Event specific data. */
+       uint32_t        event_data2;
+       uint8_t opaque_v;
+       /*
+        * This value is written by the NIC such that it will be different
+        * for each pass through the completion queue. The even passes
+        * will write 1. The odd passes will write 0.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_V          UINT32_C(0x1)
+       /* opaque is 7 b */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_OPAQUE_MASK UINT32_C(0xfe)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_OPAQUE_SFT 1
+       /* 8-lsb timestamp (100-msec resolution) */
+       uint8_t timestamp_lo;
+       /* 16-lsb timestamp (100-msec resolution) */
+       uint16_t        timestamp_hi;
+       /* Event specific data */
+       uint32_t        event_data1;
+       /*
+        * Indicates the type of error being reported. See section on Error
+        * Report event error_types for details on each error.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_EVENT_DATA1_ERROR_TYPE_MASK \
+               UINT32_C(0xff)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_EVENT_DATA1_ERROR_TYPE_SFT 0
+} __rte_packed;
+
 /* hwrm_async_event_cmpl_fw_trace_msg (size:128b/16B) */
 struct hwrm_async_event_cmpl_fw_trace_msg {
        uint16_t        type;
@@ -8396,6 +10172,602 @@ struct hwrm_async_event_cmpl_hwrm_error {
                UINT32_C(0x1)
 } __rte_packed;
 
+/* hwrm_async_event_cmpl_error_report_base (size:128b/16B) */
+struct hwrm_async_event_cmpl_error_report_base {
+       uint16_t        type;
+       /*
+        * This field indicates the exact type of the completion.
+        * By convention, the LSB identifies the length of the
+        * record in 16B units. Even values indicate 16B
+        * records. Odd values indicate 32B
+        * records.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_TYPE_MASK \
+               UINT32_C(0x3f)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_TYPE_SFT             0
+       /* HWRM Asynchronous Event Information */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_TYPE_HWRM_ASYNC_EVENT \
+               UINT32_C(0x2e)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_TYPE_LAST \
+               HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_TYPE_HWRM_ASYNC_EVENT
+       /* Identifiers of events. */
+       uint16_t        event_id;
+       /*
+        * This async notification message is used to inform
+        * the driver that an error has occurred which may need
+        * the attention of the administrator.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_EVENT_ID_ERROR_REPORT \
+               UINT32_C(0x45)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_EVENT_ID_LAST \
+               HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_EVENT_ID_ERROR_REPORT
+       /* Event specific data. */
+       uint32_t        event_data2;
+       uint8_t opaque_v;
+       /*
+        * This value is written by the NIC such that it will be different
+        * for each pass through the completion queue. The even passes
+        * will write 1. The odd passes will write 0.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_V \
+               UINT32_C(0x1)
+       /* opaque is 7 b */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_OPAQUE_MASK \
+               UINT32_C(0xfe)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_OPAQUE_SFT 1
+       /* 8-lsb timestamp (100-msec resolution) */
+       uint8_t timestamp_lo;
+       /* 16-lsb timestamp (100-msec resolution) */
+       uint16_t        timestamp_hi;
+       /* Event specific data */
+       uint32_t        event_data1;
+       /* Indicates the type of error being reported. */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_EVENT_DATA1_ERROR_TYPE_MASK \
+               UINT32_C(0xff)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_EVENT_DATA1_ERROR_TYPE_SFT \
+               0
+       /* Reserved */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_EVENT_DATA1_ERROR_TYPE_RESERVED \
+               UINT32_C(0x0)
+       /*
+        * The NIC was subjected to an extended pause storm which caused it
+        * to disable flow control in order to avoid stalling the Tx path.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_EVENT_DATA1_ERROR_TYPE_PAUSE_STORM \
+               UINT32_C(0x1)
+       /*
+        * The NIC received an interrupt storm on a TSIO pin being used as
+        * PPS_IN which caused it to disable the interrupt. The signal
+        * should be fixed to be a proper 1 PPS signal before re-enabling
+        * it. The pin number on which this signal was received is stored
+        * in event_data2 as pin_id.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_EVENT_DATA1_ERROR_TYPE_INVALID_SIGNAL \
+               UINT32_C(0x2)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_EVENT_DATA1_ERROR_TYPE_LAST \
+               HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_BASE_EVENT_DATA1_ERROR_TYPE_INVALID_SIGNAL
+} __rte_packed;
+
+/* hwrm_async_event_cmpl_error_report_pause_storm (size:128b/16B) */
+struct hwrm_async_event_cmpl_error_report_pause_storm {
+       uint16_t        type;
+       /*
+        * This field indicates the exact type of the completion.
+        * By convention, the LSB identifies the length of the
+        * record in 16B units. Even values indicate 16B
+        * records. Odd values indicate 32B
+        * records.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_PAUSE_STORM_TYPE_MASK \
+               UINT32_C(0x3f)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_PAUSE_STORM_TYPE_SFT \
+               0
+       /* HWRM Asynchronous Event Information */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_PAUSE_STORM_TYPE_HWRM_ASYNC_EVENT \
+               UINT32_C(0x2e)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_PAUSE_STORM_TYPE_LAST \
+               HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_PAUSE_STORM_TYPE_HWRM_ASYNC_EVENT
+       /* Identifiers of events. */
+       uint16_t        event_id;
+       /*
+        * This async notification message is used to inform
+        * the driver that an error has occurred which may need
+        * the attention of the administrator.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_PAUSE_STORM_EVENT_ID_ERROR_REPORT \
+               UINT32_C(0x45)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_PAUSE_STORM_EVENT_ID_LAST \
+               HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_PAUSE_STORM_EVENT_ID_ERROR_REPORT
+       /* Event specific data. */
+       uint32_t        event_data2;
+       uint8_t opaque_v;
+       /*
+        * This value is written by the NIC such that it will be different
+        * for each pass through the completion queue. The even passes
+        * will write 1. The odd passes will write 0.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_PAUSE_STORM_V \
+               UINT32_C(0x1)
+       /* opaque is 7 b */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_PAUSE_STORM_OPAQUE_MASK \
+               UINT32_C(0xfe)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_PAUSE_STORM_OPAQUE_SFT 1
+       /* 8-lsb timestamp (100-msec resolution) */
+       uint8_t timestamp_lo;
+       /* 16-lsb timestamp (100-msec resolution) */
+       uint16_t        timestamp_hi;
+       /* Event specific data */
+       uint32_t        event_data1;
+       /* Indicates the type of error being reported. */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_PAUSE_STORM_EVENT_DATA1_ERROR_TYPE_MASK \
+               UINT32_C(0xff)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_PAUSE_STORM_EVENT_DATA1_ERROR_TYPE_SFT \
+               0
+       /*
+        * The NIC was subjected to an extended pause storm which caused it
+        * to disable flow control in order to avoid stalling the Tx path.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_PAUSE_STORM_EVENT_DATA1_ERROR_TYPE_PAUSE_STORM \
+               UINT32_C(0x1)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_PAUSE_STORM_EVENT_DATA1_ERROR_TYPE_LAST \
+               HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_PAUSE_STORM_EVENT_DATA1_ERROR_TYPE_PAUSE_STORM
+} __rte_packed;
+
+/* hwrm_async_event_cmpl_error_report_invalid_signal (size:128b/16B) */
+struct hwrm_async_event_cmpl_error_report_invalid_signal {
+       uint16_t        type;
+       /*
+        * This field indicates the exact type of the completion.
+        * By convention, the LSB identifies the length of the
+        * record in 16B units. Even values indicate 16B
+        * records. Odd values indicate 32B
+        * records.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_TYPE_MASK \
+               UINT32_C(0x3f)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_TYPE_SFT \
+               0
+       /* HWRM Asynchronous Event Information */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_TYPE_HWRM_ASYNC_EVENT \
+               UINT32_C(0x2e)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_TYPE_LAST \
+               HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_TYPE_HWRM_ASYNC_EVENT
+       /* Identifiers of events. */
+       uint16_t        event_id;
+       /*
+        * This async notification message is used to inform
+        * the driver that an error has occurred which may need
+        * the attention of the administrator.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_EVENT_ID_ERROR_REPORT \
+               UINT32_C(0x45)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_EVENT_ID_LAST \
+               HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_EVENT_ID_ERROR_REPORT
+       /* Event specific data. */
+       uint32_t        event_data2;
+       /* Indicates the TSIO pin on which invalid signal is detected. */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_EVENT_DATA2_PIN_ID_MASK \
+               UINT32_C(0xff)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_EVENT_DATA2_PIN_ID_SFT \
+               0
+       uint8_t opaque_v;
+       /*
+        * This value is written by the NIC such that it will be different
+        * for each pass through the completion queue. The even passes
+        * will write 1. The odd passes will write 0.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_V \
+               UINT32_C(0x1)
+       /* opaque is 7 b */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_OPAQUE_MASK \
+               UINT32_C(0xfe)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_OPAQUE_SFT 1
+       /* 8-lsb timestamp (100-msec resolution) */
+       uint8_t timestamp_lo;
+       /* 16-lsb timestamp (100-msec resolution) */
+       uint16_t        timestamp_hi;
+       /* Event specific data */
+       uint32_t        event_data1;
+       /* Indicates the type of error being reported. */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_EVENT_DATA1_ERROR_TYPE_MASK \
+               UINT32_C(0xff)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_EVENT_DATA1_ERROR_TYPE_SFT \
+               0
+       /*
+        * The NIC received an interrupt storm on a TSIO pin being used as
+        * PPS_IN which caused it to disable the interrupt. The signal
+        * should be fixed to be a proper 1 PPS signal before re-enabling
+        * it. The pin number on which this signal was received is stored
+        * in event_data2 as pin_id.
+        */
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_EVENT_DATA1_ERROR_TYPE_INVALID_SIGNAL \
+               UINT32_C(0x2)
+       #define HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_EVENT_DATA1_ERROR_TYPE_LAST \
+               HWRM_ASYNC_EVENT_CMPL_ERROR_REPORT_INVALID_SIGNAL_EVENT_DATA1_ERROR_TYPE_INVALID_SIGNAL
+} __rte_packed;
+
+/* metadata_base_msg (size:64b/8B) */
+struct metadata_base_msg {
+       uint16_t        md_type_link;
+       /* This field classifies the data present in the meta-data. */
+       #define METADATA_BASE_MSG_MD_TYPE_MASK      UINT32_C(0x1f)
+       #define METADATA_BASE_MSG_MD_TYPE_SFT       0
+       /* Meta data fields are not valid */
+       #define METADATA_BASE_MSG_MD_TYPE_NONE        UINT32_C(0x0)
+       /*
+        * This setting is used when packets are coming in-order. Depending on
+        * the state of the receive context, the meta-data will carry different
+        * information.
+        */
+       #define METADATA_BASE_MSG_MD_TYPE_TLS_INSYNC  UINT32_C(0x1)
+       /*
+        * With this setting HW passes the TCP sequence number of the TLS
+        * record that it is requesting a resync on in the meta data.
+        */
+       #define METADATA_BASE_MSG_MD_TYPE_TLS_RESYNC  UINT32_C(0x2)
+       #define METADATA_BASE_MSG_MD_TYPE_LAST \
+               METADATA_BASE_MSG_MD_TYPE_TLS_RESYNC
+       /*
+        * This field indicates where the next metadata block starts. It is
+        * counted in 16B units. A value of zero indicates that there is no
+        * metadata.
+        */
+       #define METADATA_BASE_MSG_LINK_MASK         UINT32_C(0x1e0)
+       #define METADATA_BASE_MSG_LINK_SFT          5
+       uint16_t        unused0;
+       uint32_t        unused1;
+} __rte_packed;
+
+/* tls_metadata_base_msg (size:64b/8B) */
+struct tls_metadata_base_msg {
+       uint32_t        md_type_link_flags_kid_lo;
+       /* This field classifies the data present in the meta-data. */
+       #define TLS_METADATA_BASE_MSG_MD_TYPE_MASK \
+               UINT32_C(0x1f)
+       #define TLS_METADATA_BASE_MSG_MD_TYPE_SFT                  0
+       /*
+        * This setting is used when packets are coming in-order. Depending on
+        * the state of the receive context, the meta-data will carry different
+        * information.
+        */
+       #define TLS_METADATA_BASE_MSG_MD_TYPE_TLS_INSYNC \
+               UINT32_C(0x1)
+       /*
+        * With this setting HW passes the TCP sequence number of the TLS
+        * record that it is requesting a resync on in the meta data.
+        */
+       #define TLS_METADATA_BASE_MSG_MD_TYPE_TLS_RESYNC \
+               UINT32_C(0x2)
+       #define TLS_METADATA_BASE_MSG_MD_TYPE_LAST \
+               TLS_METADATA_BASE_MSG_MD_TYPE_TLS_RESYNC
+       /*
+        * This field indicates where the next metadata block starts. It is
+        * counted in 16B units. A value of zero indicates that there is no
+        * metadata.
+        */
+       #define TLS_METADATA_BASE_MSG_LINK_MASK \
+               UINT32_C(0x1e0)
+       #define TLS_METADATA_BASE_MSG_LINK_SFT                     5
+       /* These are flags present in the metadata. */
+       #define TLS_METADATA_BASE_MSG_FLAGS_MASK \
+               UINT32_C(0x1fffe00)
+       #define TLS_METADATA_BASE_MSG_FLAGS_SFT                    9
+       /*
+        * A value of 1 implies that the packet was decrypted by HW. Otherwise
+        * the packet is passed on as it came in on the wire.
+        */
+       #define TLS_METADATA_BASE_MSG_FLAGS_DECRYPTED \
+               UINT32_C(0x200)
+       /*
+        * This field indicates the state of the ghash field passed in the
+        * meta-data.
+        */
+       #define TLS_METADATA_BASE_MSG_FLAGS_GHASH_MASK \
+               UINT32_C(0xc00)
+       #define TLS_METADATA_BASE_MSG_FLAGS_GHASH_SFT               10
+       /*
+        * This enumeration states that the ghash is not valid in the
+        * meta-data.
+        */
+       #define TLS_METADATA_BASE_MSG_FLAGS_GHASH_NOT_VALID \
+               (UINT32_C(0x0) << 10)
+       /*
+        * This enumeration indicates that this pkt contains the record's
+        * tag and this pkt was received ooo, the partial_ghash field
+        * contains the ghash.
+        */
+       #define TLS_METADATA_BASE_MSG_FLAGS_GHASH_CUR_REC \
+               (UINT32_C(0x1) << 10)
+       /*
+        * This enumeration indicates that the current record's tag wasn't
+        * seen and the chip is moving on to the next record, the
+        * partial_ghash field contains the ghash.
+        */
+       #define TLS_METADATA_BASE_MSG_FLAGS_GHASH_PRIOR_REC \
+               (UINT32_C(0x2) << 10)
+       #define TLS_METADATA_BASE_MSG_FLAGS_GHASH_LAST \
+               TLS_METADATA_BASE_MSG_FLAGS_GHASH_PRIOR_REC
+       /* This field indicates the status of tag authentication. */
+       #define TLS_METADATA_BASE_MSG_FLAGS_TAG_AUTH_STATUS_MASK \
+               UINT32_C(0x3000)
+       #define TLS_METADATA_BASE_MSG_FLAGS_TAG_AUTH_STATUS_SFT     12
+       /*
+        * This enumeration is set when there is no tags present in the
+        * packet.
+        */
+       #define TLS_METADATA_BASE_MSG_FLAGS_TAG_AUTH_STATUS_NONE \
+               (UINT32_C(0x0) << 12)
+       /*
+        * This enumeration states that there is at least one tag in the
+        * packet and every tag is valid.
+        */
+       #define TLS_METADATA_BASE_MSG_FLAGS_TAG_AUTH_STATUS_SUCCESS \
+               (UINT32_C(0x1) << 12)
+       /*
+        * This enumeration states that there is at least one tag in the
+        * packet and at least one of the tag is invalid. The entire packet
+        * is sent decrypted to the host.
+        */
+       #define TLS_METADATA_BASE_MSG_FLAGS_TAG_AUTH_STATUS_FAILURE \
+               (UINT32_C(0x2) << 12)
+       #define TLS_METADATA_BASE_MSG_FLAGS_TAG_AUTH_STATUS_LAST \
+               TLS_METADATA_BASE_MSG_FLAGS_TAG_AUTH_STATUS_FAILURE
+       /*
+        * A value of 1 indicates that this packet contains a record that
+        * starts in the packet and extends beyond the packet.
+        */
+       #define TLS_METADATA_BASE_MSG_FLAGS_HEADER_FLDS_VALID \
+               UINT32_C(0x4000)
+       /*
+        * This value indicates the lower 7-bit of the Crypto Key ID
+        * associated with this operation.
+        */
+       #define TLS_METADATA_BASE_MSG_KID_LO_MASK \
+               UINT32_C(0xfe000000)
+       #define TLS_METADATA_BASE_MSG_KID_LO_SFT                   25
+       uint16_t        kid_hi;
+       /*
+        * This value indicates the upper 13-bit of the Crypto Key ID
+        * associated with this operation.
+        */
+       #define TLS_METADATA_BASE_MSG_KID_HI_MASK UINT32_C(0x1fff)
+       #define TLS_METADATA_BASE_MSG_KID_HI_SFT 0
+       uint16_t        unused0;
+} __rte_packed;
+
+/* tls_metadata_insync_msg (size:192b/24B) */
+struct tls_metadata_insync_msg {
+       uint32_t        md_type_link_flags_kid_lo;
+       /* This field classifies the data present in the meta-data. */
+       #define TLS_METADATA_INSYNC_MSG_MD_TYPE_MASK \
+               UINT32_C(0x1f)
+       #define TLS_METADATA_INSYNC_MSG_MD_TYPE_SFT                  0
+       /*
+        * This setting is used when packets are coming in-order. Depending on
+        * the state of the receive context, the meta-data will carry different
+        * information.
+        */
+       #define TLS_METADATA_INSYNC_MSG_MD_TYPE_TLS_INSYNC \
+               UINT32_C(0x1)
+       #define TLS_METADATA_INSYNC_MSG_MD_TYPE_LAST \
+               TLS_METADATA_INSYNC_MSG_MD_TYPE_TLS_INSYNC
+       /*
+        * This field indicates where the next metadata block starts. It is
+        * counted in 16B units. A value of zero indicates that there is no
+        * metadata.
+        */
+       #define TLS_METADATA_INSYNC_MSG_LINK_MASK \
+               UINT32_C(0x1e0)
+       #define TLS_METADATA_INSYNC_MSG_LINK_SFT                     5
+       /* These are flags present in the metadata. */
+       #define TLS_METADATA_INSYNC_MSG_FLAGS_MASK \
+               UINT32_C(0x1fffe00)
+       #define TLS_METADATA_INSYNC_MSG_FLAGS_SFT                    9
+       /*
+        * A value of 1 implies that the packet was decrypted by HW. Otherwise
+        * the packet is passed on as it came in on the wire.
+        */
+       #define TLS_METADATA_INSYNC_MSG_FLAGS_DECRYPTED \
+               UINT32_C(0x200)
+       /*
+        * This field indicates the state of the ghash field passed in the
+        * meta-data.
+        */
+       #define TLS_METADATA_INSYNC_MSG_FLAGS_GHASH_MASK \
+               UINT32_C(0xc00)
+       #define TLS_METADATA_INSYNC_MSG_FLAGS_GHASH_SFT               10
+       /*
+        * This enumeration states that the ghash is not valid in the
+        * meta-data.
+        */
+       #define TLS_METADATA_INSYNC_MSG_FLAGS_GHASH_NOT_VALID \
+               (UINT32_C(0x0) << 10)
+       /*
+        * This enumeration indicates that this pkt contains the record's
+        * tag and this pkt was received ooo, the partial_ghash field
+        * contains the ghash.
+        */
+       #define TLS_METADATA_INSYNC_MSG_FLAGS_GHASH_CUR_REC \
+               (UINT32_C(0x1) << 10)
+       /*
+        * This enumeration indicates that the current record's tag wasn't
+        * seen and the chip is moving on to the next record, the
+        * partial_ghash field contains the ghash.
+        */
+       #define TLS_METADATA_INSYNC_MSG_FLAGS_GHASH_PRIOR_REC \
+               (UINT32_C(0x2) << 10)
+       #define TLS_METADATA_INSYNC_MSG_FLAGS_GHASH_LAST \
+               TLS_METADATA_INSYNC_MSG_FLAGS_GHASH_PRIOR_REC
+       /* This field indicates the status of tag authentication. */
+       #define TLS_METADATA_INSYNC_MSG_FLAGS_TAG_AUTH_STATUS_MASK \
+               UINT32_C(0x3000)
+       #define TLS_METADATA_INSYNC_MSG_FLAGS_TAG_AUTH_STATUS_SFT     12
+       /*
+        * This enumeration is set when there is no tags present in the
+        * packet.
+        */
+       #define TLS_METADATA_INSYNC_MSG_FLAGS_TAG_AUTH_STATUS_NONE \
+               (UINT32_C(0x0) << 12)
+       /*
+        * This enumeration states that there is at least one tag in the
+        * packet and every tag is valid.
+        */
+       #define TLS_METADATA_INSYNC_MSG_FLAGS_TAG_AUTH_STATUS_SUCCESS \
+               (UINT32_C(0x1) << 12)
+       /*
+        * This enumeration states that there is at least one tag in the
+        * packet and at least one of the tag is invalid. The entire packet
+        * is sent decrypted to the host.
+        */
+       #define TLS_METADATA_INSYNC_MSG_FLAGS_TAG_AUTH_STATUS_FAILURE \
+               (UINT32_C(0x2) << 12)
+       #define TLS_METADATA_INSYNC_MSG_FLAGS_TAG_AUTH_STATUS_LAST \
+               TLS_METADATA_INSYNC_MSG_FLAGS_TAG_AUTH_STATUS_FAILURE
+       /*
+        * A value of 1 indicates that this packet contains a record that
+        * starts in the packet and extends beyond the packet.
+        */
+       #define TLS_METADATA_INSYNC_MSG_FLAGS_HEADER_FLDS_VALID \
+               UINT32_C(0x4000)
+       /*
+        * This value indicates the lower 7-bit of the Crypto Key ID
+        * associated with this operation.
+        */
+       #define TLS_METADATA_INSYNC_MSG_KID_LO_MASK \
+               UINT32_C(0xfe000000)
+       #define TLS_METADATA_INSYNC_MSG_KID_LO_SFT                   25
+       uint16_t        kid_hi;
+       /*
+        * This value indicates the upper 13-bit of the Crypto Key ID
+        * associated with this operation.
+        */
+       #define TLS_METADATA_INSYNC_MSG_KID_HI_MASK UINT32_C(0x1fff)
+       #define TLS_METADATA_INSYNC_MSG_KID_HI_SFT 0
+       /*
+        * This field is only valid when md_type is set to tls_insync. This field
+        * indicates the offset within the current TCP packet where the TLS header
+        * starts. If there are multiple TLS headers in the packet, this provides
+        * the offset of the last TLS header.
+        *
+        * The field is calculated by subtracting TCP sequence number of the first
+        * byte of the TCP payload of the packet from the TCP sequence number of
+        * the last TLS header in the packet.
+        */
+       uint16_t        tls_header_offset;
+       /*
+        * This is the sequence Number of the record that was processed by the HW.
+        * If there are multiple records in a packet, this would be the sequence
+        * number of the last record.
+        */
+       uint64_t        record_seq_num;
+       /*
+        * This field contains cumulative partial GHASH value of all the packets
+        * decrypted by the HW associated with a TLS record. This field is valid
+        * on when packets belonging to have arrived out-of-order and HW could
+        * not decrypt every packet and authenticate the record. Partial GHASH is
+        * only sent out with packet having the TAG field.
+        */
+       uint64_t        partial_ghash;
+} __rte_packed;
+
+/* tls_metadata_resync_msg (size:256b/32B) */
+struct tls_metadata_resync_msg {
+       uint32_t        md_type_link_flags_kid_lo;
+       /* This field classifies the data present in the meta-data. */
+       #define TLS_METADATA_RESYNC_MSG_MD_TYPE_MASK \
+               UINT32_C(0x1f)
+       #define TLS_METADATA_RESYNC_MSG_MD_TYPE_SFT                 0
+       /*
+        * With this setting HW passes the TCP sequence number of the TLS
+        * record that it is requesting a resync on in the meta data.
+        */
+       #define TLS_METADATA_RESYNC_MSG_MD_TYPE_TLS_RESYNC \
+               UINT32_C(0x2)
+       #define TLS_METADATA_RESYNC_MSG_MD_TYPE_LAST \
+               TLS_METADATA_RESYNC_MSG_MD_TYPE_TLS_RESYNC
+       /*
+        * This field indicates where the next metadata block starts. It is
+        * counted in 16B units. A value of zero indicates that there is no
+        * metadata.
+        */
+       #define TLS_METADATA_RESYNC_MSG_LINK_MASK \
+               UINT32_C(0x1e0)
+       #define TLS_METADATA_RESYNC_MSG_LINK_SFT                    5
+       /* These are flags present in the metadata. */
+       #define TLS_METADATA_RESYNC_MSG_FLAGS_MASK \
+               UINT32_C(0x1fffe00)
+       #define TLS_METADATA_RESYNC_MSG_FLAGS_SFT                   9
+       /*
+        * A value of 1 implies that the packet was decrypted by HW. Otherwise
+        * the packet is passed on as it came in on the wire.
+        */
+       #define TLS_METADATA_RESYNC_MSG_FLAGS_DECRYPTED \
+               UINT32_C(0x200)
+       /*
+        * This field indicates the state of the ghash field passed in the
+        * meta-data.
+        */
+       #define TLS_METADATA_RESYNC_MSG_FLAGS_GHASH_MASK \
+               UINT32_C(0xc00)
+       #define TLS_METADATA_RESYNC_MSG_FLAGS_GHASH_SFT              10
+       /*
+        * This enumeration states that the ghash is not valid in the
+        * meta-data.
+        */
+       #define TLS_METADATA_RESYNC_MSG_FLAGS_GHASH_NOT_VALID \
+               (UINT32_C(0x0) << 10)
+       #define TLS_METADATA_RESYNC_MSG_FLAGS_GHASH_LAST \
+               TLS_METADATA_RESYNC_MSG_FLAGS_GHASH_NOT_VALID
+       /* This field indicates the status of tag authentication. */
+       #define TLS_METADATA_RESYNC_MSG_FLAGS_TAG_AUTH_STATUS_MASK \
+               UINT32_C(0x3000)
+       #define TLS_METADATA_RESYNC_MSG_FLAGS_TAG_AUTH_STATUS_SFT    12
+       /*
+        * This enumeration is set when there is no tags present in the
+        * packet.
+        */
+       #define TLS_METADATA_RESYNC_MSG_FLAGS_TAG_AUTH_STATUS_NONE \
+               (UINT32_C(0x0) << 12)
+       #define TLS_METADATA_RESYNC_MSG_FLAGS_TAG_AUTH_STATUS_LAST \
+               TLS_METADATA_RESYNC_MSG_FLAGS_TAG_AUTH_STATUS_NONE
+       /*
+        * A value of 1 indicates that this packet contains a record that
+        * starts in the packet and extends beyond the packet.
+        */
+       #define TLS_METADATA_RESYNC_MSG_FLAGS_HEADER_FLDS_VALID \
+               UINT32_C(0x4000)
+       /*
+        * This value indicates the lower 7-bit of the Crypto Key ID
+        * associated with this operation.
+        */
+       #define TLS_METADATA_RESYNC_MSG_KID_LO_MASK \
+               UINT32_C(0xfe000000)
+       #define TLS_METADATA_RESYNC_MSG_KID_LO_SFT                  25
+       uint16_t        kid_hi;
+       /*
+        * This value indicates the upper 13-bit of the Crypto Key ID
+        * associated with this operation.
+        */
+       #define TLS_METADATA_RESYNC_MSG_KID_HI_MASK UINT32_C(0x1fff)
+       #define TLS_METADATA_RESYNC_MSG_KID_HI_SFT 0
+       /* This field is unused in this context. */
+       uint16_t        metadata_0;
+       /*
+        * This field indicates the TCP sequence number of the TLS record that HW
+        * is requesting a resync on from the Driver. HW will keep a count of the
+        * TLS records it found after this record (delta_records). Driver will
+        * provide the TLS Record Sequence Number associated with the record. HW
+        * will add the delta_records to the Record Sequence Number provided by
+        * the driver and get back on sync.
+        */
+       uint32_t        resync_record_tcp_seq_num;
+       uint32_t        unused0;
+       /* This field is unused in this context. */
+       uint64_t        metadata_2;
+       /* This field is unused in this context. */
+       uint64_t        metadata_3;
+} __rte_packed;
+
 /*******************
  * hwrm_func_reset *
  *******************/
@@ -9464,15 +11836,143 @@ struct hwrm_func_qcaps_output {
         */
        #define HWRM_FUNC_QCAPS_OUTPUT_FLAGS_EXT_PPP_PUSH_MODE_SUPPORTED \
                UINT32_C(0x80)
+       /*
+        * If set to 1, then this function doesn't have the privilege to
+        * configure the EVB mode of the port it uses.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_FLAGS_EXT_EVB_MODE_CFG_NOT_SUPPORTED \
+               UINT32_C(0x100)
+       /*
+        * If set to 1, then the HW and FW support the SoC packet DMA
+        * datapath between SoC and NIC. This function can act as the
+        * HWRM communication transport agent on behalf of the SoC SPD
+        * software module. This capability is only advertised to the
+        * SoC PFs.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_FLAGS_EXT_SOC_SPD_SUPPORTED \
+               UINT32_C(0x200)
+       /*
+        * If set to 1, then this function supports FW_LIVEPATCH for
+        * firmware livepatch commands.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_FLAGS_EXT_FW_LIVEPATCH_SUPPORTED \
+               UINT32_C(0x400)
+       /*
+        * When this bit is '1', it indicates that core firmware is
+        * capable of fast Reset.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_FLAGS_EXT_FAST_RESET_CAPABLE \
+               UINT32_C(0x800)
+       /*
+        * When this bit is '1', it indicates that firmware and hardware
+        * are capable of updating tx_metadata via hwrm_ring_cfg command.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_FLAGS_EXT_TX_METADATA_CFG_CAPABLE \
+               UINT32_C(0x1000)
+       /*
+        * If set to 1, then the device can report the action
+        * needed to activate set nvm options.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_FLAGS_EXT_NVM_OPTION_ACTION_SUPPORTED \
+               UINT32_C(0x2000)
+       /*
+        * When this bit is '1', it indicates that the BD metadata feature
+        * is supported for this function.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_FLAGS_EXT_BD_METADATA_SUPPORTED \
+               UINT32_C(0x4000)
+       /*
+        * When this bit is '1', it indicates that the echo request feature
+        * is supported for this function. If the driver registers for the
+        * echo request asynchronous event, then the firmware can send an
+        * unsolicited echo request to the driver and expect an echo
+        * response.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_FLAGS_EXT_ECHO_REQUEST_SUPPORTED \
+               UINT32_C(0x8000)
+       /*
+        * When this bit is '1', it indicates that core firmware supports
+        * NPAR 1.2 on this function.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_FLAGS_EXT_NPAR_1_2_SUPPORTED \
+               UINT32_C(0x10000)
+       /* When this bit is '1', it indicates that PTM feature is supported. */
+       #define HWRM_FUNC_QCAPS_OUTPUT_FLAGS_EXT_PTP_PTM_SUPPORTED \
+               UINT32_C(0x20000)
+       /* When this bit is '1', it indicates that PPS feature is supported. */
+       #define HWRM_FUNC_QCAPS_OUTPUT_FLAGS_EXT_PTP_PPS_SUPPORTED \
+               UINT32_C(0x40000)
+       /*
+        * When this bit is '1', it indicates that VF config. change
+        * async event is supported on the parent PF if the async.
+        * event is registered by the PF.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_FLAGS_EXT_VF_CFG_ASYNC_FOR_PF_SUPPORTED \
+               UINT32_C(0x80000)
+       /*
+        * When this bit is '1', the NIC supports configuration of
+        * partition_min_bw and partition_max_bw.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_FLAGS_EXT_PARTITION_BW_SUPPORTED \
+               UINT32_C(0x100000)
+       /*
+        * When this bit is '1', the FW supports configuration of
+        * PCP and TPID values of the default VLAN.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_FLAGS_EXT_DFLT_VLAN_TPID_PCP_SUPPORTED \
+               UINT32_C(0x200000)
+       /* When this bit is '1', it indicates that HW and FW support KTLS. */
+       #define HWRM_FUNC_QCAPS_OUTPUT_FLAGS_EXT_KTLS_SUPPORTED \
+               UINT32_C(0x400000)
+       /*
+        * When this bit is '1', the firmware supports HWRM_PORT_EP_TX_CFG
+        * and HWRM_PORT_EP_TX_QCFG for endpoint rate control, and additions
+        * to HWRM_QUEUE_GLOBAL_CFG and HWRM_QUEUE_GLOBAL_QCFG for receive
+        * rate control.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_FLAGS_EXT_EP_RATE_CONTROL \
+               UINT32_C(0x800000)
        /* The maximum number of SCHQs supported by this device. */
        uint8_t max_schqs;
-       uint8_t unused_1[2];
+       uint8_t mpc_chnls_cap;
+       /*
+        * When this bit is '1', it indicates that HW and firmware
+        * supports the use of a MPC channel with destination set
+        * to the TX crypto engine block.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_MPC_CHNLS_CAP_TCE         UINT32_C(0x1)
+       /*
+        * When this bit is '1', it indicates that HW and firmware
+        * supports the use of a MPC channel with destination set
+        * to the RX crypto engine block.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_MPC_CHNLS_CAP_RCE         UINT32_C(0x2)
+       /*
+        * When this bit is '1', it indicates that HW and firmware
+        * supports the use of a MPC channel with destination set
+        * to the TX configurable flow processing block.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_MPC_CHNLS_CAP_TE_CFA      UINT32_C(0x4)
+       /*
+        * When this bit is '1', it indicates that HW and firmware
+        * supports the use of a MPC channel with destination set
+        * to the RX configurable flow processing block.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_MPC_CHNLS_CAP_RE_CFA      UINT32_C(0x8)
+       /*
+        * When this bit is '1', it indicates that HW and firmware
+        * supports the use of a MPC channel with destination set
+        * to the primate processor block.
+        */
+       #define HWRM_FUNC_QCAPS_OUTPUT_MPC_CHNLS_CAP_PRIMATE     UINT32_C(0x10)
+       uint8_t unused_1;
        /*
         * This field is used in Output records to indicate that the output
         * is completely written to RAM.  This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -9523,7 +12023,7 @@ struct hwrm_func_qcfg_input {
        uint8_t unused_0[6];
 } __rte_packed;
 
-/* hwrm_func_qcfg_output (size:768b/96B) */
+/* hwrm_func_qcfg_output (size:832b/104B) */
 struct hwrm_func_qcfg_output {
        /* The specific error status for the command. */
        uint16_t        error_code;
@@ -9596,6 +12096,8 @@ struct hwrm_func_qcfg_output {
                UINT32_C(0x10)
        /*
         * If set to 1, then multi-host mode is active for this function.
+        * The NIC is attached to two or more independent host systems
+        * through two or more PCIe endpoints.
         * If set to 0, then multi-host mode is inactive for this function
         * or not applicable for this device.
         */
@@ -9643,6 +12145,38 @@ struct hwrm_func_qcfg_output {
         */
        #define HWRM_FUNC_QCFG_OUTPUT_FLAGS_PPP_PUSH_MODE_ENABLED \
                UINT32_C(0x400)
+       /*
+        * If set to 1, then the firmware will notify driver using async
+        * event when a ring is disabled due to a Hardware error.
+        */
+       #define HWRM_FUNC_QCFG_OUTPUT_FLAGS_RING_MONITOR_ENABLED \
+               UINT32_C(0x800)
+       /*
+        * If set to 1, then the firmware and all currently registered driver
+        * instances support fast reset. The fast reset support will be
+        * updated dynamically based on the driver interface advertisement.
+        * If set to 0, then the adapter is not currently able to initiate
+        * fast reset.
+        */
+       #define HWRM_FUNC_QCFG_OUTPUT_FLAGS_FAST_RESET_ALLOWED \
+               UINT32_C(0x1000)
+       /*
+        * If set to 1, then multi-root mode is active for this function.
+        * The NIC is attached to a single host with a single operating
+        * system, but through two or more PCIe endpoints.
+        * If set to 0, then multi-root mode is inactive for this function
+        * or not applicable for this device.
+        */
+       #define HWRM_FUNC_QCFG_OUTPUT_FLAGS_MULTI_ROOT \
+               UINT32_C(0x2000)
+       /*
+        * This flag indicates RDMA support for child VFS of
+        * a physical function.
+        * If set to 1, RoCE is supported on all child VFs.
+        * If set to 0, RoCE is disabled on all child VFs.
+        */
+       #define HWRM_FUNC_QCFG_OUTPUT_FLAGS_ENABLE_RDMA_SRIOV \
+               UINT32_C(0x4000)
        /*
         * This value is current MAC address configured for this
         * function. A value of 00-00-00-00-00-00 indicates no
@@ -9686,12 +12220,15 @@ struct hwrm_func_qcfg_output {
        /* The allocated number of vnics to the function. */
        uint16_t        alloc_vnics;
        /*
-        * The maximum transmission unit of the function.
-        * If the reported mtu value is non-zero then it will used for the
-        * rings allocated on this function. otherwise the default
+        * The maximum transmission unit of the function
+        * configured by the admin pf.
+        * If the reported mtu value is non-zero then it will be used for the
+        * rings allocated on this function, otherwise the default
         * value is used if ring MTU is not specified.
+        * The driver cannot use any MTU bigger than this value
+        * if it is non-zero.
         */
-       uint16_t        mtu;
+       uint16_t        admin_mtu;
        /*
         * The maximum receive unit of the function.
         * For vnics allocated on this function, this default
@@ -9715,6 +12252,8 @@ struct hwrm_func_qcfg_output {
        #define HWRM_FUNC_QCFG_OUTPUT_PORT_PARTITION_TYPE_NPAR1_5 UINT32_C(0x3)
        /* Network Partitioning 2.0 */
        #define HWRM_FUNC_QCFG_OUTPUT_PORT_PARTITION_TYPE_NPAR2_0 UINT32_C(0x4)
+       /* Network Partitioning 1.2 */
+       #define HWRM_FUNC_QCFG_OUTPUT_PORT_PARTITION_TYPE_NPAR1_2 UINT32_C(0x5)
        /* Unknown */
        #define HWRM_FUNC_QCFG_OUTPUT_PORT_PARTITION_TYPE_UNKNOWN \
                UINT32_C(0xff)
@@ -9738,11 +12277,9 @@ struct hwrm_func_qcfg_output {
        uint16_t        dflt_vnic_id;
        uint16_t        max_mtu_configured;
        /*
-        * Minimum BW allocated for this function.
-        * The HWRM will translate this value into byte counter and
-        * time interval used for the scheduler inside the device.
-        * A value of 0 indicates the minimum bandwidth is not
-        * configured.
+        * Minimum guaranteed transmit bandwidth for this function. When
+        * specified for a PF, does not affect traffic from the PF's child VFs.
+        * A value of 0 indicates the minimum bandwidth is not configured.
         */
        uint32_t        min_bw;
        /* The bandwidth value. */
@@ -9776,7 +12313,7 @@ struct hwrm_func_qcfg_output {
        /* Value is in Gb or GB (base 10). */
        #define HWRM_FUNC_QCFG_OUTPUT_MIN_BW_BW_VALUE_UNIT_GIGA \
                (UINT32_C(0x6) << 29)
-       /* Value is in 1/100th of a percentage of total bandwidth. */
+       /* Value is in 1/100th of a percentage of link bandwidth. */
        #define HWRM_FUNC_QCFG_OUTPUT_MIN_BW_BW_VALUE_UNIT_PERCENT1_100 \
                (UINT32_C(0x1) << 29)
        /* Invalid unit */
@@ -9785,11 +12322,9 @@ struct hwrm_func_qcfg_output {
        #define HWRM_FUNC_QCFG_OUTPUT_MIN_BW_BW_VALUE_UNIT_LAST \
                HWRM_FUNC_QCFG_OUTPUT_MIN_BW_BW_VALUE_UNIT_INVALID
        /*
-        * Maximum BW allocated for this function.
-        * The HWRM will translate this value into byte counter and
-        * time interval used for the scheduler inside the device.
-        * A value of 0 indicates that the maximum bandwidth is not
-        * configured.
+        * Maximum transmit rate for this function. When specified for a PF,
+        * does not affect traffic from the PF's child VFs.
+        * A value of 0 indicates that the maximum bandwidth is not configured.
         */
        uint32_t        max_bw;
        /* The bandwidth value. */
@@ -9823,7 +12358,7 @@ struct hwrm_func_qcfg_output {
        /* Value is in Gb or GB (base 10). */
        #define HWRM_FUNC_QCFG_OUTPUT_MAX_BW_BW_VALUE_UNIT_GIGA \
                (UINT32_C(0x6) << 29)
-       /* Value is in 1/100th of a percentage of total bandwidth. */
+       /* Value is in 1/100th of a percentage of link bandwidth. */
        #define HWRM_FUNC_QCFG_OUTPUT_MAX_BW_BW_VALUE_UNIT_PERCENT1_100 \
                (UINT32_C(0x1) << 29)
        /* Invalid unit */
@@ -9959,7 +12494,127 @@ struct hwrm_func_qcfg_output {
        #define HWRM_FUNC_QCFG_OUTPUT_SVIF_INFO_SVIF_SFT       0
        /* This field specifies whether svif is valid or not */
        #define HWRM_FUNC_QCFG_OUTPUT_SVIF_INFO_SVIF_VALID     UINT32_C(0x8000)
-       uint8_t unused_2[7];
+       uint8_t mpc_chnls;
+       /*
+        * When this bit is '1', it indicates that a MPC channel with
+        * destination set to the TX crypto engine block is enabled.
+        */
+       #define HWRM_FUNC_QCFG_OUTPUT_MPC_CHNLS_TCE_ENABLED \
+               UINT32_C(0x1)
+       /*
+        * When this bit is '1', it indicates that a MPC channel with
+        * destination set to the RX crypto engine block is enabled.
+        */
+       #define HWRM_FUNC_QCFG_OUTPUT_MPC_CHNLS_RCE_ENABLED \
+               UINT32_C(0x2)
+       /*
+        * When this bit is '1', it indicates that a MPC channel with
+        * destination set to the TX configurable flow processing block is
+        * enabled.
+        */
+       #define HWRM_FUNC_QCFG_OUTPUT_MPC_CHNLS_TE_CFA_ENABLED \
+               UINT32_C(0x4)
+       /*
+        * When this bit is '1', it indicates that a MPC channel with
+        * destination set to the RX configurable flow processing block is
+        * enabled.
+        */
+       #define HWRM_FUNC_QCFG_OUTPUT_MPC_CHNLS_RE_CFA_ENABLED \
+               UINT32_C(0x8)
+       /*
+        * When this bit is '1', it indicates that a MPC channel with
+        * destination set to the primate processor block is enabled.
+        */
+       #define HWRM_FUNC_QCFG_OUTPUT_MPC_CHNLS_PRIMATE_ENABLED \
+               UINT32_C(0x10)
+       uint8_t unused_2[3];
+       /*
+        * Minimum guaranteed bandwidth for the network partition made up
+        * of the caller physical function and all its child virtual
+        * functions. The rate is specified as a percentage of the bandwidth
+        * of the link the partition is associated with. A value of 0
+        * indicates that no minimum bandwidth is configured.
+        * The format of this field is defined to match min_bw, even though
+        * the partition minimum rate is always specified as a percentage.
+        */
+       uint32_t        partition_min_bw;
+       /* The bandwidth value. */
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MIN_BW_BW_VALUE_MASK \
+               UINT32_C(0xfffffff)
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MIN_BW_BW_VALUE_SFT \
+               0
+       /*
+        * The granularity of the value (bits or bytes). Firmware never sets
+        * this field.
+        */
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MIN_BW_SCALE \
+               UINT32_C(0x10000000)
+       /* Value is in bits. */
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MIN_BW_SCALE_BITS \
+               (UINT32_C(0x0) << 28)
+       /* Value is in bytes. */
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MIN_BW_SCALE_BYTES \
+               (UINT32_C(0x1) << 28)
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MIN_BW_SCALE_LAST \
+               HWRM_FUNC_QCFG_OUTPUT_PARTITION_MIN_BW_SCALE_BYTES
+       /* Always percentage of link bandwidth. */
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MIN_BW_BW_VALUE_UNIT_MASK \
+               UINT32_C(0xe0000000)
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MIN_BW_BW_VALUE_UNIT_SFT \
+               29
+       /* Bandwidth value is in hundredths of a percent of link bandwidth. */
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MIN_BW_BW_VALUE_UNIT_PERCENT1_100 \
+               (UINT32_C(0x1) << 29)
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MIN_BW_BW_VALUE_UNIT_LAST \
+               HWRM_FUNC_QCFG_OUTPUT_PARTITION_MIN_BW_BW_VALUE_UNIT_PERCENT1_100
+       /*
+        * The maximum bandwidth that may be used by the network partition
+        * made up of the caller physical function and all its child virtual
+        * functions. The rate is specified as a percentage of the bandwidth
+        * of the link the partition is associated with. A value of 0
+        * indicates that no maximum bandwidth is configured.
+        * The format of this field is defined to match max_bw, even though
+        * the partition bandwidth must be specified as a percentage.
+        */
+       uint32_t        partition_max_bw;
+       /* The bandwidth value. */
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MAX_BW_BW_VALUE_MASK \
+               UINT32_C(0xfffffff)
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MAX_BW_BW_VALUE_SFT \
+               0
+       /*
+        * The granularity of the value (bits or bytes). Firmware never sets
+        * this field.
+        */
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MAX_BW_SCALE \
+               UINT32_C(0x10000000)
+       /* Value is in bits. */
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MAX_BW_SCALE_BITS \
+               (UINT32_C(0x0) << 28)
+       /* Value is in bytes. */
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MAX_BW_SCALE_BYTES \
+               (UINT32_C(0x1) << 28)
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MAX_BW_SCALE_LAST \
+               HWRM_FUNC_QCFG_OUTPUT_PARTITION_MAX_BW_SCALE_BYTES
+       /* Always a percentage of link bandwidth. */
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MAX_BW_BW_VALUE_UNIT_MASK \
+               UINT32_C(0xe0000000)
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MAX_BW_BW_VALUE_UNIT_SFT \
+               29
+       /* Value is in hundredths of a percent of link bandwidth. */
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MAX_BW_BW_VALUE_UNIT_PERCENT1_100 \
+               (UINT32_C(0x1) << 29)
+       #define HWRM_FUNC_QCFG_OUTPUT_PARTITION_MAX_BW_BW_VALUE_UNIT_LAST \
+               HWRM_FUNC_QCFG_OUTPUT_PARTITION_MAX_BW_BW_VALUE_UNIT_PERCENT1_100
+       /*
+        * The maximum transmission unit of the function
+        * configured by the host pf/vf.
+        * If the reported mtu value is non-zero then it will be used for the
+        * rings allocated on this function, otherwise the default
+        * value is used if ring MTU is not specified.
+        */
+       uint16_t        host_mtu;
+       uint8_t unused_3;
        /*
         * This field is used in Output records to indicate that the output
         * is completely written to RAM.  This field should be read as '1'
@@ -9975,7 +12630,7 @@ struct hwrm_func_qcfg_output {
  *****************/
 
 
-/* hwrm_func_cfg_input (size:768b/96B) */
+/* hwrm_func_cfg_input (size:832b/104B) */
 struct hwrm_func_cfg_input {
        /* The HWRM command request type. */
        uint16_t        req_type;
@@ -10008,7 +12663,7 @@ struct hwrm_func_cfg_input {
        /*
         * Function ID of the function that is being
         * configured.
-        * If set to 0xFF... (All Fs), then the the configuration is
+        * If set to 0xFF... (All Fs), then the configuration is
         * for the requesting function.
         */
        uint16_t        fid;
@@ -10225,12 +12880,26 @@ struct hwrm_func_cfg_input {
         */
        #define HWRM_FUNC_CFG_INPUT_FLAGS_PPP_PUSH_MODE_DISABLE \
                UINT32_C(0x10000000)
+       /*
+        * If this bit is set to 1, the driver is requesting FW to enable
+        * the BD_METADATA feature for this function. The FW returns error
+        * on this request if the TX_METADATA is enabled for this function.
+        */
+       #define HWRM_FUNC_CFG_INPUT_FLAGS_BD_METADATA_ENABLE \
+               UINT32_C(0x20000000)
+       /*
+        * If this bit is set to 1, the driver is requesting FW to disable
+        * the BD_METADATA feature for this function. The FW returns error
+        * on this request if the TX_METADATA is enabled for this function.
+        */
+       #define HWRM_FUNC_CFG_INPUT_FLAGS_BD_METADATA_DISABLE \
+               UINT32_C(0x40000000)
        uint32_t        enables;
        /*
-        * This bit must be '1' for the mtu field to be
+        * This bit must be '1' for the admin_mtu field to be
         * configured.
         */
-       #define HWRM_FUNC_CFG_INPUT_ENABLES_MTU \
+       #define HWRM_FUNC_CFG_INPUT_ENABLES_ADMIN_MTU \
                UINT32_C(0x1)
        /*
         * This bit must be '1' for the mru field to be
@@ -10377,6 +13046,39 @@ struct hwrm_func_cfg_input {
        #define HWRM_FUNC_CFG_INPUT_ENABLES_SCHQ_ID \
                UINT32_C(0x1000000)
        /*
+        * This bit must be '1' for the mpc_chnls field to be
+        * configured.
+        */
+       #define HWRM_FUNC_CFG_INPUT_ENABLES_MPC_CHNLS \
+               UINT32_C(0x2000000)
+       /*
+        * This bit must be '1' for the partition_min_bw field to be
+        * configured.
+        */
+       #define HWRM_FUNC_CFG_INPUT_ENABLES_PARTITION_MIN_BW \
+               UINT32_C(0x4000000)
+       /*
+        * This bit must be '1' for the partition_max_bw field to be
+        * configured.
+        */
+       #define HWRM_FUNC_CFG_INPUT_ENABLES_PARTITION_MAX_BW \
+               UINT32_C(0x8000000)
+       /*
+        * This bit must be '1' for the tpid field to be
+        * configured. This bit is only valid when dflt_vlan enable
+        * bit is set.
+        */
+       #define HWRM_FUNC_CFG_INPUT_ENABLES_TPID \
+               UINT32_C(0x10000000)
+       /*
+        * This bit must be '1' for the host_mtu field to be
+        * configured.
+        */
+       #define HWRM_FUNC_CFG_INPUT_ENABLES_HOST_MTU \
+               UINT32_C(0x20000000)
+       /*
+        * This field can be used by the admin PF to configure
+        * mtu of foster PFs.
         * The maximum transmission unit of the function.
         * The HWRM should make sure that the mtu of
         * the function does not exceed the mtu of the physical
@@ -10389,7 +13091,7 @@ struct hwrm_func_cfg_input {
         * The HWRM should make sure that the mtu of each transmit
         * ring that is assigned to a function has a valid mtu.
         */
-       uint16_t        mtu;
+       uint16_t        admin_mtu;
        /*
         * The maximum receive unit of the function.
         * The HWRM should make sure that the mru of
@@ -10453,9 +13155,9 @@ struct hwrm_func_cfg_input {
         */
        uint32_t        dflt_ip_addr[4];
        /*
-        * Minimum BW allocated for this function.
-        * The HWRM will translate this value into byte counter and
-        * time interval used for the scheduler inside the device.
+        * Minimum guaranteed transmit bandwidth for this function. When
+        * specified for a PF, does not affect traffic from the PF's child VFs.
+        * A value of 0 indicates the minimum bandwidth is not configured.
         */
        uint32_t        min_bw;
        /* The bandwidth value. */
@@ -10498,9 +13200,9 @@ struct hwrm_func_cfg_input {
        #define HWRM_FUNC_CFG_INPUT_MIN_BW_BW_VALUE_UNIT_LAST \
                HWRM_FUNC_CFG_INPUT_MIN_BW_BW_VALUE_UNIT_INVALID
        /*
-        * Maximum BW allocated for this function.
-        * The HWRM will translate this value into byte counter and
-        * time interval used for the scheduler inside the device.
+        * Maximum transmit rate for this function. When specified for a PF,
+        * does not affect traffic from the PF's child VFs.
+        * A value of 0 indicates that the maximum bandwidth is not configured.
         */
        uint32_t        max_bw;
        /* The bandwidth value. */
@@ -10579,16 +13281,27 @@ struct hwrm_func_cfg_input {
         */
        uint8_t allowed_vlan_pris;
        /*
-        * The HWRM shall allow a PF driver to change EVB mode for the
-        * partition it belongs to.
-        * The HWRM shall not allow a VF driver to change the EVB mode.
-        * The HWRM shall take into account the switching of EVB mode
-        * from one to another and reconfigure hardware resources as
-        * appropriately.
-        * The switching from VEB to VEPA mode requires
-        * the disabling of the loopback traffic. Additionally,
-        * source knock outs are handled differently in VEB and VEPA
-        * modes.
+        * The evb_mode is configured on a per port basis. The default evb_mode
+        * is configured based on the NVM EVB mode setting upon firmware
+        * initialization. The HWRM allows a PF driver to change EVB mode for a
+        * port used by the PF only when one of the following conditions is
+        * satisfied.
+        * 1. The current operating mode is single function mode.
+        *    (ie. one PF per port)
+        * 2. For SmartNIC, any one of the PAXC PFs is permitted to change the
+        *    EVB mode of the port used by the PAXC PF. None of the X86 PFs
+        *    should have privileges.
+        * The HWRM doesn't permit any PFs to change the underlying EVB mode
+        * when running as MHB or NPAR mode in performance NIC configuration.
+        * The HWRM doesn't permit a VF driver to change the EVB mode.
+        * Once the HWRM determines a function doesn't meet the conditions
+        * to configure the EVB mode, it sets the evb_mode_cfg_not_supported
+        * flag in HWRM_FUNC_QCAPS command response for the function.
+        * The HWRM takes into account the switching of EVB mode from one to
+        * another and reconfigure hardware resources as reqiured. The
+        * switching from VEB to VEPA mode requires the disabling of the
+        * loopback traffic. Additionally, source knockouts are handled
+        * differently in VEB and VEPA modes.
         */
        uint8_t evb_mode;
        /* No Edge Virtual Bridging (EVB) */
@@ -10642,7 +13355,178 @@ struct hwrm_func_cfg_input {
        uint16_t        num_mcast_filters;
        /* Used by a PF driver to associate a SCHQ with a VF. */
        uint16_t        schq_id;
-       uint8_t unused_0[6];
+       uint16_t        mpc_chnls;
+       /*
+        * When this bit is '1', the caller requests to enable a MPC
+        * channel with destination to the TX crypto engine block.
+        * When this bit is â€˜0’, this flag has no effect.
+        */
+       #define HWRM_FUNC_CFG_INPUT_MPC_CHNLS_TCE_ENABLE          UINT32_C(0x1)
+       /*
+        * When this bit is '1', the caller requests to disable a MPC
+        * channel with destination to the TX crypto engine block.
+        * When this bit is â€˜0’, this flag has no effect.
+        */
+       #define HWRM_FUNC_CFG_INPUT_MPC_CHNLS_TCE_DISABLE         UINT32_C(0x2)
+       /*
+        * When this bit is '1', the caller requests to enable a MPC
+        * channel with destination to the RX crypto engine block.
+        * When this bit is â€˜0’, this flag has no effect.
+        */
+       #define HWRM_FUNC_CFG_INPUT_MPC_CHNLS_RCE_ENABLE          UINT32_C(0x4)
+       /*
+        * When this bit is '1', the caller requests to disable a MPC
+        * channel with destination to the RX crypto engine block.
+        * When this bit is â€˜0’, this flag has no effect.
+        */
+       #define HWRM_FUNC_CFG_INPUT_MPC_CHNLS_RCE_DISABLE         UINT32_C(0x8)
+       /*
+        * When this bit is '1', the caller requests to enable a MPC
+        * channel with destination to the TX configurable flow processing
+        * block. When this bit is â€˜0’, this flag has no effect.
+        */
+       #define HWRM_FUNC_CFG_INPUT_MPC_CHNLS_TE_CFA_ENABLE \
+               UINT32_C(0x10)
+       /*
+        * When this bit is '1', the caller requests to disable a MPC
+        * channel with destination to the TX configurable flow processing
+        * block. When this bit is â€˜0’, this flag has no effect.
+        */
+       #define HWRM_FUNC_CFG_INPUT_MPC_CHNLS_TE_CFA_DISABLE \
+               UINT32_C(0x20)
+       /*
+        * When this bit is '1', the caller requests to enable a MPC
+        * channel with destination to the RX configurable flow processing
+        * block. When this bit is â€˜0’, this flag has no effect.
+        */
+       #define HWRM_FUNC_CFG_INPUT_MPC_CHNLS_RE_CFA_ENABLE \
+               UINT32_C(0x40)
+       /*
+        * When this bit is '1', the caller requests to disable a MPC
+        * channel with destination to the RX configurable flow processing
+        * block. When this bit is â€˜0’, this flag has no effect.
+        */
+       #define HWRM_FUNC_CFG_INPUT_MPC_CHNLS_RE_CFA_DISABLE \
+               UINT32_C(0x80)
+       /*
+        * When this bit is '1', the caller requests to enable a MPC
+        * channel with destination to the primate processor block.
+        * When this bit is â€˜0’, this flag has no effect.
+        */
+       #define HWRM_FUNC_CFG_INPUT_MPC_CHNLS_PRIMATE_ENABLE \
+               UINT32_C(0x100)
+       /*
+        * When this bit is '1', the caller requests to disable a MPC
+        * channel with destination to the primate processor block.
+        * When this bit is â€˜0’, this flag has no effect.
+        */
+       #define HWRM_FUNC_CFG_INPUT_MPC_CHNLS_PRIMATE_DISABLE \
+               UINT32_C(0x200)
+       /*
+        * Minimum guaranteed bandwidth for the network partition made up
+        * of the caller physical function and all its child virtual
+        * functions. The rate is specified as a percentage of the bandwidth
+        * of the link the partition is associated with. A value of 0
+        * indicates that no minimum bandwidth is configured. The sum of the
+        * minimum bandwidths for all partitions on a link must not exceed
+        * 100%.
+        * The format of this field is defined to match min_bw, even though
+        * it does not allow all the options for min_bw at this time.
+        */
+       uint32_t        partition_min_bw;
+       /* The bandwidth value. */
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MIN_BW_BW_VALUE_MASK \
+               UINT32_C(0xfffffff)
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MIN_BW_BW_VALUE_SFT \
+               0
+       /*
+        * The granularity of the value (bits or bytes). Firmware ignores
+        * this field.
+        */
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MIN_BW_SCALE \
+               UINT32_C(0x10000000)
+       /* Value is in bits. */
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MIN_BW_SCALE_BITS \
+               (UINT32_C(0x0) << 28)
+       /* Value is in bytes. */
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MIN_BW_SCALE_BYTES \
+               (UINT32_C(0x1) << 28)
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MIN_BW_SCALE_LAST \
+               HWRM_FUNC_CFG_INPUT_PARTITION_MIN_BW_SCALE_BYTES
+       /* Bandwidth units. Must be set to percent1_100. */
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MIN_BW_BW_VALUE_UNIT_MASK \
+               UINT32_C(0xe0000000)
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MIN_BW_BW_VALUE_UNIT_SFT \
+               29
+       /* Value is in hundredths of a percent of link bandwidth. */
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MIN_BW_BW_VALUE_UNIT_PERCENT1_100 \
+               (UINT32_C(0x1) << 29)
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MIN_BW_BW_VALUE_UNIT_LAST \
+               HWRM_FUNC_CFG_INPUT_PARTITION_MIN_BW_BW_VALUE_UNIT_PERCENT1_100
+       /*
+        * The maximum bandwidth that may be used by the network partition
+        * made up of the caller physical function and all its child virtual
+        * functions. The rate is specified as a percentage of the bandwidth
+        * of the link the partition is associated with. A value of 0
+        * indicates that no maximum bandwidth is configured.
+        * The format of this field is defined to match max_bw, even though it
+        * does not allow all the options for max_bw at this time.
+        */
+       uint32_t        partition_max_bw;
+       /* The bandwidth value. */
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MAX_BW_BW_VALUE_MASK \
+               UINT32_C(0xfffffff)
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MAX_BW_BW_VALUE_SFT \
+               0
+       /*
+        * The granularity of the value (bits or bytes). Firmware ignores
+        * this field.
+        */
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MAX_BW_SCALE \
+               UINT32_C(0x10000000)
+       /* Value is in bits. */
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MAX_BW_SCALE_BITS \
+               (UINT32_C(0x0) << 28)
+       /* Value is in bytes. */
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MAX_BW_SCALE_BYTES \
+               (UINT32_C(0x1) << 28)
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MAX_BW_SCALE_LAST \
+               HWRM_FUNC_CFG_INPUT_PARTITION_MAX_BW_SCALE_BYTES
+       /* Bandwidth units. Must be set to percent1_100. */
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MAX_BW_BW_VALUE_UNIT_MASK \
+               UINT32_C(0xe0000000)
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MAX_BW_BW_VALUE_UNIT_SFT \
+               29
+       /* Value is in hundredths of a percent of link bandwidth. */
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MAX_BW_BW_VALUE_UNIT_PERCENT1_100 \
+               (UINT32_C(0x1) << 29)
+       #define HWRM_FUNC_CFG_INPUT_PARTITION_MAX_BW_BW_VALUE_UNIT_LAST \
+               HWRM_FUNC_CFG_INPUT_PARTITION_MAX_BW_BW_VALUE_UNIT_PERCENT1_100
+       /*
+        * The TPID for the function for which default VLAN
+        * is configured. If the dflt_vlan is not specified
+        * with the TPID, FW returns error. If the TPID is
+        * not specified with dflt_vlan, the default TPID of
+        * 0x8100 will be used. This field is specified in
+        * network byte order.
+        */
+       uint16_t        tpid;
+       /*
+        * This field can be used by the host PF to configure
+        * mtu value.
+        * The maximum transmission unit of the function.
+        * The HWRM should make sure that the mtu of
+        * the function does not exceed the mtu of the physical
+        * port that this function is associated with.
+        *
+        * In addition to configuring mtu per function, it is
+        * possible to configure mtu per transmit ring.
+        * By default, the mtu of each transmit ring associated
+        * with a function is equal to the mtu of the function.
+        * The HWRM should make sure that the mtu of each transmit
+        * ring that is assigned to a function has a valid mtu.
+        */
+       uint16_t        host_mtu;
 } __rte_packed;
 
 /* hwrm_func_cfg_output (size:128b/16B) */
@@ -10889,7 +13773,7 @@ struct hwrm_func_qstats_ext_input {
        uint8_t unused_1[4];
 } __rte_packed;
 
-/* hwrm_func_qstats_ext_output (size:1472b/184B) */
+/* hwrm_func_qstats_ext_output (size:1536b/192B) */
 struct hwrm_func_qstats_ext_output {
        /* The specific error status for the command. */
        uint16_t        error_code;
@@ -10941,6 +13825,8 @@ struct hwrm_func_qstats_ext_output {
        uint64_t        rx_tpa_bytes;
        /* Number of TPA errors */
        uint64_t        rx_tpa_errors;
+       /* Number of TPA errors */
+       uint64_t        rx_tpa_events;
        uint8_t unused_0[7];
        /*
         * This field is used in Output records to indicate that the output
@@ -11195,6 +14081,28 @@ struct hwrm_func_drv_rgtr_input {
         */
        #define HWRM_FUNC_DRV_RGTR_INPUT_FLAGS_MASTER_SUPPORT \
                UINT32_C(0x40)
+       /*
+        * When this bit is 1, the function is indicating the support of the
+        * fast reset capability. Fast reset support will be used by
+        * firmware only if all the driver instances support fast reset
+        * process. By setting this bit, driver is indicating support for
+        * corresponding async event completion message. These will be
+        * delivered to the driver even if they did not register for it.
+        * If supported, after receiving reset notify async event with fast
+        * reset flag set in event data1, then all the drivers have to tear
+        * down their resources without sending any HWRM commands to FW.
+        */
+       #define HWRM_FUNC_DRV_RGTR_INPUT_FLAGS_FAST_RESET_SUPPORT \
+               UINT32_C(0x80)
+       /*
+        * When this bit is 1, the function's driver is indicating the
+        * support of handling the vnic_rss_cfg's INVALID_PARAM error
+        * returned by firmware. Firmware returns error, if host driver
+        * configures the invalid hash_types bit combination for a given
+        * IP version.
+        */
+       #define HWRM_FUNC_DRV_RGTR_INPUT_FLAGS_RSS_STRICT_HASH_TYPE_SUPPORT \
+               UINT32_C(0x100)
        uint32_t        enables;
        /*
         * This bit must be '1' for the os_type field to be
@@ -11842,6 +14750,125 @@ struct hwrm_func_resource_qcaps_output {
        uint8_t valid;
 } __rte_packed;
 
+/*****************************
+ * hwrm_func_vf_resource_cfg *
+ *****************************/
+
+
+/* hwrm_func_vf_resource_cfg_input (size:448b/56B) */
+struct hwrm_func_vf_resource_cfg_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       /* VF ID that is being configured by PF */
+       uint16_t        vf_id;
+       /* Maximum guaranteed number of MSI-X vectors for the function */
+       uint16_t        max_msix;
+       /* Minimum guaranteed number of RSS/COS contexts */
+       uint16_t        min_rsscos_ctx;
+       /* Maximum non-guaranteed number of RSS/COS contexts */
+       uint16_t        max_rsscos_ctx;
+       /* Minimum guaranteed number of completion rings */
+       uint16_t        min_cmpl_rings;
+       /* Maximum non-guaranteed number of completion rings */
+       uint16_t        max_cmpl_rings;
+       /* Minimum guaranteed number of transmit rings */
+       uint16_t        min_tx_rings;
+       /* Maximum non-guaranteed number of transmit rings */
+       uint16_t        max_tx_rings;
+       /* Minimum guaranteed number of receive rings */
+       uint16_t        min_rx_rings;
+       /* Maximum non-guaranteed number of receive rings */
+       uint16_t        max_rx_rings;
+       /* Minimum guaranteed number of L2 contexts */
+       uint16_t        min_l2_ctxs;
+       /* Maximum non-guaranteed number of L2 contexts */
+       uint16_t        max_l2_ctxs;
+       /* Minimum guaranteed number of VNICs */
+       uint16_t        min_vnics;
+       /* Maximum non-guaranteed number of VNICs */
+       uint16_t        max_vnics;
+       /* Minimum guaranteed number of statistic contexts */
+       uint16_t        min_stat_ctx;
+       /* Maximum non-guaranteed number of statistic contexts */
+       uint16_t        max_stat_ctx;
+       /* Minimum guaranteed number of ring groups */
+       uint16_t        min_hw_ring_grps;
+       /* Maximum non-guaranteed number of ring groups */
+       uint16_t        max_hw_ring_grps;
+       uint16_t        flags;
+       /*
+        * If this bit is set, all minimum resources requested should be
+        * reserved if minimum >= 1, otherwise return error. In case of
+        * error, keep all existing reservations before the call.
+        */
+       #define HWRM_FUNC_VF_RESOURCE_CFG_INPUT_FLAGS_MIN_GUARANTEED \
+               UINT32_C(0x1)
+       uint8_t unused_0[2];
+} __rte_packed;
+
+/* hwrm_func_vf_resource_cfg_output (size:256b/32B) */
+struct hwrm_func_vf_resource_cfg_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       /* Reserved number of RSS/COS contexts */
+       uint16_t        reserved_rsscos_ctx;
+       /* Reserved number of completion rings */
+       uint16_t        reserved_cmpl_rings;
+       /* Reserved number of transmit rings */
+       uint16_t        reserved_tx_rings;
+       /* Reserved number of receive rings */
+       uint16_t        reserved_rx_rings;
+       /* Reserved number of L2 contexts */
+       uint16_t        reserved_l2_ctxs;
+       /* Reserved number of VNICs */
+       uint16_t        reserved_vnics;
+       /* Reserved number of statistic contexts */
+       uint16_t        reserved_stat_ctx;
+       /* Reserved number of ring groups */
+       uint16_t        reserved_hw_ring_grps;
+       uint8_t unused_0[7];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM.  This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal processor,
+        * the order of writes has to be such that this field is written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
 /*********************************
  * hwrm_func_backing_store_qcaps *
  *********************************/
@@ -11879,7 +14906,7 @@ struct hwrm_func_backing_store_qcaps_input {
        uint64_t        resp_addr;
 } __rte_packed;
 
-/* hwrm_func_backing_store_qcaps_output (size:640b/80B) */
+/* hwrm_func_backing_store_qcaps_output (size:832b/104B) */
 struct hwrm_func_backing_store_qcaps_output {
        /* The specific error status for the command. */
        uint16_t        error_code;
@@ -11993,16 +15020,129 @@ struct hwrm_func_backing_store_qcaps_output {
         * before the first time context load.
         */
        uint8_t ctx_kind_initializer;
-       /* Reserved for future. */
-       uint32_t        rsvd;
-       /* Reserved for future. */
-       uint16_t        rsvd1;
+       /*
+        * Specifies which context kinds need to be initialized with the
+        * ctx_kind_initializer.
+        */
+       uint16_t        ctx_init_mask;
+       /*
+        * If this bit is '1' then this context type should be initialized
+        * with the ctx_kind_initializer at the specified offset.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCAPS_OUTPUT_CTX_INIT_MASK_QP \
+               UINT32_C(0x1)
+       /*
+        * If this bit is '1' then this context type should be initialized
+        * with the ctx_kind_initializer at the specified offset.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCAPS_OUTPUT_CTX_INIT_MASK_SRQ \
+               UINT32_C(0x2)
+       /*
+        * If this bit is '1' then this context type should be initialized
+        * with the ctx_kind_initializer at the specified offset.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCAPS_OUTPUT_CTX_INIT_MASK_CQ \
+               UINT32_C(0x4)
+       /*
+        * If this bit is '1' then this context type should be initialized
+        * with the ctx_kind_initializer at the specified offset.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCAPS_OUTPUT_CTX_INIT_MASK_VNIC \
+               UINT32_C(0x8)
+       /*
+        * If this bit is '1' then this context type should be initialized
+        * with the ctx_kind_initializer at the specified offset.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCAPS_OUTPUT_CTX_INIT_MASK_STAT \
+               UINT32_C(0x10)
+       /*
+        * If this bit is '1' then this context type should be initialized
+        * with the ctx_kind_initializer at the specified offset.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCAPS_OUTPUT_CTX_INIT_MASK_MRAV \
+               UINT32_C(0x20)
+       /*
+        * If this bit is '1' then the Tx KTLS context type should be
+        * initialized with the ctx_kind_initializer at the specified offset.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCAPS_OUTPUT_CTX_INIT_MASK_TKC \
+               UINT32_C(0x40)
+       /*
+        * If this bit is '1' then the Rx KTLS context type should be
+        * initialized with the ctx_kind_initializer at the specified offset.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCAPS_OUTPUT_CTX_INIT_MASK_RKC \
+               UINT32_C(0x80)
+       /*
+        * Specifies the doubleword offset of ctx_kind_initializer for this
+        * context type.
+        */
+       uint8_t qp_init_offset;
+       /*
+        * Specifies the doubleword offset of ctx_kind_initializer for this
+        * context type.
+        */
+       uint8_t srq_init_offset;
+       /*
+        * Specifies the doubleword offset of ctx_kind_initializer for this
+        * context type.
+        */
+       uint8_t cq_init_offset;
+       /*
+        * Specifies the doubleword offset of ctx_kind_initializer for this
+        * context type.
+        */
+       uint8_t vnic_init_offset;
        /*
         * Count of TQM fastpath rings to be used for allocating backing store.
         * Backing store configuration must be specified for each TQM ring from
         * this count in `backing_store_cfg`.
+        * Only first 8 TQM FP rings will be advertised with this field.
         */
        uint8_t tqm_fp_rings_count;
+       /*
+        * Specifies the doubleword offset of ctx_kind_initializer for this
+        * context type.
+        */
+       uint8_t stat_init_offset;
+       /*
+        * Specifies the doubleword offset of ctx_kind_initializer for this
+        * context type.
+        */
+       uint8_t mrav_init_offset;
+       /*
+        * Count of TQM extended fastpath rings to be used for allocating
+        * backing store beyond 8 rings(rings 9,10,11)
+        * Backing store configuration must be specified for each TQM ring from
+        * this count in `backing_store_cfg`.
+        */
+       uint8_t tqm_fp_rings_count_ext;
+       /*
+        * Specifies the doubleword offset of ctx_kind_initializer for Tx
+        * KTLS context type.
+        */
+       uint8_t tkc_init_offset;
+       /*
+        * Specifies the doubleword offset of ctx_kind_initializer for Rx
+        * KTLS context type.
+        */
+       uint8_t rkc_init_offset;
+       /* Tx KTLS context entry size in bytes. */
+       uint16_t        tkc_entry_size;
+       /* Rx KTLS context entry size in bytes. */
+       uint16_t        rkc_entry_size;
+       /*
+        * Maximum number of Tx KTLS context entries supported for this
+        * function.
+        */
+       uint32_t        tkc_max_entries;
+       /*
+        * Maximum number of Rx KTLS context entries supported for this
+        * function.
+        */
+       uint32_t        rkc_max_entries;
+       /* Reserved for future. */
+       uint8_t rsvd[7];
        /*
         * This field is used in Output records to indicate that the output
         * is completely written to RAM.  This field should be read as '1'
@@ -12013,12 +15153,65 @@ struct hwrm_func_backing_store_qcaps_output {
        uint8_t valid;
 } __rte_packed;
 
+/* tqm_fp_ring_cfg (size:128b/16B) */
+struct tqm_fp_ring_cfg {
+       /* TQM ring page size and level. */
+       uint8_t tqm_ring_pg_size_tqm_ring_lvl;
+       /* TQM ring PBL indirect levels. */
+       #define TQM_FP_RING_CFG_TQM_RING_CFG_TQM_RING_LVL_MASK \
+               UINT32_C(0xf)
+       #define TQM_FP_RING_CFG_TQM_RING_CFG_TQM_RING_LVL_SFT       0
+       /* PBL pointer is physical start address. */
+       #define TQM_FP_RING_CFG_TQM_RING_CFG_TQM_RING_LVL_LVL_0 \
+               UINT32_C(0x0)
+       /* PBL pointer points to PTE table. */
+       #define TQM_FP_RING_CFG_TQM_RING_CFG_TQM_RING_LVL_LVL_1 \
+               UINT32_C(0x1)
+       /*
+        * PBL pointer points to PDE table with each entry pointing to
+        * PTE tables.
+        */
+       #define TQM_FP_RING_CFG_TQM_RING_CFG_TQM_RING_LVL_LVL_2 \
+               UINT32_C(0x2)
+       #define TQM_FP_RING_CFG_TQM_RING_CFG_TQM_RING_LVL_LAST \
+               TQM_FP_RING_CFG_TQM_RING_CFG_TQM_RING_LVL_LVL_2
+       /* TQM ring page size. */
+       #define TQM_FP_RING_CFG_TQM_RING_CFG_TQM_RING_PG_SIZE_MASK \
+               UINT32_C(0xf0)
+       #define TQM_FP_RING_CFG_TQM_RING_CFG_TQM_RING_PG_SIZE_SFT   4
+       /* 4KB. */
+       #define TQM_FP_RING_CFG_TQM_RING_CFG_TQM_RING_PG_SIZE_PG_4K \
+               (UINT32_C(0x0) << 4)
+       /* 8KB. */
+       #define TQM_FP_RING_CFG_TQM_RING_CFG_TQM_RING_PG_SIZE_PG_8K \
+               (UINT32_C(0x1) << 4)
+       /* 64KB. */
+       #define TQM_FP_RING_CFG_TQM_RING_CFG_TQM_RING_PG_SIZE_PG_64K \
+               (UINT32_C(0x2) << 4)
+       /* 2MB. */
+       #define TQM_FP_RING_CFG_TQM_RING_CFG_TQM_RING_PG_SIZE_PG_2M \
+               (UINT32_C(0x3) << 4)
+       /* 8MB. */
+       #define TQM_FP_RING_CFG_TQM_RING_CFG_TQM_RING_PG_SIZE_PG_8M \
+               (UINT32_C(0x4) << 4)
+       /* 1GB. */
+       #define TQM_FP_RING_CFG_TQM_RING_CFG_TQM_RING_PG_SIZE_PG_1G \
+               (UINT32_C(0x5) << 4)
+       #define TQM_FP_RING_CFG_TQM_RING_CFG_TQM_RING_PG_SIZE_LAST \
+               TQM_FP_RING_CFG_TQM_RING_CFG_TQM_RING_PG_SIZE_PG_1G
+       uint8_t unused[3];
+       /* Number of TQM ring entries. */
+       uint32_t        tqm_ring_num_entries;
+       /* TQM ring page directory. */
+       uint64_t        tqm_ring_page_dir;
+} __rte_packed;
+
 /*******************************
  * hwrm_func_backing_store_cfg *
  *******************************/
 
 
-/* hwrm_func_backing_store_cfg_input (size:2048b/256B) */
+/* hwrm_func_backing_store_cfg_input (size:2688b/336B) */
 struct hwrm_func_backing_store_cfg_input {
        /* The HWRM command request type. */
        uint16_t        req_type;
@@ -12160,6 +15353,36 @@ struct hwrm_func_backing_store_cfg_input {
         */
        #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_ENABLES_TIM \
                UINT32_C(0x8000)
+       /*
+        * This bit must be '1' for the tqm_ring8 fields to be
+        * configured.
+        */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_ENABLES_TQM_RING8 \
+               UINT32_C(0x10000)
+       /*
+        * This bit must be '1' for the tqm_ring9 fields to be
+        * configured.
+        */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_ENABLES_TQM_RING9 \
+               UINT32_C(0x20000)
+       /*
+        * This bit must be '1' for the tqm_ring10 fields to be
+        * configured.
+        */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_ENABLES_TQM_RING10 \
+               UINT32_C(0x40000)
+       /*
+        * This bit must be '1' for the Tx KTLS context
+        * fields to be configured.
+        */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_ENABLES_TKC \
+               UINT32_C(0x80000)
+       /*
+        * This bit must be '1' for the Rx KTLS context
+        * fields to be configured.
+        */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_ENABLES_RKC \
+               UINT32_C(0x100000)
        /* QPC page size and level. */
        uint8_t qpc_pg_size_qpc_lvl;
        /* QPC PBL indirect levels. */
@@ -13025,6 +16248,258 @@ struct hwrm_func_backing_store_cfg_input {
        uint16_t        mrav_entry_size;
        /* Number of bytes that have been allocated for each context entry. */
        uint16_t        tim_entry_size;
+       /* TQM ring page size and level. */
+       uint8_t tqm_ring8_pg_size_tqm_ring_lvl;
+       /* TQM ring PBL indirect levels. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING8_TQM_RING_LVL_MASK \
+               UINT32_C(0xf)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING8_TQM_RING_LVL_SFT \
+               0
+       /* PBL pointer is physical start address. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING8_TQM_RING_LVL_LVL_0 \
+               UINT32_C(0x0)
+       /* PBL pointer points to PTE table. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING8_TQM_RING_LVL_LVL_1 \
+               UINT32_C(0x1)
+       /*
+        * PBL pointer points to PDE table with each entry pointing to
+        * PTE tables.
+        */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING8_TQM_RING_LVL_LVL_2 \
+               UINT32_C(0x2)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING8_TQM_RING_LVL_LAST \
+               HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING8_TQM_RING_LVL_LVL_2
+       /* TQM ring page size. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING8_TQM_RING_PG_SIZE_MASK \
+               UINT32_C(0xf0)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING8_TQM_RING_PG_SIZE_SFT \
+               4
+       /* 4KB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING8_TQM_RING_PG_SIZE_PG_4K \
+               (UINT32_C(0x0) << 4)
+       /* 8KB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING8_TQM_RING_PG_SIZE_PG_8K \
+               (UINT32_C(0x1) << 4)
+       /* 64KB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING8_TQM_RING_PG_SIZE_PG_64K \
+               (UINT32_C(0x2) << 4)
+       /* 2MB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING8_TQM_RING_PG_SIZE_PG_2M \
+               (UINT32_C(0x3) << 4)
+       /* 8MB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING8_TQM_RING_PG_SIZE_PG_8M \
+               (UINT32_C(0x4) << 4)
+       /* 1GB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING8_TQM_RING_PG_SIZE_PG_1G \
+               (UINT32_C(0x5) << 4)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING8_TQM_RING_PG_SIZE_LAST \
+               HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING8_TQM_RING_PG_SIZE_PG_1G
+       uint8_t ring8_unused[3];
+       /* Number of TQM ring entries. */
+       uint32_t        tqm_ring8_num_entries;
+       /* TQM ring page directory. */
+       uint64_t        tqm_ring8_page_dir;
+       /* TQM ring page size and level. */
+       uint8_t tqm_ring9_pg_size_tqm_ring_lvl;
+       /* TQM ring PBL indirect levels. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING9_TQM_RING_LVL_MASK \
+               UINT32_C(0xf)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING9_TQM_RING_LVL_SFT \
+               0
+       /* PBL pointer is physical start address. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING9_TQM_RING_LVL_LVL_0 \
+               UINT32_C(0x0)
+       /* PBL pointer points to PTE table. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING9_TQM_RING_LVL_LVL_1 \
+               UINT32_C(0x1)
+       /*
+        * PBL pointer points to PDE table with each entry pointing to
+        * PTE tables.
+        */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING9_TQM_RING_LVL_LVL_2 \
+               UINT32_C(0x2)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING9_TQM_RING_LVL_LAST \
+               HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING9_TQM_RING_LVL_LVL_2
+       /* TQM ring page size. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING9_TQM_RING_PG_SIZE_MASK \
+               UINT32_C(0xf0)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING9_TQM_RING_PG_SIZE_SFT \
+               4
+       /* 4KB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING9_TQM_RING_PG_SIZE_PG_4K \
+               (UINT32_C(0x0) << 4)
+       /* 8KB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING9_TQM_RING_PG_SIZE_PG_8K \
+               (UINT32_C(0x1) << 4)
+       /* 64KB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING9_TQM_RING_PG_SIZE_PG_64K \
+               (UINT32_C(0x2) << 4)
+       /* 2MB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING9_TQM_RING_PG_SIZE_PG_2M \
+               (UINT32_C(0x3) << 4)
+       /* 8MB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING9_TQM_RING_PG_SIZE_PG_8M \
+               (UINT32_C(0x4) << 4)
+       /* 1GB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING9_TQM_RING_PG_SIZE_PG_1G \
+               (UINT32_C(0x5) << 4)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING9_TQM_RING_PG_SIZE_LAST \
+               HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING9_TQM_RING_PG_SIZE_PG_1G
+       uint8_t ring9_unused[3];
+       /* Number of TQM ring entries. */
+       uint32_t        tqm_ring9_num_entries;
+       /* TQM ring page directory. */
+       uint64_t        tqm_ring9_page_dir;
+       /* TQM ring page size and level. */
+       uint8_t tqm_ring10_pg_size_tqm_ring_lvl;
+       /* TQM ring PBL indirect levels. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING10_TQM_RING_LVL_MASK \
+               UINT32_C(0xf)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING10_TQM_RING_LVL_SFT \
+               0
+       /* PBL pointer is physical start address. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING10_TQM_RING_LVL_LVL_0 \
+               UINT32_C(0x0)
+       /* PBL pointer points to PTE table. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING10_TQM_RING_LVL_LVL_1 \
+               UINT32_C(0x1)
+       /*
+        * PBL pointer points to PDE table with each entry pointing to
+        * PTE tables.
+        */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING10_TQM_RING_LVL_LVL_2 \
+               UINT32_C(0x2)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING10_TQM_RING_LVL_LAST \
+               HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING10_TQM_RING_LVL_LVL_2
+       /* TQM ring page size. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING10_TQM_RING_PG_SIZE_MASK \
+               UINT32_C(0xf0)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING10_TQM_RING_PG_SIZE_SFT \
+               4
+       /* 4KB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING10_TQM_RING_PG_SIZE_PG_4K \
+               (UINT32_C(0x0) << 4)
+       /* 8KB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING10_TQM_RING_PG_SIZE_PG_8K \
+               (UINT32_C(0x1) << 4)
+       /* 64KB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING10_TQM_RING_PG_SIZE_PG_64K \
+               (UINT32_C(0x2) << 4)
+       /* 2MB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING10_TQM_RING_PG_SIZE_PG_2M \
+               (UINT32_C(0x3) << 4)
+       /* 8MB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING10_TQM_RING_PG_SIZE_PG_8M \
+               (UINT32_C(0x4) << 4)
+       /* 1GB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING10_TQM_RING_PG_SIZE_PG_1G \
+               (UINT32_C(0x5) << 4)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING10_TQM_RING_PG_SIZE_LAST \
+               HWRM_FUNC_BACKING_STORE_CFG_INPUT_RING10_TQM_RING_PG_SIZE_PG_1G
+       uint8_t ring10_unused[3];
+       /* Number of TQM ring entries. */
+       uint32_t        tqm_ring10_num_entries;
+       /* TQM ring page directory. */
+       uint64_t        tqm_ring10_page_dir;
+       /* Number of Tx KTLS context entries allocated. */
+       uint32_t        tkc_num_entries;
+       /* Number of Rx KTLS context entries allocated. */
+       uint32_t        rkc_num_entries;
+       /* Tx KTLS context page directory. */
+       uint64_t        tkc_page_dir;
+       /* Rx KTLS context page directory. */
+       uint64_t        rkc_page_dir;
+       /* Number of bytes allocated for each Tx KTLS context entry. */
+       uint16_t        tkc_entry_size;
+       /* Number of bytes allocated for each Rx KTLS context entry. */
+       uint16_t        rkc_entry_size;
+       /* Tx KTLS context page size and level. */
+       uint8_t tkc_pg_size_tkc_lvl;
+       /* Tx KTLS context PBL indirect levels. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_TKC_LVL_MASK \
+               UINT32_C(0xf)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_TKC_LVL_SFT       0
+       /* PBL pointer is physical start address. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_TKC_LVL_LVL_0 \
+               UINT32_C(0x0)
+       /* PBL pointer points to PTE table. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_TKC_LVL_LVL_1 \
+               UINT32_C(0x1)
+       /* PBL pointer points to PDE table with each entry pointing to PTE tables. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_TKC_LVL_LVL_2 \
+               UINT32_C(0x2)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_TKC_LVL_LAST \
+               HWRM_FUNC_BACKING_STORE_CFG_INPUT_TKC_LVL_LVL_2
+       /* Tx KTLS context page size. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_TKC_PG_SIZE_MASK \
+               UINT32_C(0xf0)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_TKC_PG_SIZE_SFT   4
+       /* 4KB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_TKC_PG_SIZE_PG_4K \
+               (UINT32_C(0x0) << 4)
+       /* 8KB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_TKC_PG_SIZE_PG_8K \
+               (UINT32_C(0x1) << 4)
+       /* 64KB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_TKC_PG_SIZE_PG_64K \
+               (UINT32_C(0x2) << 4)
+       /* 2MB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_TKC_PG_SIZE_PG_2M \
+               (UINT32_C(0x3) << 4)
+       /* 8MB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_TKC_PG_SIZE_PG_8M \
+               (UINT32_C(0x4) << 4)
+       /* 1GB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_TKC_PG_SIZE_PG_1G \
+               (UINT32_C(0x5) << 4)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_TKC_PG_SIZE_LAST \
+               HWRM_FUNC_BACKING_STORE_CFG_INPUT_TKC_PG_SIZE_PG_1G
+       /* Rx KTLS context page size and level. */
+       uint8_t rkc_pg_size_rkc_lvl;
+       /* Rx KTLS context PBL indirect levels. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RKC_LVL_MASK \
+               UINT32_C(0xf)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RKC_LVL_SFT       0
+       /* PBL pointer is physical start address. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RKC_LVL_LVL_0 \
+               UINT32_C(0x0)
+       /* PBL pointer points to PTE table. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RKC_LVL_LVL_1 \
+               UINT32_C(0x1)
+       /*
+        * PBL pointer points to PDE table with each entry pointing to
+        * PTE tables.
+        */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RKC_LVL_LVL_2 \
+               UINT32_C(0x2)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RKC_LVL_LAST \
+               HWRM_FUNC_BACKING_STORE_CFG_INPUT_RKC_LVL_LVL_2
+       /* Rx KTLS context page size. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RKC_PG_SIZE_MASK \
+               UINT32_C(0xf0)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RKC_PG_SIZE_SFT   4
+       /* 4KB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RKC_PG_SIZE_PG_4K \
+               (UINT32_C(0x0) << 4)
+       /* 8KB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RKC_PG_SIZE_PG_8K \
+               (UINT32_C(0x1) << 4)
+       /* 64KB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RKC_PG_SIZE_PG_64K \
+               (UINT32_C(0x2) << 4)
+       /* 2MB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RKC_PG_SIZE_PG_2M \
+               (UINT32_C(0x3) << 4)
+       /* 8MB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RKC_PG_SIZE_PG_8M \
+               (UINT32_C(0x4) << 4)
+       /* 1GB. */
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RKC_PG_SIZE_PG_1G \
+               (UINT32_C(0x5) << 4)
+       #define HWRM_FUNC_BACKING_STORE_CFG_INPUT_RKC_PG_SIZE_LAST \
+               HWRM_FUNC_BACKING_STORE_CFG_INPUT_RKC_PG_SIZE_PG_1G
+       /* Reserved for future. */
+       uint8_t rsvd[2];
 } __rte_packed;
 
 /* hwrm_func_backing_store_cfg_output (size:128b/16B) */
@@ -13085,7 +16560,7 @@ struct hwrm_func_backing_store_qcfg_input {
        uint64_t        resp_addr;
 } __rte_packed;
 
-/* hwrm_func_backing_store_qcfg_output (size:1920b/240B) */
+/* hwrm_func_backing_store_qcfg_output (size:2496b/312B) */
 struct hwrm_func_backing_store_qcfg_output {
        /* The specific error status for the command. */
        uint16_t        error_code;
@@ -13110,103 +16585,133 @@ struct hwrm_func_backing_store_qcfg_output {
         */
        #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_FLAGS_MRAV_RESERVATION_SPLIT \
                UINT32_C(0x2)
-       uint8_t unused_0[4];
+       uint32_t        enables;
        /*
         * This bit must be '1' for the qp fields to be
         * configured.
         */
-       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_UNUSED_0_QP \
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_QP \
                UINT32_C(0x1)
        /*
         * This bit must be '1' for the srq fields to be
         * configured.
         */
-       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_UNUSED_0_SRQ \
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_SRQ \
                UINT32_C(0x2)
        /*
         * This bit must be '1' for the cq fields to be
         * configured.
         */
-       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_UNUSED_0_CQ \
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_CQ \
                UINT32_C(0x4)
        /*
         * This bit must be '1' for the vnic fields to be
         * configured.
         */
-       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_UNUSED_0_VNIC \
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_VNIC \
                UINT32_C(0x8)
        /*
         * This bit must be '1' for the stat fields to be
         * configured.
         */
-       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_UNUSED_0_STAT \
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_STAT \
                UINT32_C(0x10)
        /*
         * This bit must be '1' for the tqm_sp fields to be
         * configured.
         */
-       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_UNUSED_0_TQM_SP \
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_TQM_SP \
                UINT32_C(0x20)
        /*
         * This bit must be '1' for the tqm_ring0 fields to be
         * configured.
         */
-       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_UNUSED_0_TQM_RING0 \
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_TQM_RING0 \
                UINT32_C(0x40)
        /*
         * This bit must be '1' for the tqm_ring1 fields to be
         * configured.
         */
-       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_UNUSED_0_TQM_RING1 \
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_TQM_RING1 \
                UINT32_C(0x80)
        /*
         * This bit must be '1' for the tqm_ring2 fields to be
         * configured.
         */
-       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_UNUSED_0_TQM_RING2 \
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_TQM_RING2 \
                UINT32_C(0x100)
        /*
         * This bit must be '1' for the tqm_ring3 fields to be
         * configured.
         */
-       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_UNUSED_0_TQM_RING3 \
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_TQM_RING3 \
                UINT32_C(0x200)
        /*
         * This bit must be '1' for the tqm_ring4 fields to be
         * configured.
         */
-       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_UNUSED_0_TQM_RING4 \
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_TQM_RING4 \
                UINT32_C(0x400)
        /*
         * This bit must be '1' for the tqm_ring5 fields to be
         * configured.
         */
-       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_UNUSED_0_TQM_RING5 \
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_TQM_RING5 \
                UINT32_C(0x800)
        /*
         * This bit must be '1' for the tqm_ring6 fields to be
         * configured.
         */
-       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_UNUSED_0_TQM_RING6 \
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_TQM_RING6 \
                UINT32_C(0x1000)
        /*
         * This bit must be '1' for the tqm_ring7 fields to be
         * configured.
         */
-       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_UNUSED_0_TQM_RING7 \
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_TQM_RING7 \
                UINT32_C(0x2000)
        /*
         * This bit must be '1' for the mrav fields to be
         * configured.
         */
-       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_UNUSED_0_MRAV \
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_MRAV \
                UINT32_C(0x4000)
        /*
         * This bit must be '1' for the tim fields to be
         * configured.
         */
-       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_UNUSED_0_TIM \
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_TIM \
                UINT32_C(0x8000)
+       /*
+        * This bit must be '1' for the tqm_ring8 fields to be
+        * configured.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_TQM_RING8 \
+               UINT32_C(0x10000)
+       /*
+        * This bit must be '1' for the tqm_ring9 fields to be
+        * configured.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_TQM_RING9 \
+               UINT32_C(0x20000)
+       /*
+        * This bit must be '1' for the tqm_ring10 fields to be
+        * configured.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_TQM_RING10 \
+               UINT32_C(0x40000)
+       /*
+        * This bit must be '1' for the Tx KTLS context
+        * fields to be configured.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_TKC \
+               UINT32_C(0x80000)
+       /*
+        * This bit must be '1' for the Rx KTLS context
+        * fields to be configured.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_ENABLES_RKC \
+               UINT32_C(0x100000)
        /* QPC page size and level. */
        uint8_t qpc_pg_size_qpc_lvl;
        /* QPC PBL indirect levels. */
@@ -13950,7 +17455,256 @@ struct hwrm_func_backing_store_qcfg_output {
        uint32_t        mrav_num_entries;
        /* Number of Timer entries. */
        uint32_t        tim_num_entries;
-       uint8_t unused_1[7];
+       /* TQM ring page size and level. */
+       uint8_t tqm_ring8_pg_size_tqm_ring_lvl;
+       /* TQM ring PBL indirect levels. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING8_TQM_RING_LVL_MASK \
+               UINT32_C(0xf)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING8_TQM_RING_LVL_SFT \
+               0
+       /* PBL pointer is physical start address. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING8_TQM_RING_LVL_LVL_0 \
+               UINT32_C(0x0)
+       /* PBL pointer points to PTE table. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING8_TQM_RING_LVL_LVL_1 \
+               UINT32_C(0x1)
+       /*
+        * PBL pointer points to PDE table with each entry pointing to
+        * PTE tables.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING8_TQM_RING_LVL_LVL_2 \
+               UINT32_C(0x2)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING8_TQM_RING_LVL_LAST \
+               HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING8_TQM_RING_LVL_LVL_2
+       /* TQM ring page size. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING8_TQM_RING_PG_SIZE_MASK \
+               UINT32_C(0xf0)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING8_TQM_RING_PG_SIZE_SFT \
+               4
+       /* 4KB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING8_TQM_RING_PG_SIZE_PG_4K \
+               (UINT32_C(0x0) << 4)
+       /* 8KB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING8_TQM_RING_PG_SIZE_PG_8K \
+               (UINT32_C(0x1) << 4)
+       /* 64KB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING8_TQM_RING_PG_SIZE_PG_64K \
+               (UINT32_C(0x2) << 4)
+       /* 2MB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING8_TQM_RING_PG_SIZE_PG_2M \
+               (UINT32_C(0x3) << 4)
+       /* 8MB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING8_TQM_RING_PG_SIZE_PG_8M \
+               (UINT32_C(0x4) << 4)
+       /* 1GB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING8_TQM_RING_PG_SIZE_PG_1G \
+               (UINT32_C(0x5) << 4)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING8_TQM_RING_PG_SIZE_LAST \
+               HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING8_TQM_RING_PG_SIZE_PG_1G
+       uint8_t ring8_unused[3];
+       /* Number of TQM ring entries. */
+       uint32_t        tqm_ring8_num_entries;
+       /* TQM ring page directory. */
+       uint64_t        tqm_ring8_page_dir;
+       /* TQM ring page size and level. */
+       uint8_t tqm_ring9_pg_size_tqm_ring_lvl;
+       /* TQM ring PBL indirect levels. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING9_TQM_RING_LVL_MASK \
+               UINT32_C(0xf)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING9_TQM_RING_LVL_SFT \
+               0
+       /* PBL pointer is physical start address. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING9_TQM_RING_LVL_LVL_0 \
+               UINT32_C(0x0)
+       /* PBL pointer points to PTE table. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING9_TQM_RING_LVL_LVL_1 \
+               UINT32_C(0x1)
+       /*
+        * PBL pointer points to PDE table with each entry pointing to
+        * PTE tables.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING9_TQM_RING_LVL_LVL_2 \
+               UINT32_C(0x2)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING9_TQM_RING_LVL_LAST \
+               HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING9_TQM_RING_LVL_LVL_2
+       /* TQM ring page size. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING9_TQM_RING_PG_SIZE_MASK \
+               UINT32_C(0xf0)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING9_TQM_RING_PG_SIZE_SFT \
+               4
+       /* 4KB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING9_TQM_RING_PG_SIZE_PG_4K \
+               (UINT32_C(0x0) << 4)
+       /* 8KB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING9_TQM_RING_PG_SIZE_PG_8K \
+               (UINT32_C(0x1) << 4)
+       /* 64KB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING9_TQM_RING_PG_SIZE_PG_64K \
+               (UINT32_C(0x2) << 4)
+       /* 2MB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING9_TQM_RING_PG_SIZE_PG_2M \
+               (UINT32_C(0x3) << 4)
+       /* 8MB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING9_TQM_RING_PG_SIZE_PG_8M \
+               (UINT32_C(0x4) << 4)
+       /* 1GB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING9_TQM_RING_PG_SIZE_PG_1G \
+               (UINT32_C(0x5) << 4)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING9_TQM_RING_PG_SIZE_LAST \
+               HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING9_TQM_RING_PG_SIZE_PG_1G
+       uint8_t ring9_unused[3];
+       /* Number of TQM ring entries. */
+       uint32_t        tqm_ring9_num_entries;
+       /* TQM ring page directory. */
+       uint64_t        tqm_ring9_page_dir;
+       /* TQM ring page size and level. */
+       uint8_t tqm_ring10_pg_size_tqm_ring_lvl;
+       /* TQM ring PBL indirect levels. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING10_TQM_RING_LVL_MASK \
+               UINT32_C(0xf)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING10_TQM_RING_LVL_SFT \
+               0
+       /* PBL pointer is physical start address. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING10_TQM_RING_LVL_LVL_0 \
+               UINT32_C(0x0)
+       /* PBL pointer points to PTE table. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING10_TQM_RING_LVL_LVL_1 \
+               UINT32_C(0x1)
+       /*
+        * PBL pointer points to PDE table with each entry pointing to
+        * PTE tables.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING10_TQM_RING_LVL_LVL_2 \
+               UINT32_C(0x2)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING10_TQM_RING_LVL_LAST \
+               HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING10_TQM_RING_LVL_LVL_2
+       /* TQM ring page size. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING10_TQM_RING_PG_SIZE_MASK \
+               UINT32_C(0xf0)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING10_TQM_RING_PG_SIZE_SFT \
+               4
+       /* 4KB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING10_TQM_RING_PG_SIZE_PG_4K \
+               (UINT32_C(0x0) << 4)
+       /* 8KB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING10_TQM_RING_PG_SIZE_PG_8K \
+               (UINT32_C(0x1) << 4)
+       /* 64KB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING10_TQM_RING_PG_SIZE_PG_64K \
+               (UINT32_C(0x2) << 4)
+       /* 2MB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING10_TQM_RING_PG_SIZE_PG_2M \
+               (UINT32_C(0x3) << 4)
+       /* 8MB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING10_TQM_RING_PG_SIZE_PG_8M \
+               (UINT32_C(0x4) << 4)
+       /* 1GB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING10_TQM_RING_PG_SIZE_PG_1G \
+               (UINT32_C(0x5) << 4)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING10_TQM_RING_PG_SIZE_LAST \
+               HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RING10_TQM_RING_PG_SIZE_PG_1G
+       uint8_t ring10_unused[3];
+       /* Number of TQM ring entries. */
+       uint32_t        tqm_ring10_num_entries;
+       /* TQM ring page directory. */
+       uint64_t        tqm_ring10_page_dir;
+       /* Number of Tx KTLS context entries. */
+       uint32_t        tkc_num_entries;
+       /* Number of Rx KTLS context entries. */
+       uint32_t        rkc_num_entries;
+       /* Tx KTLS context page directory. */
+       uint64_t        tkc_page_dir;
+       /* Rx KTLS context page directory. */
+       uint64_t        rkc_page_dir;
+       /* Tx KTLS context page size and level. */
+       uint8_t tkc_pg_size_tkc_lvl;
+       /* Tx KTLS context PBL indirect levels. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_TKC_LVL_MASK \
+               UINT32_C(0xf)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_TKC_LVL_SFT       0
+       /* PBL pointer is physical start address. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_TKC_LVL_LVL_0 \
+               UINT32_C(0x0)
+       /* PBL pointer points to PTE table. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_TKC_LVL_LVL_1 \
+               UINT32_C(0x1)
+       /*
+        * PBL pointer points to PDE table with each entry pointing to
+        * PTE tables.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_TKC_LVL_LVL_2 \
+               UINT32_C(0x2)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_TKC_LVL_LAST \
+               HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_TKC_LVL_LVL_2
+       /* Tx KTLS context page size. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_TKC_PG_SIZE_MASK \
+               UINT32_C(0xf0)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_TKC_PG_SIZE_SFT   4
+       /* 4KB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_TKC_PG_SIZE_PG_4K \
+               (UINT32_C(0x0) << 4)
+       /* 8KB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_TKC_PG_SIZE_PG_8K \
+               (UINT32_C(0x1) << 4)
+       /* 64KB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_TKC_PG_SIZE_PG_64K \
+               (UINT32_C(0x2) << 4)
+       /* 2MB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_TKC_PG_SIZE_PG_2M \
+               (UINT32_C(0x3) << 4)
+       /* 8MB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_TKC_PG_SIZE_PG_8M \
+               (UINT32_C(0x4) << 4)
+       /* 1GB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_TKC_PG_SIZE_PG_1G \
+               (UINT32_C(0x5) << 4)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_TKC_PG_SIZE_LAST \
+               HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_TKC_PG_SIZE_PG_1G
+       /* Rx KTLS context page size and level. */
+       uint8_t rkc_pg_size_rkc_lvl;
+       /* Rx KTLS context PBL indirect levels. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RKC_LVL_MASK \
+               UINT32_C(0xf)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RKC_LVL_SFT       0
+       /* PBL pointer is physical start address. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RKC_LVL_LVL_0 \
+               UINT32_C(0x0)
+       /* PBL pointer points to PTE table. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RKC_LVL_LVL_1 \
+               UINT32_C(0x1)
+       /*
+        * PBL pointer points to PDE table with each entry pointing to
+        * PTE tables.
+        */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RKC_LVL_LVL_2 \
+               UINT32_C(0x2)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RKC_LVL_LAST \
+               HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RKC_LVL_LVL_2
+       /* Rx KTLS context page size. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RKC_PG_SIZE_MASK \
+               UINT32_C(0xf0)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RKC_PG_SIZE_SFT   4
+       /* 4KB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RKC_PG_SIZE_PG_4K \
+               (UINT32_C(0x0) << 4)
+       /* 8KB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RKC_PG_SIZE_PG_8K \
+               (UINT32_C(0x1) << 4)
+       /* 64KB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RKC_PG_SIZE_PG_64K \
+               (UINT32_C(0x2) << 4)
+       /* 2MB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RKC_PG_SIZE_PG_2M \
+               (UINT32_C(0x3) << 4)
+       /* 8MB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RKC_PG_SIZE_PG_8M \
+               (UINT32_C(0x4) << 4)
+       /* 1GB. */
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RKC_PG_SIZE_PG_1G \
+               (UINT32_C(0x5) << 4)
+       #define HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RKC_PG_SIZE_LAST \
+               HWRM_FUNC_BACKING_STORE_QCFG_OUTPUT_RKC_PG_SIZE_PG_1G
+       uint8_t unused_1[5];
        /*
         * This field is used in Output records to indicate that the output
         * is completely written to RAM.  This field should be read as 1
@@ -14376,6 +18130,66 @@ struct hwrm_error_recovery_qcfg_output {
        uint8_t valid;
 } __rte_packed;
 
+/***************************
+ * hwrm_func_echo_response *
+ ****************************/
+
+
+/* hwrm_func_echo_response_input (size:192b/24B) */
+struct hwrm_func_echo_response_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * 0x0-0xFFF8 - The function ID
+        * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * 0xFFFD - Reserved for user-space HWRM interface
+        * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       uint32_t        event_data1;
+       uint32_t        event_data2;
+} __rte_packed;
+
+/* hwrm_func_echo_response_output (size:128b/16B) */
+struct hwrm_func_echo_response_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       uint8_t unused_0[7];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM.  This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal processor,
+        * the order of writes has to be such that this field is written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
 /***********************
  * hwrm_func_vlan_qcfg *
  ***********************/
@@ -15221,6 +19035,374 @@ struct hwrm_func_host_pf_ids_query_output {
        uint8_t valid;
 } __rte_packed;
 
+/*********************
+ * hwrm_func_spd_cfg *
+ *********************/
+
+
+/* hwrm_func_spd_cfg_input (size:384b/48B) */
+struct hwrm_func_spd_cfg_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       uint32_t        flags;
+       /* Set this bit is '1' to enable the SPD datapath forwarding. */
+       #define HWRM_FUNC_SPD_CFG_INPUT_FLAGS_FWD_ENABLE       UINT32_C(0x1)
+       /* Set this bit is '1' to disable the SPD datapath forwarding. */
+       #define HWRM_FUNC_SPD_CFG_INPUT_FLAGS_FWD_DISABLE      UINT32_C(0x2)
+       /*
+        * Set this bit is '1' to enable the SPD datapath checksum
+        * feature.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_FLAGS_CSUM_ENABLE      UINT32_C(0x4)
+       /*
+        * Set this bit is '1' to disable the SPD datapath checksum
+        * feature.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_FLAGS_CSUM_DISABLE     UINT32_C(0x8)
+       /*
+        * Set this bit is '1' to enable the SPD datapath debug
+        * feature.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_FLAGS_DBG_ENABLE       UINT32_C(0x10)
+       /*
+        * Set this bit is '1' to disable the SPD datapath debug
+        * feature.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_FLAGS_DBG_DISABLE      UINT32_C(0x20)
+       uint32_t        enables;
+       /*
+        * This bit must be '1' for the ethertype field to be
+        * configured.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_ENABLES_ETHERTYPE \
+               UINT32_C(0x1)
+       /*
+        * This bit must be '1' for the hash_mode_flags field to be
+        * configured.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_ENABLES_HASH_MODE_FLAGS \
+               UINT32_C(0x2)
+       /*
+        * This bit must be '1' for the hash_type field to be
+        * configured.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_ENABLES_HASH_TYPE \
+               UINT32_C(0x4)
+       /*
+        * This bit must be '1' for the ring_tbl_addr field to be
+        * configured.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_ENABLES_RING_TBL_ADDR \
+               UINT32_C(0x8)
+       /*
+        * This bit must be '1' for the hash_key_tbl_addr field to be
+        * configured.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_ENABLES_HASH_KEY_TBL_ADDR \
+               UINT32_C(0x10)
+       /*
+        * Ethertype value used in the encapsulated SPD packet header.
+        * The user must choose a value that is not conflicting with
+        * publicly defined ethertype values. By default, the ethertype
+        * value of 0xffff is used if there is no user specified value.
+        */
+       uint16_t        ethertype;
+       /* Flags to specify different RSS hash modes. */
+       uint8_t hash_mode_flags;
+       /*
+        * When this bit is '1', it indicates using current RSS
+        * hash mode setting configured in the device.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_HASH_MODE_FLAGS_DEFAULT \
+               UINT32_C(0x1)
+       /*
+        * When this bit is '1', it indicates requesting support of
+        * RSS hashing over innermost 4 tuples {l3.src, l3.dest,
+        * l4.src, l4.dest} for tunnel packets. For none-tunnel
+        * packets, the RSS hash is computed over the normal
+        * src/dest l3 and src/dest l4 headers.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_HASH_MODE_FLAGS_INNERMOST_4 \
+               UINT32_C(0x2)
+       /*
+        * When this bit is '1', it indicates requesting support of
+        * RSS hashing over innermost 2 tuples {l3.src, l3.dest} for
+        * tunnel packets. For none-tunnel packets, the RSS hash is
+        * computed over the normal src/dest l3 headers.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_HASH_MODE_FLAGS_INNERMOST_2 \
+               UINT32_C(0x4)
+       /*
+        * When this bit is '1', it indicates requesting support of
+        * RSS hashing over outermost 4 tuples {t_l3.src, t_l3.dest,
+        * t_l4.src, t_l4.dest} for tunnel packets. For none-tunnel
+        * packets, the RSS hash is computed over the normal
+        * src/dest l3 and src/dest l4 headers.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_HASH_MODE_FLAGS_OUTERMOST_4 \
+               UINT32_C(0x8)
+       /*
+        * When this bit is '1', it indicates requesting support of
+        * RSS hashing over outermost 2 tuples {t_l3.src, t_l3.dest} for
+        * tunnel packets. For none-tunnel packets, the RSS hash is
+        * computed over the normal src/dest l3 headers.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_HASH_MODE_FLAGS_OUTERMOST_2 \
+               UINT32_C(0x10)
+       uint8_t unused_1;
+       uint32_t        hash_type;
+       /*
+        * When this bit is '1', the RSS hash shall be computed
+        * over source and destination IPv4 addresses of IPv4
+        * packets.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_HASH_TYPE_IPV4         UINT32_C(0x1)
+       /*
+        * When this bit is '1', the RSS hash shall be computed
+        * over source/destination IPv4 addresses and
+        * source/destination ports of TCP/IPv4 packets.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_HASH_TYPE_TCP_IPV4     UINT32_C(0x2)
+       /*
+        * When this bit is '1', the RSS hash shall be computed
+        * over source/destination IPv4 addresses and
+        * source/destination ports of UDP/IPv4 packets.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_HASH_TYPE_UDP_IPV4     UINT32_C(0x4)
+       /*
+        * When this bit is '1', the RSS hash shall be computed
+        * over source and destination IPv4 addresses of IPv6
+        * packets.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_HASH_TYPE_IPV6         UINT32_C(0x8)
+       /*
+        * When this bit is '1', the RSS hash shall be computed
+        * over source/destination IPv6 addresses and
+        * source/destination ports of TCP/IPv6 packets.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_HASH_TYPE_TCP_IPV6     UINT32_C(0x10)
+       /*
+        * When this bit is '1', the RSS hash shall be computed
+        * over source/destination IPv6 addresses and
+        * source/destination ports of UDP/IPv6 packets.
+        */
+       #define HWRM_FUNC_SPD_CFG_INPUT_HASH_TYPE_UDP_IPV6     UINT32_C(0x20)
+       /* This is the address for rss ring group table */
+       uint64_t        ring_grp_tbl_addr;
+       /* This is the address for rss hash key table */
+       uint64_t        hash_key_tbl_addr;
+} __rte_packed;
+
+/* hwrm_func_spd_cfg_output (size:128b/16B) */
+struct hwrm_func_spd_cfg_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       uint8_t unused_0[7];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM.  This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal processor,
+        * the order of writes has to be such that this field is written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
+/**********************
+ * hwrm_func_spd_qcfg *
+ **********************/
+
+
+/* hwrm_func_spd_qcfg_input (size:128b/16B) */
+struct hwrm_func_spd_qcfg_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+} __rte_packed;
+
+/* hwrm_func_spd_qcfg_output (size:512b/64B) */
+struct hwrm_func_spd_qcfg_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       uint32_t        flags;
+       /*
+        * The SPD datapath forwarding is currently enabled when this
+        * flag is set to '1'.
+        */
+       #define HWRM_FUNC_SPD_QCFG_OUTPUT_FLAGS_FWD_ENABLED      UINT32_C(0x1)
+       /*
+        * The SPD datapath checksum feature is currently enabled when
+        * this flag is set to '1'.
+        */
+       #define HWRM_FUNC_SPD_QCFG_OUTPUT_FLAGS_CSUM_ENABLED     UINT32_C(0x2)
+       /*
+        * The SPD datapath debug feature is currently enabled when
+        * this flag is set to '1'.
+        */
+       #define HWRM_FUNC_SPD_QCFG_OUTPUT_FLAGS_DBG_ENABLED      UINT32_C(0x4)
+       uint32_t        hash_type;
+       /*
+        * When this bit is '1', the RSS hash shall be computed
+        * over source and destination IPv4 addresses of IPv4
+        * packets.
+        */
+       #define HWRM_FUNC_SPD_QCFG_OUTPUT_HASH_TYPE_IPV4         UINT32_C(0x1)
+       /*
+        * When this bit is '1', the RSS hash shall be computed
+        * over source/destination IPv4 addresses and
+        * source/destination ports of TCP/IPv4 packets.
+        */
+       #define HWRM_FUNC_SPD_QCFG_OUTPUT_HASH_TYPE_TCP_IPV4     UINT32_C(0x2)
+       /*
+        * When this bit is '1', the RSS hash shall be computed
+        * over source/destination IPv4 addresses and
+        * source/destination ports of UDP/IPv4 packets.
+        */
+       #define HWRM_FUNC_SPD_QCFG_OUTPUT_HASH_TYPE_UDP_IPV4     UINT32_C(0x4)
+       /*
+        * When this bit is '1', the RSS hash shall be computed
+        * over source and destination IPv4 addresses of IPv6
+        * packets.
+        */
+       #define HWRM_FUNC_SPD_QCFG_OUTPUT_HASH_TYPE_IPV6         UINT32_C(0x8)
+       /*
+        * When this bit is '1', the RSS hash shall be computed
+        * over source/destination IPv6 addresses and
+        * source/destination ports of TCP/IPv6 packets.
+        */
+       #define HWRM_FUNC_SPD_QCFG_OUTPUT_HASH_TYPE_TCP_IPV6     UINT32_C(0x10)
+       /*
+        * When this bit is '1', the RSS hash shall be computed
+        * over source/destination IPv6 addresses and
+        * source/destination ports of UDP/IPv6 packets.
+        */
+       #define HWRM_FUNC_SPD_QCFG_OUTPUT_HASH_TYPE_UDP_IPV6     UINT32_C(0x20)
+       /* This is the value of rss hash key */
+       uint32_t        hash_key[10];
+       /* Flags to specify different RSS hash modes. */
+       uint8_t hash_mode_flags;
+       /*
+        * When this bit is '1', it indicates using current RSS
+        * hash mode setting configured in the device.
+        */
+       #define HWRM_FUNC_SPD_QCFG_OUTPUT_HASH_MODE_FLAGS_DEFAULT \
+               UINT32_C(0x1)
+       /*
+        * When this bit is '1', it indicates requesting support of
+        * RSS hashing over innermost 4 tuples {l3.src, l3.dest,
+        * l4.src, l4.dest} for tunnel packets. For none-tunnel
+        * packets, the RSS hash is computed over the normal
+        * src/dest l3 and src/dest l4 headers.
+        */
+       #define HWRM_FUNC_SPD_QCFG_OUTPUT_HASH_MODE_FLAGS_INNERMOST_4 \
+               UINT32_C(0x2)
+       /*
+        * When this bit is '1', it indicates requesting support of
+        * RSS hashing over innermost 2 tuples {l3.src, l3.dest} for
+        * tunnel packets. For none-tunnel packets, the RSS hash is
+        * computed over the normal src/dest l3 headers.
+        */
+       #define HWRM_FUNC_SPD_QCFG_OUTPUT_HASH_MODE_FLAGS_INNERMOST_2 \
+               UINT32_C(0x4)
+       /*
+        * When this bit is '1', it indicates requesting support of
+        * RSS hashing over outermost 4 tuples {t_l3.src, t_l3.dest,
+        * t_l4.src, t_l4.dest} for tunnel packets. For none-tunnel
+        * packets, the RSS hash is computed over the normal
+        * src/dest l3 and src/dest l4 headers.
+        */
+       #define HWRM_FUNC_SPD_QCFG_OUTPUT_HASH_MODE_FLAGS_OUTERMOST_4 \
+               UINT32_C(0x8)
+       /*
+        * When this bit is '1', it indicates requesting support of
+        * RSS hashing over outermost 2 tuples {t_l3.src, t_l3.dest} for
+        * tunnel packets. For none-tunnel packets, the RSS hash is
+        * computed over the normal src/dest l3 headers.
+        */
+       #define HWRM_FUNC_SPD_QCFG_OUTPUT_HASH_MODE_FLAGS_OUTERMOST_2 \
+               UINT32_C(0x10)
+       uint8_t unused_1;
+       /*
+        * Ethertype value used in the encapsulated SPD packet header.
+        * The user must choose a value that is not conflicting with
+        * publicly defined ethertype values. By default, the ethertype
+        * value of 0xffff is used if there is no user specified value.
+        */
+       uint16_t        ethertype;
+       uint8_t unused_2[3];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM.  This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal processor,
+        * the order of writes has to be such that this field is written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
 /*********************
  * hwrm_port_phy_cfg *
  *********************/
@@ -15343,9 +19525,10 @@ struct hwrm_port_phy_cfg_input {
         * When set to 1, then the HWRM shall enable FEC autonegotitation
         * on this port if supported.  When enabled, at least one of the
         * FEC modes must be advertised by enabling the fec_clause_74_enable,
-        * fec_clause_91_enable, fec_rs544_1xn_enable, or fec_rs544_2xn_enable
-        * flag.  If none of the FEC mode is currently enabled, the HWRM
-        * shall choose a default advertisement setting.
+        * fec_clause_91_enable, fec_rs544_1xn_enable, fec_rs544_ieee_enable,
+        * fec_rs272_1xn_enable, or fec_rs272_ieee_enable flag.  If none
+        * of the FEC mode is currently enabled, the HWRM shall choose
+        * a default advertisement setting.
         * The default advertisement setting can be queried by calling
         * hwrm_port_phy_qcfg.  Note that the link speed must be
         * in autonegotiation mode for FEC autonegotiation to take effect.
@@ -15357,7 +19540,8 @@ struct hwrm_port_phy_cfg_input {
                UINT32_C(0x100)
        /*
         * When set to 1, then the HWRM shall disable FEC autonegotiation
-        * on this port if supported.
+        * on this port and use forced FEC mode.  In forced FEC mode, one
+        * or more FEC forced settings under the same clause can be set.
         * When set to 0, then this flag shall be ignored.
         * If FEC autonegotiation is not supported, then the HWRM shall ignore this
         * flag.
@@ -15385,22 +19569,26 @@ struct hwrm_port_phy_cfg_input {
        #define HWRM_PORT_PHY_CFG_INPUT_FLAGS_FEC_CLAUSE74_DISABLE \
                UINT32_C(0x800)
        /*
-        * When set to 1, then the HWRM shall enable FEC CLAUSE 91 (Reed Solomon)
-        * on this port if supported, by advertising FEC CLAUSE 91 if
-        * FEC autonegotiation is enabled or force enabled otherwise.
+        * When set to 1, then the HWRM shall enable FEC CLAUSE 91
+        * (Reed Solomon RS(528,514) for NRZ) on this port if supported,
+        * by advertising FEC RS(528,514) if FEC autonegotiation is enabled
+        * or force enabled otherwise.  In forced FEC mode, this flag
+        * will only take effect if the speed is NRZ.  Additional
+        * RS544 or RS272 flags (also under clause 91) may be set for PAM4
+        * in forced FEC mode.
         * When set to 0, then this flag shall be ignored.
-        * If FEC CLAUSE 91 is not supported, then the HWRM shall ignore this
-        * flag.
+        * If FEC RS(528,514) is not supported, then the HWRM shall ignore
+        * this flag.
         */
        #define HWRM_PORT_PHY_CFG_INPUT_FLAGS_FEC_CLAUSE91_ENABLE \
                UINT32_C(0x1000)
        /*
-        * When set to 1, then the HWRM shall disable FEC CLAUSE 91 (Reed Solomon)
-        * on this port if supported, by not advertising FEC CLAUSE 91 if
-        * FEC autonegotiation is enabled or force disabled otherwise.
-        * When set to 0, then this flag shall be ignored.
-        * If FEC CLAUSE 91 is not supported, then the HWRM shall ignore this
-        * flag.
+        * When set to 1, then the HWRM shall disable FEC CLAUSE 91
+        * (Reed Solomon RS(528,514) for NRZ) on this port if supported, by
+        * not advertising RS(528,514) if FEC autonegotiation is enabled or
+        * force disabled otherwise.  When set to 0, then this flag shall be
+        * ignored.  If FEC RS(528,514) is not supported, then the HWRM
+        * shall ignore this flag.
         */
        #define HWRM_PORT_PHY_CFG_INPUT_FLAGS_FEC_CLAUSE91_DISABLE \
                UINT32_C(0x2000)
@@ -15428,6 +19616,9 @@ struct hwrm_port_phy_cfg_input {
         * When set to 1, then the HWRM shall enable FEC RS544_1XN
         * on this port if supported, by advertising FEC RS544_1XN if
         * FEC autonegotiation is enabled or force enabled otherwise.
+        * In forced mode, this flag will only take effect if the speed is
+        * PAM4.  If this flag and fec_rs544_ieee_enable are set, the
+        * HWRM shall choose one of the RS544 modes.
         * When set to 0, then this flag shall be ignored.
         * If FEC RS544_1XN is not supported, then the HWRM shall ignore this
         * flag.
@@ -15445,25 +19636,76 @@ struct hwrm_port_phy_cfg_input {
        #define HWRM_PORT_PHY_CFG_INPUT_FLAGS_FEC_RS544_1XN_DISABLE \
                UINT32_C(0x10000)
        /*
-        * When set to 1, then the HWRM shall enable FEC RS544_2XN
-        * on this port if supported, by advertising FEC RS544_2XN if
+        * When set to 1, then the HWRM shall enable FEC RS(544,514)
+        * on this port if supported, by advertising FEC RS(544,514) if
         * FEC autonegotiation is enabled or force enabled otherwise.
+        * In forced mode, this flag will only take effect if the speed is
+        * PAM4.  If this flag and fec_rs544_1xn_enable are set, the
+        * HWRM shall choose one of the RS544 modes.
         * When set to 0, then this flag shall be ignored.
-        * If FEC RS544_2XN is not supported, then the HWRM shall ignore this
-        * flag.
+        * If FEC RS(544,514) is not supported, then the HWRM shall ignore
+        * this flag.
         */
-       #define HWRM_PORT_PHY_CFG_INPUT_FLAGS_FEC_RS544_2XN_ENABLE \
+       #define HWRM_PORT_PHY_CFG_INPUT_FLAGS_FEC_RS544_IEEE_ENABLE \
                UINT32_C(0x20000)
        /*
-        * When set to 1, then the HWRM shall disable FEC RS544_2XN
-        * on this port if supported, by not advertising FEC RS544_2XN if
+        * When set to 1, then the HWRM shall disable FEC RS(544,514)
+        * on this port if supported, by not advertising FEC RS(544,514) if
         * FEC autonegotiation is enabled or force disabled otherwise.
         * When set to 0, then this flag shall be ignored.
-        * If FEC RS544_2XN  is not supported, then the HWRM shall ignore this
-        * flag.
+        * If FEC RS(544,514) is not supported, then the HWRM shall ignore
+        * this flag.
         */
-       #define HWRM_PORT_PHY_CFG_INPUT_FLAGS_FEC_RS544_2XN_DISABLE \
+       #define HWRM_PORT_PHY_CFG_INPUT_FLAGS_FEC_RS544_IEEE_DISABLE \
                UINT32_C(0x40000)
+       /*
+        * When set to 1, then the HWRM shall enable FEC RS272_1XN
+        * on this port if supported, by advertising FEC RS272_1XN if
+        * FEC autonegotiation is enabled or force enabled otherwise.
+        * In forced mode, this flag will only take effect if the speed is
+        * PAM4.  If this flag and fec_rs272_ieee_enable are set, the
+        * HWRM shall choose one of the RS272 modes.  Note that RS272
+        * and RS544 modes cannot be set at the same time in forced FEC mode.
+        * When set to 0, then this flag shall be ignored.
+        * If FEC RS272_1XN is not supported, then the HWRM shall ignore this
+        * flag.
+        */
+       #define HWRM_PORT_PHY_CFG_INPUT_FLAGS_FEC_RS272_1XN_ENABLE \
+               UINT32_C(0x80000)
+       /*
+        * When set to 1, then the HWRM shall disable FEC RS272_1XN
+        * on this port if supported, by not advertising FEC RS272_1XN if
+        * FEC autonegotiation is enabled or force disabled otherwise.
+        * When set to 0, then this flag shall be ignored.
+        * If FEC RS272_1XN is not supported, then the HWRM shall ignore
+        * this flag.
+        */
+       #define HWRM_PORT_PHY_CFG_INPUT_FLAGS_FEC_RS272_1XN_DISABLE \
+               UINT32_C(0x100000)
+       /*
+        * When set to 1, then the HWRM shall enable FEC RS(272,257)
+        * on this port if supported, by advertising FEC RS(272,257) if
+        * FEC autonegotiation is enabled or force enabled otherwise.
+        * In forced mode, this flag will only take effect if the speed is
+        * PAM4.  If this flag and fec_rs272_1xn_enable are set, the
+        * HWRM shall choose one of the RS272 modes.  Note that RS272
+        * and RS544 modes cannot be set at the same time in forced FEC mode.
+        * When set to 0, then this flag shall be ignored.
+        * If FEC RS(272,257) is not supported, then the HWRM shall ignore
+        * this flag.
+        */
+       #define HWRM_PORT_PHY_CFG_INPUT_FLAGS_FEC_RS272_IEEE_ENABLE \
+               UINT32_C(0x200000)
+       /*
+        * When set to 1, then the HWRM shall disable FEC RS(272,257)
+        * on this port if supported, by not advertising FEC RS(272,257) if
+        * FEC autonegotiation is enabled or force disabled otherwise.
+        * When set to 0, then this flag shall be ignored.
+        * If FEC RS(272,257) is not supported, then the HWRM shall ignore
+        * this flag.
+        */
+       #define HWRM_PORT_PHY_CFG_INPUT_FLAGS_FEC_RS272_IEEE_DISABLE \
+               UINT32_C(0x400000)
        uint32_t        enables;
        /*
         * This bit must be '1' for the auto_mode field to be
@@ -15531,6 +19773,18 @@ struct hwrm_port_phy_cfg_input {
         */
        #define HWRM_PORT_PHY_CFG_INPUT_ENABLES_TX_LPI_TIMER \
                UINT32_C(0x400)
+       /*
+        * This bit must be '1' for the force_pam4_link_speed field to be
+        * configured.
+        */
+       #define HWRM_PORT_PHY_CFG_INPUT_ENABLES_FORCE_PAM4_LINK_SPEED \
+               UINT32_C(0x800)
+       /*
+        * This bit must be '1' for the auto_pam4_link_speed_mask field to
+        * be configured.
+        */
+       #define HWRM_PORT_PHY_CFG_INPUT_ENABLES_AUTO_PAM4_LINK_SPEED_MASK \
+               UINT32_C(0x1000)
        /* Port ID of port that is to be configured. */
        uint16_t        port_id;
        /*
@@ -15559,8 +19813,6 @@ struct hwrm_port_phy_cfg_input {
        #define HWRM_PORT_PHY_CFG_INPUT_FORCE_LINK_SPEED_50GB  UINT32_C(0x1f4)
        /* 100Gb link speed */
        #define HWRM_PORT_PHY_CFG_INPUT_FORCE_LINK_SPEED_100GB UINT32_C(0x3e8)
-       /* 200Gb link speed */
-       #define HWRM_PORT_PHY_CFG_INPUT_FORCE_LINK_SPEED_200GB UINT32_C(0x7d0)
        /* 10Mb link speed */
        #define HWRM_PORT_PHY_CFG_INPUT_FORCE_LINK_SPEED_10MB  UINT32_C(0xffff)
        #define HWRM_PORT_PHY_CFG_INPUT_FORCE_LINK_SPEED_LAST \
@@ -15585,8 +19837,9 @@ struct hwrm_port_phy_cfg_input {
         */
        #define HWRM_PORT_PHY_CFG_INPUT_AUTO_MODE_ONE_OR_BELOW UINT32_C(0x3)
        /*
-        * Select the speeds based on the corresponding link speed mask value
-        * that is provided.
+        * Select the speeds based on the corresponding link speed mask values
+        * that are provided. The included speeds are specified in the
+        * auto_link_speed and auto_pam4_link_speed fields.
         */
        #define HWRM_PORT_PHY_CFG_INPUT_AUTO_MODE_SPEED_MASK   UINT32_C(0x4)
        #define HWRM_PORT_PHY_CFG_INPUT_AUTO_MODE_LAST \
@@ -15665,8 +19918,6 @@ struct hwrm_port_phy_cfg_input {
        #define HWRM_PORT_PHY_CFG_INPUT_AUTO_LINK_SPEED_50GB  UINT32_C(0x1f4)
        /* 100Gb link speed */
        #define HWRM_PORT_PHY_CFG_INPUT_AUTO_LINK_SPEED_100GB UINT32_C(0x3e8)
-       /* 200Gb link speed */
-       #define HWRM_PORT_PHY_CFG_INPUT_AUTO_LINK_SPEED_200GB UINT32_C(0x7d0)
        /* 10Mb link speed */
        #define HWRM_PORT_PHY_CFG_INPUT_AUTO_LINK_SPEED_10MB  UINT32_C(0xffff)
        #define HWRM_PORT_PHY_CFG_INPUT_AUTO_LINK_SPEED_LAST \
@@ -15719,9 +19970,6 @@ struct hwrm_port_phy_cfg_input {
        /* 10Mb link speed (Full-duplex) */
        #define HWRM_PORT_PHY_CFG_INPUT_AUTO_LINK_SPEED_MASK_10MB \
                UINT32_C(0x2000)
-       /* 200Gb link speed */
-       #define HWRM_PORT_PHY_CFG_INPUT_AUTO_LINK_SPEED_MASK_200GB \
-               UINT32_C(0x4000)
        /* This value controls the wirespeed feature. */
        uint8_t wirespeed;
        /* Wirespeed feature is disabled. */
@@ -15832,7 +20080,15 @@ struct hwrm_port_phy_cfg_input {
        uint32_t        tx_lpi_timer;
        #define HWRM_PORT_PHY_CFG_INPUT_TX_LPI_TIMER_MASK UINT32_C(0xffffff)
        #define HWRM_PORT_PHY_CFG_INPUT_TX_LPI_TIMER_SFT 0
-       uint32_t        unused_3;
+       /* This field specifies which PAM4 speeds are enabled for auto mode. */
+       uint16_t        auto_link_pam4_speed_mask;
+       #define HWRM_PORT_PHY_CFG_INPUT_AUTO_LINK_PAM4_SPEED_MASK_50G \
+               UINT32_C(0x1)
+       #define HWRM_PORT_PHY_CFG_INPUT_AUTO_LINK_PAM4_SPEED_MASK_100G \
+               UINT32_C(0x2)
+       #define HWRM_PORT_PHY_CFG_INPUT_AUTO_LINK_PAM4_SPEED_MASK_200G \
+               UINT32_C(0x4)
+       uint8_t unused_2[2];
 } __rte_packed;
 
 /* hwrm_port_phy_cfg_output (size:128b/16B) */
@@ -15945,8 +20201,54 @@ struct hwrm_port_phy_qcfg_output {
        #define HWRM_PORT_PHY_QCFG_OUTPUT_LINK_LINK    UINT32_C(0x2)
        #define HWRM_PORT_PHY_QCFG_OUTPUT_LINK_LAST \
                HWRM_PORT_PHY_QCFG_OUTPUT_LINK_LINK
-       uint8_t unused_0;
-       /* This value indicates the current link speed of the connection. */
+       uint8_t active_fec_signal_mode;
+       /*
+        * This value indicates the current link signaling mode of the
+        * connection.
+        */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_SIGNAL_MODE_MASK \
+               UINT32_C(0xf)
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_SIGNAL_MODE_SFT                 0
+       /* NRZ signaling */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_SIGNAL_MODE_NRZ \
+               UINT32_C(0x0)
+       /* PAM4 signaling */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_SIGNAL_MODE_PAM4 \
+               UINT32_C(0x1)
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_SIGNAL_MODE_LAST \
+               HWRM_PORT_PHY_QCFG_OUTPUT_SIGNAL_MODE_PAM4
+       /* This value indicates the current active FEC mode. */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_ACTIVE_FEC_MASK \
+               UINT32_C(0xf0)
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_ACTIVE_FEC_SFT                  4
+       /* No active FEC */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_ACTIVE_FEC_FEC_NONE_ACTIVE \
+               (UINT32_C(0x0) << 4)
+       /* FEC CLAUSE 74 (Fire Code) active, autonegotiated or forced. */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_ACTIVE_FEC_FEC_CLAUSE74_ACTIVE \
+               (UINT32_C(0x1) << 4)
+       /* FEC CLAUSE 91 RS(528,514) active, autonegoatiated or forced. */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_ACTIVE_FEC_FEC_CLAUSE91_ACTIVE \
+               (UINT32_C(0x2) << 4)
+       /* FEC RS544_1XN active, autonegoatiated or forced. */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_ACTIVE_FEC_FEC_RS544_1XN_ACTIVE \
+               (UINT32_C(0x3) << 4)
+       /* FEC RS(544,528) active, autonegoatiated or forced. */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_ACTIVE_FEC_FEC_RS544_IEEE_ACTIVE \
+               (UINT32_C(0x4) << 4)
+       /* FEC RS272_1XN active, autonegotiated or forced. */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_ACTIVE_FEC_FEC_RS272_1XN_ACTIVE \
+               (UINT32_C(0x5) << 4)
+       /* FEC RS(272,257) active, autonegoatiated or forced. */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_ACTIVE_FEC_FEC_RS272_IEEE_ACTIVE \
+               (UINT32_C(0x6) << 4)
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_ACTIVE_FEC_LAST \
+               HWRM_PORT_PHY_QCFG_OUTPUT_ACTIVE_FEC_FEC_RS272_IEEE_ACTIVE
+       /*
+        * This value indicates the current link speed of the connection.
+        * The signal_mode field indicates if the link is using
+        * NRZ or PAM4 signaling.
+        */
        uint16_t        link_speed;
        /* 100Mb link speed */
        #define HWRM_PORT_PHY_QCFG_OUTPUT_LINK_SPEED_100MB UINT32_C(0x1)
@@ -16003,7 +20305,7 @@ struct hwrm_port_phy_qcfg_output {
        #define HWRM_PORT_PHY_QCFG_OUTPUT_PAUSE_RX     UINT32_C(0x2)
        /*
         * The supported speeds for the port. This is a bit mask.
-        * For each speed that is supported, the corrresponding
+        * For each speed that is supported, the corresponding
         * bit will be set to '1'.
         */
        uint16_t        support_speeds;
@@ -16049,9 +20351,6 @@ struct hwrm_port_phy_qcfg_output {
        /* 10Mb link speed (Full-duplex) */
        #define HWRM_PORT_PHY_QCFG_OUTPUT_SUPPORT_SPEEDS_10MB \
                UINT32_C(0x2000)
-       /* 200Gb link speed */
-       #define HWRM_PORT_PHY_QCFG_OUTPUT_SUPPORT_SPEEDS_200GB \
-               UINT32_C(0x4000)
        /*
         * Current setting of forced link speed.
         * When the link speed is not being forced, this
@@ -16081,9 +20380,6 @@ struct hwrm_port_phy_qcfg_output {
        /* 100Gb link speed */
        #define HWRM_PORT_PHY_QCFG_OUTPUT_FORCE_LINK_SPEED_100GB \
                UINT32_C(0x3e8)
-       /* 200Gb link speed */
-       #define HWRM_PORT_PHY_QCFG_OUTPUT_FORCE_LINK_SPEED_200GB \
-               UINT32_C(0x7d0)
        /* 10Mb link speed */
        #define HWRM_PORT_PHY_QCFG_OUTPUT_FORCE_LINK_SPEED_10MB \
                UINT32_C(0xffff)
@@ -16170,8 +20466,6 @@ struct hwrm_port_phy_qcfg_output {
        #define HWRM_PORT_PHY_QCFG_OUTPUT_AUTO_LINK_SPEED_50GB  UINT32_C(0x1f4)
        /* 100Gb link speed */
        #define HWRM_PORT_PHY_QCFG_OUTPUT_AUTO_LINK_SPEED_100GB UINT32_C(0x3e8)
-       /* 200Gb link speed */
-       #define HWRM_PORT_PHY_QCFG_OUTPUT_AUTO_LINK_SPEED_200GB UINT32_C(0x7d0)
        /* 10Mb link speed */
        #define HWRM_PORT_PHY_QCFG_OUTPUT_AUTO_LINK_SPEED_10MB \
                UINT32_C(0xffff)
@@ -16227,9 +20521,6 @@ struct hwrm_port_phy_qcfg_output {
        /* 10Mb link speed (Full-duplex) */
        #define HWRM_PORT_PHY_QCFG_OUTPUT_AUTO_LINK_SPEED_MASK_10MB \
                UINT32_C(0x2000)
-       /* 200Gb link speed */
-       #define HWRM_PORT_PHY_QCFG_OUTPUT_AUTO_LINK_SPEED_MASK_200GB \
-               UINT32_C(0x4000)
        /* Current setting for wirespeed. */
        uint8_t wirespeed;
        /* Wirespeed feature is disabled. */
@@ -16722,16 +21013,18 @@ struct hwrm_port_phy_qcfg_output {
        #define HWRM_PORT_PHY_QCFG_OUTPUT_FEC_CFG_FEC_CLAUSE74_ENABLED \
                UINT32_C(0x10)
        /*
-        * When set to 1, then FEC CLAUSE 91 (Reed Solomon) is supported on this port.
-        * When set to 0, then FEC CLAUSE 91 (Reed Solomon) is not supported on this port.
+        * When set to 1, then FEC CLAUSE 91 (Reed Solomon RS(528,514) for
+        * NRZ) is supported on this port.
+        * When set to 0, then FEC RS(528,418) is not supported on this port.
         */
        #define HWRM_PORT_PHY_QCFG_OUTPUT_FEC_CFG_FEC_CLAUSE91_SUPPORTED \
                UINT32_C(0x20)
        /*
-        * When set to 1, then FEC CLAUSE 91 (Reed Solomon) is enabled on this
-        * port. This means that FEC CLAUSE 91 is either advertised if
-        * FEC autonegotiation is enabled or FEC CLAUSE 91 is force enabled.
-        * When set to 0, then FEC CLAUSE 91 (Reed Solomon) is disabled if supported.
+        * When set to 1, then FEC CLAUSE 91 (Reed Solomon RS(528,514) for
+        * NRZ) is enabled on this port. This means that FEC RS(528,514) is
+        * either advertised if FEC autonegotiation is enabled or FEC
+        * RS(528,514) is force enabled.  When set to 0, then FEC RS(528,514)
+        * is disabled if supported.
         * This flag should be ignored if FEC CLAUSE 91 is not supported on this port.
         */
        #define HWRM_PORT_PHY_QCFG_OUTPUT_FEC_CFG_FEC_CLAUSE91_ENABLED \
@@ -16752,59 +21045,49 @@ struct hwrm_port_phy_qcfg_output {
        #define HWRM_PORT_PHY_QCFG_OUTPUT_FEC_CFG_FEC_RS544_1XN_ENABLED \
                UINT32_C(0x100)
        /*
-        * When set to 1, then FEC RS544_2XN is supported on this port.
-        * When set to 0, then FEC RS544_2XN is not supported on this port.
+        * When set to 1, then FEC RS(544,514) is supported on this port.
+        * When set to 0, then FEC RS(544,514) is not supported on this port.
         */
-       #define HWRM_PORT_PHY_QCFG_OUTPUT_FEC_CFG_FEC_RS544_2XN_SUPPORTED \
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_FEC_CFG_FEC_RS544_IEEE_SUPPORTED \
                UINT32_C(0x200)
        /*
-        * When set to 1, then RS544_2XN is enabled on this
-        * port. This means that FEC RS544_2XN is either advertised if
-        * FEC autonegotiation is enabled or FEC RS544_2XN is force enabled.
-        * When set to 0, then FEC RS544_2XN is disabled if supported.
-        * This flag should be ignored if FEC RS544_2XN is not supported on this port.
+        * When set to 1, then RS(544,514) is enabled on this
+        * port. This means that FEC RS(544,514) is either advertised if
+        * FEC autonegotiation is enabled or FEC RS(544,514) is force
+        * enabled.  When set to 0, then FEC RS(544,514) is disabled if supported.
+        * This flag should be ignored if FEC RS(544,514) is not supported on this port.
         */
-       #define HWRM_PORT_PHY_QCFG_OUTPUT_FEC_CFG_FEC_RS544_2XN_ENABLED \
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_FEC_CFG_FEC_RS544_IEEE_ENABLED \
                UINT32_C(0x400)
        /*
-        * When set to 1, then FEC CLAUSE 74 (Fire Code) is active on this
-        * port, either successfully autonegoatiated or forced.
-        * When set to 0, then FEC CLAUSE 74 (Fire Code) is not active.
-        * This flag is only valid when link is up on this port.
-        * At most only one active FEC flags (fec_clause74_active,
-        * fec_clause91_active, fec_rs544_1xn, fec_rs544_2xn) can be set.
+        * When set to 1, then FEC RS272_1XN is supported on this port.
+        * When set to 0, then FEC RS272_1XN is not supported on this port.
         */
-       #define HWRM_PORT_PHY_QCFG_OUTPUT_FEC_CFG_FEC_CLAUSE74_ACTIVE \
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_FEC_CFG_FEC_RS272_1XN_SUPPORTED \
                UINT32_C(0x800)
        /*
-        * When set to 1, then FEC CLAUSE 91 (Reed Solomon) is active on this
-        * port, either successfully autonegoatiated or forced.
-        * When set to 0, then FEC CLAUSE 91 (Reed Solomon) is not active.
-        * This flag is only valid when link is up on this port.
-        * At most only one active FEC flags (fec_clause74_active,
-        * fec_clause91_active, fec_rs544_1xn, fec_rs544_2xn) can be set.
+        * When set to 1, then RS272_1XN is enabled on this
+        * port. This means that FEC RS272_1XN is either advertised if
+        * FEC autonegotiation is enabled or FEC RS272_1XN is force
+        * enabled.  When set to 0, then FEC RS272_1XN is disabled if supported.
+        * This flag should be ignored if FEC RS272_1XN is not supported on this port.
         */
-       #define HWRM_PORT_PHY_QCFG_OUTPUT_FEC_CFG_FEC_CLAUSE91_ACTIVE \
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_FEC_CFG_FEC_RS272_1XN_ENABLED \
                UINT32_C(0x1000)
        /*
-        * When set to 1, then FEC RS544_1XN is active on this
-        * port, either successfully autonegoatiated or forced.
-        * When set to 0, then FEC RS544_1XN is not active.
-        * This flag is only valid when link is up on this port.
-        * At most only one active FEC flags (fec_clause74_active,
-        * fec_clause91_active, fec_rs544_1xn, fec_rs544_2xn) can be set.
+        * When set to 1, then FEC RS(272,514) is supported on this port.
+        * When set to 0, then FEC RS(272,514) is not supported on this port.
         */
-       #define HWRM_PORT_PHY_QCFG_OUTPUT_FEC_CFG_FEC_RS544_1XN_ACTIVE \
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_FEC_CFG_FEC_RS272_IEEE_SUPPORTED \
                UINT32_C(0x2000)
        /*
-        * When set to 1, then FEC RS544_2XN is active on this
-        * port, either successfully autonegoatiated or forced.
-        * When set to 0, then FEC RS544_2XN is not active.
-        * This flag is only valid when link is up on this port.
-        * At most only one active FEC flags (fec_clause74_active,
-        * fec_clause91_active, fec_rs544_1xn, fec_rs544_2xn) can be set.
+        * When set to 1, then RS(272,257) is enabled on this
+        * port. This means that FEC RS(272,257) is either advertised if
+        * FEC autonegotiation is enabled or FEC RS(272,257) is force
+        * enabled.  When set to 0, then FEC RS(272,257) is disabled if supported.
+        * This flag should be ignored if FEC RS(272,257) is not supported on this port.
         */
-       #define HWRM_PORT_PHY_QCFG_OUTPUT_FEC_CFG_FEC_RS544_2XN_ACTIVE \
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_FEC_CFG_FEC_RS272_IEEE_ENABLED \
                UINT32_C(0x4000)
        /*
         * This value is indicates the duplex of the current
@@ -16822,6 +21105,12 @@ struct hwrm_port_phy_qcfg_output {
        /* When this bit is '1', Media auto detect is enabled. */
        #define HWRM_PORT_PHY_QCFG_OUTPUT_OPTION_FLAGS_MEDIA_AUTO_DETECT \
                UINT32_C(0x1)
+       /*
+        * When this bit is '1', active_fec_signal_mode can be
+        * trusted.
+        */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_OPTION_FLAGS_SIGNAL_MODE_KNOWN \
+               UINT32_C(0x2)
        /*
         * Up to 16 bytes of null padded ASCII string representing
         * PHY vendor.
@@ -16836,7 +21125,63 @@ struct hwrm_port_phy_qcfg_output {
         * part number is not available.
         */
        char    phy_vendor_partnumber[16];
-       uint8_t unused_2[7];
+       /*
+        * The supported PAM4 speeds for the port. This is a bit mask.
+        * For each speed that is supported, the corresponding
+        * bit will be set to '1'.
+        */
+       uint16_t        support_pam4_speeds;
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_SUPPORT_PAM4_SPEEDS_50G \
+               UINT32_C(0x1)
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_SUPPORT_PAM4_SPEEDS_100G \
+               UINT32_C(0x2)
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_SUPPORT_PAM4_SPEEDS_200G \
+               UINT32_C(0x4)
+       /*
+        * Current setting of forced PAM4 link speed.
+        * When the link speed is not being forced, this
+        * value shall be set to 0.
+        */
+       uint16_t        force_pam4_link_speed;
+       /* 50Gb link speed */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_FORCE_PAM4_LINK_SPEED_50GB \
+               UINT32_C(0x1f4)
+       /* 100Gb link speed */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_FORCE_PAM4_LINK_SPEED_100GB \
+               UINT32_C(0x3e8)
+       /* 200Gb link speed */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_FORCE_PAM4_LINK_SPEED_200GB \
+               UINT32_C(0x7d0)
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_FORCE_PAM4_LINK_SPEED_LAST \
+               HWRM_PORT_PHY_QCFG_OUTPUT_FORCE_PAM4_LINK_SPEED_200GB
+       /*
+        * Current setting for auto_pam4_link_speed_mask that is used to
+        * advertise speeds during autonegotiation.
+        * This field is only valid when auto_mode is set to "mask".
+        * The speeds specified in this field shall be a subset of
+        * supported speeds on this port.
+        */
+       uint16_t        auto_pam4_link_speed_mask;
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_AUTO_PAM4_LINK_SPEED_MASK_50G \
+               UINT32_C(0x1)
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_AUTO_PAM4_LINK_SPEED_MASK_100G \
+               UINT32_C(0x2)
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_AUTO_PAM4_LINK_SPEED_MASK_200G \
+               UINT32_C(0x4)
+       /*
+        * The advertised PAM4 speeds for the port by the link partner.
+        * Each advertised speed will be set to '1'.
+        */
+       uint8_t link_partner_pam4_adv_speeds;
+       /* 50Gb link speed */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_LINK_PARTNER_PAM4_ADV_SPEEDS_50GB \
+               UINT32_C(0x1)
+       /* 100Gb link speed */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_LINK_PARTNER_PAM4_ADV_SPEEDS_100GB \
+               UINT32_C(0x2)
+       /* 200Gb link speed */
+       #define HWRM_PORT_PHY_QCFG_OUTPUT_LINK_PARTNER_PAM4_ADV_SPEEDS_200GB \
+               UINT32_C(0x4)
        /*
         * This field is used in Output records to indicate that the output
         * is completely written to RAM.  This field should be read as '1'
@@ -19036,7 +23381,7 @@ struct hwrm_port_lpbk_qstats_output {
  ************************/
 
 
-/* hwrm_port_ecn_qstats_input (size:192b/24B) */
+/* hwrm_port_ecn_qstats_input (size:256b/32B) */
 struct hwrm_port_ecn_qstats_input {
        /* The HWRM command request type. */
        uint16_t        req_type;
@@ -19071,10 +23416,31 @@ struct hwrm_port_ecn_qstats_input {
         * multi-host mode.
         */
        uint16_t        port_id;
-       uint8_t unused_0[6];
+       /*
+        * Size of the DMA buffer the caller has allocated for the firmware to
+        * write into.
+        */
+       uint16_t        ecn_stat_buf_size;
+       uint8_t flags;
+       /* This value is not used to avoid backward compatibility issues. */
+       #define HWRM_PORT_ECN_QSTATS_INPUT_FLAGS_UNUSED       UINT32_C(0x0)
+       /*
+        * This bit is set to 1 when request is for a counter mask,
+        * representing the width of each of the stats counters, rather
+        * than counters themselves.
+        */
+       #define HWRM_PORT_ECN_QSTATS_INPUT_FLAGS_COUNTER_MASK UINT32_C(0x1)
+       #define HWRM_PORT_ECN_QSTATS_INPUT_FLAGS_LAST \
+               HWRM_PORT_ECN_QSTATS_INPUT_FLAGS_COUNTER_MASK
+       uint8_t unused_0[3];
+       /*
+        * This is the host address where
+        * ECN port statistics will be stored
+        */
+       uint64_t        ecn_stat_host_addr;
 } __rte_packed;
 
-/* hwrm_port_ecn_qstats_output (size:384b/48B) */
+/* hwrm_port_ecn_qstats_output (size:128b/16B) */
 struct hwrm_port_ecn_qstats_output {
        /* The specific error status for the command. */
        uint16_t        error_code;
@@ -19084,28 +23450,14 @@ struct hwrm_port_ecn_qstats_output {
        uint16_t        seq_id;
        /* The length of the response data in number of bytes. */
        uint16_t        resp_len;
-       /* Number of packets marked in CoS queue 0. */
-       uint32_t        mark_cnt_cos0;
-       /* Number of packets marked in CoS queue 1. */
-       uint32_t        mark_cnt_cos1;
-       /* Number of packets marked in CoS queue 2. */
-       uint32_t        mark_cnt_cos2;
-       /* Number of packets marked in CoS queue 3. */
-       uint32_t        mark_cnt_cos3;
-       /* Number of packets marked in CoS queue 4. */
-       uint32_t        mark_cnt_cos4;
-       /* Number of packets marked in CoS queue 5. */
-       uint32_t        mark_cnt_cos5;
-       /* Number of packets marked in CoS queue 6. */
-       uint32_t        mark_cnt_cos6;
-       /* Number of packets marked in CoS queue 7. */
-       uint32_t        mark_cnt_cos7;
+       /* Number of bytes of stats the firmware wrote to the DMA buffer. */
+       uint16_t        ecn_stat_buf_size;
        /*
         * Bitmask that indicates which CoS queues have ECN marking enabled.
         * Bit i corresponds to CoS queue i.
         */
        uint8_t mark_en;
-       uint8_t unused_0[6];
+       uint8_t unused_0[4];
        /*
         * This field is used in Output records to indicate that the output
         * is completely written to RAM.  This field should be read as '1'
@@ -19116,6 +23468,59 @@ struct hwrm_port_ecn_qstats_output {
        uint8_t valid;
 } __rte_packed;
 
+/* ECN mark statistics format */
+/* port_stats_ecn (size:512b/64B) */
+struct port_stats_ecn {
+       /*
+        * Number of packets marked in CoS queue 0.
+        * Or, if the driver requested counter masks, a mask to indicate the size
+        * of the counter.
+        */
+       uint64_t        mark_cnt_cos0;
+       /*
+        * Number of packets marked in CoS queue 1.
+        * Or, if the driver requested counter masks, a mask to indicate the size
+        * of the counter.
+        */
+       uint64_t        mark_cnt_cos1;
+       /*
+        * Number of packets marked in CoS queue 2.
+        * Or, if the driver requested counter masks, a mask to indicate the size
+        * of the counter.
+        */
+       uint64_t        mark_cnt_cos2;
+       /*
+        * Number of packets marked in CoS queue 3.
+        * Or, if the driver requested counter masks, a mask to indicate the size
+        * of the counter.
+        */
+       uint64_t        mark_cnt_cos3;
+       /*
+        * Number of packets marked in CoS queue 4.
+        * Or, if the driver requested counter masks, a mask to indicate the size
+        * of the counter.
+        */
+       uint64_t        mark_cnt_cos4;
+       /*
+        * Number of packets marked in CoS queue 5.
+        * Or, if the driver requested counter masks, a mask to indicate the size
+        * of the counter.
+        */
+       uint64_t        mark_cnt_cos5;
+       /*
+        * Number of packets marked in CoS queue 6.
+        * Or, if the driver requested counter masks, a mask to indicate the size
+        * of the counter.
+        */
+       uint64_t        mark_cnt_cos6;
+       /*
+        * Number of packets marked in CoS queue 7.
+        * Or, if the driver requested counter masks, a mask to indicate the size
+        * of the counter.
+        */
+       uint64_t        mark_cnt_cos7;
+} __rte_packed;
+
 /***********************
  * hwrm_port_clr_stats *
  ***********************/
@@ -19228,7 +23633,7 @@ struct hwrm_port_phy_qcaps_input {
        uint8_t unused_0[6];
 } __rte_packed;
 
-/* hwrm_port_phy_qcaps_output (size:192b/24B) */
+/* hwrm_port_phy_qcaps_output (size:256b/32B) */
 struct hwrm_port_phy_qcaps_output {
        /* The specific error status for the command. */
        uint16_t        error_code;
@@ -19278,13 +23683,29 @@ struct hwrm_port_phy_qcaps_output {
        #define HWRM_PORT_PHY_QCAPS_OUTPUT_FLAGS_CUMULATIVE_COUNTERS_ON_RESET \
                UINT32_C(0x10)
        /*
-        * Reserved field. The HWRM shall set this field to 0.
-        * An HWRM client shall ignore this field.
+        * If set to 1, then this field indicates that the
+        * local loopback is not supported on this controller.
         */
-       #define HWRM_PORT_PHY_QCAPS_OUTPUT_FLAGS_RSVD1_MASK \
-               UINT32_C(0xe0)
-       #define HWRM_PORT_PHY_QCAPS_OUTPUT_FLAGS_RSVD1_SFT \
-               5
+       #define HWRM_PORT_PHY_QCAPS_OUTPUT_FLAGS_LOCAL_LPBK_NOT_SUPPORTED \
+               UINT32_C(0x20)
+       /*
+        * If set to 1, then this field indicates that the
+        * PHY/Link down policy during PF shutdown is totally
+        * controlled by the firmware. It can shutdown the link
+        * even when there are active VFs associated with the PF.
+        * Host PF driver can send HWRM_PHY_CFG command to bring
+        * down the PHY even when the port is shared between VFs
+        * and PFs.
+        */
+       #define HWRM_PORT_PHY_QCAPS_OUTPUT_FLAGS_FW_MANAGED_LINK_DOWN \
+               UINT32_C(0x40)
+       /*
+        * If set to 1, this field indicates that the FCS may
+        * be disabled for a given packet via the transmit
+        * buffer descriptor.
+        */
+       #define HWRM_PORT_PHY_QCAPS_OUTPUT_FLAGS_NO_FCS \
+               UINT32_C(0x80)
        /* Number of front panel ports for this device. */
        uint8_t port_cnt;
        /* Not supported or unknown */
@@ -19348,9 +23769,6 @@ struct hwrm_port_phy_qcaps_output {
        /* 10Mb link speed (Full-duplex) */
        #define HWRM_PORT_PHY_QCAPS_OUTPUT_SUPPORTED_SPEEDS_FORCE_MODE_10MB \
                UINT32_C(0x2000)
-       /* 200Gb link speed */
-       #define HWRM_PORT_PHY_QCAPS_OUTPUT_SUPPORTED_SPEEDS_FORCE_MODE_200GB \
-               UINT32_C(0x4000)
        /*
         * This is a bit mask to indicate what speeds are supported
         * for autonegotiation on this link.
@@ -19400,9 +23818,6 @@ struct hwrm_port_phy_qcaps_output {
        /* 10Mb link speed (Full-duplex) */
        #define HWRM_PORT_PHY_QCAPS_OUTPUT_SUPPORTED_SPEEDS_AUTO_MODE_10MB \
                UINT32_C(0x2000)
-       /* 200Gb link speed */
-       #define HWRM_PORT_PHY_QCAPS_OUTPUT_SUPPORTED_SPEEDS_AUTO_MODE_200GB \
-               UINT32_C(0x4000)
        /*
         * This is a bit mask to indicate what speeds are supported
         * for EEE on this link.
@@ -19457,6 +23872,36 @@ struct hwrm_port_phy_qcaps_output {
        #define HWRM_PORT_PHY_QCAPS_OUTPUT_TX_LPI_TIMER_HIGH_MASK \
                UINT32_C(0xffffff)
        #define HWRM_PORT_PHY_QCAPS_OUTPUT_TX_LPI_TIMER_HIGH_SFT 0
+       /*
+        * Reserved field. The HWRM shall set this field to 0.
+        * An HWRM client shall ignore this field.
+        */
+       #define HWRM_PORT_PHY_QCAPS_OUTPUT_RSVD_MASK \
+               UINT32_C(0xff000000)
+       #define HWRM_PORT_PHY_QCAPS_OUTPUT_RSVD_SFT              24
+       /*
+        * This field is used to advertise which PAM4 speeds are supported
+        * in auto mode.
+        */
+       uint16_t        supported_pam4_speeds_auto_mode;
+       #define HWRM_PORT_PHY_QCAPS_OUTPUT_SUPPORTED_PAM4_SPEEDS_AUTO_MODE_50G \
+               UINT32_C(0x1)
+       #define HWRM_PORT_PHY_QCAPS_OUTPUT_SUPPORTED_PAM4_SPEEDS_AUTO_MODE_100G \
+               UINT32_C(0x2)
+       #define HWRM_PORT_PHY_QCAPS_OUTPUT_SUPPORTED_PAM4_SPEEDS_AUTO_MODE_200G \
+               UINT32_C(0x4)
+       /*
+        * This field is used to advertise which PAM4 speeds are supported
+        * in forced mode.
+        */
+       uint16_t        supported_pam4_speeds_force_mode;
+       #define HWRM_PORT_PHY_QCAPS_OUTPUT_SUPPORTED_PAM4_SPEEDS_FORCE_MODE_50G \
+               UINT32_C(0x1)
+       #define HWRM_PORT_PHY_QCAPS_OUTPUT_SUPPORTED_PAM4_SPEEDS_FORCE_MODE_100G \
+               UINT32_C(0x2)
+       #define HWRM_PORT_PHY_QCAPS_OUTPUT_SUPPORTED_PAM4_SPEEDS_FORCE_MODE_200G \
+               UINT32_C(0x4)
+       uint8_t unused_0[3];
        /*
         * This field is used in Output records to indicate that the output
         * is completely written to RAM.  This field should be read as '1'
@@ -19464,9 +23909,7 @@ struct hwrm_port_phy_qcaps_output {
         * When writing a command completion or response to an internal processor,
         * the order of writes has to be such that this field is written last.
         */
-       #define HWRM_PORT_PHY_QCAPS_OUTPUT_VALID_MASK \
-               UINT32_C(0xff000000)
-       #define HWRM_PORT_PHY_QCAPS_OUTPUT_VALID_SFT             24
+       uint8_t valid;
 } __rte_packed;
 
 /****************************
@@ -21383,6 +25826,161 @@ struct hwrm_port_phy_mdio_bus_release_output {
        uint8_t valid;
 } __rte_packed;
 
+/************************
+ * hwrm_port_tx_fir_cfg *
+ ************************/
+
+
+/* hwrm_port_tx_fir_cfg_input (size:320b/40B) */
+struct hwrm_port_tx_fir_cfg_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       /* Modulation types of TX FIR: NRZ, PAM4. */
+       uint8_t mod_type;
+       /* For NRZ */
+       #define HWRM_PORT_TX_FIR_CFG_INPUT_MOD_TYPE_NRZ  UINT32_C(0x0)
+       /* For PAM4 */
+       #define HWRM_PORT_TX_FIR_CFG_INPUT_MOD_TYPE_PAM4 UINT32_C(0x1)
+       #define HWRM_PORT_TX_FIR_CFG_INPUT_MOD_TYPE_LAST \
+               HWRM_PORT_TX_FIR_CFG_INPUT_MOD_TYPE_PAM4
+       /* The lane mask of the lane TX FIR will be configured. */
+       uint8_t lane_mask;
+       uint8_t unused_0[2];
+       /* Value1 of TX FIR, required for NRZ or PAM4. */
+       uint32_t        txfir_val_1;
+       /* Value2 of TX FIR, required for NRZ or PAM4. */
+       uint32_t        txfir_val_2;
+       /* Value3 of TX FIR, required for PAM4. */
+       uint32_t        txfir_val_3;
+       /* Value4 of TX FIR, required for PAM4. */
+       uint32_t        txfir_val_4;
+       uint8_t unused_1[4];
+} __rte_packed;
+
+/* hwrm_port_tx_fir_cfg_output (size:128b/16B) */
+struct hwrm_port_tx_fir_cfg_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       uint8_t unused[7];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM.  This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal processor,
+        * the order of writes has to be such that this field is written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
+/*************************
+ * hwrm_port_tx_fir_qcfg *
+ *************************/
+
+
+/* hwrm_port_tx_fir_qcfg_input (size:192b/24B) */
+struct hwrm_port_tx_fir_qcfg_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       /* Modulation types of TX FIR: NRZ, PAM4. */
+       uint8_t mod_type;
+       /* For NRZ */
+       #define HWRM_PORT_TX_FIR_QCFG_INPUT_MOD_TYPE_NRZ  UINT32_C(0x0)
+       /* For PAM4 */
+       #define HWRM_PORT_TX_FIR_QCFG_INPUT_MOD_TYPE_PAM4 UINT32_C(0x1)
+       #define HWRM_PORT_TX_FIR_QCFG_INPUT_MOD_TYPE_LAST \
+               HWRM_PORT_TX_FIR_QCFG_INPUT_MOD_TYPE_PAM4
+       /* The ID of the lane TX FIR will be queried. */
+       uint8_t lane_id;
+       uint8_t unused[6];
+} __rte_packed;
+
+/* hwrm_port_tx_fir_qcfg_output (size:256b/32B) */
+struct hwrm_port_tx_fir_qcfg_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       /* Value1 of TX FIR, required for NRZ or PAM4. */
+       uint32_t        txfir_val_1;
+       /* Value2 of TX FIR, required for NRZ or PAM4. */
+       uint32_t        txfir_val_2;
+       /* Value3 of TX FIR, required for PAM4. */
+       uint32_t        txfir_val_3;
+       /* Value4 of TX FIR, required for PAM4. */
+       uint32_t        txfir_val_4;
+       uint8_t unused[7];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM.  This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal processor,
+        * the order of writes has to be such that this field is written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
 /***********************
  * hwrm_queue_qportcfg *
  ***********************/
@@ -21546,27 +26144,29 @@ struct hwrm_queue_qportcfg_output {
         * that takes a queue id.
         * # IDs must always be queried by this command before any use
         * by the driver or software.
-        * # Any driver or software should not make any assumptions about
-        * queue IDs.
+        * # The CoS queue index is obtained by applying modulo 10 to the
+        * CoS queue ID. Valid CoS queue indexes are in the range of 0 to 7.
+        * The CoS queue index is used to reference port statistics for the
+        * CoS queue.
         * # A value of 0xff indicates that the queue is not available.
         * # Available queues may not be in sequential order.
         */
        uint8_t queue_id0;
-       /* This value is applicable to CoS queues only. */
+       /* This value specifies service profile kind for CoS queue */
        uint8_t queue_id0_service_profile;
        /* Lossy (best-effort) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID0_SERVICE_PROFILE_LOSSY \
                UINT32_C(0x0)
-       /* Lossless (legacy) */
+       /* Lossless */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID0_SERVICE_PROFILE_LOSSLESS \
                UINT32_C(0x1)
-       /* Lossless RoCE */
+       /* Lossless RoCE (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID0_SERVICE_PROFILE_LOSSLESS_ROCE \
                UINT32_C(0x1)
-       /* Lossy RoCE CNP */
+       /* Lossy RoCE CNP (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID0_SERVICE_PROFILE_LOSSY_ROCE_CNP \
                UINT32_C(0x2)
-       /* Lossless NIC */
+       /* Lossless NIC (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID0_SERVICE_PROFILE_LOSSLESS_NIC \
                UINT32_C(0x3)
        /* Set to 0xFF... (All Fs) if there is no service profile specified */
@@ -21582,27 +26182,29 @@ struct hwrm_queue_qportcfg_output {
         * that takes a queue id.
         * # IDs must always be queried by this command before any use
         * by the driver or software.
-        * # Any driver or software should not make any assumptions about
-        * queue IDs.
+        * # The CoS queue index is obtained by applying modulo 10 to the
+        * CoS queue ID. Valid CoS queue indexes are in the range of 0 to 7.
+        * The CoS queue index is used to reference port statistics for the
+        * CoS queue.
         * # A value of 0xff indicates that the queue is not available.
         * # Available queues may not be in sequential order.
         */
        uint8_t queue_id1;
-       /* This value is applicable to CoS queues only. */
+       /* This value specifies service profile kind for CoS queue */
        uint8_t queue_id1_service_profile;
        /* Lossy (best-effort) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID1_SERVICE_PROFILE_LOSSY \
                UINT32_C(0x0)
-       /* Lossless (legacy) */
+       /* Lossless */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID1_SERVICE_PROFILE_LOSSLESS \
                UINT32_C(0x1)
-       /* Lossless RoCE */
+       /* Lossless RoCE (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID1_SERVICE_PROFILE_LOSSLESS_ROCE \
                UINT32_C(0x1)
-       /* Lossy RoCE CNP */
+       /* Lossy RoCE CNP (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID1_SERVICE_PROFILE_LOSSY_ROCE_CNP \
                UINT32_C(0x2)
-       /* Lossless NIC */
+       /* Lossless NIC (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID1_SERVICE_PROFILE_LOSSLESS_NIC \
                UINT32_C(0x3)
        /* Set to 0xFF... (All Fs) if there is no service profile specified */
@@ -21618,27 +26220,29 @@ struct hwrm_queue_qportcfg_output {
         * that takes a queue id.
         * # IDs must always be queried by this command before any use
         * by the driver or software.
-        * # Any driver or software should not make any assumptions about
-        * queue IDs.
+        * # The CoS queue index is obtained by applying modulo 10 to the
+        * CoS queue ID. Valid CoS queue indexes are in the range of 0 to 7.
+        * The CoS queue index is used to reference port statistics for the
+        * CoS queue.
         * # A value of 0xff indicates that the queue is not available.
         * # Available queues may not be in sequential order.
         */
        uint8_t queue_id2;
-       /* This value is applicable to CoS queues only. */
+       /* This value specifies service profile kind for CoS queue */
        uint8_t queue_id2_service_profile;
        /* Lossy (best-effort) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID2_SERVICE_PROFILE_LOSSY \
                UINT32_C(0x0)
-       /* Lossless (legacy) */
+       /* Lossless */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID2_SERVICE_PROFILE_LOSSLESS \
                UINT32_C(0x1)
-       /* Lossless RoCE */
+       /* Lossless RoCE (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID2_SERVICE_PROFILE_LOSSLESS_ROCE \
                UINT32_C(0x1)
-       /* Lossy RoCE CNP */
+       /* Lossy RoCE CNP (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID2_SERVICE_PROFILE_LOSSY_ROCE_CNP \
                UINT32_C(0x2)
-       /* Lossless NIC */
+       /* Lossless NIC (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID2_SERVICE_PROFILE_LOSSLESS_NIC \
                UINT32_C(0x3)
        /* Set to 0xFF... (All Fs) if there is no service profile specified */
@@ -21654,27 +26258,29 @@ struct hwrm_queue_qportcfg_output {
         * that takes a queue id.
         * # IDs must always be queried by this command before any use
         * by the driver or software.
-        * # Any driver or software should not make any assumptions about
-        * queue IDs.
+        * # The CoS queue index is obtained by applying modulo 10 to the
+        * CoS queue ID. Valid CoS queue indexes are in the range of 0 to 7.
+        * The CoS queue index is used to reference port statistics for the
+        * CoS queue.
         * # A value of 0xff indicates that the queue is not available.
         * # Available queues may not be in sequential order.
         */
        uint8_t queue_id3;
-       /* This value is applicable to CoS queues only. */
+       /* This value specifies service profile kind for CoS queue */
        uint8_t queue_id3_service_profile;
        /* Lossy (best-effort) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID3_SERVICE_PROFILE_LOSSY \
                UINT32_C(0x0)
-       /* Lossless (legacy) */
+       /* Lossless */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID3_SERVICE_PROFILE_LOSSLESS \
                UINT32_C(0x1)
-       /* Lossless RoCE */
+       /* Lossless RoCE (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID3_SERVICE_PROFILE_LOSSLESS_ROCE \
                UINT32_C(0x1)
-       /* Lossy RoCE CNP */
+       /* Lossy RoCE CNP (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID3_SERVICE_PROFILE_LOSSY_ROCE_CNP \
                UINT32_C(0x2)
-       /* Lossless NIC */
+       /* Lossless NIC (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID3_SERVICE_PROFILE_LOSSLESS_NIC \
                UINT32_C(0x3)
        /* Set to 0xFF... (All Fs) if there is no service profile specified */
@@ -21690,27 +26296,29 @@ struct hwrm_queue_qportcfg_output {
         * that takes a queue id.
         * # IDs must always be queried by this command before any use
         * by the driver or software.
-        * # Any driver or software should not make any assumptions about
-        * queue IDs.
+        * # The CoS queue index is obtained by applying modulo 10 to the
+        * CoS queue ID. Valid CoS queue indexes are in the range of 0 to 7.
+        * The CoS queue index is used to reference port statistics for the
+        * CoS queue.
         * # A value of 0xff indicates that the queue is not available.
         * # Available queues may not be in sequential order.
         */
        uint8_t queue_id4;
-       /* This value is applicable to CoS queues only. */
+       /* This value specifies service profile kind for CoS queue */
        uint8_t queue_id4_service_profile;
        /* Lossy (best-effort) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID4_SERVICE_PROFILE_LOSSY \
                UINT32_C(0x0)
-       /* Lossless (legacy) */
+       /* Lossless */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID4_SERVICE_PROFILE_LOSSLESS \
                UINT32_C(0x1)
-       /* Lossless RoCE */
+       /* Lossless RoCE (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID4_SERVICE_PROFILE_LOSSLESS_ROCE \
                UINT32_C(0x1)
-       /* Lossy RoCE CNP */
+       /* Lossy RoCE CNP (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID4_SERVICE_PROFILE_LOSSY_ROCE_CNP \
                UINT32_C(0x2)
-       /* Lossless NIC */
+       /* Lossless NIC (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID4_SERVICE_PROFILE_LOSSLESS_NIC \
                UINT32_C(0x3)
        /* Set to 0xFF... (All Fs) if there is no service profile specified */
@@ -21726,27 +26334,29 @@ struct hwrm_queue_qportcfg_output {
         * that takes a queue id.
         * # IDs must always be queried by this command before any use
         * by the driver or software.
-        * # Any driver or software should not make any assumptions about
-        * queue IDs.
+        * # The CoS queue index is obtained by applying modulo 10 to the
+        * CoS queue ID. Valid CoS queue indexes are in the range of 0 to 7.
+        * The CoS queue index is used to reference port statistics for the
+        * CoS queue.
         * # A value of 0xff indicates that the queue is not available.
         * # Available queues may not be in sequential order.
         */
        uint8_t queue_id5;
-       /* This value is applicable to CoS queues only. */
+       /* This value specifies service profile kind for CoS queue */
        uint8_t queue_id5_service_profile;
        /* Lossy (best-effort) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID5_SERVICE_PROFILE_LOSSY \
                UINT32_C(0x0)
-       /* Lossless (legacy) */
+       /* Lossless */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID5_SERVICE_PROFILE_LOSSLESS \
                UINT32_C(0x1)
-       /* Lossless RoCE */
+       /* Lossless RoCE (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID5_SERVICE_PROFILE_LOSSLESS_ROCE \
                UINT32_C(0x1)
-       /* Lossy RoCE CNP */
+       /* Lossy RoCE CNP (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID5_SERVICE_PROFILE_LOSSY_ROCE_CNP \
                UINT32_C(0x2)
-       /* Lossless NIC */
+       /* Lossless NIC (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID5_SERVICE_PROFILE_LOSSLESS_NIC \
                UINT32_C(0x3)
        /* Set to 0xFF... (All Fs) if there is no service profile specified */
@@ -21762,27 +26372,29 @@ struct hwrm_queue_qportcfg_output {
         * that takes a queue id.
         * # IDs must always be queried by this command before any use
         * by the driver or software.
-        * # Any driver or software should not make any assumptions about
-        * queue IDs.
+        * # The CoS queue index is obtained by applying modulo 10 to the
+        * CoS queue ID. Valid CoS queue indexes are in the range of 0 to 7.
+        * The CoS queue index is used to reference port statistics for the
+        * CoS queue.
         * # A value of 0xff indicates that the queue is not available.
         * # Available queues may not be in sequential order.
         */
        uint8_t queue_id6;
-       /* This value is applicable to CoS queues only. */
+       /* This value specifies service profile kind for CoS queue */
        uint8_t queue_id6_service_profile;
        /* Lossy (best-effort) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID6_SERVICE_PROFILE_LOSSY \
                UINT32_C(0x0)
-       /* Lossless (legacy) */
+       /* Lossless */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID6_SERVICE_PROFILE_LOSSLESS \
                UINT32_C(0x1)
-       /* Lossless RoCE */
+       /* Lossless RoCE (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID6_SERVICE_PROFILE_LOSSLESS_ROCE \
                UINT32_C(0x1)
-       /* Lossy RoCE CNP */
+       /* Lossy RoCE CNP (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID6_SERVICE_PROFILE_LOSSY_ROCE_CNP \
                UINT32_C(0x2)
-       /* Lossless NIC */
+       /* Lossless NIC (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID6_SERVICE_PROFILE_LOSSLESS_NIC \
                UINT32_C(0x3)
        /* Set to 0xFF... (All Fs) if there is no service profile specified */
@@ -21798,27 +26410,29 @@ struct hwrm_queue_qportcfg_output {
         * that takes a queue id.
         * # IDs must always be queried by this command before any use
         * by the driver or software.
-        * # Any driver or software should not make any assumptions about
-        * queue IDs.
+        * # The CoS queue index is obtained by applying modulo 10 to the
+        * CoS queue ID. Valid CoS queue indexes are in the range of 0 to 7.
+        * The CoS queue index is used to reference port statistics for the
+        * CoS queue.
         * # A value of 0xff indicates that the queue is not available.
         * # Available queues may not be in sequential order.
         */
        uint8_t queue_id7;
-       /* This value is applicable to CoS queues only. */
+       /* This value specifies service profile kind for CoS queue */
        uint8_t queue_id7_service_profile;
        /* Lossy (best-effort) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID7_SERVICE_PROFILE_LOSSY \
                UINT32_C(0x0)
-       /* Lossless (legacy) */
+       /* Lossless */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID7_SERVICE_PROFILE_LOSSLESS \
                UINT32_C(0x1)
-       /* Lossless RoCE */
+       /* Lossless RoCE (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID7_SERVICE_PROFILE_LOSSLESS_ROCE \
                UINT32_C(0x1)
-       /* Lossy RoCE CNP */
+       /* Lossy RoCE CNP (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID7_SERVICE_PROFILE_LOSSY_ROCE_CNP \
                UINT32_C(0x2)
-       /* Lossless NIC */
+       /* Lossless NIC (deprecated) */
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID7_SERVICE_PROFILE_LOSSLESS_NIC \
                UINT32_C(0x3)
        /* Set to 0xFF... (All Fs) if there is no service profile specified */
@@ -21826,7 +26440,22 @@ struct hwrm_queue_qportcfg_output {
                UINT32_C(0xff)
        #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID7_SERVICE_PROFILE_LAST \
                HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID7_SERVICE_PROFILE_UNKNOWN
-       uint8_t unused_0;
+       /*
+        * This value specifies traffic type for the service profile. We can
+        * have a TC mapped to multiple traffic types. For example shared
+        * CoS Q for CNP and NIC will have both cnp and nic bits set (0x6).
+        * A value of zero is considered as invalid.
+        */
+       uint8_t queue_id0_service_profile_type;
+       /* Recommended to be used for RoCE traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID0_SERVICE_PROFILE_TYPE_ROCE \
+               UINT32_C(0x1)
+       /* Recommended to be used for NIC/L2 traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID0_SERVICE_PROFILE_TYPE_NIC \
+               UINT32_C(0x2)
+       /* Recommended to be used for CNP traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID0_SERVICE_PROFILE_TYPE_CNP \
+               UINT32_C(0x4)
        /*
         * Up to 16 bytes of null padded ASCII string describing this queue.
         * The queue name includes a CoS queue index and, in some cases, text
@@ -21847,7 +26476,118 @@ struct hwrm_queue_qportcfg_output {
        char    qid6_name[16];
        /* Up to 16 bytes of null padded ASCII string describing this queue. */
        char    qid7_name[16];
-       uint8_t unused_1[7];
+       /*
+        * This value specifies traffic type for the service profile. We can
+        * have a TC mapped to multiple traffic types. For example shared
+        * CoS Q for CNP and NIC will have both cnp and nic bits set (0x6).
+        * A value of zero is considered as invalid.
+        */
+       uint8_t queue_id1_service_profile_type;
+       /* Recommended to be used for RoCE traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID1_SERVICE_PROFILE_TYPE_ROCE \
+               UINT32_C(0x1)
+       /* Recommended to be used for NIC/L2 traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID1_SERVICE_PROFILE_TYPE_NIC \
+               UINT32_C(0x2)
+       /* Recommended to be used for CNP traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID1_SERVICE_PROFILE_TYPE_CNP \
+               UINT32_C(0x4)
+       /*
+        * This value specifies traffic type for the service profile. We can
+        * have a TC mapped to multiple traffic types. For example shared
+        * CoS Q for CNP and NIC will have both cnp and nic bits set (0x6).
+        * A value of zero is considered as invalid.
+        */
+       uint8_t queue_id2_service_profile_type;
+       /* Recommended to be used for RoCE traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID2_SERVICE_PROFILE_TYPE_ROCE \
+               UINT32_C(0x1)
+       /* Recommended to be used for NIC/L2 traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID2_SERVICE_PROFILE_TYPE_NIC \
+               UINT32_C(0x2)
+       /* Recommended to be used for CNP traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID2_SERVICE_PROFILE_TYPE_CNP \
+               UINT32_C(0x4)
+       /*
+        * This value specifies traffic type for the service profile. We can
+        * have a TC mapped to multiple traffic types. For example shared
+        * CoS Q for CNP and NIC will have both cnp and nic bits set (0x6).
+        * A value of zero is considered as invalid.
+        */
+       uint8_t queue_id3_service_profile_type;
+       /* Recommended to be used for RoCE traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID3_SERVICE_PROFILE_TYPE_ROCE \
+               UINT32_C(0x1)
+       /* Recommended to be used for NIC/L2 traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID3_SERVICE_PROFILE_TYPE_NIC \
+               UINT32_C(0x2)
+       /* Recommended to be used for CNP traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID3_SERVICE_PROFILE_TYPE_CNP \
+               UINT32_C(0x4)
+       /*
+        * This value specifies traffic type for the service profile. We can
+        * have a TC mapped to multiple traffic types. For example shared
+        * CoS Q for CNP and NIC will have both cnp and nic bits set (0x6).
+        * A value of zero is considered as invalid.
+        */
+       uint8_t queue_id4_service_profile_type;
+       /* Recommended to be used for RoCE traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID4_SERVICE_PROFILE_TYPE_ROCE \
+               UINT32_C(0x1)
+       /* Recommended to be used for NIC/L2 traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID4_SERVICE_PROFILE_TYPE_NIC \
+               UINT32_C(0x2)
+       /* Recommended to be used for CNP traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID4_SERVICE_PROFILE_TYPE_CNP \
+               UINT32_C(0x4)
+       /*
+        * This value specifies traffic type for the service profile. We can
+        * have a TC mapped to multiple traffic types. For example shared
+        * CoS Q for CNP and NIC will have both cnp and nic bits set (0x6).
+        * A value of zero is considered as invalid.
+        */
+       uint8_t queue_id5_service_profile_type;
+       /* Recommended to be used for RoCE traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID5_SERVICE_PROFILE_TYPE_ROCE \
+               UINT32_C(0x1)
+       /* Recommended to be used for NIC/L2 traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID5_SERVICE_PROFILE_TYPE_NIC \
+               UINT32_C(0x2)
+       /* Recommended to be used for CNP traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID5_SERVICE_PROFILE_TYPE_CNP \
+               UINT32_C(0x4)
+       /*
+        * This value specifies traffic type for the service profile. We can
+        * have a TC mapped to multiple traffic types. For example shared
+        * CoS Q for CNP and NIC will have both cnp and nic bits set (0x6).
+        * A value of zero is considered as invalid.
+        */
+       uint8_t queue_id6_service_profile_type;
+       /* Recommended to be used for RoCE traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID6_SERVICE_PROFILE_TYPE_ROCE \
+               UINT32_C(0x1)
+       /* Recommended to be used for NIC/L2 traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID6_SERVICE_PROFILE_TYPE_NIC \
+               UINT32_C(0x2)
+       /* Recommended to be used for CNP traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID6_SERVICE_PROFILE_TYPE_CNP \
+               UINT32_C(0x4)
+       /*
+        * This value specifies traffic type for the service profile. We can
+        * have a TC mapped to multiple traffic types. For example shared
+        * CoS Q for CNP and NIC will have both cnp and nic bits set (0x6).
+        * A value of zero is considered as invalid.
+        */
+       uint8_t queue_id7_service_profile_type;
+       /* Recommended to be used for RoCE traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID7_SERVICE_PROFILE_TYPE_ROCE \
+               UINT32_C(0x1)
+       /* Recommended to be used for NIC/L2 traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID7_SERVICE_PROFILE_TYPE_NIC \
+               UINT32_C(0x2)
+       /* Recommended to be used for CNP traffic only. */
+       #define HWRM_QUEUE_QPORTCFG_OUTPUT_QUEUE_ID7_SERVICE_PROFILE_TYPE_CNP \
+               UINT32_C(0x4)
        /*
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
@@ -25353,13 +30093,13 @@ struct hwrm_queue_mplstc2pri_cfg_output {
        uint8_t valid;
 } __rte_packed;
 
-/*******************
- * hwrm_vnic_alloc *
- *******************/
+/****************************
+ * hwrm_queue_vlanpri_qcaps *
+ ****************************/
 
 
-/* hwrm_vnic_alloc_input (size:192b/24B) */
-struct hwrm_vnic_alloc_input {
+/* hwrm_queue_vlanpri_qcaps_input (size:192b/24B) */
+struct hwrm_queue_vlanpri_qcaps_input {
        /* The HWRM command request type. */
        uint16_t        req_type;
        /*
@@ -25388,17 +30128,17 @@ struct hwrm_vnic_alloc_input {
         * point to a physically contiguous block of memory.
         */
        uint64_t        resp_addr;
-       uint32_t        flags;
        /*
-        * When this bit is '1', this VNIC is requested to
-        * be the default VNIC for this function.
+        * Port ID of port for which the table is being configured.
+        * The HWRM needs to check whether this function is allowed
+        * to configure VLAN priority to user priority mapping on this port.
         */
-       #define HWRM_VNIC_ALLOC_INPUT_FLAGS_DEFAULT     UINT32_C(0x1)
-       uint8_t unused_0[4];
+       uint8_t port_id;
+       uint8_t unused_0[7];
 } __rte_packed;
 
-/* hwrm_vnic_alloc_output (size:128b/16B) */
-struct hwrm_vnic_alloc_output {
+/* hwrm_queue_vlanpri_qcaps_output (size:128b/16B) */
+struct hwrm_queue_vlanpri_qcaps_output {
        /* The specific error status for the command. */
        uint16_t        error_code;
        /* The HWRM command request type. */
@@ -25407,12 +30147,282 @@ struct hwrm_vnic_alloc_output {
        uint16_t        seq_id;
        /* The length of the response data in number of bytes. */
        uint16_t        resp_len;
-       /* Logical vnic ID */
-       uint32_t        vnic_id;
+       /*
+        * This is the default user priority which all VLAN priority values
+        * are mapped to if there is no VLAN priority to user priority mapping.
+        */
+       uint8_t hw_default_pri;
+       uint8_t unused_0[6];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM. This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal processor,
+        * the order of writes has to be such that this field is written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
+/*******************************
+ * hwrm_queue_vlanpri2pri_qcfg *
+ *******************************/
+
+
+/* hwrm_queue_vlanpri2pri_qcfg_input (size:192b/24B) */
+struct hwrm_queue_vlanpri2pri_qcfg_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       /*
+        * Port ID of port for which the table is being configured.
+        * The HWRM needs to check whether this function is allowed
+        * to configure VLAN priority to user priority mapping on this port.
+        */
+       uint8_t port_id;
+       uint8_t unused_0[7];
+} __rte_packed;
+
+/* hwrm_queue_vlanpri2pri_qcfg_output (size:192b/24B) */
+struct hwrm_queue_vlanpri2pri_qcfg_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       /*
+        * User priority assigned to VLAN priority 0. A value of 0xff
+        * indicates that no user priority is assigned. The default user
+        * priority will be used.
+        */
+       uint8_t vlanpri0_user_pri_id;
+       /*
+        * User priority assigned to VLAN priority 1. A value of 0xff
+        * indicates that no user priority is assigned. The default user
+        * priority will be used.
+        */
+       uint8_t vlanpri1_user_pri_id;
+       /*
+        * User priority assigned to VLAN priority 2. A value of 0xff
+        * indicates that no user priority is assigned. The default user
+        * priority will be used.
+        */
+       uint8_t vlanpri2_user_pri_id;
+       /*
+        * User priority assigned to VLAN priority 3. A value of 0xff
+        * indicates that no user priority is assigned. The default user
+        * priority will be used.
+        */
+       uint8_t vlanpri3_user_pri_id;
+       /*
+        * User priority assigned to VLAN priority 4. A value of 0xff
+        * indicates that no user priority is assigned. The default user
+        * priority will be used.
+        */
+       uint8_t vlanpri4_user_pri_id;
+       /*
+        * User priority assigned to VLAN priority 5. A value of 0xff
+        * indicates that no user priority is assigned. The default user
+        * priority will be used.
+        */
+       uint8_t vlanpri5_user_pri_id;
+       /*
+        * User priority assigned to VLAN priority 6. A value of 0xff
+        * indicates that no user priority is assigned. The default user
+        * priority will be used.
+        */
+       uint8_t vlanpri6_user_pri_id;
+       /*
+        * User priority assigned to VLAN priority 7. A value of 0xff
+        * indicates that no user priority is assigned. The default user
+        * priority will be used.
+        */
+       uint8_t vlanpri7_user_pri_id;
+       uint8_t unused_0[7];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM. This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal processor,
+        * the order of writes has to be such that this field is written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
+/******************************
+ * hwrm_queue_vlanpri2pri_cfg *
+ ******************************/
+
+
+/* hwrm_queue_vlanpri2pri_cfg_input (size:256b/32B) */
+struct hwrm_queue_vlanpri2pri_cfg_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       uint32_t        enables;
+       /*
+        * This bit must be '1' for the vlanpri0_user_pri_id field to be
+        * configured.
+        */
+       #define HWRM_QUEUE_VLANPRI2PRI_CFG_INPUT_ENABLES_VLANPRI0_USER_PRI_ID \
+               UINT32_C(0x1)
+       /*
+        * This bit must be '1' for the vlanpri1_user_pri_id field to be
+        * configured.
+        */
+       #define HWRM_QUEUE_VLANPRI2PRI_CFG_INPUT_ENABLES_VLANPRI1_USER_PRI_ID \
+               UINT32_C(0x2)
+       /*
+        * This bit must be '1' for the vlanpri2_user_pri_id field to be
+        * configured.
+        */
+       #define HWRM_QUEUE_VLANPRI2PRI_CFG_INPUT_ENABLES_VLANPRI2_USER_PRI_ID \
+               UINT32_C(0x4)
+       /*
+        * This bit must be '1' for the vlanpri3_user_pri_id field to be
+        * configured.
+        */
+       #define HWRM_QUEUE_VLANPRI2PRI_CFG_INPUT_ENABLES_VLANPRI3_USER_PRI_ID \
+               UINT32_C(0x8)
+       /*
+        * This bit must be '1' for the vlanpri4_user_pri_id field to be
+        * configured.
+        */
+       #define HWRM_QUEUE_VLANPRI2PRI_CFG_INPUT_ENABLES_VLANPRI4_USER_PRI_ID \
+               UINT32_C(0x10)
+       /*
+        * This bit must be '1' for the vlanpri5_user_pri_id field to be
+        * configured.
+        */
+       #define HWRM_QUEUE_VLANPRI2PRI_CFG_INPUT_ENABLES_VLANPRI5_USER_PRI_ID \
+               UINT32_C(0x20)
+       /*
+        * This bit must be '1' for the vlanpri6_user_pri_id field to be
+        * configured.
+        */
+       #define HWRM_QUEUE_VLANPRI2PRI_CFG_INPUT_ENABLES_VLANPRI6_USER_PRI_ID \
+               UINT32_C(0x40)
+       /*
+        * This bit must be '1' for the vlanpri7_user_pri_id field to be
+        * configured.
+        */
+       #define HWRM_QUEUE_VLANPRI2PRI_CFG_INPUT_ENABLES_VLANPRI7_USER_PRI_ID \
+               UINT32_C(0x80)
+       /*
+        * Port ID of port for which the table is being configured.
+        * The HWRM needs to check whether this function is allowed
+        * to configure VLAN priority to user priority mapping on this port.
+        */
+       uint8_t port_id;
        uint8_t unused_0[3];
+       /*
+        * User priority assigned to VLAN priority 0. This value can only
+        * be changed before traffic has started.
+        */
+       uint8_t vlanpri0_user_pri_id;
+       /*
+        * User priority assigned to VLAN priority 1. This value can only
+        * be changed before traffic has started.
+        */
+       uint8_t vlanpri1_user_pri_id;
+       /*
+        * User priority assigned to VLAN priority 2. This value can only
+        * be changed before traffic has started.
+        */
+       uint8_t vlanpri2_user_pri_id;
+       /*
+        * User priority assigned to VLAN priority 3. This value can only
+        * be changed before traffic has started.
+        */
+       uint8_t vlanpri3_user_pri_id;
+       /*
+        * User priority assigned to VLAN priority 4. This value can only
+        * be changed before traffic has started.
+        */
+       uint8_t vlanpri4_user_pri_id;
+       /*
+        * User priority assigned to VLAN priority 5. This value can only
+        * be changed before traffic has started.
+        */
+       uint8_t vlanpri5_user_pri_id;
+       /*
+        * User priority assigned to VLAN priority 6. This value can only
+        * be changed before traffic has started.
+        */
+       uint8_t vlanpri6_user_pri_id;
+       /*
+        * User priority assigned to VLAN priority 7. This value can only
+        * be changed before traffic has started.
+        */
+       uint8_t vlanpri7_user_pri_id;
+} __rte_packed;
+
+/* hwrm_queue_vlanpri2pri_cfg_output (size:128b/16B) */
+struct hwrm_queue_vlanpri2pri_cfg_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       uint8_t unused_0[7];
        /*
         * This field is used in Output records to indicate that the output
-        * is completely written to RAM.  This field should be read as '1'
+        * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
         * When writing a command completion or response to an internal processor,
         * the order of writes has to be such that this field is written last.
@@ -25420,13 +30430,220 @@ struct hwrm_vnic_alloc_output {
        uint8_t valid;
 } __rte_packed;
 
-/******************
- * hwrm_vnic_free *
- ******************/
+/*******************
+ * hwrm_vnic_alloc *
+ *******************/
 
 
-/* hwrm_vnic_free_input (size:192b/24B) */
-struct hwrm_vnic_free_input {
+/* hwrm_vnic_alloc_input (size:192b/24B) */
+struct hwrm_vnic_alloc_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       uint32_t        flags;
+       /*
+        * When this bit is '1', this VNIC is requested to
+        * be the default VNIC for this function.
+        */
+       #define HWRM_VNIC_ALLOC_INPUT_FLAGS_DEFAULT \
+               UINT32_C(0x1)
+       /*
+        * When this bit is '1', proxy VEE PF is requesting
+        * allocation of a default VNIC on behalf of virtio-net
+        * function given in virtio_net_fid field.
+        */
+       #define HWRM_VNIC_ALLOC_INPUT_FLAGS_VIRTIO_NET_FID_VALID \
+               UINT32_C(0x2)
+       /*
+        * Virtio-net function's FID.
+        * This virtio-net function is requesting allocation of default
+        * VNIC through proxy VEE PF.
+        */
+       uint16_t        virtio_net_fid;
+       uint8_t unused_0[2];
+} __rte_packed;
+
+/* hwrm_vnic_alloc_output (size:128b/16B) */
+struct hwrm_vnic_alloc_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       /* Logical vnic ID */
+       uint32_t        vnic_id;
+       uint8_t unused_0[3];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM.  This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal processor,
+        * the order of writes has to be such that this field is written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
+/********************
+ * hwrm_vnic_update *
+ ********************/
+
+
+/* hwrm_vnic_update_input (size:256b/32B) */
+struct hwrm_vnic_update_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       /* Logical vnic ID */
+       uint32_t        vnic_id;
+       uint32_t        enables;
+       /*
+        * This bit must be '1' for the vnic_state field to be
+        * configured.
+        */
+       #define HWRM_VNIC_UPDATE_INPUT_ENABLES_VNIC_STATE_VALID \
+               UINT32_C(0x1)
+       /*
+        * This bit must be '1' for the mru field to be
+        * configured.
+        */
+       #define HWRM_VNIC_UPDATE_INPUT_ENABLES_MRU_VALID \
+               UINT32_C(0x2)
+       /*
+        * This bit must be '1' for the metadata_format_type field to be
+        * configured.
+        */
+       #define HWRM_VNIC_UPDATE_INPUT_ENABLES_METADATA_FORMAT_TYPE_VALID \
+               UINT32_C(0x4)
+       /*
+        * This will update the context variable with the same name if
+        * the corresponding enable is set.
+        */
+       uint8_t vnic_state;
+       /* Normal operation state for the VNIC. */
+       #define HWRM_VNIC_UPDATE_INPUT_VNIC_STATE_NORMAL UINT32_C(0x0)
+       /* All packets are dropped in this state. */
+       #define HWRM_VNIC_UPDATE_INPUT_VNIC_STATE_DROP   UINT32_C(0x1)
+       #define HWRM_VNIC_UPDATE_INPUT_VNIC_STATE_LAST \
+               HWRM_VNIC_UPDATE_INPUT_VNIC_STATE_DROP
+       /*
+        * The metadata format type used in all the RX packet completions
+        * going through this VNIC.
+        */
+       uint8_t metadata_format_type;
+       /* No metadata information. */
+       #define HWRM_VNIC_UPDATE_INPUT_METADATA_FORMAT_TYPE_NONE \
+               UINT32_C(0x0)
+       /*
+        * Action record pointer (table_scope[4:0], act_rec_ptr[25:0],
+        * vtag[19:0]).
+        */
+       #define HWRM_VNIC_UPDATE_INPUT_METADATA_FORMAT_TYPE_ACT_RECORD_PTR \
+               UINT32_C(0x1)
+       /* Tunnel ID (tunnel_id[31:0], vtag[19:0]) */
+       #define HWRM_VNIC_UPDATE_INPUT_METADATA_FORMAT_TYPE_TUNNEL_ID \
+               UINT32_C(0x2)
+       /* Custom header data (updated_chdr_data[31:0], vtag[19:0]) */
+       #define HWRM_VNIC_UPDATE_INPUT_METADATA_FORMAT_TYPE_CUSTOM_HDR_DATA \
+               UINT32_C(0x3)
+       /* Header offsets (hdr_offsets[31:0], vtag[19:0]) */
+       #define HWRM_VNIC_UPDATE_INPUT_METADATA_FORMAT_TYPE_HDR_OFFSETS \
+               UINT32_C(0x4)
+       #define HWRM_VNIC_UPDATE_INPUT_METADATA_FORMAT_TYPE_LAST \
+               HWRM_VNIC_UPDATE_INPUT_METADATA_FORMAT_TYPE_HDR_OFFSETS
+       /*
+        * The maximum receive unit of the vnic.
+        * Each vnic is associated with a function.
+        * The vnic mru value overwrites the mru setting of the
+        * associated function.
+        * The HWRM shall make sure that vnic mru does not exceed
+        * the mru of the port the function is associated with.
+        */
+       uint16_t        mru;
+       uint8_t unused_1[4];
+} __rte_packed;
+
+/* hwrm_vnic_update_output (size:128b/16B) */
+struct hwrm_vnic_update_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       uint8_t unused_0[7];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM.  This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
+/******************
+ * hwrm_vnic_free *
+ ******************/
+
+
+/* hwrm_vnic_free_input (size:192b/24B) */
+struct hwrm_vnic_free_input {
        /* The HWRM command request type. */
        uint16_t        req_type;
        /*
@@ -25685,7 +30902,7 @@ struct hwrm_vnic_cfg_input {
         * queue ID will be arriving on this VNIC.  Packet priority to CoS mapping
         * rules can be specified using HWRM_QUEUE_PRI2COS_CFG.  In this mode,
         * ntuple filters with VNIC destination specified are invalid since they
-        * conflict with the the CoS to VNIC steering rules in this mode.
+        * conflict with the CoS to VNIC steering rules in this mode.
         *
         * If this field is not specified, packet to VNIC steering will be
         * subject to the standard L2 filter rules and any additional ntuple
@@ -25895,6 +31112,12 @@ struct hwrm_vnic_qcfg_output {
         */
        #define HWRM_VNIC_QCFG_OUTPUT_FLAGS_ROCE_MIRRORING_CAPABLE_VNIC_MODE \
                UINT32_C(0x40)
+       /*
+        * When this bit is '0', VNIC is in normal operation state.
+        * When this bit is '1', VNIC drops all the received packets.
+        */
+       #define HWRM_VNIC_QCFG_OUTPUT_FLAGS_OPERATION_STATE \
+               UINT32_C(0x80)
        /*
         * When returned with a valid CoS Queue id, the CoS Queue/VNIC association
         * is valid.  Otherwise it will return 0xFFFF to indicate no VNIC/CoS
@@ -26041,7 +31264,7 @@ struct hwrm_vnic_qcaps_output {
                UINT32_C(0x20)
        /*
         * When this bit is '1', the capability to
-        * mirror the the RoCE traffic is supported.
+        * mirror the RoCE traffic is supported.
         * If set to '0', then the capability to mirror the
         * RoCE traffic is not supported.
         */
@@ -26075,6 +31298,32 @@ struct hwrm_vnic_qcaps_output {
         */
        #define HWRM_VNIC_QCAPS_OUTPUT_FLAGS_RX_CMPL_V2_CAP \
                UINT32_C(0x200)
+       /*
+        * When this bit is '1', it indicates that HW and firmware support
+        * vnic state change. Host drivers can change the vnic state using
+        * HWRM_VNIC_UPDATE. If set to '0', the HW and firmware do not
+        * support this feature.
+        */
+       #define HWRM_VNIC_QCAPS_OUTPUT_FLAGS_VNIC_STATE_CAP \
+               UINT32_C(0x400)
+       /*
+        * When this bit is '1', it indicates that firmware supports
+        * virtio-net functions default VNIC allocation using
+        * HWRM_VNIC_ALLOC.
+        * This capability is available only on Proxy VEE PF. If set to '0',
+        * firmware does not support this feature.
+        */
+       #define HWRM_VNIC_QCAPS_OUTPUT_FLAGS_VIRTIO_NET_VNIC_ALLOC_CAP \
+               UINT32_C(0x800)
+       /*
+        * When this bit is set '1', then the capability to configure the
+        * metadata format in the RX completion is supported for the VNIC.
+        * When this bit is set to '0', then the capability to configure
+        * the metadata format in the RX completion is not supported for
+        * the VNIC.
+        */
+       #define HWRM_VNIC_QCAPS_OUTPUT_FLAGS_METADATA_FORMAT_CAP \
+               UINT32_C(0x1000)
        /*
         * This field advertises the maximum concurrent TPA aggregations
         * supported by the VNIC on new devices that support TPA v2.
@@ -26768,7 +32017,7 @@ struct hwrm_vnic_plcmodes_cfg_input {
        uint16_t        hds_threshold;
        /*
         * When virtio placement algorithm is enabled, this
-        * value is used to determine the the maximum number of BDs
+        * value is used to determine the maximum number of BDs
         * that can be used to place an Rx Packet.
         * If an incoming packet does not fit in the buffers described
         * by the max BDs, the packet will be dropped and an error
@@ -26932,7 +32181,7 @@ struct hwrm_vnic_plcmodes_qcfg_output {
        uint16_t        hds_threshold;
        /*
         * When virtio placement algorithm is enabled, this
-        * value is used to determine the the maximum number of BDs
+        * value is used to determine the maximum number of BDs
         * that can be used to place an Rx Packet.
         * If an incoming packet does not fit in the buffers described
         * by the max BDs, the packet will be dropped and an error
@@ -27155,6 +32404,12 @@ struct hwrm_ring_alloc_input {
         */
        #define HWRM_RING_ALLOC_INPUT_ENABLES_SCHQ_ID \
                UINT32_C(0x200)
+       /*
+        * This bit must be '1' for the mpc_chnls_type field to be
+        * configured.
+        */
+       #define HWRM_RING_ALLOC_INPUT_ENABLES_MPC_CHNLS_TYPE \
+               UINT32_C(0x400)
        /* Ring Type. */
        uint8_t ring_type;
        /* L2 Completion Ring (CR) */
@@ -27387,7 +32642,36 @@ struct hwrm_ring_alloc_input {
        #define HWRM_RING_ALLOC_INPUT_INT_MODE_POLL   UINT32_C(0x3)
        #define HWRM_RING_ALLOC_INPUT_INT_MODE_LAST \
                HWRM_RING_ALLOC_INPUT_INT_MODE_POLL
-       uint8_t unused_4[3];
+       /* Midpath channel type */
+       uint8_t mpc_chnls_type;
+       /*
+        * Indicate the TX ring alloc MPC channel type is a MPC channel
+        * with destination to the TX crypto engine block.
+        */
+       #define HWRM_RING_ALLOC_INPUT_MPC_CHNLS_TYPE_TCE     UINT32_C(0x0)
+       /*
+        * Indicate the RX ring alloc MPC channel type is a MPC channel
+        * with destination to the RX crypto engine block.
+        */
+       #define HWRM_RING_ALLOC_INPUT_MPC_CHNLS_TYPE_RCE     UINT32_C(0x1)
+       /*
+        * Indicate the RX ring alloc MPC channel type is a MPC channel
+        * with destination to the TX configurable flow processing block.
+        */
+       #define HWRM_RING_ALLOC_INPUT_MPC_CHNLS_TYPE_TE_CFA  UINT32_C(0x2)
+       /*
+        * Indicate the RX ring alloc MPC channel type is a MPC channel
+        * with destination to the RX configurable flow processing block.
+        */
+       #define HWRM_RING_ALLOC_INPUT_MPC_CHNLS_TYPE_RE_CFA  UINT32_C(0x3)
+       /*
+        * Indicate the RX ring alloc MPC channel type is a MPC channel
+        * with destination to the primate processor block.
+        */
+       #define HWRM_RING_ALLOC_INPUT_MPC_CHNLS_TYPE_PRIMATE UINT32_C(0x4)
+       #define HWRM_RING_ALLOC_INPUT_MPC_CHNLS_TYPE_LAST \
+               HWRM_RING_ALLOC_INPUT_MPC_CHNLS_TYPE_PRIMATE
+       uint8_t unused_4[2];
        /*
         * The cq_handle is specified when allocating a completion ring. For
         * devices that support NQs, this cq_handle will be included in the
@@ -27414,7 +32698,20 @@ struct hwrm_ring_alloc_output {
        uint16_t        ring_id;
        /* Logical number of ring allocated. */
        uint16_t        logical_ring_id;
-       uint8_t unused_0[3];
+       /*
+        * This field will tell whether to use ping or pong buffer
+        * for first push operation.
+        */
+       uint8_t push_buffer_index;
+       /* Start push from ping buffer index */
+       #define HWRM_RING_ALLOC_OUTPUT_PUSH_BUFFER_INDEX_PING_BUFFER \
+               UINT32_C(0x0)
+       /* Start push from pong buffer index */
+       #define HWRM_RING_ALLOC_OUTPUT_PUSH_BUFFER_INDEX_PONG_BUFFER \
+               UINT32_C(0x1)
+       #define HWRM_RING_ALLOC_OUTPUT_PUSH_BUFFER_INDEX_LAST \
+               HWRM_RING_ALLOC_OUTPUT_PUSH_BUFFER_INDEX_PONG_BUFFER
+       uint8_t unused_0[2];
        /*
         * This field is used in Output records to indicate that the output
         * is completely written to RAM.  This field should be read as '1'
@@ -27430,7 +32727,7 @@ struct hwrm_ring_alloc_output {
  ******************/
 
 
-/* hwrm_ring_free_input (size:192b/24B) */
+/* hwrm_ring_free_input (size:256b/32B) */
 struct hwrm_ring_free_input {
        /* The HWRM command request type. */
        uint16_t        req_type;
@@ -27476,10 +32773,37 @@ struct hwrm_ring_free_input {
        #define HWRM_RING_FREE_INPUT_RING_TYPE_NQ        UINT32_C(0x5)
        #define HWRM_RING_FREE_INPUT_RING_TYPE_LAST \
                HWRM_RING_FREE_INPUT_RING_TYPE_NQ
-       uint8_t unused_0;
+       uint8_t flags;
+       /*
+        * If this bit is set to '1', ring_id in this command belongs to
+        * virtio function. prod_idx in this command corresponds to doorbell
+        * producer index. opaque field in this command needs to be inserted
+        * by firmware in VEE_FLUSH completion record.
+        * Firmware will poll the corresponding ring context to reach the
+        * given producer index before sending successful response. It will
+        * finish the completion using VEE_FLUSH completion record.
+        *
+        * If this bit is '0', firmware will not treat ring_id as virtio
+        * ring and ignore prod_idx, opaque fields.
+        *
+        * This feature is not applicable for L2 or RoCE.
+        */
+       #define HWRM_RING_FREE_INPUT_FLAGS_VIRTIO_RING_VALID UINT32_C(0x1)
+       #define HWRM_RING_FREE_INPUT_FLAGS_LAST \
+               HWRM_RING_FREE_INPUT_FLAGS_VIRTIO_RING_VALID
        /* Physical number of ring allocated. */
        uint16_t        ring_id;
-       uint8_t unused_1[4];
+       /*
+        * Ring BD producer index posted by the virtio block.
+        * This field is valid if virtio_ring_valid flag is set.
+        */
+       uint32_t        prod_idx;
+       /*
+        * User defined opaque field to be inserted into VEE_FLUSH completion
+        * record. This field is valid if virtio_ring_valid flag is set.
+        */
+       uint32_t        opaque;
+       uint32_t        unused_1;
 } __rte_packed;
 
 /* hwrm_ring_free_output (size:128b/16B) */
@@ -27575,7 +32899,20 @@ struct hwrm_ring_reset_output {
        uint16_t        seq_id;
        /* The length of the response data in number of bytes. */
        uint16_t        resp_len;
-       uint8_t unused_0[4];
+       /*
+        * This field will tell whether to use ping or pong buffer
+        * for first push operation.
+        */
+       uint8_t push_buffer_index;
+       /* Start push from ping buffer index */
+       #define HWRM_RING_RESET_OUTPUT_PUSH_BUFFER_INDEX_PING_BUFFER \
+               UINT32_C(0x0)
+       /* Start push from pong buffer index */
+       #define HWRM_RING_RESET_OUTPUT_PUSH_BUFFER_INDEX_PONG_BUFFER \
+               UINT32_C(0x1)
+       #define HWRM_RING_RESET_OUTPUT_PUSH_BUFFER_INDEX_LAST \
+               HWRM_RING_RESET_OUTPUT_PUSH_BUFFER_INDEX_PONG_BUFFER
+       uint8_t unused_0[3];
        /* Position of consumer index after ring reset completes. */
        uint8_t consumer_idx[3];
        /*
@@ -27593,7 +32930,7 @@ struct hwrm_ring_reset_output {
  *****************/
 
 
-/* hwrm_ring_cfg_input (size:256b/32B) */
+/* hwrm_ring_cfg_input (size:320b/40B) */
 struct hwrm_ring_cfg_input {
        /* The HWRM command request type. */
        uint16_t        req_type;
@@ -27680,6 +33017,16 @@ struct hwrm_ring_cfg_input {
        /* Update completion ring ID associated with Tx or Rx ring. */
        #define HWRM_RING_CFG_INPUT_ENABLES_CMPL_RING_ID_UPDATE \
                UINT32_C(0x10)
+       /*
+        * When set to '1', metadata value provided by tx_metadata
+        * field in this command is inserted in the lb_header_metadata
+        * QP context field. When set to '0', no change done to metadata.
+        * Firmware rejects the tx ring metadata programming with
+        * HWRM_ERR_CODE_UNSUPPORTED error if the per function CFA BD
+        * metadata feature is not disabled.
+        */
+       #define HWRM_RING_CFG_INPUT_ENABLES_TX_METADATA \
+               UINT32_C(0x20)
        /*
         * Proxy function FID value.
         * This value is only used when either proxy_mode_enable flag or
@@ -27709,6 +33056,12 @@ struct hwrm_ring_cfg_input {
         */
        uint8_t rx_sop_pad_bytes;
        uint8_t unused_1[3];
+       /*
+        * When tx_metadata enable bit is set, value specified in this field
+        * is copied to lb_header_metadata in the QP context.
+        */
+       uint32_t        tx_metadata;
+       uint8_t unused_2[4];
 } __rte_packed;
 
 /* hwrm_ring_cfg_output (size:128b/16B) */
@@ -27781,7 +33134,7 @@ struct hwrm_ring_qcfg_input {
        uint16_t        ring_id;
 } __rte_packed;
 
-/* hwrm_ring_qcfg_output (size:192b/24B) */
+/* hwrm_ring_qcfg_output (size:256b/32B) */
 struct hwrm_ring_qcfg_output {
        /* The specific error status for the command. */
        uint16_t        error_code;
@@ -27860,7 +33213,10 @@ struct hwrm_ring_qcfg_output {
         * This value is only used when rx_sop_pad_enable flag is set to '1'.
         */
        uint8_t rx_sop_pad_bytes;
-       uint8_t unused_0[6];
+       uint8_t unused_0[3];
+       /* lb_header_metadata in the QP context is copied to this field. */
+       uint32_t        tx_metadata;
+       uint8_t unused_1[7];
        /*
         * This field is used in Output records to indicate that the output
         * is completely written to RAM.  This field should be read as '1'
@@ -29304,12 +34660,15 @@ struct hwrm_cfa_l2_filter_alloc_input {
                UINT32_C(0x1)
        #define HWRM_CFA_L2_FILTER_ALLOC_INPUT_FLAGS_PATH_LAST \
                HWRM_CFA_L2_FILTER_ALLOC_INPUT_FLAGS_PATH_RX
-       /* Setting of this flag indicates the applicability to the loopback path. */
+       /*
+        * Setting of this flag indicates the applicability to the loopback
+        * path.
+        */
        #define HWRM_CFA_L2_FILTER_ALLOC_INPUT_FLAGS_LOOPBACK \
                UINT32_C(0x2)
        /*
-        * Setting of this flag indicates drop action. If this flag is not set,
-        * then it should be considered accept action.
+        * Setting of this flag indicates drop action. If this flag is not
+        * set, then it should be considered accept action.
         */
        #define HWRM_CFA_L2_FILTER_ALLOC_INPUT_FLAGS_DROP \
                UINT32_C(0x4)
@@ -29603,13 +34962,19 @@ struct hwrm_cfa_l2_filter_alloc_input {
        /* IPV4 over virtual eXtensible Local Area Network (IPV4oVXLAN) */
        #define HWRM_CFA_L2_FILTER_ALLOC_INPUT_TUNNEL_TYPE_VXLAN_V4 \
                UINT32_C(0x9)
-       /* Enhance Generic Routing Encapsulation (GRE version 1) inside IP datagram payload */
+       /*
+        * Enhance Generic Routing Encapsulation (GRE version 1) inside IP
+        * datagram payload
+        */
        #define HWRM_CFA_L2_FILTER_ALLOC_INPUT_TUNNEL_TYPE_IPGRE_V1 \
                UINT32_C(0xa)
        /* Use fixed layer 2 ether type of 0xFFFF */
        #define HWRM_CFA_L2_FILTER_ALLOC_INPUT_TUNNEL_TYPE_L2_ETYPE \
                UINT32_C(0xb)
-       /* IPV6 over virtual eXtensible Local Area Network with GPE header (IPV6oVXLANGPE) */
+       /*
+        * IPV6 over virtual eXtensible Local Area Network with GPE header
+        * (IPV6oVXLANGPE)
+        */
        #define HWRM_CFA_L2_FILTER_ALLOC_INPUT_TUNNEL_TYPE_VXLAN_GPE_V6 \
                UINT32_C(0xc)
        /* Any tunneled traffic */
@@ -29725,8 +35090,9 @@ struct hwrm_cfa_l2_filter_alloc_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -29788,8 +35154,9 @@ struct hwrm_cfa_l2_filter_free_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -29846,8 +35213,8 @@ struct hwrm_cfa_l2_filter_cfg_input {
        #define HWRM_CFA_L2_FILTER_CFG_INPUT_FLAGS_PATH_LAST \
                HWRM_CFA_L2_FILTER_CFG_INPUT_FLAGS_PATH_RX
        /*
-        * Setting of this flag indicates drop action. If this flag is not set,
-        * then it should be considered accept action.
+        * Setting of this flag indicates drop action. If this flag is not
+        * set, then it should be considered accept action.
         */
        #define HWRM_CFA_L2_FILTER_CFG_INPUT_FLAGS_DROP \
                UINT32_C(0x2)
@@ -29916,8 +35283,9 @@ struct hwrm_cfa_l2_filter_cfg_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -30098,8 +35466,9 @@ struct hwrm_cfa_l2_set_rx_mask_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -30191,8 +35560,9 @@ struct hwrm_cfa_vlan_antispoof_cfg_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -30271,8 +35641,9 @@ struct hwrm_cfa_vlan_antispoof_qcfg_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -30313,7 +35684,10 @@ struct hwrm_cfa_tunnel_filter_alloc_input {
         */
        uint64_t        resp_addr;
        uint32_t        flags;
-       /* Setting of this flag indicates the applicability to the loopback path. */
+       /*
+        * Setting of this flag indicates the applicability to the loopback
+        * path.
+        */
        #define HWRM_CFA_TUNNEL_FILTER_ALLOC_INPUT_FLAGS_LOOPBACK \
                UINT32_C(0x1)
        uint32_t        enables;
@@ -30456,13 +35830,19 @@ struct hwrm_cfa_tunnel_filter_alloc_input {
        /* IPV4 over virtual eXtensible Local Area Network (IPV4oVXLAN) */
        #define HWRM_CFA_TUNNEL_FILTER_ALLOC_INPUT_TUNNEL_TYPE_VXLAN_V4 \
                UINT32_C(0x9)
-       /* Enhance Generic Routing Encapsulation (GRE version 1) inside IP datagram payload */
+       /*
+        * Enhance Generic Routing Encapsulation (GRE version 1) inside IP
+        * datagram payload
+        */
        #define HWRM_CFA_TUNNEL_FILTER_ALLOC_INPUT_TUNNEL_TYPE_IPGRE_V1 \
                UINT32_C(0xa)
        /* Use fixed layer 2 ether type of 0xFFFF */
        #define HWRM_CFA_TUNNEL_FILTER_ALLOC_INPUT_TUNNEL_TYPE_L2_ETYPE \
                UINT32_C(0xb)
-       /* IPV6 over virtual eXtensible Local Area Network with GPE header (IPV6oVXLANGPE) */
+       /*
+        * IPV6 over virtual eXtensible Local Area Network with GPE header
+        * (IPV6oVXLANGPE)
+        */
        #define HWRM_CFA_TUNNEL_FILTER_ALLOC_INPUT_TUNNEL_TYPE_VXLAN_GPE_V6 \
                UINT32_C(0xc)
        /* Any tunneled traffic */
@@ -30581,8 +35961,9 @@ struct hwrm_cfa_tunnel_filter_alloc_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -30641,8 +36022,9 @@ struct hwrm_cfa_tunnel_filter_free_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -30716,13 +36098,19 @@ struct hwrm_cfa_redirect_tunnel_type_alloc_input {
        /* IPV4 over virtual eXtensible Local Area Network (IPV4oVXLAN) */
        #define HWRM_CFA_REDIRECT_TUNNEL_TYPE_ALLOC_INPUT_TUNNEL_TYPE_VXLAN_V4 \
                UINT32_C(0x9)
-       /* Enhance Generic Routing Encapsulation (GRE version 1) inside IP datagram payload */
+       /*
+        * Enhance Generic Routing Encapsulation (GRE version 1) inside IP
+        * datagram payload
+        */
        #define HWRM_CFA_REDIRECT_TUNNEL_TYPE_ALLOC_INPUT_TUNNEL_TYPE_IPGRE_V1 \
                UINT32_C(0xa)
        /* Use fixed layer 2 ether type of 0xFFFF */
        #define HWRM_CFA_REDIRECT_TUNNEL_TYPE_ALLOC_INPUT_TUNNEL_TYPE_L2_ETYPE \
                UINT32_C(0xb)
-       /* IPV6 over virtual eXtensible Local Area Network with GPE header (IPV6oVXLANGPE) */
+       /*
+        * IPV6 over virtual eXtensible Local Area Network with GPE header
+        * (IPV6oVXLANGPE)
+        */
        #define HWRM_CFA_REDIRECT_TUNNEL_TYPE_ALLOC_INPUT_TUNNEL_TYPE_VXLAN_GPE_V6 \
                UINT32_C(0xc)
        /* Any tunneled traffic */
@@ -30732,7 +36120,10 @@ struct hwrm_cfa_redirect_tunnel_type_alloc_input {
                HWRM_CFA_REDIRECT_TUNNEL_TYPE_ALLOC_INPUT_TUNNEL_TYPE_ANYTUNNEL
        /* Tunnel alloc flags. */
        uint8_t flags;
-       /* Setting of this flag indicates modify existing redirect tunnel to new destination function ID. */
+       /*
+        * Setting of this flag indicates modify existing redirect tunnel
+        * to new destination function ID.
+        */
        #define HWRM_CFA_REDIRECT_TUNNEL_TYPE_ALLOC_INPUT_FLAGS_MODIFY_DST \
                UINT32_C(0x1)
        uint8_t unused_0[4];
@@ -30753,8 +36144,9 @@ struct hwrm_cfa_redirect_tunnel_type_alloc_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -30828,13 +36220,19 @@ struct hwrm_cfa_redirect_tunnel_type_free_input {
        /* IPV4 over virtual eXtensible Local Area Network (IPV4oVXLAN) */
        #define HWRM_CFA_REDIRECT_TUNNEL_TYPE_FREE_INPUT_TUNNEL_TYPE_VXLAN_V4 \
                UINT32_C(0x9)
-       /* Enhance Generic Routing Encapsulation (GRE version 1) inside IP datagram payload */
+       /*
+        * Enhance Generic Routing Encapsulation (GRE version 1) inside IP
+        * datagram payload
+        */
        #define HWRM_CFA_REDIRECT_TUNNEL_TYPE_FREE_INPUT_TUNNEL_TYPE_IPGRE_V1 \
                UINT32_C(0xa)
        /* Use fixed layer 2 ether type of 0xFFFF */
        #define HWRM_CFA_REDIRECT_TUNNEL_TYPE_FREE_INPUT_TUNNEL_TYPE_L2_ETYPE \
                UINT32_C(0xb)
-       /* IPV6 over virtual eXtensible Local Area Network with GPE header (IPV6oVXLANGPE) */
+       /*
+        * IPV6 over virtual eXtensible Local Area Network with GPE header
+        * (IPV6oVXLANGPE)
+        */
        #define HWRM_CFA_REDIRECT_TUNNEL_TYPE_FREE_INPUT_TUNNEL_TYPE_VXLAN_GPE_V6 \
                UINT32_C(0xc)
        /* Any tunneled traffic */
@@ -30860,8 +36258,9 @@ struct hwrm_cfa_redirect_tunnel_type_free_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -30935,13 +36334,19 @@ struct hwrm_cfa_redirect_tunnel_type_info_input {
        /* IPV4 over virtual eXtensible Local Area Network (IPV4oVXLAN) */
        #define HWRM_CFA_REDIRECT_TUNNEL_TYPE_INFO_INPUT_TUNNEL_TYPE_VXLAN_V4 \
                UINT32_C(0x9)
-       /* Enhance Generic Routing Encapsulation (GRE version 1) inside IP datagram payload */
+       /*
+        * Enhance Generic Routing Encapsulation (GRE version 1) inside IP
+        * datagram payload
+        */
        #define HWRM_CFA_REDIRECT_TUNNEL_TYPE_INFO_INPUT_TUNNEL_TYPE_IPGRE_V1 \
                UINT32_C(0xa)
        /* Use fixed layer 2 ether type of 0xFFFF */
        #define HWRM_CFA_REDIRECT_TUNNEL_TYPE_INFO_INPUT_TUNNEL_TYPE_L2_ETYPE \
                UINT32_C(0xb)
-       /* IPV6 over virtual eXtensible Local Area Network with GPE header (IPV6oVXLANGPE) */
+       /*
+        * IPV6 over virtual eXtensible Local Area Network with GPE header
+        * (IPV6oVXLANGPE)
+        */
        #define HWRM_CFA_REDIRECT_TUNNEL_TYPE_INFO_INPUT_TUNNEL_TYPE_VXLAN_GPE_V6 \
                UINT32_C(0xc)
        /* Any tunneled traffic */
@@ -30969,8 +36374,9 @@ struct hwrm_cfa_redirect_tunnel_type_info_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -31073,7 +36479,10 @@ struct hwrm_cfa_encap_data_vxlan {
        uint16_t        dst_port;
        /* VXLAN Network Identifier. */
        uint32_t        vni;
-       /* 3 bytes VXLAN header reserve fields from 1st dword of the VXLAN header. */
+       /*
+        * 3 bytes VXLAN header reserve fields from 1st dword of the VXLAN
+        * header.
+        */
        uint8_t hdr_rsvd0[3];
        /* 1 byte VXLAN header reserve field from 2nd dword of the VXLAN header. */
        uint8_t hdr_rsvd1;
@@ -31118,13 +36527,16 @@ struct hwrm_cfa_encap_record_alloc_input {
         */
        uint64_t        resp_addr;
        uint32_t        flags;
-       /* Setting of this flag indicates the applicability to the loopback path. */
+       /*
+        * Setting of this flag indicates the applicability to the loopback
+        * path.
+        */
        #define HWRM_CFA_ENCAP_RECORD_ALLOC_INPUT_FLAGS_LOOPBACK \
                UINT32_C(0x1)
        /*
-        * Setting of this flag indicates this encap record is external encap record.
-        * Resetting of this flag indicates this flag is internal encap record and
-        * this is the default setting.
+        * Setting of this flag indicates this encap record is external
+        * encap record. Resetting of this flag indicates this flag is
+        * internal encap record and this is the default setting.
         */
        #define HWRM_CFA_ENCAP_RECORD_ALLOC_INPUT_FLAGS_EXTERNAL \
                UINT32_C(0x2)
@@ -31157,13 +36569,19 @@ struct hwrm_cfa_encap_record_alloc_input {
        /* IPV4 over virtual eXtensible Local Area Network (IPV4oVXLAN) */
        #define HWRM_CFA_ENCAP_RECORD_ALLOC_INPUT_ENCAP_TYPE_VXLAN_V4 \
                UINT32_C(0x9)
-       /* Enhance Generic Routing Encapsulation (GRE version 1) inside IP datagram payload */
+       /*
+        * Enhance Generic Routing Encapsulation (GRE version 1) inside IP
+        * datagram payload
+        */
        #define HWRM_CFA_ENCAP_RECORD_ALLOC_INPUT_ENCAP_TYPE_IPGRE_V1 \
                UINT32_C(0xa)
        /* Use fixed layer 2 ether type of 0xFFFF */
        #define HWRM_CFA_ENCAP_RECORD_ALLOC_INPUT_ENCAP_TYPE_L2_ETYPE \
                UINT32_C(0xb)
-       /* IPV6 over virtual eXtensible Local Area Network with GPE header (IPV6oVXLANGPE) */
+       /*
+        * IPV6 over virtual eXtensible Local Area Network with GPE header
+        * (IPV6oVXLANGPE)
+        */
        #define HWRM_CFA_ENCAP_RECORD_ALLOC_INPUT_ENCAP_TYPE_VXLAN_GPE_V6 \
                UINT32_C(0xc)
        #define HWRM_CFA_ENCAP_RECORD_ALLOC_INPUT_ENCAP_TYPE_LAST \
@@ -31190,8 +36608,9 @@ struct hwrm_cfa_encap_record_alloc_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -31251,8 +36670,9 @@ struct hwrm_cfa_encap_record_free_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -31293,39 +36713,44 @@ struct hwrm_cfa_ntuple_filter_alloc_input {
         */
        uint64_t        resp_addr;
        uint32_t        flags;
-       /* Setting of this flag indicates the applicability to the loopback path. */
+       /*
+        * Setting of this flag indicates the applicability to the loopback
+        * path.
+        */
        #define HWRM_CFA_NTUPLE_FILTER_ALLOC_INPUT_FLAGS_LOOPBACK \
                UINT32_C(0x1)
        /*
-        * Setting of this flag indicates drop action. If this flag is not set,
-        * then it should be considered accept action.
+        * Setting of this flag indicates drop action. If this flag is not
+        * set, then it should be considered accept action.
         */
        #define HWRM_CFA_NTUPLE_FILTER_ALLOC_INPUT_FLAGS_DROP \
                UINT32_C(0x2)
        /*
-        * Setting of this flag indicates that a meter is expected to be attached
-        * to this flow. This hint can be used when choosing the action record
-        * format required for the flow.
+        * Setting of this flag indicates that a meter is expected to be
+        * attached to this flow. This hint can be used when choosing the
+        * action record format required for the flow.
         */
        #define HWRM_CFA_NTUPLE_FILTER_ALLOC_INPUT_FLAGS_METER \
                UINT32_C(0x4)
        /*
-        * Setting of this flag indicates that the dst_id field contains function ID.
-        * If this is not set it indicates dest_id is VNIC or VPORT.
+        * Setting of this flag indicates that the dst_id field contains
+        * function ID. If this is not set it indicates dest_id is VNIC
+        * or VPORT.
         */
        #define HWRM_CFA_NTUPLE_FILTER_ALLOC_INPUT_FLAGS_DEST_FID \
                UINT32_C(0x8)
        /*
-        * Setting of this flag indicates match on arp reply when ethertype is 0x0806.
-        * If this is not set it indicates no specific arp opcode matching.
+        * Setting of this flag indicates match on arp reply when ethertype
+        * is 0x0806. If this is not set it indicates no specific arp opcode
+        * matching.
         */
        #define HWRM_CFA_NTUPLE_FILTER_ALLOC_INPUT_FLAGS_ARP_REPLY \
                UINT32_C(0x10)
        /*
-        * Setting of this flag indicates that the dst_id field contains RFS ring
-        * table index. If this is not set it indicates dst_id is VNIC or VPORT
-        * or function ID.  Note dest_fid and dest_rfs_ring_idx can’t be set at
-        * the same time.
+        * Setting of this flag indicates that the dst_id field contains RFS
+        * ring table index. If this is not set it indicates dst_id is VNIC
+        * or VPORT or function ID.  Note dest_fid and dest_rfs_ring_idx
+        * can’t be set at the same time.
         */
        #define HWRM_CFA_NTUPLE_FILTER_ALLOC_INPUT_FLAGS_DEST_RFS_RING_IDX \
                UINT32_C(0x20)
@@ -31546,13 +36971,19 @@ struct hwrm_cfa_ntuple_filter_alloc_input {
        /* IPV4 over virtual eXtensible Local Area Network (IPV4oVXLAN) */
        #define HWRM_CFA_NTUPLE_FILTER_ALLOC_INPUT_TUNNEL_TYPE_VXLAN_V4 \
                UINT32_C(0x9)
-       /* Enhance Generic Routing Encapsulation (GRE version 1) inside IP datagram payload */
+       /*
+        * Enhance Generic Routing Encapsulation (GRE version 1) inside IP
+        * datagram payload
+        */
        #define HWRM_CFA_NTUPLE_FILTER_ALLOC_INPUT_TUNNEL_TYPE_IPGRE_V1 \
                UINT32_C(0xa)
        /* Use fixed layer 2 ether type of 0xFFFF */
        #define HWRM_CFA_NTUPLE_FILTER_ALLOC_INPUT_TUNNEL_TYPE_L2_ETYPE \
                UINT32_C(0xb)
-       /* IPV6 over virtual eXtensible Local Area Network with GPE header (IPV6oVXLANGPE) */
+       /*
+        * IPV6 over virtual eXtensible Local Area Network with GPE header
+        * (IPV6oVXLANGPE)
+        */
        #define HWRM_CFA_NTUPLE_FILTER_ALLOC_INPUT_TUNNEL_TYPE_VXLAN_GPE_V6 \
                UINT32_C(0xc)
        /* Any tunneled traffic */
@@ -31689,8 +37120,9 @@ struct hwrm_cfa_ntuple_filter_alloc_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -31767,8 +37199,9 @@ struct hwrm_cfa_ntuple_filter_free_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -31830,15 +37263,16 @@ struct hwrm_cfa_ntuple_filter_cfg_input {
        uint32_t        flags;
        /*
         * Setting this bit to 1 indicates that dest_id field contains FID.
-        * Setting this to 0 indicates that dest_id field contains VNIC or VPORT.
+        * Setting this to 0 indicates that dest_id field contains VNIC or
+        * VPORT.
         */
        #define HWRM_CFA_NTUPLE_FILTER_CFG_INPUT_FLAGS_DEST_FID \
                UINT32_C(0x1)
        /*
         * Setting of this flag indicates that the new_dst_id field contains
-        * RFS ring table index. If this is not set it indicates new_dst_id is
-        * VNIC or VPORT or function ID.  Note dest_fid and dest_rfs_ring_idx
-        * can’t be set at the same time.
+        * RFS ring table index. If this is not set it indicates new_dst_id
+        * is VNIC or VPORT or function ID.  Note dest_fid and
+        * dest_rfs_ring_idx can’t be set at the same time.
         */
        #define HWRM_CFA_NTUPLE_FILTER_CFG_INPUT_FLAGS_DEST_RFS_RING_IDX \
                UINT32_C(0x2)
@@ -31888,8 +37322,9 @@ struct hwrm_cfa_ntuple_filter_cfg_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -31943,28 +37378,34 @@ struct hwrm_cfa_em_flow_alloc_input {
        #define HWRM_CFA_EM_FLOW_ALLOC_INPUT_FLAGS_PATH_LAST \
                HWRM_CFA_EM_FLOW_ALLOC_INPUT_FLAGS_PATH_RX
        /*
-        * Setting of this flag indicates enabling of a byte counter for a given
-        * flow.
+        * Setting of this flag indicates enabling of a byte counter for a
+        * given flow.
         */
        #define HWRM_CFA_EM_FLOW_ALLOC_INPUT_FLAGS_BYTE_CTR     UINT32_C(0x2)
        /*
-        * Setting of this flag indicates enabling of a packet counter for a given
-        * flow.
+        * Setting of this flag indicates enabling of a packet counter for a
+        * given flow.
         */
        #define HWRM_CFA_EM_FLOW_ALLOC_INPUT_FLAGS_PKT_CTR      UINT32_C(0x4)
-       /* Setting of this flag indicates de-capsulation action for the given flow. */
+       /*
+        * Setting of this flag indicates de-capsulation action for the
+        * given flow.
+        */
        #define HWRM_CFA_EM_FLOW_ALLOC_INPUT_FLAGS_DECAP        UINT32_C(0x8)
-       /* Setting of this flag indicates encapsulation action for the given flow. */
+       /*
+        * Setting of this flag indicates encapsulation action for the
+        * given flow.
+        */
        #define HWRM_CFA_EM_FLOW_ALLOC_INPUT_FLAGS_ENCAP        UINT32_C(0x10)
        /*
-        * Setting of this flag indicates drop action. If this flag is not set,
-        * then it should be considered accept action.
+        * Setting of this flag indicates drop action. If this flag is not
+        * set, then it should be considered accept action.
         */
        #define HWRM_CFA_EM_FLOW_ALLOC_INPUT_FLAGS_DROP         UINT32_C(0x20)
        /*
-        * Setting of this flag indicates that a meter is expected to be attached
-        * to this flow. This hint can be used when choosing the action record
-        * format required for the flow.
+        * Setting of this flag indicates that a meter is expected to be
+        * attached to this flow. This hint can be used when choosing the
+        * action record format required for the flow.
         */
        #define HWRM_CFA_EM_FLOW_ALLOC_INPUT_FLAGS_METER        UINT32_C(0x40)
        uint32_t        enables;
@@ -32113,13 +37554,19 @@ struct hwrm_cfa_em_flow_alloc_input {
        /* IPV4 over virtual eXtensible Local Area Network (IPV4oVXLAN) */
        #define HWRM_CFA_EM_FLOW_ALLOC_INPUT_TUNNEL_TYPE_VXLAN_V4 \
                UINT32_C(0x9)
-       /* Enhance Generic Routing Encapsulation (GRE version 1) inside IP datagram payload */
+       /*
+        * Enhance Generic Routing Encapsulation (GRE version 1) inside IP
+        * datagram payload
+        */
        #define HWRM_CFA_EM_FLOW_ALLOC_INPUT_TUNNEL_TYPE_IPGRE_V1 \
                UINT32_C(0xa)
        /* Use fixed layer 2 ether type of 0xFFFF */
        #define HWRM_CFA_EM_FLOW_ALLOC_INPUT_TUNNEL_TYPE_L2_ETYPE \
                UINT32_C(0xb)
-       /* IPV6 over virtual eXtensible Local Area Network with GPE header (IPV6oVXLANGPE) */
+       /*
+        * IPV6 over virtual eXtensible Local Area Network with GPE header
+        * (IPV6oVXLANGPE)
+        */
        #define HWRM_CFA_EM_FLOW_ALLOC_INPUT_TUNNEL_TYPE_VXLAN_GPE_V6 \
                UINT32_C(0xc)
        /* Any tunneled traffic */
@@ -32294,8 +37741,9 @@ struct hwrm_cfa_em_flow_alloc_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -32354,8 +37802,9 @@ struct hwrm_cfa_em_flow_free_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -32409,9 +37858,9 @@ struct hwrm_cfa_meter_qcaps_output {
        uint16_t        resp_len;
        uint32_t        flags;
        /*
-        * Enumeration denoting the clock at which the Meter is running with.
-        * This enumeration is used for resources that are similar for both
-        * TX and RX paths of the chip.
+        * Enumeration denoting the clock at which the Meter is running
+        * with. This enumeration is used for resources that are similar
+        * for both TX and RX paths of the chip.
         */
        #define HWRM_CFA_METER_QCAPS_OUTPUT_FLAGS_CLOCK_MASK  UINT32_C(0xf)
        #define HWRM_CFA_METER_QCAPS_OUTPUT_FLAGS_CLOCK_SFT   0
@@ -32467,8 +37916,9 @@ struct hwrm_cfa_meter_qcaps_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -32745,8 +38195,9 @@ struct hwrm_cfa_meter_profile_alloc_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -32830,8 +38281,9 @@ struct hwrm_cfa_meter_profile_free_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -33101,8 +38553,9 @@ struct hwrm_cfa_meter_profile_cfg_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -33197,8 +38650,9 @@ struct hwrm_cfa_meter_instance_alloc_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -33268,8 +38722,8 @@ struct hwrm_cfa_meter_instance_cfg_input {
        #define HWRM_CFA_METER_INSTANCE_CFG_INPUT_METER_PROFILE_ID_LAST \
                HWRM_CFA_METER_INSTANCE_CFG_INPUT_METER_PROFILE_ID_INVALID
        /*
-        * This value identifies the ID of a meter instance that needs to be updated with
-        * a new meter profile specified in this command.
+        * This value identifies the ID of a meter instance that needs to be
+        * updated with a new meter profile specified in this command.
         */
        uint16_t        meter_instance_id;
        uint8_t unused_1[2];
@@ -33290,8 +38744,9 @@ struct hwrm_cfa_meter_instance_cfg_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -33375,8 +38830,9 @@ struct hwrm_cfa_meter_instance_free_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -33563,13 +39019,19 @@ struct hwrm_cfa_decap_filter_alloc_input {
        /* IPV4 over virtual eXtensible Local Area Network (IPV4oVXLAN) */
        #define HWRM_CFA_DECAP_FILTER_ALLOC_INPUT_TUNNEL_TYPE_VXLAN_V4 \
                UINT32_C(0x9)
-       /* Enhance Generic Routing Encapsulation (GRE version 1) inside IP datagram payload */
+       /*
+        * Enhance Generic Routing Encapsulation (GRE version 1) inside IP
+        * datagram payload
+        */
        #define HWRM_CFA_DECAP_FILTER_ALLOC_INPUT_TUNNEL_TYPE_IPGRE_V1 \
                UINT32_C(0xa)
        /* Use fixed layer 2 ether type of 0xFFFF */
        #define HWRM_CFA_DECAP_FILTER_ALLOC_INPUT_TUNNEL_TYPE_L2_ETYPE \
                UINT32_C(0xb)
-       /* IPV6 over virtual eXtensible Local Area Network with GPE header (IPV6oVXLANGPE) */
+       /*
+        * IPV6 over virtual eXtensible Local Area Network with GPE header
+        * (IPV6oVXLANGPE)
+        */
        #define HWRM_CFA_DECAP_FILTER_ALLOC_INPUT_TUNNEL_TYPE_VXLAN_GPE_V6 \
                UINT32_C(0xc)
        /* Any tunneled traffic */
@@ -33677,8 +39139,8 @@ struct hwrm_cfa_decap_filter_alloc_input {
         */
        uint16_t        dst_id;
        /*
-        * If set, this value shall represent the L2 context that matches the L2
-        * information of the decap filter.
+        * If set, this value shall represent the L2 context that matches the
+        * L2 information of the decap filter.
         */
        uint16_t        l2_ctxt_ref_id;
 } __rte_packed;
@@ -33700,8 +39162,9 @@ struct hwrm_cfa_decap_filter_alloc_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -33761,8 +39224,9 @@ struct hwrm_cfa_decap_filter_free_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -33837,29 +39301,35 @@ struct hwrm_cfa_flow_alloc_input {
        #define HWRM_CFA_FLOW_ALLOC_INPUT_FLAGS_FLOWTYPE_LAST \
                HWRM_CFA_FLOW_ALLOC_INPUT_FLAGS_FLOWTYPE_IPV6
        /*
-        * when set to 1, indicates TX flow offload for function specified in src_fid and
-        * the dst_fid should be set to invalid value. To indicate a VM to VM flow, both
-        * of the path_tx and path_rx flags need to be set. For virtio vSwitch offload
-        * case, the src_fid and dst_fid is set to the same fid value. For the SRIOV
-        * vSwitch offload case, the src_fid and dst_fid must be set to the same VF FID
-        * belong to the children VFs of the same PF to indicate VM to VM flow.
+        * when set to 1, indicates TX flow offload for function specified
+        * in src_fid and the dst_fid should be set to invalid value. To
+        * indicate a VM to VM flow, both of the path_tx and path_rx flags
+        * need to be set. For virtio vSwitch offload case, the src_fid and
+        * dst_fid is set to the same fid value. For the SRIOV vSwitch
+        * offload case, the src_fid and dst_fid must be set to the same VF
+        * FID belong to the children VFs of the same PF to indicate VM to
+        * VM flow.
         */
        #define HWRM_CFA_FLOW_ALLOC_INPUT_FLAGS_PATH_TX \
                UINT32_C(0x40)
        /*
-        * when set to 1, indicates RX flow offload for function specified in dst_fid and
-        * the src_fid should be set to invalid value.
+        * when set to 1, indicates RX flow offload for function specified
+        * in dst_fid and the src_fid should be set to invalid value.
         */
        #define HWRM_CFA_FLOW_ALLOC_INPUT_FLAGS_PATH_RX \
                UINT32_C(0x80)
        /*
-        * Set to 1 to indicate matching of VXLAN VNI from the custom vxlan header is
-        * required and the VXLAN VNI value is stored in the first 24 bits of the dmac field.
-        * This flag is only valid when the flow direction is RX.
+        * Set to 1 to indicate matching of VXLAN VNI from the custom vxlan
+        * header is required and the VXLAN VNI value is stored in the first
+        * 24 bits of the dmac field. This flag is only valid when the flow
+        * direction is RX.
         */
        #define HWRM_CFA_FLOW_ALLOC_INPUT_FLAGS_MATCH_VXLAN_IP_VNI \
                UINT32_C(0x100)
-       /* Set to 1 to indicate vhost_id is specified in the outer_vlan_tci field. */
+       /*
+        * Set to 1 to indicate vhost_id is specified in the outer_vlan_tci
+        * field.
+        */
        #define HWRM_CFA_FLOW_ALLOC_INPUT_FLAGS_VHOST_ID_USE_VLAN \
                UINT32_C(0x200)
        /*
@@ -33871,8 +39341,8 @@ struct hwrm_cfa_flow_alloc_input {
        uint32_t        tunnel_handle;
        uint16_t        action_flags;
        /*
-        * Setting of this flag indicates drop action. If this flag is not set,
-        * then it should be considered accept action.
+        * Setting of this flag indicates drop action. If this flag is not
+        * set, then it should be considered accept action.
         */
        #define HWRM_CFA_FLOW_ALLOC_INPUT_ACTION_FLAGS_FWD \
                UINT32_C(0x1)
@@ -33880,8 +39350,8 @@ struct hwrm_cfa_flow_alloc_input {
        #define HWRM_CFA_FLOW_ALLOC_INPUT_ACTION_FLAGS_RECYCLE \
                UINT32_C(0x2)
        /*
-        * Setting of this flag indicates drop action. If this flag is not set,
-        * then it should be considered accept action.
+        * Setting of this flag indicates drop action. If this flag is not
+        * set, then it should be considered accept action.
         */
        #define HWRM_CFA_FLOW_ALLOC_INPUT_ACTION_FLAGS_DROP \
                UINT32_C(0x4)
@@ -33907,10 +39377,10 @@ struct hwrm_cfa_flow_alloc_input {
        #define HWRM_CFA_FLOW_ALLOC_INPUT_ACTION_FLAGS_TTL_DECREMENT \
                UINT32_C(0x200)
        /*
-        * If set to 1 and flow direction is TX, it indicates decap of L2 header
-        * and encap of tunnel header. If set to 1 and flow direction is RX, it
-        * indicates decap of tunnel header and encap L2 header. The type of tunnel
-        * is specified in the tunnel_type field.
+        * If set to 1 and flow direction is TX, it indicates decap of L2
+        * header and encap of tunnel header. If set to 1 and flow direction
+        * is RX, it indicates decap of tunnel header and encap L2 header.
+        * The type of tunnel is specified in the tunnel_type field.
         */
        #define HWRM_CFA_FLOW_ALLOC_INPUT_ACTION_FLAGS_TUNNEL_IP \
                UINT32_C(0x400)
@@ -33918,18 +39388,19 @@ struct hwrm_cfa_flow_alloc_input {
        #define HWRM_CFA_FLOW_ALLOC_INPUT_ACTION_FLAGS_FLOW_AGING_ENABLED \
                UINT32_C(0x800)
        /*
-        * If set to 1 an attempt will be made to try to offload this flow to the
-        * most optimal flow table resource. If set to 0, the flow will be
-        * placed to the default flow table resource.
+        * If set to 1 an attempt will be made to try to offload this flow
+        * to the most optimal flow table resource. If set to 0, the flow
+        * will be placed to the default flow table resource.
         */
        #define HWRM_CFA_FLOW_ALLOC_INPUT_ACTION_FLAGS_PRI_HINT \
                UINT32_C(0x1000)
        /*
-        * If set to 1 there will be no attempt to allocate an on-chip try to
-        * offload this flow. If set to 0, which will keep compatibility with the
-        * older drivers, will cause the FW to attempt to allocate an on-chip flow
-        * counter for the newly created flow. This will keep the existing behavior
-        * with EM flows which always had an associated flow counter.
+        * If set to 1 there will be no attempt to allocate an on-chip try
+        * to offload this flow. If set to 0, which will keep compatibility
+        * with the older drivers, will cause the FW to attempt to allocate
+        * an on-chip flow counter for the newly created flow. This will
+        * keep the existing behavior with EM flows which always had an
+        * associated flow counter.
         */
        #define HWRM_CFA_FLOW_ALLOC_INPUT_ACTION_FLAGS_NO_FLOW_COUNTER_ALLOC \
                UINT32_C(0x2000)
@@ -34033,13 +39504,19 @@ struct hwrm_cfa_flow_alloc_input {
        /* IPV4 over virtual eXtensible Local Area Network (IPV4oVXLAN) */
        #define HWRM_CFA_FLOW_ALLOC_INPUT_TUNNEL_TYPE_VXLAN_V4 \
                UINT32_C(0x9)
-       /* Enhance Generic Routing Encapsulation (GRE version 1) inside IP datagram payload */
+       /*
+        * Enhance Generic Routing Encapsulation (GRE version 1) inside IP
+        * datagram payload
+        */
        #define HWRM_CFA_FLOW_ALLOC_INPUT_TUNNEL_TYPE_IPGRE_V1 \
                UINT32_C(0xa)
        /* Use fixed layer 2 ether type of 0xFFFF */
        #define HWRM_CFA_FLOW_ALLOC_INPUT_TUNNEL_TYPE_L2_ETYPE \
                UINT32_C(0xb)
-       /* IPV6 over virtual eXtensible Local Area Network with GPE header (IPV6oVXLANGPE) */
+       /*
+        * IPV6 over virtual eXtensible Local Area Network with GPE header
+        * (IPV6oVXLANGPE)
+        */
        #define HWRM_CFA_FLOW_ALLOC_INPUT_TUNNEL_TYPE_VXLAN_GPE_V6 \
                UINT32_C(0xc)
        /* Any tunneled traffic */
@@ -34110,8 +39587,9 @@ struct hwrm_cfa_flow_alloc_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -34207,8 +39685,9 @@ struct hwrm_cfa_flow_free_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -34232,9 +39711,9 @@ struct hwrm_cfa_flow_action_data {
        #define HWRM_CFA_FLOW_ACTION_DATA_ACTION_FLAGS_TUNNEL \
                UINT32_C(0x10)
        /*
-        * If set to 1 and flow direction is TX, it indicates decap of L2 header
-        * and encap of tunnel header. If set to 1 and flow direction is RX, it
-        * indicates decap of tunnel header and encap L2 header.
+        * If set to 1 and flow direction is TX, it indicates decap of L2
+        * header and encap of tunnel header. If set to 1 and flow direction
+        * is RX, it indicates decap of tunnel header and encap L2 header.
         */
        #define HWRM_CFA_FLOW_ACTION_DATA_ACTION_FLAGS_TUNNEL_IP \
                UINT32_C(0x20)
@@ -34281,11 +39760,17 @@ struct hwrm_cfa_flow_action_data {
        #define HWRM_CFA_FLOW_ACTION_DATA_ENCAP_TYPE_IPGRE        UINT32_C(0x8)
        /* IPV4 over virtual eXtensible Local Area Network (IPV4oVXLAN) */
        #define HWRM_CFA_FLOW_ACTION_DATA_ENCAP_TYPE_VXLAN_V4     UINT32_C(0x9)
-       /* Enhance Generic Routing Encapsulation (GRE version 1) inside IP datagram payload */
+       /*
+        * Enhance Generic Routing Encapsulation (GRE version 1) inside IP
+        * datagram payload
+        */
        #define HWRM_CFA_FLOW_ACTION_DATA_ENCAP_TYPE_IPGRE_V1     UINT32_C(0xa)
        /* Use fixed layer 2 ether type of 0xFFFF */
        #define HWRM_CFA_FLOW_ACTION_DATA_ENCAP_TYPE_L2_ETYPE     UINT32_C(0xb)
-       /* IPV6 over virtual eXtensible Local Area Network with GPE header (IPV6oVXLANGPE) */
+       /*
+        * IPV6 over virtual eXtensible Local Area Network with GPE header
+        * (IPV6oVXLANGPE)
+        */
        #define HWRM_CFA_FLOW_ACTION_DATA_ENCAP_TYPE_VXLAN_GPE_V6 UINT32_C(0xc)
        #define HWRM_CFA_FLOW_ACTION_DATA_ENCAP_TYPE_LAST \
                HWRM_CFA_FLOW_ACTION_DATA_ENCAP_TYPE_VXLAN_GPE_V6
@@ -34328,13 +39813,19 @@ struct hwrm_cfa_flow_tunnel_hdr_data {
        /* IPV4 over virtual eXtensible Local Area Network (IPV4oVXLAN) */
        #define HWRM_CFA_FLOW_TUNNEL_HDR_DATA_TUNNEL_TYPE_VXLAN_V4 \
                UINT32_C(0x9)
-       /* Enhance Generic Routing Encapsulation (GRE version 1) inside IP datagram payload */
+       /*
+        * Enhance Generic Routing Encapsulation (GRE version 1) inside IP
+        * datagram payload
+        */
        #define HWRM_CFA_FLOW_TUNNEL_HDR_DATA_TUNNEL_TYPE_IPGRE_V1 \
                UINT32_C(0xa)
        /* Use fixed layer 2 ether type of 0xFFFF */
        #define HWRM_CFA_FLOW_TUNNEL_HDR_DATA_TUNNEL_TYPE_L2_ETYPE \
                UINT32_C(0xb)
-       /* IPV6 over virtual eXtensible Local Area Network with GPE header (IPV6oVXLANGPE) */
+       /*
+        * IPV6 over virtual eXtensible Local Area Network with GPE header
+        * (IPV6oVXLANGPE)
+        */
        #define HWRM_CFA_FLOW_TUNNEL_HDR_DATA_TUNNEL_TYPE_VXLAN_GPE_V6 \
                UINT32_C(0xc)
        /* Any tunneled traffic */
@@ -34541,8 +40032,9 @@ struct hwrm_cfa_flow_info_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -34585,32 +40077,39 @@ struct hwrm_cfa_flow_flush_input {
        /* flags is 32 b */
        uint32_t        flags;
        /*
-        * Set to 1 to indicate the page size, page layers, and flow_handle_table_dma_addr
-        * fields are valid. The flow flush operation should only flush the flows from the
-        * flow table specified. This flag is set to 0 by older driver. For older firmware,
-        * setting this flag has no effect.
+        * Set to 1 to indicate the page size, page layers, and
+        * flow_handle_table_dma_addr fields are valid. The flow flush
+        * operation should only flush the flows from the flow table
+        * specified. This flag is set to 0 by older driver. For older
+        * firmware, setting this flag has no effect.
         */
        #define HWRM_CFA_FLOW_FLUSH_INPUT_FLAGS_FLOW_TABLE_VALID \
                UINT32_C(0x1)
        /*
-        * Set to 1 to indicate flow flush operation to cleanup all the flows, meters, CFA
-        * context memory tables etc. This flag is set to 0 by older driver. For older firmware,
-        * setting this flag has no effect.
+        * Set to 1 to indicate flow flush operation to cleanup all the
+        * flows, meters, CFA context memory tables etc. This flag is set to
+        * 0 by older driver. For older firmware, setting this flag has no
+        * effect.
         */
        #define HWRM_CFA_FLOW_FLUSH_INPUT_FLAGS_FLOW_RESET_ALL \
                UINT32_C(0x2)
        /*
-        * Set to 1 to indicate flow flush operation to cleanup all the flows by the caller.
-        * This flag is set to 0 by older driver. For older firmware, setting this flag has no effect.
+        * Set to 1 to indicate flow flush operation to cleanup all the
+        * flows by the caller. This flag is set to 0 by older driver. For
+        * older firmware, setting this flag has no effect.
         */
        #define HWRM_CFA_FLOW_FLUSH_INPUT_FLAGS_FLOW_RESET_PORT \
                UINT32_C(0x4)
-       /* Set to 1 to indicate the flow counter IDs are included in the flow table. */
+       /*
+        * Set to 1 to indicate the flow counter IDs are included in the
+        * flow table.
+        */
        #define HWRM_CFA_FLOW_FLUSH_INPUT_FLAGS_FLOW_HANDLE_INCL_FC \
                UINT32_C(0x8000000)
        /*
-        * This specifies the size of flow handle entries provided by the driver
-        * in the flow table specified below. Only two flow handle size enums are defined.
+        * This specifies the size of flow handle entries provided by the
+        * driver in the flow table specified below. Only two flow handle
+        * size enums are defined.
         */
        #define HWRM_CFA_FLOW_FLUSH_INPUT_FLAGS_FLOW_HANDLE_ENTRY_SIZE_MASK \
                UINT32_C(0xc0000000)
@@ -34650,7 +40149,10 @@ struct hwrm_cfa_flow_flush_input {
        #define HWRM_CFA_FLOW_FLUSH_INPUT_PAGE_LEVEL_LVL_0 UINT32_C(0x0)
        /* PBL pointer points to PTE table. */
        #define HWRM_CFA_FLOW_FLUSH_INPUT_PAGE_LEVEL_LVL_1 UINT32_C(0x1)
-       /* PBL pointer points to PDE table with each entry pointing to PTE tables. */
+       /*
+        * PBL pointer points to PDE table with each entry pointing to PTE
+        * tables.
+        */
        #define HWRM_CFA_FLOW_FLUSH_INPUT_PAGE_LEVEL_LVL_2 UINT32_C(0x2)
        #define HWRM_CFA_FLOW_FLUSH_INPUT_PAGE_LEVEL_LAST \
                HWRM_CFA_FLOW_FLUSH_INPUT_PAGE_LEVEL_LVL_2
@@ -34675,8 +40177,9 @@ struct hwrm_cfa_flow_flush_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -34816,8 +40319,9 @@ struct hwrm_cfa_flow_stats_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -34884,8 +40388,9 @@ struct hwrm_cfa_flow_aging_timer_reset_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -34927,28 +40432,52 @@ struct hwrm_cfa_flow_aging_cfg_input {
        uint64_t        resp_addr;
        /* The bit field to enable per flow aging configuration. */
        uint16_t        enables;
-       /* This bit must be '1' for the tcp flow timer field to be configured */
+       /*
+        * This bit must be '1' for the tcp flow timer field to be
+        * configured
+        */
        #define HWRM_CFA_FLOW_AGING_CFG_INPUT_ENABLES_TCP_FLOW_TIMER \
                UINT32_C(0x1)
-       /* This bit must be '1' for the tcp finish timer field to be configured */
+       /*
+        * This bit must be '1' for the tcp finish timer field to be
+        * configured
+        */
        #define HWRM_CFA_FLOW_AGING_CFG_INPUT_ENABLES_TCP_FIN_TIMER \
                UINT32_C(0x2)
-       /* This bit must be '1' for the udp flow timer field to be configured */
+       /*
+        * This bit must be '1' for the udp flow timer field to be
+        * configured
+        */
        #define HWRM_CFA_FLOW_AGING_CFG_INPUT_ENABLES_UDP_FLOW_TIMER \
                UINT32_C(0x4)
-       /* This bit must be '1' for the eem dma interval field to be configured */
+       /*
+        * This bit must be '1' for the eem dma interval field to be
+        * configured
+        */
        #define HWRM_CFA_FLOW_AGING_CFG_INPUT_ENABLES_EEM_DMA_INTERVAL \
                UINT32_C(0x8)
-       /* This bit must be '1' for the eem notice interval field to be configured */
+       /*
+        * This bit must be '1' for the eem notice interval field to be
+        * configured
+        */
        #define HWRM_CFA_FLOW_AGING_CFG_INPUT_ENABLES_EEM_NOTICE_INTERVAL \
                UINT32_C(0x10)
-       /* This bit must be '1' for the eem context memory maximum entries field to be configured */
+       /*
+        * This bit must be '1' for the eem context memory maximum entries
+        * field to be configured
+        */
        #define HWRM_CFA_FLOW_AGING_CFG_INPUT_ENABLES_EEM_CTX_MAX_ENTRIES \
                UINT32_C(0x20)
-       /* This bit must be '1' for the eem context memory ID field to be configured */
+       /*
+        * This bit must be '1' for the eem context memory ID field to be
+        * configured
+        */
        #define HWRM_CFA_FLOW_AGING_CFG_INPUT_ENABLES_EEM_CTX_ID \
                UINT32_C(0x40)
-       /* This bit must be '1' for the eem context memory type field to be configured */
+       /*
+        * This bit must be '1' for the eem context memory type field to be
+        * configured
+        */
        #define HWRM_CFA_FLOW_AGING_CFG_INPUT_ENABLES_EEM_CTX_MEM_TYPE \
                UINT32_C(0x80)
        uint8_t flags;
@@ -34960,7 +40489,10 @@ struct hwrm_cfa_flow_aging_cfg_input {
        #define HWRM_CFA_FLOW_AGING_CFG_INPUT_FLAGS_PATH_RX      UINT32_C(0x1)
        #define HWRM_CFA_FLOW_AGING_CFG_INPUT_FLAGS_PATH_LAST \
                HWRM_CFA_FLOW_AGING_CFG_INPUT_FLAGS_PATH_RX
-       /* Enumeration denoting the enable, disable eem flow aging configuration. */
+       /*
+        * Enumeration denoting the enable, disable eem flow aging
+        * configuration.
+        */
        #define HWRM_CFA_FLOW_AGING_CFG_INPUT_FLAGS_EEM        UINT32_C(0x2)
        /* tx path */
        #define HWRM_CFA_FLOW_AGING_CFG_INPUT_FLAGS_EEM_DISABLE \
@@ -34971,22 +40503,40 @@ struct hwrm_cfa_flow_aging_cfg_input {
        #define HWRM_CFA_FLOW_AGING_CFG_INPUT_FLAGS_EEM_LAST \
                HWRM_CFA_FLOW_AGING_CFG_INPUT_FLAGS_EEM_ENABLE
        uint8_t unused_0;
-       /* The flow aging timer for all TCP flows, the unit is 100 milliseconds. */
+       /*
+        * The flow aging timer for all TCP flows, the unit is 100
+        * milliseconds.
+        */
        uint32_t        tcp_flow_timer;
-       /* The TCP finished timer for all TCP flows, the unit is 100 milliseconds. */
+       /*
+        * The TCP finished timer for all TCP flows, the unit is 100
+        * milliseconds.
+        */
        uint32_t        tcp_fin_timer;
-       /* The flow aging timer for all UDP flows, the unit is 100 milliseconds. */
+       /*
+        * The flow aging timer for all UDP flows, the unit is 100
+        * milliseconds.
+        */
        uint32_t        udp_flow_timer;
-       /* The interval to dma eem ejection data to host memory, the unit is milliseconds. */
+       /*
+        * The interval to dma eem ejection data to host memory, the unit is
+        * milliseconds.
+        */
        uint16_t        eem_dma_interval;
-       /* The interval to notify driver to read the eem ejection data, the unit is milliseconds. */
+       /*
+        * The interval to notify driver to read the eem ejection data, the
+        * unit is milliseconds.
+        */
        uint16_t        eem_notice_interval;
        /* The maximum entries number in the eem context memory. */
        uint32_t        eem_ctx_max_entries;
        /* The context memory ID for eem flow aging. */
        uint16_t        eem_ctx_id;
        uint16_t        eem_ctx_mem_type;
-       /* The content of context memory is eem ejection data, the size of each entry is 4 bytes. */
+       /*
+        * The content of context memory is eem ejection data, the size of
+        * each entry is 4 bytes.
+        */
        #define HWRM_CFA_FLOW_AGING_CFG_INPUT_EEM_CTX_MEM_TYPE_EJECTION_DATA \
                UINT32_C(0x0)
        #define HWRM_CFA_FLOW_AGING_CFG_INPUT_EEM_CTX_MEM_TYPE_LAST \
@@ -35009,8 +40559,9 @@ struct hwrm_cfa_flow_aging_cfg_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -35050,7 +40601,10 @@ struct hwrm_cfa_flow_aging_qcfg_input {
         * point to a physically contiguous block of memory.
         */
        uint64_t        resp_addr;
-       /* The direction for the flow aging configuration, 1 is rx path, 2 is tx path. */
+       /*
+        * The direction for the flow aging configuration, 1 is rx path, 2 is
+        * tx path.
+        */
        uint8_t flags;
        /* Enumeration denoting the RX, TX type of the resource. */
        #define HWRM_CFA_FLOW_AGING_QCFG_INPUT_FLAGS_PATH     UINT32_C(0x1)
@@ -35073,15 +40627,30 @@ struct hwrm_cfa_flow_aging_qcfg_output {
        uint16_t        seq_id;
        /* The length of the response data in number of bytes. */
        uint16_t        resp_len;
-       /* The current flow aging timer for all TCP flows, the unit is 100 millisecond. */
+       /*
+        * The current flow aging timer for all TCP flows, the unit is 100
+        * millisecond.
+        */
        uint32_t        tcp_flow_timer;
-       /* The current TCP finished timer for all TCP flows, the unit is 100 millisecond. */
+       /*
+        * The current TCP finished timer for all TCP flows, the unit is 100
+        * millisecond.
+        */
        uint32_t        tcp_fin_timer;
-       /* The current flow aging timer for all UDP flows, the unit is 100 millisecond. */
+       /*
+        * The current flow aging timer for all UDP flows, the unit is 100
+        * millisecond.
+        */
        uint32_t        udp_flow_timer;
-       /* The interval to dma eem ejection data to host memory, the unit is milliseconds. */
+       /*
+        * The interval to dma eem ejection data to host memory, the unit is
+        * milliseconds.
+        */
        uint16_t        eem_dma_interval;
-       /* The interval to notify driver to read the eem ejection data, the unit is milliseconds. */
+       /*
+        * The interval to notify driver to read the eem ejection data, the
+        * unit is milliseconds.
+        */
        uint16_t        eem_notice_interval;
        /* The maximum entries number in the eem context memory. */
        uint32_t        eem_ctx_max_entries;
@@ -35094,8 +40663,9 @@ struct hwrm_cfa_flow_aging_qcfg_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -35135,7 +40705,10 @@ struct hwrm_cfa_flow_aging_qcaps_input {
         * point to a physically contiguous block of memory.
         */
        uint64_t        resp_addr;
-       /* The direction for the flow aging configuration, 1 is rx path, 2 is tx path. */
+       /*
+        * The direction for the flow aging configuration, 1 is rx path, 2 is
+        * tx path.
+        */
        uint8_t flags;
        /* Enumeration denoting the RX, TX type of the resource. */
        #define HWRM_CFA_FLOW_AGING_QCAPS_INPUT_FLAGS_PATH     UINT32_C(0x1)
@@ -35158,11 +40731,20 @@ struct hwrm_cfa_flow_aging_qcaps_output {
        uint16_t        seq_id;
        /* The length of the response data in number of bytes. */
        uint16_t        resp_len;
-       /* The maximum flow aging timer for all TCP flows, the unit is 100 millisecond. */
+       /*
+        * The maximum flow aging timer for all TCP flows, the unit is 100
+        * millisecond.
+        */
        uint32_t        max_tcp_flow_timer;
-       /* The maximum TCP finished timer for all TCP flows, the unit is 100 millisecond. */
+       /*
+        * The maximum TCP finished timer for all TCP flows, the unit is 100
+        * millisecond.
+        */
        uint32_t        max_tcp_fin_timer;
-       /* The maximum flow aging timer for all UDP flows, the unit is 100 millisecond. */
+       /*
+        * The maximum flow aging timer for all UDP flows, the unit is 100
+        * millisecond.
+        */
        uint32_t        max_udp_flow_timer;
        /* The maximum aging flows that HW can support. */
        uint32_t        max_aging_flows;
@@ -35171,8 +40753,9 @@ struct hwrm_cfa_flow_aging_qcaps_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -35228,17 +40811,501 @@ struct hwrm_cfa_tcp_flag_process_qcfg_output {
        uint16_t        rx_ar_id_port0;
        /* The port 1 RX mirror action record ID. */
        uint16_t        rx_ar_id_port1;
-       /* The port 0 RX action record ID for TX TCP flag packets from loopback path. */
+       /*
+        * The port 0 RX action record ID for TX TCP flag packets from
+        * loopback path.
+        */
        uint16_t        tx_ar_id_port0;
-       /* The port 1 RX action record ID for TX TCP flag packets from loopback path. */
+       /*
+        * The port 1 RX action record ID for TX TCP flag packets from
+        * loopback path.
+        */
        uint16_t        tx_ar_id_port1;
        uint8_t unused_0[7];
        /*
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
+/**************************
+ * hwrm_cfa_vf_pair_alloc *
+ **************************/
+
+
+/* hwrm_cfa_vf_pair_alloc_input (size:448b/56B) */
+struct hwrm_cfa_vf_pair_alloc_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       /* Logical VF number (range: 0 -> MAX_VFS -1). */
+       uint16_t        vf_a_id;
+       /* Logical VF number (range: 0 -> MAX_VFS -1). */
+       uint16_t        vf_b_id;
+       uint8_t unused_0[4];
+       /* VF Pair name (32 byte string). */
+       char    pair_name[32];
+} __rte_packed;
+
+/* hwrm_cfa_vf_pair_alloc_output (size:128b/16B) */
+struct hwrm_cfa_vf_pair_alloc_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       uint8_t unused_0[7];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM. This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
+/*************************
+ * hwrm_cfa_vf_pair_free *
+ *************************/
+
+
+/* hwrm_cfa_vf_pair_free_input (size:384b/48B) */
+struct hwrm_cfa_vf_pair_free_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       /* VF Pair name (32 byte string). */
+       char    pair_name[32];
+} __rte_packed;
+
+/* hwrm_cfa_vf_pair_free_output (size:128b/16B) */
+struct hwrm_cfa_vf_pair_free_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       uint8_t unused_0[7];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM. This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
+/*************************
+ * hwrm_cfa_vf_pair_info *
+ *************************/
+
+
+/* hwrm_cfa_vf_pair_info_input (size:448b/56B) */
+struct hwrm_cfa_vf_pair_info_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       uint32_t        flags;
+       /* If this flag is set, lookup by name else lookup by index. */
+       #define HWRM_CFA_VF_PAIR_INFO_INPUT_FLAGS_LOOKUP_TYPE     UINT32_C(0x1)
+       /* vf pair table index. */
+       uint16_t        vf_pair_index;
+       uint8_t unused_0[2];
+       /* VF Pair name (32 byte string). */
+       char    vf_pair_name[32];
+} __rte_packed;
+
+/* hwrm_cfa_vf_pair_info_output (size:512b/64B) */
+struct hwrm_cfa_vf_pair_info_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       /* vf pair table index. */
+       uint16_t        next_vf_pair_index;
+       /* vf pair member a's vf_fid. */
+       uint16_t        vf_a_fid;
+       /* vf pair member a's Linux logical VF number. */
+       uint16_t        vf_a_index;
+       /* vf pair member b's vf_fid. */
+       uint16_t        vf_b_fid;
+       /* vf pair member a's Linux logical VF number. */
+       uint16_t        vf_b_index;
+       /* vf pair state. */
+       uint8_t pair_state;
+       /* Pair has been allocated */
+       #define HWRM_CFA_VF_PAIR_INFO_OUTPUT_PAIR_STATE_ALLOCATED UINT32_C(0x1)
+       /* Both pair members are active */
+       #define HWRM_CFA_VF_PAIR_INFO_OUTPUT_PAIR_STATE_ACTIVE    UINT32_C(0x2)
+       #define HWRM_CFA_VF_PAIR_INFO_OUTPUT_PAIR_STATE_LAST \
+               HWRM_CFA_VF_PAIR_INFO_OUTPUT_PAIR_STATE_ACTIVE
+       uint8_t unused_0[5];
+       /* VF Pair name (32 byte string). */
+       char    pair_name[32];
+       uint8_t unused_1[7];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM. This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
+/***********************
+ * hwrm_cfa_pair_alloc *
+ ***********************/
+
+
+/* hwrm_cfa_pair_alloc_input (size:576b/72B) */
+struct hwrm_cfa_pair_alloc_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       /*
+        * Pair mode (0-vf2fn, 1-rep2fn, 2-rep2rep, 3-proxy, 4-pfpair,
+        *            5-rep2fn_mod, 6-rep2fn_modall, 7-rep2fn_truflow).
+        */
+       uint16_t        pair_mode;
+       /* Pair between VF on local host with PF or VF on specified host. */
+       #define HWRM_CFA_PAIR_ALLOC_INPUT_PAIR_MODE_VF2FN \
+               UINT32_C(0x0)
+       /* Pair between REP on local host with PF or VF on specified host. */
+       #define HWRM_CFA_PAIR_ALLOC_INPUT_PAIR_MODE_REP2FN \
+               UINT32_C(0x1)
+       /* Pair between REP on local host with REP on specified host. */
+       #define HWRM_CFA_PAIR_ALLOC_INPUT_PAIR_MODE_REP2REP \
+               UINT32_C(0x2)
+       /* Pair for the proxy interface. */
+       #define HWRM_CFA_PAIR_ALLOC_INPUT_PAIR_MODE_PROXY \
+               UINT32_C(0x3)
+       /* Pair for the PF interface. */
+       #define HWRM_CFA_PAIR_ALLOC_INPUT_PAIR_MODE_PFPAIR \
+               UINT32_C(0x4)
+       /* Modify existing rep2fn pair and move pair to new PF. */
+       #define HWRM_CFA_PAIR_ALLOC_INPUT_PAIR_MODE_REP2FN_MOD \
+               UINT32_C(0x5)
+       /*
+        * Modify existing rep2fn pairs paired with same PF and move pairs
+        * to new PF.
+        */
+       #define HWRM_CFA_PAIR_ALLOC_INPUT_PAIR_MODE_REP2FN_MODALL \
+               UINT32_C(0x6)
+       /*
+        * Truflow pair between REP on local host with PF or VF on specified
+        * host.
+        */
+       #define HWRM_CFA_PAIR_ALLOC_INPUT_PAIR_MODE_REP2FN_TRUFLOW \
+               UINT32_C(0x7)
+       #define HWRM_CFA_PAIR_ALLOC_INPUT_PAIR_MODE_LAST \
+               HWRM_CFA_PAIR_ALLOC_INPUT_PAIR_MODE_REP2FN_TRUFLOW
+       /* Logical VF number (range: 0 -> MAX_VFS -1). */
+       uint16_t        vf_a_id;
+       /* Logical Host (0xff-local host). */
+       uint8_t host_b_id;
+       /* Logical PF (0xff-PF for command channel). */
+       uint8_t pf_b_id;
+       /* Logical VF number (range: 0 -> MAX_VFS -1). */
+       uint16_t        vf_b_id;
+       /* Loopback port (0xff-internal loopback), valid for mode-3. */
+       uint8_t port_id;
+       /* Priority used for encap of loopback packets valid for mode-3. */
+       uint8_t pri;
+       /* New PF for rep2fn modify, valid for mode 5. */
+       uint16_t        new_pf_fid;
+       uint32_t        enables;
+       /*
+        * This bit must be '1' for the q_ab field to be
+        * configured.
+        */
+       #define HWRM_CFA_PAIR_ALLOC_INPUT_ENABLES_Q_AB_VALID      UINT32_C(0x1)
+       /*
+        * This bit must be '1' for the q_ba field to be
+        * configured.
+        */
+       #define HWRM_CFA_PAIR_ALLOC_INPUT_ENABLES_Q_BA_VALID      UINT32_C(0x2)
+       /*
+        * This bit must be '1' for the fc_ab field to be
+        * configured.
+        */
+       #define HWRM_CFA_PAIR_ALLOC_INPUT_ENABLES_FC_AB_VALID     UINT32_C(0x4)
+       /*
+        * This bit must be '1' for the fc_ba field to be
+        * configured.
+        */
+       #define HWRM_CFA_PAIR_ALLOC_INPUT_ENABLES_FC_BA_VALID     UINT32_C(0x8)
+       /* VF Pair name (32 byte string). */
+       char    pair_name[32];
+       /*
+        * The q_ab value specifies the logical index of the TX/RX CoS
+        * queue to be assigned for traffic in the A to B direction of
+        * the interface pair. The default value is 0.
+        */
+       uint8_t q_ab;
+       /*
+        * The q_ba value specifies the logical index of the TX/RX CoS
+        * queue to be assigned for traffic in the B to A direction of
+        * the interface pair. The default value is 1.
+        */
+       uint8_t q_ba;
+       /*
+        * Specifies whether RX ring flow control is disabled (0) or enabled
+        * (1) in the A to B direction. The default value is 0, meaning that
+        * packets will be dropped when the B-side RX rings are full.
+        */
+       uint8_t fc_ab;
+       /*
+        * Specifies whether RX ring flow control is disabled (0) or enabled
+        * (1) in the B to A direction. The default value is 1, meaning that
+        * the RX CoS queue will be flow controlled when the A-side RX rings
+        * are full.
+        */
+       uint8_t fc_ba;
+       uint8_t unused_1[4];
+} __rte_packed;
+
+/* hwrm_cfa_pair_alloc_output (size:192b/24B) */
+struct hwrm_cfa_pair_alloc_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       /* Only valid for modes 1 and 2. */
+       uint16_t        rx_cfa_code_a;
+       /* Only valid for modes 1 and 2. */
+       uint16_t        tx_cfa_action_a;
+       /* Only valid for mode 2. */
+       uint16_t        rx_cfa_code_b;
+       /* Only valid for mode 2. */
+       uint16_t        tx_cfa_action_b;
+       uint8_t unused_0[7];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM. This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
+/**********************
+ * hwrm_cfa_pair_free *
+ **********************/
+
+
+/* hwrm_cfa_pair_free_input (size:448b/56B) */
+struct hwrm_cfa_pair_free_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       /* VF Pair name (32 byte string). */
+       char    pair_name[32];
+       /* Logical PF (0xff-PF for command channel). */
+       uint8_t pf_b_id;
+       uint8_t unused_0[3];
+       /* Logical VF number (range: 0 -> MAX_VFS -1). */
+       uint16_t        vf_id;
+       /*
+        * Pair mode (0-vf2fn, 1-rep2fn, 2-rep2rep, 3-proxy, 4-pfpair,
+        *            5-rep2fn_mod, 6-rep2fn_modall, 7-rep2fn_truflow).
+        */
+       uint16_t        pair_mode;
+       /* Pair between VF on local host with PF or VF on specified host. */
+       #define HWRM_CFA_PAIR_FREE_INPUT_PAIR_MODE_VF2FN          UINT32_C(0x0)
+       /* Pair between REP on local host with PF or VF on specified host. */
+       #define HWRM_CFA_PAIR_FREE_INPUT_PAIR_MODE_REP2FN         UINT32_C(0x1)
+       /* Pair between REP on local host with REP on specified host. */
+       #define HWRM_CFA_PAIR_FREE_INPUT_PAIR_MODE_REP2REP        UINT32_C(0x2)
+       /* Pair for the proxy interface. */
+       #define HWRM_CFA_PAIR_FREE_INPUT_PAIR_MODE_PROXY          UINT32_C(0x3)
+       /* Pair for the PF interface. */
+       #define HWRM_CFA_PAIR_FREE_INPUT_PAIR_MODE_PFPAIR         UINT32_C(0x4)
+       /* Modify existing rep2fn pair and move pair to new PF. */
+       #define HWRM_CFA_PAIR_FREE_INPUT_PAIR_MODE_REP2FN_MOD     UINT32_C(0x5)
+       /*
+        * Modify existing rep2fn pairs paired with same PF and move pairs
+        * to new PF.
+        */
+       #define HWRM_CFA_PAIR_FREE_INPUT_PAIR_MODE_REP2FN_MODALL  UINT32_C(0x6)
+       /*
+        * Truflow pair between REP on local host with PF or VF on
+        * specified host.
+        */
+       #define HWRM_CFA_PAIR_FREE_INPUT_PAIR_MODE_REP2FN_TRUFLOW UINT32_C(0x7)
+       #define HWRM_CFA_PAIR_FREE_INPUT_PAIR_MODE_LAST \
+               HWRM_CFA_PAIR_FREE_INPUT_PAIR_MODE_REP2FN_TRUFLOW
+} __rte_packed;
+
+/* hwrm_cfa_pair_free_output (size:128b/16B) */
+struct hwrm_cfa_pair_free_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       uint8_t unused_0[7];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM. This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -35358,8 +41425,9 @@ struct hwrm_cfa_pair_info_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -35428,10 +41496,11 @@ struct hwrm_cfa_vfr_alloc_output {
        uint8_t unused_0[3];
        /*
         * This field is used in Output records to indicate that the output
-        * is completely written to RAM.  This field should be read as '1'
+        * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -35472,11 +41541,15 @@ struct hwrm_cfa_vfr_free_input {
         */
        uint64_t        resp_addr;
        /* VF Representor name (32 byte string). */
-       char            vfr_name[32];
+       char    vfr_name[32];
        /* Logical VF number (range: 0 -> MAX_VFS -1). */
        uint16_t        vf_id;
+       /*
+        * This field is reserved for the future use.
+        * It shall be set to 0.
+        */
        uint16_t        reserved;
-       uint8_t         unused_0[4];
+       uint8_t unused_0[4];
 } __rte_packed;
 
 /* hwrm_cfa_vfr_free_output (size:128b/16B) */
@@ -35492,16 +41565,15 @@ struct hwrm_cfa_vfr_free_output {
        uint8_t unused_0[7];
        /*
         * This field is used in Output records to indicate that the output
-        * is completely written to RAM.  This field should be read as '1'
+        * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
 
-
-
 /***************************************
  * hwrm_cfa_redirect_query_tunnel_type *
  ***************************************/
@@ -35584,7 +41656,10 @@ struct hwrm_cfa_redirect_query_tunnel_type_output {
        /* IPV4 over virtual eXtensible Local Area Network (IPV4oVXLAN) */
        #define HWRM_CFA_REDIRECT_QUERY_TUNNEL_TYPE_OUTPUT_TUNNEL_MASK_VXLAN_V4 \
                UINT32_C(0x200)
-       /* Enhance Generic Routing Encapsulation (GRE version 1) inside IP datagram payload */
+       /*
+        * Enhance Generic Routing Encapsulation (GRE version 1) inside IP
+        * datagram payload
+        */
        #define HWRM_CFA_REDIRECT_QUERY_TUNNEL_TYPE_OUTPUT_TUNNEL_MASK_IPGRE_V1 \
                UINT32_C(0x400)
        /* Any tunneled traffic */
@@ -35593,7 +41668,10 @@ struct hwrm_cfa_redirect_query_tunnel_type_output {
        /* Use fixed layer 2 ether type of 0xFFFF */
        #define HWRM_CFA_REDIRECT_QUERY_TUNNEL_TYPE_OUTPUT_TUNNEL_MASK_L2_ETYPE \
                UINT32_C(0x1000)
-       /* IPV6 over virtual eXtensible Local Area Network with GPE header (IPV6oVXLANGPE) */
+       /*
+        * IPV6 over virtual eXtensible Local Area Network with GPE header
+        * (IPV6oVXLANGPE)
+        */
        #define HWRM_CFA_REDIRECT_QUERY_TUNNEL_TYPE_OUTPUT_TUNNEL_MASK_VXLAN_GPE_V6 \
                UINT32_C(0x2000)
        uint8_t unused_0[3];
@@ -35601,8 +41679,9 @@ struct hwrm_cfa_redirect_query_tunnel_type_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -35649,7 +41728,10 @@ struct hwrm_cfa_ctx_mem_rgtr_input {
        #define HWRM_CFA_CTX_MEM_RGTR_INPUT_PAGE_LEVEL_LVL_0 UINT32_C(0x0)
        /* PBL pointer points to PTE table. */
        #define HWRM_CFA_CTX_MEM_RGTR_INPUT_PAGE_LEVEL_LVL_1 UINT32_C(0x1)
-       /* PBL pointer points to PDE table with each entry pointing to PTE tables. */
+       /*
+        * PBL pointer points to PDE table with each entry pointing to PTE
+        * tables.
+        */
        #define HWRM_CFA_CTX_MEM_RGTR_INPUT_PAGE_LEVEL_LVL_2 UINT32_C(0x2)
        #define HWRM_CFA_CTX_MEM_RGTR_INPUT_PAGE_LEVEL_LAST \
                HWRM_CFA_CTX_MEM_RGTR_INPUT_PAGE_LEVEL_LVL_2
@@ -35689,8 +41771,8 @@ struct hwrm_cfa_ctx_mem_rgtr_output {
        /* The length of the response data in number of bytes. */
        uint16_t        resp_len;
        /*
-        * Id/Handle to the recently register context memory. This handle is passed
-        * to the CFA feature.
+        * Id/Handle to the recently register context memory. This handle is
+        * passed to the CFA feature.
         */
        uint16_t        ctx_id;
        uint8_t unused_0[5];
@@ -35698,8 +41780,9 @@ struct hwrm_cfa_ctx_mem_rgtr_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -35739,16 +41822,241 @@ struct hwrm_cfa_ctx_mem_unrgtr_input {
         * point to a physically contiguous block of memory.
         */
        uint64_t        resp_addr;
-       /*
-        * Id/Handle to the recently register context memory. This handle is passed
-        * to the CFA feature.
-        */
-       uint16_t        ctx_id;
-       uint8_t unused_0[6];
+       /*
+        * Id/Handle to the recently register context memory. This handle is
+        * passed to the CFA feature.
+        */
+       uint16_t        ctx_id;
+       uint8_t unused_0[6];
+} __rte_packed;
+
+/* hwrm_cfa_ctx_mem_unrgtr_output (size:128b/16B) */
+struct hwrm_cfa_ctx_mem_unrgtr_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       uint8_t unused_0[7];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM. This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
+/*************************
+ * hwrm_cfa_ctx_mem_qctx *
+ *************************/
+
+
+/* hwrm_cfa_ctx_mem_qctx_input (size:192b/24B) */
+struct hwrm_cfa_ctx_mem_qctx_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       /*
+        * Id/Handle to the recently register context memory. This handle is
+        * passed to the CFA feature.
+        */
+       uint16_t        ctx_id;
+       uint8_t unused_0[6];
+} __rte_packed;
+
+/* hwrm_cfa_ctx_mem_qctx_output (size:256b/32B) */
+struct hwrm_cfa_ctx_mem_qctx_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       uint16_t        flags;
+       /* Counter PBL indirect levels. */
+       uint8_t page_level;
+       /* PBL pointer is physical start address. */
+       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_LEVEL_LVL_0 UINT32_C(0x0)
+       /* PBL pointer points to PTE table. */
+       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_LEVEL_LVL_1 UINT32_C(0x1)
+       /*
+        * PBL pointer points to PDE table with each entry pointing to PTE
+        * tables.
+        */
+       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_LEVEL_LVL_2 UINT32_C(0x2)
+       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_LEVEL_LAST \
+               HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_LEVEL_LVL_2
+       /* Page size. */
+       uint8_t page_size;
+       /* 4KB page size. */
+       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_4K   UINT32_C(0x0)
+       /* 8KB page size. */
+       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_8K   UINT32_C(0x1)
+       /* 64KB page size. */
+       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_64K  UINT32_C(0x4)
+       /* 256KB page size. */
+       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_256K UINT32_C(0x6)
+       /* 1MB page size. */
+       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_1M   UINT32_C(0x8)
+       /* 2MB page size. */
+       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_2M   UINT32_C(0x9)
+       /* 4MB page size. */
+       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_4M   UINT32_C(0xa)
+       /* 1GB page size. */
+       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_1G   UINT32_C(0x12)
+       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_LAST \
+               HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_1G
+       uint8_t unused_0[4];
+       /* Pointer to the PBL, or PDL depending on number of levels */
+       uint64_t        page_dir;
+       uint8_t unused_1[7];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM. This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
+/**************************
+ * hwrm_cfa_ctx_mem_qcaps *
+ **************************/
+
+
+/* hwrm_cfa_ctx_mem_qcaps_input (size:128b/16B) */
+struct hwrm_cfa_ctx_mem_qcaps_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+} __rte_packed;
+
+/* hwrm_cfa_ctx_mem_qcaps_output (size:128b/16B) */
+struct hwrm_cfa_ctx_mem_qcaps_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       /*
+        * Indicates the maximum number of context memory which can be
+        * registered.
+        */
+       uint16_t        max_entries;
+       uint8_t unused_0[5];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM. This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
+/**************************
+ * hwrm_cfa_counter_qcaps *
+ **************************/
+
+
+/* hwrm_cfa_counter_qcaps_input (size:128b/16B) */
+struct hwrm_cfa_counter_qcaps_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
 } __rte_packed;
 
-/* hwrm_cfa_ctx_mem_unrgtr_output (size:128b/16B) */
-struct hwrm_cfa_ctx_mem_unrgtr_output {
+/* hwrm_cfa_counter_qcaps_output (size:576b/72B) */
+struct hwrm_cfa_counter_qcaps_output {
        /* The specific error status for the command. */
        uint16_t        error_code;
        /* The HWRM command request type. */
@@ -35757,24 +42065,103 @@ struct hwrm_cfa_ctx_mem_unrgtr_output {
        uint16_t        seq_id;
        /* The length of the response data in number of bytes. */
        uint16_t        resp_len;
-       uint8_t unused_0[7];
+       uint32_t        flags;
+       /* Enumeration denoting the supported CFA counter format. */
+       #define HWRM_CFA_COUNTER_QCAPS_OUTPUT_FLAGS_COUNTER_FORMAT \
+               UINT32_C(0x1)
+       /* CFA counter types are not supported. */
+       #define HWRM_CFA_COUNTER_QCAPS_OUTPUT_FLAGS_COUNTER_FORMAT_NONE \
+               UINT32_C(0x0)
+       /* 64-bit packet counters followed by 64-bit byte counters format. */
+       #define HWRM_CFA_COUNTER_QCAPS_OUTPUT_FLAGS_COUNTER_FORMAT_64_BIT \
+               UINT32_C(0x1)
+       #define HWRM_CFA_COUNTER_QCAPS_OUTPUT_FLAGS_COUNTER_FORMAT_LAST \
+               HWRM_CFA_COUNTER_QCAPS_OUTPUT_FLAGS_COUNTER_FORMAT_64_BIT
+       uint32_t        unused_0;
+       /*
+        * Minimum guaranteed number of flow counters supported for this
+        * function, in RX direction.
+        */
+       uint32_t        min_rx_fc;
+       /*
+        * Maximum non-guaranteed number of flow counters supported for this
+        * function, in RX direction.
+        */
+       uint32_t        max_rx_fc;
+       /*
+        * Minimum guaranteed number of flow counters supported for this
+        * function, in TX direction.
+        */
+       uint32_t        min_tx_fc;
+       /*
+        * Maximum non-guaranteed number of flow counters supported for this
+        * function, in TX direction.
+        */
+       uint32_t        max_tx_fc;
+       /*
+        * Minimum guaranteed number of extension flow counters supported for
+        * this function, in RX direction.
+        */
+       uint32_t        min_rx_efc;
+       /*
+        * Maximum non-guaranteed number of extension flow counters supported
+        * for this function, in RX direction.
+        */
+       uint32_t        max_rx_efc;
+       /*
+        * Minimum guaranteed number of extension flow counters supported for
+        * this function, in TX direction.
+        */
+       uint32_t        min_tx_efc;
+       /*
+        * Maximum non-guaranteed number of extension flow counters supported
+        * for this function, in TX direction.
+        */
+       uint32_t        max_tx_efc;
+       /*
+        * Minimum guaranteed number of meter drop counters supported for
+        * this function, in RX direction.
+        */
+       uint32_t        min_rx_mdc;
+       /*
+        * Maximum non-guaranteed number of meter drop counters supported for
+        * this function, in RX direction.
+        */
+       uint32_t        max_rx_mdc;
+       /*
+        * Minimum guaranteed number of meter drop counters supported for this
+        * function, in TX direction.
+        */
+       uint32_t        min_tx_mdc;
+       /*
+        * Maximum non-guaranteed number of meter drop counters supported for
+        * this function, in TX direction.
+        */
+       uint32_t        max_tx_mdc;
+       /*
+        * Maximum guaranteed number of flow counters which can be used during
+        * flow alloc.
+        */
+       uint32_t        max_flow_alloc_fc;
+       uint8_t unused_1[3];
        /*
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
 
-/*************************
- * hwrm_cfa_ctx_mem_qctx *
- *************************/
+/************************
+ * hwrm_cfa_counter_cfg *
+ ************************/
 
 
-/* hwrm_cfa_ctx_mem_qctx_input (size:192b/24B) */
-struct hwrm_cfa_ctx_mem_qctx_input {
+/* hwrm_cfa_counter_cfg_input (size:256b/32B) */
+struct hwrm_cfa_counter_cfg_input {
        /* The HWRM command request type. */
        uint16_t        req_type;
        /*
@@ -35803,16 +42190,64 @@ struct hwrm_cfa_ctx_mem_qctx_input {
         * point to a physically contiguous block of memory.
         */
        uint64_t        resp_addr;
-       /*
-        * Id/Handle to the recently register context memory. This handle is passed
-        * to the CFA feature.
-        */
+       uint16_t        flags;
+       /* Enumeration denoting the configuration mode. */
+       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_CFG_MODE \
+               UINT32_C(0x1)
+       /* Disable the configuration mode. */
+       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_CFG_MODE_DISABLE \
+               UINT32_C(0x0)
+       /* Enable the configuration mode. */
+       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_CFG_MODE_ENABLE \
+               UINT32_C(0x1)
+       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_CFG_MODE_LAST \
+               HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_CFG_MODE_ENABLE
+       /* Enumeration denoting the RX, TX type of the resource. */
+       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_PATH \
+               UINT32_C(0x2)
+       /* Tx path. */
+       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_PATH_TX \
+               (UINT32_C(0x0) << 1)
+       /* Rx path. */
+       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_PATH_RX \
+               (UINT32_C(0x1) << 1)
+       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_PATH_LAST \
+               HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_PATH_RX
+       /* Enumeration denoting the data transfer mode. */
+       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_DATA_TRANSFER_MODE_MASK \
+               UINT32_C(0xc)
+       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_DATA_TRANSFER_MODE_SFT       2
+       /* Push mode. */
+       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_DATA_TRANSFER_MODE_PUSH \
+               (UINT32_C(0x0) << 2)
+       /* Pull mode. */
+       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_DATA_TRANSFER_MODE_PULL \
+               (UINT32_C(0x1) << 2)
+       /* Pull on async update. */
+       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_DATA_TRANSFER_MODE_PULL_ASYNC \
+               (UINT32_C(0x2) << 2)
+       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_DATA_TRANSFER_MODE_LAST \
+               HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_DATA_TRANSFER_MODE_PULL_ASYNC
+       uint16_t        counter_type;
+       /* Flow counters. */
+       #define HWRM_CFA_COUNTER_CFG_INPUT_COUNTER_TYPE_FC  UINT32_C(0x0)
+       /* Extended flow counters. */
+       #define HWRM_CFA_COUNTER_CFG_INPUT_COUNTER_TYPE_EFC UINT32_C(0x1)
+       /* Meter drop counters. */
+       #define HWRM_CFA_COUNTER_CFG_INPUT_COUNTER_TYPE_MDC UINT32_C(0x2)
+       #define HWRM_CFA_COUNTER_CFG_INPUT_COUNTER_TYPE_LAST \
+               HWRM_CFA_COUNTER_CFG_INPUT_COUNTER_TYPE_MDC
+       /* Ctx memory handle to be used for the counter. */
        uint16_t        ctx_id;
-       uint8_t unused_0[6];
+       /* Counter update cadence hint (only in Push mode). */
+       uint16_t        update_tmr_ms;
+       /* Total number of entries. */
+       uint32_t        num_entries;
+       uint32_t        unused_0;
 } __rte_packed;
 
-/* hwrm_cfa_ctx_mem_qctx_output (size:256b/32B) */
-struct hwrm_cfa_ctx_mem_qctx_output {
+/* hwrm_cfa_counter_cfg_output (size:128b/16B) */
+struct hwrm_cfa_counter_cfg_output {
        /* The specific error status for the command. */
        uint16_t        error_code;
        /* The HWRM command request type. */
@@ -35821,58 +42256,25 @@ struct hwrm_cfa_ctx_mem_qctx_output {
        uint16_t        seq_id;
        /* The length of the response data in number of bytes. */
        uint16_t        resp_len;
-       uint16_t        flags;
-       /* Counter PBL indirect levels. */
-       uint8_t page_level;
-       /* PBL pointer is physical start address. */
-       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_LEVEL_LVL_0 UINT32_C(0x0)
-       /* PBL pointer points to PTE table. */
-       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_LEVEL_LVL_1 UINT32_C(0x1)
-       /* PBL pointer points to PDE table with each entry pointing to PTE tables. */
-       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_LEVEL_LVL_2 UINT32_C(0x2)
-       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_LEVEL_LAST \
-               HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_LEVEL_LVL_2
-       /* Page size. */
-       uint8_t page_size;
-       /* 4KB page size. */
-       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_4K   UINT32_C(0x0)
-       /* 8KB page size. */
-       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_8K   UINT32_C(0x1)
-       /* 64KB page size. */
-       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_64K  UINT32_C(0x4)
-       /* 256KB page size. */
-       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_256K UINT32_C(0x6)
-       /* 1MB page size. */
-       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_1M   UINT32_C(0x8)
-       /* 2MB page size. */
-       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_2M   UINT32_C(0x9)
-       /* 4MB page size. */
-       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_4M   UINT32_C(0xa)
-       /* 1GB page size. */
-       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_1G   UINT32_C(0x12)
-       #define HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_LAST \
-               HWRM_CFA_CTX_MEM_QCTX_OUTPUT_PAGE_SIZE_1G
-       uint8_t unused_0[4];
-       /* Pointer to the PBL, or PDL depending on number of levels */
-       uint64_t        page_dir;
-       uint8_t unused_1[7];
+       uint8_t unused_0[7];
        /*
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
 
-/**************************
- * hwrm_cfa_ctx_mem_qcaps *
- **************************/
+/***************************
+ * hwrm_cfa_counter_qstats *
+ ***************************/
 
 
-/* hwrm_cfa_ctx_mem_qcaps_input (size:128b/16B) */
-struct hwrm_cfa_ctx_mem_qcaps_input {
+/* hwrm_cfa_counter_qstats_input (size:320b/40B) */
+struct hwrm_cfa_counter_qstats_input {
        /* The HWRM command request type. */
        uint16_t        req_type;
        /*
@@ -35901,10 +42303,27 @@ struct hwrm_cfa_ctx_mem_qcaps_input {
         * point to a physically contiguous block of memory.
         */
        uint64_t        resp_addr;
+       uint16_t        flags;
+       /* Enumeration denoting the RX, TX type of the resource. */
+       #define HWRM_CFA_COUNTER_QSTATS_INPUT_FLAGS_PATH     UINT32_C(0x1)
+       /* Tx path. */
+       #define HWRM_CFA_COUNTER_QSTATS_INPUT_FLAGS_PATH_TX    UINT32_C(0x0)
+       /* Rx path. */
+       #define HWRM_CFA_COUNTER_QSTATS_INPUT_FLAGS_PATH_RX    UINT32_C(0x1)
+       #define HWRM_CFA_COUNTER_QSTATS_INPUT_FLAGS_PATH_LAST \
+               HWRM_CFA_COUNTER_QSTATS_INPUT_FLAGS_PATH_RX
+       uint16_t        counter_type;
+       uint16_t        input_flow_ctx_id;
+       uint16_t        num_entries;
+       uint16_t        delta_time_ms;
+       uint16_t        meter_instance_id;
+       uint16_t        mdc_ctx_id;
+       uint8_t unused_0[2];
+       uint64_t        expected_count;
 } __rte_packed;
 
-/* hwrm_cfa_ctx_mem_qcaps_output (size:128b/16B) */
-struct hwrm_cfa_ctx_mem_qcaps_output {
+/* hwrm_cfa_counter_qstats_output (size:128b/16B) */
+struct hwrm_cfa_counter_qstats_output {
        /* The specific error status for the command. */
        uint16_t        error_code;
        /* The HWRM command request type. */
@@ -35913,15 +42332,14 @@ struct hwrm_cfa_ctx_mem_qcaps_output {
        uint16_t        seq_id;
        /* The length of the response data in number of bytes. */
        uint16_t        resp_len;
-       /* Indicates the maximum number of context memory which can be registered. */
-       uint16_t        max_entries;
-       uint8_t unused_0[5];
+       uint8_t unused_0[7];
        /*
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -36008,14 +42426,14 @@ struct hwrm_cfa_eem_qcaps_output {
        #define HWRM_CFA_EEM_QCAPS_OUTPUT_FLAGS_PATH_RX \
                UINT32_C(0x2)
        /*
-        * When set to 1, indicates the the FW supports the Centralized
+        * When set to 1, indicates the FW supports the Centralized
         * Memory Model. The concept designates one entity for the
         * memory allocation while all others â€˜subscribe’ to it.
         */
        #define HWRM_CFA_EEM_QCAPS_OUTPUT_FLAGS_CENTRALIZED_MEMORY_MODEL_SUPPORTED \
                UINT32_C(0x4)
        /*
-        * When set to 1, indicates the the FW supports the Detached
+        * When set to 1, indicates the FW supports the Detached
         * Centralized Memory Model. The memory is allocated and managed
         * as a separate entity. All PFs and VFs will be granted direct
         * or semi-direct access to the allocated memory while none of
@@ -36051,17 +42469,21 @@ struct hwrm_cfa_eem_qcaps_output {
        #define HWRM_CFA_EEM_QCAPS_OUTPUT_SUPPORTED_EXTERNAL_FLOW_COUNTERS_TABLE \
                UINT32_C(0x8)
        /*
-        * If set to 1, then FID table used for implicit flow flush is supported.
-        * If set to 0, then FID table used for implicit flow flush is not supported.
+        * If set to 1, then FID table used for implicit flow flush is
+        * supported.
+        * If set to 0, then FID table used for implicit flow flush is
+        * not supported.
         */
        #define HWRM_CFA_EEM_QCAPS_OUTPUT_SUPPORTED_FID_TABLE \
                UINT32_C(0x10)
        /*
-        * The maximum number of entries supported by EEM. When configuring the host memory
-        * the number of numbers of entries that can supported are -
-        *      32k, 64k 128k, 256k, 512k, 1M, 2M, 4M, 8M, 32M, 64M, 128M entries.
-        * Any value that are not these values, the FW will round down to the closest support
-        * number of entries.
+        * The maximum number of entries supported by EEM. When configuring
+        * the host memory, the number of numbers of entries that can
+        * supported are:
+        *     32k, 64k 128k, 256k, 512k, 1M, 2M, 4M, 8M, 32M, 64M, 128M
+        *     entries.
+        * Any value that are not these values, the FW will round down to the
+        * closest support number of entries.
         */
        uint32_t        max_entries_supported;
        /* The entry size in bytes of each entry in the EEM KEY0/KEY1 tables. */
@@ -36077,8 +42499,9 @@ struct hwrm_cfa_eem_qcaps_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -36146,9 +42569,10 @@ struct hwrm_cfa_eem_cfg_input {
        uint16_t        group_id;
        uint16_t        unused_0;
        /*
-        * Configured EEM with the given number of entries. All the EEM tables KEY0, KEY1,
-        * RECORD, EFC all have the same number of entries and all tables will be configured
-        * using this value. Current minimum value is 32k. Current maximum value is 128M.
+        * Configured EEM with the given number of entries. All the EEM tables
+        * KEY0, KEY1, RECORD, EFC all have the same number of entries and all
+        * tables will be configured using this value. Current minimum value
+        * is 32k. Current maximum value is 128M.
         */
        uint32_t        num_entries;
        uint32_t        unused_1;
@@ -36181,8 +42605,9 @@ struct hwrm_cfa_eem_cfg_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -36267,8 +42692,9 @@ struct hwrm_cfa_eem_qcfg_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -36364,8 +42790,9 @@ struct hwrm_cfa_eem_op_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -36432,24 +42859,26 @@ struct hwrm_cfa_adv_flow_mgnt_qcaps_output {
        #define HWRM_CFA_ADV_FLOW_MGNT_QCAPS_OUTPUT_FLAGS_FLOW_HND_64BIT_SUPPORTED \
                UINT32_C(0x2)
        /*
-        * Value of 1 to indicate firmware support flow batch delete operation through
-        * HWRM_CFA_FLOW_FLUSH command.
-        * Value of 0 to indicate that the firmware does not support flow batch delete
-        * operation.
+        * Value of 1 to indicate firmware support flow batch delete
+        * operation through HWRM_CFA_FLOW_FLUSH command.
+        * Value of 0 to indicate that the firmware does not support flow
+        * batch delete operation.
         */
        #define HWRM_CFA_ADV_FLOW_MGNT_QCAPS_OUTPUT_FLAGS_FLOW_BATCH_DELETE_SUPPORTED \
                UINT32_C(0x4)
        /*
-        * Value of 1 to indicate that the firmware support flow reset all operation through
-        * HWRM_CFA_FLOW_FLUSH command.
-        * Value of 0 indicates firmware does not support flow reset all operation.
+        * Value of 1 to indicate that the firmware support flow reset all
+        * operation through HWRM_CFA_FLOW_FLUSH command.
+        * Value of 0 indicates firmware does not support flow reset all
+        * operation.
         */
        #define HWRM_CFA_ADV_FLOW_MGNT_QCAPS_OUTPUT_FLAGS_FLOW_RESET_ALL_SUPPORTED \
                UINT32_C(0x8)
        /*
-        * Value of 1 to indicate that firmware supports use of FID as dest_id in
-        * HWRM_CFA_NTUPLE_ALLOC/CFG commands.
-        * Value of 0 indicates firmware does not support use of FID as dest_id.
+        * Value of 1 to indicate that firmware supports use of FID as
+        * dest_id in HWRM_CFA_NTUPLE_ALLOC/CFG commands.
+        * Value of 0 indicates firmware does not support use of FID as
+        * dest_id.
         */
        #define HWRM_CFA_ADV_FLOW_MGNT_QCAPS_OUTPUT_FLAGS_NTUPLE_FLOW_DEST_FUNC_SUPPORTED \
                UINT32_C(0x10)
@@ -36466,10 +42895,10 @@ struct hwrm_cfa_adv_flow_mgnt_qcaps_output {
        #define HWRM_CFA_ADV_FLOW_MGNT_QCAPS_OUTPUT_FLAGS_RX_EEM_FLOW_SUPPORTED \
                UINT32_C(0x40)
        /*
-        * Value of 1 to indicate that firmware supports the dynamic allocation of an
-        * on-chip flow counter which can be used for EEM flows.
-        * Value of 0 indicates firmware does not support the dynamic allocation of an
-        * on-chip flow counter.
+        * Value of 1 to indicate that firmware supports the dynamic
+        * allocation of an on-chip flow counter which can be used for EEM
+        * flows. Value of 0 indicates firmware does not support the dynamic
+        * allocation of an on-chip flow counter.
         */
        #define HWRM_CFA_ADV_FLOW_MGNT_QCAPS_OUTPUT_FLAGS_FLOW_COUNTER_ALLOC_SUPPORTED \
                UINT32_C(0x80)
@@ -36525,13 +42954,34 @@ struct hwrm_cfa_adv_flow_mgnt_qcaps_output {
         */
        #define HWRM_CFA_ADV_FLOW_MGNT_QCAPS_OUTPUT_FLAGS_NTUPLE_FLOW_RX_ETHERTYPE_IP_SUPPORTED \
                UINT32_C(0x4000)
+       /*
+        * When this bit is '1', it indicates that core firmware is
+        * capable of TruFlow. Driver can restrict sending HWRM CFA_FLOW_XXX
+        * and CFA_ENCAP_XXX, CFA_DECAP_XXX commands.
+        */
+       #define HWRM_CFA_ADV_FLOW_MGNT_QCAPS_OUTPUT_FLAGS_TRUFLOW_CAPABLE \
+               UINT32_C(0x8000)
+       /*
+        * If set to 1, firmware is capable of supporting L2/ROCE as
+        * traffic type in flags field of HWRM_CFA_L2_FILTER_ALLOC command.
+        * By default, this flag should be 0 for older version of firmware.
+        */
+       #define HWRM_CFA_ADV_FLOW_MGNT_QCAPS_OUTPUT_FLAGS_L2_FILTER_TRAFFIC_TYPE_L2_ROCE_SUPPORTED \
+               UINT32_C(0x10000)
+       /*
+        * If set to 1, firmware is capable of HW LAG. This bit is only
+        * advertised if the calling function is a PAXC function.
+        */
+       #define HWRM_CFA_ADV_FLOW_MGNT_QCAPS_OUTPUT_FLAGS_LAG_SUPPORTED \
+               UINT32_C(0x20000)
        uint8_t unused_0[3];
        /*
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -36605,8 +43055,9 @@ struct hwrm_cfa_tflib_output {
         * This field is used in Output records to indicate that the output
         * is completely written to RAM. This field should be read as '1'
         * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
         */
        uint8_t valid;
 } __rte_packed;
@@ -36812,8 +43263,24 @@ struct hwrm_tf_session_open_output {
         * the newly created session.
         */
        uint32_t        fw_session_client_id;
-       /* unused. */
-       uint32_t        unused0;
+       uint32_t        flags;
+       /* Indicates if the shared session has been created. */
+       #define HWRM_TF_SESSION_OPEN_OUTPUT_FLAGS_SHARED_SESSION \
+               UINT32_C(0x1)
+       /*
+        * If this bit set to 0, then it indicates the shared session
+        * has been created by another session.
+        */
+       #define HWRM_TF_SESSION_OPEN_OUTPUT_FLAGS_SHARED_SESSION_NOT_CREATOR \
+               UINT32_C(0x0)
+       /*
+        * If this bit is set to 1, then it indicates the shared session
+        * is created by this session.
+        */
+       #define HWRM_TF_SESSION_OPEN_OUTPUT_FLAGS_SHARED_SESSION_CREATOR \
+               UINT32_C(0x1)
+       #define HWRM_TF_SESSION_OPEN_OUTPUT_FLAGS_SHARED_SESSION_LAST \
+               HWRM_TF_SESSION_OPEN_OUTPUT_FLAGS_SHARED_SESSION_CREATOR
        /* unused. */
        uint8_t unused1[3];
        /*
@@ -37617,6 +44084,105 @@ struct hwrm_tf_session_resc_flush_output {
        uint8_t valid;
 } __rte_packed;
 
+/*****************************
+ * hwrm_tf_session_resc_info *
+ *****************************/
+
+
+/* hwrm_tf_session_resc_info_input (size:320b/40B) */
+struct hwrm_tf_session_resc_info_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       /* Firmware session id returned when HWRM_TF_SESSION_OPEN is sent. */
+       uint32_t        fw_session_id;
+       /* Control flags. */
+       uint16_t        flags;
+       /* Indicates the flow direction. */
+       #define HWRM_TF_SESSION_RESC_INFO_INPUT_FLAGS_DIR     UINT32_C(0x1)
+       /* If this bit set to 0, then it indicates rx flow. */
+       #define HWRM_TF_SESSION_RESC_INFO_INPUT_FLAGS_DIR_RX    UINT32_C(0x0)
+       /* If this bit is set to 1, then it indicates tx flow. */
+       #define HWRM_TF_SESSION_RESC_INFO_INPUT_FLAGS_DIR_TX    UINT32_C(0x1)
+       #define HWRM_TF_SESSION_RESC_INFO_INPUT_FLAGS_DIR_LAST \
+               HWRM_TF_SESSION_RESC_INFO_INPUT_FLAGS_DIR_TX
+       /*
+        * Defines the array size of the provided req_addr and
+        * resv_addr array buffers. Should be set to the number of
+        * request entries.
+        */
+       uint16_t        req_size;
+       /*
+        * This is the DMA address for the request input data array
+        * buffer. Array is of tf_rm_resc_req_entry type. Size of the
+        * array buffer is provided by the 'req_size' field in this
+        * message.
+        */
+       uint64_t        req_addr;
+       /*
+        * This is the DMA address for the resc output data array
+        * buffer. Array is of tf_rm_resc_entry type. Size of the array
+        * buffer is provided by the 'req_size' field in this
+        * message.
+        */
+       uint64_t        resc_addr;
+} __rte_packed;
+
+/* hwrm_tf_session_resc_info_output (size:128b/16B) */
+struct hwrm_tf_session_resc_info_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       /*
+        * Size of the returned tf_rm_resc_entry data array. The value
+        * cannot exceed the req_size defined by the input msg. The data
+        * array is returned using the resv_addr specified DMA
+        * address also provided by the input msg.
+        */
+       uint16_t        size;
+       /* unused. */
+       uint8_t unused0[5];
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM. This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field is
+        * written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
 /* TruFlow RM capability of a resource. */
 /* tf_rm_resc_req_entry (size:64b/8B) */
 struct tf_rm_resc_req_entry {
@@ -37815,6 +44381,222 @@ struct hwrm_tf_tbl_type_set_output {
        uint8_t valid;
 } __rte_packed;
 
+/**************************
+ * hwrm_tf_ctxt_mem_alloc *
+ **************************/
+
+
+/* hwrm_tf_ctxt_mem_alloc_input (size:192b/24B) */
+struct hwrm_tf_ctxt_mem_alloc_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       /* Size in KB of memory to be allocated. */
+       uint32_t        mem_size;
+       /* Firmware session id returned when HWRM_TF_SESSION_OPEN is sent. */
+       uint32_t        fw_session_id;
+} __rte_packed;
+
+/* hwrm_tf_ctxt_mem_alloc_output (size:192b/24B) */
+struct hwrm_tf_ctxt_mem_alloc_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       /* Pointer to the PBL, or PDL depending on number of levels */
+       uint64_t        page_dir;
+       /* Size of memory allocated. */
+       uint32_t        mem_size;
+       /* Counter PBL indirect levels. */
+       uint8_t page_level;
+       /* PBL pointer is physical start address. */
+       #define HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_LEVEL_LVL_0 UINT32_C(0x0)
+       /* PBL pointer points to PTE table. */
+       #define HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_LEVEL_LVL_1 UINT32_C(0x1)
+       /*
+        * PBL pointer points to PDE table with each entry pointing
+        * to PTE tables.
+        */
+       #define HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_LEVEL_LVL_2 UINT32_C(0x2)
+       #define HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_LEVEL_LAST \
+               HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_LEVEL_LVL_2
+       /* Page size. */
+       uint8_t page_size;
+       /* 4KB page size. */
+       #define HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_SIZE_4K   UINT32_C(0x0)
+       /* 8KB page size. */
+       #define HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_SIZE_8K   UINT32_C(0x1)
+       /* 64KB page size. */
+       #define HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_SIZE_64K  UINT32_C(0x4)
+       /* 128KB page size. */
+       #define HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_SIZE_128K UINT32_C(0x5)
+       /* 256KB page size. */
+       #define HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_SIZE_256K UINT32_C(0x6)
+       /* 512KB page size. */
+       #define HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_SIZE_512K UINT32_C(0x7)
+       /* 1MB page size. */
+       #define HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_SIZE_1M   UINT32_C(0x8)
+       /* 2MB page size. */
+       #define HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_SIZE_2M   UINT32_C(0x9)
+       /* 4MB page size. */
+       #define HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_SIZE_4M   UINT32_C(0xa)
+       /* 8MB page size. */
+       #define HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_SIZE_8M   UINT32_C(0xb)
+       /* 1GB page size. */
+       #define HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_SIZE_1G   UINT32_C(0x12)
+       #define HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_SIZE_LAST \
+               HWRM_TF_CTXT_MEM_ALLOC_OUTPUT_PAGE_SIZE_1G
+       /* unused. */
+       uint8_t unused0;
+       /*
+        * This field is used in Output records to indicate that the
+        * output is completely written to RAM. This field should be
+        * read as '1' to indicate that the output has been
+        * completely written.  When writing a command completion or
+        * response to an internal processor, the order of writes has
+        * to be such that this field is written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
+/*************************
+ * hwrm_tf_ctxt_mem_free *
+ *************************/
+
+
+/* hwrm_tf_ctxt_mem_free_input (size:320b/40B) */
+struct hwrm_tf_ctxt_mem_free_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       /* Firmware session id returned when HWRM_TF_SESSION_OPEN is sent. */
+       uint32_t        fw_session_id;
+       /* Counter PBL indirect levels. */
+       uint8_t page_level;
+       /* PBL pointer is physical start address. */
+       #define HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_LEVEL_LVL_0 UINT32_C(0x0)
+       /* PBL pointer points to PTE table. */
+       #define HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_LEVEL_LVL_1 UINT32_C(0x1)
+       /*
+        * PBL pointer points to PDE table with each entry pointing
+        * to PTE tables.
+        */
+       #define HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_LEVEL_LVL_2 UINT32_C(0x2)
+       #define HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_LEVEL_LAST \
+               HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_LEVEL_LVL_2
+       /* Page size. */
+       uint8_t page_size;
+       /* 4KB page size. */
+       #define HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_SIZE_4K   UINT32_C(0x0)
+       /* 8KB page size. */
+       #define HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_SIZE_8K   UINT32_C(0x1)
+       /* 64KB page size. */
+       #define HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_SIZE_64K  UINT32_C(0x4)
+       /* 128KB page size. */
+       #define HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_SIZE_128K UINT32_C(0x5)
+       /* 256KB page size. */
+       #define HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_SIZE_256K UINT32_C(0x6)
+       /* 512KB page size. */
+       #define HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_SIZE_512K UINT32_C(0x7)
+       /* 1MB page size. */
+       #define HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_SIZE_1M   UINT32_C(0x8)
+       /* 2MB page size. */
+       #define HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_SIZE_2M   UINT32_C(0x9)
+       /* 4MB page size. */
+       #define HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_SIZE_4M   UINT32_C(0xa)
+       /* 8MB page size. */
+       #define HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_SIZE_8M   UINT32_C(0xb)
+       /* 1GB page size. */
+       #define HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_SIZE_1G   UINT32_C(0x12)
+       #define HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_SIZE_LAST \
+               HWRM_TF_CTXT_MEM_FREE_INPUT_PAGE_SIZE_1G
+       /* unused. */
+       uint8_t unused0[2];
+       /* Pointer to the PBL, or PDL depending on number of levels */
+       uint64_t        page_dir;
+       /* Size of memory allocated. */
+       uint32_t        mem_size;
+       /* unused. */
+       uint8_t unused1[4];
+} __rte_packed;
+
+/* hwrm_tf_ctxt_mem_free_output (size:128b/16B) */
+struct hwrm_tf_ctxt_mem_free_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       /* unused. */
+       uint8_t unused0[7];
+       /*
+        * This field is used in Output records to indicate that the
+        * output is completely written to RAM. This field should be
+        * read as '1' to indicate that the output has been
+        * completely written.  When writing a command completion or
+        * response to an internal processor, the order of writes has
+        * to be such that this field is written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
 /*************************
  * hwrm_tf_ctxt_mem_rgtr *
  *************************/
@@ -37873,20 +44655,26 @@ struct hwrm_tf_ctxt_mem_rgtr_input {
        #define HWRM_TF_CTXT_MEM_RGTR_INPUT_PAGE_SIZE_8K   UINT32_C(0x1)
        /* 64KB page size. */
        #define HWRM_TF_CTXT_MEM_RGTR_INPUT_PAGE_SIZE_64K  UINT32_C(0x4)
+       /* 128KB page size. */
+       #define HWRM_TF_CTXT_MEM_RGTR_INPUT_PAGE_SIZE_128K UINT32_C(0x5)
        /* 256KB page size. */
        #define HWRM_TF_CTXT_MEM_RGTR_INPUT_PAGE_SIZE_256K UINT32_C(0x6)
+       /* 512KB page size. */
+       #define HWRM_TF_CTXT_MEM_RGTR_INPUT_PAGE_SIZE_512K UINT32_C(0x7)
        /* 1MB page size. */
        #define HWRM_TF_CTXT_MEM_RGTR_INPUT_PAGE_SIZE_1M   UINT32_C(0x8)
        /* 2MB page size. */
        #define HWRM_TF_CTXT_MEM_RGTR_INPUT_PAGE_SIZE_2M   UINT32_C(0x9)
        /* 4MB page size. */
        #define HWRM_TF_CTXT_MEM_RGTR_INPUT_PAGE_SIZE_4M   UINT32_C(0xa)
+       /* 8MB page size. */
+       #define HWRM_TF_CTXT_MEM_RGTR_INPUT_PAGE_SIZE_8M   UINT32_C(0xb)
        /* 1GB page size. */
        #define HWRM_TF_CTXT_MEM_RGTR_INPUT_PAGE_SIZE_1G   UINT32_C(0x12)
        #define HWRM_TF_CTXT_MEM_RGTR_INPUT_PAGE_SIZE_LAST \
                HWRM_TF_CTXT_MEM_RGTR_INPUT_PAGE_SIZE_1G
-       /* unused. */
-       uint32_t        unused0;
+       /* Firmware session id returned when HWRM_TF_SESSION_OPEN is sent. */
+       uint32_t        fw_session_id;
        /* Pointer to the PBL, or PDL depending on number of levels */
        uint64_t        page_dir;
 } __rte_packed;
@@ -37960,7 +44748,9 @@ struct hwrm_tf_ctxt_mem_unrgtr_input {
         */
        uint16_t        ctx_id;
        /* unused. */
-       uint8_t unused0[6];
+       uint8_t unused0[2];
+       /* Firmware session id returned when HWRM_TF_SESSION_OPEN is sent. */
+       uint32_t        fw_session_id;
 } __rte_packed;
 
 /* hwrm_tf_ctxt_mem_unrgtr_output (size:128b/16B) */
@@ -38037,11 +44827,11 @@ struct hwrm_tf_ext_em_qcaps_input {
        /* When set to 1, all offloaded flows will be sent to EXT EM. */
        #define HWRM_TF_EXT_EM_QCAPS_INPUT_FLAGS_PREFERRED_OFFLOAD \
                UINT32_C(0x2)
-       /* unused. */
-       uint32_t        unused0;
+       /* Firmware session id returned when HWRM_TF_SESSION_OPEN is sent. */
+       uint32_t        fw_session_id;
 } __rte_packed;
 
-/* hwrm_tf_ext_em_qcaps_output (size:320b/40B) */
+/* hwrm_tf_ext_em_qcaps_output (size:384b/48B) */
 struct hwrm_tf_ext_em_qcaps_output {
        /* The specific error status for the command. */
        uint16_t        error_code;
@@ -38053,14 +44843,14 @@ struct hwrm_tf_ext_em_qcaps_output {
        uint16_t        resp_len;
        uint32_t        flags;
        /*
-        * When set to 1, indicates the the FW supports the Centralized
+        * When set to 1, indicates the FW supports the Centralized
         * Memory Model. The concept designates one entity for the
         * memory allocation while all others â€˜subscribe’ to it.
         */
        #define HWRM_TF_EXT_EM_QCAPS_OUTPUT_FLAGS_CENTRALIZED_MEMORY_MODEL_SUPPORTED \
                UINT32_C(0x1)
        /*
-        * When set to 1, indicates the the FW supports the Detached
+        * When set to 1, indicates the FW supports the Detached
         * Centralized Memory Model. The memory is allocated and managed
         * as a separate entity. All PFs and VFs will be granted direct
         * or semi-direct access to the allocated memory while none of
@@ -38068,6 +44858,12 @@ struct hwrm_tf_ext_em_qcaps_output {
         */
        #define HWRM_TF_EXT_EM_QCAPS_OUTPUT_FLAGS_DETACHED_CENTRALIZED_MEMORY_MODEL_SUPPORTED \
                UINT32_C(0x2)
+       /* When set to 1, indicates FW support for host based EEM memory. */
+       #define HWRM_TF_EXT_EM_QCAPS_OUTPUT_FLAGS_HOST_MEMORY_SUPPORTED \
+               UINT32_C(0x4)
+       /* When set to 1, indicates FW support for on-chip based EEM memory. */
+       #define HWRM_TF_EXT_EM_QCAPS_OUTPUT_FLAGS_FW_MEMORY_SUPPORTED \
+               UINT32_C(0x8)
        /* unused. */
        uint32_t        unused0;
        /* Support flags. */
@@ -38110,6 +44906,12 @@ struct hwrm_tf_ext_em_qcaps_output {
         */
        #define HWRM_TF_EXT_EM_QCAPS_OUTPUT_SUPPORTED_FID_TABLE \
                UINT32_C(0x10)
+       /*
+        * If set to 1, then table scopes are supported.
+        * If set to 0, then table scopes are not supported.
+        */
+       #define HWRM_TF_EXT_EM_QCAPS_OUTPUT_SUPPORTED_TBL_SCOPES \
+               UINT32_C(0x20)
        /*
         * The maximum number of entries supported by EXT EM. When
         * configuring the host memory the number of numbers of
@@ -38134,6 +44936,13 @@ struct hwrm_tf_ext_em_qcaps_output {
        uint16_t        efc_entry_size;
        /* The FID size in bytes of each entry in the EXT EM FID tables. */
        uint16_t        fid_entry_size;
+       /* Maximum number of ctxt mem allocations allowed. */
+       uint32_t        max_ctxt_mem_allocs;
+       /*
+        * Maximum number of static buckets that can be assigned to lookup
+        * table scopes.
+        */
+       uint32_t        max_static_buckets;
        /* unused. */
        uint8_t unused1[7];
        /*
@@ -38152,7 +44961,7 @@ struct hwrm_tf_ext_em_qcaps_output {
  *********************/
 
 
-/* hwrm_tf_ext_em_op_input (size:192b/24B) */
+/* hwrm_tf_ext_em_op_input (size:256b/32B) */
 struct hwrm_tf_ext_em_op_input {
        /* The HWRM command request type. */
        uint16_t        req_type;
@@ -38223,6 +45032,10 @@ struct hwrm_tf_ext_em_op_input {
                HWRM_TF_EXT_EM_OP_INPUT_OP_EXT_EM_CLEANUP
        /* unused. */
        uint16_t        unused1;
+       /* Firmware session id returned when HWRM_TF_SESSION_OPEN is sent. */
+       uint32_t        fw_session_id;
+       /* unused. */
+       uint32_t        unused2;
 } __rte_packed;
 
 /* hwrm_tf_ext_em_op_output (size:128b/16B) */
@@ -38253,7 +45066,7 @@ struct hwrm_tf_ext_em_op_output {
  **********************/
 
 
-/* hwrm_tf_ext_em_cfg_input (size:384b/48B) */
+/* hwrm_tf_ext_em_cfg_input (size:512b/64B) */
 struct hwrm_tf_ext_em_cfg_input {
        /* The HWRM command request type. */
        uint16_t        req_type;
@@ -38322,8 +45135,85 @@ struct hwrm_tf_ext_em_cfg_input {
         * maximum value is 128M.
         */
        uint32_t        num_entries;
-       /* unused. */
-       uint32_t        unused1;
+       uint32_t        enables;
+       /*
+        * This bit must be '1' for the group_id field to be
+        * configured.
+        */
+       #define HWRM_TF_EXT_EM_CFG_INPUT_ENABLES_GROUP_ID \
+               UINT32_C(0x1)
+       /*
+        * This bit must be '1' for the flush_interval field to be
+        * configured.
+        */
+       #define HWRM_TF_EXT_EM_CFG_INPUT_ENABLES_FLUSH_INTERVAL \
+               UINT32_C(0x2)
+       /*
+        * This bit must be '1' for the num_entries field to be
+        * configured.
+        */
+       #define HWRM_TF_EXT_EM_CFG_INPUT_ENABLES_NUM_ENTRIES \
+               UINT32_C(0x4)
+       /*
+        * This bit must be '1' for the key0_ctx_id field to be
+        * configured.
+        */
+       #define HWRM_TF_EXT_EM_CFG_INPUT_ENABLES_KEY0_CTX_ID \
+               UINT32_C(0x8)
+       /*
+        * This bit must be '1' for the key1_ctx_id field to be
+        * configured.
+        */
+       #define HWRM_TF_EXT_EM_CFG_INPUT_ENABLES_KEY1_CTX_ID \
+               UINT32_C(0x10)
+       /*
+        * This bit must be '1' for the record_ctx_id field to be
+        * configured.
+        */
+       #define HWRM_TF_EXT_EM_CFG_INPUT_ENABLES_RECORD_CTX_ID \
+               UINT32_C(0x20)
+       /*
+        * This bit must be '1' for the efc_ctx_id field to be
+        * configured.
+        */
+       #define HWRM_TF_EXT_EM_CFG_INPUT_ENABLES_EFC_CTX_ID \
+               UINT32_C(0x40)
+       /*
+        * This bit must be '1' for the fid_ctx_id field to be
+        * configured.
+        */
+       #define HWRM_TF_EXT_EM_CFG_INPUT_ENABLES_FID_CTX_ID \
+               UINT32_C(0x80)
+       /*
+        * This bit must be '1' for the action_ctx_id field to be
+        * configured.
+        */
+       #define HWRM_TF_EXT_EM_CFG_INPUT_ENABLES_ACTION_CTX_ID \
+               UINT32_C(0x100)
+       /*
+        * This bit must be '1' for the action_tbl_scope field to be
+        * configured.
+        */
+       #define HWRM_TF_EXT_EM_CFG_INPUT_ENABLES_ACTION_TBL_SCOPE \
+               UINT32_C(0x200)
+       /*
+        * This bit must be '1' for the lkup_ctx_id field to be
+        * configured.
+        */
+       #define HWRM_TF_EXT_EM_CFG_INPUT_ENABLES_LKUP_CTX_ID \
+               UINT32_C(0x400)
+       /*
+        * This bit must be '1' for the lkup_tbl_scope field to be
+        * configured.
+        */
+       #define HWRM_TF_EXT_EM_CFG_INPUT_ENABLES_LKUP_TBL_SCOPE \
+               UINT32_C(0x800)
+       /*
+        * This bit must be '1' for the lkup_static_buckets field to be
+        * configured.
+        */
+       #define HWRM_TF_EXT_EM_CFG_INPUT_ENABLES_LKUP_STATIC_BUCKETS \
+               UINT32_C(0x1000)
        /* Configured EXT EM with the given context if for KEY0 table. */
        uint16_t        key0_ctx_id;
        /* Configured EXT EM with the given context if for KEY1 table. */
@@ -38334,10 +45224,25 @@ struct hwrm_tf_ext_em_cfg_input {
        uint16_t        efc_ctx_id;
        /* Configured EXT EM with the given context if for EFC table. */
        uint16_t        fid_ctx_id;
+       /* Context id of action table scope. */
+       uint16_t        action_ctx_id;
+       /* Table scope id used for action record entries. */
+       uint16_t        action_tbl_scope;
+       /* Context id of lookup table scope. */
+       uint16_t        lkup_ctx_id;
+       /* Table scope id used for EM lookup entries. */
+       uint16_t        lkup_tbl_scope;
        /* unused. */
-       uint16_t        unused2;
+       uint16_t        unused1;
+       /*
+        * Number of 32B static buckets to be allocated at the beginning
+        * of table scope.
+        */
+       uint32_t        lkup_static_buckets;
+       /* Firmware session id returned when HWRM_TF_SESSION_OPEN is sent. */
+       uint32_t        fw_session_id;
        /* unused. */
-       uint32_t        unused3;
+       uint32_t        unused2;
 } __rte_packed;
 
 /* hwrm_tf_ext_em_cfg_output (size:128b/16B) */
@@ -38408,11 +45313,11 @@ struct hwrm_tf_ext_em_qcfg_input {
        #define HWRM_TF_EXT_EM_QCFG_INPUT_FLAGS_DIR_TX    UINT32_C(0x1)
        #define HWRM_TF_EXT_EM_QCFG_INPUT_FLAGS_DIR_LAST \
                HWRM_TF_EXT_EM_QCFG_INPUT_FLAGS_DIR_TX
-       /* unused. */
-       uint32_t        unused0;
+       /* Firmware session id returned when HWRM_TF_SESSION_OPEN is sent. */
+       uint32_t        fw_session_id;
 } __rte_packed;
 
-/* hwrm_tf_ext_em_qcfg_output (size:256b/32B) */
+/* hwrm_tf_ext_em_qcfg_output (size:448b/56B) */
 struct hwrm_tf_ext_em_qcfg_output {
        /* The specific error status for the command. */
        uint16_t        error_code;
@@ -38451,7 +45356,71 @@ struct hwrm_tf_ext_em_qcfg_output {
        /* Configured EXT EM with the given context if for EFC table. */
        uint16_t        fid_ctx_id;
        /* unused. */
-       uint8_t unused0[5];
+       uint16_t        unused0;
+       uint32_t        supported;
+       /* This bit must be '1' for the group_id field is set. */
+       #define HWRM_TF_EXT_EM_QCFG_OUTPUT_SUPPORTED_GROUP_ID \
+               UINT32_C(0x1)
+       /* This bit must be '1' for the flush_interval field is set. */
+       #define HWRM_TF_EXT_EM_QCFG_OUTPUT_SUPPORTED_FLUSH_INTERVAL \
+               UINT32_C(0x2)
+       /* This bit must be '1' for the num_entries field is set. */
+       #define HWRM_TF_EXT_EM_QCFG_OUTPUT_SUPPORTED_NUM_ENTRIES \
+               UINT32_C(0x4)
+       /* This bit must be '1' for the key0_ctx_id field is set. */
+       #define HWRM_TF_EXT_EM_QCFG_OUTPUT_SUPPORTED_KEY0_CTX_ID \
+               UINT32_C(0x8)
+       /* This bit must be '1' for the key1_ctx_id field is set. */
+       #define HWRM_TF_EXT_EM_QCFG_OUTPUT_SUPPORTED_KEY1_CTX_ID \
+               UINT32_C(0x10)
+       /* This bit must be '1' for the record_ctx_id field is set. */
+       #define HWRM_TF_EXT_EM_QCFG_OUTPUT_SUPPORTED_RECORD_CTX_ID \
+               UINT32_C(0x20)
+       /* This bit must be '1' for the efc_ctx_id field is set. */
+       #define HWRM_TF_EXT_EM_QCFG_OUTPUT_SUPPORTED_EFC_CTX_ID \
+               UINT32_C(0x40)
+       /* This bit must be '1' for the fid_ctx_id field is set. */
+       #define HWRM_TF_EXT_EM_QCFG_OUTPUT_SUPPORTED_FID_CTX_ID \
+               UINT32_C(0x80)
+       /* This bit must be '1' for the action_ctx_id field is set. */
+       #define HWRM_TF_EXT_EM_QCFG_OUTPUT_SUPPORTED_ACTION_CTX_ID \
+               UINT32_C(0x100)
+       /* This bit must be '1' for the action_tbl_scope field is set. */
+       #define HWRM_TF_EXT_EM_QCFG_OUTPUT_SUPPORTED_ACTION_TBL_SCOPE \
+               UINT32_C(0x200)
+       /* This bit must be '1' for the lkup_ctx_id field is set. */
+       #define HWRM_TF_EXT_EM_QCFG_OUTPUT_SUPPORTED_LKUP_CTX_ID \
+               UINT32_C(0x400)
+       /* This bit must be '1' for the lkup_tbl_scope field is set. */
+       #define HWRM_TF_EXT_EM_QCFG_OUTPUT_SUPPORTED_LKUP_TBL_SCOPE \
+               UINT32_C(0x800)
+       /* This bit must be '1' for the lkup_static_buckets field is set. */
+       #define HWRM_TF_EXT_EM_QCFG_OUTPUT_SUPPORTED_LKUP_STATIC_BUCKETS \
+               UINT32_C(0x1000)
+       /*
+        * Group id is used by firmware to identify memory pools belonging
+        * to certain group.
+        */
+       uint16_t        group_id;
+       /* EEM pending cache flush interval in 1/10th of second. */
+       uint8_t flush_interval;
+       /* unused. */
+       uint8_t unused1;
+       /* Context id of action table scope. */
+       uint16_t        action_ctx_id;
+       /* Table scope id used for action record entries. */
+       uint16_t        action_tbl_scope;
+       /* Context id of lookup table scope. */
+       uint16_t        lkup_ctx_id;
+       /* Table scope id used for EM lookup entries. */
+       uint16_t        lkup_tbl_scope;
+       /*
+        * Number of 32B static buckets to be allocated at the beginning
+        * of table scope.
+        */
+       uint32_t        lkup_static_buckets;
+       /* unused. */
+       uint8_t unused2[7];
        /*
         * This field is used in Output records to indicate that the
         * output is completely written to RAM. This field should be
@@ -38544,6 +45513,87 @@ struct hwrm_tf_em_insert_output {
        uint32_t        unused0;
 } __rte_packed;
 
+/**************************
+ * hwrm_tf_em_hash_insert *
+ **************************/
+
+
+/* hwrm_tf_em_hash_insert_input (size:1024b/128B) */
+struct hwrm_tf_em_hash_insert_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       /* Firmware Session Id. */
+       uint32_t        fw_session_id;
+       /* Control Flags. */
+       uint16_t        flags;
+       /* Indicates the flow direction. */
+       #define HWRM_TF_EM_HASH_INSERT_INPUT_FLAGS_DIR     UINT32_C(0x1)
+       /* If this bit set to 0, then it indicates rx flow. */
+       #define HWRM_TF_EM_HASH_INSERT_INPUT_FLAGS_DIR_RX    UINT32_C(0x0)
+       /* If this bit is set to 1, then it indicates that tx flow. */
+       #define HWRM_TF_EM_HASH_INSERT_INPUT_FLAGS_DIR_TX    UINT32_C(0x1)
+       #define HWRM_TF_EM_HASH_INSERT_INPUT_FLAGS_DIR_LAST \
+               HWRM_TF_EM_HASH_INSERT_INPUT_FLAGS_DIR_TX
+       /* Number of bits in the EM record. */
+       uint16_t        em_record_size_bits;
+       /* CRC32 hash of key. */
+       uint32_t        key0_hash;
+       /* Lookup3 hash of key. */
+       uint32_t        key1_hash;
+       /* Index of EM record. */
+       uint32_t        em_record_idx;
+       /* Unused. */
+       uint32_t        unused0;
+       /* EM record. */
+       uint64_t        em_record[11];
+} __rte_packed;
+
+/* hwrm_tf_em_hash_insert_output (size:128b/16B) */
+struct hwrm_tf_em_hash_insert_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       /* EM record pointer index. */
+       uint16_t        rptr_index;
+       /* EM record offset 0~3. */
+       uint8_t rptr_entry;
+       /* Number of word entries consumed by the key. */
+       uint8_t num_of_entries;
+       /* unused. */
+       uint32_t        unused0;
+} __rte_packed;
+
 /*********************
  * hwrm_tf_em_delete *
  *********************/
@@ -38619,6 +45669,79 @@ struct hwrm_tf_em_delete_output {
        uint16_t        unused0[3];
 } __rte_packed;
 
+/*******************
+ * hwrm_tf_em_move *
+ *******************/
+
+
+/* hwrm_tf_em_move_input (size:320b/40B) */
+struct hwrm_tf_em_move_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       /* Session Id. */
+       uint32_t        fw_session_id;
+       /* Control flags. */
+       uint16_t        flags;
+       /* Indicates the flow direction. */
+       #define HWRM_TF_EM_MOVE_INPUT_FLAGS_DIR     UINT32_C(0x1)
+       /* If this bit set to 0, then it indicates rx flow. */
+       #define HWRM_TF_EM_MOVE_INPUT_FLAGS_DIR_RX    UINT32_C(0x0)
+       /* If this bit is set to 1, then it indicates tx flow. */
+       #define HWRM_TF_EM_MOVE_INPUT_FLAGS_DIR_TX    UINT32_C(0x1)
+       #define HWRM_TF_EM_MOVE_INPUT_FLAGS_DIR_LAST \
+               HWRM_TF_EM_MOVE_INPUT_FLAGS_DIR_TX
+       /* Number of EM entry blocks */
+       uint16_t        num_blocks;
+       /* New index for entry */
+       uint32_t        new_index;
+       /* Unused */
+       uint32_t        unused0;
+       /* EM internal flow handle. */
+       uint64_t        flow_handle;
+} __rte_packed;
+
+/* hwrm_tf_em_move_output (size:128b/16B) */
+struct hwrm_tf_em_move_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       /* Index of old entry. */
+       uint16_t        em_index;
+       /* unused. */
+       uint16_t        unused0[3];
+} __rte_packed;
+
 /********************
  * hwrm_tf_tcam_set *
  ********************/
@@ -39318,6 +46441,97 @@ struct hwrm_tf_if_tbl_set_output {
        uint8_t valid;
 } __rte_packed;
 
+/*****************************
+ * hwrm_tf_tbl_type_bulk_get *
+ *****************************/
+
+
+/* hwrm_tf_tbl_type_bulk_get_input (size:384b/48B) */
+struct hwrm_tf_tbl_type_bulk_get_input {
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /*
+        * The completion ring to send the completion event on. This should
+        * be the NQ ID returned from the `nq_alloc` HWRM command.
+        */
+       uint16_t        cmpl_ring;
+       /*
+        * The sequence ID is used by the driver for tracking multiple
+        * commands. This ID is treated as opaque data by the firmware and
+        * the value is returned in the `hwrm_resp_hdr` upon completion.
+        */
+       uint16_t        seq_id;
+       /*
+        * The target ID of the command:
+        * * 0x0-0xFFF8 - The function ID
+        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
+        * * 0xFFFD - Reserved for user-space HWRM interface
+        * * 0xFFFF - HWRM
+        */
+       uint16_t        target_id;
+       /*
+        * A physical address pointer pointing to a host buffer that the
+        * command's response data will be written. This can be either a host
+        * physical address (HPA) or a guest physical address (GPA) and must
+        * point to a physically contiguous block of memory.
+        */
+       uint64_t        resp_addr;
+       /* Firmware session id returned when HWRM_TF_SESSION_OPEN is sent. */
+       uint32_t        fw_session_id;
+       /* Control flags. */
+       uint16_t        flags;
+       /* Indicates the flow direction. */
+       #define HWRM_TF_TBL_TYPE_BULK_GET_INPUT_FLAGS_DIR     UINT32_C(0x1)
+       /* If this bit set to 0, then it indicates rx flow. */
+       #define HWRM_TF_TBL_TYPE_BULK_GET_INPUT_FLAGS_DIR_RX    UINT32_C(0x0)
+       /* If this bit is set to 1, then it indicates that tx flow. */
+       #define HWRM_TF_TBL_TYPE_BULK_GET_INPUT_FLAGS_DIR_TX    UINT32_C(0x1)
+       #define HWRM_TF_TBL_TYPE_BULK_GET_INPUT_FLAGS_DIR_LAST \
+               HWRM_TF_TBL_TYPE_BULK_GET_INPUT_FLAGS_DIR_TX
+       /* unused. */
+       uint8_t unused0[2];
+       /*
+        * Type of the resource, defined globally in the
+        * hwrm_tf_resc_type enum.
+        */
+       uint32_t        type;
+       /* Starting index of the type to retrieve. */
+       uint32_t        start_index;
+       /* Number of entries to retrieve. */
+       uint32_t        num_entries;
+       /* Number of entries to retrieve. */
+       uint32_t        unused1;
+       /* Host memory where data will be stored. */
+       uint64_t        host_addr;
+} __rte_packed;
+
+/* hwrm_tf_tbl_type_bulk_get_output (size:128b/16B) */
+struct hwrm_tf_tbl_type_bulk_get_output {
+       /* The specific error status for the command. */
+       uint16_t        error_code;
+       /* The HWRM command request type. */
+       uint16_t        req_type;
+       /* The sequence ID from the original command. */
+       uint16_t        seq_id;
+       /* The length of the response data in number of bytes. */
+       uint16_t        resp_len;
+       /* Response code. */
+       uint32_t        resp_code;
+       /* Response size. */
+       uint16_t        size;
+       /* unused */
+       uint8_t unused0;
+       /*
+        * This field is used in Output records to indicate that the output
+        * is completely written to RAM. This field should be read as '1'
+        * to indicate that the output has been completely written.
+        * When writing a command completion or response to an internal
+        * processor, the order of writes has to be such that this field
+        * is written last.
+        */
+       uint8_t valid;
+} __rte_packed;
+
 /******************************
  * hwrm_tunnel_dst_port_query *
  ******************************/
@@ -39652,7 +46866,7 @@ struct ctx_hw_stats {
  * support TPA v2, additional TPA related stats exist and can be retrieved
  * by DMA of ctx_hw_stats_ext, rather than legacy ctx_hw_stats structure.
  */
-/* ctx_hw_stats_ext (size:1344b/168B) */
+/* ctx_hw_stats_ext (size:1408b/176B) */
 struct ctx_hw_stats_ext {
        /* Number of received unicast packets */
        uint64_t        rx_ucast_pkts;
@@ -39696,6 +46910,8 @@ struct ctx_hw_stats_ext {
        uint64_t        rx_tpa_bytes;
        /* Number of TPA errors */
        uint64_t        rx_tpa_errors;
+       /* Number of TPA events */
+       uint64_t        rx_tpa_events;
 } __rte_packed;
 
 /* Periodic Engine statistics context DMA to host. */
@@ -39971,10 +47187,10 @@ struct hwrm_stat_ctx_query_output {
        uint64_t        tx_mcast_pkts;
        /* Number of transmitted broadcast packets */
        uint64_t        tx_bcast_pkts;
-       /* Number of transmitted packets with error */
-       uint64_t        tx_err_pkts;
-       /* Number of dropped packets on transmit path */
-       uint64_t        tx_drop_pkts;
+       /* Number of packets discarded in transmit path */
+       uint64_t        tx_discard_pkts;
+       /* Number of packets in transmit path with error */
+       uint64_t        tx_error_pkts;
        /* Number of transmitted bytes for unicast traffic */
        uint64_t        tx_ucast_bytes;
        /* Number of transmitted bytes for multicast traffic */
@@ -39987,10 +47203,10 @@ struct hwrm_stat_ctx_query_output {
        uint64_t        rx_mcast_pkts;
        /* Number of received broadcast packets */
        uint64_t        rx_bcast_pkts;
-       /* Number of received packets with error */
-       uint64_t        rx_err_pkts;
-       /* Number of dropped packets on receive path */
-       uint64_t        rx_drop_pkts;
+       /* Number of packets discarded in receive path */
+       uint64_t        rx_discard_pkts;
+       /* Number of packets in receive path with errors */
+       uint64_t        rx_error_pkts;
        /* Number of received bytes for unicast traffic */
        uint64_t        rx_ucast_bytes;
        /* Number of received bytes for multicast traffic */
@@ -40064,7 +47280,7 @@ struct hwrm_stat_ext_ctx_query_input {
        uint8_t unused_0[3];
 } __rte_packed;
 
-/* hwrm_stat_ext_ctx_query_output (size:1472b/184B) */
+/* hwrm_stat_ext_ctx_query_output (size:1536b/192B) */
 struct hwrm_stat_ext_ctx_query_output {
        /* The specific error status for the command. */
        uint16_t        error_code;
@@ -40116,6 +47332,8 @@ struct hwrm_stat_ext_ctx_query_output {
        uint64_t        rx_tpa_bytes;
        /* Number of TPA errors */
        uint64_t        rx_tpa_errors;
+       /* Number of TPA events */
+       uint64_t        rx_tpa_events;
        uint8_t unused_0[7];
        /*
         * This field is used in Output records to indicate that the output
@@ -41078,7 +48296,10 @@ struct hwrm_nvm_write_input {
         * This is where the source data is.
         */
        uint64_t        host_src_addr;
-       /* The Directory Entry Type (valid values are defined in the bnxnvm_directory_type enum defined in the file bnxnvm_defs.h). */
+       /*
+        * The Directory Entry Type (valid values are defined in the
+        * bnxnvm_directory_type enum defined in the file bnxnvm_defs.h).
+        */
        uint16_t        dir_type;
        /*
         * Directory ordinal.
@@ -41090,8 +48311,10 @@ struct hwrm_nvm_write_input {
        /* Directory Entry Attribute flags (see BNX_DIR_ATTR_* in the file bnxnvm_defs.h). */
        uint16_t        dir_attr;
        /*
-        * Length of data to write, in bytes. May be less than or equal to the allocated size for the directory entry.
-        * The data length stored in the directory entry will be updated to reflect this value once the write is complete.
+        * Length of data to write, in bytes.May be
+        * less than or equal to the allocated size for the directory entry.
+        * The data length stored in the directory entry will be updated to
+        * reflect this value once the write is complete.
         */
        uint32_t        dir_data_length;
        /* Option. */
@@ -41104,11 +48327,15 @@ struct hwrm_nvm_write_input {
        #define HWRM_NVM_WRITE_INPUT_FLAGS_KEEP_ORIG_ACTIVE_IMG \
                UINT32_C(0x1)
        /*
-        * The requested length of the allocated NVM for the item, in bytes. This value may be greater than or equal to the specified data length (dir_data_length).
+        * The requested length of the allocated NVM for the item, in bytes.
+        * This value may be greater than or equal to the specified data length (dir_data_length).
         * If this value is less than the specified data length, it will be ignored.
-        * The response will contain the actual allocated item length, which may be greater than the requested item length.
-        * The purpose for allocating more than the required number of bytes for an item's data is to pre-allocate extra storage (padding) to accommodate
-        * the potential future growth of an item (e.g. upgraded firmware with a size increase, log growth, expanded configuration data).
+        * The response will contain the actual allocated item length, which may
+        * be greater than the requested item length.
+        * The purpose for allocating more than the required number of bytes for
+        * an item's data is to pre-allocate extra storage (padding) to accommodate
+        * the potential future growth of an item (e.g. upgraded firmware with
+        * a size increase, log growth, expanded configuration data).
         */
        uint32_t        dir_item_length;
        uint32_t        unused_0;
@@ -41125,8 +48352,10 @@ struct hwrm_nvm_write_output {
        /* The length of the response data in number of bytes. */
        uint16_t        resp_len;
        /*
-        * Length of the allocated NVM for the item, in bytes. The value may be greater than or equal to the specified data length or the requested item length.
-        * The actual item length used when creating a new directory entry will be a multiple of an NVM block size.
+        * Length of the allocated NVM for the item, in bytes. The value may be
+        * greater than or equal to the specified data length or the requested item length.
+        * The actual item length used when creating a new directory entry will
+        * be a multiple of an NVM block size.
         */
        uint32_t        dir_item_length;
        /* The directory index of the created or modified item. */
@@ -41451,7 +48680,7 @@ struct hwrm_nvm_get_dev_info_input {
        uint64_t        resp_addr;
 } __rte_packed;
 
-/* hwrm_nvm_get_dev_info_output (size:256b/32B) */
+/* hwrm_nvm_get_dev_info_output (size:640b/80B) */
 struct hwrm_nvm_get_dev_info_output {
        /* The specific error status for the command. */
        uint16_t        error_code;
@@ -41470,7 +48699,10 @@ struct hwrm_nvm_get_dev_info_output {
        /* Total size, in bytes of the NVRAM device. */
        uint32_t        nvram_size;
        uint32_t        reserved_size;
-       /* Available size that can be used, in bytes.  Available size is the NVRAM size take away the used size and reserved size. */
+       /*
+        * Available size that can be used, in bytes.  Available size is the
+        * NVRAM size take away the used size and reserved size.
+        */
        uint32_t        available_size;
        /* This field represents the major version of NVM cfg */
        uint8_t nvm_cfg_ver_maj;
@@ -41478,6 +48710,82 @@ struct hwrm_nvm_get_dev_info_output {
        uint8_t nvm_cfg_ver_min;
        /* This field represents the update version of NVM cfg */
        uint8_t nvm_cfg_ver_upd;
+       uint8_t flags;
+       /*
+        * If set to 1, firmware will provide various firmware version
+        * information stored in the flash.
+        */
+       #define HWRM_NVM_GET_DEV_INFO_OUTPUT_FLAGS_FW_VER_VALID \
+               UINT32_C(0x1)
+       /*
+        * This field represents the board package name stored in the flash.
+        * (ASCII chars with NULL at the end).
+        */
+       char    pkg_name[16];
+       /*
+        * This field represents the major version of HWRM firmware, stored in
+        * the flash.
+        */
+       uint16_t        hwrm_fw_major;
+       /*
+        * This field represents the minor version of HWRM firmware, stored in
+        * the flash.
+        */
+       uint16_t        hwrm_fw_minor;
+       /*
+        * This field represents the build version of HWRM firmware, stored in
+        * the flash.
+        */
+       uint16_t        hwrm_fw_build;
+       /*
+        * This field can be used to represent firmware branches or customer
+        * specific releases tied to a specific (major, minor, build) version
+        * of the HWRM firmware.
+        */
+       uint16_t        hwrm_fw_patch;
+       /*
+        * This field represents the major version of mgmt firmware, stored in
+        * the flash.
+        */
+       uint16_t        mgmt_fw_major;
+       /*
+        * This field represents the minor version of mgmt firmware, stored in
+        * the flash.
+        */
+       uint16_t        mgmt_fw_minor;
+       /*
+        * This field represents the build version of mgmt firmware, stored in
+        * the flash.
+        */
+       uint16_t        mgmt_fw_build;
+       /*
+        * This field can be used to represent firmware branches or customer
+        * specific releases tied to a specific (major, minor, build) version
+        * of the mgmt firmware.
+        */
+       uint16_t        mgmt_fw_patch;
+       /*
+        * This field represents the major version of roce firmware, stored in
+        * the flash.
+        */
+       uint16_t        roce_fw_major;
+       /*
+        * This field represents the minor version of roce firmware, stored in
+        * the flash.
+        */
+       uint16_t        roce_fw_minor;
+       /*
+        * This field represents the build version of roce firmware, stored in
+        * the flash.
+        */
+       uint16_t        roce_fw_build;
+       /*
+        * This field can be used to represent firmware branches or customer
+        * specific releases tied to a specific (major, minor, build) version
+        * of the roce firmware.
+        */
+       uint16_t        roce_fw_patch;
+       uint8_t unused_0[7];
        /*
         * This field is used in Output records to indicate that the output
         * is completely written to RAM.  This field should be read as '1'
@@ -41536,7 +48844,10 @@ struct hwrm_nvm_mod_dir_entry_input {
         * The (0-based) instance of this Directory Type.
         */
        uint16_t        dir_ordinal;
-       /* The Directory Entry Extension flags (see BNX_DIR_EXT_* for extension flag definitions). */
+       /*
+        * The Directory Entry Extension flags (see BNX_DIR_EXT_* for
+        * extension flag definitions).
+        */
        uint16_t        dir_ext;
        /* Directory Entry Attribute flags (see BNX_DIR_ATTR_* for attribute flag definitions). */
        uint16_t        dir_attr;
@@ -41705,8 +49016,10 @@ struct hwrm_nvm_install_update_input {
        #define HWRM_NVM_INSTALL_UPDATE_INPUT_FLAGS_ERASE_UNUSED_SPACE \
                UINT32_C(0x1)
        /*
-        * If set to 1, then unspecified images, images not in the package file, will be safely deleted.
-        * When combined with erase_unused_space then unspecified images will be securely erased.
+        * If set to 1, then unspecified images, images not in the package file,
+        * will be safely deleted.
+        * When combined with erase_unused_space then unspecified images will be
+        * securely erased.
         */
        #define HWRM_NVM_INSTALL_UPDATE_INPUT_FLAGS_REMOVE_UNUSED_PKG \
                UINT32_C(0x2)
@@ -42091,7 +49404,10 @@ struct hwrm_nvm_set_variable_input {
        /* index for the 4th dimensions */
        uint16_t        index_3;
        uint8_t flags;
-       /* When this bit is 1, flush internal cache after this write operation (see hwrm_nvm_flush command.) */
+       /*
+        * When this bit is 1, flush internal cache after this write operation
+        * (see hwrm_nvm_flush command.)
+        */
        #define HWRM_NVM_SET_VARIABLE_INPUT_FLAGS_FORCE_FLUSH \
                UINT32_C(0x1)
        /* encryption method */
@@ -42393,7 +49709,10 @@ struct hwrm_fw_reset_input {
         */
        #define HWRM_FW_RESET_INPUT_EMBEDDED_PROC_TYPE_HOST \
                UINT32_C(0x4)
-       /* AP processor complex (in multi-host environment). Use host_idx to control which core is reset */
+       /*
+        * AP processor complex (in multi-host environment).
+        * Use host_idx to control which core is reset
+        */
        #define HWRM_FW_RESET_INPUT_EMBEDDED_PROC_TYPE_AP \
                UINT32_C(0x5)
        /* Reset all blocks of the chip (including all processors) */
@@ -42612,12 +49931,12 @@ struct hcomm_status {
 #define HCOMM_STATUS_STRUCT_LOC                0x31001F0UL
 
 /**************************
- * hwrm_cfa_counter_qcaps *
+ * hwrm_port_phy_i2c_read *
  **************************/
 
 
-/* hwrm_cfa_counter_qcaps_input (size:128b/16B) */
-struct hwrm_cfa_counter_qcaps_input {
+/* hwrm_port_phy_i2c_read_input (size:320b/40B) */
+struct hwrm_port_phy_i2c_read_input {
        /* The HWRM command request type. */
        uint16_t        req_type;
        /*
@@ -42646,236 +49965,33 @@ struct hwrm_cfa_counter_qcaps_input {
         * point to a physically contiguous block of memory.
         */
        uint64_t        resp_addr;
-} __rte_packed;
-
-/* hwrm_cfa_counter_qcaps_output (size:576b/72B) */
-struct hwrm_cfa_counter_qcaps_output {
-       /* The specific error status for the command. */
-       uint16_t        error_code;
-       /* The HWRM command request type. */
-       uint16_t        req_type;
-       /* The sequence ID from the original command. */
-       uint16_t        seq_id;
-       /* The length of the response data in number of bytes. */
-       uint16_t        resp_len;
        uint32_t        flags;
-       /* Enumeration denoting the supported CFA counter format. */
-       #define HWRM_CFA_COUNTER_QCAPS_OUTPUT_FLAGS_COUNTER_FORMAT \
-               UINT32_C(0x1)
-       /* CFA counter types are not supported. */
-       #define HWRM_CFA_COUNTER_QCAPS_OUTPUT_FLAGS_COUNTER_FORMAT_NONE \
-               UINT32_C(0x0)
-       /* 64-bit packet counters followed by 64-bit byte counters format. */
-       #define HWRM_CFA_COUNTER_QCAPS_OUTPUT_FLAGS_COUNTER_FORMAT_64_BIT \
-               UINT32_C(0x1)
-       #define HWRM_CFA_COUNTER_QCAPS_OUTPUT_FLAGS_COUNTER_FORMAT_LAST \
-               HWRM_CFA_COUNTER_QCAPS_OUTPUT_FLAGS_COUNTER_FORMAT_64_BIT
-       uint32_t        unused_0;
-       /* Minimum guaranteed number of flow counters supported for this function, in RX direction. */
-       uint32_t        min_rx_fc;
-       /* Maximum non-guaranteed number of flow counters supported for this function, in RX direction. */
-       uint32_t        max_rx_fc;
-       /* Minimum guaranteed number of flow counters supported for this function, in TX direction. */
-       uint32_t        min_tx_fc;
-       /* Maximum non-guaranteed number of flow counters supported for this function, in TX direction. */
-       uint32_t        max_tx_fc;
-       /* Minimum guaranteed number of extension flow counters supported for this function, in RX direction. */
-       uint32_t        min_rx_efc;
-       /* Maximum non-guaranteed number of extension flow counters supported for this function, in RX direction. */
-       uint32_t        max_rx_efc;
-       /* Minimum guaranteed number of extension flow counters supported for this function, in TX direction. */
-       uint32_t        min_tx_efc;
-       /* Maximum non-guaranteed number of extension flow counters supported for this function, in TX direction. */
-       uint32_t        max_tx_efc;
-       /* Minimum guaranteed number of meter drop counters supported for this function, in RX direction. */
-       uint32_t        min_rx_mdc;
-       /* Maximum non-guaranteed number of meter drop counters supported for this function, in RX direction. */
-       uint32_t        max_rx_mdc;
-       /* Minimum guaranteed number of meter drop counters supported for this function, in TX direction. */
-       uint32_t        min_tx_mdc;
-       /* Maximum non-guaranteed number of meter drop counters supported for this function, in TX direction. */
-       uint32_t        max_tx_mdc;
-       /* Maximum guaranteed number of flow counters which can be used during flow alloc. */
-       uint32_t        max_flow_alloc_fc;
-       uint8_t unused_1[3];
-       /*
-        * This field is used in Output records to indicate that the output
-        * is completely written to RAM.  This field should be read as '1'
-        * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
-        */
-       uint8_t valid;
-} __rte_packed;
-
-/************************
- * hwrm_cfa_counter_cfg *
- ************************/
-
-
-/* hwrm_cfa_counter_cfg_input (size:256b/32B) */
-struct hwrm_cfa_counter_cfg_input {
-       /* The HWRM command request type. */
-       uint16_t        req_type;
-       /*
-        * The completion ring to send the completion event on. This should
-        * be the NQ ID returned from the `nq_alloc` HWRM command.
-        */
-       uint16_t        cmpl_ring;
-       /*
-        * The sequence ID is used by the driver for tracking multiple
-        * commands. This ID is treated as opaque data by the firmware and
-        * the value is returned in the `hwrm_resp_hdr` upon completion.
-        */
-       uint16_t        seq_id;
-       /*
-        * The target ID of the command:
-        * * 0x0-0xFFF8 - The function ID
-        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
-        * * 0xFFFD - Reserved for user-space HWRM interface
-        * * 0xFFFF - HWRM
-        */
-       uint16_t        target_id;
-       /*
-        * A physical address pointer pointing to a host buffer that the
-        * command's response data will be written. This can be either a host
-        * physical address (HPA) or a guest physical address (GPA) and must
-        * point to a physically contiguous block of memory.
-        */
-       uint64_t        resp_addr;
-       uint16_t        flags;
-       /* Enumeration denoting the configuration mode. */
-       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_CFG_MODE \
-               UINT32_C(0x1)
-       /* Disable the configuration mode. */
-       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_CFG_MODE_DISABLE \
-               UINT32_C(0x0)
-       /* Enable the configuration mode. */
-       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_CFG_MODE_ENABLE \
-               UINT32_C(0x1)
-       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_CFG_MODE_LAST \
-               HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_CFG_MODE_ENABLE
-       /* Enumeration denoting the RX, TX type of the resource. */
-       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_PATH \
-               UINT32_C(0x2)
-       /* Tx path. */
-       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_PATH_TX \
-               (UINT32_C(0x0) << 1)
-       /* Rx path. */
-       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_PATH_RX \
-               (UINT32_C(0x1) << 1)
-       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_PATH_LAST \
-               HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_PATH_RX
-       /* Enumeration denoting the data transfer mode. */
-       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_DATA_TRANSFER_MODE_MASK \
-               UINT32_C(0xc)
-       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_DATA_TRANSFER_MODE_SFT       2
-       /* Push mode. */
-       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_DATA_TRANSFER_MODE_PUSH \
-               (UINT32_C(0x0) << 2)
-       /* Pull mode. */
-       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_DATA_TRANSFER_MODE_PULL \
-               (UINT32_C(0x1) << 2)
-       /* Pull on async update. */
-       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_DATA_TRANSFER_MODE_PULL_ASYNC \
-               (UINT32_C(0x2) << 2)
-       #define HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_DATA_TRANSFER_MODE_LAST \
-               HWRM_CFA_COUNTER_CFG_INPUT_FLAGS_DATA_TRANSFER_MODE_PULL_ASYNC
-       uint16_t        counter_type;
-       /* Flow counters. */
-       #define HWRM_CFA_COUNTER_CFG_INPUT_COUNTER_TYPE_FC  UINT32_C(0x0)
-       /* Extended flow counters. */
-       #define HWRM_CFA_COUNTER_CFG_INPUT_COUNTER_TYPE_EFC UINT32_C(0x1)
-       /* Meter drop counters. */
-       #define HWRM_CFA_COUNTER_CFG_INPUT_COUNTER_TYPE_MDC UINT32_C(0x2)
-       #define HWRM_CFA_COUNTER_CFG_INPUT_COUNTER_TYPE_LAST \
-               HWRM_CFA_COUNTER_CFG_INPUT_COUNTER_TYPE_MDC
-       /* Ctx memory handle to be used for the counter. */
-       uint16_t        ctx_id;
-       /* Counter update cadence hint (only in Push mode). */
-       uint16_t        update_tmr_ms;
-       /* Total number of entries. */
-       uint32_t        num_entries;
-       uint32_t        unused_0;
-} __rte_packed;
-
-/* hwrm_cfa_counter_cfg_output (size:128b/16B) */
-struct hwrm_cfa_counter_cfg_output {
-       /* The specific error status for the command. */
-       uint16_t        error_code;
-       /* The HWRM command request type. */
-       uint16_t        req_type;
-       /* The sequence ID from the original command. */
-       uint16_t        seq_id;
-       /* The length of the response data in number of bytes. */
-       uint16_t        resp_len;
-       uint8_t unused_0[7];
-       /*
-        * This field is used in Output records to indicate that the output
-        * is completely written to RAM.  This field should be read as '1'
-        * to indicate that the output has been completely written.
-        * When writing a command completion or response to an internal processor,
-        * the order of writes has to be such that this field is written last.
-        */
-       uint8_t valid;
-} __rte_packed;
-
-/***************************
- * hwrm_cfa_counter_qstats *
- ***************************/
-
-
-/* hwrm_cfa_counter_qstats_input (size:320b/40B) */
-struct hwrm_cfa_counter_qstats_input {
-       /* The HWRM command request type. */
-       uint16_t        req_type;
-       /*
-        * The completion ring to send the completion event on. This should
-        * be the NQ ID returned from the `nq_alloc` HWRM command.
-        */
-       uint16_t        cmpl_ring;
-       /*
-        * The sequence ID is used by the driver for tracking multiple
-        * commands. This ID is treated as opaque data by the firmware and
-        * the value is returned in the `hwrm_resp_hdr` upon completion.
-        */
-       uint16_t        seq_id;
+       uint32_t        enables;
        /*
-        * The target ID of the command:
-        * * 0x0-0xFFF8 - The function ID
-        * * 0xFFF8-0xFFFC, 0xFFFE - Reserved for internal processors
-        * * 0xFFFD - Reserved for user-space HWRM interface
-        * * 0xFFFF - HWRM
+        * This bit must be '1' for the page_offset field to be
+        * configured.
         */
-       uint16_t        target_id;
+       #define HWRM_PORT_PHY_I2C_READ_INPUT_ENABLES_PAGE_OFFSET     0x1UL
+       /* Port ID of port. */
+       uint16_t        port_id;
+       /* 8-bit I2C slave address. */
+       uint8_t i2c_slave_addr;
+       uint8_t unused_0;
+       /* The page number that is being accessed over I2C. */
+       uint16_t        page_number;
+       /* Offset within the page that is being accessed over I2C. */
+       uint16_t        page_offset;
        /*
-        * A physical address pointer pointing to a host buffer that the
-        * command's response data will be written. This can be either a host
-        * physical address (HPA) or a guest physical address (GPA) and must
-        * point to a physically contiguous block of memory.
+        * Length of data to read, in bytes starting at the offset
+        * specified above. If the offset is not specified, then
+        * the data shall be read from the beginning of the page.
         */
-       uint64_t        resp_addr;
-       uint16_t        flags;
-       /* Enumeration denoting the RX, TX type of the resource. */
-       #define HWRM_CFA_COUNTER_QSTATS_INPUT_FLAGS_PATH     UINT32_C(0x1)
-       /* Tx path. */
-       #define HWRM_CFA_COUNTER_QSTATS_INPUT_FLAGS_PATH_TX    UINT32_C(0x0)
-       /* Rx path. */
-       #define HWRM_CFA_COUNTER_QSTATS_INPUT_FLAGS_PATH_RX    UINT32_C(0x1)
-       #define HWRM_CFA_COUNTER_QSTATS_INPUT_FLAGS_PATH_LAST \
-               HWRM_CFA_COUNTER_QSTATS_INPUT_FLAGS_PATH_RX
-       uint16_t        counter_type;
-       uint16_t        input_flow_ctx_id;
-       uint16_t        num_entries;
-       uint16_t        delta_time_ms;
-       uint16_t        meter_instance_id;
-       uint16_t        mdc_ctx_id;
-       uint8_t unused_0[2];
-       uint64_t        expected_count;
+       uint8_t data_length;
+       uint8_t unused_1[7];
 } __rte_packed;
 
-/* hwrm_cfa_counter_qstats_output (size:128b/16B) */
-struct hwrm_cfa_counter_qstats_output {
+/* hwrm_port_phy_i2c_read_output (size:640b/80B) */
+struct hwrm_port_phy_i2c_read_output {
        /* The specific error status for the command. */
        uint16_t        error_code;
        /* The HWRM command request type. */
@@ -42884,6 +50000,8 @@ struct hwrm_cfa_counter_qstats_output {
        uint16_t        seq_id;
        /* The length of the response data in number of bytes. */
        uint16_t        resp_len;
+       /* Up to 64B of data. */
+       uint32_t        data[16];
        uint8_t unused_0[7];
        /*
         * This field is used in Output records to indicate that the output
@@ -42894,5 +50012,4 @@ struct hwrm_cfa_counter_qstats_output {
         */
        uint8_t valid;
 } __rte_packed;
-
 #endif /* _HSI_STRUCT_DEF_DPDK_H_ */