add prefix to cache line macros
[dpdk.git] / examples / dpdk_qat / crypto.c
index 99680be..f0471e0 100644 (file)
@@ -1,36 +1,34 @@
 /*-
  *   BSD LICENSE
- * 
- *   Copyright(c) 2010-2012 Intel Corporation. All rights reserved.
+ *
+ *   Copyright(c) 2010-2014 Intel Corporation. All rights reserved.
  *   All rights reserved.
- * 
- *   Redistribution and use in source and binary forms, with or without 
- *   modification, are permitted provided that the following conditions 
+ *
+ *   Redistribution and use in source and binary forms, with or without
+ *   modification, are permitted provided that the following conditions
  *   are met:
- * 
- *     * Redistributions of source code must retain the above copyright 
+ *
+ *     * Redistributions of source code must retain the above copyright
  *       notice, this list of conditions and the following disclaimer.
- *     * Redistributions in binary form must reproduce the above copyright 
- *       notice, this list of conditions and the following disclaimer in 
- *       the documentation and/or other materials provided with the 
+ *     * Redistributions in binary form must reproduce the above copyright
+ *       notice, this list of conditions and the following disclaimer in
+ *       the documentation and/or other materials provided with the
  *       distribution.
- *     * Neither the name of Intel Corporation nor the names of its 
- *       contributors may be used to endorse or promote products derived 
+ *     * Neither the name of Intel Corporation nor the names of its
+ *       contributors may be used to endorse or promote products derived
  *       from this software without specific prior written permission.
- * 
- *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS 
- *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT 
- *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR 
- *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT 
- *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, 
- *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT 
- *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, 
- *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY 
- *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT 
- *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE 
+ *
+ *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
+ *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
+ *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
+ *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
+ *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
+ *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
+ *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
+ *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
+ *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
+ *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
- * 
- *  version: DPDK.L.1.2.3-3
  */
 
 #include <stdio.h>
 
 #include "crypto.h"
 
-#define NUM_HMAC       (10)
-#define NUM_CRYPTO     (7)
-
-
 /* CIPHER KEY LENGTHS */
 #define KEY_SIZE_64_IN_BYTES   (64 / 8)
 #define KEY_SIZE_56_IN_BYTES   (56 / 8)
@@ -93,6 +87,7 @@
 #define SHA384_AUTH_KEY_LENGTH_IN_BYTES                (384 / 8)
 #define SHA512_AUTH_KEY_LENGTH_IN_BYTES                (512 / 8)
 #define MD5_AUTH_KEY_LENGTH_IN_BYTES           (128 / 8)
+#define KASUMI_AUTH_KEY_LENGTH_IN_BYTES                (128 / 8)
 
 /* HASH DIGEST LENGHTS */
 #define AES_XCBC_DIGEST_LENGTH_IN_BYTES                (128 / 8)
 #define SHA256_DIGEST_LENGTH_IN_BYTES          (256 / 8)
 #define SHA384_DIGEST_LENGTH_IN_BYTES          (384 / 8)
 #define SHA512_DIGEST_LENGTH_IN_BYTES          (512 / 8)
+#define KASUMI_DIGEST_LENGTH_IN_BYTES          (32 / 8)
 
 #define IV_LENGTH_16_BYTES     (16)
 #define IV_LENGTH_8_BYTES      (8)
@@ -187,7 +183,7 @@ struct glob_keys g_crypto_hash_keys = {
  *
  */
 #define PACKET_DATA_START_PHYS(p) \
-               ((p)->buf_physaddr + ((char *)p->pkt.data - (char *)p->buf_addr))
+               ((p)->buf_physaddr + (p)->data_off)
 
 /*
  * A fixed offset to where the crypto is to be performed, which is the first
@@ -204,7 +200,7 @@ struct glob_keys g_crypto_hash_keys = {
  * +18 takes this to the next cache line.
  */
 
-#define CRYPTO_OFFSET_TO_OPDATA        (ETHER_MAX_LEN+18)
+#define CRYPTO_OFFSET_TO_OPDATA                (ETHER_MAX_LEN+18)
 
 /*
  * Default number of requests to place on the hardware ring before kicking the
@@ -343,7 +339,7 @@ get_crypto_instance_on_core(CpaInstanceHandle *pInstanceHandle,
        }
 
        pLocalInstanceHandles = rte_malloc("pLocalInstanceHandles",
-                       sizeof(CpaInstanceHandle) * numInstances, CACHE_LINE_SIZE);
+                       sizeof(CpaInstanceHandle) * numInstances, RTE_CACHE_LINE_SIZE);
 
        if (NULL == pLocalInstanceHandles) {
                return CPA_STATUS_FAIL;
@@ -428,6 +424,12 @@ initCySymSession(const int pkt_cipher_alg,
                sessionSetupData.cipherSetupData.cipherKeyLenInBytes =
                                KEY_SIZE_128_IN_BYTES;
                break;
+       case CIPHER_KASUMI_F8:
+               sessionSetupData.cipherSetupData.cipherAlgorithm =
+                               CPA_CY_SYM_CIPHER_KASUMI_F8;
+               sessionSetupData.cipherSetupData.cipherKeyLenInBytes =
+                               KEY_SIZE_128_IN_BYTES;
+               break;
        default:
                printf("Crypto: Undefined Cipher specified\n");
                break;
@@ -490,6 +492,11 @@ initCySymSession(const int pkt_cipher_alg,
                sessionSetupData.hashSetupData.digestResultLenInBytes =
                                SHA512_DIGEST_LENGTH_IN_BYTES;
                break;
+       case HASH_KASUMI_F9:
+               sessionSetupData.hashSetupData.hashAlgorithm = CPA_CY_SYM_HASH_KASUMI_F9;
+               sessionSetupData.hashSetupData.digestResultLenInBytes =
+                               KASUMI_DIGEST_LENGTH_IN_BYTES;
+               break;
        default:
                printf("Crypto: Undefined Hash specified\n");
                break;
@@ -533,6 +540,10 @@ initCySymSession(const int pkt_cipher_alg,
                                sessionSetupData.hashSetupData.authModeSetupData.authKeyLenInBytes =
                                                SHA512_AUTH_KEY_LENGTH_IN_BYTES;
                                break;
+                       case HASH_KASUMI_F9:
+                               sessionSetupData.hashSetupData.authModeSetupData.authKeyLenInBytes =
+                                               KASUMI_AUTH_KEY_LENGTH_IN_BYTES;
+                               break;
                        default:
                                printf("Crypto: Undefined Hash specified\n");
                                return CPA_STATUS_FAIL;
@@ -561,6 +572,10 @@ initCySymSession(const int pkt_cipher_alg,
                return CPA_STATUS_SUCCESS;
        }
 
+       /* Set flags for digest operations */
+       sessionSetupData.digestIsAppended = CPA_FALSE;
+       sessionSetupData.verifyDigest = CPA_TRUE;
+
        /* Get the session context size based on the crypto and/or hash operations*/
        status = cpaCySymDpSessionCtxGetSize(cyInstanceHandle, &sessionSetupData,
                        &sessionCtxSizeInBytes);
@@ -577,7 +592,7 @@ initCySymSession(const int pkt_cipher_alg,
        }
 
        status = cpaCySymDpInitSession(cyInstanceHandle, &sessionSetupData,
-                       CPA_TRUE,CPA_FALSE, *ppSessionCtx);
+                       *ppSessionCtx);
        if (CPA_STATUS_SUCCESS != status) {
                printf("Crypto: cpaCySymDpInitSession failed with status %"PRId32"\n", status);
                return CPA_STATUS_FAIL;
@@ -592,6 +607,9 @@ initSessionDataTables(struct qa_core_conf *qaCoreConf,uint32_t lcore_id)
        CpaStatus status = CPA_STATUS_FAIL;
        for (i = 0; i < NUM_CRYPTO; i++) {
                for (j = 0; j < NUM_HMAC; j++) {
+                       if (((i == CIPHER_KASUMI_F8) && (j != NO_HASH) && (j != HASH_KASUMI_F9)) ||
+                               ((i != NO_CIPHER) && (i != CIPHER_KASUMI_F8) && (j == HASH_KASUMI_F9)))
+                               continue;
                        status = initCySymSession(i, j, CPA_CY_SYM_HASH_MODE_AUTH,
                                        CPA_CY_SYM_CIPHER_DIRECTION_ENCRYPT,
                                        &qaCoreConf->encryptSessionHandleTbl[i][j],
@@ -618,11 +636,11 @@ initSessionDataTables(struct qa_core_conf *qaCoreConf,uint32_t lcore_id)
 int
 crypto_init(void)
 {
-       if (CPA_STATUS_SUCCESS != icp_sal_userStart("SSL")) {
+       if (CPA_STATUS_SUCCESS != icp_sal_userStartMultiProcess("SSL",CPA_FALSE)) {
                printf("Crypto: Could not start sal for user space\n");
                return CPA_STATUS_FAIL;
        }
-       printf("Crypto: icp_sal_userStart(\"SSL\")\n");
+       printf("Crypto: icp_sal_userStartMultiProcess(\"SSL\",CPA_FALSE)\n");
        return 0;
 }
 
@@ -647,7 +665,7 @@ per_core_crypto_init(uint32_t lcore_id)
        qaCoreConf[lcore_id].numResponseAttempts = 0;
 
        /* Initialise and reserve lcore memzone for virt2phys translation */
-       rte_snprintf(memzone_name,
+       snprintf(memzone_name,
                        RTE_MEMZONE_NAMESIZE,
                        "lcore_%u",
                        lcore_id);
@@ -755,16 +773,19 @@ enum crypto_result
 crypto_encrypt(struct rte_mbuf *rte_buff, enum cipher_alg c, enum hash_alg h)
 {
        CpaCySymDpOpData *opData =
-                       (CpaCySymDpOpData *) ((char *) (rte_buff->pkt.data)
+                       (CpaCySymDpOpData *) (rte_pktmbuf_mtod(rte_buff, char *)
                                        + CRYPTO_OFFSET_TO_OPDATA);
        uint32_t lcore_id;
 
+       if (unlikely(c >= NUM_CRYPTO || h >= NUM_HMAC))
+               return CRYPTO_RESULT_FAIL;
+
        lcore_id = rte_lcore_id();
 
        bzero(opData, sizeof(CpaCySymDpOpData));
 
        opData->srcBuffer = opData->dstBuffer = PACKET_DATA_START_PHYS(rte_buff);
-       opData->srcBufferLen = opData->dstBufferLen = rte_buff->pkt.data_len;
+       opData->srcBufferLen = opData->dstBufferLen = rte_buff->data_len;
        opData->sessionCtx = qaCoreConf[lcore_id].encryptSessionHandleTbl[c][h];
        opData->thisPhys = PACKET_DATA_START_PHYS(rte_buff)
                        + CRYPTO_OFFSET_TO_OPDATA;
@@ -784,7 +805,7 @@ crypto_encrypt(struct rte_mbuf *rte_buff, enum cipher_alg c, enum hash_alg h)
                        opData->ivLenInBytes = IV_LENGTH_8_BYTES;
 
                opData->cryptoStartSrcOffsetInBytes = CRYPTO_START_OFFSET;
-               opData->messageLenToCipherInBytes = rte_buff->pkt.data_len
+               opData->messageLenToCipherInBytes = rte_buff->data_len
                                - CRYPTO_START_OFFSET;
                /*
                 * Work around for padding, message length has to be a multiple of
@@ -797,7 +818,7 @@ crypto_encrypt(struct rte_mbuf *rte_buff, enum cipher_alg c, enum hash_alg h)
        if (NO_HASH != h) {
 
                opData->hashStartSrcOffsetInBytes = HASH_START_OFFSET;
-               opData->messageLenToHashInBytes = rte_buff->pkt.data_len
+               opData->messageLenToHashInBytes = rte_buff->data_len
                                - HASH_START_OFFSET;
                /*
                 * Work around for padding, message length has to be a multiple of block
@@ -810,7 +831,7 @@ crypto_encrypt(struct rte_mbuf *rte_buff, enum cipher_alg c, enum hash_alg h)
                 * Assumption: Ok ignore the passed digest pointer and place HMAC at end
                 * of packet.
                 */
-               opData->digestResult = rte_buff->buf_physaddr + rte_buff->pkt.data_len;
+               opData->digestResult = rte_buff->buf_physaddr + rte_buff->data_len;
        }
 
        if (CPA_STATUS_SUCCESS != enqueueOp(opData, lcore_id)) {
@@ -827,16 +848,19 @@ enum crypto_result
 crypto_decrypt(struct rte_mbuf *rte_buff, enum cipher_alg c, enum hash_alg h)
 {
 
-       CpaCySymDpOpData *opData = (void*) (((char *) rte_buff->pkt.data)
+       CpaCySymDpOpData *opData = (void*) (rte_pktmbuf_mtod(rte_buff, char *)
                        + CRYPTO_OFFSET_TO_OPDATA);
        uint32_t lcore_id;
 
+       if (unlikely(c >= NUM_CRYPTO || h >= NUM_HMAC))
+               return CRYPTO_RESULT_FAIL;
+
        lcore_id = rte_lcore_id();
 
        bzero(opData, sizeof(CpaCySymDpOpData));
 
        opData->dstBuffer = opData->srcBuffer = PACKET_DATA_START_PHYS(rte_buff);
-       opData->dstBufferLen = opData->srcBufferLen = rte_buff->pkt.data_len;
+       opData->dstBufferLen = opData->srcBufferLen = rte_buff->data_len;
        opData->thisPhys = PACKET_DATA_START_PHYS(rte_buff)
                        + CRYPTO_OFFSET_TO_OPDATA;
        opData->sessionCtx = qaCoreConf[lcore_id].decryptSessionHandleTbl[c][h];
@@ -856,7 +880,7 @@ crypto_decrypt(struct rte_mbuf *rte_buff, enum cipher_alg c, enum hash_alg h)
                        opData->ivLenInBytes = IV_LENGTH_8_BYTES;
 
                opData->cryptoStartSrcOffsetInBytes = CRYPTO_START_OFFSET;
-               opData->messageLenToCipherInBytes = rte_buff->pkt.data_len
+               opData->messageLenToCipherInBytes = rte_buff->data_len
                                - CRYPTO_START_OFFSET;
 
                /*
@@ -868,7 +892,7 @@ crypto_decrypt(struct rte_mbuf *rte_buff, enum cipher_alg c, enum hash_alg h)
        }
        if (NO_HASH != h) {
                opData->hashStartSrcOffsetInBytes = HASH_START_OFFSET;
-               opData->messageLenToHashInBytes = rte_buff->pkt.data_len
+               opData->messageLenToHashInBytes = rte_buff->data_len
                                - HASH_START_OFFSET;
                /*
                 * Work around for padding, message length has to be a multiple of block
@@ -876,7 +900,7 @@ crypto_decrypt(struct rte_mbuf *rte_buff, enum cipher_alg c, enum hash_alg h)
                 */
                opData->messageLenToHashInBytes -= opData->messageLenToHashInBytes
                                % HASH_BLOCK_DEFAULT_SIZE;
-               opData->digestResult = rte_buff->buf_physaddr + rte_buff->pkt.data_len;
+               opData->digestResult = rte_buff->buf_physaddr + rte_buff->data_len;
        }
 
        if (CPA_STATUS_SUCCESS != enqueueOp(opData, lcore_id)) {