eal/ppc: vector memcpy for IBM Power
authorChao Zhu <chaozhu@linux.vnet.ibm.com>
Tue, 25 Nov 2014 22:17:10 +0000 (17:17 -0500)
committerThomas Monjalon <thomas.monjalon@6wind.com>
Wed, 26 Nov 2014 20:50:10 +0000 (21:50 +0100)
The SSE based memory copy in DPDK only support x86. This patch adds
altivec based memory copy functions for IBM Power architecture. This
patch includes altivec.h which requires GCC version>= 4.8.

Signed-off-by: Chao Zhu <chaozhu@linux.vnet.ibm.com>
Acked-by: David Marchand <david.marchand@6wind.com>
lib/librte_eal/common/include/arch/ppc_64/rte_memcpy.h [new file with mode: 0644]

diff --git a/lib/librte_eal/common/include/arch/ppc_64/rte_memcpy.h b/lib/librte_eal/common/include/arch/ppc_64/rte_memcpy.h
new file mode 100644 (file)
index 0000000..31daa0d
--- /dev/null
@@ -0,0 +1,225 @@
+/*
+ *   BSD LICENSE
+ *
+ *   Copyright (C) IBM Corporation 2014.
+ *
+ *   Redistribution and use in source and binary forms, with or without
+ *   modification, are permitted provided that the following conditions
+ *   are met:
+ *
+ *     * Redistributions of source code must retain the above copyright
+ *       notice, this list of conditions and the following disclaimer.
+ *     * Redistributions in binary form must reproduce the above copyright
+ *       notice, this list of conditions and the following disclaimer in
+ *       the documentation and/or other materials provided with the
+ *       distribution.
+ *     * Neither the name of IBM Corporation nor the names of its
+ *       contributors may be used to endorse or promote products derived
+ *       from this software without specific prior written permission.
+ *
+ *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
+ *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
+ *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
+ *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
+ *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
+ *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
+ *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
+ *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
+ *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
+ *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
+ *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
+*/
+
+#ifndef _RTE_MEMCPY_PPC_64_H_
+#define _RTE_MEMCPY_PPC_64_H_
+
+#include <stdint.h>
+#include <string.h>
+/*To include altivec.h, GCC version must  >= 4.8 */
+#include <altivec.h>
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#include "generic/rte_memcpy.h"
+
+static inline void
+rte_mov16(uint8_t *dst, const uint8_t *src)
+{
+       vec_vsx_st(vec_vsx_ld(0, src), 0, dst);
+}
+
+static inline void
+rte_mov32(uint8_t *dst, const uint8_t *src)
+{
+       vec_vsx_st(vec_vsx_ld(0, src), 0, dst);
+       vec_vsx_st(vec_vsx_ld(16, src), 16, dst);
+}
+
+static inline void
+rte_mov48(uint8_t *dst, const uint8_t *src)
+{
+       vec_vsx_st(vec_vsx_ld(0, src), 0, dst);
+       vec_vsx_st(vec_vsx_ld(16, src), 16, dst);
+       vec_vsx_st(vec_vsx_ld(32, src), 32, dst);
+}
+
+static inline void
+rte_mov64(uint8_t *dst, const uint8_t *src)
+{
+       vec_vsx_st(vec_vsx_ld(0, src), 0, dst);
+       vec_vsx_st(vec_vsx_ld(16, src), 16, dst);
+       vec_vsx_st(vec_vsx_ld(32, src), 32, dst);
+       vec_vsx_st(vec_vsx_ld(48, src), 48, dst);
+}
+
+static inline void
+rte_mov128(uint8_t *dst, const uint8_t *src)
+{
+       vec_vsx_st(vec_vsx_ld(0, src), 0, dst);
+       vec_vsx_st(vec_vsx_ld(16, src), 16, dst);
+       vec_vsx_st(vec_vsx_ld(32, src), 32, dst);
+       vec_vsx_st(vec_vsx_ld(48, src), 48, dst);
+       vec_vsx_st(vec_vsx_ld(64, src), 64, dst);
+       vec_vsx_st(vec_vsx_ld(80, src), 80, dst);
+       vec_vsx_st(vec_vsx_ld(96, src), 96, dst);
+       vec_vsx_st(vec_vsx_ld(112, src), 112, dst);
+}
+
+static inline void
+rte_mov256(uint8_t *dst, const uint8_t *src)
+{
+       rte_mov128(dst, src);
+       rte_mov128(dst + 128, src + 128);
+}
+
+#define rte_memcpy(dst, src, n)              \
+       ((__builtin_constant_p(n)) ?          \
+       memcpy((dst), (src), (n)) :          \
+       rte_memcpy_func((dst), (src), (n)))
+
+static inline void *
+rte_memcpy_func(void *dst, const void *src, size_t n)
+{
+       void *ret = dst;
+
+       /* We can't copy < 16 bytes using XMM registers so do it manually. */
+       if (n < 16) {
+               if (n & 0x01) {
+                       *(uint8_t *)dst = *(const uint8_t *)src;
+                       dst = (uint8_t *)dst + 1;
+                       src = (const uint8_t *)src + 1;
+               }
+               if (n & 0x02) {
+                       *(uint16_t *)dst = *(const uint16_t *)src;
+                       dst = (uint16_t *)dst + 1;
+                       src = (const uint16_t *)src + 1;
+               }
+               if (n & 0x04) {
+                       *(uint32_t *)dst = *(const uint32_t *)src;
+                       dst = (uint32_t *)dst + 1;
+                       src = (const uint32_t *)src + 1;
+               }
+               if (n & 0x08)
+                       *(uint64_t *)dst = *(const uint64_t *)src;
+               return ret;
+       }
+
+       /* Special fast cases for <= 128 bytes */
+       if (n <= 32) {
+               rte_mov16((uint8_t *)dst, (const uint8_t *)src);
+               rte_mov16((uint8_t *)dst - 16 + n,
+                       (const uint8_t *)src - 16 + n);
+               return ret;
+       }
+
+       if (n <= 64) {
+               rte_mov32((uint8_t *)dst, (const uint8_t *)src);
+               rte_mov32((uint8_t *)dst - 32 + n,
+                       (const uint8_t *)src - 32 + n);
+               return ret;
+       }
+
+       if (n <= 128) {
+               rte_mov64((uint8_t *)dst, (const uint8_t *)src);
+               rte_mov64((uint8_t *)dst - 64 + n,
+                       (const uint8_t *)src - 64 + n);
+               return ret;
+       }
+
+       /*
+        * For large copies > 128 bytes. This combination of 256, 64 and 16 byte
+        * copies was found to be faster than doing 128 and 32 byte copies as
+        * well.
+        */
+       for ( ; n >= 256; n -= 256) {
+               rte_mov256((uint8_t *)dst, (const uint8_t *)src);
+               dst = (uint8_t *)dst + 256;
+               src = (const uint8_t *)src + 256;
+       }
+
+       /*
+        * We split the remaining bytes (which will be less than 256) into
+        * 64byte (2^6) chunks.
+        * Using incrementing integers in the case labels of a switch statement
+        * enourages the compiler to use a jump table. To get incrementing
+        * integers, we shift the 2 relevant bits to the LSB position to first
+        * get decrementing integers, and then subtract.
+        */
+       switch (3 - (n >> 6)) {
+       case 0x00:
+               rte_mov64((uint8_t *)dst, (const uint8_t *)src);
+               n -= 64;
+               dst = (uint8_t *)dst + 64;
+               src = (const uint8_t *)src + 64;      /* fallthrough */
+       case 0x01:
+               rte_mov64((uint8_t *)dst, (const uint8_t *)src);
+               n -= 64;
+               dst = (uint8_t *)dst + 64;
+               src = (const uint8_t *)src + 64;      /* fallthrough */
+       case 0x02:
+               rte_mov64((uint8_t *)dst, (const uint8_t *)src);
+               n -= 64;
+               dst = (uint8_t *)dst + 64;
+               src = (const uint8_t *)src + 64;      /* fallthrough */
+       default:
+               ;
+       }
+
+       /*
+        * We split the remaining bytes (which will be less than 64) into
+        * 16byte (2^4) chunks, using the same switch structure as above.
+        */
+       switch (3 - (n >> 4)) {
+       case 0x00:
+               rte_mov16((uint8_t *)dst, (const uint8_t *)src);
+               n -= 16;
+               dst = (uint8_t *)dst + 16;
+               src = (const uint8_t *)src + 16;      /* fallthrough */
+       case 0x01:
+               rte_mov16((uint8_t *)dst, (const uint8_t *)src);
+               n -= 16;
+               dst = (uint8_t *)dst + 16;
+               src = (const uint8_t *)src + 16;      /* fallthrough */
+       case 0x02:
+               rte_mov16((uint8_t *)dst, (const uint8_t *)src);
+               n -= 16;
+               dst = (uint8_t *)dst + 16;
+               src = (const uint8_t *)src + 16;      /* fallthrough */
+       default:
+               ;
+       }
+
+       /* Copy any remaining bytes, without going beyond end of buffers */
+       if (n != 0)
+               rte_mov16((uint8_t *)dst - 16 + n,
+                       (const uint8_t *)src - 16 + n);
+       return ret;
+}
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif /* _RTE_MEMCPY_PPC_64_H_ */