mempool: fix slow allocation of large mempools
[dpdk.git] / app / test / test_malloc.c
index 0673d85..a16e28c 100644 (file)
@@ -1,34 +1,5 @@
-/*-
- *   BSD LICENSE
- *
- *   Copyright(c) 2010-2014 Intel Corporation. All rights reserved.
- *   All rights reserved.
- *
- *   Redistribution and use in source and binary forms, with or without
- *   modification, are permitted provided that the following conditions
- *   are met:
- *
- *     * Redistributions of source code must retain the above copyright
- *       notice, this list of conditions and the following disclaimer.
- *     * Redistributions in binary form must reproduce the above copyright
- *       notice, this list of conditions and the following disclaimer in
- *       the documentation and/or other materials provided with the
- *       distribution.
- *     * Neither the name of Intel Corporation nor the names of its
- *       contributors may be used to endorse or promote products derived
- *       from this software without specific prior written permission.
- *
- *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
- *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
- *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
- *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
- *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
- *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
- *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
- *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
- *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
- *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
- *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
+/* SPDX-License-Identifier: BSD-3-Clause
+ * Copyright(c) 2010-2019 Intel Corporation
  */
 
 #include <stdio.h>
 
 #include <rte_common.h>
 #include <rte_memory.h>
-#include <rte_memzone.h>
 #include <rte_per_lcore.h>
 #include <rte_launch.h>
 #include <rte_eal.h>
-#include <rte_per_lcore.h>
 #include <rte_lcore.h>
 #include <rte_malloc.h>
 #include <rte_cycles.h>
 
 #define N 10000
 
+
+static int
+is_mem_on_socket(int32_t socket);
+
+static int32_t
+addr_to_socket(void *addr);
+
 /*
  * Malloc
  * ======
@@ -109,8 +85,7 @@ test_align_overlap_per_lcore(__attribute__((unused)) void *arg)
                }
                for(j = 0; j < 1000 ; j++) {
                        if( *(char *)p1 != 0) {
-                               printf("rte_zmalloc didn't zero"
-                                      "the allocated memory\n");
+                               printf("rte_zmalloc didn't zero the allocated memory\n");
                                ret = -1;
                        }
                }
@@ -181,8 +156,7 @@ test_reordered_free_per_lcore(__attribute__((unused)) void *arg)
                }
                for(j = 0; j < 1000 ; j++) {
                        if( *(char *)p1 != 0) {
-                               printf("rte_zmalloc didn't zero"
-                                      "the allocated memory\n");
+                               printf("rte_zmalloc didn't zero the allocated memory\n");
                                ret = -1;
                        }
                }
@@ -294,13 +268,26 @@ test_multi_alloc_statistics(void)
        struct rte_malloc_socket_stats pre_stats, post_stats ,first_stats, second_stats;
        size_t size = 2048;
        int align = 1024;
-#ifndef RTE_LIBRTE_MALLOC_DEBUG
-       int trailer_size = 0;
-#else
-       int trailer_size = RTE_CACHE_LINE_SIZE;
-#endif
-       int overhead = RTE_CACHE_LINE_SIZE + trailer_size;
+       int overhead = 0;
+
+       /* Dynamically calculate the overhead by allocating one cacheline and
+        * then comparing what was allocated from the heap.
+        */
+       rte_malloc_get_socket_stats(socket, &pre_stats);
+
+       void *dummy = rte_malloc_socket(NULL, RTE_CACHE_LINE_SIZE, 0, socket);
+       if (dummy == NULL)
+               return -1;
+
+       rte_malloc_get_socket_stats(socket, &post_stats);
+
+       /* after subtracting cache line, remainder is overhead */
+       overhead = post_stats.heap_allocsz_bytes - pre_stats.heap_allocsz_bytes;
+       overhead -= RTE_CACHE_LINE_SIZE;
 
+       rte_free(dummy);
+
+       /* Now start the real tests */
        rte_malloc_get_socket_stats(socket, &pre_stats);
 
        void *p1 = rte_malloc_socket("stats", size , align, socket);
@@ -384,18 +371,6 @@ test_multi_alloc_statistics(void)
        return 0;
 }
 
-static int
-test_rte_malloc_type_limits(void)
-{
-       /* The type-limits functionality is not yet implemented,
-        * so always return 0 no matter what the retval.
-        */
-       const char *typename = "limit_test";
-       rte_malloc_set_limit(typename, 64 * 1024);
-       rte_malloc_dump_stats(stdout, typename);
-       return 0;
-}
-
 static int
 test_realloc(void)
 {
@@ -411,7 +386,7 @@ test_realloc(void)
                printf("NULL pointer returned from rte_zmalloc\n");
                return -1;
        }
-       snprintf(ptr1, size1, "%s" ,hello_str);
+       strlcpy(ptr1, hello_str, size1);
        char *ptr2 = rte_realloc(ptr1, size2, RTE_CACHE_LINE_SIZE);
        if (!ptr2){
                rte_free(ptr1);
@@ -561,7 +536,49 @@ test_realloc(void)
                return -1;
        }
        rte_free(ptr12);
-       return 0;
+
+       /* check realloc_socket part */
+       int32_t socket_count = 0, socket_allocated, socket;
+       int ret = -1;
+       size_t size = 1024;
+
+       ptr1 = NULL;
+       for (socket = 0; socket < RTE_MAX_NUMA_NODES; socket++) {
+               if (is_mem_on_socket(socket)) {
+                       int j = 2;
+
+                       socket_count++;
+                       while (j--) {
+                               /* j == 1 -> resizing */
+                               ptr2 = rte_realloc_socket(ptr1, size,
+                                                         RTE_CACHE_LINE_SIZE,
+                                                         socket);
+                               if (ptr2 == NULL) {
+                                       printf("NULL pointer returned from rte_realloc_socket\n");
+                                       goto end;
+                               }
+
+                               ptr1 = ptr2;
+                               socket_allocated = addr_to_socket(ptr2);
+                               if (socket_allocated != socket) {
+                                       printf("Requested socket (%d) doesn't mach allocated one (%d)\n",
+                                              socket, socket_allocated);
+                                       goto end;
+                               }
+                               size += RTE_CACHE_LINE_SIZE;
+                       }
+               }
+       }
+
+       /* Print warnign if only a single socket, but don't fail the test */
+       if (socket_count < 2)
+               printf("WARNING: realloc_socket test needs memory on multiple sockets!\n");
+
+       ret = 0;
+end:
+       rte_free(ptr1);
+
+       return ret;
 }
 
 static int
@@ -624,7 +641,7 @@ test_rte_malloc_validate(void)
        const size_t request_size = 1024;
        size_t allocated_size;
        char *data_ptr = rte_malloc(NULL, request_size, RTE_CACHE_LINE_SIZE);
-#ifdef RTE_LIBRTE_MALLOC_DEBUG
+#ifdef RTE_MALLOC_DEBUG
        int retval;
        char *over_write_vals = NULL;
 #endif
@@ -646,7 +663,7 @@ test_rte_malloc_validate(void)
        if (allocated_size < request_size)
                err_return();
 
-#ifdef RTE_LIBRTE_MALLOC_DEBUG
+#ifdef RTE_MALLOC_DEBUG
 
        /****** change the header to be bad */
        char save_buf[64];
@@ -738,20 +755,25 @@ err_return:
        return -1;
 }
 
-/* Check if memory is avilable on a specific socket */
 static int
-is_mem_on_socket(int32_t socket)
+check_socket_mem(const struct rte_memseg_list *msl, void *arg)
 {
-       const struct rte_memseg *ms = rte_eal_get_physmem_layout();
-       unsigned i;
+       int32_t *socket = arg;
 
-       for (i = 0; i < RTE_MAX_MEMSEG; i++) {
-               if (socket == ms[i].socket_id)
-                       return 1;
-       }
-       return 0;
+       if (msl->external)
+               return 0;
+
+       return *socket == msl->socket_id;
 }
 
+/* Check if memory is available on a specific socket */
+static int
+is_mem_on_socket(int32_t socket)
+{
+       return rte_memseg_list_walk(check_socket_mem, &socket);
+}
+
+
 /*
  * Find what socket a memory address is on. Only works for addresses within
  * memsegs, not heap or stack...
@@ -759,16 +781,9 @@ is_mem_on_socket(int32_t socket)
 static int32_t
 addr_to_socket(void * addr)
 {
-       const struct rte_memseg *ms = rte_eal_get_physmem_layout();
-       unsigned i;
+       const struct rte_memseg *ms = rte_mem_virt2memseg(addr, NULL);
+       return ms == NULL ? -1 : ms->socket_id;
 
-       for (i = 0; i < RTE_MAX_MEMSEG; i++) {
-               if ((ms[i].addr <= addr) &&
-                               ((uintptr_t)addr <
-                               ((uintptr_t)ms[i].addr + (uintptr_t)ms[i].len)))
-                       return ms[i].socket_id;
-       }
-       return -1;
 }
 
 /* Test using rte_[c|m|zm]alloc_socket() on a specific socket */
@@ -924,15 +939,6 @@ test_malloc(void)
        }
        else printf("test_random_alloc_free() passed\n");
 
-       /*----------------------------*/
-       ret = test_rte_malloc_type_limits();
-       if (ret < 0){
-               printf("test_rte_malloc_type_limits() failed\n");
-               return ret;
-       }
-       /* TODO: uncomment following line once type limits are valid */
-       /*else printf("test_rte_malloc_type_limits() passed\n");*/
-
        /*----------------------------*/
        ret = test_rte_malloc_validate();
        if (ret < 0){