lib/librte_eal/common/malloc_heap.c

   1 /* SPDX-License-Identifier: BSD-3-Clause
   2  * Copyright(c) 2010-2014 Intel Corporation
   3  */
   4 #include <stdint.h>
   5 #include <stddef.h>
   6 #include <stdlib.h>
   7 #include <stdio.h>
   8 #include <stdarg.h>
   9 #include <errno.h>
  10 #include <sys/queue.h>
  11
  12 #include <rte_memory.h>
  13 #include <rte_eal.h>
  14 #include <rte_eal_memconfig.h>
  15 #include <rte_launch.h>
  16 #include <rte_per_lcore.h>
  17 #include <rte_lcore.h>
  18 #include <rte_common.h>
  19 #include <rte_string_fns.h>
  20 #include <rte_spinlock.h>
  21 #include <rte_memcpy.h>
  22 #include <rte_atomic.h>
  23
  24 #include "malloc_elem.h"
  25 #include "malloc_heap.h"
  26
  27 static unsigned
  28 check_hugepage_sz(unsigned flags, uint64_t hugepage_sz)
  29 {
  30         unsigned check_flag = 0;
  31
  32         if (!(flags & ~RTE_MEMZONE_SIZE_HINT_ONLY))
  33                 return 1;
  34
  35         switch (hugepage_sz) {
  36         case RTE_PGSIZE_256K:
  37                 check_flag = RTE_MEMZONE_256KB;
  38                 break;
  39         case RTE_PGSIZE_2M:
  40                 check_flag = RTE_MEMZONE_2MB;
  41                 break;
  42         case RTE_PGSIZE_16M:
  43                 check_flag = RTE_MEMZONE_16MB;
  44                 break;
  45         case RTE_PGSIZE_256M:
  46                 check_flag = RTE_MEMZONE_256MB;
  47                 break;
  48         case RTE_PGSIZE_512M:
  49                 check_flag = RTE_MEMZONE_512MB;
  50                 break;
  51         case RTE_PGSIZE_1G:
  52                 check_flag = RTE_MEMZONE_1GB;
  53                 break;
  54         case RTE_PGSIZE_4G:
  55                 check_flag = RTE_MEMZONE_4GB;
  56                 break;
  57         case RTE_PGSIZE_16G:
  58                 check_flag = RTE_MEMZONE_16GB;
  59         }
  60
  61         return check_flag & flags;
  62 }
  63
  64 /*
  65  * Expand the heap with a memseg.
  66  * This reserves the zone and sets a dummy malloc_elem header at the end
  67  * to prevent overflow. The rest of the zone is added to free list as a single
  68  * large free block
  69  */
  70 static void
  71 malloc_heap_add_memseg(struct malloc_heap *heap, struct rte_memseg *ms)
  72 {
  73         /* allocate the memory block headers, one at end, one at start */
  74         struct malloc_elem *start_elem = (struct malloc_elem *)ms->addr;
  75         struct malloc_elem *end_elem = RTE_PTR_ADD(ms->addr,
  76                         ms->len - MALLOC_ELEM_OVERHEAD);
  77         end_elem = RTE_PTR_ALIGN_FLOOR(end_elem, RTE_CACHE_LINE_SIZE);
  78         const size_t elem_size = (uintptr_t)end_elem - (uintptr_t)start_elem;
  79
  80         malloc_elem_init(start_elem, heap, ms, elem_size);
  81         malloc_elem_mkend(end_elem, start_elem);
  82         malloc_elem_free_list_insert(start_elem);
  83
  84         heap->total_size += elem_size;
  85 }
  86
  87 /*
  88  * Iterates through the freelist for a heap to find a free element
  89  * which can store data of the required size and with the requested alignment.
  90  * If size is 0, find the biggest available elem.
  91  * Returns null on failure, or pointer to element on success.
  92  */
  93 static struct malloc_elem *
  94 find_suitable_element(struct malloc_heap *heap, size_t size,
  95                 unsigned flags, size_t align, size_t bound)
  96 {
  97         size_t idx;
  98         struct malloc_elem *elem, *alt_elem = NULL;
  99
 100         for (idx = malloc_elem_free_list_index(size);
 101                         idx < RTE_HEAP_NUM_FREELISTS; idx++) {
 102                 for (elem = LIST_FIRST(&heap->free_head[idx]);
 103                                 !!elem; elem = LIST_NEXT(elem, free_list)) {
 104                         if (malloc_elem_can_hold(elem, size, align, bound)) {
 105                                 if (check_hugepage_sz(flags, elem->ms->hugepage_sz))
 106                                         return elem;
 107                                 if (alt_elem == NULL)
 108                                         alt_elem = elem;
 109                         }
 110                 }
 111         }
 112
 113         if ((alt_elem != NULL) && (flags & RTE_MEMZONE_SIZE_HINT_ONLY))
 114                 return alt_elem;
 115
 116         return NULL;
 117 }
 118
 119 /*
 120  * Main function to allocate a block of memory from the heap.
 121  * It locks the free list, scans it, and adds a new memseg if the
 122  * scan fails. Once the new memseg is added, it re-scans and should return
 123  * the new element after releasing the lock.
 124  */
 125 void *
 126 malloc_heap_alloc(struct malloc_heap *heap,
 127                 const char *type __attribute__((unused)), size_t size, unsigned flags,
 128                 size_t align, size_t bound)
 129 {
 130         struct malloc_elem *elem;
 131
 132         size = RTE_CACHE_LINE_ROUNDUP(size);
 133         align = RTE_CACHE_LINE_ROUNDUP(align);
 134
 135         rte_spinlock_lock(&heap->lock);
 136
 137         elem = find_suitable_element(heap, size, flags, align, bound);
 138         if (elem != NULL) {
 139                 elem = malloc_elem_alloc(elem, size, align, bound);
 140                 /* increase heap's count of allocated elements */
 141                 heap->alloc_count++;
 142         }
 143         rte_spinlock_unlock(&heap->lock);
 144
 145         return elem == NULL ? NULL : (void *)(&elem[1]);
 146 }
 147
 148 /*
 149  * Function to retrieve data for heap on given socket
 150  */
 151 int
 152 malloc_heap_get_stats(struct malloc_heap *heap,
 153                 struct rte_malloc_socket_stats *socket_stats)
 154 {
 155         size_t idx;
 156         struct malloc_elem *elem;
 157
 158         rte_spinlock_lock(&heap->lock);
 159
 160         /* Initialise variables for heap */
 161         socket_stats->free_count = 0;
 162         socket_stats->heap_freesz_bytes = 0;
 163         socket_stats->greatest_free_size = 0;
 164
 165         /* Iterate through free list */
 166         for (idx = 0; idx < RTE_HEAP_NUM_FREELISTS; idx++) {
 167                 for (elem = LIST_FIRST(&heap->free_head[idx]);
 168                         !!elem; elem = LIST_NEXT(elem, free_list))
 169                 {
 170                         socket_stats->free_count++;
 171                         socket_stats->heap_freesz_bytes += elem->size;
 172                         if (elem->size > socket_stats->greatest_free_size)
 173                                 socket_stats->greatest_free_size = elem->size;
 174                 }
 175         }
 176         /* Get stats on overall heap and allocated memory on this heap */
 177         socket_stats->heap_totalsz_bytes = heap->total_size;
 178         socket_stats->heap_allocsz_bytes = (socket_stats->heap_totalsz_bytes -
 179                         socket_stats->heap_freesz_bytes);
 180         socket_stats->alloc_count = heap->alloc_count;
 181
 182         rte_spinlock_unlock(&heap->lock);
 183         return 0;
 184 }
 185
 186 int
 187 rte_eal_malloc_heap_init(void)
 188 {
 189         struct rte_mem_config *mcfg = rte_eal_get_configuration()->mem_config;
 190         unsigned ms_cnt;
 191         struct rte_memseg *ms;
 192
 193         if (mcfg == NULL)
 194                 return -1;
 195
 196         for (ms = &mcfg->memseg[0], ms_cnt = 0;
 197                         (ms_cnt < RTE_MAX_MEMSEG) && (ms->len > 0);
 198                         ms_cnt++, ms++) {
 199                 malloc_heap_add_memseg(&mcfg->malloc_heaps[ms->socket_id], ms);
 200         }
 201
 202         return 0;
 203 }