mempool: fix slow allocation of large mempools
[dpdk.git] / lib / librte_ip_frag / ip_frag_internal.c
index cfcab1b..97470a8 100644 (file)
@@ -1,42 +1,11 @@
-/*-
- *   BSD LICENSE
- *
- *   Copyright(c) 2010-2014 Intel Corporation. All rights reserved.
- *   All rights reserved.
- *
- *   Redistribution and use in source and binary forms, with or without
- *   modification, are permitted provided that the following conditions
- *   are met:
- *
- *     * Redistributions of source code must retain the above copyright
- *       notice, this list of conditions and the following disclaimer.
- *     * Redistributions in binary form must reproduce the above copyright
- *       notice, this list of conditions and the following disclaimer in
- *       the documentation and/or other materials provided with the
- *       distribution.
- *     * Neither the name of Intel Corporation nor the names of its
- *       contributors may be used to endorse or promote products derived
- *       from this software without specific prior written permission.
- *
- *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
- *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
- *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
- *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
- *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
- *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
- *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
- *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
- *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
- *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
- *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
+/* SPDX-License-Identifier: BSD-3-Clause
+ * Copyright(c) 2010-2014 Intel Corporation
  */
 
 #include <stddef.h>
 
 #include <rte_jhash.h>
-#ifdef RTE_MACHINE_CPUFLAG_SSE4_2
 #include <rte_hash_crc.h>
-#endif /* RTE_MACHINE_CPUFLAG_SSE4_2 */
 
 #include "ip_frag_common.h"
 
 #define        IP_FRAG_TBL_POS(tbl, sig)       \
        ((tbl)->pkt + ((sig) & (tbl)->entry_mask))
 
-#ifdef RTE_LIBRTE_IP_FRAG_TBL_STAT
-#define        IP_FRAG_TBL_STAT_UPDATE(s, f, v)        ((s)->f += (v))
-#else
-#define        IP_FRAG_TBL_STAT_UPDATE(s, f, v)        do {} while (0)
-#endif /* IP_FRAG_TBL_STAT */
-
-/* local frag table helper functions */
 static inline void
-ip_frag_tbl_del(struct rte_ip_frag_tbl *tbl, struct rte_ip_frag_death_row *dr,
-       struct rte_ip_frag_pkt *fp)
-{
-       ip_frag_free(fp, dr);
-       ip_frag_key_invalidate(&fp->key);
-       TAILQ_REMOVE(&tbl->lru, fp, lru);
-       tbl->use_entries--;
-       IP_FRAG_TBL_STAT_UPDATE(&tbl->stat, del_num, 1);
-}
-
-static inline void
-ip_frag_tbl_add(struct rte_ip_frag_tbl *tbl,  struct rte_ip_frag_pkt *fp,
+ip_frag_tbl_add(struct rte_ip_frag_tbl *tbl,  struct ip_frag_pkt *fp,
        const struct ip_frag_key *key, uint64_t tms)
 {
        fp->key = key[0];
@@ -76,7 +27,7 @@ ip_frag_tbl_add(struct rte_ip_frag_tbl *tbl,  struct rte_ip_frag_pkt *fp,
 
 static inline void
 ip_frag_tbl_reuse(struct rte_ip_frag_tbl *tbl, struct rte_ip_frag_death_row *dr,
-       struct rte_ip_frag_pkt *fp, uint64_t tms)
+       struct ip_frag_pkt *fp, uint64_t tms)
 {
        ip_frag_free(fp, dr);
        ip_frag_reset(fp, tms);
@@ -94,14 +45,14 @@ ipv4_frag_hash(const struct ip_frag_key *key, uint32_t *v1, uint32_t *v2)
 
        p = (const uint32_t *)&key->src_dst;
 
-#ifdef RTE_MACHINE_CPUFLAG_SSE4_2
+#ifdef RTE_ARCH_X86
        v = rte_hash_crc_4byte(p[0], PRIME_VALUE);
        v = rte_hash_crc_4byte(p[1], v);
        v = rte_hash_crc_4byte(key->id, v);
 #else
 
        v = rte_jhash_3words(p[0], p[1], key->id, PRIME_VALUE);
-#endif /* RTE_MACHINE_CPUFLAG_SSE4_2 */
+#endif /* RTE_ARCH_X86 */
 
        *v1 =  v;
        *v2 = (v << 7) + (v >> 14);
@@ -115,7 +66,7 @@ ipv6_frag_hash(const struct ip_frag_key *key, uint32_t *v1, uint32_t *v2)
 
        p = (const uint32_t *) &key->src_dst;
 
-#ifdef RTE_MACHINE_CPUFLAG_SSE4_2
+#ifdef RTE_ARCH_X86
        v = rte_hash_crc_4byte(p[0], PRIME_VALUE);
        v = rte_hash_crc_4byte(p[1], v);
        v = rte_hash_crc_4byte(p[2], v);
@@ -130,14 +81,14 @@ ipv6_frag_hash(const struct ip_frag_key *key, uint32_t *v1, uint32_t *v2)
        v = rte_jhash_3words(p[0], p[1], p[2], PRIME_VALUE);
        v = rte_jhash_3words(p[3], p[4], p[5], v);
        v = rte_jhash_3words(p[6], p[7], key->id, v);
-#endif /* RTE_MACHINE_CPUFLAG_SSE4_2 */
+#endif /* RTE_ARCH_X86 */
 
        *v1 =  v;
        *v2 = (v << 7) + (v >> 14);
 }
 
 struct rte_mbuf *
-ip_frag_process(struct rte_ip_frag_pkt *fp, struct rte_ip_frag_death_row *dr,
+ip_frag_process(struct ip_frag_pkt *fp, struct rte_ip_frag_death_row *dr,
        struct rte_mbuf *mb, uint16_t ofs, uint16_t len, uint16_t more_frags)
 {
        uint32_t idx;
@@ -162,7 +113,7 @@ ip_frag_process(struct rte_ip_frag_pkt *fp, struct rte_ip_frag_death_row *dr,
        }
 
        /*
-        * errorneous packet: either exceeed max allowed number of fragments,
+        * erroneous packet: either exceed max allowed number of fragments,
         * or duplicate first/last fragment encountered.
         */
        if (idx >= sizeof (fp->frags) / sizeof (fp->frags[0])) {
@@ -183,7 +134,7 @@ ip_frag_process(struct rte_ip_frag_pkt *fp, struct rte_ip_frag_death_row *dr,
                                fp->frags[IP_LAST_FRAG_IDX].len);
                else
                        IP_FRAG_LOG(DEBUG, "%s:%d invalid fragmented packet:\n"
-                               "ipv4_frag_pkt: %p, key: <" IPv6_KEY_BYTES_FMT ", %#x>, "
+                               "ipv6_frag_pkt: %p, key: <" IPv6_KEY_BYTES_FMT ", %#x>, "
                                "total_size: %u, frag_size: %u, last_idx: %u\n"
                                "first fragment: ofs: %u, len: %u\n"
                                "last fragment: ofs: %u, len: %u\n\n",
@@ -200,7 +151,7 @@ ip_frag_process(struct rte_ip_frag_pkt *fp, struct rte_ip_frag_death_row *dr,
                ip_frag_key_invalidate(&fp->key);
                IP_FRAG_MBUF2DR(dr, mb);
 
-               return (NULL);
+               return NULL;
        }
 
        fp->frags[idx].ofs = ofs;
@@ -211,7 +162,7 @@ ip_frag_process(struct rte_ip_frag_pkt *fp, struct rte_ip_frag_death_row *dr,
 
        /* not all fragments are collected yet. */
        if (likely (fp->frag_size < fp->total_size)) {
-               return (mb);
+               return mb;
 
        /* if we collected all fragments, then try to reassemble. */
        } else if (fp->frag_size == fp->total_size &&
@@ -241,7 +192,7 @@ ip_frag_process(struct rte_ip_frag_pkt *fp, struct rte_ip_frag_death_row *dr,
                                fp->frags[IP_LAST_FRAG_IDX].len);
                else
                        IP_FRAG_LOG(DEBUG, "%s:%d invalid fragmented packet:\n"
-                               "ipv4_frag_pkt: %p, key: <" IPv6_KEY_BYTES_FMT ", %#x>, "
+                               "ipv6_frag_pkt: %p, key: <" IPv6_KEY_BYTES_FMT ", %#x>, "
                                "total_size: %u, frag_size: %u, last_idx: %u\n"
                                "first fragment: ofs: %u, len: %u\n"
                                "last fragment: ofs: %u, len: %u\n\n",
@@ -259,7 +210,7 @@ ip_frag_process(struct rte_ip_frag_pkt *fp, struct rte_ip_frag_death_row *dr,
 
        /* we are done with that entry, invalidate it. */
        ip_frag_key_invalidate(&fp->key);
-       return (mb);
+       return mb;
 }
 
 
@@ -268,11 +219,11 @@ ip_frag_process(struct rte_ip_frag_pkt *fp, struct rte_ip_frag_death_row *dr,
  * If such entry is not present, then allocate a new one.
  * If the entry is stale, then free and reuse it.
  */
-struct rte_ip_frag_pkt *
+struct ip_frag_pkt *
 ip_frag_find(struct rte_ip_frag_tbl *tbl, struct rte_ip_frag_death_row *dr,
        const struct ip_frag_key *key, uint64_t tms)
 {
-       struct rte_ip_frag_pkt *pkt, *free, *stale, *lru;
+       struct ip_frag_pkt *pkt, *free, *stale, *lru;
        uint64_t max_cycles;
 
        /*
@@ -327,16 +278,16 @@ ip_frag_find(struct rte_ip_frag_tbl *tbl, struct rte_ip_frag_death_row *dr,
        IP_FRAG_TBL_STAT_UPDATE(&tbl->stat, fail_total, (pkt == NULL));
 
        tbl->last = pkt;
-       return (pkt);
+       return pkt;
 }
 
-struct rte_ip_frag_pkt *
+struct ip_frag_pkt *
 ip_frag_lookup(struct rte_ip_frag_tbl *tbl,
        const struct ip_frag_key *key, uint64_t tms,
-       struct rte_ip_frag_pkt **free, struct rte_ip_frag_pkt **stale)
+       struct ip_frag_pkt **free, struct ip_frag_pkt **stale)
 {
-       struct rte_ip_frag_pkt *p1, *p2;
-       struct rte_ip_frag_pkt *empty, *old;
+       struct ip_frag_pkt *p1, *p2;
+       struct ip_frag_pkt *empty, *old;
        uint64_t max_cycles;
        uint32_t i, assoc, sig1, sig2;
 
@@ -346,11 +297,11 @@ ip_frag_lookup(struct rte_ip_frag_tbl *tbl,
        max_cycles = tbl->max_cycles;
        assoc = tbl->bucket_entries;
 
-       if (tbl->last != NULL && ip_frag_key_cmp(&tbl->last->key, key) == 0)
-               return (tbl->last);
+       if (tbl->last != NULL && ip_frag_key_cmp(key, &tbl->last->key) == 0)
+               return tbl->last;
 
        /* different hashing methods for IPv4 and IPv6 */
-       if (key->key_len == 1)
+       if (key->key_len == IPV4_KEYLEN)
                ipv4_frag_hash(key, &sig1, &sig2);
        else
                ipv6_frag_hash(key, &sig1, &sig2);
@@ -362,7 +313,7 @@ ip_frag_lookup(struct rte_ip_frag_tbl *tbl,
                if (p1->key.key_len == IPV4_KEYLEN)
                        IP_FRAG_LOG(DEBUG, "%s:%d:\n"
                                        "tbl: %p, max_entries: %u, use_entries: %u\n"
-                                       "ipv6_frag_pkt line0: %p, index: %u from %u\n"
+                                       "ipv4_frag_pkt line0: %p, index: %u from %u\n"
                        "key: <%" PRIx64 ", %#x>, start: %" PRIu64 "\n",
                                        __func__, __LINE__,
                                        tbl, tbl->max_entries, tbl->use_entries,
@@ -378,8 +329,8 @@ ip_frag_lookup(struct rte_ip_frag_tbl *tbl,
                                        p1, i, assoc,
                        IPv6_KEY_BYTES(p1[i].key.src_dst), p1[i].key.id, p1[i].start);
 
-               if (ip_frag_key_cmp(&p1[i].key, key) == 0)
-                       return (p1 + i);
+               if (ip_frag_key_cmp(key, &p1[i].key) == 0)
+                       return p1 + i;
                else if (ip_frag_key_is_empty(&p1[i].key))
                        empty = (empty == NULL) ? (p1 + i) : empty;
                else if (max_cycles + p1[i].start < tms)
@@ -388,7 +339,7 @@ ip_frag_lookup(struct rte_ip_frag_tbl *tbl,
                if (p2->key.key_len == IPV4_KEYLEN)
                        IP_FRAG_LOG(DEBUG, "%s:%d:\n"
                                        "tbl: %p, max_entries: %u, use_entries: %u\n"
-                                       "ipv6_frag_pkt line1: %p, index: %u from %u\n"
+                                       "ipv4_frag_pkt line1: %p, index: %u from %u\n"
                        "key: <%" PRIx64 ", %#x>, start: %" PRIu64 "\n",
                                        __func__, __LINE__,
                                        tbl, tbl->max_entries, tbl->use_entries,
@@ -404,8 +355,8 @@ ip_frag_lookup(struct rte_ip_frag_tbl *tbl,
                                        p2, i, assoc,
                        IPv6_KEY_BYTES(p2[i].key.src_dst), p2[i].key.id, p2[i].start);
 
-               if (ip_frag_key_cmp(&p2[i].key, key) == 0)
-                       return (p2 + i);
+               if (ip_frag_key_cmp(key, &p2[i].key) == 0)
+                       return p2 + i;
                else if (ip_frag_key_is_empty(&p2[i].key))
                        empty = (empty == NULL) ?( p2 + i) : empty;
                else if (max_cycles + p2[i].start < tms)
@@ -414,5 +365,5 @@ ip_frag_lookup(struct rte_ip_frag_tbl *tbl,
 
        *free = empty;
        *stale = old;
-       return (NULL);
+       return NULL;
 }