lpm: extend IPv4 next hop field
[dpdk.git] / app / test / test_lpm.c
index 162c22a..f367553 100644 (file)
@@ -1,35 +1,34 @@
 /*-
  *   BSD LICENSE
- * 
- *   Copyright(c) 2010-2013 Intel Corporation. All rights reserved.
+ *
+ *   Copyright(c) 2010-2014 Intel Corporation. All rights reserved.
  *   All rights reserved.
- * 
- *   Redistribution and use in source and binary forms, with or without 
- *   modification, are permitted provided that the following conditions 
+ *
+ *   Redistribution and use in source and binary forms, with or without
+ *   modification, are permitted provided that the following conditions
  *   are met:
- * 
- *     * Redistributions of source code must retain the above copyright 
+ *
+ *     * Redistributions of source code must retain the above copyright
  *       notice, this list of conditions and the following disclaimer.
- *     * Redistributions in binary form must reproduce the above copyright 
- *       notice, this list of conditions and the following disclaimer in 
- *       the documentation and/or other materials provided with the 
+ *     * Redistributions in binary form must reproduce the above copyright
+ *       notice, this list of conditions and the following disclaimer in
+ *       the documentation and/or other materials provided with the
  *       distribution.
- *     * Neither the name of Intel Corporation nor the names of its 
- *       contributors may be used to endorse or promote products derived 
+ *     * Neither the name of Intel Corporation nor the names of its
+ *       contributors may be used to endorse or promote products derived
  *       from this software without specific prior written permission.
- * 
- *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS 
- *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT 
- *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR 
- *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT 
- *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, 
- *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT 
- *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, 
- *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY 
- *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT 
- *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE 
+ *
+ *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
+ *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
+ *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
+ *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
+ *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
+ *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
+ *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
+ *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
+ *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
+ *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
- * 
  */
 
 #include <stdio.h>
@@ -37,7 +36,6 @@
 #include <stdlib.h>
 #include <errno.h>
 #include <sys/queue.h>
-#include <cmdline_parse.h>
 
 #include <rte_common.h>
 #include <rte_cycles.h>
@@ -49,8 +47,6 @@
 
 #include "test.h"
 
-#ifdef RTE_LIBRTE_LPM
-
 #include "rte_lpm.h"
 #include "test_lpm_routes.h"
 
@@ -61,7 +57,7 @@
        }                                                                     \
 } while(0)
 
-typedef int32_t (* rte_lpm_test)(void);
+typedef int32_t (*rte_lpm_test)(void);
 
 static int32_t test0(void);
 static int32_t test1(void);
@@ -169,7 +165,7 @@ test2(void)
 {
        struct rte_lpm *lpm = NULL;
 
-       lpm = rte_lpm_create(__func__, SOCKET_ID_ANY, MAX_RULES, RTE_LPM_HEAP);
+       lpm = rte_lpm_create(__func__, SOCKET_ID_ANY, MAX_RULES, 0);
        TEST_LPM_ASSERT(lpm != NULL);
 
        rte_lpm_free(lpm);
@@ -184,8 +180,8 @@ int32_t
 test3(void)
 {
        struct rte_lpm *lpm = NULL;
-       uint32_t ip = IPv4(0, 0, 0, 0);
-       uint8_t depth = 24, next_hop = 100;
+       uint32_t ip = IPv4(0, 0, 0, 0), next_hop = 100;
+       uint8_t depth = 24;
        int32_t status = 0;
 
        /* rte_lpm_add: lpm == NULL */
@@ -251,8 +247,7 @@ test5(void)
 {
 #if defined(RTE_LIBRTE_LPM_DEBUG)
        struct rte_lpm *lpm = NULL;
-       uint32_t ip = IPv4(0, 0, 0, 0);
-       uint8_t next_hop_return = 0;
+       uint32_t ip = IPv4(0, 0, 0, 0), next_hop_return = 0;
        int32_t status = 0;
 
        /* rte_lpm_lookup: lpm == NULL */
@@ -281,8 +276,8 @@ int32_t
 test6(void)
 {
        struct rte_lpm *lpm = NULL;
-       uint32_t ip = IPv4(0, 0, 0, 0);
-       uint8_t depth = 24, next_hop_add = 100, next_hop_return = 0;
+       uint32_t ip = IPv4(0, 0, 0, 0), next_hop_add = 100, next_hop_return = 0;
+       uint8_t depth = 24;
        int32_t status = 0;
 
        lpm = rte_lpm_create(__func__, SOCKET_ID_ANY, MAX_RULES, 0);
@@ -312,9 +307,11 @@ test6(void)
 int32_t
 test7(void)
 {
+       __m128i ipx4;
+       uint32_t hop[4];
        struct rte_lpm *lpm = NULL;
-       uint32_t ip = IPv4(0, 0, 0, 0);
-       uint8_t depth = 32, next_hop_add = 100, next_hop_return = 0;
+       uint32_t ip = IPv4(0, 0, 0, 0), next_hop_add = 100, next_hop_return = 0;
+       uint8_t depth = 32;
        int32_t status = 0;
 
        lpm = rte_lpm_create(__func__, SOCKET_ID_ANY, MAX_RULES, 0);
@@ -326,6 +323,13 @@ test7(void)
        status = rte_lpm_lookup(lpm, ip, &next_hop_return);
        TEST_LPM_ASSERT((status == 0) && (next_hop_return == next_hop_add));
 
+       ipx4 = _mm_set_epi32(ip, ip + 0x100, ip - 0x100, ip);
+       rte_lpm_lookupx4(lpm, ipx4, hop, UINT32_MAX);
+       TEST_LPM_ASSERT(hop[0] == next_hop_add);
+       TEST_LPM_ASSERT(hop[1] == UINT32_MAX);
+       TEST_LPM_ASSERT(hop[2] == UINT32_MAX);
+       TEST_LPM_ASSERT(hop[3] == next_hop_add);
+
        status = rte_lpm_delete(lpm, ip, depth);
        TEST_LPM_ASSERT(status == 0);
 
@@ -349,9 +353,12 @@ test7(void)
 int32_t
 test8(void)
 {
+       __m128i ipx4;
+       uint32_t hop[4];
        struct rte_lpm *lpm = NULL;
        uint32_t ip1 = IPv4(127, 255, 255, 255), ip2 = IPv4(128, 0, 0, 0);
-       uint8_t depth, next_hop_add, next_hop_return;
+       uint32_t next_hop_add, next_hop_return;
+       uint8_t depth;
        int32_t status = 0;
 
        lpm = rte_lpm_create(__func__, SOCKET_ID_ANY, MAX_RULES, 0);
@@ -372,6 +379,13 @@ test8(void)
                status = rte_lpm_lookup(lpm, ip2, &next_hop_return);
                TEST_LPM_ASSERT((status == 0) &&
                        (next_hop_return == next_hop_add));
+
+               ipx4 = _mm_set_epi32(ip2, ip1, ip2, ip1);
+               rte_lpm_lookupx4(lpm, ipx4, hop, UINT32_MAX);
+               TEST_LPM_ASSERT(hop[0] == UINT32_MAX);
+               TEST_LPM_ASSERT(hop[1] == next_hop_add);
+               TEST_LPM_ASSERT(hop[2] == UINT32_MAX);
+               TEST_LPM_ASSERT(hop[3] == next_hop_add);
        }
 
        /* Loop with rte_lpm_delete. */
@@ -386,13 +400,24 @@ test8(void)
                if (depth != 1) {
                        TEST_LPM_ASSERT((status == 0) &&
                                (next_hop_return == next_hop_add));
-               }
-               else {
+               } else {
                        TEST_LPM_ASSERT(status == -ENOENT);
                }
 
                status = rte_lpm_lookup(lpm, ip1, &next_hop_return);
                TEST_LPM_ASSERT(status == -ENOENT);
+
+               ipx4 = _mm_set_epi32(ip1, ip1, ip2, ip2);
+               rte_lpm_lookupx4(lpm, ipx4, hop, UINT32_MAX);
+               if (depth != 1) {
+                       TEST_LPM_ASSERT(hop[0] == next_hop_add);
+                       TEST_LPM_ASSERT(hop[1] == next_hop_add);
+               } else {
+                       TEST_LPM_ASSERT(hop[0] == UINT32_MAX);
+                       TEST_LPM_ASSERT(hop[1] == UINT32_MAX);
+               }
+               TEST_LPM_ASSERT(hop[2] == UINT32_MAX);
+               TEST_LPM_ASSERT(hop[3] == UINT32_MAX);
        }
 
        rte_lpm_free(lpm);
@@ -412,8 +437,8 @@ test9(void)
 {
        struct rte_lpm *lpm = NULL;
        uint32_t ip, ip_1, ip_2;
-       uint8_t depth, depth_1, depth_2, next_hop_add, next_hop_add_1,
-               next_hop_add_2, next_hop_return;
+       uint8_t depth, depth_1, depth_2;
+       uint32_t next_hop_add, next_hop_add_1, next_hop_add_2, next_hop_return;
        int32_t status = 0;
 
        /* Add & lookup to hit invalid TBL24 entry */
@@ -575,13 +600,13 @@ test10(void)
 {
 
        struct rte_lpm *lpm = NULL;
-       uint32_t ip;
-       uint8_t depth, next_hop_add, next_hop_return;
+       uint32_t ip, next_hop_add, next_hop_return;
+       uint8_t depth;
        int32_t status = 0;
 
        /* Add rule that covers a TBL24 range previously invalid & lookup
         * (& delete & lookup) */
-       lpm = rte_lpm_create(__func__, SOCKET_ID_ANY, MAX_RULES, RTE_LPM_HEAP);
+       lpm = rte_lpm_create(__func__, SOCKET_ID_ANY, MAX_RULES, 0);
        TEST_LPM_ASSERT(lpm != NULL);
 
        ip = IPv4(128, 0, 0, 0);
@@ -761,8 +786,8 @@ test11(void)
 {
 
        struct rte_lpm *lpm = NULL;
-       uint32_t ip;
-       uint8_t depth, next_hop_add, next_hop_return;
+       uint32_t ip, next_hop_add, next_hop_return;
+       uint8_t depth;
        int32_t status = 0;
 
        lpm = rte_lpm_create(__func__, SOCKET_ID_ANY, MAX_RULES, 0);
@@ -824,9 +849,11 @@ test11(void)
 int32_t
 test12(void)
 {
+       __m128i ipx4;
+       uint32_t hop[4];
        struct rte_lpm *lpm = NULL;
-       uint32_t ip, i;
-       uint8_t depth, next_hop_add, next_hop_return;
+       uint32_t ip, i, next_hop_add, next_hop_return;
+       uint8_t depth;
        int32_t status = 0;
 
        lpm = rte_lpm_create(__func__, SOCKET_ID_ANY, MAX_RULES, 0);
@@ -844,6 +871,13 @@ test12(void)
                TEST_LPM_ASSERT((status == 0) &&
                                (next_hop_return == next_hop_add));
 
+               ipx4 = _mm_set_epi32(ip, ip + 1, ip, ip - 1);
+               rte_lpm_lookupx4(lpm, ipx4, hop, UINT32_MAX);
+               TEST_LPM_ASSERT(hop[0] == UINT32_MAX);
+               TEST_LPM_ASSERT(hop[1] == next_hop_add);
+               TEST_LPM_ASSERT(hop[2] == UINT32_MAX);
+               TEST_LPM_ASSERT(hop[3] == next_hop_add);
+
                status = rte_lpm_delete(lpm, ip, depth);
                TEST_LPM_ASSERT(status == 0);
 
@@ -868,8 +902,8 @@ int32_t
 test13(void)
 {
        struct rte_lpm *lpm = NULL;
-       uint32_t ip, i;
-       uint8_t depth, next_hop_add_1, next_hop_add_2, next_hop_return;
+       uint32_t ip, i, next_hop_add_1, next_hop_add_2, next_hop_return;
+       uint8_t depth;
        int32_t status = 0;
 
        lpm = rte_lpm_create(__func__, SOCKET_ID_ANY, MAX_RULES, 0);
@@ -930,8 +964,8 @@ test14(void)
         * that we have enough storage for all rules at that depth*/
 
        struct rte_lpm *lpm = NULL;
-       uint32_t ip;
-       uint8_t depth, next_hop_add, next_hop_return;
+       uint32_t ip, next_hop_add, next_hop_return;
+       uint8_t depth;
        int32_t status = 0;
 
        /* Add enough space for 256 rules for every depth */
@@ -1009,7 +1043,7 @@ test16(void)
                        256 * 32, 0);
 
        /* ip loops through all possibilities for top 24 bits of address */
-       for (ip = 0; ip < 0xFFFFFF; ip++){
+       for (ip = 0; ip < 0xFFFFFF; ip++) {
                /* add an entry within a different tbl8 each time, since
                 * depth >24 and the top 24 bits are different */
                if (rte_lpm_add(lpm, (ip << 8) + 0xF0, 30, 0) < 0)
@@ -1043,10 +1077,10 @@ test17(void)
        const uint8_t d_ip_10_32 = 32,
                        d_ip_10_24 = 24,
                        d_ip_20_25 = 25;
-       const uint8_t next_hop_ip_10_32 = 100,
+       const uint32_t next_hop_ip_10_32 = 100,
                        next_hop_ip_10_24 = 105,
                        next_hop_ip_20_25 = 111;
-       uint8_t next_hop_return = 0;
+       uint32_t next_hop_return = 0;
        int32_t status = 0;
 
        lpm = rte_lpm_create(__func__, SOCKET_ID_ANY, MAX_RULES, 0);
@@ -1057,7 +1091,7 @@ test17(void)
                return -1;
 
        status = rte_lpm_lookup(lpm, ip_10_32, &next_hop_return);
-       uint8_t test_hop_10_32 = next_hop_return;
+       uint32_t test_hop_10_32 = next_hop_return;
        TEST_LPM_ASSERT(status == 0);
        TEST_LPM_ASSERT(next_hop_return == next_hop_ip_10_32);
 
@@ -1066,7 +1100,7 @@ test17(void)
                        return -1;
 
        status = rte_lpm_lookup(lpm, ip_10_24, &next_hop_return);
-       uint8_t test_hop_10_24 = next_hop_return;
+       uint32_t test_hop_10_24 = next_hop_return;
        TEST_LPM_ASSERT(status == 0);
        TEST_LPM_ASSERT(next_hop_return == next_hop_ip_10_24);
 
@@ -1075,7 +1109,7 @@ test17(void)
                return -1;
 
        status = rte_lpm_lookup(lpm, ip_20_25, &next_hop_return);
-       uint8_t test_hop_20_25 = next_hop_return;
+       uint32_t test_hop_20_25 = next_hop_return;
        TEST_LPM_ASSERT(status == 0);
        TEST_LPM_ASSERT(next_hop_return == next_hop_ip_20_25);
 
@@ -1084,7 +1118,7 @@ test17(void)
                return -1;
        }
 
-       if (test_hop_10_24 == test_hop_20_25){
+       if (test_hop_10_24 == test_hop_20_25) {
                printf("Next hop return equal\n");
                return -1;
        }
@@ -1120,7 +1154,7 @@ print_route_distribution(const struct route_rule *table, uint32_t n)
        printf("--------------------------- \n");
 
        /* Count depths. */
-       for(i = 1; i <= 32; i++) {
+       for (i = 1; i <= 32; i++) {
                unsigned depth_counter = 0;
                double percent_hits;
 
@@ -1140,7 +1174,7 @@ perf_test(void)
        struct rte_lpm *lpm = NULL;
        uint64_t begin, total_time, lpm_used_entries = 0;
        unsigned i, j;
-       uint8_t next_hop_add = 0xAA, next_hop_return = 0;
+       uint32_t next_hop_add = 0xAA, next_hop_return = 0;
        int status = 0;
        uint64_t cache_line_counter = 0;
        int64_t count = 0;
@@ -1171,7 +1205,7 @@ perf_test(void)
                if (lpm->tbl24[i].valid)
                        lpm_used_entries++;
 
-               if (i % 32 == 0){
+               if (i % 32 == 0) {
                        if ((uint64_t)count < lpm_used_entries) {
                                cache_line_counter++;
                                count = lpm_used_entries;
@@ -1185,22 +1219,23 @@ perf_test(void)
        printf("64 byte Cache entries used = %u (%u bytes)\n",
                        (unsigned) cache_line_counter, (unsigned) cache_line_counter * 64);
 
-       printf("Average LPM Add: %g cycles\n", (double)total_time / NUM_ROUTE_ENTRIES);
+       printf("Average LPM Add: %g cycles\n",
+                       (double)total_time / NUM_ROUTE_ENTRIES);
 
        /* Measure single Lookup */
        total_time = 0;
        count = 0;
 
-       for (i = 0; i < ITERATIONS; i ++) {
+       for (i = 0; i < ITERATIONS; i++) {
                static uint32_t ip_batch[BATCH_SIZE];
 
-               for (j = 0; j < BATCH_SIZE; j ++)
+               for (j = 0; j < BATCH_SIZE; j++)
                        ip_batch[j] = rte_rand();
 
                /* Lookup per batch */
                begin = rte_rdtsc();
 
-               for (j = 0; j < BATCH_SIZE; j ++) {
+               for (j = 0; j < BATCH_SIZE; j++) {
                        if (rte_lpm_lookup(lpm, ip_batch[j], &next_hop_return) != 0)
                                count++;
                }
@@ -1215,12 +1250,12 @@ perf_test(void)
        /* Measure bulk Lookup */
        total_time = 0;
        count = 0;
-       for (i = 0; i < ITERATIONS; i ++) {
+       for (i = 0; i < ITERATIONS; i++) {
                static uint32_t ip_batch[BATCH_SIZE];
-               uint16_t next_hops[BULK_SIZE];
+               uint32_t next_hops[BULK_SIZE];
 
                /* Create array of random IP addresses */
-               for (j = 0; j < BATCH_SIZE; j ++)
+               for (j = 0; j < BATCH_SIZE; j++)
                        ip_batch[j] = rte_rand();
 
                /* Lookup per batch */
@@ -1239,6 +1274,37 @@ perf_test(void)
                        (double)total_time / ((double)ITERATIONS * BATCH_SIZE),
                        (count * 100.0) / (double)(ITERATIONS * BATCH_SIZE));
 
+       /* Measure LookupX4 */
+       total_time = 0;
+       count = 0;
+       for (i = 0; i < ITERATIONS; i++) {
+               static uint32_t ip_batch[BATCH_SIZE];
+               uint32_t next_hops[4];
+
+               /* Create array of random IP addresses */
+               for (j = 0; j < BATCH_SIZE; j++)
+                       ip_batch[j] = rte_rand();
+
+               /* Lookup per batch */
+               begin = rte_rdtsc();
+               for (j = 0; j < BATCH_SIZE; j += RTE_DIM(next_hops)) {
+                       unsigned k;
+                       __m128i ipx4;
+
+                       ipx4 = _mm_loadu_si128((__m128i *)(ip_batch + j));
+                       ipx4 = *(__m128i *)(ip_batch + j);
+                       rte_lpm_lookupx4(lpm, ipx4, next_hops, UINT32_MAX);
+                       for (k = 0; k < RTE_DIM(next_hops); k++)
+                               if (unlikely(next_hops[k] == UINT32_MAX))
+                                       count++;
+               }
+
+               total_time += rte_rdtsc() - begin;
+       }
+       printf("LPM LookupX4: %.1f cycles (fails = %.1f%%)\n",
+                       (double)total_time / ((double)ITERATIONS * BATCH_SIZE),
+                       (count * 100.0) / (double)(ITERATIONS * BATCH_SIZE));
+
        /* Delete */
        status = 0;
        begin = rte_rdtsc();
@@ -1264,7 +1330,7 @@ perf_test(void)
  * Do all unit and performance tests.
  */
 
-int
+static int
 test_lpm(void)
 {
        unsigned i;
@@ -1281,13 +1347,8 @@ test_lpm(void)
        return global_status;
 }
 
-#else /* RTE_LIBRTE_LPM */
-
-int
-test_lpm(void)
-{
-       printf("The LPM library is not included in this build\n");
-       return 0;
-}
-
-#endif /* RTE_LIBRTE_LPM */
+static struct test_command lpm_cmd = {
+       .command = "lpm_autotest",
+       .callback = test_lpm,
+};
+REGISTER_TEST_COMMAND(lpm_cmd);