lib/librte_lpm/rte_lpm6.c

   1 /*-
   2  *   BSD LICENSE
   3  *
   4  *   Copyright(c) 2010-2014 Intel Corporation. All rights reserved.
   5  *   All rights reserved.
   6  *
   7  *   Redistribution and use in source and binary forms, with or without
   8  *   modification, are permitted provided that the following conditions
   9  *   are met:
  10  *
  11  *     * Redistributions of source code must retain the above copyright
  12  *       notice, this list of conditions and the following disclaimer.
  13  *     * Redistributions in binary form must reproduce the above copyright
  14  *       notice, this list of conditions and the following disclaimer in
  15  *       the documentation and/or other materials provided with the
  16  *       distribution.
  17  *     * Neither the name of Intel Corporation nor the names of its
  18  *       contributors may be used to endorse or promote products derived
  19  *       from this software without specific prior written permission.
  20  *
  21  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  22  *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  23  *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  24  *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  25  *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  26  *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  27  *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  28  *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  29  *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  30  *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  31  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  32  */
  33 #include <string.h>
  34 #include <stdint.h>
  35 #include <errno.h>
  36 #include <stdarg.h>
  37 #include <stdio.h>
  38 #include <errno.h>
  39 #include <sys/queue.h>
  40
  41 #include <rte_log.h>
  42 #include <rte_branch_prediction.h>
  43 #include <rte_common.h>
  44 #include <rte_memory.h>
  45 #include <rte_malloc.h>
  46 #include <rte_memzone.h>
  47 #include <rte_memcpy.h>
  48 #include <rte_eal.h>
  49 #include <rte_eal_memconfig.h>
  50 #include <rte_per_lcore.h>
  51 #include <rte_string_fns.h>
  52 #include <rte_errno.h>
  53 #include <rte_rwlock.h>
  54 #include <rte_spinlock.h>
  55
  56 #include "rte_lpm6.h"
  57
  58 #define RTE_LPM6_TBL24_NUM_ENTRIES        (1 << 24)
  59 #define RTE_LPM6_TBL8_GROUP_NUM_ENTRIES         256
  60 #define RTE_LPM6_TBL8_MAX_NUM_GROUPS      (1 << 21)
  61
  62 #define RTE_LPM6_VALID_EXT_ENTRY_BITMASK 0xA0000000
  63 #define RTE_LPM6_LOOKUP_SUCCESS          0x20000000
  64 #define RTE_LPM6_TBL8_BITMASK            0x001FFFFF
  65
  66 #define ADD_FIRST_BYTE                            3
  67 #define LOOKUP_FIRST_BYTE                         4
  68 #define BYTE_SIZE                                 8
  69 #define BYTES2_SIZE                              16
  70
  71 #define lpm6_tbl8_gindex next_hop
  72
  73 /** Flags for setting an entry as valid/invalid. */
  74 enum valid_flag {
  75         INVALID = 0,
  76         VALID
  77 };
  78
  79 TAILQ_HEAD(rte_lpm6_list, rte_tailq_entry);
  80
  81 static struct rte_tailq_elem rte_lpm6_tailq = {
  82         .name = "RTE_LPM6",
  83 };
  84 EAL_REGISTER_TAILQ(rte_lpm6_tailq)
  85
  86 /** Tbl entry structure. It is the same for both tbl24 and tbl8 */
  87 struct rte_lpm6_tbl_entry {
  88         uint32_t next_hop:      21;  /**< Next hop / next table to be checked. */
  89         uint32_t depth  :8;      /**< Rule depth. */
  90
  91         /* Flags. */
  92         uint32_t valid     :1;   /**< Validation flag. */
  93         uint32_t valid_group :1; /**< Group validation flag. */
  94         uint32_t ext_entry :1;   /**< External entry. */
  95 };
  96
  97 /** Rules tbl entry structure. */
  98 struct rte_lpm6_rule {
  99         uint8_t ip[RTE_LPM6_IPV6_ADDR_SIZE]; /**< Rule IP address. */
 100         uint8_t next_hop; /**< Rule next hop. */
 101         uint8_t depth; /**< Rule depth. */
 102 };
 103
 104 /** LPM6 structure. */
 105 struct rte_lpm6 {
 106         /* LPM metadata. */
 107         char name[RTE_LPM6_NAMESIZE];    /**< Name of the lpm. */
 108         uint32_t max_rules;              /**< Max number of rules. */
 109         uint32_t used_rules;             /**< Used rules so far. */
 110         uint32_t number_tbl8s;           /**< Number of tbl8s to allocate. */
 111         uint32_t next_tbl8;              /**< Next tbl8 to be used. */
 112
 113         /* LPM Tables. */
 114         struct rte_lpm6_rule *rules_tbl; /**< LPM rules. */
 115         struct rte_lpm6_tbl_entry tbl24[RTE_LPM6_TBL24_NUM_ENTRIES]
 116                         __rte_cache_aligned; /**< LPM tbl24 table. */
 117         struct rte_lpm6_tbl_entry tbl8[0]
 118                         __rte_cache_aligned; /**< LPM tbl8 table. */
 119 };
 120
 121 /*
 122  * Takes an array of uint8_t (IPv6 address) and masks it using the depth.
 123  * It leaves untouched one bit per unit in the depth variable
 124  * and set the rest to 0.
 125  */
 126 static inline void
 127 mask_ip(uint8_t *ip, uint8_t depth)
 128 {
 129         int16_t part_depth, mask;
 130         int i;
 131
 132                 part_depth = depth;
 133
 134                 for (i = 0; i < RTE_LPM6_IPV6_ADDR_SIZE; i++) {
 135                         if (part_depth < BYTE_SIZE && part_depth >= 0) {
 136                                 mask = (uint16_t)(~(UINT8_MAX >> part_depth));
 137                                 ip[i] = (uint8_t)(ip[i] & mask);
 138                         } else if (part_depth < 0) {
 139                                 ip[i] = 0;
 140                         }
 141                         part_depth -= BYTE_SIZE;
 142                 }
 143 }
 144
 145 /*
 146  * Allocates memory for LPM object
 147  */
 148 struct rte_lpm6 *
 149 rte_lpm6_create(const char *name, int socket_id,
 150                 const struct rte_lpm6_config *config)
 151 {
 152         char mem_name[RTE_LPM6_NAMESIZE];
 153         struct rte_lpm6 *lpm = NULL;
 154         struct rte_tailq_entry *te;
 155         uint64_t mem_size, rules_size;
 156         struct rte_lpm6_list *lpm_list;
 157
 158         lpm_list = RTE_TAILQ_CAST(rte_lpm6_tailq.head, rte_lpm6_list);
 159
 160         RTE_BUILD_BUG_ON(sizeof(struct rte_lpm6_tbl_entry) != sizeof(uint32_t));
 161
 162         /* Check user arguments. */
 163         if ((name == NULL) || (socket_id < -1) || (config == NULL) ||
 164                         (config->max_rules == 0) ||
 165                         config->number_tbl8s > RTE_LPM6_TBL8_MAX_NUM_GROUPS) {
 166                 rte_errno = EINVAL;
 167                 return NULL;
 168         }
 169
 170         snprintf(mem_name, sizeof(mem_name), "LPM_%s", name);
 171
 172         /* Determine the amount of memory to allocate. */
 173         mem_size = sizeof(*lpm) + (sizeof(lpm->tbl8[0]) *
 174                         RTE_LPM6_TBL8_GROUP_NUM_ENTRIES * config->number_tbl8s);
 175         rules_size = sizeof(struct rte_lpm6_rule) * config->max_rules;
 176
 177         rte_rwlock_write_lock(RTE_EAL_TAILQ_RWLOCK);
 178
 179         /* Guarantee there's no existing */
 180         TAILQ_FOREACH(te, lpm_list, next) {
 181                 lpm = (struct rte_lpm6 *) te->data;
 182                 if (strncmp(name, lpm->name, RTE_LPM6_NAMESIZE) == 0)
 183                         break;
 184         }
 185         if (te != NULL)
 186                 goto exit;
 187
 188         /* allocate tailq entry */
 189         te = rte_zmalloc("LPM6_TAILQ_ENTRY", sizeof(*te), 0);
 190         if (te == NULL) {
 191                 RTE_LOG(ERR, LPM, "Failed to allocate tailq entry!\n");
 192                 goto exit;
 193         }
 194
 195         /* Allocate memory to store the LPM data structures. */
 196         lpm = (struct rte_lpm6 *)rte_zmalloc_socket(mem_name, (size_t)mem_size,
 197                         RTE_CACHE_LINE_SIZE, socket_id);
 198
 199         if (lpm == NULL) {
 200                 RTE_LOG(ERR, LPM, "LPM memory allocation failed\n");
 201                 rte_free(te);
 202                 goto exit;
 203         }
 204
 205         lpm->rules_tbl = (struct rte_lpm6_rule *)rte_zmalloc_socket(NULL,
 206                         (size_t)rules_size, RTE_CACHE_LINE_SIZE, socket_id);
 207
 208         if (lpm->rules_tbl == NULL) {
 209                 RTE_LOG(ERR, LPM, "LPM memory allocation failed\n");
 210                 rte_free(lpm);
 211                 rte_free(te);
 212                 goto exit;
 213         }
 214
 215         /* Save user arguments. */
 216         lpm->max_rules = config->max_rules;
 217         lpm->number_tbl8s = config->number_tbl8s;
 218         snprintf(lpm->name, sizeof(lpm->name), "%s", name);
 219
 220         te->data = (void *) lpm;
 221
 222         TAILQ_INSERT_TAIL(lpm_list, te, next);
 223
 224 exit:
 225         rte_rwlock_write_unlock(RTE_EAL_TAILQ_RWLOCK);
 226
 227         return lpm;
 228 }
 229
 230 /*
 231  * Find an existing lpm table and return a pointer to it.
 232  */
 233 struct rte_lpm6 *
 234 rte_lpm6_find_existing(const char *name)
 235 {
 236         struct rte_lpm6 *l = NULL;
 237         struct rte_tailq_entry *te;
 238         struct rte_lpm6_list *lpm_list;
 239
 240         lpm_list = RTE_TAILQ_CAST(rte_lpm6_tailq.head, rte_lpm6_list);
 241
 242         rte_rwlock_read_lock(RTE_EAL_TAILQ_RWLOCK);
 243         TAILQ_FOREACH(te, lpm_list, next) {
 244                 l = (struct rte_lpm6 *) te->data;
 245                 if (strncmp(name, l->name, RTE_LPM6_NAMESIZE) == 0)
 246                         break;
 247         }
 248         rte_rwlock_read_unlock(RTE_EAL_TAILQ_RWLOCK);
 249
 250         if (te == NULL) {
 251                 rte_errno = ENOENT;
 252                 return NULL;
 253         }
 254
 255         return l;
 256 }
 257
 258 /*
 259  * Deallocates memory for given LPM table.
 260  */
 261 void
 262 rte_lpm6_free(struct rte_lpm6 *lpm)
 263 {
 264         struct rte_lpm6_list *lpm_list;
 265         struct rte_tailq_entry *te;
 266
 267         /* Check user arguments. */
 268         if (lpm == NULL)
 269                 return;
 270
 271         lpm_list = RTE_TAILQ_CAST(rte_lpm6_tailq.head, rte_lpm6_list);
 272
 273         rte_rwlock_write_lock(RTE_EAL_TAILQ_RWLOCK);
 274
 275         /* find our tailq entry */
 276         TAILQ_FOREACH(te, lpm_list, next) {
 277                 if (te->data == (void *) lpm)
 278                         break;
 279         }
 280
 281         if (te != NULL)
 282                 TAILQ_REMOVE(lpm_list, te, next);
 283
 284         rte_rwlock_write_unlock(RTE_EAL_TAILQ_RWLOCK);
 285
 286         rte_free(lpm->rules_tbl);
 287         rte_free(lpm);
 288         rte_free(te);
 289 }
 290
 291 /*
 292  * Checks if a rule already exists in the rules table and updates
 293  * the nexthop if so. Otherwise it adds a new rule if enough space is available.
 294  */
 295 static inline int32_t
 296 rule_add(struct rte_lpm6 *lpm, uint8_t *ip, uint8_t next_hop, uint8_t depth)
 297 {
 298         uint32_t rule_index;
 299
 300         /* Scan through rule list to see if rule already exists. */
 301         for (rule_index = 0; rule_index < lpm->used_rules; rule_index++) {
 302
 303                 /* If rule already exists update its next_hop and return. */
 304                 if ((memcmp (lpm->rules_tbl[rule_index].ip, ip,
 305                                 RTE_LPM6_IPV6_ADDR_SIZE) == 0) &&
 306                                 lpm->rules_tbl[rule_index].depth == depth) {
 307                         lpm->rules_tbl[rule_index].next_hop = next_hop;
 308
 309                         return rule_index;
 310                 }
 311         }
 312
 313         /*
 314          * If rule does not exist check if there is space to add a new rule to
 315          * this rule group. If there is no space return error.
 316          */
 317         if (lpm->used_rules == lpm->max_rules) {
 318                 return -ENOSPC;
 319         }
 320
 321         /* If there is space for the new rule add it. */
 322         rte_memcpy(lpm->rules_tbl[rule_index].ip, ip, RTE_LPM6_IPV6_ADDR_SIZE);
 323         lpm->rules_tbl[rule_index].next_hop = next_hop;
 324         lpm->rules_tbl[rule_index].depth = depth;
 325
 326         /* Increment the used rules counter for this rule group. */
 327         lpm->used_rules++;
 328
 329         return rule_index;
 330 }
 331
 332 /*
 333  * Function that expands a rule across the data structure when a less-generic
 334  * one has been added before. It assures that every possible combination of bits
 335  * in the IP address returns a match.
 336  */
 337 static void
 338 expand_rule(struct rte_lpm6 *lpm, uint32_t tbl8_gindex, uint8_t depth,
 339                 uint8_t next_hop)
 340 {
 341         uint32_t tbl8_group_end, tbl8_gindex_next, j;
 342
 343         tbl8_group_end = tbl8_gindex + RTE_LPM6_TBL8_GROUP_NUM_ENTRIES;
 344
 345         struct rte_lpm6_tbl_entry new_tbl8_entry = {
 346                 .valid = VALID,
 347                 .valid_group = VALID,
 348                 .depth = depth,
 349                 .next_hop = next_hop,
 350                 .ext_entry = 0,
 351         };
 352
 353         for (j = tbl8_gindex; j < tbl8_group_end; j++) {
 354                 if (!lpm->tbl8[j].valid || (lpm->tbl8[j].ext_entry == 0
 355                                 && lpm->tbl8[j].depth <= depth)) {
 356
 357                         lpm->tbl8[j] = new_tbl8_entry;
 358
 359                 } else if (lpm->tbl8[j].ext_entry == 1) {
 360
 361                         tbl8_gindex_next = lpm->tbl8[j].lpm6_tbl8_gindex
 362                                         * RTE_LPM6_TBL8_GROUP_NUM_ENTRIES;
 363                         expand_rule(lpm, tbl8_gindex_next, depth, next_hop);
 364                 }
 365         }
 366 }
 367
 368 /*
 369  * Partially adds a new route to the data structure (tbl24+tbl8s).
 370  * It returns 0 on success, a negative number on failure, or 1 if
 371  * the process needs to be continued by calling the function again.
 372  */
 373 static inline int
 374 add_step(struct rte_lpm6 *lpm, struct rte_lpm6_tbl_entry *tbl,
 375                 struct rte_lpm6_tbl_entry **tbl_next, uint8_t *ip, uint8_t bytes,
 376                 uint8_t first_byte, uint8_t depth, uint8_t next_hop)
 377 {
 378         uint32_t tbl_index, tbl_range, tbl8_group_start, tbl8_group_end, i;
 379         int32_t tbl8_gindex;
 380         int8_t bitshift;
 381         uint8_t bits_covered;
 382
 383         /*
 384          * Calculate index to the table based on the number and position
 385          * of the bytes being inspected in this step.
 386          */
 387         tbl_index = 0;
 388         for (i = first_byte; i < (uint32_t)(first_byte + bytes); i++) {
 389                 bitshift = (int8_t)((bytes - i)*BYTE_SIZE);
 390
 391                 if (bitshift < 0) bitshift = 0;
 392                 tbl_index = tbl_index | ip[i-1] << bitshift;
 393         }
 394
 395         /* Number of bits covered in this step */
 396         bits_covered = (uint8_t)((bytes+first_byte-1)*BYTE_SIZE);
 397
 398         /*
 399          * If depth if smaller than this number (ie this is the last step)
 400          * expand the rule across the relevant positions in the table.
 401          */
 402         if (depth <= bits_covered) {
 403                 tbl_range = 1 << (bits_covered - depth);
 404
 405                 for (i = tbl_index; i < (tbl_index + tbl_range); i++) {
 406                         if (!tbl[i].valid || (tbl[i].ext_entry == 0 &&
 407                                         tbl[i].depth <= depth)) {
 408
 409                                 struct rte_lpm6_tbl_entry new_tbl_entry = {
 410                                         .next_hop = next_hop,
 411                                         .depth = depth,
 412                                         .valid = VALID,
 413                                         .valid_group = VALID,
 414                                         .ext_entry = 0,
 415                                 };
 416
 417                                 tbl[i] = new_tbl_entry;
 418
 419                         } else if (tbl[i].ext_entry == 1) {
 420
 421                                 /*
 422                                  * If tbl entry is valid and extended calculate the index
 423                                  * into next tbl8 and expand the rule across the data structure.
 424                                  */
 425                                 tbl8_gindex = tbl[i].lpm6_tbl8_gindex *
 426                                                 RTE_LPM6_TBL8_GROUP_NUM_ENTRIES;
 427                                 expand_rule(lpm, tbl8_gindex, depth, next_hop);
 428                         }
 429                 }
 430
 431                 return 0;
 432         }
 433         /*
 434          * If this is not the last step just fill one position
 435          * and calculate the index to the next table.
 436          */
 437         else {
 438                 /* If it's invalid a new tbl8 is needed */
 439                 if (!tbl[tbl_index].valid) {
 440                         if (lpm->next_tbl8 < lpm->number_tbl8s)
 441                                 tbl8_gindex = (lpm->next_tbl8)++;
 442                         else
 443                                 return -ENOSPC;
 444
 445                         struct rte_lpm6_tbl_entry new_tbl_entry = {
 446                                 .lpm6_tbl8_gindex = tbl8_gindex,
 447                                 .depth = 0,
 448                                 .valid = VALID,
 449                                 .valid_group = VALID,
 450                                 .ext_entry = 1,
 451                         };
 452
 453                         tbl[tbl_index] = new_tbl_entry;
 454                 }
 455                 /*
 456                  * If it's valid but not extended the rule that was stored *
 457                  * here needs to be moved to the next table.
 458                  */
 459                 else if (tbl[tbl_index].ext_entry == 0) {
 460                         /* Search for free tbl8 group. */
 461                         if (lpm->next_tbl8 < lpm->number_tbl8s)
 462                                 tbl8_gindex = (lpm->next_tbl8)++;
 463                         else
 464                                 return -ENOSPC;
 465
 466                         tbl8_group_start = tbl8_gindex *
 467                                         RTE_LPM6_TBL8_GROUP_NUM_ENTRIES;
 468                         tbl8_group_end = tbl8_group_start +
 469                                         RTE_LPM6_TBL8_GROUP_NUM_ENTRIES;
 470
 471                         /* Populate new tbl8 with tbl value. */
 472                         for (i = tbl8_group_start; i < tbl8_group_end; i++) {
 473                                 lpm->tbl8[i].valid = VALID;
 474                                 lpm->tbl8[i].depth = tbl[tbl_index].depth;
 475                                 lpm->tbl8[i].next_hop = tbl[tbl_index].next_hop;
 476                                 lpm->tbl8[i].ext_entry = 0;
 477                         }
 478
 479                         /*
 480                          * Update tbl entry to point to new tbl8 entry. Note: The
 481                          * ext_flag and tbl8_index need to be updated simultaneously,
 482                          * so assign whole structure in one go.
 483                          */
 484                         struct rte_lpm6_tbl_entry new_tbl_entry = {
 485                                 .lpm6_tbl8_gindex = tbl8_gindex,
 486                                 .depth = 0,
 487                                 .valid = VALID,
 488                                 .valid_group = VALID,
 489                                 .ext_entry = 1,
 490                         };
 491
 492                         tbl[tbl_index] = new_tbl_entry;
 493                 }
 494
 495                 *tbl_next = &(lpm->tbl8[tbl[tbl_index].lpm6_tbl8_gindex *
 496                                 RTE_LPM6_TBL8_GROUP_NUM_ENTRIES]);
 497         }
 498
 499         return 1;
 500 }
 501
 502 /*
 503  * Add a route
 504  */
 505 int
 506 rte_lpm6_add(struct rte_lpm6 *lpm, uint8_t *ip, uint8_t depth,
 507                 uint8_t next_hop)
 508 {
 509         struct rte_lpm6_tbl_entry *tbl;
 510         struct rte_lpm6_tbl_entry *tbl_next;
 511         int32_t rule_index;
 512         int status;
 513         uint8_t masked_ip[RTE_LPM6_IPV6_ADDR_SIZE];
 514         int i;
 515
 516         /* Check user arguments. */
 517         if ((lpm == NULL) || (depth < 1) || (depth > RTE_LPM6_MAX_DEPTH))
 518                 return -EINVAL;
 519
 520         /* Copy the IP and mask it to avoid modifying user's input data. */
 521         memcpy(masked_ip, ip, RTE_LPM6_IPV6_ADDR_SIZE);
 522         mask_ip(masked_ip, depth);
 523
 524         /* Add the rule to the rule table. */
 525         rule_index = rule_add(lpm, masked_ip, next_hop, depth);
 526
 527         /* If there is no space available for new rule return error. */
 528         if (rule_index < 0) {
 529                 return rule_index;
 530         }
 531
 532         /* Inspect the first three bytes through tbl24 on the first step. */
 533         tbl = lpm->tbl24;
 534         status = add_step (lpm, tbl, &tbl_next, masked_ip, ADD_FIRST_BYTE, 1,
 535                         depth, next_hop);
 536         if (status < 0) {
 537                 rte_lpm6_delete(lpm, masked_ip, depth);
 538
 539                 return status;
 540         }
 541
 542         /*
 543          * Inspect one by one the rest of the bytes until
 544          * the process is completed.
 545          */
 546         for (i = ADD_FIRST_BYTE; i < RTE_LPM6_IPV6_ADDR_SIZE && status == 1; i++) {
 547                 tbl = tbl_next;
 548                 status = add_step (lpm, tbl, &tbl_next, masked_ip, 1, (uint8_t)(i+1),
 549                                 depth, next_hop);
 550                 if (status < 0) {
 551                         rte_lpm6_delete(lpm, masked_ip, depth);
 552
 553                         return status;
 554                 }
 555         }
 556
 557         return status;
 558 }
 559
 560 /*
 561  * Takes a pointer to a table entry and inspect one level.
 562  * The function returns 0 on lookup success, ENOENT if no match was found
 563  * or 1 if the process needs to be continued by calling the function again.
 564  */
 565 static inline int
 566 lookup_step(const struct rte_lpm6 *lpm, const struct rte_lpm6_tbl_entry *tbl,
 567                 const struct rte_lpm6_tbl_entry **tbl_next, uint8_t *ip,
 568                 uint8_t first_byte, uint8_t *next_hop)
 569 {
 570         uint32_t tbl8_index, tbl_entry;
 571
 572         /* Take the integer value from the pointer. */
 573         tbl_entry = *(const uint32_t *)tbl;
 574
 575         /* If it is valid and extended we calculate the new pointer to return. */
 576         if ((tbl_entry & RTE_LPM6_VALID_EXT_ENTRY_BITMASK) ==
 577                         RTE_LPM6_VALID_EXT_ENTRY_BITMASK) {
 578
 579                 tbl8_index = ip[first_byte-1] +
 580                                 ((tbl_entry & RTE_LPM6_TBL8_BITMASK) *
 581                                 RTE_LPM6_TBL8_GROUP_NUM_ENTRIES);
 582
 583                 *tbl_next = &lpm->tbl8[tbl8_index];
 584
 585                 return 1;
 586         } else {
 587                 /* If not extended then we can have a match. */
 588                 *next_hop = (uint8_t)tbl_entry;
 589                 return (tbl_entry & RTE_LPM6_LOOKUP_SUCCESS) ? 0 : -ENOENT;
 590         }
 591 }
 592
 593 /*
 594  * Looks up an IP
 595  */
 596 int
 597 rte_lpm6_lookup(const struct rte_lpm6 *lpm, uint8_t *ip, uint8_t *next_hop)
 598 {
 599         const struct rte_lpm6_tbl_entry *tbl;
 600         const struct rte_lpm6_tbl_entry *tbl_next;
 601         int status;
 602         uint8_t first_byte;
 603         uint32_t tbl24_index;
 604
 605         /* DEBUG: Check user input arguments. */
 606         if ((lpm == NULL) || (ip == NULL) || (next_hop == NULL)) {
 607                 return -EINVAL;
 608         }
 609
 610         first_byte = LOOKUP_FIRST_BYTE;
 611         tbl24_index = (ip[0] << BYTES2_SIZE) | (ip[1] << BYTE_SIZE) | ip[2];
 612
 613         /* Calculate pointer to the first entry to be inspected */
 614         tbl = &lpm->tbl24[tbl24_index];
 615
 616         do {
 617                 /* Continue inspecting following levels until success or failure */
 618                 status = lookup_step(lpm, tbl, &tbl_next, ip, first_byte++, next_hop);
 619                 tbl = tbl_next;
 620         } while (status == 1);
 621
 622         return status;
 623 }
 624
 625 /*
 626  * Looks up a group of IP addresses
 627  */
 628 int
 629 rte_lpm6_lookup_bulk_func(const struct rte_lpm6 *lpm,
 630                 uint8_t ips[][RTE_LPM6_IPV6_ADDR_SIZE],
 631                 int16_t * next_hops, unsigned n)
 632 {
 633         unsigned i;
 634         const struct rte_lpm6_tbl_entry *tbl;
 635         const struct rte_lpm6_tbl_entry *tbl_next;
 636         uint32_t tbl24_index;
 637         uint8_t first_byte, next_hop;
 638         int status;
 639
 640         /* DEBUG: Check user input arguments. */
 641         if ((lpm == NULL) || (ips == NULL) || (next_hops == NULL)) {
 642                 return -EINVAL;
 643         }
 644
 645         for (i = 0; i < n; i++) {
 646                 first_byte = LOOKUP_FIRST_BYTE;
 647                 tbl24_index = (ips[i][0] << BYTES2_SIZE) |
 648                                 (ips[i][1] << BYTE_SIZE) | ips[i][2];
 649
 650                 /* Calculate pointer to the first entry to be inspected */
 651                 tbl = &lpm->tbl24[tbl24_index];
 652
 653                 do {
 654                         /* Continue inspecting following levels until success or failure */
 655                         status = lookup_step(lpm, tbl, &tbl_next, ips[i], first_byte++,
 656                                         &next_hop);
 657                         tbl = tbl_next;
 658                 } while (status == 1);
 659
 660                 if (status < 0)
 661                         next_hops[i] = -1;
 662                 else
 663                         next_hops[i] = next_hop;
 664         }
 665
 666         return 0;
 667 }
 668
 669 /*
 670  * Finds a rule in rule table.
 671  * NOTE: Valid range for depth parameter is 1 .. 128 inclusive.
 672  */
 673 static inline int32_t
 674 rule_find(struct rte_lpm6 *lpm, uint8_t *ip, uint8_t depth)
 675 {
 676         uint32_t rule_index;
 677
 678         /* Scan used rules at given depth to find rule. */
 679         for (rule_index = 0; rule_index < lpm->used_rules; rule_index++) {
 680                 /* If rule is found return the rule index. */
 681                 if ((memcmp (lpm->rules_tbl[rule_index].ip, ip,
 682                                 RTE_LPM6_IPV6_ADDR_SIZE) == 0) &&
 683                                 lpm->rules_tbl[rule_index].depth == depth) {
 684
 685                         return rule_index;
 686                 }
 687         }
 688
 689         /* If rule is not found return -ENOENT. */
 690         return -ENOENT;
 691 }
 692
 693 /*
 694  * Look for a rule in the high-level rules table
 695  */
 696 int
 697 rte_lpm6_is_rule_present(struct rte_lpm6 *lpm, uint8_t *ip, uint8_t depth,
 698 uint8_t *next_hop)
 699 {
 700         uint8_t ip_masked[RTE_LPM6_IPV6_ADDR_SIZE];
 701         int32_t rule_index;
 702
 703         /* Check user arguments. */
 704         if ((lpm == NULL) || next_hop == NULL || ip == NULL ||
 705                         (depth < 1) || (depth > RTE_LPM6_MAX_DEPTH))
 706                 return -EINVAL;
 707
 708         /* Copy the IP and mask it to avoid modifying user's input data. */
 709         memcpy(ip_masked, ip, RTE_LPM6_IPV6_ADDR_SIZE);
 710         mask_ip(ip_masked, depth);
 711
 712         /* Look for the rule using rule_find. */
 713         rule_index = rule_find(lpm, ip_masked, depth);
 714
 715         if (rule_index >= 0) {
 716                 *next_hop = lpm->rules_tbl[rule_index].next_hop;
 717                 return 1;
 718         }
 719
 720         /* If rule is not found return 0. */
 721         return 0;
 722 }
 723
 724 /*
 725  * Delete a rule from the rule table.
 726  * NOTE: Valid range for depth parameter is 1 .. 128 inclusive.
 727  */
 728 static inline void
 729 rule_delete(struct rte_lpm6 *lpm, int32_t rule_index)
 730 {
 731         /*
 732          * Overwrite redundant rule with last rule in group and decrement rule
 733          * counter.
 734          */
 735         lpm->rules_tbl[rule_index] = lpm->rules_tbl[lpm->used_rules-1];
 736         lpm->used_rules--;
 737 }
 738
 739 /*
 740  * Deletes a rule
 741  */
 742 int
 743 rte_lpm6_delete(struct rte_lpm6 *lpm, uint8_t *ip, uint8_t depth)
 744 {
 745         int32_t rule_to_delete_index;
 746         uint8_t ip_masked[RTE_LPM6_IPV6_ADDR_SIZE];
 747         unsigned i;
 748
 749         /*
 750          * Check input arguments.
 751          */
 752         if ((lpm == NULL) || (depth < 1) || (depth > RTE_LPM6_MAX_DEPTH)) {
 753                 return -EINVAL;
 754         }
 755
 756         /* Copy the IP and mask it to avoid modifying user's input data. */
 757         memcpy(ip_masked, ip, RTE_LPM6_IPV6_ADDR_SIZE);
 758         mask_ip(ip_masked, depth);
 759
 760         /*
 761          * Find the index of the input rule, that needs to be deleted, in the
 762          * rule table.
 763          */
 764         rule_to_delete_index = rule_find(lpm, ip_masked, depth);
 765
 766         /*
 767          * Check if rule_to_delete_index was found. If no rule was found the
 768          * function rule_find returns -ENOENT.
 769          */
 770         if (rule_to_delete_index < 0)
 771                 return rule_to_delete_index;
 772
 773         /* Delete the rule from the rule table. */
 774         rule_delete(lpm, rule_to_delete_index);
 775
 776         /*
 777          * Set all the table entries to 0 (ie delete every rule
 778          * from the data structure.
 779          */
 780         lpm->next_tbl8 = 0;
 781         memset(lpm->tbl24, 0, sizeof(lpm->tbl24));
 782         memset(lpm->tbl8, 0, sizeof(lpm->tbl8[0])
 783                         * RTE_LPM6_TBL8_GROUP_NUM_ENTRIES * lpm->number_tbl8s);
 784
 785         /*
 786          * Add every rule again (except for the one that was removed from
 787          * the rules table).
 788          */
 789         for (i = 0; i < lpm->used_rules; i++) {
 790                 rte_lpm6_add(lpm, lpm->rules_tbl[i].ip, lpm->rules_tbl[i].depth,
 791                                 lpm->rules_tbl[i].next_hop);
 792         }
 793
 794         return 0;
 795 }
 796
 797 /*
 798  * Deletes a group of rules
 799  */
 800 int
 801 rte_lpm6_delete_bulk_func(struct rte_lpm6 *lpm,
 802                 uint8_t ips[][RTE_LPM6_IPV6_ADDR_SIZE], uint8_t *depths, unsigned n)
 803 {
 804         int32_t rule_to_delete_index;
 805         uint8_t ip_masked[RTE_LPM6_IPV6_ADDR_SIZE];
 806         unsigned i;
 807
 808         /*
 809          * Check input arguments.
 810          */
 811         if ((lpm == NULL) || (ips == NULL) || (depths == NULL)) {
 812                 return -EINVAL;
 813         }
 814
 815         for (i = 0; i < n; i++) {
 816                 /* Copy the IP and mask it to avoid modifying user's input data. */
 817                 memcpy(ip_masked, ips[i], RTE_LPM6_IPV6_ADDR_SIZE);
 818                 mask_ip(ip_masked, depths[i]);
 819
 820                 /*
 821                  * Find the index of the input rule, that needs to be deleted, in the
 822                  * rule table.
 823                  */
 824                 rule_to_delete_index = rule_find(lpm, ip_masked, depths[i]);
 825
 826                 /*
 827                  * Check if rule_to_delete_index was found. If no rule was found the
 828                  * function rule_find returns -ENOENT.
 829                  */
 830                 if (rule_to_delete_index < 0)
 831                         continue;
 832
 833                 /* Delete the rule from the rule table. */
 834                 rule_delete(lpm, rule_to_delete_index);
 835         }
 836
 837         /*
 838          * Set all the table entries to 0 (ie delete every rule
 839          * from the data structure.
 840          */
 841         lpm->next_tbl8 = 0;
 842         memset(lpm->tbl24, 0, sizeof(lpm->tbl24));
 843         memset(lpm->tbl8, 0, sizeof(lpm->tbl8[0])
 844                         * RTE_LPM6_TBL8_GROUP_NUM_ENTRIES * lpm->number_tbl8s);
 845
 846         /*
 847          * Add every rule again (except for the ones that were removed from
 848          * the rules table).
 849          */
 850         for (i = 0; i < lpm->used_rules; i++) {
 851                 rte_lpm6_add(lpm, lpm->rules_tbl[i].ip, lpm->rules_tbl[i].depth,
 852                                 lpm->rules_tbl[i].next_hop);
 853         }
 854
 855         return 0;
 856 }
 857
 858 /*
 859  * Delete all rules from the LPM table.
 860  */
 861 void
 862 rte_lpm6_delete_all(struct rte_lpm6 *lpm)
 863 {
 864         /* Zero used rules counter. */
 865         lpm->used_rules = 0;
 866
 867         /* Zero next tbl8 index. */
 868         lpm->next_tbl8 = 0;
 869
 870         /* Zero tbl24. */
 871         memset(lpm->tbl24, 0, sizeof(lpm->tbl24));
 872
 873         /* Zero tbl8. */
 874         memset(lpm->tbl8, 0, sizeof(lpm->tbl8[0]) *
 875                         RTE_LPM6_TBL8_GROUP_NUM_ENTRIES * lpm->number_tbl8s);
 876
 877         /* Delete all rules form the rules table. */
 878         memset(lpm->rules_tbl, 0, sizeof(struct rte_lpm6_rule) * lpm->max_rules);
 879 }