lib/librte_lpm/rte_lpm6.c

   1 /*-
   2  *   BSD LICENSE
   3  *
   4  *   Copyright(c) 2010-2014 Intel Corporation. All rights reserved.
   5  *   All rights reserved.
   6  *
   7  *   Redistribution and use in source and binary forms, with or without
   8  *   modification, are permitted provided that the following conditions
   9  *   are met:
  10  *
  11  *     * Redistributions of source code must retain the above copyright
  12  *       notice, this list of conditions and the following disclaimer.
  13  *     * Redistributions in binary form must reproduce the above copyright
  14  *       notice, this list of conditions and the following disclaimer in
  15  *       the documentation and/or other materials provided with the
  16  *       distribution.
  17  *     * Neither the name of Intel Corporation nor the names of its
  18  *       contributors may be used to endorse or promote products derived
  19  *       from this software without specific prior written permission.
  20  *
  21  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  22  *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  23  *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  24  *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  25  *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  26  *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  27  *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  28  *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  29  *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  30  *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  31  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  32  */
  33 #include <string.h>
  34 #include <stdint.h>
  35 #include <errno.h>
  36 #include <stdarg.h>
  37 #include <stdio.h>
  38 #include <errno.h>
  39 #include <sys/queue.h>
  40
  41 #include <rte_log.h>
  42 #include <rte_branch_prediction.h>
  43 #include <rte_common.h>
  44 #include <rte_memory.h>
  45 #include <rte_malloc.h>
  46 #include <rte_memzone.h>
  47 #include <rte_memcpy.h>
  48 #include <rte_eal.h>
  49 #include <rte_eal_memconfig.h>
  50 #include <rte_per_lcore.h>
  51 #include <rte_string_fns.h>
  52 #include <rte_errno.h>
  53 #include <rte_rwlock.h>
  54 #include <rte_spinlock.h>
  55
  56 #include "rte_lpm6.h"
  57
  58 #define RTE_LPM6_TBL24_NUM_ENTRIES        (1 << 24)
  59 #define RTE_LPM6_TBL8_GROUP_NUM_ENTRIES         256
  60 #define RTE_LPM6_TBL8_MAX_NUM_GROUPS      (1 << 21)
  61
  62 #define RTE_LPM6_VALID_EXT_ENTRY_BITMASK 0xA0000000
  63 #define RTE_LPM6_LOOKUP_SUCCESS          0x20000000
  64 #define RTE_LPM6_TBL8_BITMASK            0x001FFFFF
  65
  66 #define ADD_FIRST_BYTE                            3
  67 #define LOOKUP_FIRST_BYTE                         4
  68 #define BYTE_SIZE                                 8
  69 #define BYTES2_SIZE                              16
  70
  71 #define lpm6_tbl8_gindex next_hop
  72
  73 /** Flags for setting an entry as valid/invalid. */
  74 enum valid_flag {
  75         INVALID = 0,
  76         VALID
  77 };
  78
  79 TAILQ_HEAD(rte_lpm6_list, rte_tailq_entry);
  80
  81 static struct rte_tailq_elem rte_lpm6_tailq = {
  82         .name = "RTE_LPM6",
  83 };
  84 EAL_REGISTER_TAILQ(rte_lpm6_tailq)
  85
  86 /** Tbl entry structure. It is the same for both tbl24 and tbl8 */
  87 struct rte_lpm6_tbl_entry {
  88         uint32_t next_hop:      21;  /**< Next hop / next table to be checked. */
  89         uint32_t depth  :8;      /**< Rule depth. */
  90
  91         /* Flags. */
  92         uint32_t valid     :1;   /**< Validation flag. */
  93         uint32_t valid_group :1; /**< Group validation flag. */
  94         uint32_t ext_entry :1;   /**< External entry. */
  95 };
  96
  97 /** Rules tbl entry structure. */
  98 struct rte_lpm6_rule {
  99         uint8_t ip[RTE_LPM6_IPV6_ADDR_SIZE]; /**< Rule IP address. */
 100         uint8_t next_hop; /**< Rule next hop. */
 101         uint8_t depth; /**< Rule depth. */
 102 };
 103
 104 /** LPM6 structure. */
 105 struct rte_lpm6 {
 106         /* LPM metadata. */
 107         char name[RTE_LPM6_NAMESIZE];    /**< Name of the lpm. */
 108         uint32_t max_rules;              /**< Max number of rules. */
 109         uint32_t used_rules;             /**< Used rules so far. */
 110         uint32_t number_tbl8s;           /**< Number of tbl8s to allocate. */
 111         uint32_t next_tbl8;              /**< Next tbl8 to be used. */
 112
 113         /* LPM Tables. */
 114         struct rte_lpm6_rule *rules_tbl; /**< LPM rules. */
 115         struct rte_lpm6_tbl_entry tbl24[RTE_LPM6_TBL24_NUM_ENTRIES]
 116                         __rte_cache_aligned; /**< LPM tbl24 table. */
 117         struct rte_lpm6_tbl_entry tbl8[0]
 118                         __rte_cache_aligned; /**< LPM tbl8 table. */
 119 };
 120
 121 /*
 122  * Takes an array of uint8_t (IPv6 address) and masks it using the depth.
 123  * It leaves untouched one bit per unit in the depth variable
 124  * and set the rest to 0.
 125  */
 126 static inline void
 127 mask_ip(uint8_t *ip, uint8_t depth)
 128 {
 129         int16_t part_depth, mask;
 130         int i;
 131
 132                 part_depth = depth;
 133
 134                 for (i = 0; i < RTE_LPM6_IPV6_ADDR_SIZE; i++) {
 135                         if (part_depth < BYTE_SIZE && part_depth >= 0) {
 136                                 mask = (uint16_t)(~(UINT8_MAX >> part_depth));
 137                                 ip[i] = (uint8_t)(ip[i] & mask);
 138                         } else if (part_depth < 0) {
 139                                 ip[i] = 0;
 140                         }
 141                         part_depth -= BYTE_SIZE;
 142                 }
 143 }
 144
 145 /*
 146  * Allocates memory for LPM object
 147  */
 148 struct rte_lpm6 *
 149 rte_lpm6_create(const char *name, int socket_id,
 150                 const struct rte_lpm6_config *config)
 151 {
 152         char mem_name[RTE_LPM6_NAMESIZE];
 153         struct rte_lpm6 *lpm = NULL;
 154         struct rte_tailq_entry *te;
 155         uint64_t mem_size, rules_size;
 156         struct rte_lpm6_list *lpm_list;
 157
 158         lpm_list = RTE_TAILQ_CAST(rte_lpm6_tailq.head, rte_lpm6_list);
 159
 160         RTE_BUILD_BUG_ON(sizeof(struct rte_lpm6_tbl_entry) != sizeof(uint32_t));
 161
 162         /* Check user arguments. */
 163         if ((name == NULL) || (socket_id < -1) || (config == NULL) ||
 164                         (config->max_rules == 0) ||
 165                         config->number_tbl8s > RTE_LPM6_TBL8_MAX_NUM_GROUPS) {
 166                 rte_errno = EINVAL;
 167                 return NULL;
 168         }
 169
 170         snprintf(mem_name, sizeof(mem_name), "LPM_%s", name);
 171
 172         /* Determine the amount of memory to allocate. */
 173         mem_size = sizeof(*lpm) + (sizeof(lpm->tbl8[0]) *
 174                         RTE_LPM6_TBL8_GROUP_NUM_ENTRIES * config->number_tbl8s);
 175         rules_size = sizeof(struct rte_lpm6_rule) * config->max_rules;
 176
 177         rte_rwlock_write_lock(RTE_EAL_TAILQ_RWLOCK);
 178
 179         /* Guarantee there's no existing */
 180         TAILQ_FOREACH(te, lpm_list, next) {
 181                 lpm = (struct rte_lpm6 *) te->data;
 182                 if (strncmp(name, lpm->name, RTE_LPM6_NAMESIZE) == 0)
 183                         break;
 184         }
 185         if (te != NULL)
 186                 goto exit;
 187
 188         /* allocate tailq entry */
 189         te = rte_zmalloc("LPM6_TAILQ_ENTRY", sizeof(*te), 0);
 190         if (te == NULL) {
 191                 RTE_LOG(ERR, LPM, "Failed to allocate tailq entry!\n");
 192                 goto exit;
 193         }
 194
 195         /* Allocate memory to store the LPM data structures. */
 196         lpm = (struct rte_lpm6 *)rte_zmalloc_socket(mem_name, (size_t)mem_size,
 197                         RTE_CACHE_LINE_SIZE, socket_id);
 198
 199         if (lpm == NULL) {
 200                 RTE_LOG(ERR, LPM, "LPM memory allocation failed\n");
 201                 rte_free(te);
 202                 goto exit;
 203         }
 204
 205         lpm->rules_tbl = (struct rte_lpm6_rule *)rte_zmalloc_socket(NULL,
 206                         (size_t)rules_size, RTE_CACHE_LINE_SIZE, socket_id);
 207
 208         if (lpm->rules_tbl == NULL) {
 209                 RTE_LOG(ERR, LPM, "LPM memory allocation failed\n");
 210                 rte_free(lpm);
 211                 rte_free(te);
 212                 goto exit;
 213         }
 214
 215         /* Save user arguments. */
 216         lpm->max_rules = config->max_rules;
 217         lpm->number_tbl8s = config->number_tbl8s;
 218         snprintf(lpm->name, sizeof(lpm->name), "%s", name);
 219
 220         te->data = (void *) lpm;
 221
 222         TAILQ_INSERT_TAIL(lpm_list, te, next);
 223
 224 exit:
 225         rte_rwlock_write_unlock(RTE_EAL_TAILQ_RWLOCK);
 226
 227         return lpm;
 228 }
 229
 230 /*
 231  * Find an existing lpm table and return a pointer to it.
 232  */
 233 struct rte_lpm6 *
 234 rte_lpm6_find_existing(const char *name)
 235 {
 236         struct rte_lpm6 *l = NULL;
 237         struct rte_tailq_entry *te;
 238         struct rte_lpm6_list *lpm_list;
 239
 240         lpm_list = RTE_TAILQ_CAST(rte_lpm6_tailq.head, rte_lpm6_list);
 241
 242         rte_rwlock_read_lock(RTE_EAL_TAILQ_RWLOCK);
 243         TAILQ_FOREACH(te, lpm_list, next) {
 244                 l = (struct rte_lpm6 *) te->data;
 245                 if (strncmp(name, l->name, RTE_LPM6_NAMESIZE) == 0)
 246                         break;
 247         }
 248         rte_rwlock_read_unlock(RTE_EAL_TAILQ_RWLOCK);
 249
 250         if (te == NULL) {
 251                 rte_errno = ENOENT;
 252                 return NULL;
 253         }
 254
 255         return l;
 256 }
 257
 258 /*
 259  * Deallocates memory for given LPM table.
 260  */
 261 void
 262 rte_lpm6_free(struct rte_lpm6 *lpm)
 263 {
 264         struct rte_lpm6_list *lpm_list;
 265         struct rte_tailq_entry *te;
 266
 267         /* Check user arguments. */
 268         if (lpm == NULL)
 269                 return;
 270
 271         lpm_list = RTE_TAILQ_CAST(rte_lpm6_tailq.head, rte_lpm6_list);
 272
 273         rte_rwlock_write_lock(RTE_EAL_TAILQ_RWLOCK);
 274
 275         /* find our tailq entry */
 276         TAILQ_FOREACH(te, lpm_list, next) {
 277                 if (te->data == (void *) lpm)
 278                         break;
 279         }
 280         if (te == NULL) {
 281                 rte_rwlock_write_unlock(RTE_EAL_TAILQ_RWLOCK);
 282                 return;
 283         }
 284
 285         TAILQ_REMOVE(lpm_list, te, next);
 286
 287         rte_rwlock_write_unlock(RTE_EAL_TAILQ_RWLOCK);
 288
 289         rte_free(lpm);
 290         rte_free(te);
 291 }
 292
 293 /*
 294  * Checks if a rule already exists in the rules table and updates
 295  * the nexthop if so. Otherwise it adds a new rule if enough space is available.
 296  */
 297 static inline int32_t
 298 rule_add(struct rte_lpm6 *lpm, uint8_t *ip, uint8_t next_hop, uint8_t depth)
 299 {
 300         uint32_t rule_index;
 301
 302         /* Scan through rule list to see if rule already exists. */
 303         for (rule_index = 0; rule_index < lpm->used_rules; rule_index++) {
 304
 305                 /* If rule already exists update its next_hop and return. */
 306                 if ((memcmp (lpm->rules_tbl[rule_index].ip, ip,
 307                                 RTE_LPM6_IPV6_ADDR_SIZE) == 0) &&
 308                                 lpm->rules_tbl[rule_index].depth == depth) {
 309                         lpm->rules_tbl[rule_index].next_hop = next_hop;
 310
 311                         return rule_index;
 312                 }
 313         }
 314
 315         /*
 316          * If rule does not exist check if there is space to add a new rule to
 317          * this rule group. If there is no space return error.
 318          */
 319         if (lpm->used_rules == lpm->max_rules) {
 320                 return -ENOSPC;
 321         }
 322
 323         /* If there is space for the new rule add it. */
 324         rte_memcpy(lpm->rules_tbl[rule_index].ip, ip, RTE_LPM6_IPV6_ADDR_SIZE);
 325         lpm->rules_tbl[rule_index].next_hop = next_hop;
 326         lpm->rules_tbl[rule_index].depth = depth;
 327
 328         /* Increment the used rules counter for this rule group. */
 329         lpm->used_rules++;
 330
 331         return rule_index;
 332 }
 333
 334 /*
 335  * Function that expands a rule across the data structure when a less-generic
 336  * one has been added before. It assures that every possible combination of bits
 337  * in the IP address returns a match.
 338  */
 339 static void
 340 expand_rule(struct rte_lpm6 *lpm, uint32_t tbl8_gindex, uint8_t depth,
 341                 uint8_t next_hop)
 342 {
 343         uint32_t tbl8_group_end, tbl8_gindex_next, j;
 344
 345         tbl8_group_end = tbl8_gindex + RTE_LPM6_TBL8_GROUP_NUM_ENTRIES;
 346
 347         struct rte_lpm6_tbl_entry new_tbl8_entry = {
 348                 .valid = VALID,
 349                 .valid_group = VALID,
 350                 .depth = depth,
 351                 .next_hop = next_hop,
 352                 .ext_entry = 0,
 353         };
 354
 355         for (j = tbl8_gindex; j < tbl8_group_end; j++) {
 356                 if (!lpm->tbl8[j].valid || (lpm->tbl8[j].ext_entry == 0
 357                                 && lpm->tbl8[j].depth <= depth)) {
 358
 359                         lpm->tbl8[j] = new_tbl8_entry;
 360
 361                 } else if (lpm->tbl8[j].ext_entry == 1) {
 362
 363                         tbl8_gindex_next = lpm->tbl8[j].lpm6_tbl8_gindex
 364                                         * RTE_LPM6_TBL8_GROUP_NUM_ENTRIES;
 365                         expand_rule(lpm, tbl8_gindex_next, depth, next_hop);
 366                 }
 367         }
 368 }
 369
 370 /*
 371  * Partially adds a new route to the data structure (tbl24+tbl8s).
 372  * It returns 0 on success, a negative number on failure, or 1 if
 373  * the process needs to be continued by calling the function again.
 374  */
 375 static inline int
 376 add_step(struct rte_lpm6 *lpm, struct rte_lpm6_tbl_entry *tbl,
 377                 struct rte_lpm6_tbl_entry **tbl_next, uint8_t *ip, uint8_t bytes,
 378                 uint8_t first_byte, uint8_t depth, uint8_t next_hop)
 379 {
 380         uint32_t tbl_index, tbl_range, tbl8_group_start, tbl8_group_end, i;
 381         int32_t tbl8_gindex;
 382         int8_t bitshift;
 383         uint8_t bits_covered;
 384
 385         /*
 386          * Calculate index to the table based on the number and position
 387          * of the bytes being inspected in this step.
 388          */
 389         tbl_index = 0;
 390         for (i = first_byte; i < (uint32_t)(first_byte + bytes); i++) {
 391                 bitshift = (int8_t)((bytes - i)*BYTE_SIZE);
 392
 393                 if (bitshift < 0) bitshift = 0;
 394                 tbl_index = tbl_index | ip[i-1] << bitshift;
 395         }
 396
 397         /* Number of bits covered in this step */
 398         bits_covered = (uint8_t)((bytes+first_byte-1)*BYTE_SIZE);
 399
 400         /*
 401          * If depth if smaller than this number (ie this is the last step)
 402          * expand the rule across the relevant positions in the table.
 403          */
 404         if (depth <= bits_covered) {
 405                 tbl_range = 1 << (bits_covered - depth);
 406
 407                 for (i = tbl_index; i < (tbl_index + tbl_range); i++) {
 408                         if (!tbl[i].valid || (tbl[i].ext_entry == 0 &&
 409                                         tbl[i].depth <= depth)) {
 410
 411                                 struct rte_lpm6_tbl_entry new_tbl_entry = {
 412                                         .next_hop = next_hop,
 413                                         .depth = depth,
 414                                         .valid = VALID,
 415                                         .valid_group = VALID,
 416                                         .ext_entry = 0,
 417                                 };
 418
 419                                 tbl[i] = new_tbl_entry;
 420
 421                         } else if (tbl[i].ext_entry == 1) {
 422
 423                                 /*
 424                                  * If tbl entry is valid and extended calculate the index
 425                                  * into next tbl8 and expand the rule across the data structure.
 426                                  */
 427                                 tbl8_gindex = tbl[i].lpm6_tbl8_gindex *
 428                                                 RTE_LPM6_TBL8_GROUP_NUM_ENTRIES;
 429                                 expand_rule(lpm, tbl8_gindex, depth, next_hop);
 430                         }
 431                 }
 432
 433                 return 0;
 434         }
 435         /*
 436          * If this is not the last step just fill one position
 437          * and calculate the index to the next table.
 438          */
 439         else {
 440                 /* If it's invalid a new tbl8 is needed */
 441                 if (!tbl[tbl_index].valid) {
 442                         if (lpm->next_tbl8 < lpm->number_tbl8s)
 443                                 tbl8_gindex = (lpm->next_tbl8)++;
 444                         else
 445                                 return -ENOSPC;
 446
 447                         struct rte_lpm6_tbl_entry new_tbl_entry = {
 448                                 .lpm6_tbl8_gindex = tbl8_gindex,
 449                                 .depth = 0,
 450                                 .valid = VALID,
 451                                 .valid_group = VALID,
 452                                 .ext_entry = 1,
 453                         };
 454
 455                         tbl[tbl_index] = new_tbl_entry;
 456                 }
 457                 /*
 458                  * If it's valid but not extended the rule that was stored *
 459                  * here needs to be moved to the next table.
 460                  */
 461                 else if (tbl[tbl_index].ext_entry == 0) {
 462                         /* Search for free tbl8 group. */
 463                         if (lpm->next_tbl8 < lpm->number_tbl8s)
 464                                 tbl8_gindex = (lpm->next_tbl8)++;
 465                         else
 466                                 return -ENOSPC;
 467
 468                         tbl8_group_start = tbl8_gindex *
 469                                         RTE_LPM6_TBL8_GROUP_NUM_ENTRIES;
 470                         tbl8_group_end = tbl8_group_start +
 471                                         RTE_LPM6_TBL8_GROUP_NUM_ENTRIES;
 472
 473                         /* Populate new tbl8 with tbl value. */
 474                         for (i = tbl8_group_start; i < tbl8_group_end; i++) {
 475                                 lpm->tbl8[i].valid = VALID;
 476                                 lpm->tbl8[i].depth = tbl[tbl_index].depth;
 477                                 lpm->tbl8[i].next_hop = tbl[tbl_index].next_hop;
 478                                 lpm->tbl8[i].ext_entry = 0;
 479                         }
 480
 481                         /*
 482                          * Update tbl entry to point to new tbl8 entry. Note: The
 483                          * ext_flag and tbl8_index need to be updated simultaneously,
 484                          * so assign whole structure in one go.
 485                          */
 486                         struct rte_lpm6_tbl_entry new_tbl_entry = {
 487                                 .lpm6_tbl8_gindex = tbl8_gindex,
 488                                 .depth = 0,
 489                                 .valid = VALID,
 490                                 .valid_group = VALID,
 491                                 .ext_entry = 1,
 492                         };
 493
 494                         tbl[tbl_index] = new_tbl_entry;
 495                 }
 496
 497                 *tbl_next = &(lpm->tbl8[tbl[tbl_index].lpm6_tbl8_gindex *
 498                                 RTE_LPM6_TBL8_GROUP_NUM_ENTRIES]);
 499         }
 500
 501         return 1;
 502 }
 503
 504 /*
 505  * Add a route
 506  */
 507 int
 508 rte_lpm6_add(struct rte_lpm6 *lpm, uint8_t *ip, uint8_t depth,
 509                 uint8_t next_hop)
 510 {
 511         struct rte_lpm6_tbl_entry *tbl;
 512         struct rte_lpm6_tbl_entry *tbl_next;
 513         int32_t rule_index;
 514         int status;
 515         uint8_t masked_ip[RTE_LPM6_IPV6_ADDR_SIZE];
 516         int i;
 517
 518         /* Check user arguments. */
 519         if ((lpm == NULL) || (depth < 1) || (depth > RTE_LPM6_MAX_DEPTH))
 520                 return -EINVAL;
 521
 522         /* Copy the IP and mask it to avoid modifying user's input data. */
 523         memcpy(masked_ip, ip, RTE_LPM6_IPV6_ADDR_SIZE);
 524         mask_ip(masked_ip, depth);
 525
 526         /* Add the rule to the rule table. */
 527         rule_index = rule_add(lpm, masked_ip, next_hop, depth);
 528
 529         /* If there is no space available for new rule return error. */
 530         if (rule_index < 0) {
 531                 return rule_index;
 532         }
 533
 534         /* Inspect the first three bytes through tbl24 on the first step. */
 535         tbl = lpm->tbl24;
 536         status = add_step (lpm, tbl, &tbl_next, masked_ip, ADD_FIRST_BYTE, 1,
 537                         depth, next_hop);
 538         if (status < 0) {
 539                 rte_lpm6_delete(lpm, masked_ip, depth);
 540
 541                 return status;
 542         }
 543
 544         /*
 545          * Inspect one by one the rest of the bytes until
 546          * the process is completed.
 547          */
 548         for (i = ADD_FIRST_BYTE; i < RTE_LPM6_IPV6_ADDR_SIZE && status == 1; i++) {
 549                 tbl = tbl_next;
 550                 status = add_step (lpm, tbl, &tbl_next, masked_ip, 1, (uint8_t)(i+1),
 551                                 depth, next_hop);
 552                 if (status < 0) {
 553                         rte_lpm6_delete(lpm, masked_ip, depth);
 554
 555                         return status;
 556                 }
 557         }
 558
 559         return status;
 560 }
 561
 562 /*
 563  * Takes a pointer to a table entry and inspect one level.
 564  * The function returns 0 on lookup success, ENOENT if no match was found
 565  * or 1 if the process needs to be continued by calling the function again.
 566  */
 567 static inline int
 568 lookup_step(const struct rte_lpm6 *lpm, const struct rte_lpm6_tbl_entry *tbl,
 569                 const struct rte_lpm6_tbl_entry **tbl_next, uint8_t *ip,
 570                 uint8_t first_byte, uint8_t *next_hop)
 571 {
 572         uint32_t tbl8_index, tbl_entry;
 573
 574         /* Take the integer value from the pointer. */
 575         tbl_entry = *(const uint32_t *)tbl;
 576
 577         /* If it is valid and extended we calculate the new pointer to return. */
 578         if ((tbl_entry & RTE_LPM6_VALID_EXT_ENTRY_BITMASK) ==
 579                         RTE_LPM6_VALID_EXT_ENTRY_BITMASK) {
 580
 581                 tbl8_index = ip[first_byte-1] +
 582                                 ((tbl_entry & RTE_LPM6_TBL8_BITMASK) *
 583                                 RTE_LPM6_TBL8_GROUP_NUM_ENTRIES);
 584
 585                 *tbl_next = &lpm->tbl8[tbl8_index];
 586
 587                 return 1;
 588         } else {
 589                 /* If not extended then we can have a match. */
 590                 *next_hop = (uint8_t)tbl_entry;
 591                 return (tbl_entry & RTE_LPM6_LOOKUP_SUCCESS) ? 0 : -ENOENT;
 592         }
 593 }
 594
 595 /*
 596  * Looks up an IP
 597  */
 598 int
 599 rte_lpm6_lookup(const struct rte_lpm6 *lpm, uint8_t *ip, uint8_t *next_hop)
 600 {
 601         const struct rte_lpm6_tbl_entry *tbl;
 602         const struct rte_lpm6_tbl_entry *tbl_next;
 603         int status;
 604         uint8_t first_byte;
 605         uint32_t tbl24_index;
 606
 607         /* DEBUG: Check user input arguments. */
 608         if ((lpm == NULL) || (ip == NULL) || (next_hop == NULL)) {
 609                 return -EINVAL;
 610         }
 611
 612         first_byte = LOOKUP_FIRST_BYTE;
 613         tbl24_index = (ip[0] << BYTES2_SIZE) | (ip[1] << BYTE_SIZE) | ip[2];
 614
 615         /* Calculate pointer to the first entry to be inspected */
 616         tbl = &lpm->tbl24[tbl24_index];
 617
 618         do {
 619                 /* Continue inspecting following levels until success or failure */
 620                 status = lookup_step(lpm, tbl, &tbl_next, ip, first_byte++, next_hop);
 621                 tbl = tbl_next;
 622         } while (status == 1);
 623
 624         return status;
 625 }
 626
 627 /*
 628  * Looks up a group of IP addresses
 629  */
 630 int
 631 rte_lpm6_lookup_bulk_func(const struct rte_lpm6 *lpm,
 632                 uint8_t ips[][RTE_LPM6_IPV6_ADDR_SIZE],
 633                 int16_t * next_hops, unsigned n)
 634 {
 635         unsigned i;
 636         const struct rte_lpm6_tbl_entry *tbl;
 637         const struct rte_lpm6_tbl_entry *tbl_next;
 638         uint32_t tbl24_index;
 639         uint8_t first_byte, next_hop;
 640         int status;
 641
 642         /* DEBUG: Check user input arguments. */
 643         if ((lpm == NULL) || (ips == NULL) || (next_hops == NULL)) {
 644                 return -EINVAL;
 645         }
 646
 647         for (i = 0; i < n; i++) {
 648                 first_byte = LOOKUP_FIRST_BYTE;
 649                 tbl24_index = (ips[i][0] << BYTES2_SIZE) |
 650                                 (ips[i][1] << BYTE_SIZE) | ips[i][2];
 651
 652                 /* Calculate pointer to the first entry to be inspected */
 653                 tbl = &lpm->tbl24[tbl24_index];
 654
 655                 do {
 656                         /* Continue inspecting following levels until success or failure */
 657                         status = lookup_step(lpm, tbl, &tbl_next, ips[i], first_byte++,
 658                                         &next_hop);
 659                         tbl = tbl_next;
 660                 } while (status == 1);
 661
 662                 if (status < 0)
 663                         next_hops[i] = -1;
 664                 else
 665                         next_hops[i] = next_hop;
 666         }
 667
 668         return 0;
 669 }
 670
 671 /*
 672  * Finds a rule in rule table.
 673  * NOTE: Valid range for depth parameter is 1 .. 128 inclusive.
 674  */
 675 static inline int32_t
 676 rule_find(struct rte_lpm6 *lpm, uint8_t *ip, uint8_t depth)
 677 {
 678         uint32_t rule_index;
 679
 680         /* Scan used rules at given depth to find rule. */
 681         for (rule_index = 0; rule_index < lpm->used_rules; rule_index++) {
 682                 /* If rule is found return the rule index. */
 683                 if ((memcmp (lpm->rules_tbl[rule_index].ip, ip,
 684                                 RTE_LPM6_IPV6_ADDR_SIZE) == 0) &&
 685                                 lpm->rules_tbl[rule_index].depth == depth) {
 686
 687                         return rule_index;
 688                 }
 689         }
 690
 691         /* If rule is not found return -ENOENT. */
 692         return -ENOENT;
 693 }
 694
 695 /*
 696  * Look for a rule in the high-level rules table
 697  */
 698 int
 699 rte_lpm6_is_rule_present(struct rte_lpm6 *lpm, uint8_t *ip, uint8_t depth,
 700 uint8_t *next_hop)
 701 {
 702         uint8_t ip_masked[RTE_LPM6_IPV6_ADDR_SIZE];
 703         int32_t rule_index;
 704
 705         /* Check user arguments. */
 706         if ((lpm == NULL) || next_hop == NULL || ip == NULL ||
 707                         (depth < 1) || (depth > RTE_LPM6_MAX_DEPTH))
 708                 return -EINVAL;
 709
 710         /* Copy the IP and mask it to avoid modifying user's input data. */
 711         memcpy(ip_masked, ip, RTE_LPM6_IPV6_ADDR_SIZE);
 712         mask_ip(ip_masked, depth);
 713
 714         /* Look for the rule using rule_find. */
 715         rule_index = rule_find(lpm, ip_masked, depth);
 716
 717         if (rule_index >= 0) {
 718                 *next_hop = lpm->rules_tbl[rule_index].next_hop;
 719                 return 1;
 720         }
 721
 722         /* If rule is not found return 0. */
 723         return 0;
 724 }
 725
 726 /*
 727  * Delete a rule from the rule table.
 728  * NOTE: Valid range for depth parameter is 1 .. 128 inclusive.
 729  */
 730 static inline void
 731 rule_delete(struct rte_lpm6 *lpm, int32_t rule_index)
 732 {
 733         /*
 734          * Overwrite redundant rule with last rule in group and decrement rule
 735          * counter.
 736          */
 737         lpm->rules_tbl[rule_index] = lpm->rules_tbl[lpm->used_rules-1];
 738         lpm->used_rules--;
 739 }
 740
 741 /*
 742  * Deletes a rule
 743  */
 744 int
 745 rte_lpm6_delete(struct rte_lpm6 *lpm, uint8_t *ip, uint8_t depth)
 746 {
 747         int32_t rule_to_delete_index;
 748         uint8_t ip_masked[RTE_LPM6_IPV6_ADDR_SIZE];
 749         unsigned i;
 750
 751         /*
 752          * Check input arguments.
 753          */
 754         if ((lpm == NULL) || (depth < 1) || (depth > RTE_LPM6_MAX_DEPTH)) {
 755                 return -EINVAL;
 756         }
 757
 758         /* Copy the IP and mask it to avoid modifying user's input data. */
 759         memcpy(ip_masked, ip, RTE_LPM6_IPV6_ADDR_SIZE);
 760         mask_ip(ip_masked, depth);
 761
 762         /*
 763          * Find the index of the input rule, that needs to be deleted, in the
 764          * rule table.
 765          */
 766         rule_to_delete_index = rule_find(lpm, ip_masked, depth);
 767
 768         /*
 769          * Check if rule_to_delete_index was found. If no rule was found the
 770          * function rule_find returns -ENOENT.
 771          */
 772         if (rule_to_delete_index < 0)
 773                 return rule_to_delete_index;
 774
 775         /* Delete the rule from the rule table. */
 776         rule_delete(lpm, rule_to_delete_index);
 777
 778         /*
 779          * Set all the table entries to 0 (ie delete every rule
 780          * from the data structure.
 781          */
 782         lpm->next_tbl8 = 0;
 783         memset(lpm->tbl24, 0, sizeof(lpm->tbl24));
 784         memset(lpm->tbl8, 0, sizeof(lpm->tbl8[0])
 785                         * RTE_LPM6_TBL8_GROUP_NUM_ENTRIES * lpm->number_tbl8s);
 786
 787         /*
 788          * Add every rule again (except for the one that was removed from
 789          * the rules table).
 790          */
 791         for (i = 0; i < lpm->used_rules; i++) {
 792                 rte_lpm6_add(lpm, lpm->rules_tbl[i].ip, lpm->rules_tbl[i].depth,
 793                                 lpm->rules_tbl[i].next_hop);
 794         }
 795
 796         return 0;
 797 }
 798
 799 /*
 800  * Deletes a group of rules
 801  */
 802 int
 803 rte_lpm6_delete_bulk_func(struct rte_lpm6 *lpm,
 804                 uint8_t ips[][RTE_LPM6_IPV6_ADDR_SIZE], uint8_t *depths, unsigned n)
 805 {
 806         int32_t rule_to_delete_index;
 807         uint8_t ip_masked[RTE_LPM6_IPV6_ADDR_SIZE];
 808         unsigned i;
 809
 810         /*
 811          * Check input arguments.
 812          */
 813         if ((lpm == NULL) || (ips == NULL) || (depths == NULL)) {
 814                 return -EINVAL;
 815         }
 816
 817         for (i = 0; i < n; i++) {
 818                 /* Copy the IP and mask it to avoid modifying user's input data. */
 819                 memcpy(ip_masked, ips[i], RTE_LPM6_IPV6_ADDR_SIZE);
 820                 mask_ip(ip_masked, depths[i]);
 821
 822                 /*
 823                  * Find the index of the input rule, that needs to be deleted, in the
 824                  * rule table.
 825                  */
 826                 rule_to_delete_index = rule_find(lpm, ip_masked, depths[i]);
 827
 828                 /*
 829                  * Check if rule_to_delete_index was found. If no rule was found the
 830                  * function rule_find returns -ENOENT.
 831                  */
 832                 if (rule_to_delete_index < 0)
 833                         continue;
 834
 835                 /* Delete the rule from the rule table. */
 836                 rule_delete(lpm, rule_to_delete_index);
 837         }
 838
 839         /*
 840          * Set all the table entries to 0 (ie delete every rule
 841          * from the data structure.
 842          */
 843         lpm->next_tbl8 = 0;
 844         memset(lpm->tbl24, 0, sizeof(lpm->tbl24));
 845         memset(lpm->tbl8, 0, sizeof(lpm->tbl8[0])
 846                         * RTE_LPM6_TBL8_GROUP_NUM_ENTRIES * lpm->number_tbl8s);
 847
 848         /*
 849          * Add every rule again (except for the ones that were removed from
 850          * the rules table).
 851          */
 852         for (i = 0; i < lpm->used_rules; i++) {
 853                 rte_lpm6_add(lpm, lpm->rules_tbl[i].ip, lpm->rules_tbl[i].depth,
 854                                 lpm->rules_tbl[i].next_hop);
 855         }
 856
 857         return 0;
 858 }
 859
 860 /*
 861  * Delete all rules from the LPM table.
 862  */
 863 void
 864 rte_lpm6_delete_all(struct rte_lpm6 *lpm)
 865 {
 866         /* Zero used rules counter. */
 867         lpm->used_rules = 0;
 868
 869         /* Zero next tbl8 index. */
 870         lpm->next_tbl8 = 0;
 871
 872         /* Zero tbl24. */
 873         memset(lpm->tbl24, 0, sizeof(lpm->tbl24));
 874
 875         /* Zero tbl8. */
 876         memset(lpm->tbl8, 0, sizeof(lpm->tbl8[0]) *
 877                         RTE_LPM6_TBL8_GROUP_NUM_ENTRIES * lpm->number_tbl8s);
 878
 879         /* Delete all rules form the rules table. */
 880         memset(lpm->rules_tbl, 0, sizeof(struct rte_lpm6_rule) * lpm->max_rules);
 881 }