mempool: fix slow allocation of large mempools
[dpdk.git] / lib / librte_ipsec / sa.h
1 /* SPDX-License-Identifier: BSD-3-Clause
2  * Copyright(c) 2018 Intel Corporation
3  */
4
5 #ifndef _SA_H_
6 #define _SA_H_
7
8 #include <rte_rwlock.h>
9
10 #define IPSEC_MAX_HDR_SIZE      64
11 #define IPSEC_MAX_IV_SIZE       16
12 #define IPSEC_MAX_IV_QWORD      (IPSEC_MAX_IV_SIZE / sizeof(uint64_t))
13 #define TUN_HDR_MSK (RTE_IPSEC_SATP_ECN_MASK | RTE_IPSEC_SATP_DSCP_MASK)
14
15 /* padding alignment for different algorithms */
16 enum {
17         IPSEC_PAD_DEFAULT = 4,
18         IPSEC_PAD_3DES_CBC = 8,
19         IPSEC_PAD_AES_CBC = IPSEC_MAX_IV_SIZE,
20         IPSEC_PAD_AES_CTR = IPSEC_PAD_DEFAULT,
21         IPSEC_PAD_AES_GCM = IPSEC_PAD_DEFAULT,
22         IPSEC_PAD_NULL = IPSEC_PAD_DEFAULT,
23 };
24
25 /* iv sizes for different algorithms */
26 enum {
27         IPSEC_IV_SIZE_DEFAULT = IPSEC_MAX_IV_SIZE,
28         IPSEC_AES_CTR_IV_SIZE = sizeof(uint64_t),
29         /* TripleDES supports IV size of 32bits or 64bits but he library
30          * only supports 64bits.
31          */
32         IPSEC_3DES_IV_SIZE = sizeof(uint64_t),
33 };
34
35 /* these definitions probably has to be in rte_crypto_sym.h */
36 union sym_op_ofslen {
37         uint64_t raw;
38         struct {
39                 uint32_t offset;
40                 uint32_t length;
41         };
42 };
43
44 union sym_op_data {
45 #ifdef __SIZEOF_INT128__
46         __uint128_t raw;
47 #endif
48         struct {
49                 uint8_t *va;
50                 rte_iova_t pa;
51         };
52 };
53
54 #define REPLAY_SQN_NUM          2
55 #define REPLAY_SQN_NEXT(n)      ((n) ^ 1)
56
57 struct replay_sqn {
58         rte_rwlock_t rwl;
59         uint64_t sqn;
60         __extension__ uint64_t window[0];
61 };
62
63 /*IPSEC SA supported algorithms */
64 enum sa_algo_type       {
65         ALGO_TYPE_NULL = 0,
66         ALGO_TYPE_3DES_CBC,
67         ALGO_TYPE_AES_CBC,
68         ALGO_TYPE_AES_CTR,
69         ALGO_TYPE_AES_GCM,
70         ALGO_TYPE_MAX
71 };
72
73 struct rte_ipsec_sa {
74
75         uint64_t type;     /* type of given SA */
76         uint64_t udata;    /* user defined */
77         uint32_t size;     /* size of given sa object */
78         uint32_t spi;
79         /* sqn calculations related */
80         uint64_t sqn_mask;
81         struct {
82                 uint32_t win_sz;
83                 uint16_t nb_bucket;
84                 uint16_t bucket_index_mask;
85         } replay;
86         /* template for crypto op fields */
87         struct {
88                 union sym_op_ofslen cipher;
89                 union sym_op_ofslen auth;
90         } ctp;
91         /* tx_offload template for tunnel mbuf */
92         struct {
93                 uint64_t msk;
94                 uint64_t val;
95         } tx_offload;
96         uint32_t salt;
97         uint8_t algo_type;
98         uint8_t proto;    /* next proto */
99         uint8_t aad_len;
100         uint8_t hdr_len;
101         uint8_t hdr_l3_off;
102         uint8_t icv_len;
103         uint8_t sqh_len;
104         uint8_t iv_ofs; /* offset for algo-specific IV inside crypto op */
105         uint8_t iv_len;
106         uint8_t pad_align;
107         uint8_t tos_mask;
108
109         /* template for tunnel header */
110         uint8_t hdr[IPSEC_MAX_HDR_SIZE];
111
112         /*
113          * sqn and replay window
114          * In case of SA handled by multiple threads *sqn* cacheline
115          * could be shared by multiple cores.
116          * To minimise perfomance impact, we try to locate in a separate
117          * place from other frequently accesed data.
118          */
119         union {
120                 union {
121                         rte_atomic64_t atom;
122                         uint64_t raw;
123                 } outb;
124                 struct {
125                         uint32_t rdidx; /* read index */
126                         uint32_t wridx; /* write index */
127                         struct replay_sqn *rsn[REPLAY_SQN_NUM];
128                 } inb;
129         } sqn;
130
131 } __rte_cache_aligned;
132
133 int
134 ipsec_sa_pkt_func_select(const struct rte_ipsec_session *ss,
135         const struct rte_ipsec_sa *sa, struct rte_ipsec_sa_pkt_func *pf);
136
137 /* inbound processing */
138
139 uint16_t
140 esp_inb_pkt_prepare(const struct rte_ipsec_session *ss, struct rte_mbuf *mb[],
141         struct rte_crypto_op *cop[], uint16_t num);
142
143 uint16_t
144 esp_inb_tun_pkt_process(const struct rte_ipsec_session *ss,
145         struct rte_mbuf *mb[], uint16_t num);
146
147 uint16_t
148 inline_inb_tun_pkt_process(const struct rte_ipsec_session *ss,
149         struct rte_mbuf *mb[], uint16_t num);
150
151 uint16_t
152 esp_inb_trs_pkt_process(const struct rte_ipsec_session *ss,
153         struct rte_mbuf *mb[], uint16_t num);
154
155 uint16_t
156 inline_inb_trs_pkt_process(const struct rte_ipsec_session *ss,
157         struct rte_mbuf *mb[], uint16_t num);
158
159 /* outbound processing */
160
161 uint16_t
162 esp_outb_tun_prepare(const struct rte_ipsec_session *ss, struct rte_mbuf *mb[],
163         struct rte_crypto_op *cop[], uint16_t num);
164
165 uint16_t
166 esp_outb_trs_prepare(const struct rte_ipsec_session *ss, struct rte_mbuf *mb[],
167         struct rte_crypto_op *cop[], uint16_t num);
168
169 uint16_t
170 esp_outb_sqh_process(const struct rte_ipsec_session *ss, struct rte_mbuf *mb[],
171         uint16_t num);
172
173 uint16_t
174 inline_outb_tun_pkt_process(const struct rte_ipsec_session *ss,
175         struct rte_mbuf *mb[], uint16_t num);
176
177 uint16_t
178 inline_outb_trs_pkt_process(const struct rte_ipsec_session *ss,
179         struct rte_mbuf *mb[], uint16_t num);
180
181 uint16_t
182 inline_proto_outb_pkt_process(const struct rte_ipsec_session *ss,
183         struct rte_mbuf *mb[], uint16_t num);
184
185 #endif /* _SA_H_ */