net/cnxk: make inline inbound device usage as default
[dpdk.git] / doc / guides / tools / cryptoperf.rst
1 ..  SPDX-License-Identifier: BSD-3-Clause
2     Copyright(c) 2016 Intel Corporation.
3
4 dpdk-test-crypto-perf Application
5 =================================
6
7 The ``dpdk-test-crypto-perf`` tool is a Data Plane Development Kit (DPDK)
8 utility that allows measuring performance parameters of PMDs available in the
9 crypto tree. There are available two measurement types: throughput and latency.
10 User can use multiply cores to run tests on but only
11 one type of crypto PMD can be measured during single application
12 execution. Cipher parameters, type of device, type of operation and
13 chain mode have to be specified in the command line as application
14 parameters. These parameters are checked using device capabilities
15 structure.
16
17 Limitations
18 -----------
19 On hardware devices the cycle-count doesn't always represent the actual offload
20 cost. The cycle-count only represents the offload cost when the hardware
21 accelerator is not fully loaded, when loaded the cpu cycles freed up by the
22 offload are still consumed by the test tool and included in the cycle-count.
23 These cycles are consumed by retries and inefficient API calls enqueuing and
24 dequeuing smaller bursts than specified by the cmdline parameter. This results
25 in a larger cycle-count measurement and should not be interpreted as an offload
26 cost measurement. Using "pmd-cyclecount" mode will give a better idea of
27 actual costs of hardware acceleration.
28
29 On hardware devices the throughput measurement is not necessarily the maximum
30 possible for the device, e.g. it may be necessary to use multiple cores to keep
31 the hardware accelerator fully loaded and so measure maximum throughput.
32
33
34 Linearization setting
35 ---------------------
36
37 It is possible linearized input segmented packets just before crypto operation
38 for devices which doesn't support scatter-gather, and allows to measure
39 performance also for this use case.
40
41 To set on the linearization options add below definition to the
42 ``cperf_ops.h`` file::
43
44    #define CPERF_LINEARIZATION_ENABLE
45
46
47 Running the Application
48 -----------------------
49
50 The tool application has a number of command line options:
51
52 .. code-block:: console
53
54    dpdk-test-crypto-perf [EAL Options] -- [Application Options]
55
56 EAL Options
57 ~~~~~~~~~~~
58
59 The following are the EAL command-line options that can be used in conjunction
60 with the ``dpdk-test-crypto-perf`` application.
61 See the DPDK Getting Started Guides for more information on these options.
62
63 *   ``-c <COREMASK>`` or ``-l <CORELIST>``
64
65         Set the hexadecimal bitmask of the cores to run on. The corelist is a
66         list cores to use.
67
68 *   ``-a <PCI>``
69
70         Add a PCI device in allow list.
71
72 *   ``--vdev <driver><id>``
73
74         Add a virtual device.
75
76 Application Options
77 ~~~~~~~~~~~~~~~~~~~
78
79 The following are the application command-line options:
80
81 * ``--ptest type``
82
83         Set test type, where ``type`` is one of the following::
84
85            throughput
86            latency
87            verify
88            pmd-cyclecount
89
90 * ``--silent``
91
92         Disable options dump.
93
94 * ``--pool-sz <n>``
95
96         Set the number of mbufs to be allocated in the mbuf pool.
97
98 * ``--total-ops <n>``
99
100         Set the number of total operations performed.
101
102 * ``--burst-sz <n>``
103
104         Set the number of packets per burst.
105
106         This can be set as:
107           * Single value (i.e. ``--burst-sz 16``)
108           * Range of values, using the following structure ``min:inc:max``,
109             where ``min`` is minimum size, ``inc`` is the increment size and ``max``
110             is the maximum size (i.e. ``--burst-sz 16:2:32``)
111           * List of values, up to 32 values, separated in commas (i.e. ``--burst-sz 16,24,32``)
112
113 * ``--buffer-sz <n>``
114
115         Set the size of single packet (plaintext or ciphertext in it).
116
117         This can be set as:
118           * Single value (i.e. ``--buffer-sz 16``)
119           * Range of values, using the following structure ``min:inc:max``,
120             where ``min`` is minimum size, ``inc`` is the increment size and ``max``
121             is the maximum size (i.e. ``--buffer-sz 16:2:32``)
122           * List of values, up to 32 values, separated in commas (i.e. ``--buffer-sz 32,64,128``)
123
124 * ``--imix <n>``
125
126         Set the distribution of packet sizes.
127
128         A list of weights must be passed, containing the same number of items than buffer-sz,
129         so each item in this list will be the weight of the packet size on the same position
130         in the buffer-sz parameter (a list have to be passed in that parameter).
131
132         Example:
133
134         To test a distribution of 20% packets of 64 bytes, 40% packets of 100 bytes and 40% packets
135         of 256 bytes, the command line would be: ``--buffer-sz 64,100,256 --imix 20,40,40``.
136         Note that the weights do not have to be percentages, so using ``--imix 1,2,2`` would result
137         in the same distribution
138
139 * ``--segment-sz <n>``
140
141         Set the size of the segment to use, for Scatter Gather List testing.
142         By default, it is set to the size of the maximum buffer size, including the digest size,
143         so a single segment is created.
144
145 * ``--devtype <name>``
146
147         Set device type, where ``name`` is one of the following::
148
149            crypto_aesni_gcm
150            crypto_aesni_mb
151            crypto_armv8
152            crypto_cn9k
153            crypto_cn10k
154            crypto_dpaa_sec
155            crypto_dpaa2_sec
156            crypto_kasumi
157            crypto_mvsam
158            crypto_null
159            crypto_octeontx
160            crypto_openssl
161            crypto_qat
162            crypto_scheduler
163            crypto_snow3g
164            crypto_zuc
165
166 * ``--optype <name>``
167
168         Set operation type, where ``name`` is one of the following::
169
170            cipher-only
171            auth-only
172            cipher-then-auth
173            auth-then-cipher
174            aead
175            pdcp
176            docsis
177            modex
178
179         For GCM/CCM algorithms you should use aead flag.
180
181 * ``--sessionless``
182
183         Enable session-less crypto operations mode.
184
185 * ``--out-of-place``
186
187         Enable out-of-place crypto operations mode.
188
189 * ``--test-file <name>``
190
191         Set test vector file path. See the Test Vector File chapter.
192
193 * ``--test-name <name>``
194
195         Set specific test name section in the test vector file.
196
197 * ``--cipher-algo <name>``
198
199         Set cipher algorithm name, where ``name`` is one of the following::
200
201            3des-cbc
202            3des-ecb
203            3des-ctr
204            aes-cbc
205            aes-ctr
206            aes-ecb
207            aes-f8
208            aes-xts
209            arc4
210            null
211            kasumi-f8
212            snow3g-uea2
213            zuc-eea3
214
215 * ``--cipher-op <mode>``
216
217         Set cipher operation mode, where ``mode`` is one of the following::
218
219            encrypt
220            decrypt
221
222 * ``--cipher-key-sz <n>``
223
224         Set the size of cipher key.
225
226 * ``--cipher-iv-sz <n>``
227
228         Set the size of cipher iv.
229
230 * ``--auth-algo <name>``
231
232         Set authentication algorithm name, where ``name`` is one
233         of the following::
234
235            3des-cbc
236            aes-cbc-mac
237            aes-cmac
238            aes-gmac
239            aes-xcbc-mac
240            md5
241            md5-hmac
242            sha1
243            sha1-hmac
244            sha2-224
245            sha2-224-hmac
246            sha2-256
247            sha2-256-hmac
248            sha2-384
249            sha2-384-hmac
250            sha2-512
251            sha2-512-hmac
252            kasumi-f9
253            snow3g-uia2
254            zuc-eia3
255
256 * ``--auth-op <mode>``
257
258         Set authentication operation mode, where ``mode`` is one of
259         the following::
260
261            verify
262            generate
263
264 * ``--auth-key-sz <n>``
265
266         Set the size of authentication key.
267
268 * ``--auth-iv-sz <n>``
269
270         Set the size of auth iv.
271
272 * ``--aead-algo <name>``
273
274         Set AEAD algorithm name, where ``name`` is one
275         of the following::
276
277            aes-ccm
278            aes-gcm
279
280 * ``--aead-op <mode>``
281
282         Set AEAD operation mode, where ``mode`` is one of
283         the following::
284
285            encrypt
286            decrypt
287
288 * ``--aead-key-sz <n>``
289
290         Set the size of AEAD key.
291
292 * ``--aead-iv-sz <n>``
293
294         Set the size of AEAD iv.
295
296 * ``--aead-aad-sz <n>``
297
298         Set the size of AEAD aad.
299
300 * ``--digest-sz <n>``
301
302         Set the size of digest.
303
304 * ``--desc-nb <n>``
305
306         Set number of descriptors for each crypto device.
307
308 * ``--pmd-cyclecount-delay-ms <n>``
309
310         Add a delay (in milliseconds) between enqueue and dequeue in
311         pmd-cyclecount benchmarking mode (useful when benchmarking
312         hardware acceleration).
313
314 * ``--csv-friendly``
315
316         Enable test result output CSV friendly rather than human friendly.
317
318 * ``--pdcp-sn-sz <n>``
319
320         Set PDCP sequence number size(n) in bits. Valid values of n will
321         be 5/7/12/15/18.
322
323 * ``--pdcp-domain <control/user>``
324
325         Set PDCP domain to specify short_mac/control/user plane.
326
327 * ``--docsis-hdr-sz <n>``
328
329         Set DOCSIS header size(n) in bytes.
330
331 * ``--pdcp-ses-hfn-en``
332
333         Enable fixed session based HFN instead of per packet HFN.
334
335 Test Vector File
336 ~~~~~~~~~~~~~~~~
337
338 The test vector file is a text file contain information about test vectors.
339 The file is made of the sections. The first section doesn't have header.
340 It contain global information used in each test variant vectors -
341 typically information about plaintext, ciphertext, cipher key, auth key,
342 initial vector. All other sections begin header.
343 The sections contain particular information typically digest.
344
345 **Format of the file:**
346
347 Each line beginning with sign '#' contain comment and it is ignored by parser::
348
349    # <comment>
350
351 Header line is just name in square bracket::
352
353    [<section name>]
354
355 Data line contain information token then sign '=' and
356 a string of bytes in C byte array format::
357
358    <token> = <C byte array>
359
360 **Tokens list:**
361
362 * ``plaintext``
363
364         Original plaintext to be encrypted.
365
366 * ``ciphertext``
367
368         Encrypted plaintext string.
369
370 * ``cipher_key``
371
372         Key used in cipher operation.
373
374 * ``auth_key``
375
376         Key used in auth operation.
377
378 * ``cipher_iv``
379
380         Cipher Initial Vector.
381
382 * ``auth_iv``
383
384         Auth Initial Vector.
385
386 * ``aad``
387
388         Additional data.
389
390 * ``digest``
391
392         Digest string.
393
394 Examples
395 --------
396
397 Call application for performance throughput test of single Aesni MB PMD
398 for cipher encryption aes-cbc and auth generation sha1-hmac,
399 one million operations, burst size 32, packet size 64::
400
401    dpdk-test-crypto-perf -l 6-7 --vdev crypto_aesni_mb -a 0000:00:00.0 --
402    --ptest throughput --devtype crypto_aesni_mb --optype cipher-then-auth
403    --cipher-algo aes-cbc --cipher-op encrypt --cipher-key-sz 16 --auth-algo
404    sha1-hmac --auth-op generate --auth-key-sz 64 --digest-sz 12
405    --total-ops 10000000 --burst-sz 32 --buffer-sz 64
406
407 Call application for performance latency test of two Aesni MB PMD executed
408 on two cores for cipher encryption aes-cbc, ten operations in silent mode::
409
410    dpdk-test-crypto-perf -l 4-7 --vdev crypto_aesni_mb1
411    --vdev crypto_aesni_mb2 -a 0000:00:00.0 -- --devtype crypto_aesni_mb
412    --cipher-algo aes-cbc --cipher-key-sz 16 --cipher-iv-sz 16
413    --cipher-op encrypt --optype cipher-only --silent
414    --ptest latency --total-ops 10
415
416 Call application for verification test of single open ssl PMD
417 for cipher encryption aes-gcm and auth generation aes-gcm,ten operations
418 in silent mode, test vector provide in file "test_aes_gcm.data"
419 with packet verification::
420
421    dpdk-test-crypto-perf -l 4-7 --vdev crypto_openssl -a 0000:00:00.0 --
422    --devtype crypto_openssl --aead-algo aes-gcm --aead-key-sz 16
423    --aead-iv-sz 16 --aead-op encrypt --aead-aad-sz 16 --digest-sz 16
424    --optype aead --silent --ptest verify --total-ops 10
425    --test-file test_aes_gcm.data
426
427 Test vector file for cipher algorithm aes cbc 256 with authorization sha::
428
429    # Global Section
430    plaintext =
431    0xff, 0xca, 0xfb, 0xf1, 0x38, 0x20, 0x2f, 0x7b, 0x24, 0x98, 0x26, 0x7d, 0x1d, 0x9f, 0xb3, 0x93,
432    0xd9, 0xef, 0xbd, 0xad, 0x4e, 0x40, 0xbd, 0x60, 0xe9, 0x48, 0x59, 0x90, 0x67, 0xd7, 0x2b, 0x7b,
433    0x8a, 0xe0, 0x4d, 0xb0, 0x70, 0x38, 0xcc, 0x48, 0x61, 0x7d, 0xee, 0xd6, 0x35, 0x49, 0xae, 0xb4,
434    0xaf, 0x6b, 0xdd, 0xe6, 0x21, 0xc0, 0x60, 0xce, 0x0a, 0xf4, 0x1c, 0x2e, 0x1c, 0x8d, 0xe8, 0x7b
435    ciphertext =
436    0x77, 0xF9, 0xF7, 0x7A, 0xA3, 0xCB, 0x68, 0x1A, 0x11, 0x70, 0xD8, 0x7A, 0xB6, 0xE2, 0x37, 0x7E,
437    0xD1, 0x57, 0x1C, 0x8E, 0x85, 0xD8, 0x08, 0xBF, 0x57, 0x1F, 0x21, 0x6C, 0xAD, 0xAD, 0x47, 0x1E,
438    0x0D, 0x6B, 0x79, 0x39, 0x15, 0x4E, 0x5B, 0x59, 0x2D, 0x76, 0x87, 0xA6, 0xD6, 0x47, 0x8F, 0x82,
439    0xB8, 0x51, 0x91, 0x32, 0x60, 0xCB, 0x97, 0xDE, 0xBE, 0xF0, 0xAD, 0xFC, 0x23, 0x2E, 0x22, 0x02
440    cipher_key =
441    0xE4, 0x23, 0x33, 0x8A, 0x35, 0x64, 0x61, 0xE2, 0x49, 0x03, 0xDD, 0xC6, 0xB8, 0xCA, 0x55, 0x7A,
442    0xd0, 0xe7, 0x4b, 0xfb, 0x5d, 0xe5, 0x0c, 0xe7, 0x6f, 0x21, 0xb5, 0x52, 0x2a, 0xbb, 0xc7, 0xf7
443    auth_key =
444    0xaf, 0x96, 0x42, 0xf1, 0x8c, 0x50, 0xdc, 0x67, 0x1a, 0x43, 0x47, 0x62, 0xc7, 0x04, 0xab, 0x05,
445    0xf5, 0x0c, 0xe7, 0xa2, 0xa6, 0x23, 0xd5, 0x3d, 0x95, 0xd8, 0xcd, 0x86, 0x79, 0xf5, 0x01, 0x47,
446    0x4f, 0xf9, 0x1d, 0x9d, 0x36, 0xf7, 0x68, 0x1a, 0x64, 0x44, 0x58, 0x5d, 0xe5, 0x81, 0x15, 0x2a,
447    0x41, 0xe4, 0x0e, 0xaa, 0x1f, 0x04, 0x21, 0xff, 0x2c, 0xf3, 0x73, 0x2b, 0x48, 0x1e, 0xd2, 0xf7
448    cipher_iv =
449    0x00, 0x01, 0x02, 0x03, 0x04, 0x05, 0x06, 0x07, 0x08, 0x09, 0x0A, 0x0B, 0x0C, 0x0D, 0x0E, 0x0F
450    # Section sha 1 hmac buff 32
451    [sha1_hmac_buff_32]
452    digest =
453    0x36, 0xCA, 0x49, 0x6A, 0xE3, 0x54, 0xD8, 0x4F, 0x0B, 0x76, 0xD8, 0xAA, 0x78, 0xEB, 0x9D, 0x65,
454    0x2C, 0xCA, 0x1F, 0x97
455    # Section sha 256 hmac buff 32
456    [sha256_hmac_buff_32]
457    digest =
458    0x1C, 0xB2, 0x3D, 0xD1, 0xF9, 0xC7, 0x6C, 0x49, 0x2E, 0xDA, 0x94, 0x8B, 0xF1, 0xCF, 0x96, 0x43,
459    0x67, 0x50, 0x39, 0x76, 0xB5, 0xA1, 0xCE, 0xA1, 0xD7, 0x77, 0x10, 0x07, 0x43, 0x37, 0x05, 0xB4
460
461
462 Graph Crypto Perf Results
463 -------------------------
464
465 The ``dpdk-graph-crypto-perf.py`` tool is a simple script to automate
466 running crypto performance tests, and graphing the results.
467 It can be found in the ``app/test-crypto-perf/`` directory.
468 The output graphs include various grouped barcharts for throughput
469 tests, and histogram and boxplot graphs for latency tests.
470 These are output to PDF files, with one PDF per test suite graph type.
471
472
473 Dependencies
474 ~~~~~~~~~~~~
475
476 The following python modules must be installed to run the script:
477
478 .. code-block:: console
479
480    pip3 install img2pdf plotly pandas psutil kaleido
481
482
483 Test Configuration
484 ~~~~~~~~~~~~~~~~~~
485
486 The test cases run by the script are defined by a JSON config file.
487 Some config files can be found in ``app/test-crypto-perf/configs/``,
488 or the user may create a new one following the same format as the config files provided.
489
490 An example of this format is shown below for one test suite in the ``crypto-perf-aesni-mb.json`` file.
491 This shows the required default config for the test suite, and one test case.
492 The test case has additional app config that will be combined with
493 the default config when running the test case.
494
495 .. code-block:: c
496
497    "throughput": {
498        "default": {
499            "eal": {
500                "l": "1,2",
501                "vdev": "crypto_aesni_mb"
502            },
503            "app": {
504                "csv-friendly": true,
505                "buffer-sz": "64,128,256,512,768,1024,1408,2048",
506                "burst-sz": "1,4,8,16,32",
507                "ptest": "throughput",
508                "devtype": "crypto_aesni_mb"
509            }
510         },
511        "AES-CBC-128 SHA1-HMAC auth-then-cipher decrypt": {
512                "cipher-algo": "aes-cbc",
513                "cipher-key-sz": "16",
514                "auth-algo": "sha1-hmac",
515                "optype": "auth-then-cipher",
516                "cipher-op": "decrypt"
517         }
518    }
519
520 .. note::
521    The specific test cases only allow modification of app parameters,
522    and not EAL parameters.
523    The default case is required for each test suite in the config file,
524    to specify EAL parameters.
525
526 Currently, crypto_qat, crypto_aesni_mb, and crypto_aesni_gcm devices for
527 both throughput and latency ptests are supported.
528
529
530 Usage
531 ~~~~~
532
533 .. code-block:: console
534
535    ./dpdk-graph-crypto-perf <config_file>
536
537 The ``config_file`` positional argument is required to run the script.
538 This points to a valid JSON config file containing test suites.
539
540 .. code-block:: console
541
542    ./dpdk-graph-crypto-perf configs/crypto-perf-aesni-mb.json
543
544 The following are the application optional command-line options:
545
546 * ``-h, --help``
547
548   Display usage information and quit.
549
550 * ``-f <file_path>, --file-path <file_path>``
551
552   Provide path to ``dpdk-test-crypto-perf`` application.
553   The script uses the installed app by default.
554
555   .. code-block:: console
556
557      ./dpdk-graph-crypto-perf <config_file> \
558          -f <build_dir>/app/dpdk-test-crypto-perf
559
560 * ``-t <test_suite_list>, --test-suites <test_suite_list>``
561
562   Specify test suites to run. All test suites are run by default.
563
564   To run crypto-perf-qat latency test suite only:
565
566   .. code-block:: console
567
568      ./dpdk-graph-crypto-perf configs/crypto-perf-qat -t latency
569
570   To run both crypto-perf-aesni-mb throughput and latency test suites
571
572   .. code-block:: console
573
574      ./dpdk-graph-crypto-perf configs/crypto-perf-aesni-mb -t throughput latency
575
576 * ``-o <output_path>, --output-path <output_path>``
577
578   Specify directory to use for output files.
579   The default is to use the script's directory.
580
581   .. code-block:: console
582
583      ./dpdk-graph-crypto-perf <config_file> -o <output_dir>
584
585 * ``-v, --verbose``
586
587   Enable verbose output. This displays ``dpdk-test-crypto-perf`` app output in real-time.
588
589   .. code-block:: console
590
591      ./dpdk-graph-crypto-perf <config_file> -v
592
593   .. warning::
594      Latency performance tests have a large amount of output.
595      It is not recommended to use the verbose option for latency tests.