gpu/cuda: introduce CUDA driver
[dpdk.git] / doc / guides / rel_notes / release_21_11.rst
1 .. SPDX-License-Identifier: BSD-3-Clause
2    Copyright 2021 The DPDK contributors
3
4 .. include:: <isonum.txt>
5
6 DPDK Release 21.11
7 ==================
8
9 .. **Read this first.**
10
11    The text in the sections below explains how to update the release notes.
12
13    Use proper spelling, capitalization and punctuation in all sections.
14
15    Variable and config names should be quoted as fixed width text:
16    ``LIKE_THIS``.
17
18    Build the docs and view the output file to ensure the changes are correct::
19
20       ninja -C build doc
21       xdg-open build/doc/guides/html/rel_notes/release_21_11.html
22
23
24 New Features
25 ------------
26
27 .. This section should contain new features added in this release.
28    Sample format:
29
30    * **Add a title in the past tense with a full stop.**
31
32      Add a short 1-2 sentence description in the past tense.
33      The description should be enough to allow someone scanning
34      the release notes to understand the new feature.
35
36      If the feature adds a lot of sub-features you can use a bullet list
37      like this:
38
39      * Added feature foo to do something.
40      * Enhanced feature bar to do something else.
41
42      Refer to the previous release notes for examples.
43
44      Suggested order in release notes items:
45      * Core libs (EAL, mempool, ring, mbuf, buses)
46      * Device abstraction libs and PMDs (ordered alphabetically by vendor name)
47        - ethdev (lib, PMDs)
48        - cryptodev (lib, PMDs)
49        - eventdev (lib, PMDs)
50        - etc
51      * Other libs
52      * Apps, Examples, Tools (if significant)
53
54      This section is a comment. Do not overwrite or remove it.
55      Also, make sure to start the actual text at the margin.
56      =======================================================
57
58 * **Enabled new devargs parser.**
59
60   * Enabled devargs syntax
61     ``bus=X,paramX=x/class=Y,paramY=y/driver=Z,paramZ=z``
62   * Added bus-level parsing of the devargs syntax.
63   * Kept compatibility with the legacy syntax as parsing fallback.
64
65 * **Updated EAL hugetlbfs mount handling for Linux.**
66
67   * Modified to allow ``--huge-dir`` option to specify a sub-directory
68     within a hugetlbfs mountpoint.
69
70 * **Added dmadev library.**
71
72   * Added a DMA device framework for management and provision of
73     hardware and software DMA devices.
74   * Added generic API which support a number of different DMA
75     operations.
76   * Added multi-process support.
77
78 * **Added HiSilicon DMA driver.**
79
80   The HiSilicon DMA driver provides device drivers for the Kunpeng's DMA devices.
81   This device driver can be used through the generic dmadev API.
82
83 * **Added IDXD dmadev driver implementation.**
84
85   The IDXD dmadev driver provide device drivers for the Intel DSA devices.
86   This device driver can be used through the generic dmadev API.
87
88 * **Added IOAT dmadev driver implementation.**
89
90   The Intel I/O Acceleration Technology (IOAT) dmadev driver provides a device
91   driver for Intel IOAT devices such as Crystal Beach DMA (CBDMA) on Ice Lake,
92   Skylake and Broadwell. This device driver can be used through the generic dmadev API.
93
94 * **Added Marvell CNXK DMA driver.**
95
96   Added dmadev driver for the DPI DMA hardware accelerator
97   of Marvell OCTEONTX2 and OCTEONTX3 family of SoCs.
98
99 * **Added NXP DPAA DMA driver.**
100
101   Added a new dmadev driver for NXP DPAA platform.
102
103 * **Added support to get all MAC addresses of a device.**
104
105   Added ``rte_eth_macaddrs_get`` to allow user to retrieve all Ethernet
106   addresses assigned to given ethernet port.
107
108 * **Introduced GPU device class with first features:**
109
110   * Device information
111   * Memory management
112   * Communication flag & list
113
114 * **Added NVIDIA GPU driver implemented with CUDA library.**
115
116 * **Added new RSS offload types for IPv4/L4 checksum in RSS flow.**
117
118   Added macros ETH_RSS_IPV4_CHKSUM and ETH_RSS_L4_CHKSUM, now IPv4 and
119   TCP/UDP/SCTP header checksum field can be used as input set for RSS.
120
121 * **Added L2TPv2 and PPP protocol support in flow API.**
122
123   Added flow pattern items and header formats of L2TPv2 and PPP protocol.
124
125 * **Added flow flex item.**
126
127   The configurable flow flex item provides the capability to introduce
128   an arbitrary user-specified network protocol header,
129   configure the hardware accordingly, and perform match on this header
130   with desired patterns and masks.
131
132 * **Added ethdev support to control delivery of Rx metadata from the HW to the PMD.**
133
134   A new API, ``rte_eth_rx_metadata_negotiate()``, was added.
135   The following parts of Rx metadata were defined:
136
137   * ``RTE_ETH_RX_METADATA_USER_FLAG``
138   * ``RTE_ETH_RX_METADATA_USER_MARK``
139   * ``RTE_ETH_RX_METADATA_TUNNEL_ID``
140
141 * **Added an API to get a proxy port to manage "transfer" flows.**
142
143   A new API, ``rte_flow_pick_transfer_proxy()``, was added.
144
145 * **Added ethdev shared Rx queue support.**
146
147   * Added new device capability flag and Rx domain field to switch info.
148   * Added share group and share queue ID to Rx queue configuration.
149   * Added testpmd support and dedicate forwarding engine.
150
151 * **Updated af_packet ethdev driver.**
152
153   * Default VLAN strip behavior was changed. VLAN tag won't be stripped
154     unless ``DEV_RX_OFFLOAD_VLAN_STRIP`` offload is enabled.
155
156 * **Added API to get device configuration in ethdev.**
157
158   Added an ethdev API which can help users get device configuration.
159
160 * **Updated AF_XDP PMD.**
161
162   * Disabled secondary process support.
163
164 * **Updated Amazon ENA PMD.**
165
166   Updated the Amazon ENA PMD. The new driver version (v2.5.0) introduced
167   bug fixes and improvements, including:
168
169   * Support for the tx_free_thresh and rx_free_thresh configuration parameters.
170   * NUMA aware allocations for the queue helper structures.
171   * Watchdog's feature which is checking for missing Tx completions.
172
173 * **Updated Broadcom bnxt PMD.**
174
175   * Added flow offload support for Thor.
176   * Added TruFlow and AFM SRAM partitioning support.
177   * Implement support for tunnel offload.
178   * Updated HWRM API to version 1.10.2.68.
179   * Added NAT support for dest IP and port combination.
180   * Added support for socket redirection.
181   * Added wildcard match support for ingress flows.
182   * Added support for inner IP header for GRE tunnel flows.
183   * Removed devargs option for stats accumulation.
184
185 * **Updated Cisco enic driver.**
186
187   * Added rte_flow support for matching GTP, GTP-C and GTP-U headers.
188
189 * **Updated Intel e1000 emulated driver.**
190
191   * Added Intel e1000 support on Windows.
192
193 * **Updated Intel iavf driver.**
194
195   * Added Intel iavf support on Windows.
196   * Added IPv4 and L4 (TCP/UDP/SCTP) checksum hash support in RSS flow.
197   * Added PPPoL2TPv2oUDP RSS hash based on inner IP address and TCP/UDP port.
198   * Added Intel iavf inline crypto support.
199
200 * **Updated Intel ice driver.**
201
202   * Added protocol agnostic flow offloading support in Flow Director.
203   * Added protocol agnostic flow offloading support in RSS hash.
204   * Added 1PPS out support by a devargs.
205   * Added IPv4 and L4 (TCP/UDP/SCTP) checksum hash support in RSS flow.
206   * Added DEV_RX_OFFLOAD_TIMESTAMP support.
207   * Added timesync API support under scalar path.
208
209 * **Updated Intel ixgbe driver.**
210
211   * Added Intel ixgbe support on Windows.
212
213 * **Updated Marvell cnxk ethdev driver.**
214
215   * Added rte_flow support for dual VLAN insert and strip actions.
216   * Added rte_tm support.
217   * Added support for Inline IPsec for CN9K event mode and CN10K
218     poll mode and event mode.
219   * Added support for ingress meter for CN10K platform.
220
221 * **Updated Mellanox mlx5 driver.**
222
223   Updated the Mellanox mlx5 driver with new features and improvements, including:
224
225   * Added implicit mempool registration to avoid data path hiccups (opt-out).
226   * Added delay drop support for Rx queue.
227   * Added NIC offloads for the PMD on Windows (TSO, VLAN strip, CRC keep).
228   * Added socket direct mode bonding support.
229
230 * **Added NXP ENETFEC PMD [EXPERIMENTAL].**
231
232   Added the new ENETFEC driver for the NXP IMX8MMEVK platform. See the
233   :doc:`../nics/enetfec` NIC driver guide for more details on this new driver.
234
235 * **Updated Solarflare network PMD.**
236
237   Updated the Solarflare ``sfc_efx`` driver with changes including:
238
239   * Added port representors support on SN1000 SmartNICs
240   * Added flow API transfer proxy support
241   * Added SN1000 virtual functions (VF) support
242   * Added support for flow counters without service cores
243
244 * **Added power monitor API in vhost library.**
245
246   Added an API to support power monitor in vhost library.
247
248 * **Updated vhost PMD.**
249
250   Add power monitor support in vhost PMD.
251
252 * **Updated virtio PMD.**
253
254   * Initial support for RSS receive mode has been added to the Virtio PMD,
255     with the capability for the application to configure the hash key,
256     the RETA and the hash types.
257     Virtio hash reporting is yet to be added.
258   * Added power monitor support in virtio PMD.
259
260 * **Updated Wangxun ngbe driver.**
261
262   * Added offloads and packet type on RxTx.
263   * Added VLAN and MAC filters.
264   * Added device basic statistics and extended stats.
265   * Added multi-queue and RSS.
266   * Added SRIOV.
267   * Added flow control.
268   * Added IEEE 1588.
269
270 * **Added new vDPA PMD based on Xilinx devices.**
271
272   Added a new Xilinx vDPA  (``sfc_vdpa``) PMD.
273   See the :doc:`../vdpadevs/sfc` guide for more details on this driver.
274
275 * **Added telemetry callbacks to cryptodev library.**
276
277   Added telemetry callback functions which allow a list of crypto devices,
278   stats for a crypto device, and other device information to be queried.
279   Also added callback to get cryptodev capabilities.
280
281 * **Added telemetry to security library.**
282
283   Added telemetry callback functions to query security capabilities of
284   crypto device.
285
286 * **Updated Marvell cnxk crypto PMD.**
287
288   * Added AES-CBC SHA1-HMAC support in lookaside protocol (IPsec) for CN10K.
289   * Added Transport mode support in lookaside protocol (IPsec) for CN10K.
290   * Added UDP encapsulation support in lookaside protocol (IPsec) for CN10K.
291   * Added support for lookaside protocol (IPsec) offload for CN9K.
292   * Added support for ZUC algorithm with 256-bit key length for CN10K.
293   * Added support for CN98xx dual block.
294   * Added inner checksum support in lookaside protocol (IPsec) for CN10K.
295   * Added AES-CBC NULL auth support in lookaside protocol (IPsec) for CN10K.
296   * Added ESN and anti-replay support in lookaside protocol (IPsec) for CN9K.
297
298 * **Added support for event crypto adapter on Marvell CN10K and CN9K.**
299
300   * Added event crypto adapter OP_FORWARD mode support.
301
302 * **Updated Mellanox mlx5 crypto driver.**
303
304   * Added Windows support.
305   * Added support for BlueField 2 and ConnectX-6 Dx.
306
307 * **Updated NXP dpaa_sec crypto PMD.**
308
309   * Added DES-CBC, AES-XCBC-MAC, AES-CMAC and non-HMAC algo support.
310   * Added PDCP short MAC-I support.
311   * Added raw vector datapath API support.
312
313 * **Updated NXP dpaa2_sec crypto PMD.**
314
315   * Added PDCP short MAC-I support.
316   * Added raw vector datapath API support.
317
318 * **Added framework for consolidation of IPsec_MB dependent SW Crypto PMDs.**
319
320   * The IPsec_MB framework was added to share common code between Intel
321     SW Crypto PMDs that depend on the intel-ipsec-mb library.
322   * Multiprocess support was added for the consolidated PMDs,
323     which requires v1.1 of the intel-ipsec-mb library.
324   * The following PMDs were moved into a single source folder,
325     however their usage and EAL options remain unchanged.
326     * AESNI_MB PMD.
327     * AESNI_GCM PMD.
328     * KASUMI PMD.
329     * SNOW3G PMD.
330     * ZUC PMD.
331     * CHACHA20_POLY1305 - A new PMD added.
332
333 * **Updated the aesni_mb crypto PMD.**
334
335   * Added support for ZUC-EEA3-256 and ZUC-EIA3-256.
336
337 * **Added digest appended ops support for Snow3G PMD.**
338
339   * Added support for out-of-place auth-cipher operations that encrypt
340     the digest along with the rest of the raw data.
341   * Added support for partially encrypted digest when using auth-cipher
342     operations.
343
344 * **Updated the ACC100 bbdev PMD.**
345
346   Added support for more comprehensive CRC options.
347
348 * **Updated the turbo_sw bbdev PMD.**
349
350   Added support for more comprehensive CRC options.
351
352 * **Added NXP LA12xx baseband PMD.**
353
354   * Added a new baseband PMD driver for NXP LA12xx Software defined radio.
355   * See the :doc:`../bbdevs/la12xx` for more details.
356
357 * **Updated Mellanox compress driver.**
358
359   * Added devargs option to allow manual setting of Huffman block size.
360
361 * **Updated Mellanox regex driver.**
362
363   * Added support for new ROF file format.
364
365 * **Updated IPsec library.**
366
367   * Added support for more AEAD algorithms AES_CCM, CHACHA20_POLY1305
368     and AES_GMAC.
369   * Added support for NAT-T / UDP encapsulated ESP.
370   * Added support for SA telemetry.
371   * Added support for setting a non default starting ESN value.
372   * Added support for TSO in inline crypto mode.
373
374 * **Added optimized Toeplitz hash implementation.**
375
376   Added optimized Toeplitz hash implementation using Galois Fields New Instructions.
377
378 * **Added multi-process support for testpmd.**
379
380   Added command-line options to specify total number of processes and
381   current process ID. Each process owns subset of Rx and Tx queues.
382
383 * **Updated test-crypto-perf application with new cases.**
384
385   * Added support for asymmetric crypto throughput performance measurement.
386     Only modex is supported for now.
387   * Added support for lookaside IPsec protocol offload throughput measurement.
388
389 * **Added lookaside protocol (IPsec) tests in dpdk-test.**
390
391   * Added known vector tests (AES-GCM 128, 192, 256).
392   * Added tests to verify error reporting with ICV corruption.
393   * Added tests to verify IV generation.
394   * Added tests to verify UDP encapsulation.
395   * Added tests to verify UDP encapsulation ports.
396   * Added tests to validate packets soft expiry.
397   * Added tests to validate packets hard expiry.
398   * Added tests to verify tunnel header verification in IPsec inbound.
399   * Added tests to verify inner checksum.
400   * Added tests for CHACHA20_POLY1305 PMD, including a new testcase for SGL OOP.
401
402 * **Updated l3fwd sample application.**
403
404   * Increased number of routes to 16 for all lookup modes (LPM, EM and FIB),
405     this helps in validating SoC with many ethernet devices.
406   * Updated EM mode to use RFC2544 reserved IP address space with RFC863
407     UDP discard protocol.
408
409 * **Updated IPsec Security Gateway sample application with new features.**
410
411   * Added support for TSO (only for inline crypto TCP packets).
412   * Added support for telemetry.
413   * Added support for more AEAD algorithms: AES-GMAC, AES_CTR, AES_XCBC_MAC,
414     AES_CCM, CHACHA20_POLY1305
415   * Added support for event vectors for inline protocol offload mode.
416
417 * **Revised packet capture framework.**
418
419   * New dpdk-dumpcap program that has most of the features
420     of the wireshark dumpcap utility including:
421     capture of multiple interfaces, filtering,
422     and stopping after number of bytes, packets.
423   * New library for writing pcapng packet capture files.
424   * Enhancements to the pdump library to support:
425     * Packet filter with BPF.
426     * Pcapng format with timestamps and meta-data.
427     * Fixes packet capture with stripped VLAN tags.
428
429 * **Added ASan support.**
430
431   `AddressSanitizer
432   <https://github.com/google/sanitizers/wiki/AddressSanitizer>`_ (ASan)
433   is a widely-used debugging tool to detect memory access errors.
434   It helps to detect issues like use-after-free, various kinds of buffer
435   overruns in C/C++ programs, and other similar errors, as well as
436   printing out detailed debug information whenever an error is detected.
437
438
439 Removed Items
440 -------------
441
442 .. This section should contain removed items in this release. Sample format:
443
444    * Add a short 1-2 sentence description of the removed item
445      in the past tense.
446
447    This section is a comment. Do not overwrite or remove it.
448    Also, make sure to start the actual text at the margin.
449    =======================================================
450
451 * eal: Removed the deprecated function ``rte_get_master_lcore()``
452   and the iterator macro ``RTE_LCORE_FOREACH_SLAVE``.
453
454 * eal: The old api arguments that were deprecated for
455   blacklist/whitelist are removed. Users must use the new
456   block/allow list arguments.
457
458 * mbuf: Removed offload flag ``PKT_RX_EIP_CKSUM_BAD``.
459   ``PKT_RX_OUTER_IP_CKSUM_BAD`` should be used as a replacement.
460
461 * ethdev: Removed the port mirroring API. A more fine-grain flow API
462   action ``RTE_FLOW_ACTION_TYPE_SAMPLE`` should be used instead.
463   The structures ``rte_eth_mirror_conf`` and ``rte_eth_vlan_mirror`` and
464   the functions ``rte_eth_mirror_rule_set`` and
465   ``rte_eth_mirror_rule_reset`` along with the associated macros
466   ``ETH_MIRROR_*`` are removed.
467
468 * ethdev: Removed ``rte_eth_rx_descriptor_done`` API function and its
469   driver callback. It is replaced by the more complete function
470   ``rte_eth_rx_descriptor_status``.
471
472 * ethdev: Removed deprecated ``shared`` attribute of the
473   ``struct rte_flow_action_count``. Shared counters should be managed
474   using indirect actions API (``rte_flow_action_handle_create`` etc).
475
476 * i40e: Removed i40evf driver.
477   iavf already became the default VF driver for i40e devices,
478   so there is no need to maintain i40evf.
479
480
481 API Changes
482 -----------
483
484 .. This section should contain API changes. Sample format:
485
486    * sample: Add a short 1-2 sentence description of the API change
487      which was announced in the previous releases and made in this release.
488      Start with a scope label like "ethdev:".
489      Use fixed width quotes for ``function_names`` or ``struct_names``.
490      Use the past tense.
491
492    This section is a comment. Do not overwrite or remove it.
493    Also, make sure to start the actual text at the margin.
494    =======================================================
495
496 * eal: The lcore state ``FINISHED`` is removed from
497   the ``enum rte_lcore_state_t``.
498   The lcore state ``WAIT`` is enough to represent the same state.
499
500 * eal: Made ``rte_intr_handle`` structure definition hidden.
501
502 * kvargs: The experimental function ``rte_kvargs_strcmp()`` has been
503   removed. Its usages have been replaced by a new function
504   ``rte_kvargs_get_with_value()``.
505
506 * cmdline: ``cmdline_stdin_exit()`` now frees the ``cmdline`` structure.
507   Calls to ``cmdline_free()`` after it need to be deleted from applications.
508
509 * cmdline: Made ``cmdline`` structure definition hidden on Linux and FreeBSD.
510
511 * cmdline: Made ``rdline`` structure definition hidden. Functions are added
512   to dynamically allocate and free it, and to access user data in callbacks.
513
514 * mempool: Added ``RTE_MEMPOOL_F_NON_IO`` flag to give a hint to DPDK components
515   that objects from this pool will not be used for device IO (e.g. DMA).
516
517 * mempool: The mempool flags ``MEMPOOL_F_*`` will be deprecated in the future.
518   Newly added flags with ``RTE_MEMPOOL_F_`` prefix should be used instead.
519
520 * mempool: Helper macro ``MEMPOOL_HEADER_SIZE()`` is deprecated.
521   The replacement macro ``RTE_MEMPOOL_HEADER_SIZE()`` is internal only.
522
523 * mempool: Macro to register mempool driver ``MEMPOOL_REGISTER_OPS()`` is
524   deprecated.  Use replacement ``RTE_MEMPOOL_REGISTER_OPS()``.
525
526 * mempool: The mempool API macros ``MEMPOOL_PG_*`` are deprecated and
527   will be removed in DPDK 22.11.
528
529 * mbuf: The mbuf offload flags ``PKT_*`` are renamed as ``RTE_MBUF_F_*``. A
530   compatibility layer will be kept until DPDK 22.11.
531 * net: Renamed ``s_addr`` and ``d_addr`` fields of ``rte_ether_hdr`` structure
532   to ``src_addr`` and ``dst_addr``, respectively.
533
534 * net: Added ``version`` and ``ihl`` bit-fields to ``struct rte_ipv4_hdr``.
535   Existing ``version_ihl`` field is kept for backward compatibility.
536
537 * ethdev: Added items and actions ``PORT_REPRESENTOR``, ``REPRESENTED_PORT`` to
538   flow API.
539
540 * ethdev: Deprecated items and actions ``PF``, ``VF``, ``PHY_PORT``, ``PORT_ID``.
541   Suggested items and actions ``PORT_REPRESENTOR``, ``REPRESENTED_PORT`` instead.
542
543 * ethdev: Deprecated the use of attributes ``ingress`` / ``egress`` combined
544   with ``transfer``. See items ``PORT_REPRESENTOR``, ``REPRESENTED_PORT``.
545
546 * ethdev: ``rte_flow_action_modify_data`` structure updated, immediate data
547   array is extended, data pointer field is explicitly added to union, the
548   action behavior is defined in more strict fashion and documentation updated.
549   The immediate value behavior has been changed, the entire immediate field
550   should be provided, and offset for immediate source bitfield is assigned
551   from destination one.
552
553 * vhost: ``rte_vdpa_register_device``, ``rte_vdpa_unregister_device``,
554   ``rte_vhost_host_notifier_ctrl`` and ``rte_vdpa_relay_vring_used`` vDPA
555   driver interface are marked as internal.
556
557 * cryptodev: The API rte_cryptodev_pmd_is_valid_dev is modified to
558   rte_cryptodev_is_valid_dev as it can be used by the application as
559   well as PMD to check whether the device is valid or not.
560
561 * cryptodev: The rte_cryptodev_pmd.* files are renamed as cryptodev_pmd.*
562   as it is for drivers only and should be private to DPDK, and not
563   installed for app use.
564
565 * cryptodev: A ``reserved`` byte from structure ``rte_crypto_op`` was
566   renamed to ``aux_flags`` to indicate warnings and other information from
567   the crypto/security operation. This field will be used to communicate
568   events such as soft expiry with IPsec in lookaside mode.
569
570 * cryptodev: The field ``dataunit_len`` of the ``struct rte_crypto_cipher_xform``
571   moved to the end of the structure and extended to ``uint32_t``.
572
573 * cryptodev: The structure ``rte_crypto_vec`` was updated to add ``tot_len``
574   field to support total buffer length to facilitate protocol offload case.
575
576 * cryptodev: The structure ``rte_crypto_sym_vec`` was updated to add
577   ``dest_sgl`` to support out of place processing.
578
579 * bbdev: Added device info related to data byte endianness processing.
580
581 * eventdev: Moved memory used by timer adapters to hugepage. This will prevent
582   TLB misses if any and aligns to memory structure of other subsystems.
583
584 * fib: Added the ``rib_ext_sz`` field to ``rte_fib_conf`` and ``rte_fib6_conf``
585   so that user can specify the size of the RIB extension inside the FIB.
586
587
588 ABI Changes
589 -----------
590
591 .. This section should contain ABI changes. Sample format:
592
593    * sample: Add a short 1-2 sentence description of the ABI change
594      which was announced in the previous releases and made in this release.
595      Start with a scope label like "ethdev:".
596      Use fixed width quotes for ``function_names`` or ``struct_names``.
597      Use the past tense.
598
599    This section is a comment. Do not overwrite or remove it.
600    Also, make sure to start the actual text at the margin.
601    =======================================================
602
603 * ethdev: All enums & macros updated to have ``RTE_ETH`` prefix and structures
604   updated to have ``rte_eth`` prefix. DPDK components updated to use new names.
605
606 * ethdev: Input parameters for ``eth_rx_queue_count_t`` was changed.
607   Instead of pointer to ``rte_eth_dev`` and queue index, now it accepts pointer
608   to internal queue data as input parameter. While this change is transparent
609   to user, it still counts as an ABI change, as ``eth_rx_queue_count_t``
610   is used by  public inline function ``rte_eth_rx_queue_count``.
611
612 * ethdev: Made ``rte_eth_dev``, ``rte_eth_dev_data``, ``rte_eth_rxtx_callback``
613   private data structures. ``rte_eth_devices[]`` can't be accessed directly
614   by user any more. While it is an ABI breakage, this change is intended
615   to be transparent for both users (no changes in user app is required) and
616   PMD developers (no changes in PMD is required).
617
618 * vhost: rename ``struct vhost_device_ops`` to ``struct rte_vhost_device_ops``.
619
620 * cryptodev: Made ``rte_cryptodev``, ``rte_cryptodev_data`` private
621   structures internal to DPDK. ``rte_cryptodevs`` can't be accessed directly
622   by user any more. While it is an ABI breakage, this change is intended
623   to be transparent for both users (no changes in user app is required) and
624   PMD developers (no changes in PMD is required).
625
626 * security: ``rte_security_set_pkt_metadata`` and ``rte_security_get_userdata``
627   routines used by inline outbound and inline inbound security processing were
628   made inline and enhanced to do simple 64-bit set/get for PMDs that do not
629   have much processing in PMD specific callbacks but just 64-bit set/get.
630   This avoids a per packet function pointer jump overhead for such PMDs.
631
632 * security: A new option ``iv_gen_disable`` was added in structure
633   ``rte_security_ipsec_sa_options`` to disable IV generation inside PMD,
634   so that application can provide its own IV and test known test vectors.
635
636 * security: A new option ``tunnel_hdr_verify`` was added in structure
637   ``rte_security_ipsec_sa_options`` to indicate whether outer header
638   verification need to be done as part of inbound IPsec processing.
639
640 * security: A new option ``udp_ports_verify`` was added in structure
641   ``rte_security_ipsec_sa_options`` to indicate whether UDP ports
642   verification need to be done as part of inbound IPsec processing.
643
644 * security: A new structure ``rte_security_ipsec_lifetime`` was added to
645   replace ``esn_soft_limit`` in IPsec configuration structure
646   ``rte_security_ipsec_xform`` to allow applications to configure SA soft
647   and hard expiry limits. Limits can be either in number of packets or bytes.
648
649 * security: The new options ``ip_csum_enable`` and ``l4_csum_enable`` were added
650   in structure ``rte_security_ipsec_sa_options`` to indicate whether inner
651   packet IPv4 header checksum and L4 checksum need to be offloaded to
652   security device.
653
654 * security: A new structure ``esn`` was added in structure
655   ``rte_security_ipsec_xform`` to set an initial ESN value. This permits
656   application to start from an arbitrary ESN value for debug and SA lifetime
657   enforcement purposes.
658
659 * security: A new structure ``udp`` was added in structure
660   ``rte_security_ipsec_xform`` to allow setting the source and destination ports
661   for UDP encapsulated IPsec traffic.
662
663 * bbdev: Added capability related to more comprehensive CRC options,
664   shifting values of the ``enum rte_bbdev_op_ldpcdec_flag_bitmasks``.
665
666 * eventdev: New variables ``rx_event_buf_count`` and ``rx_event_buf_size``
667   were added in structure ``rte_event_eth_rx_adapter_stats`` to get additional
668   status.
669
670 * eventdev: A new structure ``rte_event_fp_ops`` has been added which is now used
671   by the fastpath inline functions. The structures ``rte_eventdev``,
672   ``rte_eventdev_data`` have been made internal. ``rte_eventdevs[]`` can't be
673   accessed directly by user any more. This change is transparent to both
674   applications and PMDs.
675
676 * eventdev: Re-arranged fields in ``rte_event_timer`` to remove holes.
677
678 * ip_frag: Increased default value for config parameter
679   ``RTE_LIBRTE_IP_FRAG_MAX_FRAG`` from ``4`` to ``8``.
680   This parameter controls maximum number of fragments per packet
681   in IP reassembly table. Increasing this value from ``4`` to ``8``
682   will allow to cover common case with jumbo packet size of ``9KB``
683   and fragments with default frame size ``(1500B)``.
684
685
686 Known Issues
687 ------------
688
689 .. This section should contain new known issues in this release. Sample format:
690
691    * **Add title in present tense with full stop.**
692
693      Add a short 1-2 sentence description of the known issue
694      in the present tense. Add information on any known workarounds.
695
696    This section is a comment. Do not overwrite or remove it.
697    Also, make sure to start the actual text at the margin.
698    =======================================================
699
700
701 Tested Platforms
702 ----------------
703
704 .. This section should contain a list of platforms that were tested
705    with this release.
706
707    The format is:
708
709    * <vendor> platform with <vendor> <type of devices> combinations
710
711      * List of CPU
712      * List of OS
713      * List of devices
714      * Other relevant details...
715
716    This section is a comment. Do not overwrite or remove it.
717    Also, make sure to start the actual text at the margin.
718    =======================================================