mbuf: extend mbuf pool private structure
[dpdk.git] / doc / guides / rel_notes / release_19_11.rst
1 ..  SPDX-License-Identifier: BSD-3-Clause
2     Copyright 2019 The DPDK contributors
3
4 .. include:: <isonum.txt>
5
6 DPDK Release 19.11
7 ==================
8
9 .. **Read this first.**
10
11    The text in the sections below explains how to update the release notes.
12
13    Use proper spelling, capitalization and punctuation in all sections.
14
15    Variable and config names should be quoted as fixed width text:
16    ``LIKE_THIS``.
17
18    Build the docs and view the output file to ensure the changes are correct::
19
20       make doc-guides-html
21
22       xdg-open build/doc/html/guides/rel_notes/release_19_11.html
23
24
25 New Features
26 ------------
27
28 .. This section should contain new features added in this release.
29    Sample format:
30
31    * **Add a title in the past tense with a full stop.**
32
33      Add a short 1-2 sentence description in the past tense.
34      The description should be enough to allow someone scanning
35      the release notes to understand the new feature.
36
37      If the feature adds a lot of sub-features you can use a bullet list
38      like this:
39
40      * Added feature foo to do something.
41      * Enhanced feature bar to do something else.
42
43      Refer to the previous release notes for examples.
44
45      Suggested order in release notes items:
46      * Core libs (EAL, mempool, ring, mbuf, buses)
47      * Device abstraction libs and PMDs
48        - ethdev (lib, PMDs)
49        - cryptodev (lib, PMDs)
50        - eventdev (lib, PMDs)
51        - etc
52      * Other libs
53      * Apps, Examples, Tools (if significant)
54
55      This section is a comment. Do not overwrite or remove it.
56      Also, make sure to start the actual text at the margin.
57      =========================================================
58
59 * **FreeBSD now supports `--base-virtaddr` EAL option.**
60
61   FreeBSD version now also supports setting base virtual address for mapping
62   pages and resources into its address space.
63
64 * **Added Lock-free Stack for aarch64.**
65
66   The lock-free stack implementation is enabled for aarch64 platforms.
67
68 * **Extended pktmbuf mempool private structure.**
69
70   rte_pktmbuf_pool_private structure was extended to include flags field
71   for future compatibility.
72   As per 19.11 release this field is reserved and should be set to 0
73   by the user.
74
75 * **Changed mempool allocation behaviour.**
76
77   Objects are no longer across pages by default.
78   It may consume more memory when using small memory pages.
79
80 * **Added support of dynamic fields and flags in mbuf.**
81
82   This new feature adds the ability to dynamically register some room
83   for a field or a flag in the mbuf structure. This is typically used
84   for specific offload features, where adding a static field or flag
85   in the mbuf is not justified.
86
87 * **Added hairpin queue.**
88
89   On supported NICs, we can now setup haipin queue which will offload packets
90   from the wire, backto the wire.
91
92 * **Added flow tag in rte_flow.**
93
94   SET_TAG action and TAG item have been added to support transient flow tag.
95
96 * **Extended metadata support in rte_flow.**
97
98   Flow metadata is extended to both Rx and Tx.
99
100   * Tx metadata can also be set by SET_META action of rte_flow.
101   * Rx metadata is delivered to host via a dynamic field of ``rte_mbuf`` with
102     PKT_RX_DYNF_METADATA.
103
104 * **Added ethdev API to set supported packet types**
105
106   * Added new API ``rte_eth_dev_set_ptypes`` that allows an application to
107     inform PMD about reduced range of packet types to handle.
108   * This scheme will allow PMDs to avoid lookup to internal ptype table on Rx
109     and thereby improve Rx performance if application wishes do so.
110
111 * **Added Rx offload flag to enable or disable RSS update**
112
113   * Added new Rx offload flag `DEV_RX_OFFLOAD_RSS_HASH` which can be used to
114     enable/disable PMDs write to `rte_mbuf::hash::rss`.
115   * PMDs notify the validity of `rte_mbuf::hash:rss` to the application
116     by enabling `PKT_RX_RSS_HASH ` flag in `rte_mbuf::ol_flags`.
117
118 * **Updated the enic driver.**
119
120   * Added support for Geneve with options offload.
121   * Added flow API implementation based on VIC Flow Manager API.
122
123 * **Added Hisilicon hns3 PMD.**
124
125   Added the new ``hns3`` net driver for the inbuilt Hisilicon Network
126   Subsystem 3(HNS3) network engine found in the Hisilicon Kunpeng 920 SoC.
127   See the :doc:`../nics/hns3` guide for more details on this new driver.
128
129 * **Added NXP PFE PMD.**
130
131   Added the new PFE driver for the NXP LS1012A platform. See the
132   :doc:`../nics/pfe` NIC driver guide for more details on this new driver.
133
134 * **Updated iavf PMD.**
135
136   Enable AVX2 data path for iavf PMD.
137
138 * **Updated the Intel e1000 driver.**
139
140   Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
141
142 * **Updated the Intel ixgbe driver.**
143
144   Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
145
146 * **Updated the Intel i40e driver.**
147
148   Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
149
150 * **Updated the Intel fm10k driver.**
151
152   Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
153
154 * **Added RX/TX packet burst mode get API.**
155
156   Added two new functions ``rte_eth_rx_burst_mode_get`` and
157   ``rte_eth_tx_burst_mode_get`` that allow an application
158   to retrieve the mode information about RX/TX packet burst
159   such as Scalar or Vector, and Vector technology like AVX2.
160
161 * **Updated the Intel ice driver.**
162
163   Updated the Intel ice driver with new features and improvements, including:
164
165   * Added support for device-specific DDP package loading.
166   * Added support for handling Receive Flex Descriptor.
167   * Added support for protocol extraction on per Rx queue.
168   * Added support for Flow Director filter based on generic filter framework.
169   * Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
170   * Generic filter enhancement
171     - Supported pipeline mode.
172     - Supported new packet type like PPPoE for switch filter.
173   * Supported input set change and symmetric hash by rte_flow RSS action.
174   * Added support for GTP Tx checksum offload.
175   * Added new device IDs to support E810_XXV devices.
176
177 * **Added cryptodev asymmetric session-less operation.**
178
179   Added session-less option to cryptodev asymmetric structure. It works the same
180   way as symmetric crypto, corresponding xform is used directly by the crypto op.
181
182 * **Updated the Huawei hinic driver.**
183
184   Updated the Huawei hinic driver with new features and improvements, including:
185
186   * Enabled SR-IOV - Partially supported at this point, VFIO only.
187   * Supported VLAN filter and VLAN offload.
188   * Supported Unicast MAC filter and Multicast MAC filter.
189   * Supported Flow API for LACP, VRRP, BGP and so on.
190   * Supported FW version get.
191
192 * **Updated Mellanox mlx5 driver.**
193
194   Updated Mellanox mlx5 driver with new features and improvements, including:
195
196   * Added support for VLAN pop flow offload command.
197   * Added support for VLAN push flow offload command.
198   * Added support for VLAN set PCP offload command.
199   * Added support for VLAN set VID offload command.
200   * Added support for matching on packets withe Geneve tunnel header.
201   * Added hairpin support.
202   * Added ConnectX6-DX support.
203
204 * **Updated the AF_XDP PMD.**
205
206   Updated the AF_XDP PMD. The new features include:
207
208   * Enabled zero copy between application mempools and UMEM by enabling the
209     XDP_UMEM_UNALIGNED_CHUNKS UMEM flag.
210
211 * **Added Marvell NITROX symmetric crypto PMD.**
212
213   Added a symmetric crypto PMD for Marvell NITROX V security processor.
214   See the :doc:`../cryptodevs/nitrox` guide for more details on this new
215
216 * **Added asymmetric support to Marvell OCTEON TX crypto PMD.**
217
218   Added support for asymmetric operations in Marvell OCTEON TX cypto PMD.
219   Supports RSA and modexp operations.
220
221 * **Added Marvell OCTEON TX2 crypto PMD**
222
223   Added a new PMD driver for h/w crypto offload block on ``OCTEON TX2`` SoC.
224
225   See :doc:`../cryptodevs/octeontx2` for more details
226
227 * **Updated NXP crypto PMDs for PDCP support.**
228
229   PDCP support is added to DPAA_SEC and DPAA2_SEC PMDs using rte_security APIs.
230   Support is added for all sequence number sizes for control and user plane.
231   Test and test-crypto-perf applications are updated for unit testing.
232
233 * **Updated the AESNI-MB PMD.**
234
235   * Added support for intel-ipsec-mb version 0.53.
236
237 * **Updated the AESNI-GCM PMD.**
238
239   * Added support for intel-ipsec-mb version 0.53.
240   * Supported in-place chained mbufs on AES-GCM algorithm.
241
242 * **Enabled Single Pass GCM acceleration on QAT GEN3.**
243
244   Added support for Single Pass GCM, available on QAT GEN3 only (Intel
245   QuickAssist Technology C4xxx). It is automatically chosen instead of the
246   classic 2-pass mode when running on QAT GEN3, significantly improving
247   the performance of AES GCM operations.
248
249 * **Updated the Intel QuickAssist Technology (QAT) asymmetric crypto PMD.**
250
251   * Added support for asymmetric session-less operations.
252   * Added support for RSA algorithm with pair (n, d) private key representation.
253   * Added support for RSA algorithm with quintuple private key representation.
254
255 * **Updated the Intel QuickAssist Technology (QAT) compression PMD.**
256
257   Added stateful decompression support in the Intel QuickAssist Technology PMD.
258   Please note that stateful compression is not supported.
259
260 * **Added external buffers support for dpdk-test-compress-perf tool.**
261
262   Added a command line option to dpdk-test-compress-perf tool to allocate
263   and use memory zones as external buffers instead of keeping the data directly
264   in mbuf areas.
265
266 * **Updated the IPSec library.**
267
268   * Added SA Database API to ``librte_ipsec``. A new test-sad application is also
269     introduced to evaluate and perform custom functional and performance tests
270     for IPsec SAD implementation.
271
272   * Support fragmented packets in inline crypto processing mode with fallback
273     ``lookaside-none`` session. Corresponding changes are also added in IPsec
274     Security Gateway application.
275
276 * **Introduced FIFO for NTB PMD.**
277
278   Introduced FIFO for NTB (Non-transparent Bridge) PMD to support
279   packet based processing.
280
281 * **Added eBPF JIT support for arm64.**
282
283   Added eBPF JIT support for arm64 architecture to improve the eBPF program
284   performance.
285
286 * **Added RIB and FIB (Routing/Forwarding Information Base) libraries.**
287
288   RIB and FIB can replace the LPM (Longest Prefix Match) library
289   with better control plane (RIB) performance.
290   The data plane (FIB) can be extended with new algorithms.
291
292 * **Updated testpmd.**
293
294   * Added a console command to testpmd app, ``show port (port_id) ptypes`` which
295     gives ability to print port supported ptypes in different protocol layers.
296   * Packet type detection disabled by default for the supported PMDs.
297
298 * **Added new example l2fwd-event application.**
299
300   Added an example application `l2fwd-event` that adds event device support to
301   traditional l2fwd example. It demonstrates usage of poll and event mode IO
302   mechanism under a single application.
303
304 * **Added build support for Link Time Optimization.**
305
306   LTO is an optimization technique used by the compiler to perform whole
307   program analysis and optimization at link time.  In order to do that
308   compilers store their internal representation of the source code that
309   the linker uses at the final stage of compilation process.
310
311   See :doc:`../prog_guide/lto` for more information:
312
313 * **Added IOVA as VA support for KNI.**
314
315   * Added IOVA = VA support for KNI, KNI can operate in IOVA = VA mode when
316     `iova-mode=va` EAL option is passed to the application or when bus IOVA
317     scheme is selected as RTE_IOVA_VA. This mode only works on Linux Kernel
318     versions above 4.9.0.
319
320   * Due to IOVA to KVA address translations, based on the KNI use case there
321     can be a performance impact. For mitigation, forcing IOVA to PA via EAL
322     "--iova-mode=pa" option can be used, IOVA_DC bus iommu scheme can also
323     result in IOVA as PA.
324
325
326 Removed Items
327 -------------
328
329 .. This section should contain removed items in this release. Sample format:
330
331    * Add a short 1-2 sentence description of the removed item
332      in the past tense.
333
334    This section is a comment. Do not overwrite or remove it.
335    Also, make sure to start the actual text at the margin.
336    =========================================================
337
338 * Removed duplicated set of commands for Rx offload configuration from testpmd::
339
340     port config all crc-strip|scatter|rx-cksum|rx-timestamp|
341                     hw-vlan|hw-vlan-filter|hw-vlan-strip|hw-vlan-extend on|off
342
343   The testpmd commands set that can be used instead
344   in order to enable or disable Rx offloading on all Rx queues of a port is::
345
346     port config <port_id> rx_offload crc_strip|scatter|
347                                      ipv4_cksum|udp_cksum|tcp_cksum|timestamp|
348                                      vlan_strip|vlan_filter|vlan_extend on|off
349
350 * Removed AF_XDP pmd_zero copy vdev argument. Support is now auto-detected.
351
352 * The following sample applications have been removed in this release:
353
354   * Exception Path
355   * L3 Forwarding in a Virtualization Environment
356   * Load Balancer
357   * Netmap Compatibility
358   * Quota and Watermark
359   * vhost-scsi
360
361 * Removed arm64-dpaa2-* build config. arm64-dpaa-* can now build for both
362   dpaa and dpaa2 platforms.
363
364
365 API Changes
366 -----------
367
368 .. This section should contain API changes. Sample format:
369
370    * sample: Add a short 1-2 sentence description of the API change
371      which was announced in the previous releases and made in this release.
372      Start with a scope label like "ethdev:".
373      Use fixed width quotes for ``function_names`` or ``struct_names``.
374      Use the past tense.
375
376    This section is a comment. Do not overwrite or remove it.
377    Also, make sure to start the actual text at the margin.
378    =========================================================
379
380 * eal: made the ``lcore_config`` struct and global symbol private.
381
382 * eal: removed the ``rte_cpu_check_supported`` function, replaced by
383   ``rte_cpu_is_supported`` since dpdk v17.08.
384
385 * eal: removed the ``rte_malloc_virt2phy`` function, replaced by
386   ``rte_malloc_virt2iova`` since v17.11.
387
388 * eal: made the ``rte_config`` struct and ``rte_eal_get_configuration``
389   function private.
390
391 * mem: hid the internal ``malloc_heap`` structure and the
392   ``rte_malloc_heap.h`` header.
393
394 * vfio: removed ``rte_vfio_dma_map`` and ``rte_vfio_dma_unmap`` that have
395   been marked as deprecated in release 19.05.
396   ``rte_vfio_container_dma_map`` and ``rte_vfio_container_dma_unmap`` can
397   be used as substitutes.
398
399 * pci: removed the following functions deprecated since dpdk v17.11:
400
401   - ``eal_parse_pci_BDF`` replaced by ``rte_pci_addr_parse``
402   - ``eal_parse_pci_DomBDF`` replaced by ``rte_pci_addr_parse``
403   - ``rte_eal_compare_pci_addr`` replaced by ``rte_pci_addr_cmp``
404
405 * The network structure ``esp_tail`` has been prefixed by ``rte_``.
406
407 * The network definitions of PPPoE ethertypes have been prefixed by ``RTE_``.
408
409 * The network structure for MPLS has been prefixed by ``rte_``.
410
411 * ethdev: changed ``rte_eth_dev_infos_get`` return value from ``void`` to
412   ``int`` to provide a way to report various error conditions.
413
414 * ethdev: changed ``rte_eth_promiscuous_enable`` and
415   ``rte_eth_promiscuous_disable`` return value from ``void`` to ``int`` to
416   provide a way to report various error conditions.
417
418 * ethdev: changed ``rte_eth_allmulticast_enable`` and
419   ``rte_eth_allmulticast_disable`` return value from ``void`` to ``int`` to
420   provide a way to report various error conditions.
421
422 * ethdev: changed ``rte_eth_dev_xstats_reset`` return value from ``void`` to
423   ``int`` to provide a way to report various error conditions.
424
425 * ethdev: changed ``rte_eth_link_get`` and ``rte_eth_link_get_nowait``
426   return value from ``void`` to ``int`` to provide a way to report various
427   error conditions.
428
429 * ethdev: changed ``rte_eth_macaddr_get`` return value from ``void`` to
430   ``int`` to provide a way to report various error conditions.
431
432 * ethdev: changed ``rte_eth_dev_owner_delete`` return value from ``void`` to
433   ``int`` to provide a way to report various error conditions.
434
435 * ethdev: The deprecated function ``rte_eth_dev_count`` was removed.
436   The function ``rte_eth_dev_count_avail`` is a drop-in replacement.
437   If the intent is to iterate over ports, ``RTE_ETH_FOREACH_*`` macros
438   are better port iterators.
439
440 * ethdev: RTE_FLOW_ITEM_TYPE_META data endianness altered to host one.
441   Due to the new dynamic metadata field in mbuf is host-endian either, there
442   is the minor compatibility issue for applications in case of 32-bit values
443   supported.
444
445 * ethdev: the tx_metadata mbuf field is moved to dymanic one.
446   PKT_TX_METADATA flag is replaced with PKT_TX_DYNF_METADATA.
447   DEV_TX_OFFLOAD_MATCH_METADATA offload flag is removed, now metadata
448   support in PMD is engaged on dynamic field registration.
449
450 * event: The function ``rte_event_eth_tx_adapter_enqueue`` takes an additional
451   input as ``flags``. Flag ``RTE_EVENT_ETH_TX_ADAPTER_ENQUEUE_SAME_DEST`` which
452   has been introduced in this release is used when used when all the packets
453   enqueued in the tx adapter are destined for the same Ethernet port & Tx queue.
454
455 * sched: The pipe nodes configuration parameters such as number of pipes,
456   pipe queue sizes, pipe profiles, etc., are moved from port level structure
457   to subport level. This allows different subports of the same port to
458   have different configuration for the pipe nodes.
459
460
461 ABI Changes
462 -----------
463
464 .. This section should contain ABI changes. Sample format:
465
466    * sample: Add a short 1-2 sentence description of the ABI change
467      which was announced in the previous releases and made in this release.
468      Start with a scope label like "ethdev:".
469      Use fixed width quotes for ``function_names`` or ``struct_names``.
470      Use the past tense.
471
472    This section is a comment. Do not overwrite or remove it.
473    Also, make sure to start the actual text at the margin.
474    =========================================================
475
476 * net: The Ethernet address and other header definitions have changed
477   attributes. They have been modified to be aligned on 2-byte boundaries.
478   These changes should not impact normal usage because drivers naturally
479   align the Ethernet header on receive and all known encapsulations
480   preserve the alignment of the header.
481
482 * security: The field ``replay_win_sz`` has been moved from ipsec library
483   based ``rte_ipsec_sa_prm`` structure to security library based structure
484   ``rte_security_ipsec_xform``, which specify the Anti replay window size
485   to enable sequence replay attack handling.
486
487 * ipsec: The field ``replay_win_sz`` has been removed from the structure
488   ``rte_ipsec_sa_prm`` as it has been added to the security library.
489
490 * ethdev: Added 32-bit fields for maximum LRO aggregated packet size, in
491   struct ``rte_eth_dev_info`` for the port capability and in struct
492   ``rte_eth_rxmode`` for the port configuration.
493   Application should use the new field in struct ``rte_eth_rxmode`` to configure
494   the requested size.
495   PMD should use the new field in struct ``rte_eth_dev_info`` to report the
496   supported port capability.
497
498
499 Shared Library Versions
500 -----------------------
501
502 .. Update any library version updated in this release
503    and prepend with a ``+`` sign, like this:
504
505      libfoo.so.1
506    + libupdated.so.2
507      libbar.so.1
508
509    This section is a comment. Do not overwrite or remove it.
510    =========================================================
511
512 The libraries prepended with a plus sign were incremented in this version.
513
514 .. code-block:: diff
515
516      librte_acl.so.2
517      librte_bbdev.so.1
518      librte_bitratestats.so.2
519      librte_bpf.so.1
520      librte_bus_dpaa.so.2
521      librte_bus_fslmc.so.2
522      librte_bus_ifpga.so.2
523      librte_bus_pci.so.2
524      librte_bus_vdev.so.2
525      librte_bus_vmbus.so.2
526      librte_cfgfile.so.2
527      librte_cmdline.so.2
528      librte_compressdev.so.1
529      librte_cryptodev.so.8
530      librte_distributor.so.1
531    + librte_eal.so.12
532      librte_efd.so.1
533    + librte_ethdev.so.13
534    + librte_eventdev.so.8
535    + librte_fib.so.1
536      librte_flow_classify.so.1
537      librte_gro.so.1
538      librte_gso.so.1
539      librte_hash.so.2
540      librte_ip_frag.so.1
541    + librte_ipsec.so.2
542      librte_jobstats.so.1
543      librte_kni.so.2
544      librte_kvargs.so.1
545      librte_latencystats.so.1
546      librte_lpm.so.2
547      librte_mbuf.so.5
548      librte_member.so.1
549      librte_mempool.so.5
550      librte_meter.so.3
551      librte_metrics.so.1
552      librte_net.so.1
553    + librte_pci.so.2
554      librte_pdump.so.3
555      librte_pipeline.so.3
556      librte_pmd_bnxt.so.2
557      librte_pmd_bond.so.2
558      librte_pmd_i40e.so.2
559      librte_pmd_ixgbe.so.2
560      librte_pmd_dpaa2_qdma.so.1
561      librte_pmd_ring.so.2
562      librte_pmd_softnic.so.1
563      librte_pmd_vhost.so.2
564      librte_port.so.3
565      librte_power.so.1
566      librte_rawdev.so.1
567    + librte_rib.so.1
568      librte_rcu.so.1
569      librte_reorder.so.1
570      librte_ring.so.2
571    + librte_sched.so.4
572    + librte_security.so.3
573      librte_stack.so.1
574      librte_table.so.3
575      librte_timer.so.1
576      librte_vhost.so.4
577
578
579 Known Issues
580 ------------
581
582 .. This section should contain new known issues in this release. Sample format:
583
584    * **Add title in present tense with full stop.**
585
586      Add a short 1-2 sentence description of the known issue
587      in the present tense. Add information on any known workarounds.
588
589    This section is a comment. Do not overwrite or remove it.
590    Also, make sure to start the actual text at the margin.
591    =========================================================
592
593
594 Tested Platforms
595 ----------------
596
597 .. This section should contain a list of platforms that were tested
598    with this release.
599
600    The format is:
601
602    * <vendor> platform with <vendor> <type of devices> combinations
603
604      * List of CPU
605      * List of OS
606      * List of devices
607      * Other relevant details...
608
609    This section is a comment. Do not overwrite or remove it.
610    Also, make sure to start the actual text at the margin.
611    =========================================================
612