ethdev: move egress metadata to dynamic field
[dpdk.git] / doc / guides / rel_notes / release_19_11.rst
1 ..  SPDX-License-Identifier: BSD-3-Clause
2     Copyright 2019 The DPDK contributors
3
4 .. include:: <isonum.txt>
5
6 DPDK Release 19.11
7 ==================
8
9 .. **Read this first.**
10
11    The text in the sections below explains how to update the release notes.
12
13    Use proper spelling, capitalization and punctuation in all sections.
14
15    Variable and config names should be quoted as fixed width text:
16    ``LIKE_THIS``.
17
18    Build the docs and view the output file to ensure the changes are correct::
19
20       make doc-guides-html
21
22       xdg-open build/doc/html/guides/rel_notes/release_19_11.html
23
24
25 New Features
26 ------------
27
28 .. This section should contain new features added in this release.
29    Sample format:
30
31    * **Add a title in the past tense with a full stop.**
32
33      Add a short 1-2 sentence description in the past tense.
34      The description should be enough to allow someone scanning
35      the release notes to understand the new feature.
36
37      If the feature adds a lot of sub-features you can use a bullet list
38      like this:
39
40      * Added feature foo to do something.
41      * Enhanced feature bar to do something else.
42
43      Refer to the previous release notes for examples.
44
45      Suggested order in release notes items:
46      * Core libs (EAL, mempool, ring, mbuf, buses)
47      * Device abstraction libs and PMDs
48        - ethdev (lib, PMDs)
49        - cryptodev (lib, PMDs)
50        - eventdev (lib, PMDs)
51        - etc
52      * Other libs
53      * Apps, Examples, Tools (if significant)
54
55      This section is a comment. Do not overwrite or remove it.
56      Also, make sure to start the actual text at the margin.
57      =========================================================
58
59 * **FreeBSD now supports `--base-virtaddr` EAL option.**
60
61   FreeBSD version now also supports setting base virtual address for mapping
62   pages and resources into its address space.
63
64 * **Added Lock-free Stack for aarch64.**
65
66   The lock-free stack implementation is enabled for aarch64 platforms.
67
68 * **Changed mempool allocation behaviour.**
69
70   Objects are no longer across pages by default.
71   It may consume more memory when using small memory pages.
72
73 * **Added support of dynamic fields and flags in mbuf.**
74
75   This new feature adds the ability to dynamically register some room
76   for a field or a flag in the mbuf structure. This is typically used
77   for specific offload features, where adding a static field or flag
78   in the mbuf is not justified.
79
80 * **Added hairpin queue.**
81
82   On supported NICs, we can now setup haipin queue which will offload packets
83   from the wire, backto the wire.
84
85 * **Added flow tag in rte_flow.**
86
87   SET_TAG action and TAG item have been added to support transient flow tag.
88
89 * **Extended metadata support in rte_flow.**
90
91   Flow metadata is extended to both Rx and Tx.
92
93   * Tx metadata can also be set by SET_META action of rte_flow.
94   * Rx metadata is delivered to host via a dynamic field of ``rte_mbuf`` with
95     PKT_RX_DYNF_METADATA.
96
97 * **Updated the enic driver.**
98
99   * Added support for Geneve with options offload.
100   * Added flow API implementation based on VIC Flow Manager API.
101
102 * **Added Hisilicon hns3 PMD.**
103
104   Added the new ``hns3`` net driver for the inbuilt Hisilicon Network
105   Subsystem 3(HNS3) network engine found in the Hisilicon Kunpeng 920 SoC.
106   See the :doc:`../nics/hns3` guide for more details on this new driver.
107
108 * **Added NXP PFE PMD.**
109
110   Added the new PFE driver for the NXP LS1012A platform. See the
111   :doc:`../nics/pfe` NIC driver guide for more details on this new driver.
112
113 * **Updated iavf PMD.**
114
115   Enable AVX2 data path for iavf PMD.
116
117 * **Updated the Intel e1000 driver.**
118
119   Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
120
121 * **Updated the Intel ixgbe driver.**
122
123   Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
124
125 * **Updated the Intel i40e driver.**
126
127   Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
128
129 * **Updated the Intel fm10k driver.**
130
131   Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
132
133 * **Added RX/TX packet burst mode get API.**
134
135   Added two new functions ``rte_eth_rx_burst_mode_get`` and
136   ``rte_eth_tx_burst_mode_get`` that allow an application
137   to retrieve the mode information about RX/TX packet burst
138   such as Scalar or Vector, and Vector technology like AVX2.
139
140 * **Updated the Intel ice driver.**
141
142   Updated the Intel ice driver with new features and improvements, including:
143
144   * Added support for device-specific DDP package loading.
145   * Added support for handling Receive Flex Descriptor.
146   * Added support for protocol extraction on per Rx queue.
147   * Added support for Flow Director filter based on generic filter framework.
148   * Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
149   * Generic filter enhancement
150     - Supported pipeline mode.
151     - Supported new packet type like PPPoE for switch filter.
152   * Supported input set change and symmetric hash by rte_flow RSS action.
153   * Added support for GTP Tx checksum offload.
154
155 * **Added cryptodev asymmetric session-less operation.**
156
157   Added session-less option to cryptodev asymmetric structure. It works the same
158   way as symmetric crypto, corresponding xform is used directly by the crypto op.
159
160 * **Updated the Huawei hinic driver.**
161
162   Updated the Huawei hinic driver with new features and improvements, including:
163
164   * Enabled SR-IOV - Partially supported at this point, VFIO only.
165   * Supported VLAN filter and VLAN offload.
166   * Supported Unicast MAC filter and Multicast MAC filter.
167   * Supported Flow director for LACP, VRRP, BGP and so on.
168   * Supported FW version get.
169
170 * **Updated Mellanox mlx5 driver.**
171
172   Updated Mellanox mlx5 driver with new features and improvements, including:
173
174   * Added support for VLAN pop flow offload command.
175   * Added support for VLAN push flow offload command.
176   * Added support for VLAN set PCP offload command.
177   * Added support for VLAN set VID offload command.
178   * Added support for matching on packets withe Geneve tunnel header.
179   * Added hairpin support.
180
181 * **Updated the AF_XDP PMD.**
182
183   Updated the AF_XDP PMD. The new features include:
184
185   * Enabled zero copy between application mempools and UMEM by enabling the
186     XDP_UMEM_UNALIGNED_CHUNKS UMEM flag.
187
188 * **Added Marvell NITROX symmetric crypto PMD.**
189
190   Added a symmetric crypto PMD for Marvell NITROX V security processor.
191   See the :doc:`../cryptodevs/nitrox` guide for more details on this new
192
193 * **Added asymmetric support to Marvell OCTEON TX crypto PMD.**
194
195   Added support for asymmetric operations in Marvell OCTEON TX cypto PMD.
196   Supports RSA and modexp operations.
197
198 * **Added Marvell OCTEON TX2 crypto PMD**
199
200   Added a new PMD driver for h/w crypto offload block on ``OCTEON TX2`` SoC.
201
202   See :doc:`../cryptodevs/octeontx2` for more details
203
204 * **Updated NXP crypto PMDs for PDCP support.**
205
206   PDCP support is added to DPAA_SEC and DPAA2_SEC PMDs using rte_security APIs.
207   Support is added for all sequence number sizes for control and user plane.
208   Test application is updated for unit testing.
209
210 * **Enabled Single Pass GCM acceleration on QAT GEN3.**
211
212   Added support for Single Pass GCM, available on QAT GEN3 only (Intel
213   QuickAssist Technology C4xxx). It is automatically chosen instead of the
214   classic 2-pass mode when running on QAT GEN3, significantly improving
215   the performance of AES GCM operations.
216
217 * **Updated the Intel QuickAssist Technology (QAT) asymmetric crypto PMD.**
218
219   * Added support for asymmetric session-less operations.
220   * Added support for RSA algorithm with pair (n, d) private key representation.
221   * Added support for RSA algorithm with quintuple private key representation.
222
223 * **Updated the Intel QuickAssist Technology (QAT) compression PMD.**
224
225   Added stateful decompression support in the Intel QuickAssist Technology PMD.
226   Please note that stateful compression is not supported.
227
228 * **Added external buffers support for dpdk-test-compress-perf tool.**
229
230   Added a command line option to dpdk-test-compress-perf tool to allocate
231   and use memory zones as external buffers instead of keeping the data directly
232   in mbuf areas.
233
234 * **Updated the IPSec library.**
235
236   * Added SA Database API to ``librte_ipsec``. A new test-sad application is also
237     introduced to evaluate and perform custom functional and performance tests
238     for IPsec SAD implementation.
239
240   * Support fragmented packets in inline crypto processing mode with fallback
241     ``lookaside-none`` session. Corresponding changes are also added in IPsec
242     Security Gateway application.
243
244 * **Introduced FIFO for NTB PMD.**
245
246   Introduced FIFO for NTB (Non-transparent Bridge) PMD to support
247   packet based processing.
248
249 * **Added eBPF JIT support for arm64.**
250
251   Added eBPF JIT support for arm64 architecture to improve the eBPF program
252   performance.
253
254 * **Added RIB and FIB (Routing/Forwarding Information Base) libraries.**
255
256   RIB and FIB can replace the LPM (Longest Prefix Match) library
257   with better control plane (RIB) performance.
258   The data plane (FIB) can be extended with new algorithms.
259
260 * **Updated testpmd.**
261
262   * Added a console command to testpmd app, ``show port (port_id) ptypes`` which
263     gives ability to print port supported ptypes in different protocol layers.
264
265 * **Added new example l2fwd-event application.**
266
267   Added an example application `l2fwd-event` that adds event device support to
268   traditional l2fwd example. It demonstrates usage of poll and event mode IO
269   mechanism under a single application.
270
271 * **Added build support for Link Time Optimization.**
272
273   LTO is an optimization technique used by the compiler to perform whole
274   program analysis and optimization at link time.  In order to do that
275   compilers store their internal representation of the source code that
276   the linker uses at the final stage of compilation process.
277
278   See :doc:`../prog_guide/lto` for more information:
279
280
281 Removed Items
282 -------------
283
284 .. This section should contain removed items in this release. Sample format:
285
286    * Add a short 1-2 sentence description of the removed item
287      in the past tense.
288
289    This section is a comment. Do not overwrite or remove it.
290    Also, make sure to start the actual text at the margin.
291    =========================================================
292
293 * Removed duplicated set of commands for Rx offload configuration from testpmd::
294
295     port config all crc-strip|scatter|rx-cksum|rx-timestamp|
296                     hw-vlan|hw-vlan-filter|hw-vlan-strip|hw-vlan-extend on|off
297
298   The testpmd commands set that can be used instead
299   in order to enable or disable Rx offloading on all Rx queues of a port is::
300
301     port config <port_id> rx_offload crc_strip|scatter|
302                                      ipv4_cksum|udp_cksum|tcp_cksum|timestamp|
303                                      vlan_strip|vlan_filter|vlan_extend on|off
304
305 * Removed AF_XDP pmd_zero copy vdev argument. Support is now auto-detected.
306
307 * The following sample applications have been removed in this release:
308
309   * Exception Path
310   * L3 Forwarding in a Virtualization Environment
311   * Load Balancer
312   * Netmap Compatibility
313   * Quota and Watermark
314   * vhost-scsi
315
316 * Removed arm64-dpaa2-* build config. arm64-dpaa-* can now build for both
317   dpaa and dpaa2 platforms.
318
319
320 API Changes
321 -----------
322
323 .. This section should contain API changes. Sample format:
324
325    * sample: Add a short 1-2 sentence description of the API change
326      which was announced in the previous releases and made in this release.
327      Start with a scope label like "ethdev:".
328      Use fixed width quotes for ``function_names`` or ``struct_names``.
329      Use the past tense.
330
331    This section is a comment. Do not overwrite or remove it.
332    Also, make sure to start the actual text at the margin.
333    =========================================================
334
335 * eal: made the ``lcore_config`` struct and global symbol private.
336
337 * eal: removed the ``rte_cpu_check_supported`` function, replaced by
338   ``rte_cpu_is_supported`` since dpdk v17.08.
339
340 * eal: removed the ``rte_malloc_virt2phy`` function, replaced by
341   ``rte_malloc_virt2iova`` since v17.11.
342
343 * eal: made the ``rte_config`` struct and ``rte_eal_get_configuration``
344   function private.
345
346 * mem: hid the internal ``malloc_heap`` structure and the
347   ``rte_malloc_heap.h`` header.
348
349 * vfio: removed ``rte_vfio_dma_map`` and ``rte_vfio_dma_unmap`` that have
350   been marked as deprecated in release 19.05.
351   ``rte_vfio_container_dma_map`` and ``rte_vfio_container_dma_unmap`` can
352   be used as substitutes.
353
354 * pci: removed the following functions deprecated since dpdk v17.11:
355
356   - ``eal_parse_pci_BDF`` replaced by ``rte_pci_addr_parse``
357   - ``eal_parse_pci_DomBDF`` replaced by ``rte_pci_addr_parse``
358   - ``rte_eal_compare_pci_addr`` replaced by ``rte_pci_addr_cmp``
359
360 * The network structure ``esp_tail`` has been prefixed by ``rte_``.
361
362 * The network definitions of PPPoE ethertypes have been prefixed by ``RTE_``.
363
364 * The network structure for MPLS has been prefixed by ``rte_``.
365
366 * ethdev: changed ``rte_eth_dev_infos_get`` return value from ``void`` to
367   ``int`` to provide a way to report various error conditions.
368
369 * ethdev: changed ``rte_eth_promiscuous_enable`` and
370   ``rte_eth_promiscuous_disable`` return value from ``void`` to ``int`` to
371   provide a way to report various error conditions.
372
373 * ethdev: changed ``rte_eth_allmulticast_enable`` and
374   ``rte_eth_allmulticast_disable`` return value from ``void`` to ``int`` to
375   provide a way to report various error conditions.
376
377 * ethdev: changed ``rte_eth_dev_xstats_reset`` return value from ``void`` to
378   ``int`` to provide a way to report various error conditions.
379
380 * ethdev: changed ``rte_eth_link_get`` and ``rte_eth_link_get_nowait``
381   return value from ``void`` to ``int`` to provide a way to report various
382   error conditions.
383
384 * ethdev: changed ``rte_eth_macaddr_get`` return value from ``void`` to
385   ``int`` to provide a way to report various error conditions.
386
387 * ethdev: changed ``rte_eth_dev_owner_delete`` return value from ``void`` to
388   ``int`` to provide a way to report various error conditions.
389
390 * ethdev: The deprecated function ``rte_eth_dev_count`` was removed.
391   The function ``rte_eth_dev_count_avail`` is a drop-in replacement.
392   If the intent is to iterate over ports, ``RTE_ETH_FOREACH_*`` macros
393   are better port iterators.
394
395 * ethdev: RTE_FLOW_ITEM_TYPE_META data endianness altered to host one.
396   Due to the new dynamic metadata field in mbuf is host-endian either, there
397   is the minor compatibility issue for applications in case of 32-bit values
398   supported.
399
400 * ethdev: the tx_metadata mbuf field is moved to dymanic one.
401   PKT_TX_METADATA flag is replaced with PKT_TX_DYNF_METADATA.
402   DEV_TX_OFFLOAD_MATCH_METADATA offload flag is removed, now metadata
403   support in PMD is engaged on dynamic field registration.
404
405 * event: The function ``rte_event_eth_tx_adapter_enqueue`` takes an additional
406   input as ``flags``. Flag ``RTE_EVENT_ETH_TX_ADAPTER_ENQUEUE_SAME_DEST`` which
407   has been introduced in this release is used when used when all the packets
408   enqueued in the tx adapter are destined for the same Ethernet port & Tx queue.
409
410 * sched: The pipe nodes configuration parameters such as number of pipes,
411   pipe queue sizes, pipe profiles, etc., are moved from port level structure
412   to subport level. This allows different subports of the same port to
413   have different configuration for the pipe nodes.
414
415
416 ABI Changes
417 -----------
418
419 .. This section should contain ABI changes. Sample format:
420
421    * sample: Add a short 1-2 sentence description of the ABI change
422      which was announced in the previous releases and made in this release.
423      Start with a scope label like "ethdev:".
424      Use fixed width quotes for ``function_names`` or ``struct_names``.
425      Use the past tense.
426
427    This section is a comment. Do not overwrite or remove it.
428    Also, make sure to start the actual text at the margin.
429    =========================================================
430
431 * net: The Ethernet address and other header definitions have changed
432   attributes. They have been modified to be aligned on 2-byte boundaries.
433   These changes should not impact normal usage because drivers naturally
434   align the Ethernet header on receive and all known encapsulations
435   preserve the alignment of the header.
436
437 * security: The field ``replay_win_sz`` has been moved from ipsec library
438   based ``rte_ipsec_sa_prm`` structure to security library based structure
439   ``rte_security_ipsec_xform``, which specify the Anti replay window size
440   to enable sequence replay attack handling.
441
442 * ipsec: The field ``replay_win_sz`` has been removed from the structure
443   ``rte_ipsec_sa_prm`` as it has been added to the security library.
444
445
446 Shared Library Versions
447 -----------------------
448
449 .. Update any library version updated in this release
450    and prepend with a ``+`` sign, like this:
451
452      libfoo.so.1
453    + libupdated.so.2
454      libbar.so.1
455
456    This section is a comment. Do not overwrite or remove it.
457    =========================================================
458
459 The libraries prepended with a plus sign were incremented in this version.
460
461 .. code-block:: diff
462
463      librte_acl.so.2
464      librte_bbdev.so.1
465      librte_bitratestats.so.2
466      librte_bpf.so.1
467      librte_bus_dpaa.so.2
468      librte_bus_fslmc.so.2
469      librte_bus_ifpga.so.2
470      librte_bus_pci.so.2
471      librte_bus_vdev.so.2
472      librte_bus_vmbus.so.2
473      librte_cfgfile.so.2
474      librte_cmdline.so.2
475      librte_compressdev.so.1
476      librte_cryptodev.so.8
477      librte_distributor.so.1
478    + librte_eal.so.12
479      librte_efd.so.1
480    + librte_ethdev.so.13
481    + librte_eventdev.so.8
482    + librte_fib.so.1
483      librte_flow_classify.so.1
484      librte_gro.so.1
485      librte_gso.so.1
486      librte_hash.so.2
487      librte_ip_frag.so.1
488    + librte_ipsec.so.2
489      librte_jobstats.so.1
490      librte_kni.so.2
491      librte_kvargs.so.1
492      librte_latencystats.so.1
493      librte_lpm.so.2
494      librte_mbuf.so.5
495      librte_member.so.1
496      librte_mempool.so.5
497      librte_meter.so.3
498      librte_metrics.so.1
499      librte_net.so.1
500    + librte_pci.so.2
501      librte_pdump.so.3
502      librte_pipeline.so.3
503      librte_pmd_bnxt.so.2
504      librte_pmd_bond.so.2
505      librte_pmd_i40e.so.2
506      librte_pmd_ixgbe.so.2
507      librte_pmd_dpaa2_qdma.so.1
508      librte_pmd_ring.so.2
509      librte_pmd_softnic.so.1
510      librte_pmd_vhost.so.2
511      librte_port.so.3
512      librte_power.so.1
513      librte_rawdev.so.1
514    + librte_rib.so.1
515      librte_rcu.so.1
516      librte_reorder.so.1
517      librte_ring.so.2
518    + librte_sched.so.4
519    + librte_security.so.3
520      librte_stack.so.1
521      librte_table.so.3
522      librte_timer.so.1
523      librte_vhost.so.4
524
525
526 Known Issues
527 ------------
528
529 .. This section should contain new known issues in this release. Sample format:
530
531    * **Add title in present tense with full stop.**
532
533      Add a short 1-2 sentence description of the known issue
534      in the present tense. Add information on any known workarounds.
535
536    This section is a comment. Do not overwrite or remove it.
537    Also, make sure to start the actual text at the margin.
538    =========================================================
539
540
541 Tested Platforms
542 ----------------
543
544 .. This section should contain a list of platforms that were tested
545    with this release.
546
547    The format is:
548
549    * <vendor> platform with <vendor> <type of devices> combinations
550
551      * List of CPU
552      * List of OS
553      * List of devices
554      * Other relevant details...
555
556    This section is a comment. Do not overwrite or remove it.
557    Also, make sure to start the actual text at the margin.
558    =========================================================
559