hash: add lock-free r/w concurrency
[dpdk.git] / doc / guides / rel_notes / release_18_11.rst
1 ..  SPDX-License-Identifier: BSD-3-Clause
2     Copyright 2018 The DPDK contributors
3
4 DPDK Release 18.11
5 ==================
6
7 .. **Read this first.**
8
9    The text in the sections below explains how to update the release notes.
10
11    Use proper spelling, capitalization and punctuation in all sections.
12
13    Variable and config names should be quoted as fixed width text:
14    ``LIKE_THIS``.
15
16    Build the docs and view the output file to ensure the changes are correct::
17
18       make doc-guides-html
19
20       xdg-open build/doc/html/guides/rel_notes/release_18_11.html
21
22
23 New Features
24 ------------
25
26 .. This section should contain new features added in this release.
27    Sample format:
28
29    * **Add a title in the past tense with a full stop.**
30
31      Add a short 1-2 sentence description in the past tense.
32      The description should be enough to allow someone scanning
33      the release notes to understand the new feature.
34
35      If the feature adds a lot of sub-features you can use a bullet list
36      like this:
37
38      * Added feature foo to do something.
39      * Enhanced feature bar to do something else.
40
41      Refer to the previous release notes for examples.
42
43      Suggested order in release notes items:
44      * Core libs (EAL, mempool, ring, mbuf, buses)
45      * Device abstraction libs and PMDs
46        - ethdev (lib, PMDs)
47        - cryptodev (lib, PMDs)
48        - eventdev (lib, PMDs)
49        - etc
50      * Other libs
51      * Apps, Examples, Tools (if significative)
52
53      This section is a comment. Do not overwrite or remove it.
54      Also, make sure to start the actual text at the margin.
55      =========================================================
56
57 * **Added support for using externally allocated memory in DPDK.**
58
59   DPDK has gained support for creating new ``rte_malloc`` heaps referencing
60   memory that was created outside of DPDK's own page allocator, and using that
61   memory natively with any other DPDK library or data structure.
62
63 * **Added hot-unplug handle mechanism.**
64
65   ``rte_dev_hotplug_handle_enable`` and ``rte_dev_hotplug_handle_disable`` are
66   for enabling or disabling hotplug handle mechanism.
67
68 * **Support device multi-process hotplug.**
69
70   Hotplug and hot-unplug for devices will now be supported in multiprocessing
71   scenario. Any ethdev devices created in the primary process will be regarded
72   as shared and will be available for all DPDK processes. Synchronization
73   between processes will be done using DPDK IPC.
74
75 * **Added new Flow API actions to rewrite fields in packet headers.**
76
77   Added new Flow API actions to:
78
79   * Modify source and destination IP addresses in the outermost IPv4/IPv6
80     headers.
81   * Modify source and destination port numbers in the outermost TCP/UDP
82     headers.
83
84 * **Added new Flow API action to swap MAC addresses in Ethernet header.**
85
86   Added new Flow API action to swap the source and destination MAC
87   addresses in the outermost Ethernet header.
88
89 * **Add support to offload more flow match and actions for CXGBE PMD**
90
91   Flow API support has been enhanced for CXGBE Poll Mode Driver to offload:
92
93   * Match items: destination MAC address.
94   * Action items: push/pop/rewrite vlan header,
95     rewrite IP addresses in outermost IPv4/IPv6 header,
96     rewrite port numbers in outermost TCP/UDP header,
97     swap MAC addresses in outermost Ethernet header.
98
99 * **Added a devarg to use the latest supported vector path in i40e.**
100   A new devarg ``use-latest-supported-vec`` was introduced to allow users to
101   choose the latest vector path that the platform supported. For example, users
102   can use AVX2 vector path on BDW/HSW to get better performance.
103
104 * **Added support for SR-IOV in netvsc PMD.**
105
106   The ``netvsc`` poll mode driver now supports the Accelerated Networking
107   SR-IOV option in Hyper-V and Azure. This is an alternative to the previous
108   vdev_netvsc, tap, and failsafe drivers combination.
109
110 * **Added a new net driver for Marvell Armada 3k device.**
111
112   Added the new ``mvneta`` net driver for Marvell Armada 3k device. See the
113   :doc:`../nics/mvneta` NIC guide for more details on this new driver.
114
115 * **Added NXP ENETC PMD.**
116
117   Added the new enetc driver for NXP enetc platform. See the
118   "ENETC Poll Mode Driver" document for more details on this new driver.
119
120 * **Added Ethernet poll mode driver for Aquantia aQtion family of 10G devices.**
121
122   Added the new ``atlantic`` ethernet poll mode driver for Aquantia XGBE devices.
123   See the :doc:`../nics/atlantic` nic driver guide for more details on this
124   driver.
125
126 * **Updated Solarflare network PMD.**
127
128   Updated the sfc_efx driver including the following changes:
129
130   * Added support for Rx scatter in EF10 datapath implementation.
131   * Added support for Rx descriptor status API in EF10 datapath implementation.
132   * Added support for TSO in EF10 datapath implementation.
133   * Added support for Tx descriptor status API in EF10 (ef10 and ef10_simple)
134     datapaths implementation.
135
136 * **Updated failsafe driver.**
137
138   Updated the failsafe driver including the following changes:
139
140   * Support for Rx and Tx queues start and stop.
141   * Support for Rx and Tx queues deferred start.
142   * Support for runtime Rx and Tx queues setup.
143   * Support multicast MAC address set.
144
145 * **Added a devarg to use PCAP interface physical MAC address.**
146   A new devarg ``phy_mac`` was introduced to allow users to use physical
147   MAC address of the selected PCAP interface.
148
149 * **Added support for GEN3 devices to Intel QAT driver .**
150
151   Added support for the third generation of Intel QuickAssist devices.
152
153 * **Updated the QAT PMD.**
154
155   The QAT PMD was updated with additional support for:
156
157   * AES-CMAC algorithm.
158
159 * **Updated the AESNI MB PMD.**
160
161   The AESNI MB PMD has been updated with additional support for AES-GCM
162   algorithm support.
163
164 * **Added NXP CAAM JR PMD.**
165
166   Added the new caam job ring driver for NXP platforms. See the
167   "NXP CAAM JOB RING (caam_jr)" document for more details on this new driver.
168
169 * **Added Event Ethernet Tx Adapter.**
170
171   Added event ethernet Tx adapter library that  provides configuration and
172   data path APIs for the ethernet transmit stage of an event driven packet
173   processing application. These APIs abstract the implementation of the
174   transmit stage and allow the application to use eventdev PMD support or
175   a common implementation.
176
177 * **Added Distributed Software Eventdev PMD.**
178
179   Added the new Distributed Software Event Device (DSW), which is a
180   pure-software eventdev driver distributing the work of scheduling
181   among all eventdev ports and the lcores using them. DSW, compared to
182   the SW eventdev PMD, sacrifices load balancing performance to
183   gain better event scheduling throughput and scalability.
184
185 * **Added extendable bucket feature to hash library (rte_hash).**
186
187   This new “extendable bucket” feature provides 100% insertion guarantee to
188   the capacity specified by the user by extending hash table with extra
189   buckets when needed to accommodate the unlikely event of intensive hash
190   collisions.  In addition, the internal hashing algorithm was changed to use
191   partial-key hashing to improve memory efficiency and lookup performance.
192
193 * **Added lock free reader/writer concurrency to hash library (rte_hash).**
194
195   Lock free reader/writer concurrency prevents the readers from getting
196   blocked due to a pre-empted writer thread. This allows the hash library
197   to be used in scenarios where the writer thread runs on control plane.
198
199 * **Added Traffic Pattern Aware Power Control Library**
200
201   Added an experimental library. This extend Power Library and provide
202   empty_poll APIs. This feature measure how many times empty_poll are
203   executed per core, use the number of empty polls as a hint for system
204   power management.
205
206   See the :doc:`../prog_guide/power_man` section of the DPDK Programmers
207   Guide document for more information.
208
209 * **Added JSON power policy interface for containers.**
210
211   Extended the Power Library and vm_power_manager sample app to allow power
212   policies to be submitted via a FIFO using JSON formatted strings. Previously
213   limited to Virtual Machines, this feature extends power policy functionality
214   to containers and host applications that need to have their cores frequency
215   controlled based on the rules contained in the policy.
216
217 * **Added ability to switch queue deferred start flag on testpmd app.**
218
219   Added a console command to testpmd app, giving ability to switch
220   ``rx_deferred_start`` or ``tx_deferred_start`` flag of the specified queue of
221   the specified port. The port must be stopped before the command call in order
222   to reconfigure queues.
223
224 * **Add a new sample for vDPA**
225
226   The vdpa sample application creates vhost-user sockets by using the
227   vDPA backend. vDPA stands for vhost Data Path Acceleration which utilizes
228   virtio ring compatible devices to serve virtio driver directly to enable
229   datapath acceleration. As vDPA driver can help to set up vhost datapath,
230   this application doesn't need to launch dedicated worker threads for vhost
231   enqueue/dequeue operations.
232
233
234 API Changes
235 -----------
236
237 .. This section should contain API changes. Sample format:
238
239    * Add a short 1-2 sentence description of the API change.
240      Use fixed width quotes for ``function_names`` or ``struct_names``.
241      Use the past tense.
242
243    This section is a comment. Do not overwrite or remove it.
244    Also, make sure to start the actual text at the margin.
245    =========================================================
246
247 * eal: ``rte_memseg_list`` structure now has an additional flag indicating
248   whether the memseg list is externally allocated. This will have implications
249   for any users of memseg-walk-related functions, as they will now have to skip
250   externally allocated segments in most cases if the intent is to only iterate
251   over internal DPDK memory.
252   ``socket_id`` parameter across the entire DPDK has gained additional meaning,
253   as some socket ID's will now be representing externally allocated memory. No
254   changes will be required for existing code as backwards compatibility will be
255   kept, and those who do not use this feature will not see these extra socket
256   ID's. Any new API's must not check socket ID parameters themselves, and must
257   instead leave it to the memory subsystem to decide whether socket ID is a
258   valid one.
259
260 * eal: The following devargs functions, which were deprecated in 18.05,
261   were removed in 18.11:
262   ``rte_eal_parse_devargs_str()``, ``rte_eal_devargs_add()``,
263   ``rte_eal_devargs_type_count()``, and ``rte_eal_devargs_dump()``.
264
265 * eal: The parameters of the function ``rte_devargs_remove()`` have changed
266   from bus and device names to ``struct rte_devargs``.
267
268 * eal: The scope of ``rte_eal_hotplug_add()``/``rte_dev_probe()``
269   and ``rte_eal_hotplug_remove()``/``rte_dev_remove()`` is extended.
270   In multi-process model, they will guarantee that the device is
271   attached or detached on all processes.
272
273 * mbuf: The ``__rte_mbuf_raw_free()`` and ``__rte_pktmbuf_prefree_seg()``
274   functions were deprecated since 17.05 and are replaced by
275   ``rte_mbuf_raw_free()`` and ``rte_pktmbuf_prefree_seg()``.
276
277 * A new device flag, RTE_ETH_DEV_NOLIVE_MAC_ADDR, changes the order of
278   actions inside rte_eth_dev_start regarding MAC set. Some NICs do not
279   support MAC changes once the port has started and with this new device
280   flag the MAC can be properly configured in any case. This is particularly
281   important for bonding.
282
283 * The default behaviour of CRC strip offload changed. Without any specific Rx
284   offload flag, default behavior by PMD is now to strip CRC.
285   DEV_RX_OFFLOAD_CRC_STRIP offload flag has been removed.
286   To request keeping CRC, application should set ``DEV_RX_OFFLOAD_KEEP_CRC`` Rx
287   offload.
288
289 * eventdev: Type of 2nd parameter to ``rte_event_eth_rx_adapter_caps_get()``
290   has been changed from uint8_t to uint16_t.
291
292
293 ABI Changes
294 -----------
295
296 .. This section should contain ABI changes. Sample format:
297
298    * Add a short 1-2 sentence description of the ABI change
299      that was announced in the previous releases and made in this release.
300      Use fixed width quotes for ``function_names`` or ``struct_names``.
301      Use the past tense.
302
303    This section is a comment. Do not overwrite or remove it.
304    Also, make sure to start the actual text at the margin.
305    =========================================================
306
307 * eal: added ``legacy_mem`` and ``single_file_segments`` values to
308        ``rte_config`` structure on account of improving DPDK usability when
309        using either ``--legacy-mem`` or ``--single-file-segments`` flags.
310
311 * eal: EAL library ABI version was changed due to previously announced work on
312        supporting external memory in DPDK:
313          - structure ``rte_memseg_list`` now has a new field indicating length
314            of memory addressed by the segment list
315          - structure ``rte_memseg_list`` now has a new flag indicating whether
316            the memseg list refers to external memory
317          - structure ``rte_malloc_heap`` now has a new field indicating socket
318            ID the malloc heap belongs to
319          - structure ``rte_mem_config`` has had its ``malloc_heaps`` array
320            resized from ``RTE_MAX_NUMA_NODES`` to ``RTE_MAX_HEAPS`` value
321          - structure ``rte_malloc_heap`` now has a ``heap_name`` member
322          - structure ``rte_eal_memconfig`` has been extended to contain next
323            socket ID for externally allocated segments
324
325 * eal: The structure ``rte_device`` got a new field to reference a ``rte_bus``.
326   It is changing the size of the ``struct rte_device`` and the inherited
327   device structures of all buses.
328
329
330 Removed Items
331 -------------
332
333 .. This section should contain removed items in this release. Sample format:
334
335    * Add a short 1-2 sentence description of the removed item
336      in the past tense.
337
338    This section is a comment. Do not overwrite or remove it.
339    Also, make sure to start the actual text at the margin.
340    =========================================================
341
342
343 Shared Library Versions
344 -----------------------
345
346 .. Update any library version updated in this release
347    and prepend with a ``+`` sign, like this:
348
349      librte_acl.so.2
350    + librte_cfgfile.so.2
351      librte_cmdline.so.2
352
353    This section is a comment. Do not overwrite or remove it.
354    =========================================================
355
356 The libraries prepended with a plus sign were incremented in this version.
357
358 .. code-block:: diff
359
360      librte_acl.so.2
361      librte_bbdev.so.1
362      librte_bitratestats.so.2
363      librte_bpf.so.1
364    + librte_bus_dpaa.so.2
365    + librte_bus_fslmc.so.2
366    + librte_bus_ifpga.so.2
367    + librte_bus_pci.so.2
368    + librte_bus_vdev.so.2
369    + librte_bus_vmbus.so.2
370      librte_cfgfile.so.2
371      librte_cmdline.so.2
372      librte_compressdev.so.1
373      librte_cryptodev.so.5
374      librte_distributor.so.1
375    + librte_eal.so.9
376      librte_efd.so.1
377    + librte_ethdev.so.11
378    + librte_eventdev.so.6
379      librte_flow_classify.so.1
380      librte_gro.so.1
381      librte_gso.so.1
382      librte_hash.so.2
383      librte_ip_frag.so.1
384      librte_jobstats.so.1
385      librte_kni.so.2
386      librte_kvargs.so.1
387      librte_latencystats.so.1
388      librte_lpm.so.2
389      librte_mbuf.so.4
390      librte_member.so.1
391      librte_mempool.so.5
392      librte_meter.so.2
393      librte_metrics.so.1
394      librte_net.so.1
395      librte_pci.so.1
396      librte_pdump.so.2
397      librte_pipeline.so.3
398      librte_pmd_bnxt.so.2
399      librte_pmd_bond.so.2
400      librte_pmd_i40e.so.2
401      librte_pmd_ixgbe.so.2
402      librte_pmd_dpaa2_qdma.so.1
403      librte_pmd_ring.so.2
404      librte_pmd_softnic.so.1
405      librte_pmd_vhost.so.2
406      librte_port.so.3
407      librte_power.so.1
408      librte_rawdev.so.1
409      librte_reorder.so.1
410      librte_ring.so.2
411      librte_sched.so.1
412      librte_security.so.1
413      librte_table.so.3
414      librte_timer.so.1
415      librte_vhost.so.4
416
417
418 Known Issues
419 ------------
420
421 .. This section should contain new known issues in this release. Sample format:
422
423    * **Add title in present tense with full stop.**
424
425      Add a short 1-2 sentence description of the known issue
426      in the present tense. Add information on any known workarounds.
427
428    This section is a comment. Do not overwrite or remove it.
429    Also, make sure to start the actual text at the margin.
430    =========================================================
431
432 * When using SR-IOV (VF) support with netvsc PMD and the Mellanox mlx5 bifurcated
433   driver; the Linux netvsc device must be brought up before the netvsc device is
434   unbound and passed to the DPDK.
435
436
437 Tested Platforms
438 ----------------
439
440 .. This section should contain a list of platforms that were tested
441    with this release.
442
443    The format is:
444
445    * <vendor> platform with <vendor> <type of devices> combinations
446
447      * List of CPU
448      * List of OS
449      * List of devices
450      * Other relevant details...
451
452    This section is a comment. Do not overwrite or remove it.
453    Also, make sure to start the actual text at the margin.
454    =========================================================