doc: add telemetry how-to
[dpdk.git] / doc / guides / rel_notes / release_18_11.rst
1 ..  SPDX-License-Identifier: BSD-3-Clause
2     Copyright 2018 The DPDK contributors
3
4 DPDK Release 18.11
5 ==================
6
7 .. **Read this first.**
8
9    The text in the sections below explains how to update the release notes.
10
11    Use proper spelling, capitalization and punctuation in all sections.
12
13    Variable and config names should be quoted as fixed width text:
14    ``LIKE_THIS``.
15
16    Build the docs and view the output file to ensure the changes are correct::
17
18       make doc-guides-html
19
20       xdg-open build/doc/html/guides/rel_notes/release_18_11.html
21
22
23 New Features
24 ------------
25
26 .. This section should contain new features added in this release.
27    Sample format:
28
29    * **Add a title in the past tense with a full stop.**
30
31      Add a short 1-2 sentence description in the past tense.
32      The description should be enough to allow someone scanning
33      the release notes to understand the new feature.
34
35      If the feature adds a lot of sub-features you can use a bullet list
36      like this:
37
38      * Added feature foo to do something.
39      * Enhanced feature bar to do something else.
40
41      Refer to the previous release notes for examples.
42
43      Suggested order in release notes items:
44      * Core libs (EAL, mempool, ring, mbuf, buses)
45      * Device abstraction libs and PMDs
46        - ethdev (lib, PMDs)
47        - cryptodev (lib, PMDs)
48        - eventdev (lib, PMDs)
49        - etc
50      * Other libs
51      * Apps, Examples, Tools (if significative)
52
53      This section is a comment. Do not overwrite or remove it.
54      Also, make sure to start the actual text at the margin.
55      =========================================================
56
57 * **Added support for using externally allocated memory in DPDK.**
58
59   DPDK has gained support for creating new ``rte_malloc`` heaps referencing
60   memory that was created outside of DPDK's own page allocator, and using that
61   memory natively with any other DPDK library or data structure.
62
63 * **Added hot-unplug handle mechanism.**
64
65   ``rte_dev_hotplug_handle_enable`` and ``rte_dev_hotplug_handle_disable`` are
66   for enabling or disabling hotplug handle mechanism.
67
68 * **Support device multi-process hotplug.**
69
70   Hotplug and hot-unplug for devices will now be supported in multiprocessing
71   scenario. Any ethdev devices created in the primary process will be regarded
72   as shared and will be available for all DPDK processes. Synchronization
73   between processes will be done using DPDK IPC.
74
75 * **Added new Flow API actions to rewrite fields in packet headers.**
76
77   Added new Flow API actions to:
78
79   * Modify source and destination IP addresses in the outermost IPv4/IPv6
80     headers.
81   * Modify source and destination port numbers in the outermost TCP/UDP
82     headers.
83
84 * **Added new Flow API action to swap MAC addresses in Ethernet header.**
85
86   Added new Flow API action to swap the source and destination MAC
87   addresses in the outermost Ethernet header.
88
89 * **Add support to offload more flow match and actions for CXGBE PMD**
90
91   Flow API support has been enhanced for CXGBE Poll Mode Driver to offload:
92
93   * Match items: destination MAC address.
94   * Action items: push/pop/rewrite vlan header,
95     rewrite IP addresses in outermost IPv4/IPv6 header,
96     rewrite port numbers in outermost TCP/UDP header,
97     swap MAC addresses in outermost Ethernet header.
98
99 * **Added a devarg to use the latest supported vector path in i40e.**
100   A new devarg ``use-latest-supported-vec`` was introduced to allow users to
101   choose the latest vector path that the platform supported. For example, users
102   can use AVX2 vector path on BDW/HSW to get better performance.
103
104 * **Added support for SR-IOV in netvsc PMD.**
105
106   The ``netvsc`` poll mode driver now supports the Accelerated Networking
107   SR-IOV option in Hyper-V and Azure. This is an alternative to the previous
108   vdev_netvsc, tap, and failsafe drivers combination.
109
110 * **Added a new net driver for Marvell Armada 3k device.**
111
112   Added the new ``mvneta`` net driver for Marvell Armada 3k device. See the
113   :doc:`../nics/mvneta` NIC guide for more details on this new driver.
114
115 * **Added NXP ENETC PMD.**
116
117   Added the new enetc driver for NXP enetc platform. See the
118   "ENETC Poll Mode Driver" document for more details on this new driver.
119
120 * **Added Ethernet poll mode driver for Aquantia aQtion family of 10G devices.**
121
122   Added the new ``atlantic`` ethernet poll mode driver for Aquantia XGBE devices.
123   See the :doc:`../nics/atlantic` nic driver guide for more details on this
124   driver.
125
126 * **Updated Solarflare network PMD.**
127
128   Updated the sfc_efx driver including the following changes:
129
130   * Added support for Rx scatter in EF10 datapath implementation.
131   * Added support for Rx descriptor status API in EF10 datapath implementation.
132   * Added support for TSO in EF10 datapath implementation.
133   * Added support for Tx descriptor status API in EF10 (ef10 and ef10_simple)
134     datapaths implementation.
135
136 * **Updated the enic driver.**
137
138   * Added AVX2-based vectorized Rx handler.
139   * Added VLAN and checksum offloads to the simple Tx handler.
140   * Added the count flow action.
141   * Enabled the virtual address IOVA mode.
142
143 * **Updated failsafe driver.**
144
145   Updated the failsafe driver including the following changes:
146
147   * Support for Rx and Tx queues start and stop.
148   * Support for Rx and Tx queues deferred start.
149   * Support for runtime Rx and Tx queues setup.
150   * Support multicast MAC address set.
151
152 * **Added a devarg to use PCAP interface physical MAC address.**
153   A new devarg ``phy_mac`` was introduced to allow users to use physical
154   MAC address of the selected PCAP interface.
155
156 * **Added TAP Rx/Tx queues sharing with a secondary process.**
157
158   A secondary process can attach a TAP device created in the primary process,
159   probe the queues, and process Rx/Tx in a secondary process.
160
161 * **Added classification and metering support to SoftNIC PMD.**
162
163   Added support for flow classification (rte_flow API), and metering and
164   policing (rte_mtr API) to the SoftNIC PMD.
165
166 * **Added Crypto support to Softnic PMD.**
167
168   The Softnic is now capable of processing symmetric crypto workloads such
169   as cipher, cipher-authentication chaining, and aead encryption and
170   decryption. This is achieved by calling DPDK Cryptodev APIs.
171
172 * **Added cryptodev port to port library.**
173
174   Cryptodev port is a shim layer in the port library that interacts with DPDK
175   Cryptodev PMDs including burst enqueuing and dequeuing crypto operations.
176
177 * **Added symmetric cryptographic actions to the pipeline library.**
178
179   In the pipeline library an added symmetric crypto action parsing and action
180   handler are implemented. The action allows automatically preparing the crypto
181   operation with the rules specified such as algorithm, key, and IV, etc for
182   the cryptodev port to process.
183
184 * **Added support for GEN3 devices to Intel QAT driver .**
185
186   Added support for the third generation of Intel QuickAssist devices.
187
188 * **Updated the QAT PMD.**
189
190   The QAT PMD was updated with additional support for:
191
192   * AES-CMAC algorithm.
193
194 * **Updated the AESNI MB PMD.**
195
196   The AESNI MB PMD has been updated with additional support for AES-GCM
197   algorithm support.
198
199 * **Added NXP CAAM JR PMD.**
200
201   Added the new caam job ring driver for NXP platforms. See the
202   "NXP CAAM JOB RING (caam_jr)" document for more details on this new driver.
203
204 * **Added support for Dynamic Huffman Encoding to Intel QAT comp PMD.**
205
206   The Intel QuickAssist (QAT) compression PMD has been updated with support
207   for Dynamic Huffman Encoding for the Deflate algorithm.
208
209 * **Added Event Ethernet Tx Adapter.**
210
211   Added event ethernet Tx adapter library that  provides configuration and
212   data path APIs for the ethernet transmit stage of an event driven packet
213   processing application. These APIs abstract the implementation of the
214   transmit stage and allow the application to use eventdev PMD support or
215   a common implementation.
216
217 * **Added Distributed Software Eventdev PMD.**
218
219   Added the new Distributed Software Event Device (DSW), which is a
220   pure-software eventdev driver distributing the work of scheduling
221   among all eventdev ports and the lcores using them. DSW, compared to
222   the SW eventdev PMD, sacrifices load balancing performance to
223   gain better event scheduling throughput and scalability.
224
225 * **Added extendable bucket feature to hash library (rte_hash).**
226
227   This new “extendable bucket” feature provides 100% insertion guarantee to
228   the capacity specified by the user by extending hash table with extra
229   buckets when needed to accommodate the unlikely event of intensive hash
230   collisions.  In addition, the internal hashing algorithm was changed to use
231   partial-key hashing to improve memory efficiency and lookup performance.
232
233 * **Added lock free reader/writer concurrency to hash library (rte_hash).**
234
235   Lock free reader/writer concurrency prevents the readers from getting
236   blocked due to a pre-empted writer thread. This allows the hash library
237   to be used in scenarios where the writer thread runs on control plane.
238
239 * **Added Traffic Pattern Aware Power Control Library**
240
241   Added an experimental library. This extend Power Library and provide
242   empty_poll APIs. This feature measure how many times empty_poll are
243   executed per core, use the number of empty polls as a hint for system
244   power management.
245
246   See the :doc:`../prog_guide/power_man` section of the DPDK Programmers
247   Guide document for more information.
248
249 * **Added JSON power policy interface for containers.**
250
251   Extended the Power Library and vm_power_manager sample app to allow power
252   policies to be submitted via a FIFO using JSON formatted strings. Previously
253   limited to Virtual Machines, this feature extends power policy functionality
254   to containers and host applications that need to have their cores frequency
255   controlled based on the rules contained in the policy.
256
257 * **Added Telemetry API.**
258
259   Added the telemetry API which allows applications to transparently expose
260   their telemetry via a UNIX socket in JSON. The JSON can be consumed by any
261   Service Assurance agent, such as CollectD.
262
263 * **Added ability to switch queue deferred start flag on testpmd app.**
264
265   Added a console command to testpmd app, giving ability to switch
266   ``rx_deferred_start`` or ``tx_deferred_start`` flag of the specified queue of
267   the specified port. The port must be stopped before the command call in order
268   to reconfigure queues.
269
270 * **Add a new sample for vDPA**
271
272   The vdpa sample application creates vhost-user sockets by using the
273   vDPA backend. vDPA stands for vhost Data Path Acceleration which utilizes
274   virtio ring compatible devices to serve virtio driver directly to enable
275   datapath acceleration. As vDPA driver can help to set up vhost datapath,
276   this application doesn't need to launch dedicated worker threads for vhost
277   enqueue/dequeue operations.
278
279
280 API Changes
281 -----------
282
283 .. This section should contain API changes. Sample format:
284
285    * Add a short 1-2 sentence description of the API change.
286      Use fixed width quotes for ``function_names`` or ``struct_names``.
287      Use the past tense.
288
289    This section is a comment. Do not overwrite or remove it.
290    Also, make sure to start the actual text at the margin.
291    =========================================================
292
293 * eal: ``rte_memseg_list`` structure now has an additional flag indicating
294   whether the memseg list is externally allocated. This will have implications
295   for any users of memseg-walk-related functions, as they will now have to skip
296   externally allocated segments in most cases if the intent is to only iterate
297   over internal DPDK memory.
298   ``socket_id`` parameter across the entire DPDK has gained additional meaning,
299   as some socket ID's will now be representing externally allocated memory. No
300   changes will be required for existing code as backwards compatibility will be
301   kept, and those who do not use this feature will not see these extra socket
302   ID's. Any new API's must not check socket ID parameters themselves, and must
303   instead leave it to the memory subsystem to decide whether socket ID is a
304   valid one.
305
306 * eal: The following devargs functions, which were deprecated in 18.05,
307   were removed in 18.11:
308   ``rte_eal_parse_devargs_str()``, ``rte_eal_devargs_add()``,
309   ``rte_eal_devargs_type_count()``, and ``rte_eal_devargs_dump()``.
310
311 * eal: The parameters of the function ``rte_devargs_remove()`` have changed
312   from bus and device names to ``struct rte_devargs``.
313
314 * eal: The deprecated functions attach/detach were removed in 18.11.
315   ``rte_eal_dev_attach`` can be replaced by
316   ``rte_dev_probe`` or ``rte_eal_hotplug_add``.
317   ``rte_eal_dev_detach`` can be replaced by
318   ``rte_dev_remove`` or ``rte_eal_hotplug_remove``.
319
320 * eal: The scope of ``rte_eal_hotplug_add()``/``rte_dev_probe()``
321   and ``rte_eal_hotplug_remove()``/``rte_dev_remove()`` is extended.
322   In multi-process model, they will guarantee that the device is
323   attached or detached on all processes.
324
325 * mbuf: The ``__rte_mbuf_raw_free()`` and ``__rte_pktmbuf_prefree_seg()``
326   functions were deprecated since 17.05 and are replaced by
327   ``rte_mbuf_raw_free()`` and ``rte_pktmbuf_prefree_seg()``.
328
329 * ethdev: The deprecated functions attach/detach were removed in 18.11.
330   ``rte_eth_dev_attach`` can be replaced by ``RTE_ETH_FOREACH_MATCHING_DEV``
331   and ``rte_dev_probe`` or ``rte_eal_hotplug_add``.
332   ``rte_eth_dev_detach`` can be replaced by
333   ``rte_dev_remove`` or ``rte_eal_hotplug_remove``.
334
335 * ethdev: A call to ``rte_eth_dev_release_port()`` has been added in
336   ``rte_eth_dev_close()``. As a consequence, a closed port is freed
337   and seen as invalid because of its state ``RTE_ETH_DEV_UNUSED``.
338   This new behaviour is enabled per driver for a migration period.
339
340 * A new device flag, RTE_ETH_DEV_NOLIVE_MAC_ADDR, changes the order of
341   actions inside rte_eth_dev_start regarding MAC set. Some NICs do not
342   support MAC changes once the port has started and with this new device
343   flag the MAC can be properly configured in any case. This is particularly
344   important for bonding.
345
346 * The default behaviour of CRC strip offload changed. Without any specific Rx
347   offload flag, default behavior by PMD is now to strip CRC.
348   DEV_RX_OFFLOAD_CRC_STRIP offload flag has been removed.
349   To request keeping CRC, application should set ``DEV_RX_OFFLOAD_KEEP_CRC`` Rx
350   offload.
351
352 * eventdev: Type of 2nd parameter to ``rte_event_eth_rx_adapter_caps_get()``
353   has been changed from uint8_t to uint16_t.
354
355
356 ABI Changes
357 -----------
358
359 .. This section should contain ABI changes. Sample format:
360
361    * Add a short 1-2 sentence description of the ABI change
362      that was announced in the previous releases and made in this release.
363      Use fixed width quotes for ``function_names`` or ``struct_names``.
364      Use the past tense.
365
366    This section is a comment. Do not overwrite or remove it.
367    Also, make sure to start the actual text at the margin.
368    =========================================================
369
370 * eal: added ``legacy_mem`` and ``single_file_segments`` values to
371        ``rte_config`` structure on account of improving DPDK usability when
372        using either ``--legacy-mem`` or ``--single-file-segments`` flags.
373
374 * eal: EAL library ABI version was changed due to previously announced work on
375        supporting external memory in DPDK:
376          - structure ``rte_memseg_list`` now has a new field indicating length
377            of memory addressed by the segment list
378          - structure ``rte_memseg_list`` now has a new flag indicating whether
379            the memseg list refers to external memory
380          - structure ``rte_malloc_heap`` now has a new field indicating socket
381            ID the malloc heap belongs to
382          - structure ``rte_mem_config`` has had its ``malloc_heaps`` array
383            resized from ``RTE_MAX_NUMA_NODES`` to ``RTE_MAX_HEAPS`` value
384          - structure ``rte_malloc_heap`` now has a ``heap_name`` member
385          - structure ``rte_eal_memconfig`` has been extended to contain next
386            socket ID for externally allocated segments
387
388 * eal: The structure ``rte_device`` got a new field to reference a ``rte_bus``.
389   It is changing the size of the ``struct rte_device`` and the inherited
390   device structures of all buses.
391
392
393 Removed Items
394 -------------
395
396 .. This section should contain removed items in this release. Sample format:
397
398    * Add a short 1-2 sentence description of the removed item
399      in the past tense.
400
401    This section is a comment. Do not overwrite or remove it.
402    Also, make sure to start the actual text at the margin.
403    =========================================================
404
405
406 Shared Library Versions
407 -----------------------
408
409 .. Update any library version updated in this release
410    and prepend with a ``+`` sign, like this:
411
412      librte_acl.so.2
413    + librte_cfgfile.so.2
414      librte_cmdline.so.2
415
416    This section is a comment. Do not overwrite or remove it.
417    =========================================================
418
419 The libraries prepended with a plus sign were incremented in this version.
420
421 .. code-block:: diff
422
423      librte_acl.so.2
424      librte_bbdev.so.1
425      librte_bitratestats.so.2
426      librte_bpf.so.1
427    + librte_bus_dpaa.so.2
428    + librte_bus_fslmc.so.2
429    + librte_bus_ifpga.so.2
430    + librte_bus_pci.so.2
431    + librte_bus_vdev.so.2
432    + librte_bus_vmbus.so.2
433      librte_cfgfile.so.2
434      librte_cmdline.so.2
435      librte_compressdev.so.1
436      librte_cryptodev.so.5
437      librte_distributor.so.1
438    + librte_eal.so.9
439      librte_efd.so.1
440    + librte_ethdev.so.11
441    + librte_eventdev.so.6
442      librte_flow_classify.so.1
443      librte_gro.so.1
444      librte_gso.so.1
445      librte_hash.so.2
446      librte_ip_frag.so.1
447      librte_jobstats.so.1
448      librte_kni.so.2
449      librte_kvargs.so.1
450      librte_latencystats.so.1
451      librte_lpm.so.2
452      librte_mbuf.so.4
453      librte_member.so.1
454      librte_mempool.so.5
455      librte_meter.so.2
456      librte_metrics.so.1
457      librte_net.so.1
458      librte_pci.so.1
459      librte_pdump.so.2
460      librte_pipeline.so.3
461      librte_pmd_bnxt.so.2
462      librte_pmd_bond.so.2
463      librte_pmd_i40e.so.2
464      librte_pmd_ixgbe.so.2
465      librte_pmd_dpaa2_qdma.so.1
466      librte_pmd_ring.so.2
467      librte_pmd_softnic.so.1
468      librte_pmd_vhost.so.2
469      librte_port.so.3
470      librte_power.so.1
471      librte_rawdev.so.1
472      librte_reorder.so.1
473      librte_ring.so.2
474      librte_sched.so.1
475      librte_security.so.1
476      librte_table.so.3
477      librte_timer.so.1
478      librte_vhost.so.4
479
480
481 Known Issues
482 ------------
483
484 .. This section should contain new known issues in this release. Sample format:
485
486    * **Add title in present tense with full stop.**
487
488      Add a short 1-2 sentence description of the known issue
489      in the present tense. Add information on any known workarounds.
490
491    This section is a comment. Do not overwrite or remove it.
492    Also, make sure to start the actual text at the margin.
493    =========================================================
494
495 * When using SR-IOV (VF) support with netvsc PMD and the Mellanox mlx5 bifurcated
496   driver; the Linux netvsc device must be brought up before the netvsc device is
497   unbound and passed to the DPDK.
498
499
500 Tested Platforms
501 ----------------
502
503 .. This section should contain a list of platforms that were tested
504    with this release.
505
506    The format is:
507
508    * <vendor> platform with <vendor> <type of devices> combinations
509
510      * List of CPU
511      * List of OS
512      * List of devices
513      * Other relevant details...
514
515    This section is a comment. Do not overwrite or remove it.
516    Also, make sure to start the actual text at the margin.
517    =========================================================