net/ngbe: support RSS hash
[dpdk.git] / doc / guides / rel_notes / release_21_11.rst
1 .. SPDX-License-Identifier: BSD-3-Clause
2    Copyright 2021 The DPDK contributors
3
4 .. include:: <isonum.txt>
5
6 DPDK Release 21.11
7 ==================
8
9 .. **Read this first.**
10
11    The text in the sections below explains how to update the release notes.
12
13    Use proper spelling, capitalization and punctuation in all sections.
14
15    Variable and config names should be quoted as fixed width text:
16    ``LIKE_THIS``.
17
18    Build the docs and view the output file to ensure the changes are correct::
19
20       ninja -C build doc
21       xdg-open build/doc/guides/html/rel_notes/release_21_11.html
22
23
24 New Features
25 ------------
26
27 .. This section should contain new features added in this release.
28    Sample format:
29
30    * **Add a title in the past tense with a full stop.**
31
32      Add a short 1-2 sentence description in the past tense.
33      The description should be enough to allow someone scanning
34      the release notes to understand the new feature.
35
36      If the feature adds a lot of sub-features you can use a bullet list
37      like this:
38
39      * Added feature foo to do something.
40      * Enhanced feature bar to do something else.
41
42      Refer to the previous release notes for examples.
43
44      Suggested order in release notes items:
45      * Core libs (EAL, mempool, ring, mbuf, buses)
46      * Device abstraction libs and PMDs (ordered alphabetically by vendor name)
47        - ethdev (lib, PMDs)
48        - cryptodev (lib, PMDs)
49        - eventdev (lib, PMDs)
50        - etc
51      * Other libs
52      * Apps, Examples, Tools (if significant)
53
54      This section is a comment. Do not overwrite or remove it.
55      Also, make sure to start the actual text at the margin.
56      =======================================================
57
58 * **Enabled new devargs parser.**
59
60   * Enabled devargs syntax
61     ``bus=X,paramX=x/class=Y,paramY=y/driver=Z,paramZ=z``
62   * Added bus-level parsing of the devargs syntax.
63   * Kept compatibility with the legacy syntax as parsing fallback.
64
65 * **Updated EAL hugetlbfs mount handling for Linux.**
66
67   * Modified to allow ``--huge-dir`` option to specify a sub-directory
68     within a hugetlbfs mountpoint.
69
70 * **Added dmadev library.**
71
72   * Added a DMA device framework for management and provision of
73     hardware and software DMA devices.
74   * Added generic API which support a number of different DMA
75     operations.
76   * Added multi-process support.
77
78 * **Added IDXD dmadev driver implementation.**
79
80   The IDXD dmadev driver provide device drivers for the Intel DSA devices.
81   This device driver can be used through the generic dmadev API.
82
83 * **Added IOAT dmadev driver implementation.**
84
85   The Intel I/O Acceleration Technology (IOAT) dmadev driver provides a device
86   driver for Intel IOAT devices such as Crystal Beach DMA (CBDMA) on Ice Lake,
87   Skylake and Broadwell. This device driver can be used through the generic dmadev API.
88
89 * **Added support to get all MAC addresses of a device.**
90
91   Added ``rte_eth_macaddrs_get`` to allow user to retrieve all Ethernet
92   addresses assigned to given ethernet port.
93
94 * **Added new RSS offload types for IPv4/L4 checksum in RSS flow.**
95
96   Added macros ETH_RSS_IPV4_CHKSUM and ETH_RSS_L4_CHKSUM, now IPv4 and
97   TCP/UDP/SCTP header checksum field can be used as input set for RSS.
98
99 * **Added L2TPv2 and PPP protocol support in flow API.**
100
101   Added flow pattern items and header formats of L2TPv2 and PPP protocol.
102
103 * **Added flow flex item.**
104
105   The configurable flow flex item provides the capability to introduce
106   an arbitrary user-specified network protocol header,
107   configure the hardware accordingly, and perform match on this header
108   with desired patterns and masks.
109
110 * **Added ethdev support to control delivery of Rx metadata from the HW to the PMD.**
111
112   A new API, ``rte_eth_rx_metadata_negotiate()``, was added.
113   The following parts of Rx metadata were defined:
114
115   * ``RTE_ETH_RX_METADATA_USER_FLAG``
116   * ``RTE_ETH_RX_METADATA_USER_MARK``
117   * ``RTE_ETH_RX_METADATA_TUNNEL_ID``
118
119 * **Added an API to get a proxy port to manage "transfer" flows.**
120
121   A new API, ``rte_flow_pick_transfer_proxy()``, was added.
122
123 * **Added ethdev shared Rx queue support.**
124
125   * Added new device capability flag and Rx domain field to switch info.
126   * Added share group and share queue ID to Rx queue configuration.
127   * Added testpmd support and dedicate forwarding engine.
128
129 * **Updated af_packet ethdev driver.**
130
131   * Default VLAN strip behavior was changed. VLAN tag won't be stripped
132     unless ``DEV_RX_OFFLOAD_VLAN_STRIP`` offload is enabled.
133
134 * **Added API to get device configuration in ethdev.**
135
136   Added an ethdev API which can help users get device configuration.
137
138 * **Updated AF_XDP PMD.**
139
140   * Disabled secondary process support.
141
142 * **Updated Amazon ENA PMD.**
143
144   Updated the Amazon ENA PMD. The new driver version (v2.5.0) introduced
145   bug fixes and improvements, including:
146
147   * Support for the tx_free_thresh and rx_free_thresh configuration parameters.
148   * NUMA aware allocations for the queue helper structures.
149   * Watchdog's feature which is checking for missing Tx completions.
150
151 * **Updated Broadcom bnxt PMD.**
152
153   * Added flow offload support for Thor.
154   * Implement support for tunnel offload.
155   * Updated HWRM API to version 1.10.2.44
156
157 * **Updated Intel e1000 emulated driver.**
158
159   * Added Intel e1000 support on Windows.
160
161 * **Updated Intel iavf driver.**
162
163   * Added Intel iavf support on Windows.
164   * Added IPv4 and L4 (TCP/UDP/SCTP) checksum hash support in RSS flow.
165   * Added PPPoL2TPv2oUDP RSS hash based on inner IP address and TCP/UDP port.
166   * Added Intel iavf inline crypto support.
167
168 * **Updated Intel ice driver.**
169
170   * Added 1PPS out support by a devargs.
171   * Added IPv4 and L4 (TCP/UDP/SCTP) checksum hash support in RSS flow.
172   * Added DEV_RX_OFFLOAD_TIMESTAMP support.
173   * Added timesync API support under scalar path.
174
175 * **Updated Intel ixgbe driver.**
176
177   * Added Intel ixgbe support on Windows.
178
179 * **Updated Marvell cnxk ethdev driver.**
180
181   * Added rte_flow support for dual VLAN insert and strip actions.
182   * Added rte_tm support.
183   * Added support for Inline IPsec for CN9K event mode and CN10K
184     poll mode and event mode.
185   * Added support for ingress meter for CN10K platform.
186
187 * **Updated Mellanox mlx5 driver.**
188
189   Updated the Mellanox mlx5 driver with new features and improvements, including:
190
191   * Added implicit mempool registration to avoid data path hiccups (opt-out).
192   * Added NIC offloads for the PMD on Windows (TSO, VLAN strip, CRC keep).
193   * Added socket direct mode bonding support.
194
195 * **Updated Solarflare network PMD.**
196
197   Updated the Solarflare ``sfc_efx`` driver with changes including:
198
199   * Added port representors support on SN1000 SmartNICs
200   * Added flow API transfer proxy support
201
202 * **Added power monitor API in vhost library.**
203
204   Added an API to support power monitor in vhost library.
205
206 * **Updated vhost PMD.**
207
208   Add power monitor support in vhost PMD.
209
210 * **Updated virtio PMD.**
211
212   * Initial support for RSS receive mode has been added to the Virtio PMD,
213     with the capability for the application to configure the hash key,
214     the RETA and the hash types.
215     Virtio hash reporting is yet to be added.
216   * Added power monitor support in virtio PMD.
217
218 * **Updated Wangxun ngbe driver.**
219
220   * Added offloads and packet type on RxTx.
221   * Added VLAN and MAC filters.
222   * Added device basic statistics and extended stats.
223   * Added multi-queue and RSS.
224
225 * **Updated Marvell cnxk crypto PMD.**
226
227   * Added AES-CBC SHA1-HMAC support in lookaside protocol (IPsec) for CN10K.
228   * Added Transport mode support in lookaside protocol (IPsec) for CN10K.
229   * Added UDP encapsulation support in lookaside protocol (IPsec) for CN10K.
230   * Added support for lookaside protocol (IPsec) offload for CN9K.
231   * Added support for ZUC algorithm with 256-bit key length for CN10K.
232   * Added support for CN98xx dual block.
233   * Added inner checksum support in lookaside protocol (IPsec) for CN10K.
234
235 * **Added support for event crypto adapter on Marvell CN10K and CN9K.**
236
237   * Added event crypto adapter OP_FORWARD mode support.
238
239 * **Updated NXP dpaa_sec crypto PMD.**
240
241   * Added DES-CBC, AES-XCBC-MAC, AES-CMAC and non-HMAC algo support.
242   * Added PDCP short MAC-I support.
243   * Added raw vector datapath API support.
244
245 * **Updated NXP dpaa2_sec crypto PMD.**
246
247   * Added PDCP short MAC-I support.
248   * Added raw vector datapath API support.
249
250 * **Added framework for consolidation of IPsec_MB dependent SW Crypto PMDs.**
251
252   * The IPsec_MB framework was added to share common code between Intel
253     SW Crypto PMDs that depend on the intel-ipsec-mb library.
254   * Multiprocess support was added for the consolidated PMDs,
255     which requires v1.1 of the intel-ipsec-mb library.
256   * The following PMDs were moved into a single source folder,
257     however their usage and EAL options remain unchanged.
258     * AESNI_MB PMD.
259     * AESNI_GCM PMD.
260     * KASUMI PMD.
261     * SNOW3G PMD.
262     * ZUC PMD.
263     * CHACHA20_POLY1305 - A new PMD added.
264
265 * **Updated the aesni_mb crypto PMD.**
266
267   * Added support for ZUC-EEA3-256 and ZUC-EIA3-256.
268
269 * **Added digest appended ops support for Snow3G PMD.**
270
271   * Added support for out-of-place auth-cipher operations that encrypt
272     the digest along with the rest of the raw data.
273   * Added support for partially encrypted digest when using auth-cipher
274     operations.
275
276 * **Updated the ACC100 bbdev PMD.**
277
278   Added support for more comprehensive CRC options.
279
280 * **Updated the turbo_sw bbdev PMD.**
281
282   Added support for more comprehensive CRC options.
283
284 * **Added NXP LA12xx baseband PMD.**
285
286   * Added a new baseband PMD driver for NXP LA12xx Software defined radio.
287   * See the :doc:`../bbdevs/la12xx` for more details.
288
289 * **Updated Mellanox regex driver.**
290
291   * Added support for new ROF file format.
292
293 * **Updated IPsec library.**
294
295   * Added support for more AEAD algorithms AES_CCM, CHACHA20_POLY1305
296     and AES_GMAC.
297   * Added support for NAT-T / UDP encapsulated ESP.
298   * Added support for SA telemetry.
299   * Added support for setting a non default starting ESN value.
300
301 * **Added optimized Toeplitz hash implementation.**
302
303   Added optimized Toeplitz hash implementation using Galois Fields New Instructions.
304
305 * **Added multi-process support for testpmd.**
306
307   Added command-line options to specify total number of processes and
308   current process ID. Each process owns subset of Rx and Tx queues.
309
310 * **Updated test-crypto-perf application with new cases.**
311
312   * Added support for asymmetric crypto throughput performance measurement.
313     Only modex is supported for now.
314   * Added support for lookaside IPsec protocol offload throughput measurement.
315
316 * **Added lookaside protocol (IPsec) tests in dpdk-test.**
317
318   * Added known vector tests (AES-GCM 128, 192, 256).
319   * Added tests to verify error reporting with ICV corruption.
320   * Added tests to verify IV generation.
321   * Added tests to verify UDP encapsulation.
322   * Added tests to verify UDP encapsulation ports.
323   * Added tests to validate packets soft expiry.
324   * Added tests to validate packets hard expiry.
325   * Added tests to verify tunnel header verification in IPsec inbound.
326   * Added tests to verify inner checksum.
327   * Added tests for CHACHA20_POLY1305 PMD, including a new testcase for SGL OOP.
328
329 * **Revised packet capture framework.**
330
331   * New dpdk-dumpcap program that has most of the features
332     of the wireshark dumpcap utility including:
333     capture of multiple interfaces, filtering,
334     and stopping after number of bytes, packets.
335   * New library for writing pcapng packet capture files.
336   * Enhancements to the pdump library to support:
337     * Packet filter with BPF.
338     * Pcapng format with timestamps and meta-data.
339     * Fixes packet capture with stripped VLAN tags.
340
341 * **Added ASan support.**
342
343   `AddressSanitizer
344   <https://github.com/google/sanitizers/wiki/AddressSanitizer>`_ (ASan)
345   is a widely-used debugging tool to detect memory access errors.
346   It helps to detect issues like use-after-free, various kinds of buffer
347   overruns in C/C++ programs, and other similar errors, as well as
348   printing out detailed debug information whenever an error is detected.
349
350
351 Removed Items
352 -------------
353
354 .. This section should contain removed items in this release. Sample format:
355
356    * Add a short 1-2 sentence description of the removed item
357      in the past tense.
358
359    This section is a comment. Do not overwrite or remove it.
360    Also, make sure to start the actual text at the margin.
361    =======================================================
362
363 * eal: Removed the deprecated function ``rte_get_master_lcore()``
364   and the iterator macro ``RTE_LCORE_FOREACH_SLAVE``.
365
366 * eal: The old api arguments that were deprecated for
367   blacklist/whitelist are removed. Users must use the new
368   block/allow list arguments.
369
370 * mbuf: Removed offload flag ``PKT_RX_EIP_CKSUM_BAD``.
371   ``PKT_RX_OUTER_IP_CKSUM_BAD`` should be used as a replacement.
372
373 * ethdev: Removed the port mirroring API. A more fine-grain flow API
374   action ``RTE_FLOW_ACTION_TYPE_SAMPLE`` should be used instead.
375   The structures ``rte_eth_mirror_conf`` and ``rte_eth_vlan_mirror`` and
376   the functions ``rte_eth_mirror_rule_set`` and
377   ``rte_eth_mirror_rule_reset`` along with the associated macros
378   ``ETH_MIRROR_*`` are removed.
379
380 * ethdev: Removed ``rte_eth_rx_descriptor_done`` API function and its
381   driver callback. It is replaced by the more complete function
382   ``rte_eth_rx_descriptor_status``.
383
384 * ethdev: Removed deprecated ``shared`` attribute of the
385   ``struct rte_flow_action_count``. Shared counters should be managed
386   using indirect actions API (``rte_flow_action_handle_create`` etc).
387
388 * i40e: Removed i40evf driver.
389   iavf already became the default VF driver for i40e devices,
390   so there is no need to maintain i40evf.
391
392
393 API Changes
394 -----------
395
396 .. This section should contain API changes. Sample format:
397
398    * sample: Add a short 1-2 sentence description of the API change
399      which was announced in the previous releases and made in this release.
400      Start with a scope label like "ethdev:".
401      Use fixed width quotes for ``function_names`` or ``struct_names``.
402      Use the past tense.
403
404    This section is a comment. Do not overwrite or remove it.
405    Also, make sure to start the actual text at the margin.
406    =======================================================
407
408 * eal: The lcore state ``FINISHED`` is removed from
409   the ``enum rte_lcore_state_t``.
410   The lcore state ``WAIT`` is enough to represent the same state.
411
412 * kvargs: The experimental function ``rte_kvargs_strcmp()`` has been
413   removed. Its usages have been replaced by a new function
414   ``rte_kvargs_get_with_value()``.
415
416 * cmdline: ``cmdline_stdin_exit()`` now frees the ``cmdline`` structure.
417   Calls to ``cmdline_free()`` after it need to be deleted from applications.
418
419 * cmdline: Made ``cmdline`` structure definition hidden on Linux and FreeBSD.
420
421 * cmdline: Made ``rdline`` structure definition hidden. Functions are added
422   to dynamically allocate and free it, and to access user data in callbacks.
423
424 * mempool: Added ``RTE_MEMPOOL_F_NON_IO`` flag to give a hint to DPDK components
425   that objects from this pool will not be used for device IO (e.g. DMA).
426
427 * mempool: The mempool flags ``MEMPOOL_F_*`` will be deprecated in the future.
428   Newly added flags with ``RTE_MEMPOOL_F_`` prefix should be used instead.
429
430 * mempool: Helper macro ``MEMPOOL_HEADER_SIZE()`` is deprecated.
431   The replacement macro ``RTE_MEMPOOL_HEADER_SIZE()`` is internal only.
432
433 * mempool: Macro to register mempool driver ``MEMPOOL_REGISTER_OPS()`` is
434   deprecated.  Use replacement ``RTE_MEMPOOL_REGISTER_OPS()``.
435
436 * mempool: The mempool API macros ``MEMPOOL_PG_*`` are deprecated and
437   will be removed in DPDK 22.11.
438
439 * mbuf: The mbuf offload flags ``PKT_*`` are renamed as ``RTE_MBUF_F_*``. A
440   compatibility layer will be kept until DPDK 22.11.
441 * net: Renamed ``s_addr`` and ``d_addr`` fields of ``rte_ether_hdr`` structure
442   to ``src_addr`` and ``dst_addr``, respectively.
443
444 * net: Added ``version`` and ``ihl`` bit-fields to ``struct rte_ipv4_hdr``.
445   Existing ``version_ihl`` field is kept for backward compatibility.
446
447 * ethdev: Added items and actions ``PORT_REPRESENTOR``, ``REPRESENTED_PORT`` to
448   flow API.
449
450 * ethdev: Deprecated items and actions ``PF``, ``VF``, ``PHY_PORT``, ``PORT_ID``.
451   Suggested items and actions ``PORT_REPRESENTOR``, ``REPRESENTED_PORT`` instead.
452
453 * ethdev: Deprecated the use of attributes ``ingress`` / ``egress`` combined
454   with ``transfer``. See items ``PORT_REPRESENTOR``, ``REPRESENTED_PORT``.
455
456 * ethdev: ``rte_flow_action_modify_data`` structure updated, immediate data
457   array is extended, data pointer field is explicitly added to union, the
458   action behavior is defined in more strict fashion and documentation updated.
459   The immediate value behavior has been changed, the entire immediate field
460   should be provided, and offset for immediate source bitfield is assigned
461   from destination one.
462
463 * cryptodev: The API rte_cryptodev_pmd_is_valid_dev is modified to
464   rte_cryptodev_is_valid_dev as it can be used by the application as
465   well as PMD to check whether the device is valid or not.
466
467 * cryptodev: The rte_cryptodev_pmd.* files are renamed as cryptodev_pmd.*
468   as it is for drivers only and should be private to DPDK, and not
469   installed for app use.
470
471 * cryptodev: A ``reserved`` byte from structure ``rte_crypto_op`` was
472   renamed to ``aux_flags`` to indicate warnings and other information from
473   the crypto/security operation. This field will be used to communicate
474   events such as soft expiry with IPsec in lookaside mode.
475
476 * cryptodev: The field ``dataunit_len`` of the ``struct rte_crypto_cipher_xform``
477   moved to the end of the structure and extended to ``uint32_t``.
478
479 * cryptodev: The structure ``rte_crypto_vec`` was updated to add ``tot_len``
480   field to support total buffer length to facilitate protocol offload case.
481
482 * cryptodev: The structure ``rte_crypto_sym_vec`` was updated to add
483   ``dest_sgl`` to support out of place processing.
484
485 * bbdev: Added device info related to data byte endianness processing.
486
487 * eventdev: Moved memory used by timer adapters to hugepage. This will prevent
488   TLB misses if any and aligns to memory structure of other subsystems.
489
490 * fib: Added the ``rib_ext_sz`` field to ``rte_fib_conf`` and ``rte_fib6_conf``
491   so that user can specify the size of the RIB extension inside the FIB.
492
493
494 ABI Changes
495 -----------
496
497 .. This section should contain ABI changes. Sample format:
498
499    * sample: Add a short 1-2 sentence description of the ABI change
500      which was announced in the previous releases and made in this release.
501      Start with a scope label like "ethdev:".
502      Use fixed width quotes for ``function_names`` or ``struct_names``.
503      Use the past tense.
504
505    This section is a comment. Do not overwrite or remove it.
506    Also, make sure to start the actual text at the margin.
507    =======================================================
508
509 * ethdev: All enums & macros updated to have ``RTE_ETH`` prefix and structures
510   updated to have ``rte_eth`` prefix. DPDK components updated to use new names.
511
512 * ethdev: Input parameters for ``eth_rx_queue_count_t`` was changed.
513   Instead of pointer to ``rte_eth_dev`` and queue index, now it accepts pointer
514   to internal queue data as input parameter. While this change is transparent
515   to user, it still counts as an ABI change, as ``eth_rx_queue_count_t``
516   is used by  public inline function ``rte_eth_rx_queue_count``.
517
518 * ethdev: Made ``rte_eth_dev``, ``rte_eth_dev_data``, ``rte_eth_rxtx_callback``
519   private data structures. ``rte_eth_devices[]`` can't be accessed directly
520   by user any more. While it is an ABI breakage, this change is intended
521   to be transparent for both users (no changes in user app is required) and
522   PMD developers (no changes in PMD is required).
523
524 * cryptodev: Made ``rte_cryptodev``, ``rte_cryptodev_data`` private
525   structures internal to DPDK. ``rte_cryptodevs`` can't be accessed directly
526   by user any more. While it is an ABI breakage, this change is intended
527   to be transparent for both users (no changes in user app is required) and
528   PMD developers (no changes in PMD is required).
529
530 * security: ``rte_security_set_pkt_metadata`` and ``rte_security_get_userdata``
531   routines used by inline outbound and inline inbound security processing were
532   made inline and enhanced to do simple 64-bit set/get for PMDs that do not
533   have much processing in PMD specific callbacks but just 64-bit set/get.
534   This avoids a per packet function pointer jump overhead for such PMDs.
535
536 * security: A new option ``iv_gen_disable`` was added in structure
537   ``rte_security_ipsec_sa_options`` to disable IV generation inside PMD,
538   so that application can provide its own IV and test known test vectors.
539
540 * security: A new option ``tunnel_hdr_verify`` was added in structure
541   ``rte_security_ipsec_sa_options`` to indicate whether outer header
542   verification need to be done as part of inbound IPsec processing.
543
544 * security: A new option ``udp_ports_verify`` was added in structure
545   ``rte_security_ipsec_sa_options`` to indicate whether UDP ports
546   verification need to be done as part of inbound IPsec processing.
547
548 * security: A new structure ``rte_security_ipsec_lifetime`` was added to
549   replace ``esn_soft_limit`` in IPsec configuration structure
550   ``rte_security_ipsec_xform`` to allow applications to configure SA soft
551   and hard expiry limits. Limits can be either in number of packets or bytes.
552
553 * security: The new options ``ip_csum_enable`` and ``l4_csum_enable`` were added
554   in structure ``rte_security_ipsec_sa_options`` to indicate whether inner
555   packet IPv4 header checksum and L4 checksum need to be offloaded to
556   security device.
557
558 * security: A new structure ``esn`` was added in structure
559   ``rte_security_ipsec_xform`` to set an initial ESN value. This permits
560   application to start from an arbitrary ESN value for debug and SA lifetime
561   enforcement purposes.
562
563 * security: A new structure ``udp`` was added in structure
564   ``rte_security_ipsec_xform`` to allow setting the source and destination ports
565   for UDP encapsulated IPsec traffic.
566
567 * bbdev: Added capability related to more comprehensive CRC options,
568   shifting values of the ``enum rte_bbdev_op_ldpcdec_flag_bitmasks``.
569
570 * eventdev: New variables ``rx_event_buf_count`` and ``rx_event_buf_size``
571   were added in structure ``rte_event_eth_rx_adapter_stats`` to get additional
572   status.
573
574 * eventdev: A new structure ``rte_event_fp_ops`` has been added which is now used
575   by the fastpath inline functions. The structures ``rte_eventdev``,
576   ``rte_eventdev_data`` have been made internal. ``rte_eventdevs[]`` can't be
577   accessed directly by user any more. This change is transparent to both
578   applications and PMDs.
579
580 * eventdev: Re-arranged fields in ``rte_event_timer`` to remove holes.
581
582
583 Known Issues
584 ------------
585
586 .. This section should contain new known issues in this release. Sample format:
587
588    * **Add title in present tense with full stop.**
589
590      Add a short 1-2 sentence description of the known issue
591      in the present tense. Add information on any known workarounds.
592
593    This section is a comment. Do not overwrite or remove it.
594    Also, make sure to start the actual text at the margin.
595    =======================================================
596
597
598 Tested Platforms
599 ----------------
600
601 .. This section should contain a list of platforms that were tested
602    with this release.
603
604    The format is:
605
606    * <vendor> platform with <vendor> <type of devices> combinations
607
608      * List of CPU
609      * List of OS
610      * List of devices
611      * Other relevant details...
612
613    This section is a comment. Do not overwrite or remove it.
614    Also, make sure to start the actual text at the margin.
615    =======================================================