doc/guides/rel_notes/release_19_11.rst

   1 ..  SPDX-License-Identifier: BSD-3-Clause
   2     Copyright 2019 The DPDK contributors
   3
   4 .. include:: <isonum.txt>
   5
   6 DPDK Release 19.11
   7 ==================
   8
   9 .. **Read this first.**
  10
  11    The text in the sections below explains how to update the release notes.
  12
  13    Use proper spelling, capitalization and punctuation in all sections.
  14
  15    Variable and config names should be quoted as fixed width text:
  16    ``LIKE_THIS``.
  17
  18    Build the docs and view the output file to ensure the changes are correct::
  19
  20       make doc-guides-html
  21
  22       xdg-open build/doc/html/guides/rel_notes/release_19_11.html
  23
  24
  25 New Features
  26 ------------
  27
  28 .. This section should contain new features added in this release.
  29    Sample format:
  30
  31    * **Add a title in the past tense with a full stop.**
  32
  33      Add a short 1-2 sentence description in the past tense.
  34      The description should be enough to allow someone scanning
  35      the release notes to understand the new feature.
  36
  37      If the feature adds a lot of sub-features you can use a bullet list
  38      like this:
  39
  40      * Added feature foo to do something.
  41      * Enhanced feature bar to do something else.
  42
  43      Refer to the previous release notes for examples.
  44
  45      Suggested order in release notes items:
  46      * Core libs (EAL, mempool, ring, mbuf, buses)
  47      * Device abstraction libs and PMDs
  48        - ethdev (lib, PMDs)
  49        - cryptodev (lib, PMDs)
  50        - eventdev (lib, PMDs)
  51        - etc
  52      * Other libs
  53      * Apps, Examples, Tools (if significant)
  54
  55      This section is a comment. Do not overwrite or remove it.
  56      Also, make sure to start the actual text at the margin.
  57      =========================================================
  58
  59 * **FreeBSD now supports `--base-virtaddr` EAL option.**
  60
  61   FreeBSD version now also supports setting base virtual address for mapping
  62   pages and resources into its address space.
  63
  64 * **Added Lock-free Stack for aarch64.**
  65
  66   The lock-free stack implementation is enabled for aarch64 platforms.
  67
  68 * **Extended pktmbuf mempool private structure.**
  69
  70   rte_pktmbuf_pool_private structure was extended to include flags field
  71   for future compatibility.
  72   As per 19.11 release this field is reserved and should be set to 0
  73   by the user.
  74
  75 * **Changed mempool allocation behaviour.**
  76
  77   Objects are no longer across pages by default.
  78   It may consume more memory when using small memory pages.
  79
  80 * **Added support of dynamic fields and flags in mbuf.**
  81
  82   This new feature adds the ability to dynamically register some room
  83   for a field or a flag in the mbuf structure. This is typically used
  84   for specific offload features, where adding a static field or flag
  85   in the mbuf is not justified.
  86
  87 * **Added hairpin queue.**
  88
  89   On supported NICs, we can now setup haipin queue which will offload packets
  90   from the wire, backto the wire.
  91
  92 * **Added flow tag in rte_flow.**
  93
  94   SET_TAG action and TAG item have been added to support transient flow tag.
  95
  96 * **Extended metadata support in rte_flow.**
  97
  98   Flow metadata is extended to both Rx and Tx.
  99
 100   * Tx metadata can also be set by SET_META action of rte_flow.
 101   * Rx metadata is delivered to host via a dynamic field of ``rte_mbuf`` with
 102     PKT_RX_DYNF_METADATA.
 103
 104 * **Added ethdev API to set supported packet types**
 105
 106   * Added new API ``rte_eth_dev_set_ptypes`` that allows an application to
 107     inform PMD about reduced range of packet types to handle.
 108   * This scheme will allow PMDs to avoid lookup to internal ptype table on Rx
 109     and thereby improve Rx performance if application wishes do so.
 110
 111 * **Added Rx offload flag to enable or disable RSS update**
 112
 113   * Added new Rx offload flag `DEV_RX_OFFLOAD_RSS_HASH` which can be used to
 114     enable/disable PMDs write to `rte_mbuf::hash::rss`.
 115   * PMDs notify the validity of `rte_mbuf::hash:rss` to the application
 116     by enabling `PKT_RX_RSS_HASH ` flag in `rte_mbuf::ol_flags`.
 117
 118 * **Updated the enic driver.**
 119
 120   * Added support for Geneve with options offload.
 121   * Added flow API implementation based on VIC Flow Manager API.
 122
 123 * **Added Hisilicon hns3 PMD.**
 124
 125   Added the new ``hns3`` net driver for the inbuilt Hisilicon Network
 126   Subsystem 3(HNS3) network engine found in the Hisilicon Kunpeng 920 SoC.
 127   See the :doc:`../nics/hns3` guide for more details on this new driver.
 128
 129 * **Added NXP PFE PMD.**
 130
 131   Added the new PFE driver for the NXP LS1012A platform. See the
 132   :doc:`../nics/pfe` NIC driver guide for more details on this new driver.
 133
 134 * **Updated Broadcom bnxt driver.**
 135
 136   Updated Broadcom bnxt driver with new features and improvements, including:
 137
 138   * Added support for hot firmware upgrade.
 139   * Added support for error recovery.
 140   * Added support for querying and using COS classification in hardware.
 141   * Added LRO support Thor devices.
 142   * Update HWRM API to version 1.10.1.6
 143
 144 * **Updated iavf PMD.**
 145
 146   Enable AVX2 data path for iavf PMD.
 147
 148 * **Updated the Intel e1000 driver.**
 149
 150   Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
 151
 152 * **Updated the Intel ixgbe driver.**
 153
 154   Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
 155
 156 * **Updated the Intel i40e driver.**
 157
 158   Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
 159
 160 * **Updated the Intel fm10k driver.**
 161
 162   Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
 163
 164 * **Added RX/TX packet burst mode get API.**
 165
 166   Added two new functions ``rte_eth_rx_burst_mode_get`` and
 167   ``rte_eth_tx_burst_mode_get`` that allow an application
 168   to retrieve the mode information about RX/TX packet burst
 169   such as Scalar or Vector, and Vector technology like AVX2.
 170
 171 * **Updated the Intel ice driver.**
 172
 173   Updated the Intel ice driver with new features and improvements, including:
 174
 175   * Added support for device-specific DDP package loading.
 176   * Added support for handling Receive Flex Descriptor.
 177   * Added support for protocol extraction on per Rx queue.
 178   * Added support for Flow Director filter based on generic filter framework.
 179   * Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
 180   * Generic filter enhancement
 181     - Supported pipeline mode.
 182     - Supported new packet type like PPPoE for switch filter.
 183   * Supported input set change and symmetric hash by rte_flow RSS action.
 184   * Added support for GTP Tx checksum offload.
 185   * Added new device IDs to support E810_XXV devices.
 186
 187 * **Added cryptodev asymmetric session-less operation.**
 188
 189   Added session-less option to cryptodev asymmetric structure. It works the same
 190   way as symmetric crypto, corresponding xform is used directly by the crypto op.
 191
 192 * **Updated the Huawei hinic driver.**
 193
 194   Updated the Huawei hinic driver with new features and improvements, including:
 195
 196   * Enabled SR-IOV - Partially supported at this point, VFIO only.
 197   * Supported VLAN filter and VLAN offload.
 198   * Supported Unicast MAC filter and Multicast MAC filter.
 199   * Supported Flow API for LACP, VRRP, BGP and so on.
 200   * Supported FW version get.
 201
 202 * **Updated Mellanox mlx5 driver.**
 203
 204   Updated Mellanox mlx5 driver with new features and improvements, including:
 205
 206   * Added support for VLAN pop flow offload command.
 207   * Added support for VLAN push flow offload command.
 208   * Added support for VLAN set PCP offload command.
 209   * Added support for VLAN set VID offload command.
 210   * Added support for matching on packets withe Geneve tunnel header.
 211   * Added hairpin support.
 212   * Added ConnectX6-DX support.
 213   * Flow engine selected based on RDMA Core library version.
 214     DV flow engine selected if version is rdma-core-24.0 or higher.
 215     Verbs flow engine selected otherwise.
 216
 217 * **Updated the AF_XDP PMD.**
 218
 219   Updated the AF_XDP PMD. The new features include:
 220
 221   * Enabled zero copy between application mempools and UMEM by enabling the
 222     XDP_UMEM_UNALIGNED_CHUNKS UMEM flag.
 223
 224 * **Added Marvell NITROX symmetric crypto PMD.**
 225
 226   Added a symmetric crypto PMD for Marvell NITROX V security processor.
 227   See the :doc:`../cryptodevs/nitrox` guide for more details on this new
 228
 229 * **Added asymmetric support to Marvell OCTEON TX crypto PMD.**
 230
 231   Added support for asymmetric operations in Marvell OCTEON TX cypto PMD.
 232   Supports RSA and modexp operations.
 233
 234 * **Added Marvell OCTEON TX2 crypto PMD**
 235
 236   Added a new PMD driver for h/w crypto offload block on ``OCTEON TX2`` SoC.
 237
 238   See :doc:`../cryptodevs/octeontx2` for more details
 239
 240 * **Updated NXP crypto PMDs for PDCP support.**
 241
 242   PDCP support is added to DPAA_SEC and DPAA2_SEC PMDs using rte_security APIs.
 243   Support is added for all sequence number sizes for control and user plane.
 244   Test and test-crypto-perf applications are updated for unit testing.
 245
 246 * **Updated the AESNI-MB PMD.**
 247
 248   * Added support for intel-ipsec-mb version 0.53.
 249
 250 * **Updated the AESNI-GCM PMD.**
 251
 252   * Added support for intel-ipsec-mb version 0.53.
 253   * Supported in-place chained mbufs on AES-GCM algorithm.
 254
 255 * **Enabled Single Pass GCM acceleration on QAT GEN3.**
 256
 257   Added support for Single Pass GCM, available on QAT GEN3 only (Intel
 258   QuickAssist Technology C4xxx). It is automatically chosen instead of the
 259   classic 2-pass mode when running on QAT GEN3, significantly improving
 260   the performance of AES GCM operations.
 261
 262 * **Updated the Intel QuickAssist Technology (QAT) asymmetric crypto PMD.**
 263
 264   * Added support for asymmetric session-less operations.
 265   * Added support for RSA algorithm with pair (n, d) private key representation.
 266   * Added support for RSA algorithm with quintuple private key representation.
 267
 268 * **Updated the Intel QuickAssist Technology (QAT) compression PMD.**
 269
 270   Added stateful decompression support in the Intel QuickAssist Technology PMD.
 271   Please note that stateful compression is not supported.
 272
 273 * **Added external buffers support for dpdk-test-compress-perf tool.**
 274
 275   Added a command line option to dpdk-test-compress-perf tool to allocate
 276   and use memory zones as external buffers instead of keeping the data directly
 277   in mbuf areas.
 278
 279 * **Updated the IPSec library.**
 280
 281   * Added SA Database API to ``librte_ipsec``. A new test-sad application is also
 282     introduced to evaluate and perform custom functional and performance tests
 283     for IPsec SAD implementation.
 284
 285   * Support fragmented packets in inline crypto processing mode with fallback
 286     ``lookaside-none`` session. Corresponding changes are also added in IPsec
 287     Security Gateway application.
 288
 289 * **Introduced FIFO for NTB PMD.**
 290
 291   Introduced FIFO for NTB (Non-transparent Bridge) PMD to support
 292   packet based processing.
 293
 294 * **Added eBPF JIT support for arm64.**
 295
 296   Added eBPF JIT support for arm64 architecture to improve the eBPF program
 297   performance.
 298
 299 * **Added RIB and FIB (Routing/Forwarding Information Base) libraries.**
 300
 301   RIB and FIB can replace the LPM (Longest Prefix Match) library
 302   with better control plane (RIB) performance.
 303   The data plane (FIB) can be extended with new algorithms.
 304
 305 * **Updated testpmd.**
 306
 307   * Added a console command to testpmd app, ``show port (port_id) ptypes`` which
 308     gives ability to print port supported ptypes in different protocol layers.
 309   * Packet type detection disabled by default for the supported PMDs.
 310
 311 * **Added new example l2fwd-event application.**
 312
 313   Added an example application `l2fwd-event` that adds event device support to
 314   traditional l2fwd example. It demonstrates usage of poll and event mode IO
 315   mechanism under a single application.
 316
 317 * **Added build support for Link Time Optimization.**
 318
 319   LTO is an optimization technique used by the compiler to perform whole
 320   program analysis and optimization at link time.  In order to do that
 321   compilers store their internal representation of the source code that
 322   the linker uses at the final stage of compilation process.
 323
 324   See :doc:`../prog_guide/lto` for more information:
 325
 326 * **Added IOVA as VA support for KNI.**
 327
 328   * Added IOVA = VA support for KNI, KNI can operate in IOVA = VA mode when
 329     `iova-mode=va` EAL option is passed to the application or when bus IOVA
 330     scheme is selected as RTE_IOVA_VA. This mode only works on Linux Kernel
 331     versions above 4.9.0.
 332
 333   * Due to IOVA to KVA address translations, based on the KNI use case there
 334     can be a performance impact. For mitigation, forcing IOVA to PA via EAL
 335     "--iova-mode=pa" option can be used, IOVA_DC bus iommu scheme can also
 336     result in IOVA as PA.
 337
 338
 339 Removed Items
 340 -------------
 341
 342 .. This section should contain removed items in this release. Sample format:
 343
 344    * Add a short 1-2 sentence description of the removed item
 345      in the past tense.
 346
 347    This section is a comment. Do not overwrite or remove it.
 348    Also, make sure to start the actual text at the margin.
 349    =========================================================
 350
 351 * Removed duplicated set of commands for Rx offload configuration from testpmd::
 352
 353     port config all crc-strip|scatter|rx-cksum|rx-timestamp|
 354                     hw-vlan|hw-vlan-filter|hw-vlan-strip|hw-vlan-extend on|off
 355
 356   The testpmd commands set that can be used instead
 357   in order to enable or disable Rx offloading on all Rx queues of a port is::
 358
 359     port config <port_id> rx_offload crc_strip|scatter|
 360                                      ipv4_cksum|udp_cksum|tcp_cksum|timestamp|
 361                                      vlan_strip|vlan_filter|vlan_extend on|off
 362
 363 * Removed AF_XDP pmd_zero copy vdev argument. Support is now auto-detected.
 364
 365 * The following sample applications have been removed in this release:
 366
 367   * Exception Path
 368   * L3 Forwarding in a Virtualization Environment
 369   * Load Balancer
 370   * Netmap Compatibility
 371   * Quota and Watermark
 372   * vhost-scsi
 373
 374 * Removed arm64-dpaa2-* build config. arm64-dpaa-* can now build for both
 375   dpaa and dpaa2 platforms.
 376
 377
 378 API Changes
 379 -----------
 380
 381 .. This section should contain API changes. Sample format:
 382
 383    * sample: Add a short 1-2 sentence description of the API change
 384      which was announced in the previous releases and made in this release.
 385      Start with a scope label like "ethdev:".
 386      Use fixed width quotes for ``function_names`` or ``struct_names``.
 387      Use the past tense.
 388
 389    This section is a comment. Do not overwrite or remove it.
 390    Also, make sure to start the actual text at the margin.
 391    =========================================================
 392
 393 * eal: made the ``lcore_config`` struct and global symbol private.
 394
 395 * eal: removed the ``rte_cpu_check_supported`` function, replaced by
 396   ``rte_cpu_is_supported`` since dpdk v17.08.
 397
 398 * eal: removed the ``rte_malloc_virt2phy`` function, replaced by
 399   ``rte_malloc_virt2iova`` since v17.11.
 400
 401 * eal: made the ``rte_config`` struct and ``rte_eal_get_configuration``
 402   function private.
 403
 404 * mem: hid the internal ``malloc_heap`` structure and the
 405   ``rte_malloc_heap.h`` header.
 406
 407 * vfio: removed ``rte_vfio_dma_map`` and ``rte_vfio_dma_unmap`` that have
 408   been marked as deprecated in release 19.05.
 409   ``rte_vfio_container_dma_map`` and ``rte_vfio_container_dma_unmap`` can
 410   be used as substitutes.
 411
 412 * pci: removed the following functions deprecated since dpdk v17.11:
 413
 414   - ``eal_parse_pci_BDF`` replaced by ``rte_pci_addr_parse``
 415   - ``eal_parse_pci_DomBDF`` replaced by ``rte_pci_addr_parse``
 416   - ``rte_eal_compare_pci_addr`` replaced by ``rte_pci_addr_cmp``
 417
 418 * The network structure ``esp_tail`` has been prefixed by ``rte_``.
 419
 420 * The network definitions of PPPoE ethertypes have been prefixed by ``RTE_``.
 421
 422 * The network structure for MPLS has been prefixed by ``rte_``.
 423
 424 * ethdev: changed ``rte_eth_dev_infos_get`` return value from ``void`` to
 425   ``int`` to provide a way to report various error conditions.
 426
 427 * ethdev: changed ``rte_eth_promiscuous_enable`` and
 428   ``rte_eth_promiscuous_disable`` return value from ``void`` to ``int`` to
 429   provide a way to report various error conditions.
 430
 431 * ethdev: changed ``rte_eth_allmulticast_enable`` and
 432   ``rte_eth_allmulticast_disable`` return value from ``void`` to ``int`` to
 433   provide a way to report various error conditions.
 434
 435 * ethdev: changed ``rte_eth_dev_xstats_reset`` return value from ``void`` to
 436   ``int`` to provide a way to report various error conditions.
 437
 438 * ethdev: changed ``rte_eth_link_get`` and ``rte_eth_link_get_nowait``
 439   return value from ``void`` to ``int`` to provide a way to report various
 440   error conditions.
 441
 442 * ethdev: changed ``rte_eth_macaddr_get`` return value from ``void`` to
 443   ``int`` to provide a way to report various error conditions.
 444
 445 * ethdev: changed ``rte_eth_dev_owner_delete`` return value from ``void`` to
 446   ``int`` to provide a way to report various error conditions.
 447
 448 * ethdev: The deprecated function ``rte_eth_dev_count`` was removed.
 449   The function ``rte_eth_dev_count_avail`` is a drop-in replacement.
 450   If the intent is to iterate over ports, ``RTE_ETH_FOREACH_*`` macros
 451   are better port iterators.
 452
 453 * ethdev: RTE_FLOW_ITEM_TYPE_META data endianness altered to host one.
 454   Due to the new dynamic metadata field in mbuf is host-endian either, there
 455   is the minor compatibility issue for applications in case of 32-bit values
 456   supported.
 457
 458 * ethdev: the tx_metadata mbuf field is moved to dymanic one.
 459   PKT_TX_METADATA flag is replaced with PKT_TX_DYNF_METADATA.
 460   DEV_TX_OFFLOAD_MATCH_METADATA offload flag is removed, now metadata
 461   support in PMD is engaged on dynamic field registration.
 462
 463 * event: The function ``rte_event_eth_tx_adapter_enqueue`` takes an additional
 464   input as ``flags``. Flag ``RTE_EVENT_ETH_TX_ADAPTER_ENQUEUE_SAME_DEST`` which
 465   has been introduced in this release is used when used when all the packets
 466   enqueued in the tx adapter are destined for the same Ethernet port & Tx queue.
 467
 468 * sched: The pipe nodes configuration parameters such as number of pipes,
 469   pipe queue sizes, pipe profiles, etc., are moved from port level structure
 470   to subport level. This allows different subports of the same port to
 471   have different configuration for the pipe nodes.
 472
 473
 474 ABI Changes
 475 -----------
 476
 477 .. This section should contain ABI changes. Sample format:
 478
 479    * sample: Add a short 1-2 sentence description of the ABI change
 480      which was announced in the previous releases and made in this release.
 481      Start with a scope label like "ethdev:".
 482      Use fixed width quotes for ``function_names`` or ``struct_names``.
 483      Use the past tense.
 484
 485    This section is a comment. Do not overwrite or remove it.
 486    Also, make sure to start the actual text at the margin.
 487    =========================================================
 488
 489 * net: The Ethernet address and other header definitions have changed
 490   attributes. They have been modified to be aligned on 2-byte boundaries.
 491   These changes should not impact normal usage because drivers naturally
 492   align the Ethernet header on receive and all known encapsulations
 493   preserve the alignment of the header.
 494
 495 * security: The field ``replay_win_sz`` has been moved from ipsec library
 496   based ``rte_ipsec_sa_prm`` structure to security library based structure
 497   ``rte_security_ipsec_xform``, which specify the Anti replay window size
 498   to enable sequence replay attack handling.
 499
 500 * ipsec: The field ``replay_win_sz`` has been removed from the structure
 501   ``rte_ipsec_sa_prm`` as it has been added to the security library.
 502
 503 * ethdev: Added 32-bit fields for maximum LRO aggregated packet size, in
 504   struct ``rte_eth_dev_info`` for the port capability and in struct
 505   ``rte_eth_rxmode`` for the port configuration.
 506   Application should use the new field in struct ``rte_eth_rxmode`` to configure
 507   the requested size.
 508   PMD should use the new field in struct ``rte_eth_dev_info`` to report the
 509   supported port capability.
 510
 511
 512 Shared Library Versions
 513 -----------------------
 514
 515 .. Update any library version updated in this release
 516    and prepend with a ``+`` sign, like this:
 517
 518      libfoo.so.1
 519    + libupdated.so.2
 520      libbar.so.1
 521
 522    This section is a comment. Do not overwrite or remove it.
 523    =========================================================
 524
 525 The libraries prepended with a plus sign were incremented in this version.
 526
 527 .. code-block:: diff
 528
 529      librte_acl.so.2
 530      librte_bbdev.so.1
 531      librte_bitratestats.so.2
 532      librte_bpf.so.1
 533      librte_bus_dpaa.so.2
 534      librte_bus_fslmc.so.2
 535      librte_bus_ifpga.so.2
 536      librte_bus_pci.so.2
 537      librte_bus_vdev.so.2
 538      librte_bus_vmbus.so.2
 539      librte_cfgfile.so.2
 540      librte_cmdline.so.2
 541      librte_compressdev.so.1
 542      librte_cryptodev.so.8
 543      librte_distributor.so.1
 544    + librte_eal.so.12
 545      librte_efd.so.1
 546    + librte_ethdev.so.13
 547    + librte_eventdev.so.8
 548    + librte_fib.so.1
 549      librte_flow_classify.so.1
 550      librte_gro.so.1
 551      librte_gso.so.1
 552      librte_hash.so.2
 553      librte_ip_frag.so.1
 554    + librte_ipsec.so.2
 555      librte_jobstats.so.1
 556      librte_kni.so.2
 557      librte_kvargs.so.1
 558      librte_latencystats.so.1
 559      librte_lpm.so.2
 560      librte_mbuf.so.5
 561      librte_member.so.1
 562      librte_mempool.so.5
 563      librte_meter.so.3
 564      librte_metrics.so.1
 565      librte_net.so.1
 566    + librte_pci.so.2
 567      librte_pdump.so.3
 568      librte_pipeline.so.3
 569      librte_pmd_bnxt.so.2
 570      librte_pmd_bond.so.2
 571      librte_pmd_i40e.so.2
 572      librte_pmd_ixgbe.so.2
 573      librte_pmd_dpaa2_qdma.so.1
 574      librte_pmd_ring.so.2
 575      librte_pmd_softnic.so.1
 576      librte_pmd_vhost.so.2
 577      librte_port.so.3
 578      librte_power.so.1
 579      librte_rawdev.so.1
 580    + librte_rib.so.1
 581      librte_rcu.so.1
 582      librte_reorder.so.1
 583      librte_ring.so.2
 584    + librte_sched.so.4
 585    + librte_security.so.3
 586      librte_stack.so.1
 587      librte_table.so.3
 588      librte_timer.so.1
 589      librte_vhost.so.4
 590
 591
 592 Known Issues
 593 ------------
 594
 595 .. This section should contain new known issues in this release. Sample format:
 596
 597    * **Add title in present tense with full stop.**
 598
 599      Add a short 1-2 sentence description of the known issue
 600      in the present tense. Add information on any known workarounds.
 601
 602    This section is a comment. Do not overwrite or remove it.
 603    Also, make sure to start the actual text at the margin.
 604    =========================================================
 605
 606
 607 Tested Platforms
 608 ----------------
 609
 610 .. This section should contain a list of platforms that were tested
 611    with this release.
 612
 613    The format is:
 614
 615    * <vendor> platform with <vendor> <type of devices> combinations
 616
 617      * List of CPU
 618      * List of OS
 619      * List of devices
 620      * Other relevant details...
 621
 622    This section is a comment. Do not overwrite or remove it.
 623    Also, make sure to start the actual text at the margin.
 624    =========================================================
 625