doc/guides/rel_notes/release_20_11.rst

   1 .. SPDX-License-Identifier: BSD-3-Clause
   2    Copyright 2020 The DPDK contributors
   3
   4 .. include:: <isonum.txt>
   5
   6 DPDK Release 20.11
   7 ==================
   8
   9 .. **Read this first.**
  10
  11    The text in the sections below explains how to update the release notes.
  12
  13    Use proper spelling, capitalization and punctuation in all sections.
  14
  15    Variable and config names should be quoted as fixed width text:
  16    ``LIKE_THIS``.
  17
  18    Build the docs and view the output file to ensure the changes are correct::
  19
  20       make doc-guides-html
  21       xdg-open build/doc/html/guides/rel_notes/release_20_11.html
  22
  23
  24 New Features
  25 ------------
  26
  27 .. This section should contain new features added in this release.
  28    Sample format:
  29
  30    * **Add a title in the past tense with a full stop.**
  31
  32      Add a short 1-2 sentence description in the past tense.
  33      The description should be enough to allow someone scanning
  34      the release notes to understand the new feature.
  35
  36      If the feature adds a lot of sub-features you can use a bullet list
  37      like this:
  38
  39      * Added feature foo to do something.
  40      * Enhanced feature bar to do something else.
  41
  42      Refer to the previous release notes for examples.
  43
  44      Suggested order in release notes items:
  45      * Core libs (EAL, mempool, ring, mbuf, buses)
  46      * Device abstraction libs and PMDs
  47        - ethdev (lib, PMDs)
  48        - cryptodev (lib, PMDs)
  49        - eventdev (lib, PMDs)
  50        - etc
  51      * Other libs
  52      * Apps, Examples, Tools (if significant)
  53
  54      This section is a comment. Do not overwrite or remove it.
  55      Also, make sure to start the actual text at the margin.
  56      =======================================================
  57
  58 * **Added write combining store APIs.**
  59
  60   Added ``rte_write32_wc`` and ``rte_write32_wc_relaxed`` APIs
  61   that enable write combining stores (depending on architecture).
  62   The functions are provided as a generic stubs and
  63   x86 specific implementation.
  64
  65 * **Added prefetch with intention to write APIs.**
  66
  67   Added new prefetch function variants e.g. ``rte_prefetch0_write``,
  68   which allow the programmer to prefetch a cache line and also indicate
  69   the intention to write.
  70
  71 * **Added the rte_cldemote API.**
  72
  73   Added a hardware hint CLDEMOTE, which is similar to prefetch in reverse.
  74   CLDEMOTE moves the cache line to the more remote cache, where it expects
  75   sharing to be efficient. Moving the cache line to a level more distant from
  76   the processor helps to accelerate core-to-core communication.
  77   This API is specific to x86 and implemented as a stub for other
  78   architectures.
  79
  80 * **Updated CRC modules of the net library.**
  81
  82   * Added runtime selection of the optimal architecture-specific CRC path.
  83   * Added optimized implementations of CRC32-Ethernet and CRC16-CCITT
  84     using the AVX512 and VPCLMULQDQ instruction sets.
  85
  86 * **Added the FEC API, for a generic FEC query and config.**
  87
  88   Added the FEC API which provides functions for query FEC capabilities and
  89   current FEC mode from device. Also, API for configuring FEC mode is also provided.
  90
  91 * **Added thread safety to rte_flow functions.**
  92
  93   Added ``RTE_ETH_DEV_FLOW_OPS_THREAD_SAFE`` device flag to indicate
  94   whether PMD supports thread safe operations. If PMD doesn't set the flag,
  95   rte_flow API level functions will protect the flow operations with mutex.
  96
  97 * **Added flow-based traffic sampling support.**
  98
  99   Added new action: ``RTE_FLOW_ACTION_TYPE_SAMPLE`` to duplicate the matching
 100   packets with specified ratio, and apply with own set of actions with a fate
 101   action. When the ratio is set to 1 then the packets will be 100% mirrored.
 102
 103 * **Added support of shared action in flow API.**
 104
 105   Added shared action support to utilize single flow action in multiple flow
 106   rules. An update of shared action configuration alters the behavior of all
 107   flow rules using it.
 108
 109   * Added new action: ``RTE_FLOW_ACTION_TYPE_SHARED`` to use shared action
 110     as flow action.
 111   * Added new flow APIs to create/update/destroy/query shared action.
 112
 113 * **Updated the ethdev library to support hairpin between two ports.**
 114
 115   New APIs are introduced to support binding / unbinding 2 ports hairpin.
 116   Hairpin Tx part flow rules can be inserted explicitly.
 117   New API is added to get the hairpin peer ports list.
 118
 119 * **Updated Broadcom bnxt driver.**
 120
 121   Updated the Broadcom bnxt driver with new features and improvements, including:
 122
 123   * Added support for 200G PAM4 link speed.
 124   * Added support for RSS hash level selection.
 125   * Updated HWRM structures to 1.10.1.70 version.
 126   * Added TRUFLOW support for Stingray devices.
 127
 128 * **Updated Cisco enic driver.**
 129
 130   * Added support for VF representors with single-queue Tx/Rx and flow API
 131   * Added support for egress PORT_ID action
 132   * Added support for non-zero priorities for group 0 flows
 133   * Added support for VXLAN decap combined with VLAN pop
 134
 135 * **Added hns3 FEC PMD, for supporting query and config FEC mode.**
 136
 137   Added the FEC PMD which provides functions for query FEC capabilities and
 138   current FEC mode from device. Also, PMD for configuring FEC mode is also provided.
 139
 140 * **Updated Solarflare network PMD.**
 141
 142   Updated the Solarflare ``sfc_efx`` driver with changes including:
 143
 144   * Added SR-IOV PF support
 145   * Added Alveo SN1000 SmartNICs (EF100 architecture) support
 146
 147 * **Updated Virtio driver.**
 148
 149   * Added support for Vhost-vDPA backend to Virtio-user PMD.
 150   * Changed default link speed to unknown.
 151   * Added support for 200G link speed.
 152
 153 * **Updated Intel i40e driver.**
 154
 155   Updated the Intel i40e driver to use write combining stores.
 156
 157 * **Updated Intel ixgbe driver.**
 158
 159   Updated the Intel ixgbe driver to use write combining stores.
 160
 161 * **Updated Intel ice driver.**
 162
 163   Updated the Intel ice driver to use write combining stores.
 164
 165 * **Updated Intel qat driver.**
 166
 167   Updated the Intel qat driver to use write combining stores.
 168
 169 * **Updated Memif PMD.**
 170
 171   * Added support for abstract socket address.
 172   * Changed default socket address type to abstract.
 173
 174 * **Added Ice Lake (Gen4) support for Intel NTB.**
 175
 176   Added NTB device support (4th generation) for Intel Ice Lake platform.
 177
 178 * **Added UDP/IPv4 GRO support for VxLAN and non-VxLAN packets.**
 179
 180   For VxLAN packets, added inner UDP/IPv4 support.
 181   For non-VxLAN packets, added UDP/IPv4 support.
 182
 183 * **Extended flow-perf application.**
 184
 185   * Started supporting user order instead of bit mask:
 186     Now the user can create any structure of rte_flow
 187     using flow performance application with any order,
 188     moreover the app also now starts to support inner
 189     items matching as well.
 190   * Added header modify actions.
 191   * Added flag action.
 192   * Added raw encap/decap actions.
 193   * Added VXLAN encap/decap actions.
 194   * Added ICMP(code/type/identifier/sequence number) and ICMP6(code/type) matching items.
 195   * Added option to set port mask for insertion/deletion:
 196     ``--portmask=N``
 197     where N represents the hexadecimal bitmask of ports used.
 198
 199 * **Added raw data-path APIs for cryptodev library.**
 200
 201   Cryptodev is added with raw data-path APIs to accelerate external
 202   libraries or applications which need to avail fast cryptodev
 203   enqueue/dequeue operations but does not necessarily depends on
 204   mbufs and cryptodev operation mempools.
 205
 206 * **Updated the aesni_mb crypto PMD.**
 207
 208   * Added support for AES-ECB 128, 192 and 256.
 209   * Added support for ZUC-EEA3/EIA3 algorithms.
 210   * Added support for SNOW3G-UEA2/UIA2 algorithms.
 211   * Added support for KASUMI-F8/F9 algorithms.
 212   * Added support for Chacha20-Poly1305.
 213   * Added support for AES-256 CCM algorithm.
 214
 215 * **Updated the aesni_gcm crypto PMD.**
 216
 217   * Added SGL support for AES-GMAC.
 218
 219 * **Added Broadcom BCMFS symmetric crypto PMD.**
 220
 221   Added a symmetric crypto PMD for Broadcom FlexSparc crypto units.
 222   See :doc:`../cryptodevs/bcmfs` guide for more details on this new PMD.
 223
 224 * **Updated DPAA2_SEC crypto PMD.**
 225
 226   * Added DES-CBC support for cipher_only, chain and ipsec protocol.
 227   * Added support for non-HMAC auth algorithms
 228     (MD5, SHA1, SHA224, SHA256, SHA384, SHA512).
 229
 230 * **Updated Marvell NITROX symmetric crypto PMD.**
 231
 232   * Added AES-GCM support.
 233   * Added cipher only offload support.
 234
 235 * **Updated the OCTEON TX2 crypto PMD.**
 236
 237   * Updated the OCTEON TX2 crypto PMD lookaside protocol offload for IPsec with
 238     IPv6 support.
 239
 240 * **Updated QAT crypto PMD.**
 241
 242   * Added Raw Data-path APIs support.
 243
 244 * **Added Intel ACC100 bbdev PMD.**
 245
 246   Added a new ``acc100`` bbdev driver for the Intel\ |reg| ACC100 accelerator
 247   also known as Mount Bryce.  See the
 248   :doc:`../bbdevs/acc100` BBDEV guide for more details on this new driver.
 249
 250 * **Updated rte_security library to support SDAP.**
 251
 252   ``rte_security_pdcp_xform`` in ``rte_security`` lib is updated to enable
 253   5G NR processing of SDAP header in PMDs.
 254
 255 * **Added Marvell OCTEON TX2 regex PMD.**
 256
 257   Added a new PMD driver for hardware regex offload block for OCTEON TX2 SoC.
 258
 259   See the :doc:`../regexdevs/octeontx2` for more details.
 260
 261 * **Updated Software Eventdev driver.**
 262
 263   Added performance tuning arguments to allow tuning the scheduler for
 264   better throughtput in high core count use cases.
 265
 266 * **Updated ioat rawdev driver**
 267
 268   The ioat rawdev driver has been updated and enhanced. Changes include:
 269
 270   * Added support for Intel\ |reg| Data Streaming Accelerator hardware.
 271     For more information, see https://01.org/blogs/2019/introducing-intel-data-streaming-accelerator
 272   * Added support for the fill operation via the API ``rte_ioat_enqueue_fill()``,
 273     where the hardware fills an area of memory with a repeating pattern.
 274   * Added a per-device configuration flag to disable management
 275     of user-provided completion handles.
 276   * Renamed the ``rte_ioat_do_copies()`` API to ``rte_ioat_perform_ops()``,
 277     and renamed the ``rte_ioat_completed_copies()`` API to ``rte_ioat_completed_ops()``
 278     to better reflect the APIs' purposes, and remove the implication that
 279     they are limited to copy operations only.
 280     [Note: The old API is still provided but marked as deprecated in the code]
 281   * Added a new API ``rte_ioat_fence()`` to add a fence between operations.
 282     This API replaces the ``fence`` flag parameter in the ``rte_ioat_enqueue_copies()`` function,
 283     and is clearer as there is no ambiguity as to whether the flag should be
 284     set on the last operation before the fence or the first operation after it.
 285
 286 * **Updated the pipeline library for alignment with the P4 language.**
 287
 288   Added new Software Switch (SWX) pipeline type that provides more
 289   flexibility through API and feature alignment with the P4 language.
 290
 291   * The packet headers, meta-data, actions, tables and pipelines are
 292     dynamically defined instead of selected from pre-defined set.
 293   * The actions and the pipeline are defined with instructions.
 294   * Extern objects and functions can be plugged into the pipeline.
 295   * Transaction-oriented table updates.
 296
 297 * **Add new AVX512 specific classify algorithms for ACL library.**
 298
 299   * Added new ``RTE_ACL_CLASSIFY_AVX512X16`` vector implementation,
 300     which can process up to 16 flows in parallel. Requires AVX512 support.
 301
 302   * Added new ``RTE_ACL_CLASSIFY_AVX512X32`` vector implementation,
 303     which can process up to 32 flows in parallel. Requires AVX512 support.
 304
 305 * **Added support to update subport bandwidth dynamically.**
 306
 307    * Added new API ``rte_sched_port_subport_profile_add`` to add new
 308      subport bandwidth profile to subport porfile table at runtime.
 309
 310    * Added support to update subport rate dynamically.
 311
 312 * **Updated FIPS validation sample application.**
 313
 314   * Added scatter gather support.
 315   * Added NIST GCMVS complaint GMAC test method support.
 316
 317
 318 Removed Items
 319 -------------
 320
 321 .. This section should contain removed items in this release. Sample format:
 322
 323    * Add a short 1-2 sentence description of the removed item
 324      in the past tense.
 325
 326    This section is a comment. Do not overwrite or remove it.
 327    Also, make sure to start the actual text at the margin.
 328    =======================================================
 329
 330 * vhost: Dequeue zero-copy support has been removed.
 331
 332 * kernel: The module ``igb_uio`` has been moved to the git repository
 333   ``dpdk-kmods`` in a new directory ``linux/igb_uio``.
 334
 335 * Removed Python 2 support since it was EOL'd in January 2020.
 336
 337 API Changes
 338 -----------
 339
 340 .. This section should contain API changes. Sample format:
 341
 342    * sample: Add a short 1-2 sentence description of the API change
 343      which was announced in the previous releases and made in this release.
 344      Start with a scope label like "ethdev:".
 345      Use fixed width quotes for ``function_names`` or ``struct_names``.
 346      Use the past tense.
 347
 348    This section is a comment. Do not overwrite or remove it.
 349    Also, make sure to start the actual text at the margin.
 350    =======================================================
 351
 352 * build macros: The macros defining ``RTE_MACHINE_CPUFLAG_*`` are removed.
 353   The information provided by these macros is available through standard
 354   compiler macros.
 355
 356 * eal: The ``rte_logs`` struct and global symbol was made private
 357   and is no longer part of the API.
 358
 359 * eal: Made the ``rte_dev_event`` structure private to the EAL as no public API
 360   used it.
 361
 362 * eal: ``rte_cio_rmb()`` and ``rte_cio_wmb()`` were deprecated since 20.08
 363   and are removed in this release.
 364
 365 * mem: Removed the unioned field ``phys_addr`` from
 366   the structures ``rte_memseg`` and ``rte_memzone``.
 367   The field ``iova`` is remaining from the old unions.
 368
 369 * mempool: Removed the unioned fields ``phys_addr`` and ``physaddr`` from
 370   the structures ``rte_mempool_memhdr`` and ``rte_mempool_objhdr``.
 371   The field ``iova`` is remaining from the old unions.
 372   The flag name ``MEMPOOL_F_NO_PHYS_CONTIG`` is removed,
 373   while the aliased flag ``MEMPOOL_F_NO_IOVA_CONTIG`` is kept.
 374
 375 * mbuf: Removed the functions ``rte_mbuf_data_dma_addr*``
 376   and the macros ``rte_pktmbuf_mtophys*``.
 377   The same functionality is still available with the functions and macros
 378   having ``iova`` in their names instead of ``dma_addr`` or ``mtophys``.
 379
 380 * mbuf: Removed the unioned field ``buf_physaddr`` from ``rte_mbuf``.
 381   The field ``buf_iova`` is remaining from the old union.
 382
 383 * mbuf: Removed the unioned field ``refcnt_atomic`` from
 384   the structures ``rte_mbuf`` and ``rte_mbuf_ext_shared_info``.
 385   The field ``refcnt`` is remaining from the old unions.
 386
 387 * pci: Removed the ``rte_kernel_driver`` enum defined in rte_dev.h and
 388   replaced with a private enum in the PCI subsystem.
 389
 390 * pci: Removed the PCI resources map API from the public API
 391   (``pci_map_resource`` and ``pci_unmap_resource``) and moved it to the
 392   PCI bus driver along with the PCI resources lists and associated structures
 393   (``pci_map``, ``pci_msix_table``, ``mapped_pci_resource`` and
 394   ``mapped_pci_res_list``).
 395
 396 * ethdev: Removed the ``kdrv`` field in the ethdev ``rte_eth_dev_data``
 397   structure as it gave no useful abstracted information to the applications.
 398
 399 * ethdev: ``rte_eth_rx_descriptor_done()`` API has been deprecated.
 400
 401 * ethdev: Renamed basic statistics per queue. An underscore is inserted
 402   between the queue number and the rest of the xstat name:
 403
 404   * ``rx_qN*`` -> ``rx_qN_*``
 405   * ``tx_qN*`` -> ``tx_qN_*``
 406
 407 * ethdev: Added capability to query age flow action.
 408
 409 * ethdev: Renamed internal functions:
 410
 411   * ``_rte_eth_dev_callback_process()`` -> ``rte_eth_dev_callback_process()``
 412   * ``_rte_eth_dev_reset`` -> ``rte_eth_dev_internal_reset()``
 413
 414 * ethdev: Modified field type of ``base`` and ``nb_queue`` in struct
 415   ``rte_eth_dcb_tc_queue_mapping`` from ``uint8_t`` to ``uint16_t``.
 416   As the data of ``uint8_t`` will be truncated when queue number under
 417   a TC is greater than 256.
 418
 419 * vhost: Moved vDPA APIs from experimental to stable.
 420
 421 * vhost: Add a new function ``rte_vhost_crypto_driver_start`` to be called
 422   instead of ``rte_vhost_driver_start`` by crypto applications.
 423
 424 * cryptodev: The structure ``rte_crypto_sym_vec`` is updated to support both
 425   cpu_crypto synchrounous operation and asynchronous raw data-path APIs.
 426
 427 * cryptodev: ``RTE_CRYPTO_AEAD_LIST_END`` from ``enum rte_crypto_aead_algorithm``,
 428   ``RTE_CRYPTO_CIPHER_LIST_END`` from ``enum rte_crypto_cipher_algorithm`` and
 429   ``RTE_CRYPTO_AUTH_LIST_END`` from ``enum rte_crypto_auth_algorithm``
 430   are removed to avoid future ABI breakage while adding new algorithms.
 431
 432 * scheduler: Renamed functions ``rte_cryptodev_scheduler_slave_attach``,
 433   ``rte_cryptodev_scheduler_slave_detach`` and
 434   ``rte_cryptodev_scheduler_slaves_get`` to
 435   ``rte_cryptodev_scheduler_worker_attach``,
 436   ``rte_cryptodev_scheduler_worker_detach`` and
 437   ``rte_cryptodev_scheduler_workers_get`` accordingly.
 438
 439 * scheduler: Renamed the configuration value
 440   ``RTE_CRYPTODEV_SCHEDULER_MAX_NB_SLAVES`` to
 441   ``RTE_CRYPTODEV_SCHEDULER_MAX_NB_WORKERS``.
 442
 443 * security: ``hfn_ovrd`` field in ``rte_security_pdcp_xform`` is changed from
 444   ``uint32_t`` to ``uint8_t`` so that a new field ``sdap_enabled`` can be added
 445   to support SDAP.
 446
 447 * ipsec: ``RTE_SATP_LOG2_NUM`` has been dropped from ``enum`` and
 448   subsequently moved ``rte_ipsec`` lib from experimental to stable.
 449
 450 * baseband/fpga_lte_fec: Renamed function ``fpga_lte_fec_configure`` to
 451   ``rte_fpga_lte_fec_configure`` and structure ``fpga_lte_fec_conf`` to
 452   ``rte_fpga_lte_fec_conf``.
 453
 454 * baseband/fpga_5gnr_fec: Renamed function ``fpga_5gnr_fec_configure`` to
 455   ``rte_fpga_5gnr_fec_configure`` and structure ``fpga_5gnr_fec_conf`` to
 456   ``rte_fpga_5gnr_fec_conf``.
 457
 458 * rawdev: Added a structure size parameter to the functions
 459   ``rte_rawdev_queue_setup()``, ``rte_rawdev_queue_conf_get()``,
 460   ``rte_rawdev_info_get()`` and ``rte_rawdev_configure()``,
 461   allowing limited driver type-checking and ABI compatibility.
 462
 463 * rawdev: Changed the return type of the function ``rte_dev_info_get()``
 464   and the function ``rte_rawdev_queue_conf_get()``
 465   from ``void`` to ``int`` allowing the return of error codes from drivers.
 466
 467 * rawdev: The running of a drivers ``selftest()`` function can now be done
 468   using the ``rawdev_autotest`` command in the ``dpdk-test`` binary. This
 469   command now calls the self-test function for each rawdev found on the
 470   system, and does not require a specific command per device type.
 471   Following this change, the ``ioat_rawdev_autotest`` command has been
 472   removed as no longer needed.
 473
 474 * raw/ioat: As noted above, the ``rte_ioat_do_copies()`` and
 475   ``rte_ioat_completed_copies()`` functions have been renamed to
 476   ``rte_ioat_perform_ops()`` and ``rte_ioat_completed_ops()`` respectively.
 477
 478 * stack: the experimental tag has been dropped from the stack library, and its
 479   interfaces are considered stable as of DPDK 20.11.
 480
 481 * bpf: ``RTE_BPF_XTYPE_NUM`` has been dropped from ``rte_bpf_xtype``.
 482
 483 * acl: ``RTE_ACL_CLASSIFY_NUM`` enum value has been removed.
 484   This enum value was not used inside DPDK, while it prevented to add new
 485   classify algorithms without causing an ABI breakage.
 486
 487 * sched: Added ``subport_profile_id`` as argument
 488   to function ``rte_sched_subport_config``.
 489
 490 * sched: Removed ``tb_rate``, ``tc_rate``, ``tc_period`` and ``tb_size``
 491   from ``struct rte_sched_subport_params``.
 492
 493
 494 ABI Changes
 495 -----------
 496
 497 .. This section should contain ABI changes. Sample format:
 498
 499    * sample: Add a short 1-2 sentence description of the ABI change
 500      which was announced in the previous releases and made in this release.
 501      Start with a scope label like "ethdev:".
 502      Use fixed width quotes for ``function_names`` or ``struct_names``.
 503      Use the past tense.
 504
 505    This section is a comment. Do not overwrite or remove it.
 506    Also, make sure to start the actual text at the margin.
 507    =======================================================
 508
 509 * eal: Removed the not implemented function ``rte_dump_registers()``.
 510
 511 * ``ethdev`` changes
 512
 513   * Following device operation function pointers moved
 514     from ``struct eth_dev_ops`` to ``struct rte_eth_dev``:
 515
 516     * ``eth_rx_queue_count_t       rx_queue_count;``
 517     * ``eth_rx_descriptor_done_t   rx_descriptor_done;``
 518     * ``eth_rx_descriptor_status_t rx_descriptor_status;``
 519     * ``eth_tx_descriptor_status_t tx_descriptor_status;``
 520
 521   * ``struct eth_dev_ops`` is no more accessible by applications,
 522     which was already internal data structure.
 523
 524   * ``ethdev`` internal functions are marked with ``__rte_internal`` tag.
 525
 526   * Added extensions' attributes to struct ``rte_flow_item_ipv6``.
 527     A set of additional values added to struct, indicating the existence of
 528     every defined extension header type.
 529     Applications should use the new values for identification of existing
 530     extensions in the packet header.
 531
 532   * ``struct rte_eth_hairpin_conf`` has two new members:
 533
 534     * ``uint32_t tx_explicit:1;``
 535     * ``uint32_t manual_bind:1;``
 536
 537 * eventdev: Following structures are modified to support DLB/DLB2 PMDs
 538   and future extensions:
 539
 540   * ``rte_event_dev_info``
 541   * ``rte_event_dev_config``
 542   * ``rte_event_port_conf``
 543
 544 * sched: Added new fields to ``struct rte_sched_subport_port_params``.
 545
 546
 547 Known Issues
 548 ------------
 549
 550 .. This section should contain new known issues in this release. Sample format:
 551
 552    * **Add title in present tense with full stop.**
 553
 554      Add a short 1-2 sentence description of the known issue
 555      in the present tense. Add information on any known workarounds.
 556
 557    This section is a comment. Do not overwrite or remove it.
 558    Also, make sure to start the actual text at the margin.
 559    =======================================================
 560
 561
 562 Tested Platforms
 563 ----------------
 564
 565 .. This section should contain a list of platforms that were tested
 566    with this release.
 567
 568    The format is:
 569
 570    * <vendor> platform with <vendor> <type of devices> combinations
 571
 572      * List of CPU
 573      * List of OS
 574      * List of devices
 575      * Other relevant details...
 576
 577    This section is a comment. Do not overwrite or remove it.
 578    Also, make sure to start the actual text at the margin.
 579    =======================================================