doc/guides/rel_notes/release_20_11.rst

   1 .. SPDX-License-Identifier: BSD-3-Clause
   2    Copyright 2020 The DPDK contributors
   3
   4 .. include:: <isonum.txt>
   5
   6 DPDK Release 20.11
   7 ==================
   8
   9 .. **Read this first.**
  10
  11    The text in the sections below explains how to update the release notes.
  12
  13    Use proper spelling, capitalization and punctuation in all sections.
  14
  15    Variable and config names should be quoted as fixed width text:
  16    ``LIKE_THIS``.
  17
  18    Build the docs and view the output file to ensure the changes are correct::
  19
  20       make doc-guides-html
  21       xdg-open build/doc/html/guides/rel_notes/release_20_11.html
  22
  23
  24 New Features
  25 ------------
  26
  27 .. This section should contain new features added in this release.
  28    Sample format:
  29
  30    * **Add a title in the past tense with a full stop.**
  31
  32      Add a short 1-2 sentence description in the past tense.
  33      The description should be enough to allow someone scanning
  34      the release notes to understand the new feature.
  35
  36      If the feature adds a lot of sub-features you can use a bullet list
  37      like this:
  38
  39      * Added feature foo to do something.
  40      * Enhanced feature bar to do something else.
  41
  42      Refer to the previous release notes for examples.
  43
  44      Suggested order in release notes items:
  45      * Core libs (EAL, mempool, ring, mbuf, buses)
  46      * Device abstraction libs and PMDs
  47        - ethdev (lib, PMDs)
  48        - cryptodev (lib, PMDs)
  49        - eventdev (lib, PMDs)
  50        - etc
  51      * Other libs
  52      * Apps, Examples, Tools (if significant)
  53
  54      This section is a comment. Do not overwrite or remove it.
  55      Also, make sure to start the actual text at the margin.
  56      =======================================================
  57
  58 * **Added write combining store APIs.**
  59
  60   Added ``rte_write32_wc`` and ``rte_write32_wc_relaxed`` APIs
  61   that enable write combining stores (depending on architecture).
  62   The functions are provided as a generic stubs and
  63   x86 specific implementation.
  64
  65 * **Added prefetch with intention to write APIs.**
  66
  67   Added new prefetch function variants e.g. ``rte_prefetch0_write``,
  68   which allow the programmer to prefetch a cache line and also indicate
  69   the intention to write.
  70
  71 * **Added the rte_cldemote API.**
  72
  73   Added a hardware hint CLDEMOTE, which is similar to prefetch in reverse.
  74   CLDEMOTE moves the cache line to the more remote cache, where it expects
  75   sharing to be efficient. Moving the cache line to a level more distant from
  76   the processor helps to accelerate core-to-core communication.
  77   This API is specific to x86 and implemented as a stub for other
  78   architectures.
  79
  80 * **Updated CRC modules of the net library.**
  81
  82   * Added runtime selection of the optimal architecture-specific CRC path.
  83   * Added optimized implementations of CRC32-Ethernet and CRC16-CCITT
  84     using the AVX512 and VPCLMULQDQ instruction sets.
  85
  86 * **Added the FEC API, for a generic FEC query and config.**
  87
  88   Added the FEC API which provides functions for query FEC capabilities and
  89   current FEC mode from device. Also, API for configuring FEC mode is also provided.
  90
  91 * **Added thread safety to rte_flow functions.**
  92
  93   Added ``RTE_ETH_DEV_FLOW_OPS_THREAD_SAFE`` device flag to indicate
  94   whether PMD supports thread safe operations. If PMD doesn't set the flag,
  95   rte_flow API level functions will protect the flow operations with mutex.
  96
  97 * **Added flow-based traffic sampling support.**
  98
  99   Added new action: ``RTE_FLOW_ACTION_TYPE_SAMPLE`` to duplicate the matching
 100   packets with specified ratio, and apply with own set of actions with a fate
 101   action. When the ratio is set to 1 then the packets will be 100% mirrored.
 102
 103 * **Added support of shared action in flow API.**
 104
 105   Added shared action support to utilize single flow action in multiple flow
 106   rules. An update of shared action configuration alters the behavior of all
 107   flow rules using it.
 108
 109   * Added new action: ``RTE_FLOW_ACTION_TYPE_SHARED`` to use shared action
 110     as flow action.
 111   * Added new flow APIs to create/update/destroy/query shared action.
 112
 113 * **Updated the ethdev library to support hairpin between two ports.**
 114
 115   New APIs are introduced to support binding / unbinding 2 ports hairpin.
 116   Hairpin Tx part flow rules can be inserted explicitly.
 117
 118 * **Updated Broadcom bnxt driver.**
 119
 120   Updated the Broadcom bnxt driver with new features and improvements, including:
 121
 122   * Added support for 200G PAM4 link speed.
 123   * Added support for RSS hash level selection.
 124   * Updated HWRM structures to 1.10.1.70 version.
 125   * Added TRUFLOW support for Stingray devices.
 126
 127 * **Updated Cisco enic driver.**
 128
 129   * Added support for VF representors with single-queue Tx/Rx and flow API
 130   * Added support for egress PORT_ID action
 131   * Added support for non-zero priorities for group 0 flows
 132   * Added support for VXLAN decap combined with VLAN pop
 133
 134 * **Added hns3 FEC PMD, for supporting query and config FEC mode.**
 135
 136   Added the FEC PMD which provides functions for query FEC capabilities and
 137   current FEC mode from device. Also, PMD for configuring FEC mode is also provided.
 138
 139 * **Updated Solarflare network PMD.**
 140
 141   Updated the Solarflare ``sfc_efx`` driver with changes including:
 142
 143   * Added SR-IOV PF support
 144   * Added Alveo SN1000 SmartNICs (EF100 architecture) support
 145
 146 * **Updated Virtio driver.**
 147
 148   * Added support for Vhost-vDPA backend to Virtio-user PMD.
 149   * Changed default link speed to unknown.
 150   * Added support for 200G link speed.
 151
 152 * **Updated Intel i40e driver.**
 153
 154   Updated the Intel i40e driver to use write combining stores.
 155
 156 * **Updated Intel ixgbe driver.**
 157
 158   Updated the Intel ixgbe driver to use write combining stores.
 159
 160 * **Updated Intel ice driver.**
 161
 162   Updated the Intel ice driver to use write combining stores.
 163
 164 * **Updated Intel qat driver.**
 165
 166   Updated the Intel qat driver to use write combining stores.
 167
 168 * **Updated Memif PMD.**
 169
 170   * Added support for abstract socket address.
 171   * Changed default socket address type to abstract.
 172
 173 * **Added Ice Lake (Gen4) support for Intel NTB.**
 174
 175   Added NTB device support (4th generation) for Intel Ice Lake platform.
 176
 177 * **Added UDP/IPv4 GRO support for VxLAN and non-VxLAN packets.**
 178
 179   For VxLAN packets, added inner UDP/IPv4 support.
 180   For non-VxLAN packets, added UDP/IPv4 support.
 181
 182 * **Extended flow-perf application.**
 183
 184   * Started supporting user order instead of bit mask:
 185     Now the user can create any structure of rte_flow
 186     using flow performance application with any order,
 187     moreover the app also now starts to support inner
 188     items matching as well.
 189   * Added header modify actions.
 190   * Added flag action.
 191   * Added raw encap/decap actions.
 192   * Added VXLAN encap/decap actions.
 193   * Added ICMP(code/type/identifier/sequence number) and ICMP6(code/type) matching items.
 194   * Added option to set port mask for insertion/deletion:
 195     ``--portmask=N``
 196     where N represents the hexadecimal bitmask of ports used.
 197
 198 * **Added raw data-path APIs for cryptodev library.**
 199
 200   Cryptodev is added with raw data-path APIs to accelerate external
 201   libraries or applications which need to avail fast cryptodev
 202   enqueue/dequeue operations but does not necessarily depends on
 203   mbufs and cryptodev operation mempools.
 204
 205 * **Updated the aesni_mb crypto PMD.**
 206
 207   * Added support for AES-ECB 128, 192 and 256.
 208   * Added support for ZUC-EEA3/EIA3 algorithms.
 209   * Added support for SNOW3G-UEA2/UIA2 algorithms.
 210   * Added support for KASUMI-F8/F9 algorithms.
 211   * Added support for Chacha20-Poly1305.
 212   * Added support for AES-256 CCM algorithm.
 213
 214 * **Updated the aesni_gcm crypto PMD.**
 215
 216   * Added SGL support for AES-GMAC.
 217
 218 * **Added Broadcom BCMFS symmetric crypto PMD.**
 219
 220   Added a symmetric crypto PMD for Broadcom FlexSparc crypto units.
 221   See :doc:`../cryptodevs/bcmfs` guide for more details on this new PMD.
 222
 223 * **Updated DPAA2_SEC crypto PMD.**
 224
 225   * Added DES-CBC support for cipher_only, chain and ipsec protocol.
 226   * Added support for non-HMAC auth algorithms
 227     (MD5, SHA1, SHA224, SHA256, SHA384, SHA512).
 228
 229 * **Updated Marvell NITROX symmetric crypto PMD.**
 230
 231   * Added AES-GCM support.
 232   * Added cipher only offload support.
 233
 234 * **Updated the OCTEON TX2 crypto PMD.**
 235
 236   * Updated the OCTEON TX2 crypto PMD lookaside protocol offload for IPsec with
 237     IPv6 support.
 238
 239 * **Updated QAT crypto PMD.**
 240
 241   * Added Raw Data-path APIs support.
 242
 243 * **Added Intel ACC100 bbdev PMD.**
 244
 245   Added a new ``acc100`` bbdev driver for the Intel\ |reg| ACC100 accelerator
 246   also known as Mount Bryce.  See the
 247   :doc:`../bbdevs/acc100` BBDEV guide for more details on this new driver.
 248
 249 * **Updated rte_security library to support SDAP.**
 250
 251   ``rte_security_pdcp_xform`` in ``rte_security`` lib is updated to enable
 252   5G NR processing of SDAP header in PMDs.
 253
 254 * **Added Marvell OCTEON TX2 regex PMD.**
 255
 256   Added a new PMD driver for hardware regex offload block for OCTEON TX2 SoC.
 257
 258   See the :doc:`../regexdevs/octeontx2` for more details.
 259
 260 * **Updated Software Eventdev driver.**
 261
 262   Added performance tuning arguments to allow tuning the scheduler for
 263   better throughtput in high core count use cases.
 264
 265 * **Updated ioat rawdev driver**
 266
 267   The ioat rawdev driver has been updated and enhanced. Changes include:
 268
 269   * Added support for Intel\ |reg| Data Streaming Accelerator hardware.
 270     For more information, see https://01.org/blogs/2019/introducing-intel-data-streaming-accelerator
 271   * Added support for the fill operation via the API ``rte_ioat_enqueue_fill()``,
 272     where the hardware fills an area of memory with a repeating pattern.
 273   * Added a per-device configuration flag to disable management
 274     of user-provided completion handles.
 275   * Renamed the ``rte_ioat_do_copies()`` API to ``rte_ioat_perform_ops()``,
 276     and renamed the ``rte_ioat_completed_copies()`` API to ``rte_ioat_completed_ops()``
 277     to better reflect the APIs' purposes, and remove the implication that
 278     they are limited to copy operations only.
 279     [Note: The old API is still provided but marked as deprecated in the code]
 280   * Added a new API ``rte_ioat_fence()`` to add a fence between operations.
 281     This API replaces the ``fence`` flag parameter in the ``rte_ioat_enqueue_copies()`` function,
 282     and is clearer as there is no ambiguity as to whether the flag should be
 283     set on the last operation before the fence or the first operation after it.
 284
 285 * **Updated the pipeline library for alignment with the P4 language.**
 286
 287   Added new Software Switch (SWX) pipeline type that provides more
 288   flexibility through API and feature alignment with the P4 language.
 289
 290   * The packet headers, meta-data, actions, tables and pipelines are
 291     dynamically defined instead of selected from pre-defined set.
 292   * The actions and the pipeline are defined with instructions.
 293   * Extern objects and functions can be plugged into the pipeline.
 294   * Transaction-oriented table updates.
 295
 296 * **Add new AVX512 specific classify algorithms for ACL library.**
 297
 298   * Added new ``RTE_ACL_CLASSIFY_AVX512X16`` vector implementation,
 299     which can process up to 16 flows in parallel. Requires AVX512 support.
 300
 301   * Added new ``RTE_ACL_CLASSIFY_AVX512X32`` vector implementation,
 302     which can process up to 32 flows in parallel. Requires AVX512 support.
 303
 304 * **Added support to update subport bandwidth dynamically.**
 305
 306    * Added new API ``rte_sched_port_subport_profile_add`` to add new
 307      subport bandwidth profile to subport porfile table at runtime.
 308
 309    * Added support to update subport rate dynamically.
 310
 311 * **Updated FIPS validation sample application.**
 312
 313   * Added scatter gather support.
 314   * Added NIST GCMVS complaint GMAC test method support.
 315
 316
 317 Removed Items
 318 -------------
 319
 320 .. This section should contain removed items in this release. Sample format:
 321
 322    * Add a short 1-2 sentence description of the removed item
 323      in the past tense.
 324
 325    This section is a comment. Do not overwrite or remove it.
 326    Also, make sure to start the actual text at the margin.
 327    =======================================================
 328
 329 * vhost: Dequeue zero-copy support has been removed.
 330
 331 * kernel: The module ``igb_uio`` has been moved to the git repository
 332   ``dpdk-kmods`` in a new directory ``linux/igb_uio``.
 333
 334 * Removed Python 2 support since it was EOL'd in January 2020.
 335
 336 API Changes
 337 -----------
 338
 339 .. This section should contain API changes. Sample format:
 340
 341    * sample: Add a short 1-2 sentence description of the API change
 342      which was announced in the previous releases and made in this release.
 343      Start with a scope label like "ethdev:".
 344      Use fixed width quotes for ``function_names`` or ``struct_names``.
 345      Use the past tense.
 346
 347    This section is a comment. Do not overwrite or remove it.
 348    Also, make sure to start the actual text at the margin.
 349    =======================================================
 350
 351 * build macros: The macros defining ``RTE_MACHINE_CPUFLAG_*`` are removed.
 352   The information provided by these macros is available through standard
 353   compiler macros.
 354
 355 * eal: The ``rte_logs`` struct and global symbol was made private
 356   and is no longer part of the API.
 357
 358 * eal: Made the ``rte_dev_event`` structure private to the EAL as no public API
 359   used it.
 360
 361 * eal: ``rte_cio_rmb()`` and ``rte_cio_wmb()`` were deprecated since 20.08
 362   and are removed in this release.
 363
 364 * mem: Removed the unioned field ``phys_addr`` from
 365   the structures ``rte_memseg`` and ``rte_memzone``.
 366   The field ``iova`` is remaining from the old unions.
 367
 368 * mempool: Removed the unioned fields ``phys_addr`` and ``physaddr`` from
 369   the structures ``rte_mempool_memhdr`` and ``rte_mempool_objhdr``.
 370   The field ``iova`` is remaining from the old unions.
 371   The flag name ``MEMPOOL_F_NO_PHYS_CONTIG`` is removed,
 372   while the aliased flag ``MEMPOOL_F_NO_IOVA_CONTIG`` is kept.
 373
 374 * mbuf: Removed the functions ``rte_mbuf_data_dma_addr*``
 375   and the macros ``rte_pktmbuf_mtophys*``.
 376   The same functionality is still available with the functions and macros
 377   having ``iova`` in their names instead of ``dma_addr`` or ``mtophys``.
 378
 379 * mbuf: Removed the unioned field ``buf_physaddr`` from ``rte_mbuf``.
 380   The field ``buf_iova`` is remaining from the old union.
 381
 382 * mbuf: Removed the unioned field ``refcnt_atomic`` from
 383   the structures ``rte_mbuf`` and ``rte_mbuf_ext_shared_info``.
 384   The field ``refcnt`` is remaining from the old unions.
 385
 386 * pci: Removed the ``rte_kernel_driver`` enum defined in rte_dev.h and
 387   replaced with a private enum in the PCI subsystem.
 388
 389 * pci: Removed the PCI resources map API from the public API
 390   (``pci_map_resource`` and ``pci_unmap_resource``) and moved it to the
 391   PCI bus driver along with the PCI resources lists and associated structures
 392   (``pci_map``, ``pci_msix_table``, ``mapped_pci_resource`` and
 393   ``mapped_pci_res_list``).
 394
 395 * ethdev: Removed the ``kdrv`` field in the ethdev ``rte_eth_dev_data``
 396   structure as it gave no useful abstracted information to the applications.
 397
 398 * ethdev: ``rte_eth_rx_descriptor_done()`` API has been deprecated.
 399
 400 * ethdev: Renamed basic statistics per queue. An underscore is inserted
 401   between the queue number and the rest of the xstat name:
 402
 403   * ``rx_qN*`` -> ``rx_qN_*``
 404   * ``tx_qN*`` -> ``tx_qN_*``
 405
 406 * ethdev: Added capability to query age flow action.
 407
 408 * ethdev: Renamed internal functions:
 409
 410   * ``_rte_eth_dev_callback_process()`` -> ``rte_eth_dev_callback_process()``
 411   * ``_rte_eth_dev_reset`` -> ``rte_eth_dev_internal_reset()``
 412
 413 * ethdev: Modified field type of ``base`` and ``nb_queue`` in struct
 414   ``rte_eth_dcb_tc_queue_mapping`` from ``uint8_t`` to ``uint16_t``.
 415   As the data of ``uint8_t`` will be truncated when queue number under
 416   a TC is greater than 256.
 417
 418 * vhost: Moved vDPA APIs from experimental to stable.
 419
 420 * vhost: Add a new function ``rte_vhost_crypto_driver_start`` to be called
 421   instead of ``rte_vhost_driver_start`` by crypto applications.
 422
 423 * cryptodev: The structure ``rte_crypto_sym_vec`` is updated to support both
 424   cpu_crypto synchrounous operation and asynchronous raw data-path APIs.
 425
 426 * cryptodev: ``RTE_CRYPTO_AEAD_LIST_END`` from ``enum rte_crypto_aead_algorithm``,
 427   ``RTE_CRYPTO_CIPHER_LIST_END`` from ``enum rte_crypto_cipher_algorithm`` and
 428   ``RTE_CRYPTO_AUTH_LIST_END`` from ``enum rte_crypto_auth_algorithm``
 429   are removed to avoid future ABI breakage while adding new algorithms.
 430
 431 * scheduler: Renamed functions ``rte_cryptodev_scheduler_slave_attach``,
 432   ``rte_cryptodev_scheduler_slave_detach`` and
 433   ``rte_cryptodev_scheduler_slaves_get`` to
 434   ``rte_cryptodev_scheduler_worker_attach``,
 435   ``rte_cryptodev_scheduler_worker_detach`` and
 436   ``rte_cryptodev_scheduler_workers_get`` accordingly.
 437
 438 * scheduler: Renamed the configuration value
 439   ``RTE_CRYPTODEV_SCHEDULER_MAX_NB_SLAVES`` to
 440   ``RTE_CRYPTODEV_SCHEDULER_MAX_NB_WORKERS``.
 441
 442 * security: ``hfn_ovrd`` field in ``rte_security_pdcp_xform`` is changed from
 443   ``uint32_t`` to ``uint8_t`` so that a new field ``sdap_enabled`` can be added
 444   to support SDAP.
 445
 446 * ipsec: ``RTE_SATP_LOG2_NUM`` has been dropped from ``enum`` and
 447   subsequently moved ``rte_ipsec`` lib from experimental to stable.
 448
 449 * baseband/fpga_lte_fec: Renamed function ``fpga_lte_fec_configure`` to
 450   ``rte_fpga_lte_fec_configure`` and structure ``fpga_lte_fec_conf`` to
 451   ``rte_fpga_lte_fec_conf``.
 452
 453 * baseband/fpga_5gnr_fec: Renamed function ``fpga_5gnr_fec_configure`` to
 454   ``rte_fpga_5gnr_fec_configure`` and structure ``fpga_5gnr_fec_conf`` to
 455   ``rte_fpga_5gnr_fec_conf``.
 456
 457 * rawdev: Added a structure size parameter to the functions
 458   ``rte_rawdev_queue_setup()``, ``rte_rawdev_queue_conf_get()``,
 459   ``rte_rawdev_info_get()`` and ``rte_rawdev_configure()``,
 460   allowing limited driver type-checking and ABI compatibility.
 461
 462 * rawdev: Changed the return type of the function ``rte_dev_info_get()``
 463   and the function ``rte_rawdev_queue_conf_get()``
 464   from ``void`` to ``int`` allowing the return of error codes from drivers.
 465
 466 * rawdev: The running of a drivers ``selftest()`` function can now be done
 467   using the ``rawdev_autotest`` command in the ``dpdk-test`` binary. This
 468   command now calls the self-test function for each rawdev found on the
 469   system, and does not require a specific command per device type.
 470   Following this change, the ``ioat_rawdev_autotest`` command has been
 471   removed as no longer needed.
 472
 473 * raw/ioat: As noted above, the ``rte_ioat_do_copies()`` and
 474   ``rte_ioat_completed_copies()`` functions have been renamed to
 475   ``rte_ioat_perform_ops()`` and ``rte_ioat_completed_ops()`` respectively.
 476
 477 * stack: the experimental tag has been dropped from the stack library, and its
 478   interfaces are considered stable as of DPDK 20.11.
 479
 480 * bpf: ``RTE_BPF_XTYPE_NUM`` has been dropped from ``rte_bpf_xtype``.
 481
 482 * acl: ``RTE_ACL_CLASSIFY_NUM`` enum value has been removed.
 483   This enum value was not used inside DPDK, while it prevented to add new
 484   classify algorithms without causing an ABI breakage.
 485
 486 * sched: Added ``subport_profile_id`` as argument
 487   to function ``rte_sched_subport_config``.
 488
 489 * sched: Removed ``tb_rate``, ``tc_rate``, ``tc_period`` and ``tb_size``
 490   from ``struct rte_sched_subport_params``.
 491
 492
 493 ABI Changes
 494 -----------
 495
 496 .. This section should contain ABI changes. Sample format:
 497
 498    * sample: Add a short 1-2 sentence description of the ABI change
 499      which was announced in the previous releases and made in this release.
 500      Start with a scope label like "ethdev:".
 501      Use fixed width quotes for ``function_names`` or ``struct_names``.
 502      Use the past tense.
 503
 504    This section is a comment. Do not overwrite or remove it.
 505    Also, make sure to start the actual text at the margin.
 506    =======================================================
 507
 508 * eal: Removed the not implemented function ``rte_dump_registers()``.
 509
 510 * ``ethdev`` changes
 511
 512   * Following device operation function pointers moved
 513     from ``struct eth_dev_ops`` to ``struct rte_eth_dev``:
 514
 515     * ``eth_rx_queue_count_t       rx_queue_count;``
 516     * ``eth_rx_descriptor_done_t   rx_descriptor_done;``
 517     * ``eth_rx_descriptor_status_t rx_descriptor_status;``
 518     * ``eth_tx_descriptor_status_t tx_descriptor_status;``
 519
 520   * ``struct eth_dev_ops`` is no more accessible by applications,
 521     which was already internal data structure.
 522
 523   * ``ethdev`` internal functions are marked with ``__rte_internal`` tag.
 524
 525   * Added extensions' attributes to struct ``rte_flow_item_ipv6``.
 526     A set of additional values added to struct, indicating the existence of
 527     every defined extension header type.
 528     Applications should use the new values for identification of existing
 529     extensions in the packet header.
 530
 531   * ``struct rte_eth_hairpin_conf`` has two new members:
 532
 533     * ``uint32_t tx_explicit:1;``
 534     * ``uint32_t manual_bind:1;``
 535
 536 * eventdev: Following structures are modified to support DLB/DLB2 PMDs
 537   and future extensions:
 538
 539   * ``rte_event_dev_info``
 540   * ``rte_event_dev_config``
 541   * ``rte_event_port_conf``
 542
 543 * sched: Added new fields to ``struct rte_sched_subport_port_params``.
 544
 545
 546 Known Issues
 547 ------------
 548
 549 .. This section should contain new known issues in this release. Sample format:
 550
 551    * **Add title in present tense with full stop.**
 552
 553      Add a short 1-2 sentence description of the known issue
 554      in the present tense. Add information on any known workarounds.
 555
 556    This section is a comment. Do not overwrite or remove it.
 557    Also, make sure to start the actual text at the margin.
 558    =======================================================
 559
 560
 561 Tested Platforms
 562 ----------------
 563
 564 .. This section should contain a list of platforms that were tested
 565    with this release.
 566
 567    The format is:
 568
 569    * <vendor> platform with <vendor> <type of devices> combinations
 570
 571      * List of CPU
 572      * List of OS
 573      * List of devices
 574      * Other relevant details...
 575
 576    This section is a comment. Do not overwrite or remove it.
 577    Also, make sure to start the actual text at the margin.
 578    =======================================================