doc/guides/rel_notes/release_19_11.rst

   1 ..  SPDX-License-Identifier: BSD-3-Clause
   2     Copyright 2019 The DPDK contributors
   3
   4 .. include:: <isonum.txt>
   5
   6 DPDK Release 19.11
   7 ==================
   8
   9 .. **Read this first.**
  10
  11    The text in the sections below explains how to update the release notes.
  12
  13    Use proper spelling, capitalization and punctuation in all sections.
  14
  15    Variable and config names should be quoted as fixed width text:
  16    ``LIKE_THIS``.
  17
  18    Build the docs and view the output file to ensure the changes are correct::
  19
  20       make doc-guides-html
  21
  22       xdg-open build/doc/html/guides/rel_notes/release_19_11.html
  23
  24
  25 New Features
  26 ------------
  27
  28 .. This section should contain new features added in this release.
  29    Sample format:
  30
  31    * **Add a title in the past tense with a full stop.**
  32
  33      Add a short 1-2 sentence description in the past tense.
  34      The description should be enough to allow someone scanning
  35      the release notes to understand the new feature.
  36
  37      If the feature adds a lot of sub-features you can use a bullet list
  38      like this:
  39
  40      * Added feature foo to do something.
  41      * Enhanced feature bar to do something else.
  42
  43      Refer to the previous release notes for examples.
  44
  45      Suggested order in release notes items:
  46      * Core libs (EAL, mempool, ring, mbuf, buses)
  47      * Device abstraction libs and PMDs
  48        - ethdev (lib, PMDs)
  49        - cryptodev (lib, PMDs)
  50        - eventdev (lib, PMDs)
  51        - etc
  52      * Other libs
  53      * Apps, Examples, Tools (if significant)
  54
  55      This section is a comment. Do not overwrite or remove it.
  56      Also, make sure to start the actual text at the margin.
  57      =========================================================
  58
  59 * **FreeBSD now supports `--base-virtaddr` EAL option.**
  60
  61   FreeBSD version now also supports setting base virtual address for mapping
  62   pages and resources into its address space.
  63
  64 * **Added Lock-free Stack for aarch64.**
  65
  66   The lock-free stack implementation is enabled for aarch64 platforms.
  67
  68 * **Extended pktmbuf mempool private structure.**
  69
  70   rte_pktmbuf_pool_private structure was extended to include flags field
  71   for future compatibility.
  72   As per 19.11 release this field is reserved and should be set to 0
  73   by the user.
  74
  75 * **Changed mempool allocation behaviour.**
  76
  77   Objects are no longer across pages by default.
  78   It may consume more memory when using small memory pages.
  79
  80 * **Added support of dynamic fields and flags in mbuf.**
  81
  82   This new feature adds the ability to dynamically register some room
  83   for a field or a flag in the mbuf structure. This is typically used
  84   for specific offload features, where adding a static field or flag
  85   in the mbuf is not justified.
  86
  87 * **Added hairpin queue.**
  88
  89   On supported NICs, we can now setup haipin queue which will offload packets
  90   from the wire, backto the wire.
  91
  92 * **Added flow tag in rte_flow.**
  93
  94   SET_TAG action and TAG item have been added to support transient flow tag.
  95
  96 * **Extended metadata support in rte_flow.**
  97
  98   Flow metadata is extended to both Rx and Tx.
  99
 100   * Tx metadata can also be set by SET_META action of rte_flow.
 101   * Rx metadata is delivered to host via a dynamic field of ``rte_mbuf`` with
 102     PKT_RX_DYNF_METADATA.
 103
 104 * **Added ethdev API to set supported packet types**
 105
 106   * Added new API ``rte_eth_dev_set_ptypes`` that allows an application to
 107     inform PMD about reduced range of packet types to handle.
 108   * This scheme will allow PMDs to avoid lookup to internal ptype table on Rx
 109     and thereby improve Rx performance if application wishes do so.
 110
 111 * **Added Rx offload flag to enable or disable RSS update**
 112
 113   * Added new Rx offload flag `DEV_RX_OFFLOAD_RSS_HASH` which can be used to
 114     enable/disable PMDs write to `rte_mbuf::hash::rss`.
 115   * PMDs notify the validity of `rte_mbuf::hash:rss` to the application
 116     by enabling `PKT_RX_RSS_HASH ` flag in `rte_mbuf::ol_flags`.
 117
 118 * **Updated the enic driver.**
 119
 120   * Added support for Geneve with options offload.
 121   * Added flow API implementation based on VIC Flow Manager API.
 122
 123 * **Added Hisilicon hns3 PMD.**
 124
 125   Added the new ``hns3`` net driver for the inbuilt Hisilicon Network
 126   Subsystem 3(HNS3) network engine found in the Hisilicon Kunpeng 920 SoC.
 127   See the :doc:`../nics/hns3` guide for more details on this new driver.
 128
 129 * **Added NXP PFE PMD.**
 130
 131   Added the new PFE driver for the NXP LS1012A platform. See the
 132   :doc:`../nics/pfe` NIC driver guide for more details on this new driver.
 133
 134 * **Updated Broadcom bnxt driver.**
 135
 136   Updated Broadcom bnxt driver with new features and improvements, including:
 137
 138   * Added support for hot firmware upgrade.
 139   * Added support for error recovery.
 140   * Added support for querying and using COS classification in hardware.
 141   * Added LRO support Thor devices.
 142   * Update HWRM API to version 1.10.1.6
 143
 144 * **Updated iavf PMD.**
 145
 146   Enable AVX2 data path for iavf PMD.
 147
 148 * **Updated the Intel e1000 driver.**
 149
 150   Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
 151
 152 * **Updated the Intel ixgbe driver.**
 153
 154   Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
 155
 156 * **Updated the Intel i40e driver.**
 157
 158   Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
 159
 160 * **Updated the Intel fm10k driver.**
 161
 162   Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
 163
 164 * **Added RX/TX packet burst mode get API.**
 165
 166   Added two new functions ``rte_eth_rx_burst_mode_get`` and
 167   ``rte_eth_tx_burst_mode_get`` that allow an application
 168   to retrieve the mode information about RX/TX packet burst
 169   such as Scalar or Vector, and Vector technology like AVX2.
 170
 171 * **Updated the Intel ice driver.**
 172
 173   Updated the Intel ice driver with new features and improvements, including:
 174
 175   * Added support for device-specific DDP package loading.
 176   * Added support for handling Receive Flex Descriptor.
 177   * Added support for protocol extraction on per Rx queue.
 178   * Added support for Flow Director filter based on generic filter framework.
 179   * Added support for the ``RTE_ETH_DEV_CLOSE_REMOVE`` flag.
 180   * Generic filter enhancement
 181     - Supported pipeline mode.
 182     - Supported new packet type like PPPoE for switch filter.
 183   * Supported input set change and symmetric hash by rte_flow RSS action.
 184   * Added support for GTP Tx checksum offload.
 185   * Added new device IDs to support E810_XXV devices.
 186
 187 * **Added cryptodev asymmetric session-less operation.**
 188
 189   Added session-less option to cryptodev asymmetric structure. It works the same
 190   way as symmetric crypto, corresponding xform is used directly by the crypto op.
 191
 192 * **Updated the Huawei hinic driver.**
 193
 194   Updated the Huawei hinic driver with new features and improvements, including:
 195
 196   * Enabled SR-IOV - Partially supported at this point, VFIO only.
 197   * Supported VLAN filter and VLAN offload.
 198   * Supported Unicast MAC filter and Multicast MAC filter.
 199   * Supported Flow API for LACP, VRRP, BGP and so on.
 200   * Supported FW version get.
 201
 202 * **Updated Mellanox mlx5 driver.**
 203
 204   Updated Mellanox mlx5 driver with new features and improvements, including:
 205
 206   * Added support for VLAN pop flow offload command.
 207   * Added support for VLAN push flow offload command.
 208   * Added support for VLAN set PCP offload command.
 209   * Added support for VLAN set VID offload command.
 210   * Added support for matching on packets withe Geneve tunnel header.
 211   * Added hairpin support.
 212   * Added ConnectX6-DX support.
 213
 214 * **Updated the AF_XDP PMD.**
 215
 216   Updated the AF_XDP PMD. The new features include:
 217
 218   * Enabled zero copy between application mempools and UMEM by enabling the
 219     XDP_UMEM_UNALIGNED_CHUNKS UMEM flag.
 220
 221 * **Added Marvell NITROX symmetric crypto PMD.**
 222
 223   Added a symmetric crypto PMD for Marvell NITROX V security processor.
 224   See the :doc:`../cryptodevs/nitrox` guide for more details on this new
 225
 226 * **Added asymmetric support to Marvell OCTEON TX crypto PMD.**
 227
 228   Added support for asymmetric operations in Marvell OCTEON TX cypto PMD.
 229   Supports RSA and modexp operations.
 230
 231 * **Added Marvell OCTEON TX2 crypto PMD**
 232
 233   Added a new PMD driver for h/w crypto offload block on ``OCTEON TX2`` SoC.
 234
 235   See :doc:`../cryptodevs/octeontx2` for more details
 236
 237 * **Updated NXP crypto PMDs for PDCP support.**
 238
 239   PDCP support is added to DPAA_SEC and DPAA2_SEC PMDs using rte_security APIs.
 240   Support is added for all sequence number sizes for control and user plane.
 241   Test and test-crypto-perf applications are updated for unit testing.
 242
 243 * **Updated the AESNI-MB PMD.**
 244
 245   * Added support for intel-ipsec-mb version 0.53.
 246
 247 * **Updated the AESNI-GCM PMD.**
 248
 249   * Added support for intel-ipsec-mb version 0.53.
 250   * Supported in-place chained mbufs on AES-GCM algorithm.
 251
 252 * **Enabled Single Pass GCM acceleration on QAT GEN3.**
 253
 254   Added support for Single Pass GCM, available on QAT GEN3 only (Intel
 255   QuickAssist Technology C4xxx). It is automatically chosen instead of the
 256   classic 2-pass mode when running on QAT GEN3, significantly improving
 257   the performance of AES GCM operations.
 258
 259 * **Updated the Intel QuickAssist Technology (QAT) asymmetric crypto PMD.**
 260
 261   * Added support for asymmetric session-less operations.
 262   * Added support for RSA algorithm with pair (n, d) private key representation.
 263   * Added support for RSA algorithm with quintuple private key representation.
 264
 265 * **Updated the Intel QuickAssist Technology (QAT) compression PMD.**
 266
 267   Added stateful decompression support in the Intel QuickAssist Technology PMD.
 268   Please note that stateful compression is not supported.
 269
 270 * **Added external buffers support for dpdk-test-compress-perf tool.**
 271
 272   Added a command line option to dpdk-test-compress-perf tool to allocate
 273   and use memory zones as external buffers instead of keeping the data directly
 274   in mbuf areas.
 275
 276 * **Updated the IPSec library.**
 277
 278   * Added SA Database API to ``librte_ipsec``. A new test-sad application is also
 279     introduced to evaluate and perform custom functional and performance tests
 280     for IPsec SAD implementation.
 281
 282   * Support fragmented packets in inline crypto processing mode with fallback
 283     ``lookaside-none`` session. Corresponding changes are also added in IPsec
 284     Security Gateway application.
 285
 286 * **Introduced FIFO for NTB PMD.**
 287
 288   Introduced FIFO for NTB (Non-transparent Bridge) PMD to support
 289   packet based processing.
 290
 291 * **Added eBPF JIT support for arm64.**
 292
 293   Added eBPF JIT support for arm64 architecture to improve the eBPF program
 294   performance.
 295
 296 * **Added RIB and FIB (Routing/Forwarding Information Base) libraries.**
 297
 298   RIB and FIB can replace the LPM (Longest Prefix Match) library
 299   with better control plane (RIB) performance.
 300   The data plane (FIB) can be extended with new algorithms.
 301
 302 * **Updated testpmd.**
 303
 304   * Added a console command to testpmd app, ``show port (port_id) ptypes`` which
 305     gives ability to print port supported ptypes in different protocol layers.
 306   * Packet type detection disabled by default for the supported PMDs.
 307
 308 * **Added new example l2fwd-event application.**
 309
 310   Added an example application `l2fwd-event` that adds event device support to
 311   traditional l2fwd example. It demonstrates usage of poll and event mode IO
 312   mechanism under a single application.
 313
 314 * **Added build support for Link Time Optimization.**
 315
 316   LTO is an optimization technique used by the compiler to perform whole
 317   program analysis and optimization at link time.  In order to do that
 318   compilers store their internal representation of the source code that
 319   the linker uses at the final stage of compilation process.
 320
 321   See :doc:`../prog_guide/lto` for more information:
 322
 323 * **Added IOVA as VA support for KNI.**
 324
 325   * Added IOVA = VA support for KNI, KNI can operate in IOVA = VA mode when
 326     `iova-mode=va` EAL option is passed to the application or when bus IOVA
 327     scheme is selected as RTE_IOVA_VA. This mode only works on Linux Kernel
 328     versions above 4.9.0.
 329
 330   * Due to IOVA to KVA address translations, based on the KNI use case there
 331     can be a performance impact. For mitigation, forcing IOVA to PA via EAL
 332     "--iova-mode=pa" option can be used, IOVA_DC bus iommu scheme can also
 333     result in IOVA as PA.
 334
 335
 336 Removed Items
 337 -------------
 338
 339 .. This section should contain removed items in this release. Sample format:
 340
 341    * Add a short 1-2 sentence description of the removed item
 342      in the past tense.
 343
 344    This section is a comment. Do not overwrite or remove it.
 345    Also, make sure to start the actual text at the margin.
 346    =========================================================
 347
 348 * Removed duplicated set of commands for Rx offload configuration from testpmd::
 349
 350     port config all crc-strip|scatter|rx-cksum|rx-timestamp|
 351                     hw-vlan|hw-vlan-filter|hw-vlan-strip|hw-vlan-extend on|off
 352
 353   The testpmd commands set that can be used instead
 354   in order to enable or disable Rx offloading on all Rx queues of a port is::
 355
 356     port config <port_id> rx_offload crc_strip|scatter|
 357                                      ipv4_cksum|udp_cksum|tcp_cksum|timestamp|
 358                                      vlan_strip|vlan_filter|vlan_extend on|off
 359
 360 * Removed AF_XDP pmd_zero copy vdev argument. Support is now auto-detected.
 361
 362 * The following sample applications have been removed in this release:
 363
 364   * Exception Path
 365   * L3 Forwarding in a Virtualization Environment
 366   * Load Balancer
 367   * Netmap Compatibility
 368   * Quota and Watermark
 369   * vhost-scsi
 370
 371 * Removed arm64-dpaa2-* build config. arm64-dpaa-* can now build for both
 372   dpaa and dpaa2 platforms.
 373
 374
 375 API Changes
 376 -----------
 377
 378 .. This section should contain API changes. Sample format:
 379
 380    * sample: Add a short 1-2 sentence description of the API change
 381      which was announced in the previous releases and made in this release.
 382      Start with a scope label like "ethdev:".
 383      Use fixed width quotes for ``function_names`` or ``struct_names``.
 384      Use the past tense.
 385
 386    This section is a comment. Do not overwrite or remove it.
 387    Also, make sure to start the actual text at the margin.
 388    =========================================================
 389
 390 * eal: made the ``lcore_config`` struct and global symbol private.
 391
 392 * eal: removed the ``rte_cpu_check_supported`` function, replaced by
 393   ``rte_cpu_is_supported`` since dpdk v17.08.
 394
 395 * eal: removed the ``rte_malloc_virt2phy`` function, replaced by
 396   ``rte_malloc_virt2iova`` since v17.11.
 397
 398 * eal: made the ``rte_config`` struct and ``rte_eal_get_configuration``
 399   function private.
 400
 401 * mem: hid the internal ``malloc_heap`` structure and the
 402   ``rte_malloc_heap.h`` header.
 403
 404 * vfio: removed ``rte_vfio_dma_map`` and ``rte_vfio_dma_unmap`` that have
 405   been marked as deprecated in release 19.05.
 406   ``rte_vfio_container_dma_map`` and ``rte_vfio_container_dma_unmap`` can
 407   be used as substitutes.
 408
 409 * pci: removed the following functions deprecated since dpdk v17.11:
 410
 411   - ``eal_parse_pci_BDF`` replaced by ``rte_pci_addr_parse``
 412   - ``eal_parse_pci_DomBDF`` replaced by ``rte_pci_addr_parse``
 413   - ``rte_eal_compare_pci_addr`` replaced by ``rte_pci_addr_cmp``
 414
 415 * The network structure ``esp_tail`` has been prefixed by ``rte_``.
 416
 417 * The network definitions of PPPoE ethertypes have been prefixed by ``RTE_``.
 418
 419 * The network structure for MPLS has been prefixed by ``rte_``.
 420
 421 * ethdev: changed ``rte_eth_dev_infos_get`` return value from ``void`` to
 422   ``int`` to provide a way to report various error conditions.
 423
 424 * ethdev: changed ``rte_eth_promiscuous_enable`` and
 425   ``rte_eth_promiscuous_disable`` return value from ``void`` to ``int`` to
 426   provide a way to report various error conditions.
 427
 428 * ethdev: changed ``rte_eth_allmulticast_enable`` and
 429   ``rte_eth_allmulticast_disable`` return value from ``void`` to ``int`` to
 430   provide a way to report various error conditions.
 431
 432 * ethdev: changed ``rte_eth_dev_xstats_reset`` return value from ``void`` to
 433   ``int`` to provide a way to report various error conditions.
 434
 435 * ethdev: changed ``rte_eth_link_get`` and ``rte_eth_link_get_nowait``
 436   return value from ``void`` to ``int`` to provide a way to report various
 437   error conditions.
 438
 439 * ethdev: changed ``rte_eth_macaddr_get`` return value from ``void`` to
 440   ``int`` to provide a way to report various error conditions.
 441
 442 * ethdev: changed ``rte_eth_dev_owner_delete`` return value from ``void`` to
 443   ``int`` to provide a way to report various error conditions.
 444
 445 * ethdev: The deprecated function ``rte_eth_dev_count`` was removed.
 446   The function ``rte_eth_dev_count_avail`` is a drop-in replacement.
 447   If the intent is to iterate over ports, ``RTE_ETH_FOREACH_*`` macros
 448   are better port iterators.
 449
 450 * ethdev: RTE_FLOW_ITEM_TYPE_META data endianness altered to host one.
 451   Due to the new dynamic metadata field in mbuf is host-endian either, there
 452   is the minor compatibility issue for applications in case of 32-bit values
 453   supported.
 454
 455 * ethdev: the tx_metadata mbuf field is moved to dymanic one.
 456   PKT_TX_METADATA flag is replaced with PKT_TX_DYNF_METADATA.
 457   DEV_TX_OFFLOAD_MATCH_METADATA offload flag is removed, now metadata
 458   support in PMD is engaged on dynamic field registration.
 459
 460 * event: The function ``rte_event_eth_tx_adapter_enqueue`` takes an additional
 461   input as ``flags``. Flag ``RTE_EVENT_ETH_TX_ADAPTER_ENQUEUE_SAME_DEST`` which
 462   has been introduced in this release is used when used when all the packets
 463   enqueued in the tx adapter are destined for the same Ethernet port & Tx queue.
 464
 465 * sched: The pipe nodes configuration parameters such as number of pipes,
 466   pipe queue sizes, pipe profiles, etc., are moved from port level structure
 467   to subport level. This allows different subports of the same port to
 468   have different configuration for the pipe nodes.
 469
 470
 471 ABI Changes
 472 -----------
 473
 474 .. This section should contain ABI changes. Sample format:
 475
 476    * sample: Add a short 1-2 sentence description of the ABI change
 477      which was announced in the previous releases and made in this release.
 478      Start with a scope label like "ethdev:".
 479      Use fixed width quotes for ``function_names`` or ``struct_names``.
 480      Use the past tense.
 481
 482    This section is a comment. Do not overwrite or remove it.
 483    Also, make sure to start the actual text at the margin.
 484    =========================================================
 485
 486 * net: The Ethernet address and other header definitions have changed
 487   attributes. They have been modified to be aligned on 2-byte boundaries.
 488   These changes should not impact normal usage because drivers naturally
 489   align the Ethernet header on receive and all known encapsulations
 490   preserve the alignment of the header.
 491
 492 * security: The field ``replay_win_sz`` has been moved from ipsec library
 493   based ``rte_ipsec_sa_prm`` structure to security library based structure
 494   ``rte_security_ipsec_xform``, which specify the Anti replay window size
 495   to enable sequence replay attack handling.
 496
 497 * ipsec: The field ``replay_win_sz`` has been removed from the structure
 498   ``rte_ipsec_sa_prm`` as it has been added to the security library.
 499
 500 * ethdev: Added 32-bit fields for maximum LRO aggregated packet size, in
 501   struct ``rte_eth_dev_info`` for the port capability and in struct
 502   ``rte_eth_rxmode`` for the port configuration.
 503   Application should use the new field in struct ``rte_eth_rxmode`` to configure
 504   the requested size.
 505   PMD should use the new field in struct ``rte_eth_dev_info`` to report the
 506   supported port capability.
 507
 508
 509 Shared Library Versions
 510 -----------------------
 511
 512 .. Update any library version updated in this release
 513    and prepend with a ``+`` sign, like this:
 514
 515      libfoo.so.1
 516    + libupdated.so.2
 517      libbar.so.1
 518
 519    This section is a comment. Do not overwrite or remove it.
 520    =========================================================
 521
 522 The libraries prepended with a plus sign were incremented in this version.
 523
 524 .. code-block:: diff
 525
 526      librte_acl.so.2
 527      librte_bbdev.so.1
 528      librte_bitratestats.so.2
 529      librte_bpf.so.1
 530      librte_bus_dpaa.so.2
 531      librte_bus_fslmc.so.2
 532      librte_bus_ifpga.so.2
 533      librte_bus_pci.so.2
 534      librte_bus_vdev.so.2
 535      librte_bus_vmbus.so.2
 536      librte_cfgfile.so.2
 537      librte_cmdline.so.2
 538      librte_compressdev.so.1
 539      librte_cryptodev.so.8
 540      librte_distributor.so.1
 541    + librte_eal.so.12
 542      librte_efd.so.1
 543    + librte_ethdev.so.13
 544    + librte_eventdev.so.8
 545    + librte_fib.so.1
 546      librte_flow_classify.so.1
 547      librte_gro.so.1
 548      librte_gso.so.1
 549      librte_hash.so.2
 550      librte_ip_frag.so.1
 551    + librte_ipsec.so.2
 552      librte_jobstats.so.1
 553      librte_kni.so.2
 554      librte_kvargs.so.1
 555      librte_latencystats.so.1
 556      librte_lpm.so.2
 557      librte_mbuf.so.5
 558      librte_member.so.1
 559      librte_mempool.so.5
 560      librte_meter.so.3
 561      librte_metrics.so.1
 562      librte_net.so.1
 563    + librte_pci.so.2
 564      librte_pdump.so.3
 565      librte_pipeline.so.3
 566      librte_pmd_bnxt.so.2
 567      librte_pmd_bond.so.2
 568      librte_pmd_i40e.so.2
 569      librte_pmd_ixgbe.so.2
 570      librte_pmd_dpaa2_qdma.so.1
 571      librte_pmd_ring.so.2
 572      librte_pmd_softnic.so.1
 573      librte_pmd_vhost.so.2
 574      librte_port.so.3
 575      librte_power.so.1
 576      librte_rawdev.so.1
 577    + librte_rib.so.1
 578      librte_rcu.so.1
 579      librte_reorder.so.1
 580      librte_ring.so.2
 581    + librte_sched.so.4
 582    + librte_security.so.3
 583      librte_stack.so.1
 584      librte_table.so.3
 585      librte_timer.so.1
 586      librte_vhost.so.4
 587
 588
 589 Known Issues
 590 ------------
 591
 592 .. This section should contain new known issues in this release. Sample format:
 593
 594    * **Add title in present tense with full stop.**
 595
 596      Add a short 1-2 sentence description of the known issue
 597      in the present tense. Add information on any known workarounds.
 598
 599    This section is a comment. Do not overwrite or remove it.
 600    Also, make sure to start the actual text at the margin.
 601    =========================================================
 602
 603
 604 Tested Platforms
 605 ----------------
 606
 607 .. This section should contain a list of platforms that were tested
 608    with this release.
 609
 610    The format is:
 611
 612    * <vendor> platform with <vendor> <type of devices> combinations
 613
 614      * List of CPU
 615      * List of OS
 616      * List of devices
 617      * Other relevant details...
 618
 619    This section is a comment. Do not overwrite or remove it.
 620    Also, make sure to start the actual text at the margin.
 621    =========================================================
 622