trace: add memory tracepoints
[dpdk.git] / lib / librte_eal / common / eal_private.h
index 072e672..ecf8279 100644 (file)
@@ -1,41 +1,71 @@
-/*-
- *   BSD LICENSE
- *
- *   Copyright(c) 2010-2014 Intel Corporation. All rights reserved.
- *   All rights reserved.
- *
- *   Redistribution and use in source and binary forms, with or without
- *   modification, are permitted provided that the following conditions
- *   are met:
- *
- *     * Redistributions of source code must retain the above copyright
- *       notice, this list of conditions and the following disclaimer.
- *     * Redistributions in binary form must reproduce the above copyright
- *       notice, this list of conditions and the following disclaimer in
- *       the documentation and/or other materials provided with the
- *       distribution.
- *     * Neither the name of Intel Corporation nor the names of its
- *       contributors may be used to endorse or promote products derived
- *       from this software without specific prior written permission.
- *
- *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
- *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
- *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
- *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
- *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
- *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
- *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
- *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
- *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
- *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
- *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
+/* SPDX-License-Identifier: BSD-3-Clause
+ * Copyright(c) 2010-2018 Intel Corporation
  */
 
 #ifndef _EAL_PRIVATE_H_
 #define _EAL_PRIVATE_H_
 
+#include <stdbool.h>
+#include <stdint.h>
 #include <stdio.h>
-#include <rte_pci.h>
+
+#include <rte_dev.h>
+#include <rte_lcore.h>
+
+/**
+ * Structure storing internal configuration (per-lcore)
+ */
+struct lcore_config {
+       pthread_t thread_id;       /**< pthread identifier */
+       int pipe_master2slave[2];  /**< communication pipe with master */
+       int pipe_slave2master[2];  /**< communication pipe with master */
+
+       lcore_function_t * volatile f; /**< function to call */
+       void * volatile arg;       /**< argument of function */
+       volatile int ret;          /**< return value of function */
+
+       volatile enum rte_lcore_state_t state; /**< lcore state */
+       unsigned int socket_id;    /**< physical socket id for this lcore */
+       unsigned int core_id;      /**< core number on socket for this lcore */
+       int core_index;            /**< relative index, starting from 0 */
+       uint8_t core_role;         /**< role of core eg: OFF, RTE, SERVICE */
+
+       rte_cpuset_t cpuset;       /**< cpu set which the lcore affinity to */
+};
+
+extern struct lcore_config lcore_config[RTE_MAX_LCORE];
+
+/**
+ * The global RTE configuration structure.
+ */
+struct rte_config {
+       uint32_t master_lcore;       /**< Id of the master lcore */
+       uint32_t lcore_count;        /**< Number of available logical cores. */
+       uint32_t numa_node_count;    /**< Number of detected NUMA nodes. */
+       uint32_t numa_nodes[RTE_MAX_NUMA_NODES]; /**< List of detected NUMA nodes. */
+       uint32_t service_lcore_count;/**< Number of available service cores. */
+       enum rte_lcore_role_t lcore_role[RTE_MAX_LCORE]; /**< State of cores. */
+
+       /** Primary or secondary configuration */
+       enum rte_proc_type_t process_type;
+
+       /** PA or VA mapping mode */
+       enum rte_iova_mode iova_mode;
+
+       /**
+        * Pointer to memory configuration, which may be shared across multiple
+        * DPDK instances
+        */
+       struct rte_mem_config *mem_config;
+} __rte_packed;
+
+/**
+ * Get the global configuration structure.
+ *
+ * @return
+ *   A pointer to the global configuration structure.
+ */
+struct rte_config *rte_eal_get_configuration(void);
 
 /**
  * Initialize the memzone subsystem (private to eal).
 int rte_eal_memzone_init(void);
 
 /**
- * Common log initialization function (private to eal).
- *
- * Called by environment-specific log initialization function to initialize
- * log history.
+ * Common log initialization function (private to eal).  Determines
+ * where log data is written when no call to rte_openlog_stream is
+ * in effect.
  *
  * @param default_log
  *   The default log stream to be used.
@@ -58,7 +87,7 @@ int rte_eal_memzone_init(void);
  *   - 0 on success
  *   - Negative on error
  */
-int rte_eal_common_log_init(FILE *default_log);
+void eal_log_set_default(FILE *default_log);
 
 /**
  * Fill configuration with number of physical and logical processors
@@ -73,6 +102,18 @@ int rte_eal_common_log_init(FILE *default_log);
  */
 int rte_eal_cpu_init(void);
 
+/**
+ * Create memseg lists
+ *
+ * This function is private to EAL.
+ *
+ * Preallocate virtual memory.
+ *
+ * @return
+ *   0 on success, negative on error
+ */
+int rte_eal_memseg_init(void);
+
 /**
  * Map memory
  *
@@ -100,250 +141,311 @@ int rte_eal_memory_init(void);
 int rte_eal_timer_init(void);
 
 /**
- * Init early logs
+ * Init the default log stream
  *
  * This function is private to EAL.
  *
  * @return
  *   0 on success, negative on error
  */
-int rte_eal_log_early_init(void);
+int rte_eal_log_init(const char *id, int facility);
 
 /**
- * Init the default log stream
- *
- * This function is private to EAL.
- *
- * @return
- *   0 on success, negative on error
+ * Save the log regexp for later
  */
-int rte_eal_log_init(const char *id, int facility);
+int rte_log_save_regexp(const char *type, int priority);
+int rte_log_save_pattern(const char *pattern, int priority);
 
 /**
- * Init the default log stream
+ * Init tail queues for non-EAL library structures. This is to allow
+ * the rings, mempools, etc. lists to be shared among multiple processes
  *
- * This function is private to EAL.
+ * This function is private to EAL
  *
  * @return
- *   0 on success, negative on error
+ *    0 on success, negative on error
  */
-int rte_eal_pci_init(void);
+int rte_eal_tailqs_init(void);
 
-#ifdef RTE_LIBRTE_IVSHMEM
 /**
- * Init the memory from IVSHMEM devices
+ * Init interrupt handling.
  *
  * This function is private to EAL.
  *
  * @return
  *  0 on success, negative on error
  */
-int rte_eal_ivshmem_init(void);
+int rte_eal_intr_init(void);
 
 /**
- * Init objects in IVSHMEM devices
+ * Init alarm mechanism. This is to allow a callback be called after
+ * specific time.
  *
  * This function is private to EAL.
  *
  * @return
  *  0 on success, negative on error
  */
-int rte_eal_ivshmem_obj_init(void);
-#endif
-
-struct rte_pci_driver;
-struct rte_pci_device;
+int rte_eal_alarm_init(void);
 
 /**
- * Unbind kernel driver for this device
+ * Function is to check if the kernel module(like, vfio, vfio_iommu_type1,
+ * etc.) loaded.
  *
- * This function is private to EAL.
+ * @param module_name
+ *     The module's name which need to be checked
  *
  * @return
- *   0 on success, negative on error
+ *     -1 means some error happens(NULL pointer or open failure)
+ *     0  means the module not loaded
+ *     1  means the module loaded
  */
-int pci_unbind_kernel_driver(struct rte_pci_device *dev);
+int rte_eal_check_module(const char *module_name);
 
 /**
- * Map this device
+ * Get virtual area of specified size from the OS.
  *
- * This function is private to EAL.
+ * This function is private to the EAL.
+ *
+ * @param requested_addr
+ *   Address where to request address space.
+ * @param size
+ *   Size of requested area.
+ * @param page_sz
+ *   Page size on which to align requested virtual area.
+ * @param flags
+ *   EAL_VIRTUAL_AREA_* flags.
+ * @param mmap_flags
+ *   Extra flags passed directly to mmap().
  *
  * @return
- *   0 on success, negative on error and positive if no driver
- *   is found for the device.
+ *   Virtual area address if successful.
+ *   NULL if unsuccessful.
+ */
+
+#define EAL_VIRTUAL_AREA_ADDR_IS_HINT (1 << 0)
+/**< don't fail if cannot get exact requested address. */
+#define EAL_VIRTUAL_AREA_ALLOW_SHRINK (1 << 1)
+/**< try getting smaller sized (decrement by page size) virtual areas if cannot
+ * get area of requested size.
  */
-int pci_map_device(struct rte_pci_device *dev);
+#define EAL_VIRTUAL_AREA_UNMAP (1 << 2)
+/**< immediately unmap reserved virtual area. */
+void *
+eal_get_virtual_area(void *requested_addr, size_t *size,
+               size_t page_sz, int flags, int mmap_flags);
 
 /**
- * Unmap this device
+ * Get cpu core_id.
  *
- * This function is private to EAL.
+ * This function is private to the EAL.
  */
-void pci_unmap_device(struct rte_pci_device *dev);
+unsigned eal_cpu_core_id(unsigned lcore_id);
 
 /**
- * Map the PCI resource of a PCI device in virtual memory
+ * Check if cpu is present.
  *
- * This function is private to EAL.
+ * This function is private to the EAL.
+ */
+int eal_cpu_detected(unsigned lcore_id);
+
+/**
+ * Set TSC frequency from precise value or estimation
  *
- * @return
- *   0 on success, negative on error
+ * This function is private to the EAL.
  */
-int pci_uio_map_resource(struct rte_pci_device *dev);
+void set_tsc_freq(void);
 
 /**
- * Unmap the PCI resource of a PCI device
+ * Get precise TSC frequency from system
  *
- * This function is private to EAL.
+ * This function is private to the EAL.
  */
-void pci_uio_unmap_resource(struct rte_pci_device *dev);
+uint64_t get_tsc_freq(void);
 
 /**
- * Allocate uio resource for PCI device
+ * Get TSC frequency if the architecture supports.
  *
- * This function is private to EAL.
+ * This function is private to the EAL.
  *
- * @param dev
- *   PCI device to allocate uio resource
- * @param uio_res
- *   Pointer to uio resource.
- *   If the function returns 0, the pointer will be filled.
  * @return
- *   0 on success, negative on error
+ *   The number of TSC cycles in one second.
+ *   Returns zero if the architecture support is not available.
  */
-int pci_uio_alloc_resource(struct rte_pci_device *dev,
-               struct mapped_pci_resource **uio_res);
+uint64_t get_tsc_freq_arch(void);
 
 /**
- * Free uio resource for PCI device
+ * Prepare physical memory mapping
+ * i.e. hugepages on Linux and
+ *      contigmem on BSD.
  *
- * This function is private to EAL.
+ * This function is private to the EAL.
+ */
+int rte_eal_hugepage_init(void);
+
+/**
+ * Creates memory mapping in secondary process
+ * i.e. hugepages on Linux and
+ *      contigmem on BSD.
  *
- * @param dev
- *   PCI device to free uio resource
- * @param uio_res
- *   Pointer to uio resource.
+ * This function is private to the EAL.
  */
-void pci_uio_free_resource(struct rte_pci_device *dev,
-               struct mapped_pci_resource *uio_res);
+int rte_eal_hugepage_attach(void);
 
 /**
- * Map device memory to uio resource
+ * Find a bus capable of identifying a device.
  *
- * This function is private to EAL.
+ * @param str
+ *   A device identifier (PCI address, virtual PMD name, ...).
  *
- * @param dev
- *   PCI device that has memory information.
- * @param res_idx
- *   Memory resource index of the PCI device.
- * @param uio_res
- *  uio resource that will keep mapping information.
- * @param map_idx
- *   Mapping information index of the uio resource.
  * @return
- *   0 on success, negative on error
+ *   A valid bus handle if found.
+ *   NULL if no bus is able to parse this device.
  */
-int pci_uio_map_resource_by_index(struct rte_pci_device *dev, int res_idx,
-               struct mapped_pci_resource *uio_res, int map_idx);
+struct rte_bus *rte_bus_find_by_device_name(const char *str);
 
 /**
- * Init tail queues for non-EAL library structures. This is to allow
- * the rings, mempools, etc. lists to be shared among multiple processes
- *
- * This function is private to EAL
+ * Create the unix channel for primary/secondary communication.
  *
  * @return
- *    0 on success, negative on error
+ *   0 on success;
+ *   (<0) on failure.
  */
-int rte_eal_tailqs_init(void);
+int rte_mp_channel_init(void);
 
 /**
- * Init interrupt handling.
+ * Primary/secondary communication cleanup.
+ */
+void rte_mp_channel_cleanup(void);
+
+/**
+ * @internal
+ * Parse a device string and store its information in an
+ * rte_devargs structure.
  *
- * This function is private to EAL.
+ * A device description is split by layers of abstraction of the device:
+ * bus, class and driver. Each layer will offer a set of properties that
+ * can be applied either to configure or recognize a device.
+ *
+ * This function will parse those properties and prepare the rte_devargs
+ * to be given to each layers for processing.
+ *
+ * Note: if the "data" field of the devargs points to devstr,
+ * then no dynamic allocation is performed and the rte_devargs
+ * can be safely discarded.
+ *
+ * Otherwise ``data`` will hold a workable copy of devstr, that will be
+ * used by layers descriptors within rte_devargs. In this case,
+ * any rte_devargs should be cleaned-up before being freed.
+ *
+ * @param da
+ *   rte_devargs structure to fill.
+ *
+ * @param devstr
+ *   Device string.
  *
  * @return
- *  0 on success, negative on error
+ *   0 on success.
+ *   Negative errno values on error (rte_errno is set).
  */
-int rte_eal_intr_init(void);
+int
+rte_devargs_layers_parse(struct rte_devargs *devargs,
+                        const char *devstr);
 
-/**
- * Init alarm mechanism. This is to allow a callback be called after
- * specific time.
- *
- * This function is private to EAL.
+/*
+ * probe a device at local process.
  *
+ * @param devargs
+ *   Device arguments including bus, class and driver properties.
+ * @param new_dev
+ *   new device be probed as output.
  * @return
- *  0 on success, negative on error
+ *   0 on success, negative on error.
  */
-int rte_eal_alarm_init(void);
+int local_dev_probe(const char *devargs, struct rte_device **new_dev);
 
 /**
- * This function initialises any virtual devices
+ * Hotplug remove a given device from a specific bus at local process.
  *
- * This function is private to the EAL.
+ * @param dev
+ *   Data structure of the device to remove.
+ * @return
+ *   0 on success, negative on error.
  */
-int rte_eal_dev_init(void);
+int local_dev_remove(struct rte_device *dev);
 
 /**
- * Function is to check if the kernel module(like, vfio, vfio_iommu_type1,
- * etc.) loaded.
- *
- * @param module_name
- *     The module's name which need to be checked
+ * Iterate over all buses to find the corresponding bus to handle the sigbus
+ * error.
+ * @param failure_addr
+ *     Pointer of the fault address of the sigbus error.
  *
  * @return
- *     -1 means some error happens(NULL pointer or open failure)
- *     0  means the module not loaded
- *     1  means the module loaded
+ *      0 success to handle the sigbus.
+ *     -1 failed to handle the sigbus
+ *      1 no bus can handler the sigbus
  */
-int rte_eal_check_module(const char *module_name);
+int rte_bus_sigbus_handler(const void *failure_addr);
 
 /**
- * Get cpu core_id.
+ * @internal
+ * Register the sigbus handler.
  *
- * This function is private to the EAL.
+ * @return
+ *   - On success, zero.
+ *   - On failure, a negative value.
  */
-unsigned eal_cpu_core_id(unsigned lcore_id);
+int
+dev_sigbus_handler_register(void);
 
 /**
- * Check if cpu is present.
+ * @internal
+ * Unregister the sigbus handler.
  *
- * This function is private to the EAL.
+ * @return
+ *   - On success, zero.
+ *   - On failure, a negative value.
  */
-int eal_cpu_detected(unsigned lcore_id);
+int
+dev_sigbus_handler_unregister(void);
 
 /**
- * Set TSC frequency from precise value or estimation
+ * Check if the option is registered.
  *
- * This function is private to the EAL.
+ * @param option
+ *  The option to be parsed.
+ *
+ * @return
+ *  0 on success
+ * @return
+ *  -1 on fail
  */
-void set_tsc_freq(void);
+int
+rte_option_parse(const char *opt);
 
 /**
- * Get precise TSC frequency from system
- *
- * This function is private to the EAL.
+ * Iterate through the registered options and execute the associated
+ * callback if enabled.
  */
-uint64_t get_tsc_freq(void);
+void
+rte_option_init(void);
 
 /**
- * Prepare physical memory mapping
- * i.e. hugepages on Linux and
- *      contigmem on BSD.
- *
- * This function is private to the EAL.
+ * Iterate through the registered options and show the associated
+ * usage string.
  */
-int rte_eal_hugepage_init(void);
+void
+rte_option_usage(void);
 
 /**
- * Creates memory mapping in secondary process
- * i.e. hugepages on Linux and
- *      contigmem on BSD.
- *
- * This function is private to the EAL.
+ * Get OS-specific EAL mapping base address.
  */
-int rte_eal_hugepage_attach(void);
+uint64_t
+eal_get_baseaddr(void);
+
+void *
+eal_malloc_no_trace(const char *type, size_t size, unsigned int align);
+
+void eal_free_no_trace(void *addr);
 
 #endif /* _EAL_PRIVATE_H_ */