igb_uio: remove device reset in open
[dpdk.git] / lib / librte_eal / linuxapp / igb_uio / igb_uio.c
1 /*-
2  * GPL LICENSE SUMMARY
3  *
4  *   Copyright(c) 2010-2014 Intel Corporation. All rights reserved.
5  *
6  *   This program is free software; you can redistribute it and/or modify
7  *   it under the terms of version 2 of the GNU General Public License as
8  *   published by the Free Software Foundation.
9  *
10  *   This program is distributed in the hope that it will be useful, but
11  *   WITHOUT ANY WARRANTY; without even the implied warranty of
12  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  *   General Public License for more details.
14  *
15  *   You should have received a copy of the GNU General Public License
16  *   along with this program; if not, write to the Free Software
17  *   Foundation, Inc., 51 Franklin St - Fifth Floor, Boston, MA 02110-1301 USA.
18  *   The full GNU General Public License is included in this distribution
19  *   in the file called LICENSE.GPL.
20  *
21  *   Contact Information:
22  *   Intel Corporation
23  */
24
25 #define pr_fmt(fmt) KBUILD_MODNAME ": " fmt
26
27 #include <linux/device.h>
28 #include <linux/module.h>
29 #include <linux/pci.h>
30 #include <linux/uio_driver.h>
31 #include <linux/io.h>
32 #include <linux/irq.h>
33 #include <linux/msi.h>
34 #include <linux/version.h>
35 #include <linux/slab.h>
36
37 #include <rte_pci_dev_features.h>
38
39 #include "compat.h"
40
41 /**
42  * A structure describing the private information for a uio device.
43  */
44 struct rte_uio_pci_dev {
45         struct uio_info info;
46         struct pci_dev *pdev;
47         enum rte_intr_mode mode;
48 };
49
50 static char *intr_mode;
51 static enum rte_intr_mode igbuio_intr_mode_preferred = RTE_INTR_MODE_MSIX;
52 /* sriov sysfs */
53 static ssize_t
54 show_max_vfs(struct device *dev, struct device_attribute *attr,
55              char *buf)
56 {
57         return snprintf(buf, 10, "%u\n", dev_num_vf(dev));
58 }
59
60 static ssize_t
61 store_max_vfs(struct device *dev, struct device_attribute *attr,
62               const char *buf, size_t count)
63 {
64         int err = 0;
65         unsigned long max_vfs;
66         struct pci_dev *pdev = to_pci_dev(dev);
67
68         if (0 != kstrtoul(buf, 0, &max_vfs))
69                 return -EINVAL;
70
71         if (0 == max_vfs)
72                 pci_disable_sriov(pdev);
73         else if (0 == pci_num_vf(pdev))
74                 err = pci_enable_sriov(pdev, max_vfs);
75         else /* do nothing if change max_vfs number */
76                 err = -EINVAL;
77
78         return err ? err : count;
79 }
80
81 static DEVICE_ATTR(max_vfs, S_IRUGO | S_IWUSR, show_max_vfs, store_max_vfs);
82
83 static struct attribute *dev_attrs[] = {
84         &dev_attr_max_vfs.attr,
85         NULL,
86 };
87
88 static const struct attribute_group dev_attr_grp = {
89         .attrs = dev_attrs,
90 };
91
92 #ifndef HAVE_PCI_MSI_MASK_IRQ
93 /*
94  * It masks the msix on/off of generating MSI-X messages.
95  */
96 static void
97 igbuio_msix_mask_irq(struct msi_desc *desc, s32 state)
98 {
99         u32 mask_bits = desc->masked;
100         unsigned int offset = desc->msi_attrib.entry_nr * PCI_MSIX_ENTRY_SIZE +
101                                                 PCI_MSIX_ENTRY_VECTOR_CTRL;
102
103         if (state != 0)
104                 mask_bits &= ~PCI_MSIX_ENTRY_CTRL_MASKBIT;
105         else
106                 mask_bits |= PCI_MSIX_ENTRY_CTRL_MASKBIT;
107
108         if (mask_bits != desc->masked) {
109                 writel(mask_bits, desc->mask_base + offset);
110                 readl(desc->mask_base);
111                 desc->masked = mask_bits;
112         }
113 }
114
115 /*
116  * It masks the msi on/off of generating MSI messages.
117  */
118 static void
119 igbuio_msi_mask_irq(struct pci_dev *pdev, struct msi_desc *desc, int32_t state)
120 {
121         u32 mask_bits = desc->masked;
122         u32 offset = desc->irq - pdev->irq;
123         u32 mask = 1 << offset;
124
125         if (!desc->msi_attrib.maskbit)
126                 return;
127
128         if (state != 0)
129                 mask_bits &= ~mask;
130         else
131                 mask_bits |= mask;
132
133         if (mask_bits != desc->masked) {
134                 pci_write_config_dword(pdev, desc->mask_pos, mask_bits);
135                 desc->masked = mask_bits;
136         }
137 }
138
139 static void
140 igbuio_mask_irq(struct pci_dev *pdev, enum rte_intr_mode mode, s32 irq_state)
141 {
142         struct msi_desc *desc;
143         struct list_head *msi_list;
144
145 #ifdef HAVE_MSI_LIST_IN_GENERIC_DEVICE
146         msi_list = &pdev->dev.msi_list;
147 #else
148         msi_list = &pdev->msi_list;
149 #endif
150
151         if (mode == RTE_INTR_MODE_MSIX) {
152                 list_for_each_entry(desc, msi_list, list)
153                         igbuio_msix_mask_irq(desc, irq_state);
154         } else if (mode == RTE_INTR_MODE_MSI) {
155                 list_for_each_entry(desc, msi_list, list)
156                         igbuio_msi_mask_irq(pdev, desc, irq_state);
157         }
158 }
159 #endif
160
161 /**
162  * This is the irqcontrol callback to be registered to uio_info.
163  * It can be used to disable/enable interrupt from user space processes.
164  *
165  * @param info
166  *  pointer to uio_info.
167  * @param irq_state
168  *  state value. 1 to enable interrupt, 0 to disable interrupt.
169  *
170  * @return
171  *  - On success, 0.
172  *  - On failure, a negative value.
173  */
174 static int
175 igbuio_pci_irqcontrol(struct uio_info *info, s32 irq_state)
176 {
177         struct rte_uio_pci_dev *udev = info->priv;
178         struct pci_dev *pdev = udev->pdev;
179
180 #ifdef HAVE_PCI_MSI_MASK_IRQ
181         struct irq_data *irq = irq_get_irq_data(udev->info.irq);
182 #endif
183
184         pci_cfg_access_lock(pdev);
185
186         if (udev->mode == RTE_INTR_MODE_MSIX || udev->mode == RTE_INTR_MODE_MSI) {
187 #ifdef HAVE_PCI_MSI_MASK_IRQ
188                 if (irq_state == 1)
189                         pci_msi_unmask_irq(irq);
190                 else
191                         pci_msi_mask_irq(irq);
192 #else
193                 igbuio_mask_irq(pdev, udev->mode, irq_state);
194 #endif
195         }
196
197         if (udev->mode == RTE_INTR_MODE_LEGACY)
198                 pci_intx(pdev, !!irq_state);
199
200         pci_cfg_access_unlock(pdev);
201
202         return 0;
203 }
204
205 /**
206  * This is interrupt handler which will check if the interrupt is for the right device.
207  * If yes, disable it here and will be enable later.
208  */
209 static irqreturn_t
210 igbuio_pci_irqhandler(int irq, void *dev_id)
211 {
212         struct rte_uio_pci_dev *udev = (struct rte_uio_pci_dev *)dev_id;
213         struct uio_info *info = &udev->info;
214
215         /* Legacy mode need to mask in hardware */
216         if (udev->mode == RTE_INTR_MODE_LEGACY &&
217             !pci_check_and_mask_intx(udev->pdev))
218                 return IRQ_NONE;
219
220         uio_event_notify(info);
221
222         /* Message signal mode, no share IRQ and automasked */
223         return IRQ_HANDLED;
224 }
225
226 static int
227 igbuio_pci_enable_interrupts(struct rte_uio_pci_dev *udev)
228 {
229         int err = 0;
230 #ifndef HAVE_ALLOC_IRQ_VECTORS
231         struct msix_entry msix_entry;
232 #endif
233
234         switch (igbuio_intr_mode_preferred) {
235         case RTE_INTR_MODE_MSIX:
236                 /* Only 1 msi-x vector needed */
237 #ifndef HAVE_ALLOC_IRQ_VECTORS
238                 msix_entry.entry = 0;
239                 if (pci_enable_msix(udev->pdev, &msix_entry, 1) == 0) {
240                         dev_dbg(&udev->pdev->dev, "using MSI-X");
241                         udev->info.irq_flags = IRQF_NO_THREAD;
242                         udev->info.irq = msix_entry.vector;
243                         udev->mode = RTE_INTR_MODE_MSIX;
244                         break;
245                 }
246 #else
247                 if (pci_alloc_irq_vectors(udev->pdev, 1, 1, PCI_IRQ_MSIX) == 1) {
248                         dev_dbg(&udev->pdev->dev, "using MSI-X");
249                         udev->info.irq_flags = IRQF_NO_THREAD;
250                         udev->info.irq = pci_irq_vector(udev->pdev, 0);
251                         udev->mode = RTE_INTR_MODE_MSIX;
252                         break;
253                 }
254 #endif
255
256         /* fall back to MSI */
257         case RTE_INTR_MODE_MSI:
258 #ifndef HAVE_ALLOC_IRQ_VECTORS
259                 if (pci_enable_msi(udev->pdev) == 0) {
260                         dev_dbg(&udev->pdev->dev, "using MSI");
261                         udev->info.irq_flags = IRQF_NO_THREAD;
262                         udev->info.irq = udev->pdev->irq;
263                         udev->mode = RTE_INTR_MODE_MSI;
264                         break;
265                 }
266 #else
267                 if (pci_alloc_irq_vectors(udev->pdev, 1, 1, PCI_IRQ_MSI) == 1) {
268                         dev_dbg(&udev->pdev->dev, "using MSI");
269                         udev->info.irq_flags = IRQF_NO_THREAD;
270                         udev->info.irq = pci_irq_vector(udev->pdev, 0);
271                         udev->mode = RTE_INTR_MODE_MSI;
272                         break;
273                 }
274 #endif
275         /* fall back to INTX */
276         case RTE_INTR_MODE_LEGACY:
277                 if (pci_intx_mask_supported(udev->pdev)) {
278                         dev_dbg(&udev->pdev->dev, "using INTX");
279                         udev->info.irq_flags = IRQF_SHARED | IRQF_NO_THREAD;
280                         udev->info.irq = udev->pdev->irq;
281                         udev->mode = RTE_INTR_MODE_LEGACY;
282                         break;
283                 }
284                 dev_notice(&udev->pdev->dev, "PCI INTX mask not supported\n");
285         /* fall back to no IRQ */
286         case RTE_INTR_MODE_NONE:
287                 udev->mode = RTE_INTR_MODE_NONE;
288                 udev->info.irq = UIO_IRQ_NONE;
289                 break;
290
291         default:
292                 dev_err(&udev->pdev->dev, "invalid IRQ mode %u",
293                         igbuio_intr_mode_preferred);
294                 udev->info.irq = UIO_IRQ_NONE;
295                 err = -EINVAL;
296         }
297
298         if (udev->info.irq != UIO_IRQ_NONE)
299                 err = request_irq(udev->info.irq, igbuio_pci_irqhandler,
300                                   udev->info.irq_flags, udev->info.name,
301                                   udev);
302         dev_info(&udev->pdev->dev, "uio device registered with irq %lx\n",
303                  udev->info.irq);
304
305         return err;
306 }
307
308 static void
309 igbuio_pci_disable_interrupts(struct rte_uio_pci_dev *udev)
310 {
311         if (udev->info.irq) {
312                 free_irq(udev->info.irq, udev);
313                 udev->info.irq = 0;
314         }
315
316 #ifndef HAVE_ALLOC_IRQ_VECTORS
317         if (udev->mode == RTE_INTR_MODE_MSIX)
318                 pci_disable_msix(udev->pdev);
319         if (udev->mode == RTE_INTR_MODE_MSI)
320                 pci_disable_msi(udev->pdev);
321 #else
322         if (udev->mode == RTE_INTR_MODE_MSIX ||
323             udev->mode == RTE_INTR_MODE_MSI)
324                 pci_free_irq_vectors(udev->pdev);
325 #endif
326 }
327
328
329 /**
330  * This gets called while opening uio device file.
331  */
332 static int
333 igbuio_pci_open(struct uio_info *info, struct inode *inode)
334 {
335         struct rte_uio_pci_dev *udev = info->priv;
336         struct pci_dev *dev = udev->pdev;
337         int err;
338
339         /* set bus master, which was cleared by the reset function */
340         pci_set_master(dev);
341
342         /* enable interrupts */
343         err = igbuio_pci_enable_interrupts(udev);
344         if (err) {
345                 dev_err(&dev->dev, "Enable interrupt fails\n");
346                 return err;
347         }
348         return 0;
349 }
350
351 static int
352 igbuio_pci_release(struct uio_info *info, struct inode *inode)
353 {
354         struct rte_uio_pci_dev *udev = info->priv;
355         struct pci_dev *dev = udev->pdev;
356
357         /* disable interrupts */
358         igbuio_pci_disable_interrupts(udev);
359
360         /* stop the device from further DMA */
361         pci_clear_master(dev);
362
363         pci_reset_function(dev);
364
365         return 0;
366 }
367
368 /* Remap pci resources described by bar #pci_bar in uio resource n. */
369 static int
370 igbuio_pci_setup_iomem(struct pci_dev *dev, struct uio_info *info,
371                        int n, int pci_bar, const char *name)
372 {
373         unsigned long addr, len;
374         void *internal_addr;
375
376         if (n >= ARRAY_SIZE(info->mem))
377                 return -EINVAL;
378
379         addr = pci_resource_start(dev, pci_bar);
380         len = pci_resource_len(dev, pci_bar);
381         if (addr == 0 || len == 0)
382                 return -1;
383         internal_addr = ioremap(addr, len);
384         if (internal_addr == NULL)
385                 return -1;
386         info->mem[n].name = name;
387         info->mem[n].addr = addr;
388         info->mem[n].internal_addr = internal_addr;
389         info->mem[n].size = len;
390         info->mem[n].memtype = UIO_MEM_PHYS;
391         return 0;
392 }
393
394 /* Get pci port io resources described by bar #pci_bar in uio resource n. */
395 static int
396 igbuio_pci_setup_ioport(struct pci_dev *dev, struct uio_info *info,
397                 int n, int pci_bar, const char *name)
398 {
399         unsigned long addr, len;
400
401         if (n >= ARRAY_SIZE(info->port))
402                 return -EINVAL;
403
404         addr = pci_resource_start(dev, pci_bar);
405         len = pci_resource_len(dev, pci_bar);
406         if (addr == 0 || len == 0)
407                 return -EINVAL;
408
409         info->port[n].name = name;
410         info->port[n].start = addr;
411         info->port[n].size = len;
412         info->port[n].porttype = UIO_PORT_X86;
413
414         return 0;
415 }
416
417 /* Unmap previously ioremap'd resources */
418 static void
419 igbuio_pci_release_iomem(struct uio_info *info)
420 {
421         int i;
422
423         for (i = 0; i < MAX_UIO_MAPS; i++) {
424                 if (info->mem[i].internal_addr)
425                         iounmap(info->mem[i].internal_addr);
426         }
427 }
428
429 static int
430 igbuio_setup_bars(struct pci_dev *dev, struct uio_info *info)
431 {
432         int i, iom, iop, ret;
433         unsigned long flags;
434         static const char *bar_names[PCI_STD_RESOURCE_END + 1]  = {
435                 "BAR0",
436                 "BAR1",
437                 "BAR2",
438                 "BAR3",
439                 "BAR4",
440                 "BAR5",
441         };
442
443         iom = 0;
444         iop = 0;
445
446         for (i = 0; i < ARRAY_SIZE(bar_names); i++) {
447                 if (pci_resource_len(dev, i) != 0 &&
448                                 pci_resource_start(dev, i) != 0) {
449                         flags = pci_resource_flags(dev, i);
450                         if (flags & IORESOURCE_MEM) {
451                                 ret = igbuio_pci_setup_iomem(dev, info, iom,
452                                                              i, bar_names[i]);
453                                 if (ret != 0)
454                                         return ret;
455                                 iom++;
456                         } else if (flags & IORESOURCE_IO) {
457                                 ret = igbuio_pci_setup_ioport(dev, info, iop,
458                                                               i, bar_names[i]);
459                                 if (ret != 0)
460                                         return ret;
461                                 iop++;
462                         }
463                 }
464         }
465
466         return (iom != 0 || iop != 0) ? ret : -ENOENT;
467 }
468
469 #if LINUX_VERSION_CODE < KERNEL_VERSION(3, 8, 0)
470 static int __devinit
471 #else
472 static int
473 #endif
474 igbuio_pci_probe(struct pci_dev *dev, const struct pci_device_id *id)
475 {
476         struct rte_uio_pci_dev *udev;
477         dma_addr_t map_dma_addr;
478         void *map_addr;
479         int err;
480
481         udev = kzalloc(sizeof(struct rte_uio_pci_dev), GFP_KERNEL);
482         if (!udev)
483                 return -ENOMEM;
484
485         /*
486          * enable device: ask low-level code to enable I/O and
487          * memory
488          */
489         err = pci_enable_device(dev);
490         if (err != 0) {
491                 dev_err(&dev->dev, "Cannot enable PCI device\n");
492                 goto fail_free;
493         }
494
495         /* enable bus mastering on the device */
496         pci_set_master(dev);
497
498         /* remap IO memory */
499         err = igbuio_setup_bars(dev, &udev->info);
500         if (err != 0)
501                 goto fail_release_iomem;
502
503         /* set 64-bit DMA mask */
504         err = pci_set_dma_mask(dev,  DMA_BIT_MASK(64));
505         if (err != 0) {
506                 dev_err(&dev->dev, "Cannot set DMA mask\n");
507                 goto fail_release_iomem;
508         }
509
510         err = pci_set_consistent_dma_mask(dev, DMA_BIT_MASK(64));
511         if (err != 0) {
512                 dev_err(&dev->dev, "Cannot set consistent DMA mask\n");
513                 goto fail_release_iomem;
514         }
515
516         /* fill uio infos */
517         udev->info.name = "igb_uio";
518         udev->info.version = "0.1";
519         udev->info.irqcontrol = igbuio_pci_irqcontrol;
520         udev->info.open = igbuio_pci_open;
521         udev->info.release = igbuio_pci_release;
522         udev->info.priv = udev;
523         udev->pdev = dev;
524
525         err = sysfs_create_group(&dev->dev.kobj, &dev_attr_grp);
526         if (err != 0)
527                 goto fail_release_iomem;
528
529         /* register uio driver */
530         err = uio_register_device(&dev->dev, &udev->info);
531         if (err != 0)
532                 goto fail_remove_group;
533
534         pci_set_drvdata(dev, udev);
535
536         /*
537          * Doing a harmless dma mapping for attaching the device to
538          * the iommu identity mapping if kernel boots with iommu=pt.
539          * Note this is not a problem if no IOMMU at all.
540          */
541         map_addr = dma_alloc_coherent(&dev->dev, 1024, &map_dma_addr,
542                         GFP_KERNEL);
543         if (map_addr)
544                 memset(map_addr, 0, 1024);
545
546         if (!map_addr)
547                 dev_info(&dev->dev, "dma mapping failed\n");
548         else {
549                 dev_info(&dev->dev, "mapping 1K dma=%#llx host=%p\n",
550                          (unsigned long long)map_dma_addr, map_addr);
551
552                 dma_free_coherent(&dev->dev, 1024, map_addr, map_dma_addr);
553                 dev_info(&dev->dev, "unmapping 1K dma=%#llx host=%p\n",
554                          (unsigned long long)map_dma_addr, map_addr);
555         }
556
557         return 0;
558
559 fail_remove_group:
560         sysfs_remove_group(&dev->dev.kobj, &dev_attr_grp);
561 fail_release_iomem:
562         igbuio_pci_release_iomem(&udev->info);
563         pci_disable_device(dev);
564 fail_free:
565         kfree(udev);
566
567         return err;
568 }
569
570 static void
571 igbuio_pci_remove(struct pci_dev *dev)
572 {
573         struct rte_uio_pci_dev *udev = pci_get_drvdata(dev);
574
575         sysfs_remove_group(&dev->dev.kobj, &dev_attr_grp);
576         uio_unregister_device(&udev->info);
577         igbuio_pci_release_iomem(&udev->info);
578         pci_disable_device(dev);
579         pci_set_drvdata(dev, NULL);
580         kfree(udev);
581 }
582
583 static int
584 igbuio_config_intr_mode(char *intr_str)
585 {
586         if (!intr_str) {
587                 pr_info("Use MSIX interrupt by default\n");
588                 return 0;
589         }
590
591         if (!strcmp(intr_str, RTE_INTR_MODE_MSIX_NAME)) {
592                 igbuio_intr_mode_preferred = RTE_INTR_MODE_MSIX;
593                 pr_info("Use MSIX interrupt\n");
594         } else if (!strcmp(intr_str, RTE_INTR_MODE_MSI_NAME)) {
595                 igbuio_intr_mode_preferred = RTE_INTR_MODE_MSI;
596                 pr_info("Use MSI interrupt\n");
597         } else if (!strcmp(intr_str, RTE_INTR_MODE_LEGACY_NAME)) {
598                 igbuio_intr_mode_preferred = RTE_INTR_MODE_LEGACY;
599                 pr_info("Use legacy interrupt\n");
600         } else {
601                 pr_info("Error: bad parameter - %s\n", intr_str);
602                 return -EINVAL;
603         }
604
605         return 0;
606 }
607
608 static struct pci_driver igbuio_pci_driver = {
609         .name = "igb_uio",
610         .id_table = NULL,
611         .probe = igbuio_pci_probe,
612         .remove = igbuio_pci_remove,
613 };
614
615 static int __init
616 igbuio_pci_init_module(void)
617 {
618         int ret;
619
620         ret = igbuio_config_intr_mode(intr_mode);
621         if (ret < 0)
622                 return ret;
623
624         return pci_register_driver(&igbuio_pci_driver);
625 }
626
627 static void __exit
628 igbuio_pci_exit_module(void)
629 {
630         pci_unregister_driver(&igbuio_pci_driver);
631 }
632
633 module_init(igbuio_pci_init_module);
634 module_exit(igbuio_pci_exit_module);
635
636 module_param(intr_mode, charp, S_IRUGO);
637 MODULE_PARM_DESC(intr_mode,
638 "igb_uio interrupt mode (default=msix):\n"
639 "    " RTE_INTR_MODE_MSIX_NAME "       Use MSIX interrupt\n"
640 "    " RTE_INTR_MODE_MSI_NAME "        Use MSI interrupt\n"
641 "    " RTE_INTR_MODE_LEGACY_NAME "     Use Legacy interrupt\n"
642 "\n");
643
644 MODULE_DESCRIPTION("UIO driver for Intel IGB PCI cards");
645 MODULE_LICENSE("GPL");
646 MODULE_AUTHOR("Intel Corporation");