app/test: check cloning a clone
[dpdk.git] / app / test-pmd / ieee1588fwd.c
1 /*-
2  *   BSD LICENSE
3  *
4  *   Copyright(c) 2010-2014 Intel Corporation. All rights reserved.
5  *   All rights reserved.
6  *
7  *   Redistribution and use in source and binary forms, with or without
8  *   modification, are permitted provided that the following conditions
9  *   are met:
10  *
11  *     * Redistributions of source code must retain the above copyright
12  *       notice, this list of conditions and the following disclaimer.
13  *     * Redistributions in binary form must reproduce the above copyright
14  *       notice, this list of conditions and the following disclaimer in
15  *       the documentation and/or other materials provided with the
16  *       distribution.
17  *     * Neither the name of Intel Corporation nor the names of its
18  *       contributors may be used to endorse or promote products derived
19  *       from this software without specific prior written permission.
20  *
21  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
22  *   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
23  *   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
24  *   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
25  *   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
26  *   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
27  *   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
28  *   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
29  *   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
30  *   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
31  *   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
32  */
33
34 #include <stdarg.h>
35 #include <stdio.h>
36 #include <string.h>
37 #include <errno.h>
38 #include <stdint.h>
39 #include <unistd.h>
40 #include <inttypes.h>
41
42 #include <sys/queue.h>
43 #include <sys/stat.h>
44
45 #include <rte_common.h>
46 #include <rte_byteorder.h>
47 #include <rte_log.h>
48 #include <rte_debug.h>
49 #include <rte_cycles.h>
50 #include <rte_memory.h>
51 #include <rte_memzone.h>
52 #include <rte_launch.h>
53 #include <rte_eal.h>
54 #include <rte_per_lcore.h>
55 #include <rte_lcore.h>
56 #include <rte_atomic.h>
57 #include <rte_branch_prediction.h>
58 #include <rte_ring.h>
59 #include <rte_memory.h>
60 #include <rte_mempool.h>
61 #include <rte_mbuf.h>
62 #include <rte_interrupts.h>
63 #include <rte_pci.h>
64 #include <rte_ether.h>
65 #include <rte_ethdev.h>
66 #include <rte_string_fns.h>
67
68 #include "testpmd.h"
69
70 /**
71  * The structure of a PTP V2 packet.
72  *
73  * Only the minimum fields used by the ieee1588 test are represented.
74  */
75 struct ptpv2_msg {
76         uint8_t msg_id;
77         uint8_t version; /**< must be 0x02 */
78         uint8_t unused[34];
79 };
80 #define PTP_SYNC_MESSAGE                0x0
81 #define PTP_DELAY_REQ_MESSAGE           0x1
82 #define PTP_PATH_DELAY_REQ_MESSAGE      0x2
83 #define PTP_PATH_DELAY_RESP_MESSAGE     0x3
84 #define PTP_FOLLOWUP_MESSAGE            0x8
85 #define PTP_DELAY_RESP_MESSAGE          0x9
86 #define PTP_PATH_DELAY_FOLLOWUP_MESSAGE 0xA
87 #define PTP_ANNOUNCE_MESSAGE            0xB
88 #define PTP_SIGNALLING_MESSAGE          0xC
89 #define PTP_MANAGEMENT_MESSAGE          0xD
90
91 /*
92  * Forwarding of IEEE1588 Precise Time Protocol (PTP) packets.
93  *
94  * In this mode, packets are received one by one and are expected to be
95  * PTP V2 L2 Ethernet frames (with the specific Ethernet type "0x88F7")
96  * containing PTP "sync" messages (version 2 at offset 1, and message ID
97  * 0 at offset 0).
98  *
99  * Check that each received packet is a IEEE1588 PTP V2 packet of type
100  * PTP_SYNC_MESSAGE, and that it has been identified and timestamped
101  * by the hardware.
102  * Check that the value of the last RX timestamp recorded by the controller
103  * is greater than the previous one.
104  *
105  * If everything is OK, send the received packet back on the same port,
106  * requesting for it to be timestamped by the hardware.
107  * Check that the value of the last TX timestamp recorded by the controller
108  * is greater than the previous one.
109  */
110
111 /*
112  * 1GbE 82576 Kawela registers used for IEEE1588 hardware support
113  */
114 #define IGBE_82576_ETQF(n) (0x05CB0 + (4 * (n)))
115 #define IGBE_82576_ETQF_FILTER_ENABLE  (1 << 26)
116 #define IGBE_82576_ETQF_1588_TIMESTAMP (1 << 30)
117
118 #define IGBE_82576_TSYNCRXCTL  0x0B620
119 #define IGBE_82576_TSYNCRXCTL_RXTS_ENABLE (1 << 4)
120
121 #define IGBE_82576_RXSTMPL     0x0B624
122 #define IGBE_82576_RXSTMPH     0x0B628
123 #define IGBE_82576_RXSATRL     0x0B62C
124 #define IGBE_82576_RXSATRH     0x0B630
125 #define IGBE_82576_TSYNCTXCTL  0x0B614
126 #define IGBE_82576_TSYNCTXCTL_TXTS_ENABLE (1 << 4)
127
128 #define IGBE_82576_TXSTMPL     0x0B618
129 #define IGBE_82576_TXSTMPH     0x0B61C
130 #define IGBE_82576_SYSTIML     0x0B600
131 #define IGBE_82576_SYSTIMH     0x0B604
132 #define IGBE_82576_TIMINCA     0x0B608
133 #define IGBE_82576_TIMADJL     0x0B60C
134 #define IGBE_82576_TIMADJH     0x0B610
135 #define IGBE_82576_TSAUXC      0x0B640
136 #define IGBE_82576_TRGTTIML0   0x0B644
137 #define IGBE_82576_TRGTTIMH0   0x0B648
138 #define IGBE_82576_TRGTTIML1   0x0B64C
139 #define IGBE_82576_TRGTTIMH1   0x0B650
140 #define IGBE_82576_AUXSTMPL0   0x0B65C
141 #define IGBE_82576_AUXSTMPH0   0x0B660
142 #define IGBE_82576_AUXSTMPL1   0x0B664
143 #define IGBE_82576_AUXSTMPH1   0x0B668
144 #define IGBE_82576_TSYNCRXCFG  0x05F50
145 #define IGBE_82576_TSSDP       0x0003C
146
147 /*
148  * 10GbE 82599 Niantic registers used for IEEE1588 hardware support
149  */
150 #define IXGBE_82599_ETQF(n) (0x05128 + (4 * (n)))
151 #define IXGBE_82599_ETQF_FILTER_ENABLE  (1 << 31)
152 #define IXGBE_82599_ETQF_1588_TIMESTAMP (1 << 30)
153
154 #define IXGBE_82599_TSYNCRXCTL 0x05188
155 #define IXGBE_82599_TSYNCRXCTL_RXTS_ENABLE (1 << 4)
156
157 #define IXGBE_82599_RXSTMPL    0x051E8
158 #define IXGBE_82599_RXSTMPH    0x051A4
159 #define IXGBE_82599_RXSATRL    0x051A0
160 #define IXGBE_82599_RXSATRH    0x051A8
161 #define IXGBE_82599_RXMTRL     0x05120
162 #define IXGBE_82599_TSYNCTXCTL 0x08C00
163 #define IXGBE_82599_TSYNCTXCTL_TXTS_ENABLE (1 << 4)
164
165 #define IXGBE_82599_TXSTMPL    0x08C04
166 #define IXGBE_82599_TXSTMPH    0x08C08
167 #define IXGBE_82599_SYSTIML    0x08C0C
168 #define IXGBE_82599_SYSTIMH    0x08C10
169 #define IXGBE_82599_TIMINCA    0x08C14
170 #define IXGBE_82599_TIMADJL    0x08C18
171 #define IXGBE_82599_TIMADJH    0x08C1C
172 #define IXGBE_82599_TSAUXC     0x08C20
173 #define IXGBE_82599_TRGTTIML0  0x08C24
174 #define IXGBE_82599_TRGTTIMH0  0x08C28
175 #define IXGBE_82599_TRGTTIML1  0x08C2C
176 #define IXGBE_82599_TRGTTIMH1  0x08C30
177 #define IXGBE_82599_AUXSTMPL0  0x08C3C
178 #define IXGBE_82599_AUXSTMPH0  0x08C40
179 #define IXGBE_82599_AUXSTMPL1  0x08C44
180 #define IXGBE_82599_AUXSTMPH1  0x08C48
181
182 /**
183  * Mandatory ETQF register for IEEE1588 packets filter.
184  */
185 #define ETQF_FILTER_1588_REG 3
186
187 /**
188  * Recommended value for increment and period of
189  * the Increment Attribute Register.
190  */
191 #define IEEE1588_TIMINCA_INIT ((0x02 << 24) | 0x00F42400)
192
193 /**
194  * Data structure with pointers to port-specific functions.
195  */
196 typedef void (*ieee1588_start_t)(portid_t pi); /**< Start IEEE1588 feature. */
197 typedef void (*ieee1588_stop_t)(portid_t pi);  /**< Stop IEEE1588 feature.  */
198 typedef int  (*tmst_read_t)(portid_t pi, uint64_t *tmst); /**< Read TMST regs */
199
200 struct port_ieee1588_ops {
201         ieee1588_start_t ieee1588_start;
202         ieee1588_stop_t  ieee1588_stop;
203         tmst_read_t      rx_tmst_read;
204         tmst_read_t      tx_tmst_read;
205 };
206
207 /**
208  * 1GbE 82576 IEEE1588 operations.
209  */
210 static void
211 igbe_82576_ieee1588_start(portid_t pi)
212 {
213         uint32_t tsync_ctl;
214
215         /*
216          * Start incrementation of the System Time registers used to
217          * timestamp PTP packets.
218          */
219         port_id_pci_reg_write(pi, IGBE_82576_TIMINCA, IEEE1588_TIMINCA_INIT);
220         port_id_pci_reg_write(pi, IGBE_82576_TSAUXC, 0);
221
222         /*
223          * Enable L2 filtering of IEEE1588 Ethernet frame types.
224          */
225         port_id_pci_reg_write(pi, IGBE_82576_ETQF(ETQF_FILTER_1588_REG),
226                               (ETHER_TYPE_1588 |
227                                IGBE_82576_ETQF_FILTER_ENABLE |
228                                IGBE_82576_ETQF_1588_TIMESTAMP));
229
230         /*
231          * Enable timestamping of received PTP packets.
232          */
233         tsync_ctl = port_id_pci_reg_read(pi, IGBE_82576_TSYNCRXCTL);
234         tsync_ctl |= IGBE_82576_TSYNCRXCTL_RXTS_ENABLE;
235         port_id_pci_reg_write(pi, IGBE_82576_TSYNCRXCTL, tsync_ctl);
236
237         /*
238          * Enable Timestamping of transmitted PTP packets.
239          */
240         tsync_ctl = port_id_pci_reg_read(pi, IGBE_82576_TSYNCTXCTL);
241         tsync_ctl |= IGBE_82576_TSYNCTXCTL_TXTS_ENABLE;
242         port_id_pci_reg_write(pi, IGBE_82576_TSYNCTXCTL, tsync_ctl);
243 }
244
245 static void
246 igbe_82576_ieee1588_stop(portid_t pi)
247 {
248         uint32_t tsync_ctl;
249
250         /*
251          * Disable Timestamping of transmitted PTP packets.
252          */
253         tsync_ctl = port_id_pci_reg_read(pi, IGBE_82576_TSYNCTXCTL);
254         tsync_ctl &= ~IGBE_82576_TSYNCTXCTL_TXTS_ENABLE;
255         port_id_pci_reg_write(pi, IGBE_82576_TSYNCTXCTL, tsync_ctl);
256
257         /*
258          * Disable timestamping of received PTP packets.
259          */
260         tsync_ctl = port_id_pci_reg_read(pi, IGBE_82576_TSYNCRXCTL);
261         tsync_ctl &= ~IGBE_82576_TSYNCRXCTL_RXTS_ENABLE;
262         port_id_pci_reg_write(pi, IGBE_82576_TSYNCRXCTL, tsync_ctl);
263
264         /*
265          * Disable L2 filtering of IEEE1588 Ethernet types.
266          */
267         port_id_pci_reg_write(pi, IGBE_82576_ETQF(ETQF_FILTER_1588_REG), 0);
268
269         /*
270          * Stop incrementation of the System Time registers.
271          */
272         port_id_pci_reg_write(pi, IGBE_82576_TIMINCA, 0);
273 }
274
275 /**
276  * Return the 64-bit value contained in the RX IEEE1588 timestamp registers
277  * of a 1GbE 82576 port.
278  *
279  * @param pi
280  *   The port identifier.
281  *
282  * @param tmst
283  *   The address of a 64-bit variable to return the value of the RX timestamp.
284  *
285  * @return
286  *  -1: the RXSTMPL and RXSTMPH registers of the port are not valid.
287  *   0: the variable pointed to by the "tmst" parameter contains the value
288  *      of the RXSTMPL and RXSTMPH registers of the port.
289  */
290 static int
291 igbe_82576_rx_timestamp_read(portid_t pi, uint64_t *tmst)
292 {
293         uint32_t tsync_rxctl;
294         uint32_t rx_stmpl;
295         uint32_t rx_stmph;
296
297         tsync_rxctl = port_id_pci_reg_read(pi, IGBE_82576_TSYNCRXCTL);
298         if ((tsync_rxctl & 0x01) == 0)
299                 return (-1);
300
301         rx_stmpl = port_id_pci_reg_read(pi, IGBE_82576_RXSTMPL);
302         rx_stmph = port_id_pci_reg_read(pi, IGBE_82576_RXSTMPH);
303         *tmst = (uint64_t)(((uint64_t) rx_stmph << 32) | rx_stmpl);
304         return (0);
305 }
306
307 /**
308  * Return the 64-bit value contained in the TX IEEE1588 timestamp registers
309  * of a 1GbE 82576 port.
310  *
311  * @param pi
312  *   The port identifier.
313  *
314  * @param tmst
315  *   The address of a 64-bit variable to return the value of the TX timestamp.
316  *
317  * @return
318  *  -1: the TXSTMPL and TXSTMPH registers of the port are not valid.
319  *   0: the variable pointed to by the "tmst" parameter contains the value
320  *      of the TXSTMPL and TXSTMPH registers of the port.
321  */
322 static int
323 igbe_82576_tx_timestamp_read(portid_t pi, uint64_t *tmst)
324 {
325         uint32_t tsync_txctl;
326         uint32_t tx_stmpl;
327         uint32_t tx_stmph;
328
329         tsync_txctl = port_id_pci_reg_read(pi, IGBE_82576_TSYNCTXCTL);
330         if ((tsync_txctl & 0x01) == 0)
331                 return (-1);
332
333         tx_stmpl = port_id_pci_reg_read(pi, IGBE_82576_TXSTMPL);
334         tx_stmph = port_id_pci_reg_read(pi, IGBE_82576_TXSTMPH);
335         *tmst = (uint64_t)(((uint64_t) tx_stmph << 32) | tx_stmpl);
336         return (0);
337 }
338
339 static struct port_ieee1588_ops igbe_82576_ieee1588_ops = {
340         .ieee1588_start = igbe_82576_ieee1588_start,
341         .ieee1588_stop  = igbe_82576_ieee1588_stop,
342         .rx_tmst_read   = igbe_82576_rx_timestamp_read,
343         .tx_tmst_read   = igbe_82576_tx_timestamp_read,
344 };
345
346 /**
347  * 10GbE 82599 IEEE1588 operations.
348  */
349 static void
350 ixgbe_82599_ieee1588_start(portid_t pi)
351 {
352         uint32_t tsync_ctl;
353
354         /*
355          * Start incrementation of the System Time registers used to
356          * timestamp PTP packets.
357          */
358         port_id_pci_reg_write(pi, IXGBE_82599_TIMINCA, IEEE1588_TIMINCA_INIT);
359
360         /*
361          * Enable L2 filtering of IEEE1588 Ethernet frame types.
362          */
363         port_id_pci_reg_write(pi, IXGBE_82599_ETQF(ETQF_FILTER_1588_REG),
364                               (ETHER_TYPE_1588 |
365                                IXGBE_82599_ETQF_FILTER_ENABLE |
366                                IXGBE_82599_ETQF_1588_TIMESTAMP));
367
368         /*
369          * Enable timestamping of received PTP packets.
370          */
371         tsync_ctl = port_id_pci_reg_read(pi, IXGBE_82599_TSYNCRXCTL);
372         tsync_ctl |= IXGBE_82599_TSYNCRXCTL_RXTS_ENABLE;
373         port_id_pci_reg_write(pi, IXGBE_82599_TSYNCRXCTL, tsync_ctl);
374
375         /*
376          * Enable Timestamping of transmitted PTP packets.
377          */
378         tsync_ctl = port_id_pci_reg_read(pi, IXGBE_82599_TSYNCTXCTL);
379         tsync_ctl |= IXGBE_82599_TSYNCTXCTL_TXTS_ENABLE;
380         port_id_pci_reg_write(pi, IXGBE_82599_TSYNCTXCTL, tsync_ctl);
381 }
382
383 static void
384 ixgbe_82599_ieee1588_stop(portid_t pi)
385 {
386         uint32_t tsync_ctl;
387
388         /*
389          * Disable Timestamping of transmitted PTP packets.
390          */
391         tsync_ctl = port_id_pci_reg_read(pi, IXGBE_82599_TSYNCTXCTL);
392         tsync_ctl &= ~IXGBE_82599_TSYNCTXCTL_TXTS_ENABLE;
393         port_id_pci_reg_write(pi, IXGBE_82599_TSYNCTXCTL, tsync_ctl);
394
395         /*
396          * Disable timestamping of received PTP packets.
397          */
398         tsync_ctl = port_id_pci_reg_read(pi, IXGBE_82599_TSYNCRXCTL);
399         tsync_ctl &= ~IXGBE_82599_TSYNCRXCTL_RXTS_ENABLE;
400         port_id_pci_reg_write(pi, IXGBE_82599_TSYNCRXCTL, tsync_ctl);
401
402         /*
403          * Disable L2 filtering of IEEE1588 Ethernet frame types.
404          */
405         port_id_pci_reg_write(pi, IXGBE_82599_ETQF(ETQF_FILTER_1588_REG), 0);
406
407         /*
408          * Stop incrementation of the System Time registers.
409          */
410         port_id_pci_reg_write(pi, IXGBE_82599_TIMINCA, 0);
411 }
412
413 /**
414  * Return the 64-bit value contained in the RX IEEE1588 timestamp registers
415  * of a 10GbE 82599 port.
416  *
417  * @param pi
418  *   The port identifier.
419  *
420  * @param tmst
421  *   The address of a 64-bit variable to return the value of the TX timestamp.
422  *
423  * @return
424  *  -1: the RX timestamp registers of the port are not valid.
425  *   0: the variable pointed to by the "tmst" parameter contains the value
426  *      of the RXSTMPL and RXSTMPH registers of the port.
427  */
428 static int
429 ixgbe_82599_rx_timestamp_read(portid_t pi, uint64_t *tmst)
430 {
431         uint32_t tsync_rxctl;
432         uint32_t rx_stmpl;
433         uint32_t rx_stmph;
434
435         tsync_rxctl = port_id_pci_reg_read(pi, IXGBE_82599_TSYNCRXCTL);
436         if ((tsync_rxctl & 0x01) == 0)
437                 return (-1);
438
439         rx_stmpl = port_id_pci_reg_read(pi, IXGBE_82599_RXSTMPL);
440         rx_stmph = port_id_pci_reg_read(pi, IXGBE_82599_RXSTMPH);
441         *tmst = (uint64_t)(((uint64_t) rx_stmph << 32) | rx_stmpl);
442         return (0);
443 }
444
445 /**
446  * Return the 64-bit value contained in the TX IEEE1588 timestamp registers
447  * of a 10GbE 82599 port.
448  *
449  * @param pi
450  *   The port identifier.
451  *
452  * @param tmst
453  *   The address of a 64-bit variable to return the value of the TX timestamp.
454  *
455  * @return
456  *  -1: the TXSTMPL and TXSTMPH registers of the port are not valid.
457  *   0: the variable pointed to by the "tmst" parameter contains the value
458  *      of the TXSTMPL and TXSTMPH registers of the port.
459  */
460 static int
461 ixgbe_82599_tx_timestamp_read(portid_t pi, uint64_t *tmst)
462 {
463         uint32_t tsync_txctl;
464         uint32_t tx_stmpl;
465         uint32_t tx_stmph;
466
467         tsync_txctl = port_id_pci_reg_read(pi, IXGBE_82599_TSYNCTXCTL);
468         if ((tsync_txctl & 0x01) == 0)
469                 return (-1);
470
471         tx_stmpl = port_id_pci_reg_read(pi, IXGBE_82599_TXSTMPL);
472         tx_stmph = port_id_pci_reg_read(pi, IXGBE_82599_TXSTMPH);
473         *tmst = (uint64_t)(((uint64_t) tx_stmph << 32) | tx_stmpl);
474         return (0);
475 }
476
477 static struct port_ieee1588_ops ixgbe_82599_ieee1588_ops = {
478         .ieee1588_start = ixgbe_82599_ieee1588_start,
479         .ieee1588_stop  = ixgbe_82599_ieee1588_stop,
480         .rx_tmst_read   = ixgbe_82599_rx_timestamp_read,
481         .tx_tmst_read   = ixgbe_82599_tx_timestamp_read,
482 };
483
484 static void
485 port_ieee1588_rx_timestamp_check(portid_t pi)
486 {
487         struct port_ieee1588_ops *ieee_ops;
488         uint64_t rx_tmst;
489
490         ieee_ops = (struct port_ieee1588_ops *)ports[pi].fwd_ctx;
491         if (ieee_ops->rx_tmst_read(pi, &rx_tmst) < 0) {
492                 printf("Port %u: RX timestamp registers not valid\n",
493                        (unsigned) pi);
494                 return;
495         }
496         printf("Port %u RX timestamp value 0x%"PRIu64"\n",
497                (unsigned) pi, rx_tmst);
498 }
499
500 #define MAX_TX_TMST_WAIT_MICROSECS 1000 /**< 1 milli-second */
501
502 static void
503 port_ieee1588_tx_timestamp_check(portid_t pi)
504 {
505         struct port_ieee1588_ops *ieee_ops;
506         uint64_t tx_tmst;
507         unsigned wait_us;
508
509         ieee_ops = (struct port_ieee1588_ops *)ports[pi].fwd_ctx;
510         wait_us = 0;
511         while ((ieee_ops->tx_tmst_read(pi, &tx_tmst) < 0) &&
512                (wait_us < MAX_TX_TMST_WAIT_MICROSECS)) {
513                 rte_delay_us(1);
514                 wait_us++;
515         }
516         if (wait_us >= MAX_TX_TMST_WAIT_MICROSECS) {
517                 printf("Port %u: TX timestamp registers not valid after"
518                        "%u micro-seconds\n",
519                        (unsigned) pi, (unsigned) MAX_TX_TMST_WAIT_MICROSECS);
520                 return;
521         }
522         printf("Port %u TX timestamp value 0x%"PRIu64" validated after "
523                "%u micro-second%s\n",
524                (unsigned) pi, tx_tmst, wait_us,
525                (wait_us == 1) ? "" : "s");
526 }
527
528 static void
529 ieee1588_packet_fwd(struct fwd_stream *fs)
530 {
531         struct rte_mbuf  *mb;
532         struct ether_hdr *eth_hdr;
533         struct ptpv2_msg *ptp_hdr;
534         uint16_t eth_type;
535
536         /*
537          * Receive 1 packet at a time.
538          */
539         if (rte_eth_rx_burst(fs->rx_port, fs->rx_queue, &mb, 1) == 0)
540                 return;
541
542         fs->rx_packets += 1;
543
544         /*
545          * Check that the received packet is a PTP packet that was detected
546          * by the hardware.
547          */
548         eth_hdr = rte_pktmbuf_mtod(mb, struct ether_hdr *);
549         eth_type = rte_be_to_cpu_16(eth_hdr->ether_type);
550         if (! (mb->ol_flags & PKT_RX_IEEE1588_PTP)) {
551                 if (eth_type == ETHER_TYPE_1588) {
552                         printf("Port %u Received PTP packet not filtered"
553                                " by hardware\n",
554                                (unsigned) fs->rx_port);
555                 } else {
556                         printf("Port %u Received non PTP packet type=0x%4x "
557                                "len=%u\n",
558                                (unsigned) fs->rx_port, eth_type,
559                                (unsigned) mb->pkt_len);
560                 }
561                 rte_pktmbuf_free(mb);
562                 return;
563         }
564         if (eth_type != ETHER_TYPE_1588) {
565                 printf("Port %u Received NON PTP packet wrongly"
566                        " detected by hardware\n",
567                        (unsigned) fs->rx_port);
568                 rte_pktmbuf_free(mb);
569                 return;
570         }
571
572         /*
573          * Check that the received PTP packet is a PTP V2 packet of type
574          * PTP_SYNC_MESSAGE.
575          */
576         ptp_hdr = (struct ptpv2_msg *) (rte_pktmbuf_mtod(mb, char *) +
577                                         sizeof(struct ether_hdr));
578         if (ptp_hdr->version != 0x02) {
579                 printf("Port %u Received PTP V2 Ethernet frame with wrong PTP"
580                        " protocol version 0x%x (should be 0x02)\n",
581                        (unsigned) fs->rx_port, ptp_hdr->version);
582                 rte_pktmbuf_free(mb);
583                 return;
584         }
585         if (ptp_hdr->msg_id != PTP_SYNC_MESSAGE) {
586                 printf("Port %u Received PTP V2 Ethernet frame with unexpected"
587                        " messageID 0x%x (expected 0x0 - PTP_SYNC_MESSAGE)\n",
588                        (unsigned) fs->rx_port, ptp_hdr->msg_id);
589                 rte_pktmbuf_free(mb);
590                 return;
591         }
592         printf("Port %u IEEE1588 PTP V2 SYNC Message filtered by hardware\n",
593                (unsigned) fs->rx_port);
594
595         /*
596          * Check that the received PTP packet has been timestamped by the
597          * hardware.
598          */
599         if (! (mb->ol_flags & PKT_RX_IEEE1588_TMST)) {
600                 printf("Port %u Received PTP packet not timestamped"
601                        " by hardware\n",
602                        (unsigned) fs->rx_port);
603                 rte_pktmbuf_free(mb);
604                 return;
605         }
606
607         /* Check the RX timestamp */
608         port_ieee1588_rx_timestamp_check(fs->rx_port);
609
610         /* Forward PTP packet with hardware TX timestamp */
611         mb->ol_flags |= PKT_TX_IEEE1588_TMST;
612         fs->tx_packets += 1;
613         if (rte_eth_tx_burst(fs->rx_port, fs->tx_queue, &mb, 1) == 0) {
614                 printf("Port %u sent PTP packet dropped\n",
615                        (unsigned) fs->rx_port);
616                 fs->fwd_dropped += 1;
617                 rte_pktmbuf_free(mb);
618                 return;
619         }
620
621         /*
622          * Check the TX timestamp.
623          */
624         port_ieee1588_tx_timestamp_check(fs->rx_port);
625 }
626
627 static void
628 port_ieee1588_fwd_begin(portid_t pi)
629 {
630         struct port_ieee1588_ops *ieee_ops;
631
632         if (strcmp(ports[pi].dev_info.driver_name, "rte_igb_pmd") == 0)
633                 ieee_ops = &igbe_82576_ieee1588_ops;
634         else
635                 ieee_ops = &ixgbe_82599_ieee1588_ops;
636         ports[pi].fwd_ctx = ieee_ops;
637         (ieee_ops->ieee1588_start)(pi);
638 }
639
640 static void
641 port_ieee1588_fwd_end(portid_t pi)
642 {
643         struct port_ieee1588_ops *ieee_ops;
644
645         ieee_ops = (struct port_ieee1588_ops *)ports[pi].fwd_ctx;
646         (ieee_ops->ieee1588_stop)(pi);
647 }
648
649 struct fwd_engine ieee1588_fwd_engine = {
650         .fwd_mode_name  = "ieee1588",
651         .port_fwd_begin = port_ieee1588_fwd_begin,
652         .port_fwd_end   = port_ieee1588_fwd_end,
653         .packet_fwd     = ieee1588_packet_fwd,
654 };