app/test/autotest.py

   1 #!/usr/bin/env python
   2
   3 #   BSD LICENSE
   4 #
   5 #   Copyright(c) 2010-2014 Intel Corporation. All rights reserved.
   6 #   All rights reserved.
   7 #
   8 #   Redistribution and use in source and binary forms, with or without
   9 #   modification, are permitted provided that the following conditions
  10 #   are met:
  11 #
  12 #     * Redistributions of source code must retain the above copyright
  13 #       notice, this list of conditions and the following disclaimer.
  14 #     * Redistributions in binary form must reproduce the above copyright
  15 #       notice, this list of conditions and the following disclaimer in
  16 #       the documentation and/or other materials provided with the
  17 #       distribution.
  18 #     * Neither the name of Intel Corporation nor the names of its
  19 #       contributors may be used to endorse or promote products derived
  20 #       from this software without specific prior written permission.
  21 #
  22 #   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  23 #   "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  24 #   LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  25 #   A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  26 #   OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  27 #   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  28 #   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  29 #   DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  30 #   THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  31 #   (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  32 #   OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  33
  34 # Script that uses either test app or qemu controlled by python-pexpect
  35 from __future__ import print_function
  36 import autotest_data
  37 import autotest_runner
  38 import sys
  39
  40
  41 def usage():
  42     print("Usage: autotest.py [test app|test iso image] ",
  43           "[target] [whitelist|-blacklist]")
  44
  45 if len(sys.argv) < 3:
  46     usage()
  47     sys.exit(1)
  48
  49 target = sys.argv[2]
  50
  51 test_whitelist = None
  52 test_blacklist = None
  53
  54 # get blacklist/whitelist
  55 if len(sys.argv) > 3:
  56     testlist = sys.argv[3].split(',')
  57     testlist = [test.lower() for test in testlist]
  58     if testlist[0].startswith('-'):
  59         testlist[0] = testlist[0].lstrip('-')
  60         test_blacklist = testlist
  61     else:
  62         test_whitelist = testlist
  63
  64 cmdline = "%s -c f -n 4" % (sys.argv[1])
  65
  66 print(cmdline)
  67
  68 runner = autotest_runner.AutotestRunner(cmdline, target, test_blacklist,
  69                                         test_whitelist)
  70
  71 for test_group in autotest_data.parallel_test_group_list:
  72     runner.add_parallel_test_group(test_group)
  73
  74 for test_group in autotest_data.non_parallel_test_group_list:
  75     runner.add_non_parallel_test_group(test_group)
  76
  77 num_fails = runner.run_all_tests()
  78
  79 sys.exit(num_fails)