git.sur5r.net Git - u-boot/blob - tools/patman/test_util.py

   1 # SPDX-License-Identifier: GPL-2.0+
   2 #
   3 # Copyright (c) 2016 Google, Inc
   4 #
   5
   6 import glob
   7 import os
   8 import sys
   9
  10 import command
  11
  12 def RunTestCoverage(prog, filter_fname, exclude_list, build_dir, required=None):
  13     """Run tests and check that we get 100% coverage
  14
  15     Args:
  16         prog: Program to run (with be passed a '-t' argument to run tests
  17         filter_fname: Normally all *.py files in the program's directory will
  18             be included. If this is not None, then it is used to filter the
  19             list so that only filenames that don't contain filter_fname are
  20             included.
  21         exclude_list: List of file patterns to exclude from the coverage
  22             calculation
  23         build_dir: Build directory, used to locate libfdt.py
  24         required: List of modules which must be in the coverage report
  25
  26     Raises:
  27         ValueError if the code coverage is not 100%
  28     """
  29     # This uses the build output from sandbox_spl to get _libfdt.so
  30     path = os.path.dirname(prog)
  31     if filter_fname:
  32         glob_list = glob.glob(os.path.join(path, '*.py'))
  33         glob_list = [fname for fname in glob_list if filter_fname in fname]
  34     else:
  35         glob_list = []
  36     glob_list += exclude_list
  37     glob_list += ['*libfdt.py', '*site-packages*']
  38     cmd = ('PYTHONPATH=$PYTHONPATH:%s/sandbox_spl/tools python-coverage run '
  39            '--omit "%s" %s -t' % (build_dir, ','.join(glob_list), prog))
  40     os.system(cmd)
  41     stdout = command.Output('python-coverage', 'report')
  42     lines = stdout.splitlines()
  43     if required:
  44         # Convert '/path/to/name.py' just the module name 'name'
  45         test_set = set([os.path.splitext(os.path.basename(line.split()[0]))[0]
  46                         for line in lines if '/etype/' in line])
  47         missing_list = required
  48         missing_list.difference_update(test_set)
  49         if missing_list:
  50             print 'Missing tests for %s' % (', '.join(missing_list))
  51             print stdout
  52             ok = False
  53
  54     coverage = lines[-1].split(' ')[-1]
  55     ok = True
  56     print coverage
  57     if coverage != '100%':
  58         print stdout
  59         print ("Type 'python-coverage html' to get a report in "
  60                'htmlcov/index.html')
  61         print 'Coverage error: %s, but should be 100%%' % coverage
  62         ok = False
  63     if not ok:
  64         raise ValueError('Test coverage failure')