Методы тестирования экспертных систем

Ниже приведено краткое описание концептуальных и методических подходов, используемых в ходе тестирования экспертных систем. Наиболее перспективный подход для оценки эффективности применения различных методов тестирования на разных этапах разработки ЭС строится на базе использования концепции мутаций программного продукта [5]. Под мутацией или мутантом понимается единичная ошибка, допущенная в процессе проектирования.

Методы тестирования экспертных систем
Название метода	Описание
А. Тестирование на основе концепции "черного ящика"	Набор тестируемых ситуаций генерируется без учета используемых в системе методов решения задачи
Случайное тестирование	Тестируемые ситуации выбираются случайным образом из пространства входных наборов данных
Выборочное тестирование входов	Пространство входных наборов данных разбивается на выборки, для которых определяются ситуации для тестирования
Выборочное тестирование выходов	Тестируемые ситуации определяются на основе выборок, сформированных для выходных наборов данных
Б. Тестирование на основе концепции "белого ящика"	Тестируемые ситуации учитывают внутреннюю структуру системы в дополнение к входным и ожидаемым выходным наборам данных
Тестирование потоков данных	Анализ системы для выявления аномальных ситуаций, связанных с описанием, использованием и уничтожением переменных
Тестирование динамических потоков	Тестируемые ситуации генерируются для прохождения различных ветвей исполнения программы
Тестирование причин и следствий	Причины и следствия определяются на основе анализа решений, и тестовые ситуации формируются путем комбинации причин
В. Тестирование полноты базы знаний	Тестирование правил на внутреннюю неполноту
Поиск конфликтных правил	Поиск правил, возбуждающихся в сходных ситуациях, но приводящих к различным результатам
Поиск избыточных правил	Поиск правил, возбуждающихся в сходных ситуациях и приводящих к сходным результатам
Поиск пересекающихся правил	Анализ системы на наличие правил, являющихся подмножеством других правил в части антецедентов или консеквентов, но не одновременно
Г. Тестирование целостности базы знаний	Тестирование правил на внутреннюю целостность
Поиск пропущенных правил	Анализ системы для нахождения пропущенных правил, приводящих к требуемым результатам
Поиск атрибутов без ссылок	Анализ системы для нахождения атрибутов, на которые не существует ссылок ни в одном правиле
Поиск атрибутов с некорректными значениями	Нахождение некорректных значений атрибутов, на которые ссылаются правила системы

Предложенный подход позволяет сформировать критерий для оценки метода тестирования на основе количества обнаруживаемых мутантов и затрат на их обнаружение на различных этапах жизненного цикла ЭС. В результате можно сформировать показатель "стоимость" пропущенных соответственным методом тестирования мутаций по всем этапам разработки прикладной системы:

где - сумма по этапам жизненного цикла (i = идентификация, концептуализация, формализация, выполнение);

- доля мутантов, обнаруженных методом тестирования m на этапе i;

- относительный вес стоимости пропущенной мутации на этапе i.

Проведенные по инициативе американского фонда National Science Foundation исследования позволяют сделать выводы об эффективности методов тестирования:

• случайное и выборочное тестирование наиболее эффективно на этапе идентификации;

• выборочное тестирование и анализ динамических потоков - на этапе концептуализации;

• поиск атрибутов без ссылок и выборочное тестирование - на стадии формализации;

• анализ потоков данных, поиск атрибутов с некорректными значениями и тестирование на основе концепции "черный ящик" - на этапе выполнения;

• выборочное тестирование и тестирование динамических потоков - при сквозном тестировании на всех фазах жизненного цикла экспертной системы.