Оценка точности и достоверности результатов

 

Оценка качества модели является завершающим этапом ее разработки и преследует две цели:

- проверить соответствие модели ее предназначению (целям исследования);

- оценить достоверность и статистические характеристики результатов, получаемых при проведении модельных экспериментов.

При аналитическом моделировании достоверность результатов определяется двумя основными факторами:

- корректным выбором математического аппарата, используемого для описания исследуемой системы;

- методической ошибкой, присущей данному математическому методу.

При имитационном моделировании на достоверность результатов влияет целый ряд дополнительных факторов, основными из которых являются:

- моделирование случайных факторов, основанное на использовании датчиков случайных чисел, которые могут вносить «искажения» в поведение модели;

- наличие нестационарного режима работы модели;

- использование нескольких разнотипных математических методов в рамках одной модели;

- зависимость результатов моделирования от плана эксперимента;

- необходимость синхронизации работы отдельных компонент модели;

- наличие модели рабочей нагрузки, качество которой зависит, в свою очередь, от тех же факторов.

Пригодность имитационной модели для решения задач исследования характеризуется тем, в какой степени она обладает так называемыми целевыми свойствами. Основными из них являются:

- адекватность;

- устойчивость;

- чувствительность.

Далее рассмотрены некоторые способы проведения оценки модели по каждому из них [3,18].

Оценка адекватности

В общем случае под адекватностью понимают степень соответствия модели тому реальному явлению или объекту, для описания которого она строится.

Вместе с тем, создаваемая модель ориентирована, как правило, на исследование определенного подмножества свойств этого объекта. Поэтому можно считать, что адекватность модели определяется степенью ее соответствия не столько реальному объекту, сколько целям исследования. В наибольшей степени это утверждение справедливо относительно моделей проектируемых систем (то есть в ситуациях, когда реальная система вообще не существует).

Тем не менее, во многих случаях полезно иметь формальное подтверждение (или обоснование) адекватности разработанной модели. Один из наиболее распространенных способов такого обоснования — использование методов математической статистики. Суть этих методов заключается в проверке выдвинутой гипотезы (в данном случае - об адекватности модели) на основе некоторых статистических критериев.

При проверке гипотез методами математической статистики необходимо иметь в виду, что статистические критерии не могут доказать ни одной гипотезы - они могут лишь указать на отсутствие опровержения.

Процедура оценки основана на сравнении измерений на реальной системе и результатов экспериментов на модели и может проводиться различными способами. Наиболее распространенные из них:

- по средним значениям откликов модели и системы;

- по дисперсиям отклонений откликов модели от среднего значения откликов системы;

- по максимальному значению относительных отклонений откликов модели от откликов системы.

Названные способы оценки достаточно близки между собой по сути, поэтому ограничимся рассмотрением первого из них. При этом способе проверяется гипотеза о близости среднего значения наблюдаемой переменной Y среднему значению отклика реальной системы Y*.

В результате N₀ опытов на реальной системе получают множество значений (выборку) Y*. Выполнив N_M экспериментов на модели, также получают множество значений наблюдаемой переменной Y.

Затем вычисляются оценки математического ожидания и дисперсии откликов модели и системы, после чего выдвигается гипотеза о близости средних значений величин Y* и Y (в статистическом смысле). Основой для проверки гипотезы является t -статистика (распределение Стьюдента). Ее значение, вычисленное по результатам испытаний, сравнивается с критическим значением t_кр, взятым из справочной таблицы. Если выполняется неравенство t_n<t_кр, то гипотеза принимается. Необходимо еще раз подчеркнуть, что статистические методы применимы только в том случае, если оценивается адекватность модели существующей системе. На проектируемой системе провести измерения, естественно, не представляется возможным.

Единственный способ преодолеть это препятствие заключается в том, чтобы принять в качестве эталонного объекта концептуальную модель проектируемой системы. Тогда оценка адекватности программно реализованной модели заключается в проверке того, насколько корректно она отражает концептуальную модель. Данная проблема сходна с проверкой корректности любой компьютерной программы, и ее можно решать соответствующими методами, например с помощью тестирования.

Оценка устойчивости

При оценке адекватности модели как существующей, так и проектируемой системы реально может быть использовано лишь ограниченное подмножество всех возможных значений входных параметров (рабочей нагрузки и внешней среды). В связи с этим для обоснования достоверности получаемых результатов моделирования большое значение имеет проверка устойчивости модели. В теории моделирования это понятие трактуется следующим образом.

Устойчивость модели — это ее способность сохранять адекватность при исследовании эффективности системы на всем возможном диапазоне рабочей нагрузки, а также при внесении изменений в конфигурацию системы.

Универсальной процедуры проверки устойчивости модели не существует. Разработчик вынужден прибегать к методам «для данного случая», частичным тестам и здравому смыслу. Часто полезна апостериорная проверка. Она состоит в сравнении результатов моделирования и результатов измерений на системе после внесения в нее изменений. Если результаты моделирования приемлемы, уверенность в устойчивости модели возрастает.

В общем случае можно утверждать, что чем ближе структура модели структуре системы и чем выше степень детализации, тем устойчивее модель. Устойчивость результатов моделирования может быть также оценена методами математической статистики. Здесь уместно вспомнить основную задачу математической статистики. Она заключается в том, чтобы проверить гипотезу относительно свойств некоторого множества элементов, называемого генеральной совокупностью, оценивая свойства какого-либо подмножества генеральной совокупности (то есть выборки). В генеральной совокупности исследователя обычно интересует некоторый признак, который обусловлен случайностью и может иметь качественный или количественный характер.

В данном случае именно устойчивость результатов моделирования можно рассматривать как признак, подлежащий оценке. Для проверки гипотезы об устойчивости результатов может быть использован критерий Уилкоксона, который служит для проверки того, относятся ли две выборки к одной и той же генеральной совокупности (то есть, обладают ли они одним и тем же статистическим признаком). Например, в двух партиях некоторой продукции измеряется определенный признак, и требуется проверить гипотезу о том, что этот признак имеет в обеих партиях одинаковое распределение; другими словами, необходимо убедиться, что технологический процесс от партии к партии изменяется несущественно.

При статистической оценке устойчивости модели соответствующая гипотеза может быть сформулирована следующим образом: при изменении входной (рабочей) нагрузки или структуры ИМ закон распределения результатов моделирования остается неизменным.

Проверку указанной гипотезы Н проводят при следующих исходных данных: есть две выборки Х = (х₁,..., х_n) и Y = (y₁,..., y_m), полученные для различных значений рабочей нагрузки; относительно законов распределения Х и Y никаких предположений не делается.

Значения обеих выборок упорядочиваются вместе по возрастанию. Затем анализируется взаимное расположение х_i и у_j. В случае у_j < х_i говорят, что пара значений (х_i, у_j) образует инверсию.

Подсчитывают полное число инверсий U. Если гипотеза верна, то U не должно сильно отклоняться от своего математического ожидания М.

От гипотезы отказываются, если | U- М| > U_кр (U_кр определяют по таблице для заданного уровня значимости).

Оценка чувствительности ИМ. Очевидно, что устойчивость является положительным свойством модели. Однако если изменение входных воздействий или параметров модели (в некотором заданном диапазоне) не отражается на значениях выходных параметров, то польза от такой модели невелика (ее можно назвать «бесчувственной»). В связи с этим возникает задача оценивания чувствительности модели к изменению параметров рабочей нагрузки и внутренних параметров самой системы.

Такую оценку проводят по каждому параметру Х_k в отдельности. Основана она на том, что обычно диапазон возможных изменений параметра известен. Одна из наиболее простых и распространенных процедур оценивания состоит в следующем.

1. вычисляется величина относительного среднего приращения параметра X_k:

;

2. проводится пара модельных экспериментов при значениях Х_k = Х_kmax и X_k = X_kmin и средних фиксированных значениях остальных параметров. Определяются значения отклика модели Y₁=f(Х_kmax) и Y₂ = f (Х_kmin);

3. вычисляется ее относительное приращение наблюдаемой переменной Y:

В результате для k- го параметра модели имеют пару значений (ΔХ_k, ΔY_k), характеризующую чувствительность модели по этому параметру.

Аналогично формируются пары для остальных параметров модели, которые образуют множество {ΔХ_k, ΔY_k}.

Данные, полученные при оценке чувствительности модели, могут быть использованы, в частности, при планировании экспериментов: большее внимание должно уделяться тем параметрам, по которым модель является более чувствительной.

Калибровка модели

Если в результате проведенной оценки качества модели оказалось, что ее целевые свойства не удовлетворяют разработчика, необходимо выполнить ее калибровку, то есть коррекцию с целью приведения в соответствие предъявляемым требованиям. Как правило, процесс калибровки носит итеративный характер и состоит из трех основных этапов:

- глобальные изменения модели (например, введение новых процессов, изменение типов событий и т. д.);

- локальные изменения (в частности, изменение некоторых законов распределения моделируемых случайных величин);

- изменение специальных параметров, называемых калибровочными.

На первый взгляд, структурные изменения модели, как более сложные, должны рассматриваться только после того, как все попытки калибровки модели путем изменения параметров и локальных модификаций окажутся безуспешными. Однако такая стратегия может скрыть структурное несоответствие или недостаточную степень детальности модели. В этом смысле начинать калибровку с внесения глобальных изменений значительно безопаснее.

Вообще целесообразно объединить оценку целевых свойств ИМ и ее калибровку в единый процесс.

Процедура калибровки состоит из трех шагов, каждый из которых является итеративным

- Сравнение выходных распределений. Цель - оценка адекватности ИМ. Критерии сравнения могут быть различны. В частности, может использоваться величина разности между средними значениями откликов модели и системы. Устранение различий на этом шаге основано на внесении глобальных изменений.

- Балансировка модели. Основная задача - оценка устойчивости и чувствительности модели. По его результатам, как правило, производятся локальные изменения (но возможны и глобальные).

- Оптимизация модели. Цель этого этапа - обеспечение требуемой точности результатов. Здесь возможны три основных направления работ:

1. дополнительная проверка качества датчиков случайных чисел;

2. снижение влияния переходного режима;

3. применение специальных методов понижения дисперсии.

 

Контрольные вопросы

1. Для чего нужна оценка точности модели?

2. Как определить достоверность результатов имитационных моделей?

3. Дайте формальную оценку адекватности, устойчивости и чувствительности модели.

4. Где применяется калибровка моделей?

5. Из чего состоит оптимизация модели?