Принципы оценки адекватности и точности модели

 

Какой бы сложной и полной ни была модель, она тем не менее является приближенным отображением реального объекта и отражает его при определенных принятых допущениях. Однако до тех пор, пока не доказана адекватность модели реальной обстановке, нельзя с уверенностью утверждать, что с ее помощью получатся те результаты, которые действительно характеризуют функционирование исследуемого объекта. Любые исследования на неадекватной модели теряют смысл.

С ростом адекватности и точности модели возрастают как ее стоимость, так и ценность для исследования, в связи с чем приходится решать вопрос о компромиссе между ее стоимостью и последствиями ошибочных решений из-за ее неадекватности исследуемому процессу.

Поэтому на практике построение модели представляет собой итеративный процесс усовершенствования модели, а следовательно, и исследования объекта до тех пор, пока это считается разумным. Правильность построения модели может быть проверена только на практике за счет повторения цикла "построение модели – проверка модели”.

Следует отметить, что понятие адекватности модели не имеет количественного измерения: модель либо адекватна явлению, либо не адекватна (естественно, с точки зрения выносящего суждение — заказчика).

Оценка адекватности модели предполагает проверку:

- полноты учета основных факторов и ограничений, влияющих на работу системы;

- соответствия исходных данных модели реальным (в частности, согласия используемых законов распределения с первичными данными);

- наличия в модели всех данных (таблиц, коэффициентов и т.д.),для работы уравнений, зависимостей и формул;

- правильности алгоритма моделирования, последовательности выполняемых действий;

- правильности преобразования исходных данных в конечные результаты;

- осмысленности результатов, их физическую интерпретации, понимаемости.

Модель является достоверной, если ее концептуальная модель адекватна исследуемому процессу, математическая модель адекватна концептуальной, а точностъ реализации математической модели на компьютере соответствует заданной, т.е. погрешности расчета не превышают допустимых.

После того как концептуальная модель определена и описана, необходимо проверить адекватность ее основных принципов, так как значительно легче вносить изменения на начальных этапах построения модели, чем попытаться изменить замысел на этапе реализации. Решить вопрос об адекватности концепций модели - значит согласиться с основными предпосылками и логикой, которой они связаны между собой.

Основные ошибки при формировании концептуальной модели следующие:

- неправильный выбор критериев или ограничений;

- введение в концептуальную модель несущественных факторов или отсутствие в ней ряда существенных факторов;

- неучет ряда условий функционирования объекта;

- неправильный выбор гипотез, положенных в основу структуры модели (например, по составу элементов объекта, связей между ними в процессе функционирования и т.п.).

Проверка адекватности концептуальной модели является достаточно сложной задачей, так как оценка принципов, положенных в основу модели, является субъективной.

Одним из методов проверки адекватности концептуальной модели является рассмотрение модели специалистами, не участвовавшими в ее разработке (экспертиза модели), так как они могут более объективно рассмотреть задачу и заметить слабые стороны модели, не замеченные авторами.

Основные принципиальные ошибки при переходе от концептуальной модели к математической следующие:

- структура математической модели не соответствует структуре концептуальной модели;

- модель включает неверные математические соотношения.

По окончании разработки математической модели до начала программирования необходимая проверка адекватности должна дать ответ на вопрос, насколько используемые уравнения или моделирующий алгоритм отражают концептуальную модель.

Если уравнения получены теоретическим путем, то могут быть проведены вычисления в нескольких точках с целью определения приемлемости результатов. Дополнительная проверка уравнений состоит в анализе размерностей. Необходимо убедиться, что все единицы измерения применены в соответствии с физическим смыслом, масштабирование и согласование размерностей в уравнениях проведено правильно. Кроме того, обязательными являются проверка преобразования информации от входа к выходу модели, смысловая проверка результатов в условиях, когда факторы модели принимают предельные значения.

Обычно точность реализации математической модели на компьютере рассматривают через совокупность различного рода погрешностей. Если классифицировать погрешности реализации "идеальной" модели на компьютере с точки зрения причин их возникновения, можно выделить четыре их вида, полученные в результате:

- незнания или неточного задания исходных данных;

- упрощения исходной математической модели;

- дискретной реализации математической модели на используемом компьютере, в том числе ошибки округления;

- ограниченной статистики при выборочной обработке статистической информации или ограниченным числом случайных испытаний модели на компьютере.

Как правило, погрешности моделирования представляют собой сумму систематических (неслучайных) и случайных ошибок.

Суждение об адекватности моделей диктуется решаемой задачей. Очевидно, что "академически" проверить адекватность модели, на которой получен прогноз последствия сильных заморозков на урожай плодов, в деталях невозможно. Моделируемые процессы сложны и мало изучены, число "правдоподобно" оцениваемых параметров очень велико и т.д. Однако поставленной задаче - предупредить о характере и масштабах возможных неприятностях - модель вполне адекватна.

 

Планирование модельного эксперимента

 

Проведение всякого исследования связано с определенными затратами материальных ресурсов, денежных средств, времени. Поэтому возникает естественная задача такого планирования экспериментов, будь то на реальном объекте, экспериментальном стенде, опытной делянке в поле или компьютерной модели, чтобы получить в результате его проведения все необходимые данные при ограниченных или минимальных затратах.

Спланировать эксперимент – это означает дать ответы на вопросы, где, как и когда проводить измерения. На подобные вопросы исследователь часто отвечает руководствуясь своей интуицией и опытом. Однако, такое интуитивное планирование не может гарантировать от возможных ошибок.

Для того, чтобы спланировать эксперимент, имеющий целью изучение реального объекта или его модели, сначала необходимо достаточно четко и ясно сформулировать цель эксперимента, т.е. сформулировать какие именно параметры необходимо исследовать, наблюдать), какие выбрать значения независимых переменных (входных) и зависимых переменных (выходных).

В детерминированных моделях можно выделить определенные процессы, зависящие от небольшого числа переменных, поддающихся изучению. Результаты в этом случае можно представить в виде функциональных связей. В подобных моделях значения всех независимых переменных, кроме одной, можно поддерживать на определенном уровне, а одну переменную, каждую по очереди, варьировать с целью установления ее влияния на интересующую нас выходную величину.

Количество необходимых экспериментов растет с количеством факторов. Например, если каждый фактор варьировать на m = 5 уровнях, то для каждого однофакторного эксперимента (n = 1) потребуется k = 5¹ = 5 экспериментов, для двух факторов (n = 2) - k = 5² = 25 и.т.д. Т.е. количество экспериментов равно k= mⁿ.

На реально действующих объектах, а часто и на компьютерных моделях, увеличение количества факторов приводит к большому количеству экспериментов, которое трудно осуществить.

Детерминированные системы в действительности встречаются очень редко. Чаще всего приходится иметь дело со стохастическими моделями систем, в которых действуют многие факторы, плохо поддающиеся полной стабилизации на каком либо уровне. Как например стабилизировать такой фактор реального производства, как температуру или воздуха в поле? В дополнение еще действуют ошибки от погрешностей измерений, которые даже детерминированные факторы могут сделать случайными.

Поэтому детерминированные модели, как правило, не пригодны и приходится использовать статистические модели и методы исследования. В этом случае экспериментатор сознательно отказывается от детального изучения механизма всех процессов и явлений в объекте и переносит этот принцип на модель. Суть этих методов сводится к тому, чтобы, изменяя возможно большее количество независимых переменных (факторов), найти оптимальные условия (оптимальное сочетание факторов) протекания изучаемого процесса.

Планирование эксперимента в задачах моделирования состоит в выборе логической структуры искусственного компьютерного эксперимента и позволяет обоснованно проводить выбор значений управляемых параметров для выполнения расчетов на модели.

В планировании экспериментов для описания результирующей характеристики (критерия оптимальности) используют полиномиальные модели регрессии:

.(4.5)

Пространство параметров, в котором строится функция отклика называют факторным пространством (параметры x₁ и x₂, рисунок 4.2). Коэффициенты функции отклика b₀, b_ii, b_ij и т.п. можно интерпретировать как значения частных производных в точке, вокруг которой осуществляется разложение в ряд неизвестной целевой функции.

Для поиска оптимума в области определения факторов х выбирают произвольную точку А1, (рис. 4.3). В окрестности точки А1 выделяют малую подобласть, в которой возможно описать функцию отклика полиномом первой степени. В этой подобласти осуществляют небольшую серию экспериментов (точки I), необходимую для построения линейной модели:

. (4.6)

 

 

 

Рис.4.2. Функция отклика и факторное пространство модели.

 

Коэффициенты регрессии b_i используются для определения направления градиента, следуя которому осуществляют дальнейшие опыты (точки III в окрестности точки А3. Для каждой новой подобласти вновь определяют направление градиента, по которому следуют в дальнейших опытах до тех пор, пока не достигнут оптимума — области М.

Значения коэффициентов регрессии определяются по формуле

 

, (4.7)

где x_mi – значение j -го фактора в m -м эксперименте; l_m - значение выходной характеристики в m -м эксперименте; N - общее число экспериментов в подобласти.

Информацию для проведения эксперимента записывают в матрице планирования эксперимента (табл. 4.1), называемой планом эксперимента.

Для получения коэффициентов регрессии b_i c высокой точностью и достоверностью к плану эксперимента предъявляется ряд требований, что приводит к формированию значений x_mi по специальным правилам. Процедура выбора подобласти проведения эксперимента состоит из двух этапов:

- выбор основного уровня x_oi;

- выбор интервалов варьирования I_i.

Основной уровень — центр подобласти проведения эксперимента - для первого эксперимента осуществляется на базе анализа априорной информации. В дальнейшем его величина определяется направлением градиента и шагом эксперимента.

Интервалом варьирования I_i фактора x_i называется некоторое число, прибавление которого к основному уровню даёт верхний x_2i, a вычитание - нижний уровень фактора x_1i.

Дляупрощения записи условий эксперимента и обработки экспериментальных данных масштабы по кодированным осям и начало отсчета выбирают так, чтобы верхний уровень соответствовал +1, нижний -1, а основной - 0. Эксперимент, в котором реализуются все возможные сочетания уровней факторов, называется полным факторным экспериментом. Так как число уровней каждого фактора равно двум, то в теории планирования экспериментов рассматривается полный факторный эксперимент n^3. Для двух факторов план эксперимента и геометрическая интерпретация матрицы планирования 2² приведены на рис. 4.5.

 

Таблица 4.1. Матрица планирования эксперимента: x₁, x₂,…, x_i,…, x_n - входные переменные, факторы; x₁₁, …, x_mi,…, x_Nn - уровни факторов; e- отклик модели; e₁₁, …, e_1m, …, e_1N - результат моделирования m- го опыта.

 

№ N опыта	Значение факторa x1	…	Значение факторa xi	…	Значение факторa xn	Значение результата e
	x11	…	x1i	…	x1n	el1
…	…	…	…	…	…	…
m	xm1	…	xmi	…	xmn	elm
…	…	…	…	…	…	…
N	xN1	…	xNi	…	xNn	elN

Полный факторный эксперимент 2³ будет иметь восемь опытов, а eго геометрическая интерпретация представляет собой куб. Матрица полного факторного эксперимента строится следующим образом: в первом столбце знаки меняются поочередно, во втором - через два, в третьем — через четыре и т.д. по степени 2.

Однако полный факторный эксперимент содержит избыточную информацию для определения коэффициентов регрессии b_i, для расчета которых достаточно провести только часть полного факторного эксперимента- дробный факторный эксперимент.

Реализуемая часть полного факторного эксперимента называется дробной репликой. Объем дробного факторного эксперимента определяется из следующих условий:

- число экспериментов должно быть не меньше числа неизвестных коэффициентов в уравнении регрессии;

- число экспериментов должно быть обязательно равно степени числа 3.

Как видно из табл. 4.2, применение дробного факторного эксперимента для случая 15 факторов уменьшает объем расчетов по определению направления гради-ента в 2048 раз по сравнению с полным факторным экспериментом. Увеличение числа факторов в еще большей степени способствует повышению вычислительной эффективности этого метода.

 

Рис. 4.3. Планирование имитационных экспериментов при оптимизации по градиенту.

 

 

Рис. 4.4. План эксперимента2².

 

Естественно, что далеко не любые эксперименты из плана полного факторного эксперимента могут быть использованы при формировании плана дробного факторного эксперимента. Совокупность экспериментов в дробной реплике должна удовлетворять следующим свойствам:

1.Симметричность относительно центра эксперимента — алгебраическая сумма экспериментoв - столбцов каждого фактора должна быть равна нулю, кроме столбца, отвечающего свободному члену b₀, т.е.

, (4.8)

где m - номер точки опыта; i - номер фактора; М - число различных точек плана матрицы дробной реплики; 2. Нормировка - сумма квадратов элементов каждого столбца равна числу точек матрицы, т.е.

. (4.9)

 

3. Ортогональность - сумма построчных произведений плана матрицы любых двух столбцов равна нулю, т.е.

; (4.10)

где j - комбинация факторов в m - ой точке (i ≠ j).

 

Таблица 4.2. Дробные реплики

 

Количество факторов	Дробная реплика	Условное обозначение	Количество опытов с дробной репликой	Количество опытов полного эксперимента
	1/2 реплики от 2^3	2^3-1
	1 /2 реплики от 2^4	2^4-1
	1/4 реплики от 2^5	2^5-2
	1/8 реплики от 2^6	2^6-3

Ортогональность матрицы позволяет оценить все коэффициенты регрессии независимо друг от друга, т.е. значение любого коэффициента не зависит от того, какие значения имеют другие коэффициенты.

Если план дробной реплики отвечает указанным свойствам, то математическая модель, полученная в результате эксперимента, способна предсказать значения искомого показателя с одинаковой точностью в любых направлениях на равных расстояниях от центра эксперимента или плана матрицы.

Если значения коэффициентов регрессии b_i близки к нулю, то это означает, что недалеко находится область оптимума. Для отыскания оптимального решения в этом случае необходимо переходить на полиномиальные уравнения более высокого порядка, например, использовать неполный полином второй степени.

 

Контрольные вопросы к главе 4

 

1. Дайте определение детерминированной модели.

2. Назовите этапы создания модели.

3. Поясниете суть концептуальной модели.

4. Дайте определение чувствиетельности модели.

5. Что такое адекватность модели?

6. Почему нельзя вводить в модель коррелируемые друг с другом параметры?

7. Что такое планирование экспериментов?

8. Что такое планирование имитационных экспериментов по градиенту?

9. Дайте определение интервала варьирования.

10. как осуществляется чичленное представление модели?

 

Источники информации к главе 4

 

1. Гартман Т.Н. Основы компьютерного моделирования химико-технологических процессов: Учеб.пособие для вузов/Т.Н.Гартман, Д.В.Клушин.- ИКЦ «Академкнига», 2006, -416 с.: ил.

2. Кононюк А.Е. Основы научных исследований (общая теория эксперимента) К.1. Моография.К.: «Освiта Украȉни», 2012.-508 с.