Сущность метода наименьших квадратов

Уравнение приближенной регрессии существенно зависит от выбранного метода приближения. Пусть задан некоторый класс функций (базисных функций). Например, в качестве базисных функций могут использоваться степенные функции:

 

(2.1)

 

Критерием приближения в методе наименьших квадратов является функция:

(2.2)

 

Здесь объем выборки; экспериментальное значение выходной величины в ом опыте; значение аппроксимирующей функции в ом опыте.

Решение задачи аппроксимации табличной экспериментальной зависимости по выше приведенному критерию метода наименьших квадратов сводится к поиску таких значений параметров аппроксимирующей функции

(2.3)

 

при которых критерий оптимизации будет принимать минимальное значение.

Таким образом, критерий оптимизации можно записать в виде:

 

(2.4)

 

Необходимым и достаточным условием минимума функции , является выполнение условий:

 

. (2.5)

 

Частные производные будут иметь вид:

 

(2.6)

 

После преобразования уравнения будут иметь вид:

 

(2.7)

 

Это система нормальных уравнений. Поскольку выполняется условие , должен существовать хотя бы один минимум функции . Поэтому, если система уравнений имеет единственное решение, которое обеспечивает единственный минимум функции .

При изучении зависимости от одной переменной полезно для выбора вида уравнения регрессии построить эмпирическую кривую регрессии, рисунок 2.1. Для этого весь диапазон изменения на поле корреляции разбивается на интервалов . Все точки, попавшие в интервал , относят к его середине. Тогда подсчитываются частные средние для каждого интервала, то есть

(2.8)

 

Рисунок 2.1. Эмпирическая кривая регрессии

 

Здесь число точек в ом интервале;

объем выборки. (2.9)

Полученные точки последовательно соединяют отрезками прямой. Такая ломаная линия называется эмпирической линией регрессии от [3].

По виду эмпирической зависимости можно подобрать уравнение регрессии

 

Линейная регрессия

Пусть необходимо определить коэффициенты и для линейной регрессии по методу наименьших квадратов:

(2.10)

по выборке объема Критерий оптимизации и частное производные от него представлены в виде:

 

(2.11)

 

 

Система нормальных уравнений при этом будет иметь вид:

 

(2.13)

 

В матричной форме данная система имеет вид:

 

(2.14)

 

 

Решение данной системы уравнений может быть представлено, как

 

 

(2.15)

 

Из уравнения

(2.16)

 

 

получается, что коэффициент и связаны следующим уравнением

 

(2.17)

 

Это уравнение показывает, что между и существует корреляционная зависимость. Для оценки силы корреляционной связи вычисляется выборочный коэффициент корреляции , который оценивается по формуле:

 

(2.18)

 

После того, как уравнение регрессии найдено, необходимо провести статистический анализ результатов. Этот результата заключается в проверке значимости коэффициентов регрессии и адекватности уравнения. Такое исследование называется регрессионным анализом.

При этом принимаются следующие допущения:

1. Фактор определяется с пренебрежимо малой ошибкой по сравнению с ошибкой в определении Большая ошибка объясняется наличием в каждом процессе не выявленных факторов, не вошедших в уравнение регрессии.

2. Значения независимые нормально распределенные случайные величины.

3. Выборочные дисперсии с опытами, которые повторены () раз, однородны. Однородность дисперсий проверяется по критериям Кохрена или Бартлетта.

Оценка значимости коэффициентов производится по критерию Стьюдента. Для этого вычисляется оценка дисперсии коэффициента регрессии . Затем, вычисляется расчетный коэффициент Стьюдента по формуле:

 

(2.19)

 

 

Величина определяется по закону накопления ошибок вида:

(2.20)

 

Если выборочные дисперсии однородны, то

 

(2.21)

 

Незначимые коэффициенты исключаются из уравнения регрессии. Остальные коэффициенты необходимо пересчитать заново, поскольку они коррелированны друг с другом.

Адекватность модели (уравнения) проверяется по критерию Фишера:

 

(2.22)

 

Сумма квадратов адекватности Число степеней свободы дисперсии адекватности

(2.23)

 

Здесь число степеней свободы, связанное с остаточной дисперсией;

число степеней свободы, связанное с дисперсией воспроизводимости;

объем выборки;

количество коэффициентов в уравнении регрессии.

Сумма квадратов, связанная с дисперсией воспроизводимости:

 

(2.24)

 

Дисперсия воспроизводимости вычисляется по формуле:

 

(2.25)

или

(2.26)

 

Остаточная сумма квадратов вычисляется по формуле:

 

(2.27)

 

или

 

(2.28)

 

Если то уравнение регрессии можно считать адекватным моделируемому объекту.