Вычисление коэффициентов уравнения регрессии

 

Систему уравнений (6.8) на основе имеющихся ЭД однозначно решить невозможно, так как количество неизвестных всегда больше количества уравнений. Для преодоления этой проблемы нужны дополнительные допущения. Здравый смысл подсказывает: желательно выбрать коэффициенты полинома так, чтобы обеспечить минимум ошибки аппроксимации ЭД. Могут применяться различные меры для оценки ошибок аппроксимации. В качестве такой меры нашла широкое применение среднеквадратическая ошибка. На ее основе разработан специальный метод оценки коэффициентов уравнений регрессии – метод наименьших квадратов (МНК). Этот метод позволяет получить оценки максимального правдоподобия неизвестных коэффициентов уравнения регрессии при нормальном распределения вариант, но его можно применять и при любом другом распределении факторов.

В основе МНК лежат следующие положения:

· значения величин ошибок и факторов независимы, а значит, и некоррелированы, т.е. предполагается, что механизмы порождения помехи не связаны с механизмом формирования значений факторов;

· математическое ожидание ошибки ε должно быть равно нулю (постоянная составляющая входит в коэффициент a₀), иначе говоря, ошибка является центрированной величиной;

· выборочная оценка дисперсии ошибки должна быть минимальна.

Рассмотрим применение МНК применительно к линейной регрессии стандартизованных величин. Для центрированных величин u_j коэффициент a₀ равен нулю, тогда уравнения линейной регрессии

. (6.9)

 

Здесь введен специальный знак "^", обозначающий значения показателя, рассчитанные по уравнению регрессии, в отличие от значений, полученных по результатам наблюдений.

По МНК определяются такие значения коэффициентов уравнения регрессии, которые обеспечивают безусловный минимум выражению

. (6.10)

 

Минимум находится приравниванием нулю всех частных производных выражения (6.10), взятых по неизвестным коэффициентам, и решением системы уравнений

(6.11)

 

Последовательно проведя преобразования и используя введенные ранее оценки коэффициентов корреляции

получим

. (6.12)

 

Итак, получено т –1 линейных уравнений, что позволяет однозначно вычислить значения a₂, a₃, …, a_т.

Если же линейная модель неточна или параметры измеряются неточно, то и в этом случае МНК позволяет найти такие значения коэффициентов, при которых линейная модель наилучшим образом описывает реальный объект в смысле выбранного критерия среднеквадратического отклонения.

Когда имеется только один параметр, уравнение линейной регрессии примет вид

Коэффициент a₂ находится из уравнения

Тогда, учитывая, что r _2,2 = 1, искомый коэффициент

a ₂ = r _{y ,2}. (6.13)

Соотношение (6.13) подтверждает ранее высказанное утверждение, что коэффициент корреляции является мерой линейной связи двух стандартизованных параметров.

Подставив найденное значение коэффициента a₂ в выражение для w, с учетом свойств центрированных и нормированных величин, получим минимальное значение этой функции, равное 1– r²_{y ,2}. Величину 1– r²_y,2 называют остаточной дисперсией случайной величины y относительно случайной величины u₂. Она характеризует ошибку, которая получается при замене показателя функцией от параметра υ= a₂u₂. Только при | r_y,2 | = 1 остаточная дисперсия равна нулю, и, следовательно, не возникает ошибки при аппроксимации показателя линейной функцией.

Переходя от центрированных и нормированных значений показателя и параметра

 

можно получить для исходных величин

(6.14)

 

Это уравнение также линейно относительно коэффициента корреляции. Нетрудно заметить, что центрирование и нормирование для линейной регрессии позволяет понизить на единицу размерность системы уравнений, т.е. упростить решение задачи определения коэффициентов, а самим коэффициентам придать ясный смысл.

Применение МНК для нелинейных функций практически ничем не отличается от рассмотренной схемы (только коэффициент a0 в исходном уравнении не равен нулю).

Например, пусть необходимо определить коэффициенты параболической регрессии

Выборочная дисперсия ошибки

 

На ее основе можно получить следующую систему уравнений

После преобразований система уравнений примет вид