Оценивание параметров классической линейной модели множественной регрессии.

На любой экономический показатель чаще всего оказывает влияние не один, а несколько факторов. В этом случае рассматривается множественная регрессия. Теоретическое линейное уравнение регрессии имеет вид: .                   (1.1)

Параметр α называется свободным членом и определяет значение y в случае, когда все объясняющие переменные равны нулю. Однако, как и в случае парной регрессии, факторы по своему экономическому содержанию часто не могут принимать нулевых значений, и значение свободного члена не имеет экономического смысла. При этом в отличие от парной регрессии, значение каждого регрессионного коэффициента  равно среднему изменению y при увеличении x _j на одну единицу лишь при условии, что все остальные факторы остались неизменными. Величина ε представляет собой случайную ошибку регрессионной зависимости.

Для проведения анализа в рамках линейной модели множественной регрессии необходимо выполнение ряда предпосылок МНК:

1⁰. E (ε_i) = 0 (i =1,..., n) - гомоскедастичность остатков (состояние, при котором измерения вариативности колеблются внутри ожидаемого диапазона).

2⁰. - отсутствие автокорреляции (статистическая взаимосвязь между последовательностями величин одного ряда, взятых со сдвигом)

3⁰.            X ₁,...Х- неслучайные величины.

4⁰. Модель является линейной относительно параметров.

5⁰. Отсутствие мультиколлинеарности: между объясняющими переменными отсутствует строгая линейная зависимость.

6⁰. Ошибки  имеют нормальное распределение . Выполнимость этого условия нужна для проверки статистических гипотез и построения интервальных оценок.

Модель (1.1), в которой зависимая переменная у _{i ,,} возмущения ε _i и объясняющие переменные  удовлетворяют предпосылкам регрессионного анализа называется классической нормальной линейной моделью множественной регрессии (НКЛММР).

Самым распространенным методом решения этой задачи является метод наименьших квадратов (МНК). Его суть состоит в минимизации суммы квадратов отклонений наблюдаемых значений зависимой переменной y от её значений , получаемых по уравнению регрессии. Поскольку  - оценки теоретических значений , или эмпирические коэффициенты регрессии, е – оценка отклонения ε. Тогда расчетное выражение имеет вид: .  (1.2)

Рассмотрим три метода расчета параметров множественной линейной регрессии.

1. Матричный метод. Представим данные наблюдений и параметры модели в матричной форме.

- n – мерный транспонированный вектор – столбец наблюдений зависимой переменной;

- (p +1) – мерный транспонированный вектор – столбец параметров уравнения регрессии (1.2);

- n – мерный транспонированный вектор – столбец отклонений выборочных значений y_i.

Значения независимых переменных запишем в виде прямоугольной матрицы размерности : Каждому столбцу этой матрицы отвечает набор из n значений одного из факторов, а первый столбец состоит из единиц, которые соответствуют значениям переменной при свободном члене.

В этих обозначениях эмпирическое уравнение регрессии выглядит так: Y = XB + e  

Отсюда вектор остатков регрессии можно выразить таким образом:    e = Y - XB        

Тогда, функционал , который, минимизируется по МНК, можно записать как произведение вектора – строки e ’ на вектор – столбец e:  

(При выводе использовались формулы ).

В соответствии с МНК дифференцирование Q по вектору В приводит к выражению: , которое для нахождения экстремума следует приравнять к нулю. В результате преобразований получаем выражение для вектора параметров регрессии: .                                          (1.3)

 

2. Скалярный метод. При его применении строится система нормальных уравнений (1.4), решение которой и позволяет получить оценки параметров регрессии. Решить систему можно любым способом, например, методом определителей или методом Гаусса. .                            

 

2. Регрессионная модель в стандартизованном масштабе. Уравнение регрессии в стандартизованном масштабе имеет вид:

, (1.5)  где  - стандартизованные переменные:

,для которых среднее значение равно нулю: , а среднее квадратическое отклонение равно единице: ; β _j – стандартизованные коэффициенты регрессии, которые показывают, на сколько значений с.к.о. изменится в среднем результат, если соответствующий фактор х _j изменится на одну с.к.о. при неизменном среднем уровне других факторов.

Применяя МНК к уравнению (1.2), после соответствующих преобразований получим систему нормальных уравнений:

В этой системе  - элементы расширенной матрицы парных коэффициентов корреляции или, другими словами, коэффициенты парной корреляции между различными факторами или между факторами и результативным признаком.

Сравнивая коэффициенты β _j  между собой, можно ранжировать факторы по силе их воздействия на результат, а также использовать коэффициенты при отсеве факторов – из модели исключаются факторы с наименьшим значением β _j. В этом основное достоинство стандартизованных коэффициентов регрессии, в отличие от коэффициентов обычной регрессии, которые несравнимы между собой.

Подобно тому, как в парной зависимости коэффициенты регрессии и корреляции связаны между собой, так и во множественной регрессии коэффициенты «чистой» регрессии b_j связаны с β – коэффициентами: .

От уравнения регрессии в стандартизованном масштабе можно перейти к уравнению регрессии, причем параметр а определяется как

Теорема Гаусса – Маркова:

При выполнимости всех предпосылок регрессионного анализа оценки , полученные по МНК, являются наиболее эффективными (в смысле наименьшей дисперсии) в классе линейных несмещенных оценок.