Различные формы уравнения регрессии

 

Основная модель линейной регрессии относится к классу простых регрессий, в левой части уравнения которых находится одна переменная: объясняемая, моде - лируе м ая, эн д огенная, а в правой — несколько переменных: объясняющих, фак - торных, независи м ых, экзогенных. Объясняющие переменные называют также фактора м и,   регрессора м и.

Для объясняемой переменной сохраняется прежнее обозначение — x. А век- тор-строка размерности n объясняющих переменных будет теперь обозначаться через z, поскольку свойства этих переменных в основной модели регрессии суще- ственно отличаются от свойств объясняемой переменной. Через X и Z обозна- чаются, соответственно, вектор-столбец размерности N наблюдений за объясня- емой переменной и матрица размерности N × n наблюдений за объясняющими переменными. Обозначения параметров регрессии и остатков по наблюдениям со- храняются прежними (отличие в том, что теперь вектор-столбцы α и a имеют размерность n).

Уравнения регрессии в исходной форме имеют следующий вид:

 

 

X = Z α + 1 N   β + ε ,                                                                    (7.1)

 

 

7.1. Различные формы уравнения регрессии	223
или в оценках   X = Za + 1 N b + e.	(7.2)

В сокращенной форме:

 

 

X ˆ = Z ˆα + ε ,                                   (7.3)

 

или

 

 

X ˆ = Z ˆ a + e.                                    (7.4)

 

Оператор МНК-оценивания ((6.11, 6.13) в п. 6.2) принимает теперь вид:

a = M −1 m,                                   b = x ¯ − z ¯ a,                      (7.5)

 

N   ˆ ˆ

где   M   =  1

Z t Z — ковариационная матрица переменных   z   между собой,

N   ˆ ˆ

m = 1

Z t X — вектор ковариаций переменных z с переменной x. Первую часть

оператора (7.5) часто записывают в форме:

a =  ˆ Z ˆ−1 Z ˆ X.                                                                     (7.6)

Z t          t ˆ

 

МНК-оценки e обладают следующими свойствами ((6.6, 6.12) в предыдущей главе):

 

e ¯ =

1

1

N

t   e = 0, cov (Z, e) =

N

1 Z ˆt e = 0 .           (7.7)

N

 

Коэффициент детерминации рассчитывается следующим образом (см. (6.20)):

 

2

R 2 = sq   = 1

s 2

e,                                (7.8)

s

s

2        −  2

x             x

x

где s 2

— дисперсия объясняемой переменной, s 2  — остаточная дисперсия,

e

s 2 (6. 2. 6)

q                              =   a t Ma = a t m = m t a = m t M −1 m  (7.9)

 

— объясненная дисперсия.

Уравнение регрессии часто записывают в форме со скрытым свободным членом:

X = Z ˜α˜ + ε ,                                                                            (7.10)

X = Z ˜ a ˜ + e,                                                                            (7.11)

 

 

224                                     Глава 7.  Основная модель линейной регрессии

 

     

α        a

где Z ˜ = [ Z   1 N   ], α˜ = 

, a ˜ =   .

     

β         b

При  таком представлении  уравнения  регрессии оператор  МНК-оценивания записывается следующим, более компактным, чем (7.5), образом:

 

 

 

N ˜t ˜

˜        ˜

где M ˜ = 1 Z Z, m ˜

 

 

N ˜t

= 1 Z X, или

a = M ˜−1 m,                            (7.12)

 

a ˜ =

 Z ˜t Z ˜

−1

Z ˜t X.                          (7.13)

 

 

M ˜ и m ˜

также, как M   и m, являются матрицей и вектором вторых моментов,

но не центральных, а начальных. Кроме того, их размерность на единицу больше. Оператор (7.12) дает, естественно, такой же результат, что и оператор (7.5).

Этот факт доказывался в п. 4.2 для случая одной переменной в правой части урав-

нения.

 

 

В общем случае этот факт доказывается следующим образом. Учитывая, что

X = X ˆ + 1 N x ¯ ,                                                                         (7.14)

.

Z ˜ =

Z ˆ + 1 N z ¯

.

1 N,                      (7.15)

 

можно установить, что

 



˜

M = 



 

M + z ¯r z ¯

z ¯



m + z ¯r x ¯

 

z ¯r

 

1





 



 ,                      (7.16)

m   =             

˜            ,

x ¯

 

и записать систему нормальных уравнений, решением которой является (7.12) в сле- дующей форме:

 



M + z ¯r z ¯

 

z ¯r

  

a

       

m + z ¯r x ¯

                                                  

 =            



z ¯ 1

          .

b                x ¯

 

 

7.1. Различные формы уравнения регрессии                                   225

 

Вторая (нижняя) часть этой матричной системы уравнений эквивалентна второй части оператора (7.5). После подстановки b, выраженного через a, в первую (верх- нюю) часть данной матричной системы уравнений она приобретает следующий вид:

M a + z ¯r z ¯ a + z ¯r x ¯ − z ¯r z ¯ a = m + z ¯r x ¯,

и после приведения подобных становится очевидной ее эквивалентность первой ча- сти оператора (7.5).

Что и требовалось доказать.

 

Кроме того, можно доказать, что

 



˜

M   −1 = 



M   −1 − M   −1 z ¯t

− z ¯ M −1 1 + z ¯ M −1 z ¯t



 



 .                 (7.17)

 

Этот факт потребуется ниже. (Правило обращения блочных матриц см. в Прило- жении A.1.2.)

Справедливость этого утверждения проверяется умножением M ˜−1 из (7.17) на M ˜ из (7.16). В результате получается единичная матрица.

 

МНК-оценки вектора e ортогональны столбцам матрицы Z ˜:

Z ˜t e = 0 .                                                                                  (7.18)

Доказательство наличия этого свойства получается как побочный результат при вы- воде оператора оценивания (7.12) путем приравнивания нулю производных оста- точной дисперсии по параметрам регрессии, как это делалось в п. 6.2.

 

 

что

Поскольку последним столбцом матрицы Z ˜

является 1 N  , из (7.18) следует,

 

1t

N e = 0 ,                                                                                   (7.19)

 

т.е. e ¯ = 0. Из остальной части (7.18):

Z t e = 0 ,                                                                                   (7.20)

 

что в данном случае означает, что c o v (Z, e) = 0.

 

Действительно, раскрывая (7.20):

 

Z r e

(7. 15)

=

Z ˆr e + z ¯r1r

e = Z ˆr e = 0.

N

←−=−0→

 

 

226                                     Глава 7.  Основная модель линейной регрессии

 

Таким образом, (7.18) эквивалентно (7.7).

Однако уравнения (7.10) допускают и иную интерпретацию. Если последним

в Z ˜

является не 1 N  , а столбец «обычной» переменной, то это — регрессия без

свободного члена. В таком случае из (7.18) не следует (7.19), и свойства (7.7) не вы- полняются. Кроме того, для такой регрессии, очевидно, не возможна сокращенная запись уравнения. Этот случай в дальнейшем не рассматривается.

В дальнейшем будет применяться в основном форма записи уравнения со скры- тым свободным членом, но чтобы не загромождать изложение материала, символ

«∼» будет опускаться, т.е. соотношения (7.10, 7.11, 7.12, 7.13, 7.18) будут исполь- зоваться в форме

 

X = Z α + ε,	(7.21)
X = Za + e,	(7.22)
a = M −1 m,	(7.23)
a =. Z t Z. −1  Z t X,	(7.24)
Z t e = 0.	(7.25)

 

Случаи, когда a, Z, m, M означают не a ˜, Z ˜, m ˜, M ˜, а собственно a, Z, m, M, будут оговариваться специально.