Обобщенная линейная модель множественной регрессии и обобщенный метод наименьших квадратов.

Одно из предположений классической линейной регрессионной модели состоит в том. Что случайные ошибки некоррелированы между собой и имеют постоянную дисперсию. В тех случаях, когда наблюдаемые объекты достаточно однородны, не сильно отличаются друг от друга, такое допущение оправдано. Однако во многих случаях такое предположение нереалистично. Например, если исследуется зависимость расходов на питание в семье от ее общего дохода, то естественно ожидать, что разброс в данных будет выше для семей с более высоким доходом. Это означает, что дисперсии зависимых величин (а следовательно, и случайных ошибок) не постоянны. Это явление в эконометрике называется гетероскедастичностью (в отличие от гомоскедастичности – равенства дисперсий). Кроме того, при анализе временных рядов в довольно редких случаях можно считать, что наблюдения некоррелированы во времени. Как правило, значение исследуемой величины в текущий момент времени статистически зависит от значений в прошлом, что означает наличие корреляции между ошибками. Поэтому естественно изучать модели регрессии без предположения, что .

Рассмотрим обобщенную регрессионную модель ,       (1) где у – n ×1 вектор зависимой переменной, X – n × k матрица независимых переменных,

β – k ×1 вектор неизвестных параметров, ε – n ×1 вектор случайных ошибок, причем:

1) матрица X неслучайна и имеет полный ранг;

2) М(ε)=0;

3) , и матрица Ω (омега) положительно определена. Иными словами, обобщенная модель отличается от классической только условием 3

1. Обобщенный метод наименьших квадратов. Ответ на вопрос об эффективной линейной несмещенной оценке вектора β для модели (1) дает следующая теорема.

Теорема Айткена. В классе линейных несмещенных оценок вектора β для обобщенной регрессионной модели оценка  (4) имеет наименьшую матрицу ковариаций.

Использование термина «обобщенный метод наименьших квадратов» объясняется следующим соображением. Как получено при доказательстве теоремы Айткена, оценка  получается минимизацией по b (оценка вектора параметров β) сумм квадратов отклонений  для системы (3), где е – фактические ошибки модели или остатки. Но , т.е. для построения оптимальной оценки в модели (1) надо минимизировать «обобщенную» сумму квадратов отклонений .

Проблема применения обобщённого МНК заключается в неизвестности ковариационной матрицы случайных ошибок. Поэтому на практике используют доступный вариант ОМНК, когда вместо V (ковариационной матрицы) используется её некоторая оценка. Однако, и в этом случае возникает проблема: количество независимых элементов коварационной матрицы равно n(n+1)/2, где -количество наблюдений (для примера — при 100 наблюдениях нужно оценить 5050 параметров!). Следовательно, такой вариант не позволит получить качественные оценки параметров. На практике делаются дополнительные предположения о структуре ковариационной матрицы, то есть предполагается, что элементы ковариационной матрицы зависят от небольшого числа неизвестных параметров q. Их количество должно быть намного меньше числа наблюдений. Сначала применяется обычный МНК, получают остатки, затем на их основе оцениваются указанные параметры q. С помощью полученных оценок оценивают ковариационную матрицу ошибок и применяют обобщённый МНК с этой матрицей. В этом суть доступного ОМНК. Доказано, что при некоторых достаточно общих условиях, если оценки q состоятельны, то и оценки доступного ОМНК будут состоятельны.