Звичайний метод найменших квадратів

Для оцінювання моделей з гетероседистичними збуреннями можна використати звичайний метод найменших квадратів. Консистентну у випадку гетероседистичності оцінку коваріаційної матриці було запропоновано Уайтом

(1.92)

де діагональна матриця, діагональний елемент якої дорівнює , де залишки найменших квадратів.

Єдиною додатковою умовою для консистентності і асимптотичної нормальності у порівнянні з класичною моделлю є умова обмеженості всіх .

Оцінки доступного зваженого МНК будуть асимптотично еквівалентними оцінкам ЗвМНК у видку відомих вагів лише у випадку наявності консистентних оцінок останніх. Ця умова є також необхідною для коректності оцінювання коваріаційної матриці (звичайно, в асимптотичному розумінні; про можливість точного оцінювання взагалі мова не йде). Отже, у випадку, коли дослідник не впевнений у характеру гетероскедастичності, перевагу слід віддати звичайному методу найменших квадратів. Перевірка гіпотез здійснюється звичайним чином, але у відповідних формулах стандартну оцінку слід замінити на оцінку (1.92).

 

1.5. Модель лінійної регресій з автокорельованими збуреннями

1.5.1. Вступ

В цьому розділі ми розглянемо регресійні моделі, в яких порушується припущення 3 – про незалежність збурень.

Є дві ситуації, в яких збурення в моделях лінійної регресії можуть бути корельованими. Припустимо, ми розглядаємо модель, яка вивчає особисте споживання. Тодi логiчно очiкувати, що для домогосподарств, які розташовані недалеко одне вiд одного, у структурi споживання спостерiгатиметься бiльше подібності. І, якщо даний еффект не враховано в моделі, він впливатиме на характер збурень – вони будуть корельованими. Кореляція, що виникає у подібних випадках, має назву спатіальної, або просторової, кореляції. В деяких випадках проблему спатіальної кореляції можна розв’язати за допомогою фіктивних змінних.

Автокореляцiя, або часова кореляцiя збурень виникає у моделях, побудованих за даними, якi є часовими рядами. Такий тип кореляцiї збурень пов`язаний з тим, що деякi економiчнi системи мають, так би мовити, інерцiю, тобто якщо в деякий момент часу за певних причин виникло вiдхилення вiд закономiрної поведiнки (нагадаємо, що збурення і відтворюють в моделі такі відхилення), то вплив вiд цього може спостерiгатись на протязi декiлькох наступних перiодiв часу. Нехай, наприклад, ми вивчаємо рiвень безробiття за допомогою деякої моделi. У деякий момент часу фактичний рівень безробiття був бiльшим, нiж розрахований з моделi. Оскiльки для того, щоб зменшити рiвень безробiття потрiбен час, то логiчно очiкувати, що i наступний фактичний рiвень безробiття також буде бiльшим, нiж теоретичний. Якщо згадати інтерпретацію збурень, то стане зрозуміло, що останні міркування суперечать припущенню про некорельованість збурень. Надалі в цьому розділі ми розглядатимемо саме проблему автокореляціі.

 

1.5.2. Опис моделi

Спочатку домовимось про термінологію. Як і в попередньому розділі літерою u позначимо вектор збурень у вихідній моделі, а літеру e зарезервуємо для позначення некорельованих і гомоскедастичних збурень.

Розглянемо модель лінійної регресії

, (1.94)

в якій вектор збурень u = (u₁, u₂... u _n)^T має такi властивостi:

1.

2. Рівність дисперсій: Du _i = = s² = const, .

3. Корельованість: .

4. Незалежність збурень та регресорів: x_ij та u _і незалежні для всіх i та j.

5. (Додаткове) Збурення u _i нормально розподілені для всіх i.

Припущення 2 і 3 зручно записувати у матричному вигляді:

D u = s² S, (1.95)

де s²>0 – спільне значення дисперсії збурень, S – додатньо визначена недiагональна матриця, на головній діагоналі якої стоять одиниці, матриця S є кореляційною матрицею збурень.

Зауваження.

Останнім часом також вивчаються моделі, побудовані за так званими панельними даними, збурення в яких водночас гетероскедастичні і корельовані. Такі моделі буде роглянуто в третьому розділі.

1.5.3.Наслiдки автокорельованостi збурень на оцiнки методу найменших квадратiв

1.Оцiнки МНК будуть незмiщеними, але не будуть ефективними (не матимуть найменшої дисперсiї).

2.Стандартнi оцiнки коварiацiйної матрицi оцiнки МНК будуть змiщеними, i, як наслiдок, процедури перевiрки гiпотез та iнтервального оцiнювання, основанi на стандартних статистиках, будуть некоректними.

 

1.5.4. Узагальнений метод найменших квадратiв у випадку відомої кореляційної матриці

Припустимо, що матриця S вiдома. Оскiльки вона додатньо визначена, то для неї iснує матриця 1)

Введемо наступні позначення:

,

,

.

Домножимо рiвнiсть (1.93) зліва на матрицю .З урахуванням уведених позначень маємо:

. (1.96)

Зазначимо, що вектори коефiцiентiв b в моделях (1.94) i (1.96) спiвпадають. Знайдемо коварiацiйну матрицю збурень e в моделi (1.96). Спочатку обчислимо математичне сподiвання:

Отже,

. (1.97)

Ми скористались тим, що , а також тим, що лінійний множник можна виносити за знак математичного сподівання. З (1.97) випливає, що модель (1.96) є моделлю класичної лiнiйної регресiї. Отже, оцiнки вектора параметрів регресії b,знайдені в моделi (1.96) методом найменших квадратів мають бажанi статистичнi властивостi, тобто задовольняють теоремі Гауса–Маркова і, що є для нас головним, цими оцінками можна користуватись для статистичних висновків.

Означення.

Оцiнкою узагальненого МНК коефiцiєнтiв моделi (1.94) називається оцінка звичайного МНК, знайдена за моделлю (1.96).

Зауваження.

Якщо матриця S є дiагональною, то узагальнений МНК в точностi спiвпадає зi зваженим МНК.

На практицi у бiльшостi випадкiв матриця S є невiдомою. Якщо не робити нiяких додаткових припущень щодо структури матрицi S, то її оцiнити неможливо, оскiльки при наявностi n спостеpежень ця матриця мiстить невiдомих параметрiв. Отже, потрібно робити певнi припущення щодо збурень – розглядати моделi зi збуреннями спецiального вигляду. Найчастіше розглядаються моделі, зі збуреннями, пiдпорядкованими процесу авторегресiї першого порядку.

 

1.5.5. Процес авторегресiї першого порядку

Нехай задана стаціонарна послiдовнiсть випадкових величин (u _i, i =0, 1, 2...):

u _i = ru _{i -1}+ e _i, (1.98)

де r–чисельний параметр, а e _i задовольняють тим самим припущенням, що і збурення в класичній лінійній регресії, тобто

Ee _i = 0, (1.99)

De _i = s ² = const, (1.100)

cov(e _i, e _j) = Ee _i e _j = 0, . (1.101)

cov(e _i,u _j) = 0, (1.102)

Стаціонарність послідовності (1.98) означає, що

Eu _i = 0, (1.103)

Du _i = const, (1.104)

cov(u _i, u _{i -k}) = cov(u _i+m, u _{i+m -k}) (1.105)

для будь-яких m та k. Іншими словами коваріація між u _i та u _j не залежить від i та j, а залежить лише від їх різниці. Послідовність (1.98) називається процесом авторегресiї першого порядку, позначення–AR(1). Величина cov(u _i, u _{i -k}) називається коваріацією k-го порядку процесу. Обчислимо дисперсію та коваріації процесу AR(1). Для знаходження дисперсії скористаємось формулою (1.98):

, (1.106)

внаслідок (1.102) і (1.104). З формули (1.06) маємо

(1.107)

З виразу (1.107) бачимо, що стаціонарний процес з властивостями (1.99)-(1.102) існує, коли . Для знаходження коваріації першого порядку домножимо рівність (1.98) почленно на u _{i -1} і обчислимо математичне сподівання обох частин:

, (1.108)

внаслідок (1.102), (1.104) та (1.107). Виразимо коваріацію k- го порядку через коваріацію k –1 - го порядку. Для цього домножимо рівність (1.98) почленно на u _{i - k} і обчислимо математичне сподівання обох частин

(1.109)

внаслідок (1.102) та (1.105). Рекурентною підстановкою (1.109), враховуючи (1.108), одержуємо

(1.110)

Формули (1.107) і (1.110) показують, що дисперсія та коваріації процесу авторегресії першого порядку визначаються лише двома параметрами – r та s².

1.5.6. Узагальнений метод найменших квадратiв у випадку AR(1)-збурень

Нехай в моделі (1.94) збурення підпорядковані процесу авторегресіїї першого порядку. Це означає, що збурення u _i, задовольняють співвідношенням (1.98)-(1.105). З (1.107) і (1.110) випливає, що коваріаційна матриця збурень приймає наступний вигляд

(1.111)

Результати множення рiвності (4.1) на матрицю у цьому випадку можна записати у явному вигляді. Елементи вектора y^* дорівнюють

, (1.112)

. (1.113)

Елементи j- го () стовпчика матриці X^* знаходяться аналогічно:

 

, (1.114)

. (1.115)

Якщо у вихідній моделі є постійний доданок, то перетворена модель не матиме константи. Замість неї з’явиться змінна , значення якої дорівнюють

, (1.116)

. (1.117)

Зауважимо, що оцінка -коефіціента при змінній є оцінкою постійного доданку у вихідній моделі.

 

1.5.7. Виявлення автокореляції. Статистика Дурбіна-Ватсона

Найчастіше для виявлення автокорельованості збурень користуються критерієм Дурбіна–Ватсона. При застосуванні цого критерія нульовою гіпотезою є некорельованість збурень, а альтернативою є те, що збурення підпорядковані процесу авторегресії першого порядку. Позначимо через залишки методу найменших квадратів у моделі (1.94). Значення статистики Дурбіна–Ватсона знаходиться за наступною формулою:

. (1.118)

Можливі значення d належать інтервалу (0; 4). Розподіл статистики Дурбіна–Ватсона приблизно симетричний відносно двійки. Значення d, близькі до 2, вказують на відсутність автокореляції. Значення, близькі до 0, вказують на наявність автокореляції з додатнім r, значення, близькі до 4, вказують на наявність автокореляції з від’ємним r. Параметрами розподілу статистики Дурбіна–Ватсона є кількість спостережень та регресорів. Точний розподіл статистики залежить від матриці незалежних змінних Х. В таблицях приводяться такі пари критичних значень, що для будь-якого вигляду матриці Х точне критичне значення лежить між табличними. Алгоритм застосування критерія Дурбіна–Ватсона полягає у наступному.

1. Оцінюємо модель (1.94) за допомогою звичайного методу найменших квадратів.

2. За формулою (1.118) обчислюємо значення статистики Дурбіна–Ватсона.

3. Вибираємо рівень значущості a і за таблицею критичних значень статистики Дурбіна–Ватсона знаходимо верхнє і нижнє критичні значення d_u та d_l, а також обчислюємо 4 – d_u та 4 – d_l. Зауважимо, що 0 < d_l < d_u < 2 < 4 – d_u < 4 – d_l < 4.

4. Робимо висновок за таким правилом:

1) Якщо d < d_l, то має місце автокореляція з додатнім r.

2) Якщо d_l < d < d_u, то ми не можемо зробити ніякого висновку, і цей інтервал називається областю невизначеності.

3) Якщо d_u < d < 4 – d_u, то автокореляція відсутня.

4) Якщо 4 – d_u < d < 4– d_l, то ми не можемо зробити ніякого висновку. Цей інтервал також є областю невизначеності.

5) Якщо 4 – d_l < d < 4, то має місце автокореляція з від’ємним r.

Щодо областей невизначеності можна дати таку практичну рекомендацію: якщо вибіркове значення d потрапляє до інтервалу невизначеності, то вважають, що має місце автокореляція.