Перевірка гіпотез про коефіцієнт нахилу регресії

Стандартною процедурою є перевірка гіпотези про те, що коефіцієнт нахилу регресійної прямої b дорівнює нулю. Прийняття цієї гіпотези означає, що незалежна змінна не має впливу на залежну в рамках лінійної моделі. Не виключено, що насправді між змінними існує залежність, але виражена іншою функціональною формою. Статистика для перевірки гіпотези має вигляд

(1.20)

Значення цієї t -статистики, як правило, автоматично підрахо-вуються в комп’ютерних програмах з регресійного аналізу. Для перевірки гіпотези H₀: b = b₀ використовують наступну статистику

(1.21)

За вибраним рівнем значущості a в таблиці розподілу Стьюдента з n- 2 ступенями свободи знаходимо критичне значення t _кр. Якщо | t | < t _кр, то гіпотеза H₀ приймається. Якщо | t | ³ t _кр, то гіпотеза H₀ відхиляється.

Інтервальне оцінювання

Інтервальна оцінка параметра b з рівнем довіри 1-a (не плутати з постійним доданком у регресії) знаходиться за наступною формулою:

, (1.22)

де значення t _кр знаходиться за вибраним a в таблиці розподілу Стьюдента з n- 2 ступенями свободи.

Перевірка значущості регресії

Значущість регресії означає, що незалежні змінні впливають на залежну змінну. Для простої лінійної регресіі це еквівалентно тому, що коефіцієнт нахилу не дорівнює нулю (тобто коли гіпотеза про рівність b нулю відхиляється). Якщо b = 0, то = 0. Тому логічно будувати критерій, який грунтується на значенні коефіцієнта детермінації. Дійсно, можна показати, що

(1.23)

коли b = 0, де через F _{1, n– 2} позначено розподіл Фішера з 1, n– 2 ступенями свободи. За вибраним рівнем значущості a в таблиці розподілу Фішера з 1, n- 2 ступенями свободи знаходимо критичне значення F _кр. Якщо | F |< F _кр, то гіпотеза приймається. Якщо | F |³ F _кр, то гіпотеза відхиляється. У випадку простої регресії застосування F -критерія (1.23) не дає нової інформації порівняно з t -критерієм (1.20), оскільки і . Але це не так у випадку множинної регресії, що ми побачимо пізніше.

 

1.1.7. Прогнозування за допомогою простої лінійної регресії

Припустимо, ми хочемо одержати інформацію про можливі значення залежної змінної y ₀за умови, що незалежна змінна x приймає деяке значення x ₀. Внаслідок (1.1) . Точковий прогноз знаходиться за формулою

(1.24).

 

Оскільки E a = a іE b = b, то . Отже, прогноз (1.24) є незміщеним. Дисперсія прогнозу (1.24) дорівнює

(1.25).

Для того, щоб (1.25) можна було б використовувати для інтервального оцінювання залишилось замінити дисперсію збурень на її оцінку. Позначимо

– (1.26)

стандартна похибка прогнозу. Інтервальний прогноз з рівнем довіри

1-a знаходиться за наступною формулою:

,

де – точковий прогноз (1.24), а значення t _кр знаходиться за вибраним a в таблиці розподілу Стьюдента з n- 2 ступенями свободи.

 

Приклад

В Таблиці 1.1. наведено обсяги сукупного доходу у розпорядженні та сукупного споживання для США у постійних доларах 1972 р. Дані з Таблиці 1.1. зображено графічно на на Рис.1.3. З графіка видно, що точки, які відповідають спостереженням, розташовані навколо деякої прямої, отже доцільно розглянути лінійну функцію споживання. Оцінимо її за допомогою моделі простої лінійної регресії:

y_i = a + b x_i + e _i, , (1.27)

де через x_i та y_i позначено відповідно рівень доходу і споживання в році 1969 + i (наприклад i = 5 відповідає 1974 року). Спочатку обчислимо

Таблиця 1.1.

Рік	Доход у розпорядженні	Особисте споживання
	751,6	672,1
	779,2	696,8
	810,3	737,1
	864,7	767,9
	857,5	762,8
	874,9	779,4
	906,8	823,1
	942,9	864,3
	988,8	903,2
	1015,7	927,6

 

 

Рис. 1.3.

=(751,6+779,2+810,3+864,7+857,5+874,9+906,8+942,9+988,8+1015,7)/10 =

= 879,24;

=(672,1+696,8+737,1+767,9+762,8+779,4+823,1+864,3+903,2+927,6)/10 =

= 793,43;

 

S_xx = ((751,6 – 879,24)² + (779,2 – 879,24)² + (810,3 – 879,24)² +

+ (864,7 – 879,24)² + (857,5 – 879,24)² + (874,9 – 879,24)² +

+ (906,8 – 879,24)² + (942,9 – 879,24)² + (988,8 – 879,24)² +

+ (1015,7879,24)²) = 67192,4;

 

S_yy = ((672,1 – 793,43)² + (696,8 – 793,43)² + (737,1 – 793,43)² +

+ (767,9 – 793,43)² + (762,8 – 793,43)² + (779,4 – 793,43)² +

+ (823,1 – 793,43)² + (864,3 – 793,43)² + (903,2 – 793,43)² +

+ (927,6 – 793,43)²) = 64972,1;

 

S_xy = ((751,6 – 879,24) (672,1 – 793,43) + (779,2 – 879,24) (696,8 – 793,43) +

+ (810,3 – 879,24) (737,1 – 793,43) + (864,7 – 879,24) (767,9 – 793,43) +

+ (857,5 – 879,24) (762,8 – 793,43) + (874,9 – 879,24) (779,4 – 793,43) +

+ (906,8 – 879,24) (823,1 – 793,43) + (942,9 – 879,24) (864,3 – 793,43) +

+(988,8 – 879,24) (903,2 – 793,43) + (1015,7879,24) (927,6 – 793,43)) =

= 65799,3.

За формулами (1.7) знаходими оцінки методу найменших квадратів коефіцієнгів моделі (1.27):

Отже, рівняння вибіркової регресійної прямої (рівняння фунцції споживання) має вигляд:

= – 67,58 + 0.979 x. (1.28)

Рис 1.4

Графік цієї прямої зображено на Рис. 1.4. разом з фактичними даними. Щоб мати уявлення про тісноту зв’язку між доходом і споживанням, обчислимо коефі-цієнт детемінації. За формулою (1.17а) маємо:   R ^2 = bSxy/Syy =

= 0.979´65799,3/64972,1 = 0.990702.

Як ми бачимо, зв’язок між споживанням і доходом є вельми тісним. Перед тим, як використовувати рівняння (1.28) для економічного аналізу або побудови прогнозів, модель (1.27) потрібно перевірити на адекватність. Перевіримо гіпотезу про значущість регресії двома способами. Спочатку використаємо F -статистику (1.23):

.

Нехай, рівень значущості a дорівнює 0,05. В Таблиці 3. Додатку знаходимо, що критичне значення F _кр = 5,32. Ми бачимо, що | F |³ F _кр, отже гіпотеза про рівність b нулю відхиляється, тим самим модель (1.27) є значущою.

Обчислимо стандартні похибки оцінок. Спочатку знайдемо суму квадратів залишків RSS. За формулою (1.15)

RSS = S_yy – b ² S_xx = 64972,1 – 0.979²´67192,4 = 537,0.

Далі знаходимо оцінку дисперсії збурень

.

стандартна похибка b дорювнює:

 

SE( b) = 0.0316071.

 

Перевіримо гіпотезу про те, що коефіцієнт нахилу регресійної прямої b дорівнює нулю за допомогою t -статистики (1.20):

.

Нехай, рівень значущості a дорівнює 0,05. В Таблиці 1. Додатку знаходимо, що критичне значення t _кр = 2,306. Ми бачимо, що | t |³ t _кр, отже гіпотеза відхиляється.

Отже, ми можемо вважати модель адекватною (читач не повинен забувати, що повна перевірка моделі на адекватність включає аналіз залишків, з елементами якого ми ознайомимось в розділах 3 та 4).

З теорії споживання відомо, що коефіцієнт нахилу лінійної функції споживання є маргінальною або граничною схильністю до споживоння. Таким чином, ми встановили, що в середньому 0.979 ´ 100 = 97,9% прирісту доходу витрачається на споживання1). Обчислене значення граничної схильності до споживання знаходиться в інтервалі (0; 1), що узгоджується з економічною теорією.

Множинна лінійна регресія

1.2.1. Опис моделі

За допомогою моделі простої лінійної регресіїї ми вивчали зв’язок між залежною змінною y та незалежною змінною x. Модель множинної лінійної регресії описує співвідношення між y та набором незалежних змінних x₀, x ₁,..., x_{k -1}. Так, наприклад, при дослідженні попиту нас цікавить залежність обсягу попиту на деякий товар від ціни на цей товар, цін на взаємозамінні з даним товари та від доходів споживачів. При наявності n спостережень модель множинної лінійної регресії записується у вигляді

(1.29)

де x_ij – значення j -ї незалежної змінної (x_j) в i -му спостереженні, збурення e _i задовольняють тим самим припущенням, що і в моделі простої регресії.

1. Нульове середнє: E e _i = 0, .

2. Рівність дисперсій: De _i = E = s² = const, .

3. Незалежність збурень: e _і та e _j незалежні при .

4. Незалежність збурень та регресорів: x_ij та e _і незалежні для всіх i та j (якщо регресори не стохастичні, то дане припущення виконується автоматично).

5. (Додаткове). Збурення e _i нормально розподілені для всіх i.

Модель множинної лінійної регресії (1.29) зручно записувати у матрично-векторному вигляді:

(1.30)

 

з використанням наступних позначень:

–вектор значень залежної змінної,

– матриця значень незалежних змінних,

– вектор збурень,

– вектор параметрів (коефіцієнтів) регресії.

Матриця X складається з n рядків – відповідно до кількості спостережень, – і з k стовпчиків, кількість яких дорівнює кількості незалежних змінних. Щоб записати модель з константою:

у матричному вигляді, розглядають матрицю значень незалежних змінних, в якій перший стовпчик складається з одиниць:

.

Позначимо через D e коваріаційну матрицю вектора збурень

,

внаслідок того, що збурення мають нульові математичні сподівання. Тоді припущення 2 та 3 зручно записувати у вигляді:

De =s² I _n, (1.31)

де I _n – одинична матриця n -го порядку, а припущення 1 – E e = 0.

Модель множинної лінійної регресії у матрично-векторних позначеннях:

e не залежить від X

Додаткове припущення:

e ~ N (0,s² I)

 

1.2.2. Знаходження параметрів регресії методом найменших квадратів

Нехай –деяка оцінка вектора параметрів . Запишемо рівняння вибіркої регресії

.

Тоді

є оцінкою E y_i, побудованою на основі вибіркової регресіїї. Залишки визначаються як різниці між значеннями залежної змінної, які спостерігались, і обчисленими з регресії:

.

Вектор залишків дорівнює , де , .

Оцінки методу найменших квадратів знаходяться з умови мінімізації суми квадратів залишків за всіма можливими значеннями

(1.32)

Щоб мінімізувати вираз (1.32), запишемо необхідну умову екстремуму, тобто прирівняємо похідні відносно до нуля. Маємо

,

тобто, система нормальних рівнянь має вигляд

,

звідки

. (1.33)

Перевірка достатніх умов екстремуму показує, що , обчислена за (1.33), дійсно мінімізує функцію (1.32). Надалі оцінку вектора коефіцієнтів моделі множинної лінійної регресії позначатимемо латинською літерою b,

.

Оцінка методу найменших квадратів коефіцієнтів моделі моделі множинної лінійної регресії знаходиться за формулою:

(1.34)

Рівняння вибіркої регресії приймає вигляд

. (1.35),

або, у випадку регресії з костантою,

(1.36).

Рівняння вибіркої регресії є рівнянням лінійної функції багатьох змінних.