Приклад дослідження наявнoстi мультиколінеарності у масиві змінних

 

Постановка задачі. Треба визначити вплив на ціну легкового автомобіля (Y) таких факторів як вік автомашини (Х₁), об’єм двигуна (Х₂) та пробіг (Х₃).

Так як кількість пояснюючих змінних m>1, постає питання про те, щоб виконувалась передумова застосування методу найменших квадратів - відсутність зв’язку між регресорами. Тому перед побудовою моделі проведемо тест на наявність мультиколінеарності.

 

№ п/п (i)	Ціна автомобіля (Y), тис.дол..США	Вік автомобіля (X1), Роки	Об’єм двигуна автомобіля (X2), дм^3	Пробіг Автомобіля (X3), тис.км
	3,2		1,3
	8,7		1,8
	1,6		1,8
			2,4
	18,9
	15,8
			1,6
			2,6
	22,7		2,1
	13,9
	10,9		1,5
	9,5		2,6
			2,2
			1,8
	5,8		1,6
	2,8		1,6
			2,2
	10,5
	16,9		2,3
	3,4		1,5
			1,4
			1,8
Середнє	13,0240	5,8800	2,1640	94,8400
Дисперсія	55,9244	13,5267	0,5157	2606,2233
σ	7,4783	3,6779	0,7181	51,0512

 

Необхідно:

1) нормалізувати статистичну інформацію;

2) обчислити кореляційну матрицю та вектор коефіцієнтів парної кореляції;

3) розрахувати визначник кореляційної матриці;

4) знайти матрицю, обернену до кореляційної, і на основі її елементів:

a) розрахувати часткові коефіцієнти парної кореляції та перевірити їх статистичну значущість за t-критерієм;

b) за F-критерієм перевірити суттєвість зв’язку кожної пояснюючої змінної з рештою регресорів;

5) визначити змінні, між якими відсутній зв’язок і які можна включити до моделі в якості незалежних змінних

· Нормалізуємо вхідну інформацію: .

Нормалізовані дані записані в таблиці

 

№ п/п	Y^*	X^* 1	X^*2	X^*3
	-0,2707	0,0326	1,1641	0,6691
	-1,3137	1,1202	-1,2031	1,0805
	-0,5782	1,1202	-0,5069	0,8258
	-1,5276	2,7516	-0,5069	2,0795
	0,5317	-1,0550	0,3286	-0,6825
	0,7857	-0,5112	2,5566	0,3361
	0,3712	-0,7831	-0,2284	-0,4082
	0,6654	0,0326	1,1641	1,3743
	0,7991	-0,7831	2,5566	-0,6433
	-0,9393	0,0326	-0,7854	0,1011
	-0,0032	0,0326	0,6071	-0,9959
	1,2939	-0,2393	-0,0891	0,1207
	0,1171	-0,7831	-0,2284	0,1011
	-0,2840	-0,7831	-0,9246	-0,7412
	-0,4712	0,5764	0,6071	1,4135
	2,0026	-0,7831	0,0501	-0,8196
	-0,9393	0,5764	-0,5069	0,4928
	-0,9660	0,8483	-0,7854	-0,1144
	-1,3672	1,3921	-0,7854	-1,2701
	1,7352	-1,3269	0,0501	-1,5443
	-0,3375	0,0326	-0,2284	0,4341
	0,5183	0,3045	0,1894	1,0609
	-1,2869	0,8483	-0,9246	0,1011
	0,1305	-1,3269	-1,0639	-1,7010
	1,3340	-1,3269	-0,5069	-1,2701

 

На основі нормалізованих даних обчислимо кореляційну матрицю r та вектор коефіцієнтів парної кореляції : .

Маємо: .

 

· Перевіримо наявність мультиколінеарності серед пояснюючих змінних.

Спочатку обчислимо визначник кореляційної матриці det(r):

det(r) =0,4344.

Визначник не дорівнює нулю, таким чином, між регресорами можливий лінійний зв’язок.

 

Якщо визначник кореляційної матриці наближається до одиниці, можемо говорити про відсутність мультиколінеарності та незалежність факторів, включених до моделі.

Доведено, що величина:

має приблизний розподіл c² із ступенями свободи.

Якщо статистичне значення < c²_a,,k. табличного значення, то гіпотеза про незалежність факторів приймається.

Для визначника обчисленої кореляційної матриці c² = 18,48, c²_таб = 7,81. Отже, c²>c²_a,k. - це свідчить про наявность мультиколінеарності пояснюючих змінних.

 

· Далі обчислимо матрицю, обернену до кореляційної матриці r:

.

·. Розглянемо величину ,

де - діагональний елемент матриці C,

n – кількість спостережень;

m - число пояснюючих змінних.

Ця величина має розподіл Фішера з k₁ = m та k₂ = n – m -1 ступенями свободи. Обчислення величини аналогічне перевірці суттєвості зв’язку в моделі, в якій залежною змінною буде змінна , а пояснюючими змінними – решта (m - 1) факторів: . При рівні значущості a = 0,05 F_таб = 3,42.

> F_таб, > F_таб, що означає суттєву залежність першої пояснюючої змінної від другої та третьої (віку автомобіля від об’єму двигуна та пробігу); третьої від першої та другої (пробігу від віку автомашини та об’єму двигуна).

< F_таб, тобто така змінна як об’єм двигуна не корелює із змінними, які визначають вік автомобіля та його пробіг. Змінну X₂ включаємо до моделі.

 

· За елементами матриці С розрахуємо часткові коефіцієнти парної кореляції: .

Перевіримо статистичну значущість часткових коефіцієнтів парної кореляції на основі t –критерію.

.

Табличне значення критерію t_a/2,k. = 2,069 при рівні значущості a = 0,05 та ступені свободи k = n- m -1 = 21: > t_a/2,k, > t_a/2,k, < t_a/2,k,

Таким чином, між змінними X₁ і X₂ та X₁ і X₃ існує тісний кореляційний зв’язок, що свідчить про наявність мультиколінеаності.

 

· Аналізуючи елементи вектора парних коефіцієнтів кореляції бачимо, що найбільший вплив на Y серед пояснюючих змінних мають змінні X₁ та X₂.

 

Змінна X₃ найменше впливає на результативний фактор, крім того, корелює X₁ та X₂. Доцільно не включати як пояснюючий фактор X₃ до моделі.

Дослідження наявнoстi автокореляції у масиві змінних

Приклад 1. Вивчається залежність між кредитами Y, наданими комерційними банками, та залученими депозитними коштами X (млн. грн.):

 

№	1	2	3	4	5	6	7	8
Y	2997	3060	3331	4103	4126	4487	5095	5196
X	2762	2753	2891	3265	3734	4177	4433	4643
№	9	10	11	12	13	14	15	16
Y	2997	3060	3331	4103	4126	4487	5095	5196
X	4608	4879	4563	5017	5260	6327	6352	6784
№	17	18	19	20	21	22	23	24
Y	7245	8332	9392	10222	11976	13694	14538	15436
X	7865	9172	9597	11380	12339	14004	15010	17202

 

Перевірити наявність автокореляції залишків першого порядку за тестом Дарбіна-Уотсона.

 

Розв’язання

1) Спочатку визначимо оцінки параметрів для лінійної моделі виду за методом найменших квадратів. Дана модель запишеться у виді (в дужках відмічено стандартні похибки для оцінок параметрів):

; σ: (190,172) (0,023)

Коефіцієнт детермінації R ² = 0,9848, вибіркова дисперсія залишків Du = 4792230,74.

 

2) Для визначення статистики Дарбіна-Уотсона та коефіцієнта автокореляції залишків першого порядку скористаємося формулами: ,

3) допоміжні розрахунки запишемо в таблицi:

 

i	Хi	Yi		ui
1	2762	2997	3126,647	-129,647	16808,294	–	–
2	2753	3060	3118,717	-58,717	3447,665	5031,06	7612,45
3	2891	3331	3240,310	90,690	8224,694	22322,43	-5325,03
4	3265	4103	3569,845	533,155	284254,490	195775,39	48351,90
5	3734	4126	3983,085	142,915	20424,686	152287,46	76195,86
6	4177	4487	4373,416	113,584	12901,222	860,33	16232,79
7	4433	5095	4598,980	496,020	246035,409	146257,31	56339,66
8	4643	5196	4784,013	411,987	169732,970	7061,54	204353,42
9	4608	5001	4753,175	247,825	61417,448	26948,89	102100,76
10	4879	5104	4991,955	112,045	12554,042	18436,38	27767,56
11	4563	4985	4713,525	271,475	73698,869	25418,10	30417,41
12	5017	5102	5113,548	-11,548	133,362	80102,37	-3135,07
13	5260	5189	5327,658	-138,658	19225,991	16156,84	1601,26
14	6327	5243	6267,801	-1024,801	1050217,988	785250,51	142096,73
15	6352	5986	6289,829	-303,829	92312,165	519801,01	311364,57
16	6784	5715	6670,468	-955,468	912919,837	424633,67	290299,17
17	7865	7245	7622,948	-377,948	142844,338	333530,34	361116,92
18	9172	8332	8774,557	-442,557	195857,036	4174,43	167263,47
19	9597	9392	9149,029	242,971	59034,989	469949,39	-107528,68
20	11380	10222	10720,047	-498,047	248050,519	549107,49	-121010,99
21	12339	11976	11565,031	410,969	168895,916	826310,43	-204682,00
22	14004	13694	13032,077	661,923	438141,406	62977,42	272029,95
23	15010	14538	13918,473	619,527	383813,155	1797,42	410078,57
24	17202	15436	15849,865	-413,865	171284,252	1067898,14	-256400,37
Σ				0,000	4792230,74	5742088,33	1827140,30

 

4) Розрахуємо критерій Дарбіна-Уотсона:

та коефіцієнт автокореляції залишків першого порядку: .

Критичні значення DW при >0 для кількості спостережень n = 24, числа пояснюючих змінних m =1 та рівня значущості α = 0,05 відповідно дорівнюють: DW₁ =1,273; DW ₂ = 1,446.

0 < DW < 1,273, то для даної моделі можемо стверджувати про існування додатної автокореляції залишків.

5) Перевірка за критерієм Q підтверджує цей висновок.

Виконаємо розрахунок: .

Для додатної автокореляції при рівні значущості α = 0,05 та кількості спостережень n =24 критичне значення =1,4141. Так як , то приймаємо гіпотезу про наявність додатної автокореляції.

Приклад 2. Спробуємо включити до моделі ще один пояснюючий фактор.

Вивчається залежність між кредитами Y, наданими комерційними банками, залученими депозитними коштами X₁ та резервною величиною капіталу банків X₂ (млн. грн.):

№
Y	2997	3060	3331	4103	4126	4487	5095	5196
X1	2762	2753	2891	3265	3734	4177	4433	4643
X2	964	727	962	849	882	1000	805	926
№
Y	2997	3060	3331	4103	4126	4487	5095	5196
X1	4608	4879	4563	5017	5260	6327	6352	6784
X2	806	858	1169	1454	1942	2623	2415	2613
№
Y	7245	8332	9392	10222	11976	13694	14538	15436
X1	7865	9172	9597	11380	12339	14004	15010	17202
X2	3508	3436	3520	4750	4696	4903	4482	5479

 

1. Визначимо оцінки параметрів лінійної моделі виду методом найменших квадратів. Дана модель має наступний вигляд (в дужках відмічено стандартні похибки для оцінок параметрів):

; σ: (166,404) (0,067) (0,172)

Коефіцієнт детермінації R ² = 0,9899, вибіркова дисперсія залишків складає D _u =3176380,81.

 

i	Х1і	Х2і	Yi		ui
	2762	964	2997	2996,15	0,85	0,72	–	–
	2753	727	3060	3119,72	-59,72	3566,92	3668,85	-50,61
	2891	962	3331	3137,94	193,06	37273,38	63901,19	-11530,45
	3265	849	4103	3609,33	493,67	243705,61	90361,76	95308,61
	3734	882	4126	4102,15	23,85	568,89	220725,32	11774,59
	4177	1000	4487	4518,77	-31,77	1009,63	3094,26	-757,87
	4433	805	5095	4907,66	187,34	35097,10	48012,21	-5952,74
	4643	926	5196	5068,54	127,46	16246,64	3585,60	23879,07
	4608	806	5001	5097,91	-96,91	9391,73	50343,35	-12352,49
	4879	858	5104	5364,14	-260,14	67671,37	26642,82	25210,14
	4563	1169	4985	4844,55	140,45	19727,24	160473,08	-36537,24
	5017	1454	5102	5179,18	-77,18	5956,49	47363,69	-10839,98
	5260	1942	5189	5169,49	19,51	380,57	9348,30	-1505,62
	6327	2623	5243	5949,65	-706,65	499360,43	527312,26	-13785,63
	6352	2415	5986	6093,98	-107,98	11659,02	358414,69	76302,38
	6784	2613	5715	6453,58	-738,58	545507,16	397665,97	79750,10
	7865	3508	7245	7128,57	116,43	13555,34	731045,49	-85991,50
	9172	3436	8332	8594,22	-262,22	68757,61	143371,39	-30529,22
	9597	3520	9392	9010,35	381,65	145655,73	414562,67	-100074,67
	11380	4750	10222	10262,24	-40,24	1619,62	177993,91	-15359,28
	12339	4696	11976	11338,31	637,69	406652,16	459599,11	-25663,66
	14004	4903	13694	13037,28	656,72	431275,95	361,88	418783,11
	15010	4482	14538	14371,14	166,86	27841,20	239962,04	109577,56
	17202	5479	15436	16200,13	-764,13	583900,29	866743,35	-127500,93
Σ					0,000	3176380,81	5044553,21	362153,70

2). Для визначення статистики Дарбіна-Уотсона та коефіцієнта автокореляції залишків першого порядку допоміжні розрахунки запишемо в таблицi:

 

3). Розрахуємо критерій Дарбіна-Уотсона:

та коефіцієнт автокореляції залишків першого порядку: .

Критичні значення DW при >0 для кількості спостережень n = 24, числа пояснюючих змінних m =2 та рівня значущості α = 0,05 відповідно дорівнюють: DW ₁ =1,188; DW ₂ = 1,546.

1,546 < DW < 2, то для даної моделі можемо відхилити гіпотезу про наявність додатної автокореляції залишків.

4). Отже, збільшення кількості пояснюючих змінних дозволило покращити якість моделі.

Приклад 3. Автокореляція залишків може виникати також внаслідок помилкової функціональної специфікації рівняння регресії: в якості рівняння регресії було використано лінійну функцію, а в дійсності процес описується нелінійною залежністю, і навпаки.

На основі вибіркових даних (табл.1), які характеризують залежність між кредитами Y, наданими комерційними банками, та залученими депозитними коштами X, побудувати модель та перевірити її на наявність автокореляції залишків.

1. Лінеаризуємо модель шляхом заміни : .

Для перетвореної лінійної моделі оцінки параметрів знайдемо методом найменших квадратів: aбо .

стандартні похибки для оцінок параметрів (914,15) (4363389,27)

Коефіцієнт детермінації для даної моделі складає R² =0.733, вибіркова дисперсія залишків складає Du = 83950697,22.

 

2). Для визначення статистики Дарбіна-Уотсона та коефіцієнта автокореляції залишків першого порядку допоміжні розрахунки запишемо в таблицi:

i	yi	x1і			ui
1	2997	2762	0,000362	1013,77	1983,23	3933209,55	–	–
2	3060	2753	0,000363	973,63	2086,37	4352929,84	10636,94	4137751,23
3	3331	2891	0,000346	1561,58	1769,42	3130835,51	100457,88	3691653,74
4	4103	3265	0,000306	2905,14	1197,86	1434864,13	326679,20	2119510,22
5	4126	3734	0,000268	4209,60	-83,60	6989,70	1642146,32	-100146,25
6	4487	4177	0,000239	5172,73	-685,73	470220,47	362550,67	57329,75
7	5095	4433	0,000226	5641,53	-546,53	298698,52	19374,71	374772,14
8	5196	4643	0,000215	5987,50	-791,50	626478,19	60010,58	432583,07
9	5001	4608	0,000217	5932,03	-931,03	866820,28	19468,09	736915,20
10	5104	4879	0,000205	6340,77	-1236,77	1529593,27	93474,15	1151469,70
11	4985	4563	0,000219	5859,46	-874,46	764680,95	131266,28	1081503,97
12	5102	5017	0,000199	6531,94	-1429,94	2044721,47	308554,92	1250423,75
13	5189	5260	0,000190	6844,18	-1655,18	2739622,73	50734,41	2366804,90
14	5243	6327	0,000158	7931,35	-2688,35	7227224,23	1067438,49	4449704,24
15	5986	6352	0,000157	7952,44	-1966,44	3866898,82	521149,04	5286487,00
16	5715	6784	0,000147	8292,38	-2577,38	6642909,86	373249,05	5068279,82
17	7245	7865	0,000127	8979,39	-1734,39	3008092,60	710647,21	4470177,63
18	8332	9172	0,000109	9593,75	-1261,75	1592023,37	223380,33	2188367,82
19	9392	9597	0,000104	9757,48	-365,48	133572,39	803315,18	461140,29
20	10222	11380	0,000088	10311,07	-89,07	7933,04	76401,34	32552,05
21	11976	12339	0,000081	10542,65	1433,35	2054481,23	2317743,81	-127664,76
22	13694	14004	0,000071	10869,39	2824,61	7978416,38	1935612,46	4048642,58
23	14538	15010	0,000067	11031,68	3506,32	12294300,37	464733,77	9903991,49
24	15436	17202	0,000058	11319,55	4116,45	16945180,30	372257,98	14433611,34
Σ					0,000	83950697,22	11991282,79	67515860,90

 

3). Обчислюємо критерій Дарбіна-Уотсона:

та коефіцієнт автокореляції залишків першого порядку: .

Критичні значення DW при >0 для кількості спостережень n = 24, числа пояснюючих змінних m =1 та рівня значущості α = 0,05 відповідно дорівнюють: DW ₁ =1,273; DW ₂ =1.446.

0 < DW < 1,273, то для даної моделі можемо стверджувати про існування додатної автокореляції залишків.

 

4). Якщо порівняти побудовану модель з моделлю, розглянутою в прикладі 1, то можна сказати, що зміна лінійної специфікації моделі на гіперболічну, призвела не тільки до погіршення характеристик моделі, а й посилила автокореляцію залишків, про що свідчить менше значення DW та близьке до одиниці .