Нахождение параметров выборочного уравнения прямой линии регрессии по несгруппированным данным

Пусть изучается система количественных признаков . В результате  независимых опытов получены n пар чисел ,

Найдем по данным наблюдений выборочное уравнение регрессии. Для определенности будем искать уравнение

y = a + b × x + e,                                                                            (1)

где величина y рассматривается как зависимая переменная, x – объясняющая (независимая) переменная, a, b – постоянные величины (параметры уравнения), e – случайный член.

Предположив, что стохастическое слагаемое в уравнении (1) имеет нулевое математическое ожидание и постоянную дисперсию, оценим параметры модели методом наименьших квадратов (МНК).

В основе МНК лежит принцип минимизации суммы квадратов излишков модели. В результате этого можно получить следующую систему нормальных уравнений:

                                                          (2)

где a, b – оценки параметров  соответственно, n – количество наблюдений, , , ,  можно вычислить на основании данных наблюдений (), i = 1,2,… n. Решив систему (2), получим уравнение линейной регрессии:

.

Коэффициенты a и b можно также вычислить следующим образом:

                                                     (3)

где: .

Достоверность построенной модели можно проверить, воспользовавшись методами дисперсионного анализа. Для этого нужно найти дисперсию излишков по формуле:

где , k – число объясняющих переменных, затем вычислить стандартные ошибки параметров модели:

где: Var (x)=  – выборочная дисперсия x.

Для проверки статистической значимости коэффициентов полученной модели нужно проделать следующее:

1) Вычислить расчетное значение t -статистики по формуле:

,        .

2) По таблице критических значений для распределения Стьюдента с (n - k) степенями свободы при заданном уровне значимости a найти критическое значение t -критическое;

3) Сравнить t _р и t _крит. Если t _р > t _крит, то коэффициенты полученного уравнения регрессии являются статистически значимыми, в противном случае – незначимыми.

На основании коэффициента детерминации

                                                                          (4)

можно сделать выводы об адекватности полученной модели. Значение R ² может принадлежать интервалу (0,1).

Коэффициент детерминации показывает, какую часть дисперсии у объясняет полученное уравнение регрессии. Чем ближе R ² к 1, тем увереннее можно утверждать, что связь между рассматриваемыми величинами является статистически значимой.

Показателем тесноты линейной связи между факторным и результативным признаком является выборочный коэффициент корреляции.

Коэффициент корреляции вычисляется по формуле:

Раскрыв данное соотношение, можем получить его в другой форме:

Данная формула может быть преобразована к виду:

 

или

.

Для коэффициента корреляции выполняется неравенство .

Если , то между x и y прямая связь (чем больше x, тем больше y),

Если , то между x и y обратная связь (чем больше x, тем меньше y).

Если , то между x и y практически отсутствует связь, близкая к линейной,

Если , то между x и y умеренная связь, если , то между x и y наблюдается функциональная связь.

При помощи коэффициента корреляции уравнение линейной регрессии может быть записано в виде:

.

Задания 1 4 1-1 5 0

На основании имеющихся статистических данных:

1) рассчитайте параметры уравнения линейной регрессии между расходами на жилищные услуги (y) и личным располагаемым доходом (x).

2) вычислите коэффициент детерминации и сделайте вывод.

3) оцените модель через среднюю ошибку аппроксимации и F -критерий Фишера.

4) постройте корреляционное поле и нанесите на него линию полученного уравнения регрессии.

141.

	2	3	4	5	6	7	8
	3	5	5,5	4	7	7,5	8,5

142.

	5	2	4	6	7	3	5	6
	10	18	14	8	5	15	8	5

143.

	8	7,5	6	8,2	7,5	6,5	5,5
	3	2,5	1,5	3,5	3	2,5	1,5

144.

	1,7	2,4	3	3,5	2,5	2	1,5	4
	3	5	6,2	7,1	3,5	2,8	1,5	8,2

145.

	10	12	8	15	14	16	12	13
	5,5	6,2	3,9	8	7,5	8,5	5	6,2

146.

	3,7	4,2	3,9	4,3	5	5,2	5,3
	11	12,4	15,2	16,6	17,2	18,1	19,2

147.

	5,2	7,1	8,1	9,2	10,2	11,3	11,5
	10,5	14,3	18,5	20,3	22,1	24,2	25,2

148.

	12,2	14,3	10,6	8,2	9,5	14,2	18,1	22,2
	6,5	7,5	5,8	4,7	5,1	7,2	10,2	12,1

149.

	36	24	18	25	31	33	24
	108	63	47	80	92	102	71

150.

	5,9	7,2	6,1	10,2	14,2	15,1	16,8	19,2	20,1
	6	5,4	4,3	8,3	12,1	12,4	13,2	15,1	18,2

Пример выполнения заданий 14 1-15 0       

 На основании имеющихся статистических данных за 10 лет:

	47,97	48,97	50,38	52,49	54,23	58,08	61,63	64,66	67,35	70,13
	6,4	6,7	7,07	7,4	7,74	8,16	8,53	8,91	9,35	9,84

1) рассчитайте параметры уравнения линейной регрессии между расходами на жилищные услуги (y) и личным располагаемым доходом (x).

2) вычислите коэффициент детерминации и сделайте вывод.

3) оцените модель через среднюю ошибку аппроксимации и F -критерий Фишера.

4) постройте корреляционное поле и нанесите на него линию полученного уравнения регрессии.

Решение:

1. Идентифицируем переменные:

x – располагаемый личный доход, независимая переменная.

y – расходы на жилищные услуги, зависимая переменная.

2. Оценим параметры модели  одношаговым методом наименьших квадратов (МНК). Все необходимые вычисления запишем в таблицу 10.

Для коэффициентов a и b запишем систему нормальных уравнений (2):

Таблица 15

	x	y	x^2	xy
1	47,97	6,4	2301,1	307,01	15,49	92,53	6,96	0,055
2	48,97	6,7	2398,0	328,10	11,29	74,29	7,11	0,006
3	50,38	7,07	2538,1	356,19	6,78	51,97	7,31	0,008
4	52,49	7,4	2755,2	388,43	3,11	26,00	7,63	0,014
5	54,23	7,74	2940,8	419,74	0,91	11,28	7,88	0,044
6	58,08	8,16	3373,3	473,93	0,07	0,24	8,45	0,006
7	61,63	8,53	3798,2	525,70	2,10	16,33	8,97	0,003
8	64,66	8,91	4180,9	576,12	6,36	50,00	9,42	0,012
9	67,35	9,35	4536,0	629,72	13,08	95,28	9,81	0,003
10	70,13	9,84	4918,2	690,08	22,95	157,28	10,22	0,001
сумма	575,89	80,1	33740,1	4695,02	82,14	575,19		0,154
среднее	57,589	8,01

Подставив в указанную систему значения , вычисленные согласно входным данным, получим систему уравнений:

Откуда находим: a = -0,225; b = 0,143.

Таким образом, .

Найдя отклонения каждой переменной от своего среднего арифметического, оценим параметры a и b в альтернативной форме:

Искомое уравнение линейной регрессии: .

Коэффициент  показывает, что при увеличении располагаемого личного дохода на 1 млрд. долларов расходы на жилищные услуги увеличивались в среднем на 0,143 млрд. долларов.

Коэффициент корреляции и детерминации (по формуле (4)):

;

.

Поскольку коэффициент детерминации R ² = 0,98, то расходы на жилищные услуги на 98% зависят от личных доходов граждан.

Проверка адекватности модели

Для проверки качества оценивания регрессии служит критерий Фишера. Он заключается в формулировании и проверке нулевой гипотезы:  

H ₀: R ² = 0, при альтернативной гипотезе  

H ₁: R ² ¹ 0.

Для проведения F -теста необходимо:

1) вычислить расчетное значение F -статистики по формуле:

.

2) по таблице критических значений для распределения Фишера при заданном уровне значимости a со степенями свободы V ₁ = k и V ₂ = n - k -1 найти F _крит.

3) если F _р > F _крит, то нулевая гипотеза отклоняется с вероятностью (1- a), в противном случае нулевая гипотеза принимается.

В данном случае  89. Табличное значение  с уровнем значимости a = 0,05 и числом степеней свободы V ₁ = 1 и V ₂ = n - k -1 = 10 (Приложение 5) равно 4,96. Поскольку F _р > F _Т, то построенная модель адекватна. Так как при этом коэффициенты регрессии статистически значимые, то ее можно использовать для принятия решений и осуществления прогнозов.

На рисунке изображено корреляционное поле и график полученного уравнения регрессии.

 

Приложения

Приложение 1

Таблица значений локальной функции Лапласа .

	0	1	2	3	4	5	6	7	8	9
0,0	0,3989	0,3989	0,3989	0,3988	0,3986	0,3984	0,3982	0,3980	0,3977	0,3973
0,1	0,3970	0,3965	0,3961	0,3956	0,3951	0,3945	0,3939	0,3932	0,3925	0,3918
0,2	0,3910	0,3902	0,3894	0,3885	0,3876	0,3867	0,3857	0,3847	0,3836	0,3825
0,3	0,3814	0,3802	0,3790	0,3778	0,3765	0,3752	0,3739	0,3726	0,3712	0,3698
0,4	0,3683	0,3668	0,3652	0,3637	0,3621	0,3605	0,3589	0,3572	0,3555	0,3538
0,5	0,3521	0,3503	0,3485	0,3467	0,3448	0,3429	0,3410	0,3391	0,3372	0,3352
0,6	0,3332	0,3312	0,3292	0,3271	0,3251	0,3230	0,3209	0,3187	0,3166	0,3144
0,7	0,3123	0,3101	0,3079	0,3056	0,3034	0,3011	0,2989	0,2966	0,2943	0,2920
0,8	0,2897	0,2874	0,2850	0,2827	0,2803	0,2780	0,2756	0,2732	0,2709	0,2685
0,9	0,2661	0,2637	0,2613	0,2589	0,2565	0,2541	0,2516	0,2492	0,2468	0,2444
1,0	0,2420	0,2396	0,2371	0,2347	0,2323	0,2299	0,2275	0,2251	0,2227	0,2203
1,1	0,2179	0,2155	0,2131	0,2107	0,2083	0,2059	0,2036	0,2012	0,1989	0,1965
1,2	0,1942	0,1919	0,1895	0,1872	0,1849	0,1826	0,1804	0,1781	0,1758	0,1736
1,3	0,1714	0,1691	0,1669	0,1647	0,1626	0,1604	0,1582	0,1561	0,1539	0,1518
1,4	0,1497	0,1476	0,1456	0,1435	0,1415	0,1394	0,1374	0,1354	0,1334	0,1315
1,5	0,1295	0,1276	0,1257	0,1238	0,1219	0,1200	0,1182	0,1163	0,1145	0,1127
1,6	0,1109	0,1092	0,1074	0,1057	0,1040	0,1023	0,1006	0,0989	0,0973	0,0957
1,7	0,0940	0,0925	0,0909	0,0893	0,0878	0,0863	0,0848	0,0833	0,0818	0,0804
1,8	0,0790	0,0775	0,0761	0,0748	0,0734	0,0721	0,0707	0,0694	0,0681	0,0669
1,9	0,0656	0,0644	0,0632	0,0620	0,0608	0,0596	0,0584	0,0573	0,0562	0,0551
2,0	0,0540	0,0529	0,0519	0,0508	0,0498	0,0488	0,0478	0,0468	0,0459	0,0449
2,1	0,0440	0,0431	0,0422	0,0413	0,0404	0,0395	0,0387	0,0379	0,0371	0,0363
2,2	0,0353	0,0347	0,0339	0,0332	0,0325	0,0317	0,0310	0,0303	0,0297	0,0290
2,3	0,0283	0,0277	0,0270	0,0264	0,0258	0,0252	0,0246	0,0241	0,0235	0,0229
2,4	0,0224	0,0219	0,0213	0,0208	0,0203	0,0198	0,0194	0,0189	0,0184	0,0180
2,5	0,0175	0,0171	0,0167	0,0163	0,0158	0,0154	0,0151	0,0147	0,0143	0,0139
2,6	0,0136	0,0132	0,0129	0,0126	0,0122	0,0119	0,0116	0,0113	0,0110	0,0107
2,7	0,0104	0,0101	0,0099	0,0096	0,0093	0,0091	0,0088	0,0086	0,0084	0,0081
2,8	0,0079	0,0077	0,0075	0,0073	0,0071	0,0069	0,0067	0,0065	0,0063	0,0061
2,9	0,0060	0,0058	0,0056	0,0055	0,0053	0,0051	0,0050	0,0048	0,0047	0,0046
3,0	0,0044	0,0043	0,0042	0,0040	0,0039	0,0038	0,0037	0,0036	0,0035	0,0034
3,1	0,0033	0,0032	0,0031	0,0030	0,0029	0,0028	0,0027	0,0026	0,0025	0,0025
3,2	0,0024	0,0023	0,0022	0,0022	0,0021	0,0020	0,0020	0,0019	0,0018	0,0018
3,3	0,0017	0,0017	0,0016	0,0016	0,0015	0,0015	0,0014	0,0014	0,0013	0,0013
3,4	0,0012	0,0012	0,0012	0,0011	0,0011	0,0010	0,0010	0,0010	0,0009	0,0009
3,5	0,0009	0,0008	0,0008	0,0008	0,0008	0,0007	0,0007	0,0007	0,0007	0,0006
3,6	0,0006	0,0006	0,0006	0,0005	0,0005	0,0005	0,0005	0,0005	0,0005	0,0004
3,7	0,0004	0,0004	0,0004	0,0004	0,0004	0,0004	0,0003	0,0003	0,0003	0,0003
3,8	0,0003	0,0003	0,0003	0,0003	0,0003	0,0002	0,0002	0,0002	0,0002	0,0002
3,9	0,0002	0,0002	0,0002	0,0002	0,0002	0,0002	0,0002	0,0002	0,0002	0,0001

 

Приложение 2

Таблица значений интегральной функции Лапласа .

x	Ф(х)	x	Ф(х)	x	Ф(х)	x	Ф(х)	x	Ф(х)
0,00	0,0000	0,46	0,1772	0,92	0,3212	1,38	0,4162	1,84	0,4671
0,01	0,0040	0,47	0,1808	0,93	0,3238	1,39	0,4177	1,85	0,4678
0,02	0,0080	0,48	0,1844	0,94	0,3264	1,40	0,4192	1,86	0,4686
0,03	0,0120	0,49	0,1879	0,95	0,3289	1,41	0,4207	1,87	0,4693
0,04	0,0160	0,50	0,1915	0,96	0,3315	1,42	0,4222	1,88	0,4699
0,05	0,0199	0,51	0,1950	0,97	0,3340	1,43	0,4236	1,89	0,4706
0,06	0,0239	0,52	0,1985	0,98	0,3365	1,44	0,4251	1,90	0,4713
0,07	0,0279	0,53	0,2019	0,99	0,3389	1,45	0,4265	1,91	0,4719
0,08	0,0319	0,54	0,2054	1,00	0,3413	1,46	0,4279	1,92	0,4726
0,09	0,0359	0,55	0,2088	1,01	0,3438	1,47	0,4292	1,93	0,4732
0,10	0,0398	0,56	0,2123	1,02	0,3461	1,48	0,4306	1,94	0,4738
0,11	0,0438	0,57	0,2157	1,03	0,3485	1,49	0,4319	1,95	0,4744
0,12	0,0478	0,58	0,2190	1,04	0,3508	1,50	0,4332	1,96	0,4750
0,13	0,0517	0,59	0,2224	1,05	0,3531	1,51	0,4345	1,97	0,4756
0,14	0,0557	0,60	0,2257	1,06	0,3554	1,52	0,4357	1,98	0,4761
0,15	0,0596	0,61	0,2291	1,07	0,3577	1,53	0,4370	1,99	0,4767
0,16	0,0636	0,62	0,2324	1,08	0,3599	1,54	0,4382	2,00	0,4772
0,17	0,0675	0,63	0,2357	1,09	0,3621	1,55	0,4394	2,02	0,4783
0,18	0,0714	0,64	0,2389	1,10	0,3643	1,56	0,4406	2,04	0,4793
0,19	0,0753	0,65	0,2422	1,11	0,3665	1,57	0,4418	2,06	0,4803
0,20	0,0793	0,66	0,2454	1,12	0,3686	1,58	0,4429	2,08	0,4812
0,21	0,0832	0,67	0,2486	1,13	0,3708	1,59	0,4441	2,10	0,4821
0,22	0,0871	0,68	0,2517	1,14	0,3729	1,60	0,4452	2,12	0,4830
0,23	0,0910	0,69	0,2549	1,15	0,3749	1,61	0,4463	2,14	0,4838
0,24	0,0948	0,70	0,2580	1,16	0,3770	1,62	0,4474	2,16	0,4846
0,25	0,0987	0,71	0,2611	1,17	0,3790	1,63	0,4484	2,18	0,4854
0,26	0,1026	0,72	0,2642	1,18	0,3810	1,64	0,4495	2,20	0,4861
0,27	0,1064	0,73	0,2673	1,19	0,3830	1,65	0,4505	2,22	0,4868
0,28	0,1103	0,74	0,2703	1,20	0,3849	1,66	0,4515	2,24	0,4875
0,29	0,1141	0,75	0,2734	1,21	0,3869	1,67	0,4525	2,26	0,4881
0,30	0,1179	0,76	0,2764	1,22	0,3883	1,68	0,4535	2,28	0,4887
0,31	0,1217	0,77	0,2794	1,23	0,3907	1,69	0,4545	2,30	0,4893
0,32	0,1255	0,78	0,2823	1,24	0,3925	1,70	0,4554	2,32	0,4898
0,33	0,1293	0,79	0,2852	1,25	0,3944	1,71	0,4564	2,34	0,4904
0,34	0,1331	0,80	0,2881	1,26	0,3962	1,72	0,4573	2,36	0,4909
0,35	0,1368	0,81	0,2910	1,27	0,3980	1,73	0,4582	2,38	0,4913
0,36	0,1406	0,82	0,2939	1,28	0,3997	1,74	0,4591	2,40	0,4918
0,37	0,1443	0,83	0,2967	1,29	0,4015	1,75	0,4599	2,42	0,4922
0,38	0,1480	0,84	0,2995	1,30	0,4032	1,76	0,4608	2,44	0,4927
0,39	0,1517	0,85	0,3023	1,31	0,4049	1,77	0,4616	2,46	0,4931
0,40	0,1554	0,86	0,3051	1,32	0,4066	1,78	0,4625	2,48	0,4934
0,41	0,1591	0,87	0,3078	1,33	0,4082	1,79	0,4633	2,50	0,4938
0,42	0,1628	0,88	0,3106	1,34	0,4099	1,80	0,4641	2,52	0,4941
0,43	0,1664	0,89	0,3133	1,35	0,4115	1,81	0,4649	2,54	0,4945
0,44	0,1700	0,90	0,3159	1,36	0,4131	1,82	0,4656	2,56	0,4948
0,45	0,1736	0,91	0,3186	1,37	0,4147	1,83	0,4664	2,58	0,4951

 

продолжение приложения 2

x	Ф(х)	x	Ф(х)	x	Ф(х)	x	Ф(х)	x	Ф(х)
2,60	0,4953	2,72	0,4967	2,84	0,4977	2,96	0,4985	3,80	0,499928
2,62	0,4956	2,74	0,4969	2,86	0,4979	2,98	0,4986	4,00	0,499968
2,64	0,4959	2,76	0,4971	2,88	0,4980	3,00	0,49865	4,50	0,499997
2,66	0,4961	2,78	0,4973	2,90	0,4981	3,20	0,49931	5,00	0,499997
2,68	0,4963	2,80	0,4974	2,92	0,4982	3,40	0,49966
2,70	0,4965	2,82	0,4976	2,94	0,4984	3,60	0,499841

 

Приложение 3

Критические точки распределения

Число степеней свободы k	Уровень значимости a
	0,01	0,025	0.05	0,95	0,975	0.99
1	6.6	5.0	3.8	0.0039	0.00098	0.00016
2	9.2	7.4	6.0	0.103	0.051	0.020
3	11.3	9.4	7.8	0.352	0.216	0.115
4	13.3	11.1	9.5	0.711	0.484	0.297
5	15.1	12.8	11.1	1.15	0.831	0.554
6	16.8	14.4	12.6	1.64	1.24	0.872
7	18.5	16.0	14.1	2.17	1.69	1.24
8	20.1	17.5	15.5	2.73	2.18	1.65
9	21.7	19.0	16.9	3.33	2.70	2.09
10	23.2	20.5	18.3	3.94	3.25	2.56
11	24.7	21.9	19.7	4.57	3.82	3.05
12	26.2	23.3	21.0	5.23	4.40	3.57
13	27.7	24.7	22.4	5.89	5.01	4.11
14	29.1	26.1	23.7	6.57	5.63	4.66
15	30.6	27.5	25.0	7.26	6.26	5.23
16	32.0	28.8	26.3	7.96	6.91	5.81
17	33.4	30.2	27.6	8.67	7.56	6.41
18	34.8	31.5	28.9	9.39	8.23	7.01
19	36.2	32.9	30.1	10.1	8.91	7.63
20	37.6	34.2	31.4	10.9	9.59	8.26
21	38.9	35.5	32.7	11.6	10.3	8.90
22	40.3	36.8	33.9	12.3	11.0	9.54
23	41.6	38.1	35.2	13.1	11.7	10.2
24	43.0	39.4	36.4	13.8	12.4	10.9
25	44.3	40.6	37.7	14.6	13.1	11.5
26	45.6	41.9	38.9	15.4	13.8	12.2
27	47.0	43.2	40.1	16.2	14.6	12.9
28	48.3	44.5	41.3	16.9	15.3	13.6
29	49.6	45.7	42.6	17.7	16.0	14.3
30	50.9	47.0	43.8	18.5	16.8	15.0

 

Приложение 4

             Критические точки распределения Стьюдента

Число степеней свободы k	Уровень значимости a (двусторонняя критическая область)
	0.10	0.05	0.02	0.01	0.002	0.001
1	6.31	12.7	31.82	63.7	318.3	637.0
2	2.92	4.30	6.97	9.92	22.33	31.6
3	2.35	3.18	4.54	5.84	10.22	12.9
4	2.13	2.78	3.75	4.60	7.17	8.61
5	2.01	2.57	3.37	4.03	5.89	6.86
6	1.94	2.45	3.14	3.71	5.21	5.96
7	1.89	2.36	3.00	3.50	4.79	5.40
8	1.86	2.31	2.90	3.36	4.50	5.04
9	1.83	2.26	2.82	3.25	4.30	4.78
10	1.81	2.23	2.76	3.17	4.14	4.59
11	1.80	2.20	2.72	3.11	4.03	4.44
12	1.78	2.18	2.68	3.05	3.93	4.32
13	1.77	2.16	2.65	3.01	3.85	4.22
14	1.76	2.14	2.62	2.98	3.79	4.14
15	1.75	2.13	2.60	2.95	3.73	4.07
16	1.75	2.12	2.58	2.92	3.69	4.01
17	1.74	2.11	2.57	2.90	3.65	3.95
18	1.73	2.10	2.55	2.88	3.61	3.92
19	1.73	2.09	2.54	2.86	3.58	3.88
20	1.73	2.09	2.53	2.85	3.55	3.85
21	1.72	2.08	2.52	2.83	3.53	3.82
22	1.72	2.07	2.51	2.82	3.51	3.79
23	1.71	2.07	2.50	2.81	3.59	3.77
24	1.71	2.06	2.49	2.80	3.47	3.74
25	1.71	2.06	2.49	2.79	3.45	3.72
26	1.71	2.06	2.48	2.78	3.44	3.71
27	1.71	2.05	2.47	2.77	3.42	3.69
28	1.70	2.05	2.46	2.76	3.40	3.66
29	1.70	2.05	2.46	2.76	3.40	3.66
30	1.70	2.04	2.46	2.75	3.39	3.65
40	1.68	2.02	2.42	2.70	3.31	3.55
60	1.67	2.00	2.39	2.66	3.23	3.46
120	1.66	1.98	2.36	2.62	3.17	3.37
¥	1.64	1.96	2.33	2.58	3.09	3.29
	0.05	0.025	0.01	0.005	0.001	0.0005
	Уровень значимости a (односторонняя критическая область)

Приложение 5

Критические точки распределения Фишера

( — число степеней свободы большей дисперсии,

—число степеней свободы меньшей дисперсии)

Уровень значимости a = 0.01