Моделирование процессов с помощью уравнения парной линейной регрессии

Линейная регрессия находит широкое применение в эконометрике ввиду четкой экономической интерпретации ее параметров.

Параметризация модели осуществляется следующим образом. Линейная регрессия сводится к нахождению уравнения вида:

                                                (3)

                                            (4)

Уравнение вида  (3) позволяет по заданным значениям фактора  находить теоретические значения результативного признака, подставляя в него фактические значения фактора .

Информационный этап заключается в формировании массива исходных (фактических, эмпирических, реальных) данных х _i и у _i.

На этапе идентификации находят численные значения параметров  и . Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК). МНК позволяет получить такие оценки параметров  и , при которых сумма квадратов отклонений фактических значений результативного признака  от теоретических  минимальна:

.                                  (5)

Т.е. из всего множества линий линия регрессии на графике выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной (рис. 1.):

 

Рисунок 1.1 - Линия регрессии с минимальной дисперсией остатков.

 

После несложных преобразований, получим следующую систему линейных уравнений для оценки параметров  и :

                                        (6)

 

Решая систему уравнений (6), найдем искомые оценки параметров  и . Можно воспользоваться следующими готовыми формулами, которые следуют непосредственно из решения системы (6):

,                                                          (7)

,                                                    (8)

где   – дисперсия признака , которая рассчитывается по формулам (9), (10), (13).

,                                                        (9)

,                                                            (10)

,                                                            (11)

,                                                   (12)

                                                         (13)

Следует отметить, что в данных формулах используются фактические значения массивов данных х _i и у _i.

Возможность четкой экономической интерпретации коэффициента регрессии сделала линейное уравнение регрессии достаточно распространенным в эконометрических исследованиях.

Параметр  называется коэффициентом регрессии. Его величина показывает среднее изменение результата с изменением фактора на одну единицу.

На этапе верификации оценивают качество полученной модели и ее пригодность для прогноза. Для этого необходимо:

- оценить тесноту связи между фактором и результатом;

- оценить качество подбора линейной функции;

- оценить значимость уравнения регрессии в целом;

- оценить значимость отдельных параметров уравнения регрессии.

Для оценки тесноты связи между фактором и результатом для линейной регрессии используют линейный коэффициент корреляции , который можно рассчитать по следующим формулам:

,                                               (14)

Между коэффициентами b и  существует следующая зависимость:

если b > 0, то r > 0,

если b < 0, то r < 0.

Линейный коэффициент корреляции находится в пределах: . Чем ближе абсолютное значение  к единице, тем сильнее линейная связь между факторами (при  имеем строгую функциональную зависимость).

Если , то это может означать:

- отсутствие связи между признаками;

- наличие нелинейной формы связи.

Интерпретация значений :

    если | | =1    → связь тесная,

если r ≈ 0 → связи нет, или

→ связь нелинейная.

Для оценки качества подбора линейной функции рассчитывается квадрат линейного коэффициента корреляции , называемый коэффициентом детерминации. Коэффициент детерминации характеризует долю дисперсии результативного признака , объясняемую регрессией, в общей дисперсии результативного признака:

,                                                         (15)

где  – остаточная дисперсия результативного признака (не объясненная уравнением);

 – общая дисперсия результативного признака.

Остаточная дисперсия результативного признака (не объясненная уравнением) находится по формуле (16):

,                                      (16)

Общая дисперсия результативного признака находится по формуле (17):

,                              (17)

Соответственно величина  характеризует долю дисперсии , вызванную влиянием остальных, не учтенных в модели, факторов.

После того как найдено уравнение линейной регрессии, проводится оценка значимости как уравнения в целом, так и отдельных его параметров. Оценить значимость уравнения регрессии – это означает установить, соответствует ли математическая модель, выражающая зависимость между Y и Х, фактическим данным и достаточно ли включенных в уравнение объясняющих переменных Х для описания зависимой переменной Y.

Оценка значимости уравнения регрессии производится для того, чтобы узнать, пригодно уравнение регрессии для практического использования (например, для прогноза) или нет. При этом выдвигают основную гипотезу о незначимости уравнения в целом, которая формально сводится к гипотезе о равенстве нулю параметров регрессии, или, что то же самое, о равенстве нулю коэффициента детерминации: . Альтернативная ей гипотеза о значимости уравнения — гипотеза о неравенстве нулю параметров регрессии.

Оценка значимости уравнения регрессии в целом производится на основе - критерия Фишера, созданного на основе теории дисперсионного анализа. Если расчетное значение F _факт с n₁= k и n₂ = (n - k - 1) степенями свободы, где k – количество факторов, включенных в модель, больше табличного (F_табл) при заданном уровне значимости, то модель считается значимой.

Согласно основной идее дисперсионного анализа, общая сумма квадратов отклонений переменной  от среднего значения  раскладывается на две части – «объясненную» и «необъясненную» (18):

    ,                  (18)

где  – общая сумма квадратов отклонений;

 – сумма квадратов отклонений, объясненная регрессией (или факторная сумма квадратов отклонений);

 – остаточная сумма квадратов отклонений, характеризующая влияние неучтенных в модели факторов (необъясненная).

Схема дисперсионного анализа имеет вид, представленный в таблице 1.2 (  – число наблюдений,  – число параметров при переменной ).

Таблица 1.2 – Схема дисперсионного анализа

Компоненты дисперсии	Сумма квадратов	Число степеней свободы	Дисперсия на одну степень свободы
Общая
Факторная
Остаточная

Определение дисперсии на одну степень свободы приводит дисперсии к сравнимому виду. Сопоставляя факторную и остаточную дисперсии в расчете на одну степень свободы, получим величину -критерия Фишера:

,                                                    (19)

Фактическое значение -критерия Фишера (19) сравнивается с табличным значением  при уровне значимости  и степенях свободы  и . При этом, если фактическое значение -критерия больше , то признается статистическая значимость уравнения в целом.

Для парной линейной регрессии , поэтому -критерий можно определить по формуле (20):

    ,                                (20)

Величина -критерия связана с коэффициентом детерминации , и в линейной регрессии ее можно рассчитать по следующей формуле (21):

,                                               (21)

Значимость отдельных параметров уравнения оценивается с помощью t -статистики по формулам:

,                                                        (22)

,                                                        (23)

,                                                        (24)

где , b, r _xy – параметры уравнения регрессии,

 , ,  – стандартные ошибки соответствующих параметров;

, ,  – фактические значения t-статистики или критерия Стьюдента по каждому параметру соответственно.

Стандартная ошибка коэффициента регрессии  определяется по формуле (25):

,                                      (25)

где  – остаточная дисперсия на одну степень свободы.

Стандартная ошибка параметра  определяется по формуле (26):

.                 (26)

Стандартная ошибка параметра r _xy определяется по формуле (27):

,                                                        (27)

Для оценки существенности каждого параметра фактическое значение -критерия Стьюдента, определённое по формулам (22), (23), (24) сравнивается с табличным значением при определенном уровне значимости  и числе степеней свободы . Если -критерий фактический больше -критерия табличного, то оценка данного параметра признается статистически значимой.

Существует связь между -критерием Стьюдента и -критерием Фишера:

,                                                             (28)

Таким образом, проверка гипотез о значимости коэффициента регрессии и коэффициента корреляции проводится одинаково. Если коэффициент регрессии статистически значимый, то коэффициент корреляции тоже статистически значимый.

Чтобы иметь общее суждение о качестве модели из относительных отклонений по каждому наблюдению, определяют среднюю ошибку аппроксимации:

    .                                      (29)

Средняя ошибка аппроксимации не должна превышать 8–10%.

Для построения прогноза по уравнению регрессии необходимо подставить в уравнение  соответствующее значение . Таким образом, определяется  как точечный прогноз у   при .

Однако точечный прогноз очень ненадежен. Вероятность того, что реальное значение у совпадет с прогнозным , очень маленькая, практически нулевая. Поэтому для повышения надежности прогноза определяют доверительный интервал прогноза по формуле (29):

                                    (30)

где – средняя ошибка прогноза при заданной степени вероятности.

Среднюю ошибку прогноза можно определить по формуле (30):

,                                                    (31)

где  – стандартная ошибка у;

– задается самостоятельно, в соответствии со степенью свободы и желаемой вероятностью 1-α.

Стандартная ошибка   определяется по формуле (31);

 

                            (32)

Таким образом, можно сделать вывод, что при х = х _p,  попадает в интервал  с вероятностью 1-α.

Пример расчета параметров парной линейной регрессии

 

В таблице 1.3 приведены данные о доле в расходах, направленной на потребление продуктов питания и заработной плате по нескольким регионам Уральского Федерального округа. Так как заработная плата характеризует одну из статей доходов домохозяйств, причем основную, а доля расходов на потребление продуктов питания – основную статью расходов, эти два показателя должны быть связаны между собой.

Х – заработная плата;

У – доля расходов на потребление продуктов питания, так как доля расходов зависит от заработной платы.

Задание: 1) параметризация: подобрать уравнение связи;

2) идентификация: идентифицировать параметры уравнения, измерить тесноту связи между фактором и результатом;

3) верификация: оценить надежность модели, сделать выводы;

4) прогнозирование:

- оценить уровень потребления при заданной заработной плате 58,0 млн.руб.

- оценить уровень потребления при заданной заработной плате равной ( +5%).

Порядок решения:

1) Параметризация: выберем для подбора параметров уравнение парной линейной регрессии, как получившее наибольшее распространение, наиболее легко идентифицируемое и интерпретируемое. Общий вид уравнения парной линейной регрессии в соответствии с формулой (4) следующий:

у = а + bх + e

2) На этапе идентификации необходимо вместо буквенных обозначений параметров а и b  найти числа, соответствующие данной парной регрессии.

Найдем параметры а и b по формулам (7) и (8). Все предварительные расчеты приведены в таблице 3.

 

Таблица 1.3 – исходные данные для расчетов

№ п/п	Х, млн. руб	Y, %	Y ·Х	Y 2	Х2	ŶХ	Y -ŶХ	(Y -Ŷ)2	10 = | 8/7 |	(Х- )2
1	2	3	4	5	6	7	8	9	10	11
1	68,8	45,1	3102,9	2034,0	4733,4	51,0	-5,9	34,4	0,115	119,1
2	61,2	59,0	3610,8	3481,0	3745,4	53,7	5,3	28,0	0,099	11,0
3	59,9	57,2	3426,3	3271,8	3588,0	54,2	3,0	9,2	0,056	4,1
4	56,7	61,8	3504,1	3819,2	3214,9	55,3	6,5	41,9	0,117	1,4
5	55,0	58,8	3234,0	3457,4	3025,0	55,9	2,9	8,2	0,051	8,3
6	54,3	47,2	2563,0	2227,8	2948,5	56,2	-9,0	80,9	0,160	12,9
7	49,3	55,2	2721,4	3047,0	2430,5	58,0	-2,8	7,8	0,048	73,7

Итого