Точность коэффициентов множественной регрессии

Далее мы рассмотрим факторы, определяющие ожидаемую точность коэф­фициентов регрессии для случая двух объясняющих переменных. Аналогич­ные рассуждения применимы и в более общем случае, но при более чем двух переменных необходим переход к матричной алгебре. Если истинная зависи­мость имеет вид:

Y_i= β₁ + β₂ X_2i + β₃ X_3i+u_i (3.29)

и вы оценили уравнение регрессии

Y_i= b₁ + b₂ X_2i + b₃ X_3i (3.30)

использовав необходимые данные, то — теоретическая дисперсия вероят­ностного распределения для b₂ — будет описываться выражением:

(3.31)

 

где — теоретическая дисперсия величины u; — коэффициент корреля­ции между Х₁ и Х₂ . Аналогичное выражение можно получить и для теоретической дисперсии величины b₃ заменив на Записав (3.31) в виде:

 

(3.32)

где MSD(X₂) — среднее квадратическое отклонение Х₂, определяемое формулой , мы можем увидеть, что так же, как и в случае парного регрессионного анализа, желательно, чтобы п и MSD(X₂) были большими, а -малым. Однако теперь присутствует еще и член . Очевидно, что желательно иметь слабую корреляцию между Х₂ и Х_3.

Этому легко дать интуитивное объяснение. Чем выше корреляция, там сложнее определить влияние каждой из объясняющих переменных на Y и тем менее точными будут оценки коэффициентов регрессии. Это может стать серь­езной проблемой, которую мы будем обсуждать в следующем подразделе.

Стандартное отклонение распределения b₂ представляет собой квадратный корень из дисперсии. Как и в случае парной регрессии, стандартная ошибки b₂ — оценка стандартного отклонения. Оценим . Выборочное среднее квадратов отклонений дает смещенную оценку

(3.33)

где к — число параметров в уравнении регрессии. Тем не менее, мы можем получить несмещенную оценку , разделив на п-к, вместо п, таким образ ликвидировав смещение:

(3.34)

Стандартная ошибка представлена выражением

 

(3.35)

 

Факторы, определяющие стандартную ошибку, будут проиллюстрирован» путем сравнения их для функций заработка, оцененных для двух подмножеств респондентов в наборе данных EAEF 21, — тех, кто сообщил, что уровень ю заработной платы был установлен на основе переговоров о заключении коллективного трудового договора, и остальных. Результаты оценивания регрессии для этих двух подмножеств респондентов показаны в табл. 3.3 и 3.4. В про­грамме Stata подмножества наблюдений могут быть определены путем добав­ления выражения «if» к соответствующей команде. Переменная COLLBARG длянашего набора данных равна единице для респондентов с коллективным дого­вором и нулю — для остальных. Отметим, что при проверке выполнения равенства в программе Stata требуется повторить дважды знак равенства «=».

Стандартная ошибка коэффициента при S в первой регрессии равна 0,5493 что в два раза больше, чем во второй регрессии, — 0,2604. Далее мы рассмотрим причины этой разницы. Выражение (3.35) удобно переписать таким обра­зом, чтобы был выделен вклад в него различных факторов:

(3.36)

 

Первый из необходимых нам элементов (s_u) может быть получен непосред­ственно из распечатки результатов оценивания регрессии. Величина равна сумме квадратов остатков, деленной на (п - к), т.е. здесь — на (n - 3)

 

(3.37)

(Заметим, что равняется нулю, что было доказано во Вставке 1.2 в гл. 1, и это доказательство легко можно обобщить.) Величина RSS приведена в верх­ней левой четверти распечатки результатов оценивания регрессии как часть разложения общей суммы квадратов отклонений на объясненную сумму квад­ратов отклонений (в распечатке программы Stata она обозначена как сумма квадратов отклонений модели {model sum of squares)) и остаточную сумму квад­ратов.

Таблица 3.3

EARNINGS S EXP
Source	SS	df	MS		Number of obs = F(2,537) =
Model	3076.31726		1538.15863		F(2,98) =	9.72
Residual	15501.9762		158.18343		Prob > F = R-squared = Adj R-squared = Root MSE =	0.0001 0.1656
Total	18578.2934		185.782934		Adj R-squared = Root MSE =	0.1486 12.577
EARNINGS	Coef.	Std. Err.	t	P>|t|	[95% Conf.	Interval]
S	2.333846	.5492604	4.25	0.000	1.243857	3.423836
EXP	.2235095	.3389455	0.66	0.511	-.4491169	.8961358
_cons	-15.12427	11.38141	-1.33	0.187	-37.71031	-7.461779

Таблица 3.4

EARNINGS S EXP
Source	SS	df	MS		Number of obs = F(2,537) =
Model	19540.1761		9770.08805		F(2,98) =	57.77
Residual	73741.593		296.132094		Prob > F = R-squared = Adj R-squared = Root MSE =	0.0000 0.2095
Total	93281.7691		212.972076		Adj R-squared = Root MSE =	0.2058 13.005
EARNINGS	Coef.	Std. Err.	t	P>|t|	[95% Conf.	Interval]
S	2.721698	.2604411	10.45	0.000	1.243857	3.233574
EXP	.6077342	.1400846	4.34	0.511	-.4491169	.8830592
_cons	-28.00805	4.643211	-6.03	0.187	-37.71031	-18.88219

 

Величина п - к дана справа от RSS, и отношение RSS/(n - к) — еще правее. Квадратный корень (s_u) обозначен как Root MSE («корень среднеквадтической ошибки») в верхней правой четверти распечатки результатов, это 12,577 — для регрессии по подвыборке с коллективным договором и 13,005 -для регрессии по подвыборке без коллективного договора.

Число наблюдений — 101 для первой регрессии и 439 для второй — также приведено в верхней правой четверти распечатки результатов. Дисперсии S равные 6,2325 и 5,6, рассчитаны как квадраты стандартных отклонений, полученные при помощи команды «sum» в программе Stata, умноженные на (п - 1)/n. Коэффициенты корреляции между S и ASVABC, равные -0,4087 и -0,1784 соответственно, были рассчитаны с помощью команды «cor» программы Stata. На основе этого были рассчитаны множители из выражения для стандартной ошибки (3.36), которые показаны в нижней половине табл. 3.5.

Можно заметить, что причина того, что стандартная ошибка коэффициента при 5 для подвыборки СВ относительно велика, состоит в том, что число наблюдений в этом подмножестве относительно мало. Больший коэффициент корреляции между S и ЕХР увеличивает разницу в результатах; в то время как меньшее значение s_u и большее значение MSD(S) уменьшает ее, но это достаточно незначительные множители.

Таблица 3.5. Разложение стандартной ошибки коэффициента при S на составляющие

su n MSD(S) rS,EXP со.

Составляющая

Коллективный договор 12,577 101 6,2325 -0,4087 0,5493

Нет коллективного договора 13,005 439 5,8666 -0,1784 0,2604

Множитель

Коллективный договор 12,577 0,0995 0,4006 1,0957 0,5493

Нет коллективного договора 13,005 0,0477 0,4129 1,0163 0,2603