Зависимость между F- и t-статистиками

Предположим, что вы рассматриваете следующие альтернативные специ­фикации модели:

 

(3.76)

 

(3.77)

 

единственным различием между которыми является добавление Х_к как объяс­няющей переменной в (3.77). У вас теперь есть два способа проверки того, при­надлежит ли Х_к модели. Вы можете выполнить t-тест для ее коэффициента по­сле оценивания (3.77). В качестве альтернативы вы можете выполнить F-тест только что обсужденного вида, обращаясь с Х_к как с «группой» лишь из одной переменной, проверив ее предельную объясняющую способность. Для F-теста нулевой гипотезой является H₀: β_k = 0, поскольку была добавлена только пере­менная Х_к, и это — та же самая нулевая гипотеза, что и для t-теста. Таким обра­зом, может показаться, что имеется риск того, что результаты двух тестов могу: находиться в противоречии друг с другом.

К счастью, это невозможно, так как можно показать, что F-статистика должна равняться квадрату t-статистики и что критическое значение F равно квадрату критического значения t (при двустороннем тесте). Этот результат означает, что t-тест для коэффициента при переменной — это в действительно­сти проверка его предельной объясняющей способности после того, как все другие переменные были включены в уравнение.

Если переменная коррелированна с одной или более другими переменными, то ее предельная объясняющая способность может быть весьма низкой, даже если эта переменная действительно принадлежит модели. Если все перемен­ные коррелированны, то все они могут иметь низкую предельную объясняю­щую способность, так что ни один из t-тестов не является значимым, даже при том, что F-тест на их совместную объясняющую способность высоко значим Если дело обстоит таким образом, то считают, что модель страдает от пробле­мы мультиколлинеарности, обсужденной выше в этой главе.

Мы не будем приводить здесь доказательство эквивалентности, но она будет проиллюстрирована на модели продолжительности обучения. В первой ре­грессии предполагалось, что переменная S зависит от ASVABC и SM. Во вто­рой — считалось, что она также зависит и от SF.

Если сравнивать данные табл. 3.15 с данными табл. 3.16, то улучшение мо­дели от добавления SF отражено в сокращении суммы квадратов остатков (2069,3 - 2023,6). Платой за это является единственная степень свободы, пот­раченная на оценку коэффициента при SF. Сумма квадратов отклонений, ос­тающаяся после добавления SF, равна 2023,6. Число степеней свободы, оста­ющееся после добавления SF, равно 540 - 4 = 536. Следовательно, F-статистика равна 12,10:

Таблица 3.16

reg S ASVABC SM
Source	SS	df	MS		Number of obs =
Model	1135.67473		567.837363		F(2, 537) Prob > F	147.36 0.0000
Residual	2069.30861		3.85346109		R-squared = Adj R-squared =	0.3543 0.3519
Total	3204.98333		5.94616574		Root MSE	1.963
S	Coef.	Std. Err.	t	P>|t|	[95% Conf.	Interval]
ASVABC	.1328069	.0097389	13.64	0.000	.1136758	.151938
SM	.1235071	.0330837	3.73	0.000	.0585178	.1884963
_cons	5.420733	.4930224	10.99	0.000	4.452244	6.389222

 

 

(3.78)

 

Критическое значение F при уровне значимости 0,1% с 500 степенями сво­боды равно 10,96. Критическое значение при 536 степенях свободы должно быть более низким, так что мы отклоняем Н₀ на 0,1%-ном уровне значимости. Значение t-статистики для коэффициента при SF b регрессии с SM и SF нравно 3,48. Критическое значение t на уровне 0,1% с 500 степенями свободы равно 3,31. Критическое значение при 536 степенях свободы должно быть более низ­ким, так что мы снова отклоняем H₀ на основе t-теста. Квадрат числа 3,48 ра­вен 12,11 и полностью совпал бы с F-статистикой, если бы не ошибка округле­ния, а квадрат числа 3,31, равный 10,96, совпадает с критическим значением F(1; 500). Следовательно, выводы, сделанные на основе двух проведенных тес­тов, должны совпасть.

 

«Скорректированный» коэффициент R²

 

Если вы посмотрите на распечатку результатов оценивания регрессии, вы почти наверняка найдете рядом с коэффициентом R² коэффициент, который называют скорректированным коэффициентом R² («adjusted R²»). Иногда его также называют «исправленным» коэффициентом R². Это определение не означает, по мнению многих, что такой коэффициент улучшен по сравнению с обычным. Как отмечалось в данном разделе ранее, при добавлении объясня­ющей переменной к уравнению регрессии коэффициент R² никогда не умень­шается, а обычно увеличивается. Скорректированный коэффициент R², кото­рый обычно обозначают , обеспечивает компенсацию для такого автомати­ческого сдвига вверх путем наложения «штрафа» за увеличение числа объясняющих переменных. Он определяется следующим образом:

(3.79)

где (к - 1) — число объясняющих переменных. По мере увеличения к увеличи­вается отношение (к - 1)/(п - к), следовательно, возрастает корректировка R² в сторону уменьшения.

Можно показать, что добавление новой переменной к регрессии приведет к увеличению , если и только если соответствующая t-статистика больше (или меньше -1). Следовательно, увеличение при добавлении новой пере­менной необязательно означает, что ее коэффициент значимо отличается от нуля. Поэтому отнюдь не следует, как можно было бы предположить, что увеличение означает улучшение спецификации уравнения.

Это является одной из причин того, почему не используется широко в качестве диагностической величины. Другая причина состоит в уменьшение внимания к самому коэффициенту R². Ранее среди экономистов наблюдалась тенденция рассматривать коэффициент R² в качестве основного индикатора успеха в спецификации модели. Однако на практике, как будет показано в сле­дующих главах, даже плохо определенная модель регрессии может дать высокий коэффициент R², и признание этого факта привело к снижению значение R². Теперь он рассматривается в качестве одного из целого ряда диагностических показателей, которые должны быть проверены при построении модели регрессии, и, вероятно, как один из менее важных. Следовательно, и корректировка этого коэффициента мало что дает.

 

Ключевые понятия

множественный регрессионный анализ «скорректированный» коэффициент R²
мультиколлинеарность теорема Фриша—Вауга—Ловелла

ограничение