Статистический вывод в случае множественной регрессии

 

Полученные нами к настоящему времени результаты регрессии представляют собой достаточно полное описание исследуемых (п = 55) журналов, однако статистический вывод помог бы нам обобщить этот случай на идеализированную популяцию подобных им журналов. Вместо того, чтобы просто констатировать тот факт, что увеличение на один процент числа читателей-мужчин приводит к уменьшению тарифа на размещение рекламы в среднем на $124, можно сделать статистический вывод относительно большой генеральной совокупности журналов такого типа, из которой вполне могли бы быть извлечены имеющиеся данные, и попытаться выяснить, существует ли в действительности какая-либо взаимосвязь между полом читателей журнала и тарифами на рекламу, или коэффициент регрессии, равный -$124, можно объяснить просто случайностью. Может ли быть так, что обнаруженное нами влияние процента читателей-мужчин на стоимость рекламы — это просто случайное число, а не свидетельство наличия систематической взаимосвязи? Ответ на этот вопрос можно получить с помощью статистического вывода.

 

 

В табл. 12.1.6 (см. также рис. 12.1.1) содержится часть результатов работы компьютерной программы, приведенных в табл. 12.1.4. Здесь статистические выводы можно делать на основе p-значений как для общего F-теста, так и для t - тестов относительно каждой из независимых Х-переменных. Мы подробно обсудим все это в последующих разделах — после определения генеральной совокупности, относительно которой мы собираемся сделать статистический вывод.

 

Предположения

 

Чтобы не усложнять пример, предположим, что мы располагаем случайной выборкой из намного большей генеральной совокупности. Допустим также, что эта генеральная совокупность характеризуется линейной взаимосвязью со случайностью, представленной моделью множественной линейной регрессии, в соответствии с которой наблюдаемое значение Y определяется взаимосвязью в генеральной совокупности плюс нормально распределенная случайная ошибка. Предполагается также, что эти случайные ошибки для разных наблюдений (элементарных единиц наших данных) не зависят друг от друга.

Модель множественной линейной регрессии для генеральной совокупности имеет вид

Y = (α + β₁ Х₁, + β₂ Х₂ +... + β_k Х_k) + ε =

= (взаимосвязь в генеральной совокупности) + случайность,

где ε характеризуется нормальным распределением со средним значением 0 и постоянным стандартным отклонением σ, причем эта случайность является независимой для разных наблюдений (элементарных единиц данных).

Взаимосвязь в генеральной совокупности определяется k + 1 параметрами: α представляет сдвиг (или постоянный член) для генеральной совокупности, a β₁, β₂ …. β_kявляются коэффициентами регрессии для генеральной совокупности, которые показывают среднее влияние каждой из Х-переменных на Y (в данной генеральной совокупности), при условии, что все остальные Х-переменные остаются неизменными. Сводка параметров генеральной совокупности и характеристик выборки приведена в табл. 12.1.7.

Если бы вы имели данные обо всей генеральной совокупности, то полученные вами с помощью метода наименьших квадратов коэффициенты регрессии ничем не отличались бы от соответствующих коэффициентов, описывающих связь в генеральной совокупности. Как правило, однако, полученный методом наименьших квадратов сдвиг а является лишь статистической оценкойα, а полученные методом наименьших квадратов коэффициенты регрессии b₁, b₂,...,b_k представляют лишь статистические оценки β₁, β₂ …. β_k соответственно. Существуют, конечно же, ошибки, обусловленные процессом оценивания, поскольку выборка намного меньше всей генеральной совокупности.

Как на диаграмме рассеяния представить множественную линейную регрессионную взаимосвязь? Каждый раз, когда добавляется новая независимая переменная X, добавляется еще одно измерение. Например, при наличии лишь одной Х-переменной (см. главу 11) мы имели линию прогнозирования в плоском, двумерном пространстве. При наличии двух Х-переменных можно говорить о плоскости прогнозирования в трехмерном пространстве с измерениями Х₁ Х₂ и Y, как показано на рис. 12.1.2. Одно из предположений множественного регрессионного анализа заключается в том, что взаимосвязь в генеральной совокупности является, по существу, плоской, а не изогнутой.

 

Значима ли модель? F-тест или тест R²

 

Статистический вывод начинается с F-теста, целью которого является выяснение, объясняют ли Х-переменные значимую часть вариации Y. F-тест используется как “ входные ворота ” в статистический вывод: если этот тест значим, следовательно, связь существует и можно приступать к ее исследованию и объяснению. Если этот тест незначим, то мы имеем дело с набором не связанных между собой случайных чисел — объяснять, в сущности, нечего. Помните, что, когда вы принимаете нулевую гипотезу, это считается слабым заключением. Вы не доказали, что взаимосвязи нет: вам просто не хватает убедительных доводов в пользу наличия такой взаимосвязи. Взаимосвязь вполне может существовать, но из-за случайности или малого размера выборки вы не в состоянии обнаружить ее с помощью тех данных, которые имеются в вашем распоряжении.

Нулевая гипотеза для F-теста утверждает, что в генеральной совокупности между Х-переменными и Y прогнозирующая взаимосвязь отсутствует. Иначе говоря, Y является чисто случайной величиной и значения Х-переменных не оказывают на Y никакого влияния. Если посмотреть на модель множественной линейной регрессии, то это утверждение означает, что Y = α + ε, что может иметь место в том случае, если все коэффициенты регрессии в генеральной совокупности равны 0.

Альтернативная гипотеза F-теста утверждает, что в генеральной совокупности между Х-переменными и Y существует определенная прогнозирующая взаимосвязь. Таким образом, переменная Y уже не является чисто случайной величиной и должна зависеть по крайней мере от одной из Х-переменных. Иными словами, альтернативная гипотеза утверждает, что, по крайней мере, один из коэффициентов регрессии не равен 0. Обратите внимание: вовсе не обязательно, чтобы каждая из Х-переменных влияла на Y — достаточно, чтобы влияла хотя бы одна из них.

Гипотезы для F-теста

H₀: β₁ = β₂ = ….. =β_k = 0.

Н₁: по крайней мере один из β₁, β₂,…,. β_k ≠ 0.

Выполнить F-тест проще всего, отыскав в результатах работы компьютернойпрограммы подходящее p-значение и интерпретировав результирующий уровень значимости, как мы делали это в главе 10. Если p-значение больше, чем 0,05, то полученный результат не является значимым. Если же это p-значение меньше, чем 0,05, то полученный результат является значимым. Если р < 0,01, тогда полученный результат является высоко значимым, и т.д.

Еще один способ выполнения F-теста заключается в сравнении значения R² (процент вариации Y, который объясняется Х-переменными) со значениями из таблицы критических значений R² (табл.12.1.8, см. ниже) для подходящего уровня тестирования (например, 5%). Если значение R² оказывается достаточно большим, тогда регрессия считается значимой, т.е. удалось объяснить больше, чем просто случайную величину вариации Y. Эта таблица индексирована по п (количество наблюдений) и k (количество Х-переменных).

Традиционный способ выполнения F-теста интерпретировать несколько сложнее, но он всегда дает тот же результат, что и таблица критических значений R². F-тест, как правило, выполняется путем вычисления F-статистики и сравнения ее с критическим значением из F-таблицы (см. табл. В.11. ниже) для соответствующего уровня тестирования. При этом используются два разных числа степеней свободы: число степеней свободы числителя k (количество Х-переменных, предназначенных для объяснения Y) и число степеней свободы знаменателя n- k - 1 (мера случайности остатков после оценивания k + 1 коэффициентов а, b₁, b₂,..., b_k).

В то же время F-статистика является некоторым усложнением, поскольку значение R² можно проверить непосредственно. Более того, R² имеет более непосредственную интерпретацию, чем F-статистика, поскольку R² говорит о той части вариации Y, которая учитывается (или объясняется) Х-переменными, тогда как F не имеет столь простой и непосредственной интерпретации в терминах исходных данных. Какой бы подход — F – тест или R² — вы ни использовали, ответ (о значимости или не значимости) всегда будет одним и тем же на любом уровне тестирования.

Почему же по традиции используется более сложная F-статистика, в то время как вместо нее можно было бы обратиться к тесту R², допускающему более удобную и непосредственную интерпретацию? Возможно, все объясняется именно сложившейся традицией, а возможно, и тем, что уже давно и с успехом на практике применяются F-таблицы. Использование осмысленного числа (такого как R²) позволяет глубже понять исследуемую ситуацию и выглядит предпочтительнее, особенно когда речь идет о сфере бизнеса.

Для особо интересующихся заметим, что F-статистика получила свое название в честь сэра Рональда А. Фишера и определяется как “объясненное среднеквадратическое”, деленное на “необъясненное среднеквадратическое”. Большие значения F предполагают, что регрессионная модель является значимой, поскольку удалось объяснить довольно значительную долю вариации Y в сравнении с долей необъясненной случайности. Большие значения R² также предполагают значимость. Связь между F и R² состоит в том, что F = (n - k - 1)[1/(1 - R²-1)/k –а R² = 1 - 1/[1 + kF/(n - к - 1)], и значит, большим значениям F соответствуют большие значения R² (и наоборот). Вот почему тесты на большие значения F полностью соответствуют тестам на большие значения R².

 

Сформулируем три различных способа формулировок о значимости модели:

· Результат F-теста (решение принимается на основе р-значения)

Если p-значение больше, чем 0,05, значит, соответствующая модель не является значимой (вы принимаете нулевую гипотезу о том, что Х-переменные не помогают прогнозировать Y). Если p-значение оказывается меньше, чем 0,05, значит, соответствующая модель является значимой (вы отвергаете нулевую гипотезу и принимаете альтернативную гипотезу о том, что Х-переменные помогают прогнозировать Y).

· Результат F-теста (решение принимается на основе R²)

Если значение R² меньше, чем критическое значение в таблице R², значит, соответствующая модель не является значимой. Если значение R² больше, чем критическое значение в таблице R², значит, соответствующая модель является значимой. Этот ответ в любом случае будет таким же, как результат, полученный с помощью р-значения.

· Результат F-теста (решение принимается непосредственно на основе F)

Если значение F оказывается меньше, чем критическое значение в F-таблице, значит, соответствующая модель не является значимой. Если значение F оказывается больше, чем критическое значение в F- таблице,— соответствующая модель является значимой. Этот ответ в любом случае будет таким же, как результат, полученный с помощью р-значения или R².

 

Помните, что статистический смысл термина значимый несколько отличается от его обыденного смысла. Когда вы находите значимую модель регрессии, то знаете, что взаимосвязь между Х-переменными и Y оказывается сильнее, чем обычно можно было бы ожидать от чистой случайности. Другими словами, в этой ситуации можно говорить о наличии определенной взаимосвязи. Эта взаимосвязь может быть сильной или полезной в том или ином практическом смысле (а может, и не быть таковой) — эти вопросы требуют специального рассмотрения, — но она достаточно сильна, чтобы не выглядеть как чистая случайность.

Если вернуться к нашему примеру с тарифами на размещение рекламы в журналах, то соответствующее уравнение прогнозирования действительно объясняет значимую долю отклонения в тарифах, на что указывает в результатах работы компьютерной программы р-значение 0,000 справа от значения F, равного 62,84. (Когда в качестве р-значения указывается 0,000, его можно интерпретировать как р<0,0005). Это говорит о том, что действительно обнаруживается устойчивая зависимость тарифов от этих факторов (или, по крайней мере, от одного из этих факторов), т.е. тарифы не являются чисто случайными величинами. Вам по-прежнему неизвестно, какие именно из этих Х-переменных реально участвуют в прогнозировании Y, но вам доподлинно известно, что есть по крайней мере одна такая переменная.

Чтобы выяснить с помощью R², действительно ли уравнение регрессии является значимым, отметим, что коэффициент детерминации R² = 0,787, или 78,7%. Таблица R² для тестирования на уровне 5% в случае n = 55 журналов и k = 3 переменных (табл. 12.1.8) дает критическое значение 0,141, или 14,1%. Для того чтобы уравнение было значимым на привычном уровне 5%, X - переменные должны объяснять лишь 14,1% вариации тарифов (Y). Поскольку они объясняют больше, регрессию следует признать значимой.

 

 

 

Обратившись к таблицам R² для уровней 1% и 0,1% (табл. 12.1.9 и 12.1.10) при n = 55 и k=3, находим критические значения 19,8% и 27,1%, соответственно. Поскольку наблюдаемое значение коэффициента детерминации R² = 78,7% превосходит оба этих показателя, можно прийти к выводу, что эти Х-переменные (величина читательской аудитории, процент мужчин и средний доход) имеют очень высоко значимое влияние на Y (тарифы). Используя терминологию р-значений, можно сказать, что регрессия в данном случае является очень высоко значимой (р < 0,001).

Чтобы убедиться в этом очень высоком уровне значимости, используя непо­средственно F, можно сравнить F-статистику 62,84 (из компьютерной распечатки) со значением из F-таблицы для уровня 0,1% (табл. В.11 в приложении В), которое находится между 7,054 и 6,171 для k = 3 степеней свободы числителя и п - k - 1 = 51 степеней свободы знаменателя. (Поскольку значение 51 в таблице отсутствует, нам известно, что необходимое нам значение из F-таблицы находится в диапазоне от 7,054 для 30 степеней свободы знаменателя и 6,171 для 60 степеней свободы знаменателя.) Поскольку данная F-статистика (62,84) больше, чем значение из F-таблицы (значение из диапазона от 7,054 до 6,171), мы опять приходим к выводу, что полученный результат имеет очень высокую значимость (р < 0,001).

 

Таблицы критических значений для тестирования R²

 

Таблицы 12.1.8-12.1.11 (Сигел, стр. 633-640) служат для тестирования значимости модели (F- тест). Эти таблицы позволяют, проводить тестирование на уровнях 0,5 (значимый), 0,01(высоко значимый), 0,001 (очень высоко значимый) и 0,1. На каждом уровне тестирования регрессию можно считать значимой, если коэффициент детерминации R² превосходит значение из таблицы для имеющегося у вас количества Х-переменных (k) и числа наблюдений (n). Если, например, вы имеете регрессию с k = 2 независимыми Х-переменными и n = 35 наблюдениями, то она является значимой на уровне 0,05, при условии, что R² превосходит критическое значение 0,171 (из таблицы для уровня 5%).

На практике большинство компьютерных программ автоматически выполняет F-тест и делает вывод относительно его значимости, а также, если тест значим, - об уровне значимости. В подобных случаях таблицы R² не нужны. Их использование преследует две цели: (1) выявить значимость, когда вы располагаете значением R², но у вас нет информации о результате проверке значимости, и (2) показать, насколько сильно уровень значимости зависит от n и k. Критическое значение R², на основе которого принимается решение о значимости, оказывается меньшим (менее “требовательным”) при больших значениях n, поскольку в этом случае вы располагаете большей информацией. Однако критическое значение R², на основе которого принимается решение о значимости, оказывается большим (более “требовательным”) при больших значениях k из-за усилий, необходимых для оценки дополнительных коэффициентов регрессии.