Интерпретация результатов множественной регрессии

Коэффициенты регрессии и уравнение регрессии

Сдвиг, или постоянный член, а, и коэффициенты регрессии, b ₁, b ₂ и b₃, вычисляются компьютером с использованием метода наименьших квадратов. Среди всех возможных вариантов уравнения регрессии с различными значениями этих коэффициентов именно уравнение, найденное таким методом, обеспечивает минимальную сумму квадратов ошибок прогнозирования для рассматриваемой нами выборки журналов. Уравнение регрессии (или уравнение прогнозирования) имеет следующий вид:

 

(прогнозируемый тариф на размещение рекламы) = а + b₁Х₁ + b ₂Х₂ + b ₃Х₃ = $4 043 + 3,79(читательская аудитория) - 124(процент мужчин) +0,903(медиана дохода).

 

Сдвиг, а = $4 043, интерпретируется следующим образом: типичный тариф на размещение одностраничного цветного рекламного объявления в журнале, у которого нет платных подписчиков, нет мужчин среди читателей и читатели не имеют дохода, составляет $4 043. Однако в рассматриваемой нами совокупности данных нет подобных журналов, поэтому сдвиг, а следует рассматривать лишь как вспомогательную величину, необходимую для получения оптимальных прогнозов, но не интерпретировать это значение буквально.

Для примера приведем результаты регрессионного анализа тарифов, сделанных пакетом программ MINITAB.

 

 

 

Насколько хороши наши прогнозы

 

Этот раздел следует рассматривать в основном как обзор, поскольку стандартное отклонение оценки, S_e, и коэффициент детерминации, R², имеют для множественной регрессии, вообще говоря, ту же интерпретацию, что и для простой регрессии, речь о которой шла в предыдущей главе. Единственное отличие заключается в том, что ваши прогнозы теперь базируются на нескольких X - переменных. Но все остается очень похоже, поскольку вы по-прежнему прогнозируете только одну переменную Y.

 

Статистический вывод в случае множественной регрессии

 

Полученные нами к настоящему времени результаты регрессии представляют собой достаточно полное описание исследуемых (п = 55) журналов, однако статистический вывод помог бы нам обобщить этот случай на идеализированную популяцию подобных им журналов. Вместо того, чтобы просто констатировать тот факт, что увеличение на один процент числа читателей-мужчин приводит к уменьшению тарифа на размещение рекламы в среднем на $124, можно сделать статистический вывод относительно большой генеральной совокупности журналов такого типа, из которой вполне могли бы быть извлечены имеющиеся данные, и попытаться выяснить, существует ли в действительности какая-либо взаимосвязь между полом читателей журнала и тарифами на рекламу, или коэффициент регрессии, равный -$124, можно объяснить просто случайностью. Может ли быть так, что обнаруженное нами влияние процента читателей-мужчин на стоимость рекламы — это просто случайное число, а не свидетельство наличия систематической взаимосвязи? Ответ на этот вопрос можно получить с помощью статистического вывода.

 

 

В табл. 12.1.6 (см. также рис. 12.1.1) содержится часть результатов работы компьютерной программы, приведенных в табл. 12.1.4. Здесь статистические выводы можно делать на основе p-значений как для общего F-теста, так и для t - тестов относительно каждой из независимых Х-переменных. Мы подробно обсудим все это в последующих разделах — после определения генеральной совокупности, относительно которой мы собираемся сделать статистический вывод.

 

Предположения

 

Чтобы не усложнять пример, предположим, что мы располагаем случайной выборкой из намного большей генеральной совокупности. Допустим также, что эта генеральная совокупность характеризуется линейной взаимосвязью со случайностью, представленной моделью множественной линейной регрессии, в соответствии с которой наблюдаемое значение Y определяется взаимосвязью в генеральной совокупности плюс нормально распределенная случайная ошибка. Предполагается также, что эти случайные ошибки для разных наблюдений (элементарных единиц наших данных) не зависят друг от друга.

Модель множественной линейной регрессии для генеральной совокупности имеет вид

Y = (α + β₁ Х₁, + β₂ Х₂ +... + β_k Х_k) + ε =

= (взаимосвязь в генеральной совокупности) + случайность,

где ε характеризуется нормальным распределением со средним значением 0 и постоянным стандартным отклонением σ, причем эта случайность является независимой для разных наблюдений (элементарных единиц данных).

Взаимосвязь в генеральной совокупности определяется k + 1 параметрами: α представляет сдвиг (или постоянный член) для генеральной совокупности, a β₁, β₂ …. β_kявляются коэффициентами регрессии для генеральной совокупности, которые показывают среднее влияние каждой из Х-переменных на Y (в данной генеральной совокупности), при условии, что все остальные Х-переменные остаются неизменными. Сводка параметров генеральной совокупности и характеристик выборки приведена в табл. 12.1.7.

Если бы вы имели данные обо всей генеральной совокупности, то полученные вами с помощью метода наименьших квадратов коэффициенты регрессии ничем не отличались бы от соответствующих коэффициентов, описывающих связь в генеральной совокупности. Как правило, однако, полученный методом наименьших квадратов сдвиг а является лишь статистической оценкойα, а полученные методом наименьших квадратов коэффициенты регрессии b₁, b₂,...,b_k представляют лишь статистические оценки β₁, β₂ …. β_k соответственно. Существуют, конечно же, ошибки, обусловленные процессом оценивания, поскольку выборка намного меньше всей генеральной совокупности.

Как на диаграмме рассеяния представить множественную линейную регрессионную взаимосвязь? Каждый раз, когда добавляется новая независимая переменная X, добавляется еще одно измерение. Например, при наличии лишь одной Х-переменной (см. главу 11) мы имели линию прогнозирования в плоском, двумерном пространстве. При наличии двух Х-переменных можно говорить о плоскости прогнозирования в трехмерном пространстве с измерениями Х₁ Х₂ и Y, как показано на рис. 12.1.2. Одно из предположений множественного регрессионного анализа заключается в том, что взаимосвязь в генеральной совокупности является, по существу, плоской, а не изогнутой.

 

Значима ли модель? F-тест или тест R²

 

Статистический вывод начинается с F-теста, целью которого является выяснение, объясняют ли Х-переменные значимую часть вариации Y. F-тест используется как “ входные ворота ” в статистический вывод: если этот тест значим, следовательно, связь существует и можно приступать к ее исследованию и объяснению. Если этот тест незначим, то мы имеем дело с набором не связанных между собой случайных чисел — объяснять, в сущности, нечего. Помните, что, когда вы принимаете нулевую гипотезу, это считается слабым заключением. Вы не доказали, что взаимосвязи нет: вам просто не хватает убедительных доводов в пользу наличия такой взаимосвязи. Взаимосвязь вполне может существовать, но из-за случайности или малого размера выборки вы не в состоянии обнаружить ее с помощью тех данных, которые имеются в вашем распоряжении.

Нулевая гипотеза для F-теста утверждает, что в генеральной совокупности между Х-переменными и Y прогнозирующая взаимосвязь отсутствует. Иначе говоря, Y является чисто случайной величиной и значения Х-переменных не оказывают на Y никакого влияния. Если посмотреть на модель множественной линейной регрессии, то это утверждение означает, что Y = α + ε, что может иметь место в том случае, если все коэффициенты регрессии в генеральной совокупности равны 0.

Альтернативная гипотеза F-теста утверждает, что в генеральной совокупности между Х-переменными и Y существует определенная прогнозирующая взаимосвязь. Таким образом, переменная Y уже не является чисто случайной величиной и должна зависеть по крайней мере от одной из Х-переменных. Иными словами, альтернативная гипотеза утверждает, что, по крайней мере, один из коэффициентов регрессии не равен 0. Обратите внимание: вовсе не обязательно, чтобы каждая из Х-переменных влияла на Y — достаточно, чтобы влияла хотя бы одна из них.

Гипотезы для F-теста

H₀: β₁ = β₂ = ….. =β_k = 0.

Н₁: по крайней мере один из β₁, β₂,…,. β_k ≠ 0.

Выполнить F-тест проще всего, отыскав в результатах работы компьютернойпрограммы подходящее p-значение и интерпретировав результирующий уровень значимости, как мы делали это в главе 10. Если p-значение больше, чем 0,05, то полученный результат не является значимым. Если же это p-значение меньше, чем 0,05, то полученный результат является значимым. Если р < 0,01, тогда полученный результат является высоко значимым, и т.д.

Еще один способ выполнения F-теста заключается в сравнении значения R² (процент вариации Y, который объясняется Х-переменными) со значениями из таблицы критических значений R² (табл.12.1.8, см. ниже) для подходящего уровня тестирования (например, 5%). Если значение R² оказывается достаточно большим, тогда регрессия считается значимой, т.е. удалось объяснить больше, чем просто случайную величину вариации Y. Эта таблица индексирована по п (количество наблюдений) и k (количество Х-переменных).

Традиционный способ выполнения F-теста интерпретировать несколько сложнее, но он всегда дает тот же результат, что и таблица критических значений R². F-тест, как правило, выполняется путем вычисления F-статистики и сравнения ее с критическим значением из F-таблицы (см. табл. В.11. ниже) для соответствующего уровня тестирования. При этом используются два разных числа степеней свободы: число степеней свободы числителя k (количество Х-переменных, предназначенных для объяснения Y) и число степеней свободы знаменателя n- k - 1 (мера случайности остатков после оценивания k + 1 коэффициентов а, b₁, b₂,..., b_k).

В то же время F-статистика является некоторым усложнением, поскольку значение R² можно проверить непосредственно. Более того, R² имеет более непосредственную интерпретацию, чем F-статистика, поскольку R² говорит о той части вариации Y, которая учитывается (или объясняется) Х-переменными, тогда как F не имеет столь простой и непосредственной интерпретации в терминах исходных данных. Какой бы подход — F – тест или R² — вы ни использовали, ответ (о значимости или не значимости) всегда будет одним и тем же на любом уровне тестирования.

Почему же по традиции используется более сложная F-статистика, в то время как вместо нее можно было бы обратиться к тесту R², допускающему более удобную и непосредственную интерпретацию? Возможно, все объясняется именно сложившейся традицией, а возможно, и тем, что уже давно и с успехом на практике применяются F-таблицы. Использование осмысленного числа (такого как R²) позволяет глубже понять исследуемую ситуацию и выглядит предпочтительнее, особенно когда речь идет о сфере бизнеса.

Для особо интересующихся заметим, что F-статистика получила свое название в честь сэра Рональда А. Фишера и определяется как “объясненное среднеквадратическое”, деленное на “необъясненное среднеквадратическое”. Большие значения F предполагают, что регрессионная модель является значимой, поскольку удалось объяснить довольно значительную долю вариации Y в сравнении с долей необъясненной случайности. Большие значения R² также предполагают значимость. Связь между F и R² состоит в том, что F = (n - k - 1)[1/(1 - R²-1)/k –а R² = 1 - 1/[1 + kF/(n - к - 1)], и значит, большим значениям F соответствуют большие значения R² (и наоборот). Вот почему тесты на большие значения F полностью соответствуют тестам на большие значения R².

 

Сформулируем три различных способа формулировок о значимости модели:

· Результат F-теста (решение принимается на основе р-значения)

Если p-значение больше, чем 0,05, значит, соответствующая модель не является значимой (вы принимаете нулевую гипотезу о том, что Х-переменные не помогают прогнозировать Y). Если p-значение оказывается меньше, чем 0,05, значит, соответствующая модель является значимой (вы отвергаете нулевую гипотезу и принимаете альтернативную гипотезу о том, что Х-переменные помогают прогнозировать Y).

· Результат F-теста (решение принимается на основе R²)

Если значение R² меньше, чем критическое значение в таблице R², значит, соответствующая модель не является значимой. Если значение R² больше, чем критическое значение в таблице R², значит, соответствующая модель является значимой. Этот ответ в любом случае будет таким же, как результат, полученный с помощью р-значения.

· Результат F-теста (решение принимается непосредственно на основе F)

Если значение F оказывается меньше, чем критическое значение в F-таблице, значит, соответствующая модель не является значимой. Если значение F оказывается больше, чем критическое значение в F- таблице,— соответствующая модель является значимой. Этот ответ в любом случае будет таким же, как результат, полученный с помощью р-значения или R².

 

Помните, что статистический смысл термина значимый несколько отличается от его обыденного смысла. Когда вы находите значимую модель регрессии, то знаете, что взаимосвязь между Х-переменными и Y оказывается сильнее, чем обычно можно было бы ожидать от чистой случайности. Другими словами, в этой ситуации можно говорить о наличии определенной взаимосвязи. Эта взаимосвязь может быть сильной или полезной в том или ином практическом смысле (а может, и не быть таковой) — эти вопросы требуют специального рассмотрения, — но она достаточно сильна, чтобы не выглядеть как чистая случайность.

Если вернуться к нашему примеру с тарифами на размещение рекламы в журналах, то соответствующее уравнение прогнозирования действительно объясняет значимую долю отклонения в тарифах, на что указывает в результатах работы компьютерной программы р-значение 0,000 справа от значения F, равного 62,84. (Когда в качестве р-значения указывается 0,000, его можно интерпретировать как р<0,0005). Это говорит о том, что действительно обнаруживается устойчивая зависимость тарифов от этих факторов (или, по крайней мере, от одного из этих факторов), т.е. тарифы не являются чисто случайными величинами. Вам по-прежнему неизвестно, какие именно из этих Х-переменных реально участвуют в прогнозировании Y, но вам доподлинно известно, что есть по крайней мере одна такая переменная.

Чтобы выяснить с помощью R², действительно ли уравнение регрессии является значимым, отметим, что коэффициент детерминации R² = 0,787, или 78,7%. Таблица R² для тестирования на уровне 5% в случае n = 55 журналов и k = 3 переменных (табл. 12.1.8) дает критическое значение 0,141, или 14,1%. Для того чтобы уравнение было значимым на привычном уровне 5%, X - переменные должны объяснять лишь 14,1% вариации тарифов (Y). Поскольку они объясняют больше, регрессию следует признать значимой.

 

 

 

Обратившись к таблицам R² для уровней 1% и 0,1% (табл. 12.1.9 и 12.1.10) при n = 55 и k=3, находим критические значения 19,8% и 27,1%, соответственно. Поскольку наблюдаемое значение коэффициента детерминации R² = 78,7% превосходит оба этих показателя, можно прийти к выводу, что эти Х-переменные (величина читательской аудитории, процент мужчин и средний доход) имеют очень высоко значимое влияние на Y (тарифы). Используя терминологию р-значений, можно сказать, что регрессия в данном случае является очень высоко значимой (р < 0,001).

Чтобы убедиться в этом очень высоком уровне значимости, используя непо­средственно F, можно сравнить F-статистику 62,84 (из компьютерной распечатки) со значением из F-таблицы для уровня 0,1% (табл. В.11 в приложении В), которое находится между 7,054 и 6,171 для k = 3 степеней свободы числителя и п - k - 1 = 51 степеней свободы знаменателя. (Поскольку значение 51 в таблице отсутствует, нам известно, что необходимое нам значение из F-таблицы находится в диапазоне от 7,054 для 30 степеней свободы знаменателя и 6,171 для 60 степеней свободы знаменателя.) Поскольку данная F-статистика (62,84) больше, чем значение из F-таблицы (значение из диапазона от 7,054 до 6,171), мы опять приходим к выводу, что полученный результат имеет очень высокую значимость (р < 0,001).

 

Таблицы критических значений для тестирования R²

 

Таблицы 12.1.8-12.1.11 (Сигел, стр. 633-640) служат для тестирования значимости модели (F- тест). Эти таблицы позволяют, проводить тестирование на уровнях 0,5 (значимый), 0,01(высоко значимый), 0,001 (очень высоко значимый) и 0,1. На каждом уровне тестирования регрессию можно считать значимой, если коэффициент детерминации R² превосходит значение из таблицы для имеющегося у вас количества Х-переменных (k) и числа наблюдений (n). Если, например, вы имеете регрессию с k = 2 независимыми Х-переменными и n = 35 наблюдениями, то она является значимой на уровне 0,05, при условии, что R² превосходит критическое значение 0,171 (из таблицы для уровня 5%).

На практике большинство компьютерных программ автоматически выполняет F-тест и делает вывод относительно его значимости, а также, если тест значим, - об уровне значимости. В подобных случаях таблицы R² не нужны. Их использование преследует две цели: (1) выявить значимость, когда вы располагаете значением R², но у вас нет информации о результате проверке значимости, и (2) показать, насколько сильно уровень значимости зависит от n и k. Критическое значение R², на основе которого принимается решение о значимости, оказывается меньшим (менее “требовательным”) при больших значениях n, поскольку в этом случае вы располагаете большей информацией. Однако критическое значение R², на основе которого принимается решение о значимости, оказывается большим (более “требовательным”) при больших значениях k из-за усилий, необходимых для оценки дополнительных коэффициентов регрессии.

Интерпретация результатов множественной регрессии

 

Как будет выглядеть компьютерная распечатка результатов и как можно интер­претировать эти результаты? Прежде всего, мы приведем краткий обзор входных данных и основных результатов. Более подробное их объяснение будет дано позже.

Пусть k означает количество поясняющих переменных (Х-переменных); k может быть любым разумным числом. Ваши элементарные единицы нередко называются наблюдениями; это могут быть клиенты, фирмы, выпускаемые изделия и т.п. Входные данные для обычного множественного регрессионного анализа представлены в табл. 12.1.1.

Табл. 12.1.1. Входные данные для множественной регрессии

	Y – зависимая переменная	X1 – первая независимая переменная	X2 – вторая независимая переменная	……..	Xk – последняя независимая переменная
Набл.1 Набл.2   Набл.n	10,9 23,6   6,0	2,0 4,0   0,5	4,7 3,4   3,1	…. …. . . . ….	12,5 12,3   7,0

 

Сдвиг, или постоянный член, а, определяет прогнозируемое значение Y, когда все переменные X равны 0. Коэффициент регрессии для каждой X - переменной определяет влияние этой Х-переменной на Y при условии, что все остальные Х-переменные не меняются: коэффициент регрессии b_j, для j-й X- переменной указывает, какое увеличение Y ожидается, когда все Х-переменные остаются неизменными, за исключением переменной Х_j, которая увеличивается на одну единицу. Взятые вместе эти коэффициенты регрессии составляют уравнение прогнозирования, или уравнение регрессии, вида Y_{прогноз.} = а + b₁ X₁ + b ₂Х₂ +….. + b_kX_k, которое можно использовать в целях прогнозирования или управления. Эти коэффициенты (a, b₁, b₂,..., b_k) обычно вычисляются методом наименьших квадратов, который минимизирует сумму квадратов ошибок прогнозирования. Ошибки прогнозирования, или остатки, определяются как Y_факт. - Y_{прогноз.}

Как и в случае простой регрессии (с единственной X- переменной), стандартная ошибка оценки, S_e, указывает приблизительную величину ошибок прогнозирования. И как в случае простой регрессии, R² является коэффициентом детерминации, который указывает, какой процент вариации Y “объясняется” всеми Х-переменными.

Статистический вывод начинается с общей проверки, которую называют F- тестом (F-test). Цель F-теста заключается в том, чтобы выяснить, объясняют ли Х-переменные значимую долю вариации Y. Если ваша регрессия не является значимой, говорить больше не о чем. Если же регрессия оказывается значимой, можно продолжить анализ статистических выводов, используя t-тесты для отдельных коэффициентов регрессии, которые показывают, насколько значимой является влияние той или иной Х-переменной на Y при условии, что все другие Х-переменные остаются неизменными. Построение доверительных интервалов и проверки гипотез для отдельного коэффициента регрессии будут, конечно же, основываться на его стандартной ошибке. Каждый коэффициент регрессии имеет свою стандартную ошибку; они обозначаются S_b1, S_b2,..., S_bk.. В табл. 12.1.2 приведен перечень результатов множественного регрессионного анализа.

Табл. 12.1.2. Результаты множественного регрессионного анализа

 

Название	Результат	Описание
Сдвиг или постоянный член   Коэффициенты регрессии     Уравнение регрессии   Ошибки прогнозирования или остатки   Стандартная ошибка оценки   Коэффициент детерминации   F – тест     t - тесты для отдельных коэффициентов регрессии     Стандартные ошибки коэффициентов регрессии   Число степеней свободы для стандартных ошибок коэффициентов регрессии	a   b1, b2,..., bk     Y = a+b1X1+…+bkXk   Yфакт. – Yпрогноз.   Se (или S)   R^2   Значимый или незначимый   Значимый или незначимый, для каждой Х-переменной   Sb1, Sb2,……, Sbk     n-k-1	Прогнозируемое значение Y, когда все значения Х – переменных равны 0 Влияние каждой Х – переменной на Y при условии, что все другие Х – переменные остаются неизменными Прогнозируемое значение Y при заданных значениях Х-переменных Ошибка, возникающая для каждого наблюдения в результате использования уравнения прогнозирования вместо фактического значения Y для этого наблюдения Приблизительная величина ошибок прогнозирования (типичная разница между фактическим значением Y и его прогнозом исходя из уравнения регрессии) Процент изменчивости Y, объясняемый всей группой X-переменных Проверяет, может ли прогноз на основе X-переменных как группы быть лучше прогноза на основе простой случайности; по сути, проверяет, является ли R^2 большим, чем в случае отсутствия взаимосвязи между Х-переменными и Y Проверяет, влияет ли на Y конкретная X-переменная при условии, что все другие X-переменные остаются неизменными; эту проверку выполняют только тогда, когда F- тест значим Указывает выборочную оценку стандартного отклонения каждого коэффициента регрессии; используется обычным способом для нахождения доверительных интервалов и проверки гипотез для отдельных коэффициентов регрессии Используется, чтобы найти в t - таблице соответствующее значение для построения доверительных интервалов и проверки гипотез для отдельных коэффициентов регрессии

 

 

Пример. Реклама в журналах

 

Тарифы на размещение рекламных объявлений в журналах определяются каждым журналом самостоятельно. Чем объясняются различия в тарифах? Возможно, здесь каким-то образом учитывается ценность рекламного объявления для рекламодателя. Журналы, располагающие большей читательской аудиторией (при равных прочих условиях), наверное, вправе устанавливать большие тарифы. Кроме того, журналы, рассчитанные на более состоятельные круги читателей, также вправе устанавливать более высокие тарифы. Несмотря на то, что наверняка имеются и другие, не менее важные факторы, мы ограничимся лишь указанными двумя, добавив к ним еще один — предпочтения людей разного пола, и выясним, изменяют ли журналы свои тарифы в зависимости от соотношения мужчин и женщин в их читательской аудитории. Ответы на некоторые из этих вопросов можно получить с помощью множественного регрессионного анализа. Такой анализ поможет нам объяснить влияние на тарифы таких факторов, как величина читательской аудитории, структура читательской аудитории по полу и доходы читателей.

В табл. 12.1.3 представлена соответствующая многомерная совокупность данных, которую нам предстоит проанализировать. В качестве переменной Y (объясняемой) мы будем рассматривать стоимость одной страницы одноразовой полноцветной рекламы. Объясняющими переменными будут X₁, читательская аудитория (планируемая в тысячах человек), Х₂, процент мужчин среди планируемой аудитории, и Х₃, медиана дохода семьи. Размер выборки п = 55.

Далее - продолжение таблицы исходных данных (Сигел……, стр 617)

Различные пакеты программного обеспечения для статистических расчетов позволяют получить базовую информацию по нашей задаче. С помощью Excel также можно выполнить анализ множественной регрессии (найдите пункт Data Analysis (Анализ данных) в меню Tools (Сервис) и выберите команду Regression (Регрессия)). На рис. 12.1.1 — результаты анализа множественной регрессии в Excel. Эти результаты мы будем интерпретировать в следующем разделе.

Рис. 12.1.1.