Показатели качества регрессии

Проверка статистического качества оцененного уравнения регрессии проводится, с одной стороны, по статистической значимости параметров уравнения, а с другой стороны, по общему качеству уравнения регрессии. Кроме этого, проверяется выполнимость предпосылок МНК.

Рассмотрим первые два вида проверок. Некоторые предпосылки МНК и проверки их выполнимости будем рассматривать отдельно.

Как и в случае парной регрессии, статистическая значимость параметров множественной линейной регрессии с р факторами проверяется на основе t- статистики:

, (20)

где величина называется стандартной ошибкой параметра . Она определяется так. Обозначим матрицу:

и в этой матрице обозначим j- й диагональный элемент как .

Тогда выборочная дисперсия эмпирического параметра регрессии равна:

, (21)

а для свободного члена выражение имеет вид:

(21’)

если считать, что в матрице индексы изменяются от 0 до р. Здесь S ² – несмещенная оценка дисперсии случайной ошибки ε:

. (22)

Стандартные ошибки параметров регрессии равны

. (23)

Полученная по выражению (20) t- статистика для соответствующего параметра имеет распределение Стьюдента с числом степеней свободы (). При требуемом уровне значимости α эта статистика сравнивается с критической точкой распределения Стьюдента t (α; ) (двухсторонней).

Если , то соответствующий параметр считается статистически значимым, и нуль-гипотеза в виде или отвергается.

В противном случае параметр считается статистически незначимым, и нуль-гипотеза не может быть отвергнута. Поскольку не отличается значимо от нуля, фактор линейно не связан с результатом. Его наличие среди объясняющих переменных не оправдано со статистической точки зрения. Не оказывая какого-либо серьёзного влияния на зависимую переменную, он лишь искажает реальную картину взаимосвязи. Поэтому после установления того факта, что коэффициент статистически незначим, переменную рекоменду-ется исключить из уравнения регрессии.

Это не приведет к существенной потере качества модели, но сделает её более конкретной.

 

Строгую проверку значимости параметров можно заменить простым сравнительным анализом.

Если , т. е. , то коэффициент статистически незначим.

Если , т. е. , то коэффициент относительно значим. В данном случае рекомендуется воспользоваться таблицей критических точек распределения Стьюдента.

Если , то коэффициент значим. Это утверждение является гарантированным при и .

Если , то коэффициент считается сильно значимым. Вероятность ошибки в данном случае при достаточном числе наблюдений не превосходит 0,001.

 

Анализ значимости коэффициента можно провести другим способом. Для этого строится интервальная оценка соответствующего коэффициента. Если задать уровень значимости α, то доверительный интервал, в который с вероятностью (1-α) попадает неизвестное значение параметра , определяется неравенством:

(24)

или

. (24’)

Если доверительный интервал не содержит нулевого значения, то соответствующий параметр является статистически значимым, в противном случае гипотезу о нулевом значении параметра отвергать нельзя.

Для проверки общего качества уравнения регрессии используется коэффициент детерминации R², который в общем случае рассчитывается по формуле:

. (25)

Коэффициент детерминаци показывает, как и в парной регрессии, долю общей дисперсии у, объясненную уравнением регрессии. Его значения находятся между нулем и единицей. Чем ближе этот коэффициент к единице, тем больше уравнение регрессии объясняет поведение у.

Для множественной регрессии R² является неубывающей функцией числа объясняющих переменных. Добавление новой объясняющей переменной никогда не уменьшает значение R². Действительно, каждая следующая объясняющая переменная может лишь дополнить, но никак не сократить информацию, объясняющую поведение зависимой переменной.

В формуле (25) используется остаточная дисперсия, которая имеет систематическую ошибку в сторону уменьшения, тем более значительную, чем больше параметров определяется в уравнении регрессии при заданном объёме наблюдений n. Если число параметров () приближается к n, то остаточная дисперсия будет близка к нулю и коэффициент детерминации приблизится к единице даже при слабой связи факторов с результатом.

Поэтому в числителе и знаменателе дроби в (25) делается поправка на число степеней свободы остаточной и общей дисперсии соответственно:

. (26)

Поскольку величина (25), как правило, увеличивается при добавлении объясняющей переменной к уравнению регрессии даже без достаточных на то оснований, скорректированный коэффициент (26) компенсирует это увеличение путем наложения «штрафа» за увеличение числа независимых переменных. Запишем (26) следующим образом:

. (27)

По мере роста р увеличивается отношение и, следовательно, возрастает размер корректировки коэффициента R² в сторону уменьшения.

Из (27) очевидно, что при р > 1. С ростом р растет медленнее, чем R². Другими словами, он корректируется в сторону уменьшения с ростом числа объясняющих переменных. При этом только при . может даже принимать отрицательные значения (например, при ). Поэтому для корректировки (26) нет строгого математического обоснования.

Доказано, что увеличивается при добавлении новой объясняющей переменной тогда и только тогда, когда t- статистика для этой переменной по модулю больше единицы. Из этого отнюдь не следует, как можно было бы предположить, что увеличение означает улучшение спецификации уравнения. Тем не менее добавление в модель новых факторов осуществляется до тех пор, пока растет скорректированный коэффициент детерминации.

Обычно приводятся данные как по R², так и по , являющиеся суммарными мерами общего качества уравнения регрессии. Но не следует абсолютизировать значимость коэффициентов детерминации. Существует немало примеров неправильно построенных моделей, имеющих высокие коэффициенты детерминации. Поэтому коэффициент детерминации в настоящее время рассматривается лишь как один из ряда показателей, которые нужно проанализировать, чтобы уточнить строящуюся модель.

Анализ статистической значимости коэффициента детерминации проводится на основе проверки нуль-гипотезы против альтернативной гипотезы . Для проверки данной гипотезы используется следующая F- статистика:

. (28)

Величина F при выполнении предпосылок МНК и при справедливости нуль-гипотезы имеет распределение Фишера. Из (28) видно, что показатели F и R² равны или не равны нулю одновременно. Если , то , и линия регрессии является наилучшей по МНК, и, следовательно, величина у линейно не зависит от . Для проверки нуль-гипотезы при заданном уровне значимости α по таблицам критических точек распределения Фишера находится критическое значение . Если , нуль-гипотеза отклоняется, что равносильно статистической значимости R², т. е. .

Эквивалентный анализ может быть предложен рассмотрением другой нуль-гипотезы, которая формулируется как

.

Эту гипотезу можно назвать гипотезой об общей значимости уравнения регрессии. Если данная гипотеза не отклоняется, то делается вывод о том, что совокупное влияние всех р объясняющих переменных на зависимую переменную у можно считать статистически несущественным, а общее качество уравнения регрессии невысоким.

Проверка такой гипотезы осуществляется на основе дисперсионного анализа сравнения объясненной и остаточной дисперсий, т. е. нуль-гипотеза формулируется как против альтернативной гипотезы . При этом строится F- статистика:

. (29)

Здесь в числителе – объясненная (факторная) дисперсия в расчете на одну степень свободы (число степеней свободы равно числу факторов, т. е. р). В знаменателе – остаточная дисперсия на одну степень свободы. Её число степеней свободы равно (). Потеря () степени свободы связана с необходимостью решения системы () линейных уравнений при определении параметров эмпирического уравнения регрессии. Если учесть, что число степеней свободы общей дисперсии равно (), то число степеней свободы объясненной дисперсии равна разности , т. е. р.

Следует отметить, что выражение (29) эквивалентно (28). Это становится ясно, если числитель и знаменатель (29) разделить на общую СКО:

.

Поэтому методика принятия или отклонения нуль-гипотезы для статистики (29) ничем не отличается от таковой для статистики (28).

Анализ статистики F позволяет сделать вывод о том, что для принятия гипотезы об одновременном равенстве нулю всех коэффициентов линейной регрессии коэффициент детерминации R² должен существенно отличаться от нуля. Его критическое значение уменьшается при росте числа наблюдений и может стать сколь угодно малым.

Например, пусть при оценке регрессии с двумя объясняющими переменными по 30 наблюдениям R² =0,65. Тогда

.

По таблицам критических точек распределения Фишера найдем ; . Поскольку F_набл. =25,05> F_кр. как при 5%-м, так и при 1%-м уровне значимости, то нулевая гипотеза в обоих случаях отклоняется. Если в той же ситуации , то

.

Предположение о незначимости связи отвергается и здесь.

Другим важным направлением использования статистики Фишера является проверка гипотезы о равенстве нулю не всех коэффициентов регрессии одновременно, а только некоторой части этих коэффициентов. Это позволяет оценить обоснованность исключения или добавления в уравнение регрессии некоторых наборов факторов, что особенно важно при совершенствовании линейной регрессионной модели.

Пусть первоначально построенное по n наблюдениям уравнение регрессии имеет вид (4), и коэффициент детерминации для этой модели равен . Исключим из рассмотрения k объясняющих переменных. Не нарушая общности, предположим, что это будут k последних переменных. По первоначальным n наблюдениям для оставшихся факторов построим другое уравнение регрессии:

, (30)

для которого коэффициент детерминации равен . Очевидно, , т. к. каждая дополнительная переменная объясняет часть рассеивания зависимой переменной. Проверяя гипотезу , можно определить, существенно ли ухудшилось качество описания поведения зависимой переменной. Для этого используют статистику:

. (31)

В случае справедливости приведенная статистика имеет распределение Фишера с числом степеней свободы k и (). Здесь – потеря качества уравнения в результате отбрасывания k факторов; k – число дополнительно появившихся степеней свободы; – необъясненная дисперсия первоначального уравнения.

Если величина (31) превосходит критическое на требуемом уровне значимости α, то нуль-гипотеза должна быть отклонена. В этом случае одновременное исключение из рассмотрения k объясняющих переменных некорректно, т. к. существенно превышает . Это означает, что общее качество первоначального уравнения регрессии существенно лучше качества уравнения регрессии с отброшенными переменными, т. к. первоначальное уравнение объясняет гораздо большую долю разброса зависимой переменной. Если же, наоборот, , это означает, что разность незначительна и можно сделать вывод о целесообразности одновременного отбрасывания k факторов, поскольку это не привело к существенному ухудшению общего качества уравнения регрессии. Тогда нуль-гипотеза не может быть отброшена.

Аналогичные рассуждения можно использовать и для проверки обоснованности включения новых k факторов. В этом случае рассматривается следующая статистика:

. (32)

Если она превышает критическое значение F_кр., то включение новых факторов объясняет существенную часть не объясненной ранее дисперсии зависимой переменной. Поэтому такое добавление оправдано. Добавлять переменные, как правило, целесообразно по одной.

Кроме того, при добавлении факторов логично использовать скорректированный коэффициент детерминации, т. к. обычный всегда растет при добавлении новой переменной, а в скорректированном одновременно растет величина р, уменьшающая его. Если увеличение доли объясненной дисперсии при добавлении новой переменной незначительно, то может уменьшиться. В этом случае добавление указанного фактора нецелесообразно.

Кроме коэффициента детерминации , в уравнении множественной регрессии используется другой показатель, тесно связанный с . Это так называемый показатель множественной корреляции, равный корню квадратному из :

. (33)

Границы его изменения те же, что и в парной регрессии: от 0 до 1. Чем ближе его значение к единице, тем теснее связь результативного признака со всем набором исследуемых факторов.

Для линейного уравнения множественной регрессии формула индекса корреляции может быть представлена выражением:

, (34)

где – стандартизованные коэффициенты регрессии, – парные коэффициенты корреляции результата с каждым из факторов.

Формула индекса множественной корреляции для линейной регрессии получила название линейного коэффициента множественной корреляции или совокупного коэффициента корреляции.

При линейной зависимости определение совокупного коэффициента корреляции возможно без построения регрессии и оценки её параметров, а с использованием только матрицы парных коэффициентов корреляции:

, (35)

где Δ r – определитель матрицы парных коэффициентов корреляции:

(36)

а Δ r ₁₁ – определитель матрицы межфакторной корреляции:

(37)

Определитель (37) остаётся после вычеркивания из матрицы коэффициентов парной корреляции первого столбца и первой строки, что и соответствует матрице коэффициентов парной корреляции между факторами.

 

Спецификация модели

Все предыдущие рассуждения и выводы, касающиеся классической множественной регрессии, основывались на предположении, что мы имеем дело с правильной спецификацией модели. Под спецификацией модели в данном случае (т. е. для модели линейной множественной регрессии при выполнении предпосылок МНК) будем понимать выбор объясняющих переменных. В этой связи важное значение приобретает рассмотрение двух вопросов, имеющих смысл именно во множественной регрессии, когда исследователь имеет дело с несколькими факторами: возможная мультиколлинеарность факторов и частная корреляция. Последняя особенно тесно связана с процедурами пошагового отбора переменных.

Включение в уравнение множественной регрессии того или иного набора факторов связано прежде всего с представлением исследователя о природе взаимосвязи моделируемого показателя с другими экономическими явлениями. Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям:

1. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность. Например, в модели урожайности качество почвы задается в виде баллов; в модели стоимости объектов недвижимости учитывается место нахождения недвижимости: районы могут быть проранжированы.

2. Факторы не должны быть коррелированы между собой и тем более находиться в точной функциональной связи.

 

Включение в модель факторов с высокой взаимной корреляцией, когда, например, , для зависимости может привести к нежелательным последствиям – система нормальных уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии.

Если между факторами существует высокая корреляция, то нельзя определить их изолированное влияние на результативный показатель и параметры уравнения регрессии оказываются неинтерпретируемыми. Так, в приведенной зависимости с двумя факторами предполагается, что факторы х₁ и х₂ независимы друг от друга, т. е. . Тогда можно говорить, что параметр b₁ измеряет силу влияния фактора х₁ на результат у при неизменном значении фактора х₂. Если же , то с изменением фактора х₁ фактор х₂ не может оставаться неизменным. Отсюда b₁ и b₂ нельзя интерпретировать как показатель раздельного влияния х₁ и х₂ на у.

Как было сказано ранее, добавление нового фактора в регрессии приводит к возрастанию коэффициента детерминации и уменьшению остаточной дисперсии. Но эти изменения могут быть незначительны, и не каждый фактор целесообразно вводить в модель.

Таким образом, хотя теоретически регрессионная модель позволяет учесть любое число факторов, практически в этом нет необходимости. Отбор факторов производится на основе качественного теоретико-экономического анализа.

Теоретический анализ часто не позволяет однозначно ответить на вопрос о количественной взаимосвязи рассматриваемых признаков и целесообразности включения фактора в модель. Поэтому отбор факторов обычно осуществляется в две стадии: на первой подбираются факторы, исходя из сущности проблемы; на второй – анализируется матрица показателей корреляции и устанавливается, какие из факторов наиболее тесно связаны с результатом, а какие – между собой.

Здесь эконометрист чаще всего сталкивается с проблемой мультиколлинеарности.

Под полной мультиколлинеарностью понимается существование между некоторыми из факторов линейной функциональной связи. Количественным выражением этого служит то обстоятельство, что ранг матрицы Х меньше, чем (), а матрица (Х’Х) будет вырожденной,
т. е. её определитель равен нулю, а обратной матрицы к ней не существует.

В практике статистических исследований полная мультиколлинеарность встречается достаточно редко, т. к. её несложно избежать уже на предварительной стадии анализа и отбора множества объясняющих переменных.

Реальная (или частичная) мультиколлинеарность возникает в случаях существования достаточно тесных линейных статистических связей между объясняющими переменными. Точных количественных критериев для определения наличия или отсутствия реальной мультиколлинеарности не существует. Тем не менее, существуют некоторые эвристические рекомендации по выявлению мультиколлинеарности.

В первую очередь анализируют матрицу парных коэффициентов корреляции:

(38)

точнее, ту её часть, которая относится к объясняющим переменным. Считается, что две переменные явно коллинеарны, если .

В этом случае факторы дублируют друг друга, и один из них рекомендуется исключить из регрессии. Предпочтение при этом отдаётся фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами.

Пусть, например, при изучении зависимости матрица парных коэффициентов корреляции оказалась следующей:

.

Очевидно, что факторы х₁ и х₂ дублируют друг друга (). Однако в модель следует включить фактор х₂, а не х₁, поскольку корреляция фактора х₂ с у достаточно высокая (), а с фактором х₃ слабая ().

Другим методом оценки мультиколлинеарности факторов может служить определитель матрицы парных коэффициентов корреляции между факторами (37). Обоснованием данного подхода служат такие рассуждения. Если бы факторы не коррелировали между собой, то в определителе (37) все внедиагональные элементы равнялись бы нулю, а на диагонали стояли бы единицы. Такой определитель равен единице. Если же, наоборот, между факторами существует полная линейная зависимость и все коэффициенты межфакторной корреляции равны единице, то определитель такой матрицы равен нулю. Следовательно, чем ближе к нулю определитель (37), тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И наоборот, чем ближе к единице величина (37), тем меньше мультиколлинеарность факторов.

Для оценки значимости мультиколлинеарности факторов выдвигается гипотеза .

Доказано, что величина имеет приближенное распределение χ² с степенями свободы.

Если , то гипотеза Н ₀ отклоняется, мультиколлинеарность считается доказанной.

Другим методом выявления мультиколлинеарности является анализ коэффициентов множественной детерминации факторов. Для этого в качестве зависимой переменной рассматривается каждый из факторов.

Например, коэффициент рассчитывается по следующей регрессии:

где первый фактор взят в качестве результативного признака, а остальные факторы – как независимые переменные, влияющие на первый фактор. Чем ближе такой к единице, тем сильнее проявляется мультиколлинеарность факторов. Оставляя в уравнении регрессии факторы с минимальной , можно решить проблему отбора факторов.

При этом рассчитывается статистика:

. (39)

Если коэффициент статистически значим, то . В этом случае является линейной комбинацией других факторов, и его можно исключить из регрессии.

Основные последствия мультиколлинеарности:

1. Большие дисперсии оценок. Это затрудняет нахождение истинных значений определяемых величин и расширяет интервальные оценки, ухудшая их точность.

2. Уменьшаются t -статистики коэффициентов, что может привести к неоправданному выводу о несущественности влияния соответствующего фактора на зависимую переменную.

3. Оценки коэффициентов по МНК и их стандартные ошибки становятся очень чувствительными к малейшим изменениям данных, т. е. они становятся неустойчивыми.

4. Затрудняется определение вклада каждой из объясняющих переменных в объясняемую уравнением регрессии дисперсию зависимой переменной.

5. Возможно получение неверного знака у коэффициента регрессии.

 

Единого подхода к устранению мультиколлинеарности не существует. Существует ряд методов, которые не являются универсальными и применимы в конкретных ситуациях.

Простейшим методом устранения мультиколлинеарности является исключение из модели одной или нескольких коррелированных переменных. Здесь необходима осторожность, чтобы не отбросить переменную, которая необходима в модели по своей экономической сущности, но зачастую коррелирует с другими переменными (например, цена блага и цены заменителей данного блага).

В некоторых случаях для устранения мультиколлинеарности достаточно увеличить объем выборки. Например, при использовании ежегодных данных можно перейти к поквартальным данным. Это приведёт к сокращению дисперсии коэффициентов регрессии и увеличению их статистической значимости. Однако при этом можно усилить автокорреляцию, что ограничивает возможности такого подхода.

В некоторых случаях изменение спецификации модели, например, добавление существенного фактора, решает проблему мультиколлинеарности. При этом уменьшается остаточная СКО, что приводит к уменьшению стандартных ошибок коэффициентов.

В ряде случаев минимизировать либо вообще устранить проблему мультиколлинеарности можно с помощью преобразования переменных.

 

Например, пусть эмпирическое уравнение регрессии имеет вид:

где факторы коррелированы. Здесь можно попытаться определить отдельные регрессии для относительных величин:

(40)

Возможно, что в моделях, аналогичных (40), проблема мультиколлинеарности будет отсутствовать.

Теперь рассмотрим другой вопрос, имеющий важное значение для проблем, связанных со спецификацией модели множественной регрессии. Это частная корреляция. С помощью частных коэффициентов корреляции проводится ранжирование факторов по степени их влияния на результат. Кроме того, частные показатели корреляции широко используются при решении проблем отбора факторов: целесообразность включения того или иного фактора в модель доказывается величиной показателя частной корреляции.

Частные коэффициенты корреляции характеризуют тесноту связи между результатом и соответствующим фактором при устранении влияния других факторов, включенных в уравнение регрессии.

Показатели частной корреляции представляют собой отношение сокращения остаточной дисперсии за счет дополнительного включения в модель нового фактора к остаточной дисперсии, имевшей место до введения его в модель.

Высокое значение коэффициента парной корреляции между исследуемой зависимой и какой-либо независимой переменной может означать высокую степень взаимосвязи, но может быть обусловлено и другой причиной, например, третьей переменной, которая оказывает сильное влияние на две первые, что и объясняет их высокую коррелированность. Поэтому возникает задача найти «чистую» корреляцию между двумя переменными, исключив (линейное) влияние других факторов. Это можно сделать с помощью коэффициента частной корреляции.

Коэффициенты частной корреляции определяются различными способами. Рассмотрим некоторые из них.

 

Для простоты предположим, что имеется двухфакторная регрессионная модель:

, (41)

и имеется набор наблюдений .

Тогда коэффициент частной корреляции между у и, например, после исключения влияния определяется по следующему алгоритму:

1. Осуществим регрессию у на и константу и получим прогнозные значения: .

2. Осуществим регрессию х₁ на х₂ и константу и получим прогнозные значения: .

3. Удалим влияние , взяв остатки: и .

4. Определим выборочный коэффициент частной корреляции между у и х₁ при исключении х₂ как выборочный коэффициент корреляции между e_y и :

. (42)

Значения частных коэффициентов корреляции лежат в интервале , как у обычных коэффициентов корреляции. Равенство нулю означает отсутствие линейного влияния переменной на y.

Существует тесная связь между коэффициентом частной корреляции и коэффициентом детерминации :

, (43)

где – обычный коэффициент корреляции.

Описанная выше процедура обобщается на случай, когда исключается влияние нескольких переменных. Для этого достаточно переменную заменить на набор переменных , сохраняя определение (42) (при этом можно в число исключаемых переменных вводить и у, определяя частную корреляцию между факторами).

Другой способ определения коэффициентов частной корреляции – матричный. Обозначив для удобства зависимую переменную как х₀, запишем определитель матрицы парных коэффициентов корреляции в виде:

(44)

Тогда частный коэффициент корреляции определяется по формуле:

(45)

где – алгебраическое дополнение для элемента в определителе (44).

Существует ещё один способ расчета – по рекуррентной формуле. Порядок частного коэффициента корреляции определяется количеством факторов, влияние которых исключается.

Например, – коэффициент частной корреляции первого порядка. Соответственно коэффициенты парной корреляции называются коэффициентами нулевого порядка. Коэффициенты более высоких порядков можно определить через коэффициенты более низких порядков по рекуррентной формуле:

. (46)

Если исследователь имеет дело лишь с тремя–четырьмя переменными, то удобно пользоваться соотношениями (46). При больших размерностях задачи удобнее расчет через определители, т. е. по формуле (45). В соответствии со смыслом коэффициентов частной корреляции можно записать формулу:

(47)

При исследовании статистических свойств выборочного частного коэффициента корреляции порядка k следует воспользоваться тем, что он распределен точно так же, как и обычный парный коэффициент корреляции, с единственной поправкой: объём выборки надо уменьшить на k единиц, т. е. полагать его равным , а не n.

Пример. По итогам года у 37 однородных предприятий легкой промышленности были зарегистрированы следующие показатели их работы: у – среднемесячная характеристика качества ткани (в баллах), – среднемесячное количество профилактических наладок автоматической линии; – среднемесячное количество обрывов нити.

По исходным данным были подсчитаны выборочные парные коэффициенты корреляции:

Проверка статистической значимости этих величин показала отсутствие значимой статистической связи между результативным признаком и каждым из факторов, что не согласуется с профессиональными представлениями т