Оценка параметров уравнения множественной регрессии

При оценке параметров уравнения регрессии применяется МНК. При этом делаются определенные предпосылки относительно случайной составляющей

.

Система нормальных уравнений:

 

 

МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ

Практическая значимость уравнения регрессии оценивается с помощью индекса множественной корреляции и его квадрата – коэффициента множественной детерминации.

Независимо от формы связи показатель множественной корреляции может быть найден как индекс множественной корреляции.

Обозначим , тогда

, -при любой форме связи

где – общая дисперсия результативного признака,

– остаточная дисперсия для уравнения

где , так как .

Иначе, формула примет вид:

.

Отсюда следует 0≤R≤1.

Этот показатель характеризует тесноту связи рассматриваемого набора факторов с используемым признаком, т.е. оценивает тесноту связи совместного влияния факторов на результат.

При линейной зависимости признаков формула индекса корреляции имеет вид:

где – стандартизованные коэффициенты регрессии,

– парные коэффициенты корреляции результата с каждым фактором.

Возможен иной подход к определению параметров, когда на основе матрицы парных коэффициентов корреляции строится уравнение регрессии в стандартизованном масштабе

, где

и - стандартизованные переменные, для которых среднее значение равно нулю , так как

а среднее квадратичное отклонение так как .

Применяя МНК к уравнению множественной регрессии в стандартизованном масштабе, получим систему нормальных уравнений вида

Решая систему, найдем параметры.

Стандартизованные параметры – показывают, на сколько сигм изменится в среднем результат, если увеличить соответствующий фактор на одну сигму при неизменном среднем уровне других факторов. В силу того, что все переменные заданы как централизованные и нормированные, то – коэффициенты регрессии сравнимы между собой. Сравнивая их, можно ранжировать факторы по силе их воздействия на результат. В этом основное достоинство стандартизованных коэффициентов регрессии в отличие от коэффициентов чистой регрессии, которые несравнимы между собой. Связь коэффициентов стандартизованных и нестандартизованных:

Для МНК имеем формулы:

Таким образом, в системе вычисляется коэффициент корреляции по формуле:

так как , , и он равен коэффициенту корреляции в стандартизованных переменных.

Стандартизованные коэффициенты регрессии связаны с коэффициентом регрессии и коэффициентом эластичности Э

,

где β_j – показывает, на сколько величин изменится в среднем y при увеличении только j -ой объясняющей переменной на .

Э – коэффициент эластичности показывает, на сколько процентов от средней величины изменится в среднем y при увеличении только на один процент.

 

КОЭФФИЦИЕНТ ДЕТЕРМИНАЦИИ

 

Отметим ещё одну формулу для коэффициента детерминации:

Вместе с тем использование только одного коэффициента детерминации для выбора наилучшего уравнения регрессии может оказаться недостаточным. На практике встречаются случаи, когда плохо определяется модель регрессии и может дать сравнительно высокий коэффициент . Недостатком коэффициента является то, что он, вообще говоря, увеличивается при добавлении новых объясняющих переменных, хотя это и не обязательно обозначает улучшение качества регрессионной модели. В этом смысле предпочтительнее использовать скорректированный (адаптированный, поправленный) коэффициент , определяемый по формуле:

из этой формулы следует: чем больше число объясняющих переменных p,тем меньше по сравнению с .

Очевидно, скорректированный коэффициент может уменьшаться при введении в модель новых объясняющих переменных, не оказывающих существенного влияния на зависимую переменную.

Если известен , то используем критерий значимости уравнения регрессии. Гипотеза о равенстве нулю параметров регрессионной модели : отвергается, или уравнение регрессии значимо, если

(1) - табличное значение - критерия Фишера, где α – уровень значимости, n – число наблюдений, p – число факторов.

 

ЧАСТНЫЕ УРАВНЕНИЯ РЕГРЕССИИ

На основе линейного уравнения множественной регрессии

могут быть найдены частные уравнения регрессии:

…

то есть уравнения регрессии, которые связывают результативный признак y с соответствующими факторами x при закреплении других, учитываемых во множественной регрессии на среднем уровне:

+ +…+

+ +…+

…

+ +…+

При подстановке в эти уравнения средних значений соответствующих факторов, они принимают вид парных уравнений линейной регрессии:

 

+

+

…

+ +…+ ;

+ + …+ ;

…

+ +…+

Частные уравнения характеризуют изолированное влияние фактора на результат, ибо другие факторы закреплены. Это позволяет на основе частных уравнений определять частные коэффициенты эластичности.

 

ЧАСТНЫЕ ИНДЕКСЫ КОРРЕЛЯЦИИ

В случае, когда имеется одна независимая и одна зависимая переменные, естественной мерой зависимости (в рамках линейного подхода) является (выборочный) коэффициент корреляции между ними.

Использование множественной регрессии позволяет обобщить это понятие на случай, когда имеется несколько независимых переменных. Корректировка здесь необходима по следующим очевидным соображениям. Высокое значение коэффициента корреляции между исследуемой зависимой и какой-либо независимой переменной может, как и раньше, означать высокую степень зависимости, но может быть обусловлено и другой причиной. А именно, есть третья переменная, которая оказывает сильное влияние на две первые, что и служит, в конечном счете, причиной их высокой коррелированности. Поэтому возникает естественная задача найти “чистую” корреляцию между двумя переменными, исключив (линейное) влияние других факторов.

Рассуждения здесь могут быть такими. Обозначим остаточную дисперсию

Включим в уравнение регрессии ещё один фактор ^, его включение приведет к уменьшению остаточной дисперсии. Чем больше число факторов включения в модель, тем меньше величина остаточной дисперсии. Сокращение остаточной дисперсии за счет дополнительного введения фактора составит:

Чем меньше доля этого сокращения в остаточной вариации до введения дополнительного фактора, то есть в , тем теснее связь между и при постоянном действии фактора . Корень квадратный из этой величины и есть индекс частной корреляции, показывающий в чистом виде тесноту связи и ^.

Следовательно, чистое влияние фактора на результат y можно определить так:

,

аналогично, чистое влияние на результат фактора :

.

Если выразить остаточную дисперсию через показатель детерминации, = то формула коэффициента частной корреляции примет вид:

аналогично,

.

Преобразуем полученную формулу:

, отсюда

, обобщая эту формулу на p независимых переменных, получим

Из приведённых формул частных коэффициентов корреляции, видна связь этих показателей с совокупным коэффициентом корреляции. Зная частные коэффициенты корреляции последовательного первого, второго, и так далее, порядка, совокупный коэффициент корреляции получается.

При полной зависимости результативного признака от исследуемых факторов корреляции, совокупного их влияния, коэффициент корреляции равен единице. Из единицы вычитается доля остаточной вариации результативного признака , обусловленная последовательно включёнными в анализ факторами. В результате подкоренное выражение характеризует совокупное действие всех исследуемых факторов.