Модель множественной линейной регрессии

 

Парная регрессия может дать хороший результат при моделировании, если влияние других факторов, воздействующих на объект исследования, остается неизменным. Например, при построении модели объема производства от инвестиций исследователь предполагает, что одинаково влияние на объем производства таких факторов, как процентная норма выработки, инфляция, конечный спрос и т.д. Вместе с тем исследователь никогда не может быть уверен в справедливости данного предположения. В этом случае следует попытаться выявить влияние других факторов, введя их в модель, т.е. построить уравнение множественной регрессии:

.                                                     (4.1.18)

Основная цель множественной регрессии – улучшить статистические характеристики парной регрессии, определить влияние каждого из факторов в отдельности, а также совокупное их воздействие на моделируемый показатель.

Параметры уравнения множественной регрессии оцениваются, как и в парной регрессии, МНК. Поэтому исходные предпосылки регрессионного анализа, связанные с использованием данного метода сохраняются и для множественной регрессии. Что касается статистических характеристик, то формулы их расчета, если грубо обобщить сравнение с парной регрессией, корректируется на другое число степеней свободы - n-m-1 (в парной регрессии число степеней свободы было равно n-2) и количество факторов m. Формулы расчета представлены в любом учебнике по эконометрике [10,19,28,29]. Поскольку реализация модели осуществляется с помощью ППП, то здесь мы не будем подробно рассматривать особенности этих формул. Отметим только, что их интерпретация в основном аналогична случаю парной линейной регрессии.

В частности, для установления доли дисперсии, обусловленной воздействием совокупности факторов, вычисляется коэффициент множественной детерминации. Выражение для данного коэффициента можно получить путем обобщения формулы (4.1.12):

.

  в случае множественной регрессии указывает на то, что рассматривается вариабельность всей совокупности факторов, введенных в множественную линейную регрессию регрессию. Иначе говоря, интерпретация коэффициента множественной детерминации (R²) аналогична коэффициенту детерминации для простой линейной регрессии и указывает какая часть общей дисперсии может быть объяснена зависимостью y от совокупности факторов. В множественной регрессии дополнительно также могут рассчитываться коэффициенты частной детерминации, которые характеризуют связь зависимого показателя и отдельных факторов при фиксировании или исключении влияния остальных факторов. Данный показатель полезен в экономическом анализе при определении сравнительной силы влияния факторов.

 

Пример 4.1.4. (расширение примера 4.1.1). Изучается зависимость объема производства y от инвестиций x ₁ и среднего процента выполнения нормы выработки x ₂. Были собраны данные по 12 предприятиям.

С помощью ППП построено следующее регрессионное уравнение:

0,849, S²=1,44.

Станд. Ошибка	(100,9)	(0,39)	(1,03)
t-статист.	(-4,0)	(4,4)	(4,2)

 

Требуется оценить качество регрессионной модели.

 

Таблица

Исходные данные примера 4.1.4

Предприятие	Инвестиции (тыс.у.е.)	Средний процент выполнения нормы	Объем производства (тыс.шт.)
i	xi1	x22	yi
1	16,3	99,5	52,8
2	16,8	98,9	48,4
3	18,5	99,2	54,2
4	16,3	99,3	50
5	17,9	99,8	54,9
6	17,4	99,6	53,9
7	16,1	99,8	53,1
8	16,2	99,7	52,4
9	17	99,8	53
10	16,7	99,9	52,9
11	17,5	100	53,1
12	19,1	100,2	60,1

 

Решение. Сравнивая построенную модель с моделью 4.1.16, заключаем, что включение в регрессионную модель второго фактора значительно увеличило коэффициент детерминации – с 0,55 до 0,849. Это означает, что изменение объема производства на 85% определяются вариацией двух факторов – инвестиции, процент выполнения нормы. На статистическую значимость регрессоров указывают значения t-статистик и стандартных ошибок параметров регрессии. Введение в модель второго фактора значительно снизило стандартную ошибку уравнения регрессии. Основные статистические характеристики уравнения указывают на удовлетворительную спецификацию построенной модели.

 

Однако, в отличие от аналогичных характеристик однофакторной регрессии, особенности множественной регрессии состоят: во-первых, в возможности наличия мультиколлинеарности факторов, включаемых в модель, что нежелательно в силу ненадежности оценок параметров регрессии; во-вторых, в возможности расчета стандартизованных коэффициентов регрессии и частных коэффициентов корреляции и детерминации, которые позволяют оценивать сравнительную силу влияния факторов; в-третьих, в некотором изменении экономической интерпретации параметров регрессии. Далее более подробно остановимся на этих отличиях.

Считается, что два показателя явно коллинеарны, т.е. находятся между собой в линейной зависимости, если парный коэффициент корреляции между ними больше 0,7. Если факторы явно коллинеарны, то один из них рекомендуется исключить из регрессии. В примере 4.1.4 коэффициент корреляции между факторами <0,7, что позволяет заключить об отсутствии явной коллинеарности между факторами.

В случае множественной регрессии рекомендуется преобразовывать переменные. Выполним следующее преобразование переменных y и x_k k =1,…, m, которое называется стандартизацией:

, k=1,…,m,

где - стандартные отклонения переменных y и x_k k =1,…, m. В этих обозначениях все переменные и соотношения между ними выражаются в стандартизованном масштабе. В этом масштабе за начало отсчета для каждой переменной принимается значение среднего, а за единицу измерения – величина стандартного отклонения. В стандартизованном масштабе упрощаются линейные соотношения между переменными: при стандартизации постоянная регрессии исключается, что способствует облегчению расчетов. Уравнение множественной регрессии в стандартизованном масштабе имеет вид:

,

где  - стандартизованные переменные,  - стандартизованные коэффициенты регрессии.

Оценки стандартизованных коэффициентов множественной регрессии находят с помощью МНК. В результате преобразований переменных и работы МНК можно получить следующие соотношения между обычными и стандартизованными коэффициентами регрессии

.

Стандартизованные коэффициенты регрессии удобны для сравнения. Как было указано выше, коэффициенты регрессии b_i являются размерными величинами. При этом их размерность связана с размерностью исходных данных. Стандартизованные переменные и стандартизованные коэффициенты регрессии безразмерны. Благодаря этому становится возможным их сравнение.

Сравнение происходит прежде всего при оценке интенсивности влияния факторов на результативный показатель. Для этих целей мы не можем воспользоваться коэффициентами регрессии b_{i .} Несмотря на небольшое по величине значение коэффициента регрессии, соответствующая переменная может оказывать значительное влияние. Это прежде всего объясняется различной вариацией значений переменных x_{i /}   При стандартизации переменные выражаются в единицах стандартных отклонений, благодаря чему стандартные отклонения преобразованных переменных становятся равными 1.

В отличие от обычных коэффициентов регрессии, выраженных в натуральном масштабе, стандартизованные коэффициенты можно непосредственно сравнивать друг с другом. По ним судят об интенсивности влияния факторов на результативный показатель. Стандартизованные коэффициенты показывают, на какую часть стандартного отклонения изменилось бы среднее значение результативного показателя, если бы значение соответствующего фактора увеличилось на стандартное отклонение, а прочие переменные остались без изменения. Благодаря тому, что все переменные выражены в сравнимых единицах измерения, стандартизованные коэффициенты регрессии показывают сравнительную силу влияния факторов на изменение результативного показателя.

В примере 4.1.4 стандартизованное уравнение регрессии имеет вид:

.

Из уравнения видно, что на изменение объема производства введенные в регрессию факторы оказывают практически одинаковое влияние: при увеличении инвестиций на 1 стандартное отклонение объем производства увеличивается на 0,591 ст.откл.; при увеличении процента выполнения нормы на 1 ст.откл. объем производства возрастает на 0,566 ст.откл.

Сравнительная сила влияния факторов может быть оценена и с помощью частных коэффициентов корреляции (коэффициентов частной детерминации). Частные коэффициенты корреляции характеризуют тесноту связи между результатом и соответствующим фактором при устранении влияния других факторов, включенных в уравнение регрессии. Вообще говоря, в эконометрике частные коэффициенты корреляции (коэффициенты частной детерминации) обычно не имеют самостоятельного значения. В основном их используют на стадии формирования модели, в частности, в процедуре отсева факторов.

В то время как множественная регрессия (4.1.18) охватывает совокупное одновременное влияние факторов x ₁, x ₂,…, x_m, коэффициенты регрессии b ₁, b ₂,…, b_m указывают соответствующие усредненные частные влияния переменных x ₁, x ₂,…, x_m в предположении, что остальные переменные сохраняются на постоянном уровне. Так, b ₁ указывает среднюю величину изменения y при изменении x ₁ на одну единицу при условии, что другие переменные остаются без изменения; b ₂  показывает, на сколько единиц в среднем изменится y, если бы переменная x ₂ изменилась на единицу при условии, что переменные x_i (i ¹ 2) остались бы без изменения, и т.д. С точки зрения статистической методологии, таким образом, нет различия между множественной и парной регрессией. Такая содержательная интерпретация коэффициентов регрессии могла бы привести к ошибочному заключению, что достаточно определить несколько простых линейных регрессий переменной y поотдельным переменным x_i. Однако следует иметь ввиду, что коэффициент множественной регрессии b_i  исключает влияние независимых переменных, включенных в регрессию. В то время, как при простой линейной регрессии влияние прочих факторов частично отражается в коэффициенте регрессии. Исходя из изложенного выше, можно заключить, если располагать достаточной информацией и эмпирическим числовым материалом по нескольким причинам-факторам для переменной y, то целесообразнее и теоретически обоснованнее строить множественную регрессию. Если сравнить коэффициент парной регрессии при факторе инвестиций в примере 4.1.1 (b =2,16) с аналогичным коэффициентом множественной регрессии примера 4.1.4 (b ₁ =1,721), можно заключить, что уменьшение значение коэффициента во втором случае связано с элиминированием влияния из набора прочих факторов показателя среднего процента выполнения нормы.

В заключении сделаем несколько полезных замечаний с точки зрения построения регрессионных моделей.

З амечание 1. Мы использовали различные диагностические тесты, проверяющие адекватность спецификации регрессионной модели: t-тест статистической значимости параметров регрессии и, следовательно, объясняющей способности отдельных факторов; коэффициент детерминации, характеризующий объясняющую способность группы факторов. Это небольшая, но, как правило, наиболее распространенная, часть всех диагностических тестов, применяемых на практике. Как правило, выбор набора диагностических тестов ориентируется на возможности используемых статистических ППП.

Замечание 2. В регрессионных моделях в качестве факторов часто приходится использовать не только количественные, но и качественные переменные. Обычно в моделях влияние качественного фактора выражается в виде фиктивной переменной, которая отражает два противоположных состояния качественного фактора. Например, «фактор действует» - «фактор не действует», «курс валюты фиксированный» – «курс валюты плавающий» и т.д. В этом случае фиктивная переменная может выражаться в двоичной форме:

         0, фактор не действует,

D=

          1, фактор действует.

Замечание 3. Из-за рассеяния значений отдельных переменных функция регрессии необратима даже тогда, когда это оправдано логически и обосновано профессиональными соображениями.

Замечание 4. Любой статистический ППП наряду с коэффициентом детерминации указывает и скорректированный коэффициент детерминации (). При добавлении фактора в уравнение регрессии коэффициент детерминации никогда не уменьшается, а обычно увеличивается. С ростом числа введенных в модель факторов скорректированный коэффициент растет медленнее, чем обычный коэффициент детерминации. Другими словами, скорректированный коэффициент детерминации более независим от числа введенных в модель факторов. Связь коэффициента детерминации () и скорректированного коэффициента детерминации () описывается следующей формулой:

,

где m -число факторов.

Из формулы видно, что по мере увеличения числа факторов m величина () увеличивается и, следовательно, возрастает размер корректировки коэффициента детерминации () в сторону уменьшения.

Замечание 5. Уравнение регрессии на временных рядах также, как и на пространственных данных, обычно строится с помощью МНК, применение которого, как указывалось выше, требует выполнения ряда предпосылок. В связи с этим при построении регрессии на временных рядах требуются дополнительные исследования исходных данных. С целью обеспечения выполнимости исходных предпосылок регрессионного анализа возникает необходимость проведения более глубокого анализа остатков (см.4.1.2). Временные ряды данных должны быть проверены на стационарность, что позволит исключить построение ложной регрессии. При наличии во временных рядах тренда и сезонной компоненты, необходимо их устранить. Поэтому к набору указанных в учебном пособии диагностических тестов при построении регрессии на временных рядах присоединяется дополнительный набор тестов.