Регрессионный анализ. Зависимые и независимые переменные

Регрессионный анализ предназначен для исследования зависимости исследуемой переменной от различных факторов и отображения их взаимосвязи в форме регрессионной модели. В регрессионных моделях зависимая (объясняемая) переменная Y может быть представлена в виде функции f (), где - независимые (объясняющие) переменные, или факторы.

Связь между переменной Y иk независимыми факторами Х можно охарактеризовать функцией регрессии Y= f (), которая показывает, каково будет в среднем значение переменной y_i, если переменные X_i примут конкретные значения. Данное обстоятельство позволяет использовать модель регрессии не только для анализа, но и для прогнозирования экономических явлений. Сформулируем регрессионную задачу для случая од­ного факторного признака.

Пусть имеется набор значений двух переменных: Y= - объясняемая переменная и X= - объясняющая переменная, каждая из которых содержит n наблюдений. Пусть между переменными X= и Y= теоретически существует некоторая ли­нейная зависимость Данное уравнение будем называть «истинным» уравне­нием регрессии. Однако в действительности между X и Y на­блюдается не столь жесткая связь. Отдельные наблюдения будут отклоняться от линейной зависимости в силу воздействия различ­ных причин. Обычно зависимая переменная находится под влия­нием целого ряда факторов, в том числе и не известных исследо­вателю, а также случайных причин (возмущения и помехи); су­щественным источником отклонений в ряде случаев являются ошибки измерения. Отклонения от предполагаемой формы связи, естественно, могут возникнуть и в силу неправильного выбора вида самого уравнения, описывающего эту зависимость. Учитывая возможные отклонения, линейное уравнение связи двух переменных (парную регрессию) представим в виде , (2) где - постоянная величина (или свободный член уравнения), - коэффициент регрессии, определяющий наклон линии, вдоль которой рассеяны данные наблюдений. Это показатель, характеризующий изменение переменной , при изменении значения на единицу. Если - переменные и положительно коррелированные, если < 0 – отрицательно коррелированны; - случайная переменная, или случайная составляющая, или остаток, или возмущение. Она отражает тот факт, что изменение будет неточно описываться изменением Х – присутствуют другие факторы, неучтенные в данной модели.

Таким обра­зом, в уравнении (2) значение каждого наблюдения представлено как сумма двух частей — систематической и случайной . В свою оче­редь систематическую часть можно представить в виде уравнения Можно сказать, что общим моментом для любой эконометрической модели явля­ется разбиение зависимой переменной на две части — объясненную и случайную. .

Предпосылки применения МНК.

Свойства коэффициентов регрессии существенным об­разом зависят от свойств случайной составляющей. Для того что­бы регрессионный анализ, основанный на обычном методе наименьших квад­ратов, давал наилучшие из всех возможных результаты, дол­жны выполняться следующие условия, известные как условия Гаусса – Маркова.

1. Математическое ожидание случайной составляющей в любом наблюдении должно быть равно нулю. Иногда случайная составляющая будет положительной, иногда отрицательной, но она не должна иметь систематичес­кого смещения ни в одном из двух возможных направлений.

2. В модели () возмущение (или зависимая переменная ) есть величина случайная, а объясняющая переменная - вели­чина неслучайная.

Если это условие выполнено, то теоретическая ковариация между независи­мой переменной и случайным членом равна нулю.

3. предполагает отсутствие систематической связи между значени­ями случайной составляющей в любых двух наблюдениях. Например, если случайная составляющая велика и положительна в одном наблюдении, это не должно обусловливать систематическую тенденцию к тому, что она будет большой и положительной в следующем наблюдении. Случайные составляющие должны быть независимы друг от друга.

В силу того, что , данное условие можно записать следую­щим образом:

Возмущения не коррелированны (условие независимости случайных составляющих в различных наблюдениях).

Это условие означает, что отклонения регрессии (а значит, и сама зависимая переменная) не коррелируют. Условие некоррелируемости огра­ничительно, например, в случае временного ряда . Тог­да третье условиеозначает отсутствие автокорреляции ряда .

4. дисперсия случайной составляющей должна быть постоянна для всех наблюдений. Эта постоянная дисперсия обычно обозначается , или часто в более крат­кой форме , а условие записывается следующим образом:

Величина , конечно, неизвестна. Одна из задач регрессионного анализа состоит в оценке стандартного отклонения случайной составляющей. Это условие гомоскедастичности, или равноизменчивости случайной составляющей (возмущения).

Предположение о нормальности Наряду с условиями Гаусса— Маркова обычно также предполагается нормаль­ность распределения случайного члена. Дело в том, что если случайный член нормально распределен, то так же будут распределены и коэффициенты регрессии.

Свойства оценок МНК

В тех случаях, когда предпосылки выполняются, оценки, полученные по МНК, будут обладать свойствами несмещенности, состоятель­ности и эффективности. Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Если оценки обладают свойством несме­щенности, то их можно сравнивать по разным исследованиям.

Для практических целей важна не только несмещенность, но и эффективность оценок. Оценки считаются эффективными, ес­ли они характеризуются наименьшей дисперсией. Поэтому не­смещенность оценки должна дополняться минимальной диспер­сией.

Степень достоверности доверительных интервалов парамет­ров регрессии обеспечивается, если оценки будут не только не­смещенными и эффективными, но и состоятельными. Состоя­тельность оценок характеризует увеличение их точности с увели­чением объема выборки.