Вывод и интерпретация коэффициентов множественной регрессии

Как и в случае парной регрессии, мы выбираем также значения коэффициентов регрессии, чтобы обеспечить наилучшее соответствие наблюдениям в надежде получить оптимальные оценки для неизвестных истинных значений параметров. Как и прежде, наше определение оптимальности соответствия определяется минимизацией RSS, т.е. суммы квадратов отклонений:

RSS= (3.3)

где e_i является остатком в наблюдении i, разницей между фактическим значе­нием Y_i в этом наблюдении и значением Y_i прогнозируемым по уравнению регрессии:

Y_i = b₁+ b₂X_2i + b_iX_3i (3.4)

 

e_i=Y_i-Y_i=Y_i-b_x-b₂X_2i-b_iX_3i. (3.5)

Отметим, что теперь переменные X имеют два нижних индекса. Первый означает номер переменной X, а второй относится к номеру наблюдения. Используя уравнение (3.5), мы можем записать:

 

RSS= = (3.6)

 

Вставка 3.1. Что случилось сХ₁?Вы могли заметить, что переменная X отсутствует в общей модели регрессии

Y_i = β₁+ β₂X_2i+…+ β_kiX_ki + u_i

 

Почему так? Причина здесь — в необходимости сделать обозначения анало­гичными обозначениям в учебниках, использующих линейную (матричную) алгебру. В вашем следующем курсе эконометрики наверняка будет использо­ваться такой учебник. Для изложения с использованием линейной алгебры не­обходимо, чтобы каждый член в правой частиуравнения был произведением параметра и переменной. Если в модели есть постоянный член, как здесь, то можно исправить ситуацию, записав уравнение в виде:

Y_t = β₁X_1i+ β₂X_2i+ β_k X_ki+ u_i

где Х_1i = I для всех наблюдений. При использовании обычной алгебры чаще всего нет необходимости вводить X₁ в явной форме, и поэтому этой переменной нет. Единственный случай в этом учебнике, когда такая переменная может быть полезной, встретится при обсуждении «ловушки» фиктивных переменных в разделе 5.2.

 

Необходимые условия первого порядка для минимума, т.е. , дают следующие уравнения:

(3.7)

(3.8)

(3.9)

Следовательно, мы имеем три уравнения с тремя неизвестными: b₁ b₂ и b₃ . Первое уравнение можно легко перегруппировать для выражения величины b₁ через b₂ b₃ и данные наблюдений для У, Х₂ и Х₃:

b_l= -b_{2 2}-b_{3 3} (3.10)

Используя это выражение и два других уравнения, путем некоторых преоб­разований можно получить следующее выражение для b₂:

(3.11)

Аналогичное выражение для b₃ можно получить путем перестановки Х₂ и Х₃ в уравнении (3.11).

Цель данного анализа состоит в выделении двух основных моментов. Во-первых, принципы, лежащие в основе вычисления коэффициентов регрес­сии, в случаях множественной и парной регрессии не различаются. Во-вторых, сами выражения, тем не менее, различаются. Поэтому не следует пытаться ис­пользовать выражения, выведенные для парной регрессии, в случае множест­венной регрессии.

Общая модель

В предыдущем примере мы имели только две независимые переменных. В тех случаях, когда этих переменных больше двух, уже невозможно дать гео­метрическое представление того, что происходит, но развитие алгебраических выкладок в принципе вполне очевидно. Допустим, что переменная Y связана с к- 1 независимыми переменными Х₂,...,Х_к в соответствии с неизвестной ис­тинной зависимостью. Мы предполагаем, что переменная Y зависит от к- 1объясняющих переменных Х₂,..., Х_к в соответствии с неизвестной истинной формулой:

Y_i=β₁+β₂X_2i +…+ β_kX_ki +u_i, (3.12)

Оценим уравнение для данного множества п наблюдений для Y, Х₂,..., Х_к методом наименьших квадратов:

_i=b_i+b₁X_li+...+b_kX_ki. (3.13)

Это вновь означает минимизацию суммы квадратов отклонений, а отклоне­ние в наблюдении i выражается как

e_i=Y_i- _i=Y_i-b_l-b₂X_2i-...-b_kX_ki. (3.14)

Уравнение (3.14) является обобщением уравнения (3.5). Теперь мы выбираем b₁..., b_k так, чтобы свести к минимуму RSS, сумму квадратов отклонений . Мы получаем к условии первого порядка …, , что дает к уравнений для нахождения к неизвестных. Можно легко показать, что первое из этих уравнений позволяет получить аналог уравнения (3.10), относящегося к случаю с двумя независимыми переменными:

b₁= -b_{2 2}-...-b_{k k}. (3.15)

Выражения для b₂,..., b_к становятся очень сложными, и математическая сторона не будет здесь представлена в явном виде. Расчеты здесь должны быть сделаны с помощью матричной алгебры.