Регрессия методом наименьших квадратов

Допустим, что вы имеете четыре наблюдения для Х иY, представленные на рис. 1.1, и перед вами поставлена задача получить оценки значений β₁и β₂ в уравнении (1.1). В качестве грубой аппроксимации вы можете сделать это, от­ложив четыре точки Р и построив прямую, в наибольшей степени соответствующую этим точкам. Это сделано на рис. 1.2. Отрезок, отсекаемый прямой

на оси Y, представляет собой оценку β₁, он обозначен b₁ а угловой коэффици­ент прямой представляет собой оценку коэффициента наклона β₂, он обозна­чен как b₂. Прямая, называемая оцениваемой моделью, описывается как

Ŷ_i = b₁+ b₂X_i (1.2)

где шляпка над Y означает, что это оцененное значение Y в зависимости от X, а не истинное его значение. На рис. 1.3 оцененные, или «теоретические», точ­ки представлены как R₁ - R₄.

С самого начала необходимо признать, что вы никогда не сможете определить истинные значения β₁и β₂ при попытке определить положение искомой прямой. Можно получить только оценки, и они могут быть хорошими или плохими. Иногда ваши оценки могут быть абсолютно точными, но это воз­можно лишь в результате случайного совпадения, и даже в этом случае у вас не будет способа узнать, что ваши оценки абсолютно точны.

Это справедливо и при использовании более совершенных методов. Построение линии регрессии на глаз является достаточно субъективным. Более того, как мы увидим в дальнейшем, оно просто невозможно, если перемен­ная Y зависит не от одной, а от двух или более независимых переменных. Воз­никает вопрос: существует ли способ достаточно точной оценки β₁и β₂ алгеб­раическим путем?

В качестве первого шага нужно определить, что понимается под остатком для каждого наблюдения. Это разность между действительной величиной Y в соответствующем наблюдении и расчетным значением по уравнению регрес­сии, то есть расстояние по вертикали между Р_i и R_i в наблюдении i. Оно будет обозначаться как e_i:

e_{i =} Y_i - Ŷ_i (1.3)

Остатки для четырех наблюдений показаны на рис. 1.3. Подставив (1.2) в (1.3), мы получим:

e_{i =} Y_i – b₁ – b₂X_i (1.4)

и, значит, остаток в каждом наблюдении зависит от нашего выбора значений b₁ и b₂. Очевидно, мы хотим построить линию регрессии, то есть выбрать значения b₁ и b₂ таким образом, чтобы эти остатки были минимальными. Очевидно также, что линия, хорошо соответствующая одним наблюдениям, не будет соответствовать другим, и наоборот. Необходимо выбрать какой-то критерий подбора, который будет одновременно учитывать величину всех остатков.

Существует целый ряд возможных критериев, одни из которых работают лучше других. Например, бесполезно минимизировать сумму остатков. Сумма будет автоматически равна нулю, если вы сделаете b₁ = Ý и b₂ = 0, получив горизонтальную линию Y = Ý. В этом случае положительные остатки точно уравновесят отрицательные, но, несмотря на это, данная прямая не соответ­ствует точкам наблюдений.

Один из способов решения поставленной проблемы состоит в минимиза­ции RSS (residual sum of squares), суммы квадратов остатков. Для рис. 1.3 спра­ведлива формула:

RSS= e₁²+e₂²+e₃²+e₄² (1.5)

В соответствии с этим критерием, чем меньше RSS, тем больше соответ­ствие. Если RSS равно нулю, то получено абсолютно точное соответствие, так как это означает, что все остатки равны нулю. В этом случае линия будет проходить через все точки, однако, вообще говоря, это невозможно из-за наличия случайного члена.

Существуют и другие достаточно разумные решения, однако при выполне­нии определенных условий метод наименьших квадратов дает несмещенные и эффективные оценки b₁ и b₂. По этой причине метод наименьших квадратов является наиболее популярным при использовании методов регрессионного анализа в относительно простых приложениях. В данной работе рассматрива­ется обычный метод наименьших квадратов (МНК, или OLS — ordinary least squares). В последующих разделах будут рассмотрены другие его варианты, ко-е могут быть использованы для решения некоторых специальных проблем.

 

Регрессия методом наименьших квадратов

Пример 1

 

Приведем действительно простой пример всего с двумя наблюдениями для того, чтобы продемонстрировать механику процесса: как показано на рис.1.4, наблюдаемое значение Y равно 3, когда Х равен 1; и Y= 5 при Х= 2.

Предположим, что истинная модель имеет вид

Y_i = β₁+ β₂X_i + u_i (1.6)

и оценим коэффициенты b₁ и b₂ уравнения

Ŷ_i =b₁ + b₂X_i (1.7)

Очевидно, что при наличии всего двух наблюдений мы можем получить точное соответствие, проведя линию регрессии через две точки, однако сдела­ем вид, что мы этого не понимаем. Вместо этого придем к тому же выводу, используя метод рецессии.

Если Х = 1, то Ý = (β₁+ β₂) в соответствии с уравнением регрессии. Если X=2, то Ý = (β₁+ 2β₂). Следовательно, мы можем сформировать табл. 1.1. Таким образом, остаток для первого наблюдения (е₁), который задается выра­жением (Y₁ - Ý ₁), равен (3 - β₁ - β₂), и е₂, заданный выражением (Y₂- Ý ₂), равен

(5 - β₁ -β₂). Следовательно,

RSS = (3 – b₁ – b₂)² + (5 – b₁ – 2b₂)² = 9 + b₁² + b₂² - 6b₁ – 6b₂ + 2b₁b₂ + 25 + b₁² + 4b₂² – 10b₁ – 20b₂ + 4b₁b₂ = 34 + 2b₁² + 5b₂² – 16b₁ – 26b₂ + 6b₁b₂ (1.8)

Теперь мы хотим выбрать такие значения b₁ и b₂ чтобы значение RSS было минимальным. Для этого мы используем дифференциальное исчисление и находим значения b₁ и b₂ удовлетворяющие следующим соотношениям:

и (1.9)

Взяв частные производные, получаем

(1.10)

и

(1.11)

 

Таким образом, мы имеем

(1.12)

и

(1.13)

Решив эти два уравнения, получим b₁ = 1 и b₂ = 2, следовательно, уравне­ние регрессии будет иметь следующий вид:

(1.14)

Для того чтобы проверить, что мы пришли к правильному выводу, вычис­лим остатки:

(1.15)

(1.16)

Таким образом, оба остатка равны нулю, что означает, что линия проходит точно через обе точки. И это мы, разумеется, знали с самого начала.

Пример 2

Используем пример, рассмотренный в предыдущем разделе, и добавим третье наблюдение: Y равен 6 при X = 3. Три наблюдения, показанные на рис.1.5, не лежат на одной прямой, поэтому точное соответствие получить

невозможно. В этом случае для вычисления положения прямой мы использу­ем регрессию по методу наименьших квадратов. Начнем с задания стандартного уравнения

(1.17)

Для значений X, равных 1, 2 и 3, расчетные значения Y равны соответ­ственно ( ), ( ) и (b_l+3b₂), они приведены в табл. 1.2.

 

 

Следовательно,

(1.18)

Условия первого и дают

(1.19)

(1.20)

Решая систему этих двух уравнений, получим b₁ = 1,67 и b₂ = 1,50. Следо­вательно, уравнение регрессии имеет следующий вид:

(1.21)

Три наблюдения и линия регрессии представлены на рис. 1.6.