Властивості залишків методу найменших квадратів

Нехай

.

Позначимо

.

Використовуючи введені векторно-матричні позначення, можна записати

.

Вектор залишків методу найменших квадратів e визначається як1)

.

Зміст поняття залишків такий же, як і в моделі простої лінійної регресії.

Перепишемо систему нормальних рівнянь у такому вигляді:

,

або

X ^T e = 0. (1.37)

Ми бачимо, що вектор залишків ортогональний до кожного стовпчика матриці X. Згадаємо, що j -й стовпчик цієї матриці утворюють значення j -го регресора. Отже, залишки методу найменших квадратів ортогональні до регресорів. Якщо ми розглядаємо модель з константою, то перший стовпчик матриці X складається з одиниць, і з рівняння (1.37) випливає, що

(1.38)

В моделі з константою сума залишків методу найменших квадратів дорівнює нулю.

Оскільки , то

(1.39)

внаслідок (1.39). Крім того вектор є лінійною комбінацією стовпчиків матриці X, тобто регресорів. Разом з (1.39) це дозволяє дати наступну геометричну інтерпретацію вектору і залишкам: є ортогональною проекцією на гіперплощину, породжену регресорами, а вектор залишків є проектором.

Зі співвідношення (1.39) випливає ще один важливий наслідок: в моделі з костантою регресійна гіперплощина проходить через точку, координати якої дорівнюють середнім значення незалежних змінних.

1.2.4.Розклад дисперсії залежної змінної. Коефіцієнт детермінації

В цьому параграфі ми розглянемо моделі з константою. Аналогічно тому, як ми робили у випадку простої регресії, проаналізуємо суму квадратів відхилень значень залежної змінної від середнього – загальну суму квадратів:

(1.40)

внаслідок (1.38), (1.39) і з урахуванням того, що = . Як і раніше, – пояснена сума квадратів, –сума квадратів залишків. Загальна сума квадратів пропорційна до вибіркової дисперсії незалежної змінної. Отже, формула розкладу дисперсії має місце і у випадку множинної регресії

 

(1.41).

 

Коефіцієнт множинної детермінаціїї (або, коротко, коефіцієнт детермінації визначається як частка поясненої і загальної сум квадратів

(1.42).

Коефіцієнт множинної детермінації показує, яка частина дисперсії залежної змінної пояснюється за рахунок моделі, або, іншими словами, незалежними змінними в сукупності. Підкреслимо, що коефіцієнт детермінації є мірою тісноти саме лінійного зв¢язку між залежною та незалежними змінними. Коефіцієнт детермінації завжди знаходиться в межах від нуля до одиниці. Чим ближче до 1, тим тісніше зв¢язок. Якщо = 1, це означає, що всі значення y належать гіперплощині, породженій стовпчиками матриці X. Якщо = 0, то лінійний зв¢язок між змінними відсутній. Коефіцієнт детермінації використовується як міра згоди і для множинної регресії.

Зауваження 1

Без використання додаткової інформаціїї не можна робити висновків про те, яке значення вважати великим. Для деяких даних, наприклад, значення 0.8 може бути недостатнім, а в інших випадках величина 0.4 може бути прийнятною.

Зауваження 2

В моделях без константи коефіцієнт детермінації не обов’язково знаходиться в межах від нуля до одиниці, оскількі подвоєний добуток у (1.40) не дорівнює нулю. В таких моделях різні способи визначення дають різні результати, і коефіцієнт детермінації важко інтерпретувати. Ні в якому разі не можна співвідносити моделі з константою і без константи на підставі порівняння коефіцієнтів детермінації. Взагалі, можна дати таку рекомендацію. Якщо немає економічних підстав для вибору регресійної функціі у вигляді без константи, то бажано розглядати модель з константою.

 

1.2.5. Статистичні властивості оцінок методу найменших квадратів

Обчислимо математичне сподівання оцінок методу найменших квадратів. Підставимо формулу (1.30) до формули (1.34):

1.43)

Маємо

,

оскільки лінійний множник можна виносити за знак математичного сподівання, і E e = 0. Отже, МНК-оцінки є незміщеними. Знайдемо коваріаційну матрицю оцінки b:

Db = E(b - E b)(b - E b)^T = E(b - b)(b - b)^T =

=

.

Ми скористались властивостями математичного сподівання, добутку транспонованих матриць, формулою (1.31), а також тим, що матриця X ^T X, аотже і обернена до неї, симетричні.

(1.44)

Позначимо матрицю через . Тоді

(1.45)

Наведені формули не можна використовувати для перевірки гіпотез та інтервального оцінювання, оскільки до них входить невідомий параметр – дисперсія збурень s². Отже, нам потрібно вміти знаходити її оцінку. Має місце наступний результат: статистика

, (1.46)

де k – кількість регресорів, включаючи константу, є незміщеною оцінкою s². Якщо збурення нормально розподілені, то b має багатовимірний нормальний розподіл, математичне сподівання і коваріаційна матриця якого обчислюються за формулою (1.44). Зокрема,

.

Величина

має c² - розподіл з n - k ступенями свободи і не залежить від b. Оцінка коваріаційної матриці коефіціентів методу найменших квадратів одержується підстановкою до формули (1.44) виразу (1.46) замість дисперсії збурень s²:

, (1.47)

зокрема

 

.

Позначимо через s.e. ( b_i) оцінку середньокватратичного відхилення коефіціента b_i. (стандартнy похибку)

Розмірковуючи так, як у випадку простої регресії, приходимо до висновку, що

(1.48)

Оцінки методу найменших квадратів є лінійними у тому розумінні, що b є лінійною функцією y. Наступна теорема встановлює оптимальні властивості оцінки методу найменших квадратів.

Теорема Гауса-Маркова

1) Нехай припущення про нормальність збурень не накладається. Тоді МНК-оцінки мають мінімальну коваріаційну матрицю в класі незміщених лінійних оцінок.

2)Припустимо, що збурення нормально розподілені. МНК- оцінки мають мінімальну коваріаційну матрицю в класі усіх незміщених оцінок.

Зокрема, оцінки індивідуальних коефіціентів b_i мають найменші дисперсії серед оцінок відповідних класів.