Следствие из теоремы гаусса-маркова – Эйткена: метод наименьших квадратов (мнк) или теорема гаусса-маркова

Следствие из теоремы Гаусса-Маркова – Эйткена: метод наименьших квадратов (МНК) или теорема Гаусса-Маркова.

Предпосылки

Оценки 3,5,6 утверждения А теоремы ГМЭ – коэффициенты функции регрессии обладают

( (3,5,6)

где Q – f(X, ) – некоторая статистическая процедура или

наилучшая оценка вектора а вычисленная по 3,5,6)

замечательным свойством наименьших квадратов

(3,5,9)

Это свойство ойенки 3,5,6 является причиной общепринятого названия процедуры 3,5,6: МНК.

Откажемся от предпосылок 3,5,3 и 3,5,4, полагая, что в уравнениях наблюдений

(3,5,1)

вектор случайных остатков обладает произвольной ковариационной матрицей

где - матрица весовых коэффициентов, - дисперсия единичного веса.

Если матрица является симметричной, то справедливы и предпосылки 3,5,4 и 3,5,3

Оценку коэффициентов функции регрессии мы будем отыскивать в классе линейных процедур, т.е. по правилу - линейная статистическая процедура M=(): эту матрицу мы найдем решая более общую задачу по построению оптимальной процедуры оценивания произвольной линейной функции вектора : Наша цель заключается в построении оптимальной процедуры оценивания произвольной линейной функции вектора : Вектор будем отыскивать согласно двум условиям:

3,5,11

Сначала удовлетворим требованию несмещенности оценки. Для этого находим

= - истинное значение

Получаем уравнение, которое должен удовлетворить вектор m при эвклидового пространства k+1, то уравнение примет вид

(3,5,12)

В системе 3,5,12 количество уравнений = k+1, что меньше, чем n – количество искомых неизвестных. => система недоопределена и имеет не единственное решение

Размерность = n-(k+1)

Теперь займемся вторым требованием оптимальности 3,5,11

Рассчитаем дисперсию оценки . Учтем, что ков-ая матрица y в 3,5,11 совпадает с ков-ой матрицей вектора

По т. Фишера (3,5,13)

С учетом 3,5,12 и 3,5,13 условие оптимальности 3,5,11 пораждает задачу 3,5,11’ на условный экстремум

(3,5,11’)

Это задача квадрат. программирования

Она решается методом множителей Лагранжа.

Исходя из решения находим искомую оптимальную оценку величины

(3,5,16)

Следовательно искомая оптимальная процедура вектора определяется по правилу (3,5,17)

(3,5,17)

Следствие:

Пусть матрица З в процедуре 3,5,17 является скалярной. Тогда формула 3,5,17 превращается в выражение 3,5,6, т.е. в оценки коэффициентов модели МНК.

27. Система нормальных уравнений и явный вид её решения при оценивании методом наименьших квадратов (МНК) линейной модели парной регрессии (на примере модели Оукена).

Модель Оукена:

 

Из выражения видно, что оценка , доставляемая процедурой ОМНК, может быть вычислена в процессе решения системы из k+1 линейных алгебраических уравнений с k+1 неизвестными:

(8,48)

Эта система называется системой нормальных уравнений. Вот ее подробная запись для модели парной регрессии

8,1’

 

при => в ситуации процедуры МНК:

8,48’

Коэффициенты и свободные члены этой системы, образующие соответственно матрицу

(8,49)

и вектор

(8.50)

вычисляем по правилам:

(8,51)

Вот явный вид решения системы (8,48’):

(8,52)

 

28. Ковариационная матрица оценок коэффициентов линейной модели парной регрессии: явные выражения .

Рассмотрим выражение 8,23

(8,23)

при k=1. Учитывая (8,49)

( (8,49)

-это матрица, образованная коэффициентами и свободными членами системы

выражения )

получаем:

 

29. Свойства оценок Эйткена параметров линейной модели множественной регрессии (ЛММР) при нормальном векторе случайных остатков: независимость случайных векторов .

Теорема: пусть в линейной модели множественной регрессии справедливы все предпосылки т.Гаусса-Маркова-Эйткена и, кроме того,случайный остаток имеет нормальный закон распределения, тогда случайные векторы являются нормально распределёнными и независимыми.

Доказательство: , , (1), (2), (3).

(4), т.к. .

Видим,что - линейное преобразование нормально распределённого значит является нормально распределённой и . (5). (6).

Т.е. - линейное преобразование ,а значит также является нормально распределённым сл.вектором. подчеркнём, что (7). Значит для доказательства независимости и достаточно показать равенство нулю их взаимной ковариационной матрицы: (8). Проверка (8) прямо следует из (4) и (6). ЧТД,

 

30. Свойства оценок Эйткена параметров линейной модели множественной регрессии (ЛММР) при нормальном векторе случайных остатков: распределение оценки .

Теорема: пусть в линейной модели множественной регрессии справедливы все предпосылки т.Гаусса-Маркова-Эйткена и, кроме того, случайный остаток имеет нормальный закон распределения, тогда случайные векторы являются нормально распределёнными и независимыми.

Доказательство: , , (1), (2), (3).

(4), т.к. .

Видим,что - линейное преобразование нормально распределённого значит является нормально распределённой и . (5). (6).

Т.е. - линейное преобразование ,а значит также является нормально распределённым сл.вектором. подчеркнём, что (7). Значит для доказательства независимости и достаточно показать равенство нулю их взаимной ковариационной матрицы: (8). Проверка (8) прямо следует из (4) и (6). ЧТД,

Теорема: пусть в линейной модели множественной регрессии справедливы все предпосылки т.Гаусса-Маркова-Эйткена и, кроме того,случайный остаток имеет нормальный закон распределения, тогда оценки имеет следующее распределение:

Доказательство: Рассмотрим величину (это - это эффективная линейная несмещенная оценка, обладающая свойством наименьших квадратов), она зависит от выборки , а значит, является случайной переменной.

Начнем с оценки вектора случайных остатков (8,79)

Представим этот вектор как выход линейного преобразования вектора . Для этого подставим в правую часть 8,79 правую часть и приведем подобные члены:

Здесь приняли обозначение

Теперь, в правую часть предпоследнего равенства подставляем правую часть и, раскрывая скобки, получаем искомое преобразование:

(8,81)

В компактном виде получаем

(8,81’) С учетом 8,81 находим значение квадратичной формы ()

Возьмем за данное, что

(8,83)

Теперь согласно тому, что

и равенству 8,83 и свойств операций с E

где

из равенства 8,82 следует требуемое доказательство равенства. Задача решена.

 

31. Свойства оценок Эйткена параметров ЛММР при нормальном векторе случайных остатков: закон распределения дроби .

С учётом и запишем вид оптимальной оценки вектора коэфф. ф-ии регрессии . В мат. стат. эта оценка наз-ся оценкой Эйткена.

,

и в данном случае явл-ся несмещ. эффект. оценками в классе всех несмещ. процедур.

.

.

,

Тогда: а) ,

б) .