Теорема Гаусса – Маркова для R-модели.

Модель и основные этапы РА.

РА предусматривает выполнение 3 этапов: 1 постулирование математической зависимости(регрессионной модели) 2 оценивание ее параметров 3 структурная идентификация оптимальной модели на основе статистического анализа. В общем случае регрессионная модель имеет вид:

Y_i = β₀ + β₁*x_1,i+…+β_p-1*x_i,p-1+Е_i, i=1,n, где Y – отклик, x _j– регрессоры, βо – параметры модели.

Постулирование R – модели.

1 Постулируется R- модель в виде уравнения прямой Y_i = β₀ + β₁*x₁+Е_i, i=1,n, где x_{i –} неслучайная величина, Y_i, Е_{i –} случайные величины.

2.Мерой оптимальности подбора уравнения Y_i = β₀ + β₁*x_1,i+…+β_p-1*x_i,p-1+Е_i является мера S = ∑(y_i – f(x_i, β))²

3. Оценивание параметров R – модели.

МНК. Способ оценивания параметров β₀ и β₁ зависит от принятой меры. Прямая линия должна быть такой, т е ее параметры β₀ и β₁ должны быть такими, чтобы сумма квадратов уклонений S была минимальной. Иначе говоря необходимо найти безусловный экстремум функции S=S(β) по аргументу β.

Матричная запись. Исходя из уравнения Y_i = β₀ + β₁*x_i+Е_i i=1,n можно записать матричное уравнение Y=Xβ+Е, где Y есть (n*1) вектор, x-(n*2) матрица, β – (2*1) вектор, Е – (N*1) вектор.

Теорема Гаусса – Маркова для R-модели.

В условии Y_i = β₀ + β₁*x_i+Е_i, i=1,n или Y=Xβ+Е необходимо оценить не только два параметра модели β₀ и β₁ в виде b₀ и b₁ , но и числовую характеристику случайной величины Е, а именно, ее дисперсию δ². Как случайная величина ошибки Е определяется математическим ожиданием М(Е) и дисперсией D(E)= δ²

Свойства оценки b₀ и b₁ (определены МНК).

1 Y_i = β₀ + β₁*x_i+Е_i i=1,n

2. Xi – детерминированная величина.

3.1. М (ε_i) = 0; М (ε_i²) = D(ε_i) = δ²

3.2. M (ε_i ε_j)= 0 при I не равно о

То оценки b₀ и b_1, полученные МНК, имеют наименьшую дисперсию в классе всех линейных несмещенных оценок.

Оценка точности для уравнения парной регрессии.

Для уравнения регрессии необходимо кроме b₀, b₁ оценить D(ε_i) = δ^2, а также дисперсии D(b₀), D(b₁) и D(Y^), Рассматривая ε, b₀, b₁ и Y^ как случайные величины.

Оценку для δ² вводят след образом.^. Рассмотрим уравнение прогноза Y^ = b₀+b₁X для исходных точек (Yi,Xi), по которым получены МНК-оценки.

Y_i = β₀ + β₁*x_i+Е_i i=1,n, и остатки регрессии е_i=y_i-y^_i, где x_{i –} наблюдаемые значения отклика yi. Тогда yi можно записать в виде y_i= b₀+b₁*x_i +e_i.

Остатки еi являются наблюдаемыми значениями случайных величин ε_i.

Оценка δ² в виде S² = ^ δ² связана с суммой квадратов остатков е_i. Можно показать, что S²⁼ δ^2=∑ ε_i²/(n-2), а дисперсии b₀, b₁ и ковариация между ними запишутся в виде:

D(b₀)=S²_b0=S²∑x_i²/n∑(xi-Xср)²

D(b₁)=S²_b1=S²

^cov(b₀, b₁ ) = - S²

где Xср = ∑xi/n.

6. Распределение МНК- оценок b₀, b₁ .

Принятие предположения ε_i~N означает, что yi, имеют совместное нормальное распределение, т е для вектора Y справедлива запись Y ~N_n(Xβ,δ²I_n).

Учитывая, что МНК-оценки b₀, b₁ являются линейными функциями от yi и, также имеют нормальное распределение b₀ ~N (β₀,δ²∑x_i²/n∑(xi-Xср)²), b₁ ~N(β₀,δ^{2 .}

Кроме того можно показать, что случайная величина(n-2)S²/ δ^{2 имеет} распределение хи кадрат(n-2)? А дисперсия ошибок S² не зависит от МНК – Оценок b₀, b₁

Интервальные оценки параметров R-модели.

Если предполагать, что ε_i~N(0,δ²), То 100(1*λ/2)%ое доверительные интервалы для β_0, β₁ и y будут определяться след образом: в₁ ± t(n-2,1-λ/2)*

В₀±t(n-2,1-λ/2)*S

^{Y^n} ±± t(n-2,1-λ/2)= S(1+1/n+ )^1/2 где t(n-2,1-λ/2) это (1-λ/2)% ая точка T-распределение с (n-2) степенями свободами обычно λ=0,05.

Таблица дисперсионного анализа и ее назначение в РА.

Источник дисперсии	Сумма квадратов	Степень свободы	Средний квадрат	F-статистика
Регрессия	SSR	VR = 1	MSR = SSR/VR	MSR/MSe
Отклонение от регрессии	SSe	Ve = n - 2	MSe = SSe/Ve
Полная регрессия	SS	V = n - 1

При использовании ДА оценивается влияние фактора На Y, т е степень адекватности регрессии выборочном наблюдениям.

9. Меры качества R и R².

Обычно генеральный коэффициент корреляции ρкоторый оценивается коэффициентом R, вводят с помощью формулы ρ²=(DY-σ²)/DY, где ρ=+√ρ² называется коэффициентом множественной корреляции между Y и [x₁….x_p-1]. Выборочный коэф множеств. Корреляции между наблюденными величинами yi и вычисленными по модели величинами y^I:

R= или пользуясь таблицей ДА по формуле R=+√SS_R/SS.

Критерии R и R^{2 (}коэф детерминации⁾ используют как меру линейной стохастической связи: чем больше значение R(0«R«1)? Тем сильнее связь, т е тем лучше f(X) соответствует наблюдениям. Мера R(R² ) имеет дополнительное преимущество перед σ: имеет абсолютный характер при одной выборки наблюдений, поскольку оценивает степень тесности связи. Тем не менее и у этой меры есть свои недостатки: а) как и мера σ является внутренней мерой, т к построена по наблюдениям, по которым строится и модель, и мера; б) пригодна для проверки адекватности моделей относительно одной и той же выборки данных; в) используя эти меры, нельзя выявить набор значимых регрессоров; г) при увеличении количества регрессоров в модели значения R(R²) возрастают. Для устранения последнего недостатка соблюдают условие n>>p. Практически число наблюдений должно быть больше числа неизвестных в 5-15 раз. Кроме того вместо R(R²) предпочтительней применять так называемый скорректированный коэффициент множественной корреляции R_C =√1-n(1-R² )/(n-p) или скорректированный коэф множественной детерминации R²_c.

Высокое значение R автоматически не гарантирует пригодность модели для прогноза и наоборот.

F-критерий.

Для оценки адекватности модели в целом и пригодности ее для прогноза можно использовать F-статистику F=MS_R/S².

Ее использование превращает задачу сравнения двух дисперсий: дисперсии MS_R, обусловленной регрессией, и остаточной дисперсии S² . При этом необходимо установить, значимую ли часть полной дисперсии DY объясняет модель, содержащая в общем случае регрессоры X₁….x_p-1. Для этого выдвигается статистическая гипотеза H₀ : β₁=β₂=….=β =0, т е гипотеза о том, что в модели

Y_i = β₀ + β₁*x_1,i+…+β_p-1*x_i,p-1+Е_i. Вычисляя выборочное значение F-критерия и сравнивая его с табличным F_T(λ, р-1, n-p), проверяют выполнение неравенства. При F<=F_T гипотеза H₀ (гипотеза о неадекватности модели) принимается, в противном случае регрессия признается значимой.

На практике применяется правило: модель считается адекватной и пригодной для прогноза в случае, если F>4F_T (λ, р-1, n-p).

При известном R значение F-критерия можно определить по формуле F= или для линейной парной регрессии F=(n-2)

Ошибка аппроксимации.

Аср.= 1/n(∑(y_i-y_i^/y_i))*100%

5%-7% - хорошее качество аппроксимации.

Применение t-критерия.

T_j=β^_j/σ^_j

Статистика t_j имеет для H₀ t-распределение с n-p степенями свободы При значении |t_j|>tтабл делается вывод об отличии от нуля коэффициента β_j, следовательно о наличии влияния x_j на Y

При статистическом анализе регрессоров оценивается значимость каждого слагаемого модели, что дает возможность получить ее оптимальную структуру.

Коэффициент эластичности.

Э= y^э(производная) *x/y^

Постулирование MR-модели.

Модель множественной регрессии (MR-модель) является обобщением линейной модели с зависимой и одной независимой переменными: Y_i = β₀ + β₁*x_1,i+…+β_p-1*x_i,p-1+ε_i

Матричная запись этой модель: Y=Xβ+ε, где Y есть (n*1) вектор (yi – случ. Величина)

X- (n*p) матрица

β – (p*1) вектор

ε – (n*1) вектор

Постулируется MR-модель в виде Y=Xβ+ε, где правая часть может быть представлена алгебраическими, тригонометрическими и другого вида полиномами, включая кусочно-полиномиальные и ортогональные полиномы, а так же разложение в ряд Тейлора, по сферическим функциям и др. Оцениваемые параметры β_j в правые части Y_i = β₀ + β₁*x_1,i+…+β_p-1*x_i,p-1+ε_i и Y=Xβ+ε входят линейно.

Оценка точности MR-модели.

Для MR-модели Оценку D(ε) =σ² и D(β^)=D(b)=D(b₀,b₁….b_p-1)^Т) получаем следующим образом. Введем вектор предсказываемых значений отклика (вектор прогноза)

Y^=xb и вектор остатков е=y-y^ тогда для MR-модели можно записать S²=σ^²=e^Te/(n-p)

Формула для D(b) получим формируя матрицу ковариаций для R-модели и обобщая ее D(b)=D()= ()=()

Вынесем за скобки σ^2, оставшееся выражение в скобках и есть (X^TX)^-1.

Для MR-модели эту формулу можно получить путем прямых матричных действий.

В силу симметричности матрицы (X^TX)^-1=((X^TX)^-1)^Т имеем

D(β^)=D((X^TX)^-1 *X^TX)= (X^TX)^-1 *X^T D(Y)((X^TX)^-1*X^T)^T =((X^TX)^-1 *X^T D(Y)X(X^TX)^-1

Определим D(Y) где Y=xβ+ε в условиях гипотез D(ε) = σ²,I_n и детерминированность xβ, Как D(Y) = σ²,I_n

Подставляя результат в предыдущую формулу получим D(β^)= D(b)= σ²(X^TX)^-1 X(X^TX)^-1 = σ²(X^TX)^-1

Определим дисперсию остатков. Для оценки дисперсии прогноза при заданном X_k, где X_k^T – вектор размера (1*р), можно использовать формулу D(Y^_k)= S² (1/n + X_k^T (X^TX)^-1X_k)

Распределение МНК-оценки b.

В условиях соблюдения предположения ε~Nn(0, σ²,I_n), как уже отмечалось, для Y справедлива запись Y~Nn(Xβ,σ²I_n)/

Для линейного регрессионного анализа у МНК-оценки вектора b=(b₀,b₁….b_p-1)^Т все элементы являются линейными комбинациями от y_i.

Одним из свойств многомерного нормального распределения является свойство: Линейная комбинация Гаусовского (нормального) вектора, есть гаусовская случайная величина, следоват. вектор b-есть случ. Вектор, имеющий многомерное нормальное распределение b~Nn(β,σ²(X^TX)^-1)

Случайная величина (n-p) ~ X²(хи)(n-p)

Дисперсия ошибок S²=σ²^= = не зависит от вектора MNK-оценки b=β^

Внешние меры качества.

Предполагалось, что в основном модели используются для прогноза – Вычислений Y^. Назовем такие модели моделями прогноза. Однако в ряде случаях исследователя интересуют только оцениваемые коэффициенты β_j (j=0,р-1). Эти модели будем называть параметрическими.

Для последних в качестве внутренних мер дополнительно можно использовать стандартные ошибки коэффициента σ^_βj и недиагональные элементы матрицы ковариаций. Правда такой анализ имеет смысл делать только для конкурирующих структур одинаковой размерности.

Под внешними мерами будем понимать меры, формируемые по данным не использованным при получении модели.

а)Меры устойчивости β_j.Эти меры используются как для модели прогноза, так и для параметрических моделей. При их формировании проверяется устойчивость β- коэффициентов модели, построенной по всем наблюдениям. Для этого полный ряд наблюдений делят на несколько серий, по каждой серии получают модели одного состава и размерности, как и для исследуемой модели, сравнивают β-коэф. Для моделей разных серий и этой модели, применяя соответствующие статистические критерии. При обнаружении значимых расхождений использование моделей или ее отдельных коэф-ов будет сомнительной.

в)меры качества прогноза. Внешние меры, характеризующие точность прогноза в случайном и систематическом отношении, основаны на разделение исходной выборки данных на 2 подвыборки: обучающую (модельную) и контрольную. При этом данные могут быть либо реально разделены на две части, либо контрольная часть будет искусственно сформирована на исходной полной выборке.

Если выборка может быть разделена на две части, то обучающая подвыборка используется для построении модели. А контрольная дает возможность оценить качество прогноза по мерам, основанным на разностях Δ_i = (y_i-y^_i) для контрольных точек. При этом мера Δср.= ∑Δ_i/k или ее абсолютное значение будет оценкой систематического смещения, а мера σ_Δ=√∑(Δ_i-Δср.)²/(k-p) – оценкой случайной ошибки.

Вопрос 29.

Предположение о векторе β.

По оцениваемому параметру β принимаются гипотезы:< 2.1>-адекватная наблюдениям модель (2.1)- Y=Xβ+ε линейна по элементам вектора β;<2.2>на вектор β не наложено ограничений, т.е. о векторе β нам априори ничего не известно;<2.3>- элементы β вычислены с пренебрежимо малой компьютерной ошибкой.

 

В.30

Предположение о матрице X.

<3.1>- регрессоры x₀,x_1,….,x_p-1 являются линейно-независимыми векторами матрицы X или справедлива запись rankX=p; <3.2> - элементы матрицы Xне являются случайными величинами.

В.31

Предположения о векторе ε.

Предположения о векторе ошибок ε. <4.1>- ошибки ε_i являются случайными ошибками, аддитивно входящими в модель (2.1)- Y=Xβ+ε. Вообще можно предполагать ошибки, входящие в модель мультипликативно, например, y_i=(β₀+∑(^p-1_j=1)β_jx_ij)(1+ε_i). В этом случае характер остальных предположений на вектор ε изменится.

<4.2>-ошибки ε_iраспределены по нормальному закону. Если это так, то МНК-оценки в условиях теоремы Гаусса-Маркова дополнительно обладают свойством эффективности для всех классов несмещённых оценок (а не только в классе линейных оценок). Кроме этого возможно применение статистик для интервального оценивания, проверки соблюдения ряда гипотез и качества модели, а также заключения о статистической независимости.

<4.3>- ошибки ε_iне содержит систематического смещения. При такой гипотезе систематические ошибки, ВЫЗВАННЫЕ НЕУЧТЁННЫМИ ЭФФЕКТАМИ, ВОЙДУТ В β₀.

<4.4>- ошибки ε_iимеют постоянную дисперсию,т.е. наблюдения Y₁,….,y_nне коррелированы и при справедливости <4.2> статистически независимы.

В.32.

Предположение о матрице X.

<3.1>- регрессоры x₀,x_1,….,x_p-1 являются линейно-независимыми векторами матрицы X или справедлива запись rankX=p; <3.2> - элементы матрицы Xне являются случайными величинами.

гипотезы:< 2.1>-адекватная наблюдениям модель (2.1)- Y=Xβ+ε линейна по элементам вектора β;<2.2>на вектор β не наложено ограничений, т.е. о векторе β нам априори ничего не известно;<2.3>- элементы β вычислены с пренебрежимо малой компьютерной ошибкой.) Дополнительно введём следующие два предположения. <5/1>- метод поиска оптимального набора регрессоров {xj:j=1,p1;p1<p} для Yявляется точным. Очевидно, при однокритериальном поиске оптимальной модели из 2p-1 возможным является метод полного перебора. До сих пор рассматривалась MR-модель для одного отклика называемая многооткликовая регрессия, для которой будем считать регрессионные модели независимыми друг от друга.Итак, <5.1>- для многооткликовой задачи правомерно применение МНК к каждой из регрессии в отдельности.

В.34.

В. 33.

Методология РМ.

На начальном этапе адаптивный РМ-подход предусматривает применение линейной по оцениваемым параметрам модели и вычисленной схеме МНК; на последующих этапах:- проверку соблюдения гипотез РА-МНК, ранжирование нарушений по степени искажения свойств НЛО-оценок β˄ или Y˄ в зависимости от назначения модели (прогноз, описание или описание и прогноз);- последовательную адаптацию к нарушениям путём применения соответствующих вычислительных процедур; - проверки нарушений и ранжирование при необходимости. Основными элементами РМ-подхода, формирующими НЛО параметров и прогноза, являются выработка, функции, методы оценивания и структурной идентификации, а также вычислительные сценарии адаптации.

В.35.

В.36.

Анализ соблюдения предположений по вектору β и процедуры адаптации.

Нарушение <2.1>. Рассмотрим случай, когда линейная модель y_i=β₀+β₁*_xi,1+…+β_p-1*x_i,p-1+ε_i, i=1,n͞ признаётся в целом адекватной и пригодной для описания или прогноза, однако она может быть улучшена по структуре путём устранения избыточных регрессоров или введением значимых факторов. Такими признаками нарушения,<2.1>являются:- при избыточности наличие слагаемых в модели со значениями t≤tт или p-level≥α, где α-принятый уровень значимости (обычно α=0,05), tт- критическое значение t- статистики при соответствующем α;

-при недоопределённости тренды на графиках остатков (dY˄;x_j), отличающиеся от горизонтальной равномерной полосы шириной +/- 2*Ϭ. Если модель избыточна, то логично устранить незначимую переменную и пересчитать заново β-коэффициенты. При одновременном нарушении предположений <2.1>и <3.1>простой вывод незначимых переменных переменныхxj–рискованная процедура. В этом случае применяют метод пошаговой регрессии или другие способы. При неопределённости модели следует искать пропущенные факторы (x_k,x_j²,t,…).Если модель сразу признаётся неадекватной, то необходимо перейти к другому классу линейных базовых функций или применить модель, нелинейную по β, и нелинейный МНК.

Нарушение <2.2>. Это условие может быть нарушено для параметрических (описательных) моделей. Специальных признаков нарушения не существует. Косвенными признаками могут быть и признаки нарушения <3.1>, а именно, значимые коэффициенты парной корреляции. Адаптация путём учёта ограниченной на вектор β приводит к решению задачи на поиск экстремума функции с линейными или нелинейными ограничениями.

Нарушение<2.3>. О необходимости устранения β0 судят, исходя их существа процесса или из результатов сравнения по внешним критериям качествам. Если модель y_i=β₀+β₁*_xi,1+…+β_p-1*x_i,p-1+ε_i, i=1,n͞ не содержит аддитивную постоянную β0, то не всякая регрессионная процедура из пакета прикладных программ (ППП) может быть применена для вычислительной обработки. Современные ППП обычно предусматривают два режима расчётов: с β0 и без β0.

В. 37.

В.38.

Анализ соблюдения предположений по вектору ε и процедуры адаптации.

Нарушение <4.1>. Обычно нарушение об аддитивности ε происходит при переходе от нелинейной по β модели (внутренне линейной) К ЛИНЕЙНОЙ И КОСВЕННО ОБНАРУЖИВАЕТСЯ ПО ЯВЛЕНИЮ ГЕТЕРОСКЕДАСТИЧНОСТИ НА ГРАФИКЕ (d,Y˄) для преобразованной модели. Гетероскедастичностью называется явление увеличения или уменьшения дисперсии от Y˄ или x_j.Для получения ошибок, удовлетворяющих условиям теоремы Гаусса-Маркова, можно преобразовать Y и при необходимости x_j(j=0,p-1). В общем случае это достаточно трудно.

Нарушение <4.2>. Для проверки нарушения условия ε~Nnприменяются как графические, так и аналитические способы. В первом случае можно использовать нормальную вероятную бумагу или её аналоги; график (d,Y˄) в виде тренда шириной +/- 2Ϭ, равномерно заполненный на 95%, помимо адекватности модели свидетельствует о нормальности e. Кроме того предположение о нормальности нарушается, если наблюдения обременены аномальными выбросами. Если на графиках остатков (d,Y˄;x_j) за пределами полосы +/- 3Ϭ присутствуют точки, то условие <4.2> следует считать нарушенным. Из аналитических критериев распространены критерий «хи квадрат», Колмогорова – Смирнова (n≥100), а также критерий Шапиро и Уилка (n≥20). Нормальность приблизительно может быть оценена по методу Айвазяна. Адаптация к нарушению <4.2>может быть выполнена удалением выбросов, а также дополнительно применением робастных (устойчивых) методов оценивая.

Нарушение <4.3>. Условие M(εi)=0 не требует особого внимания при наличии β0 в модели. Отличие оiт нуля d͞=∑(n,i=1) (ei/S) обычно сигнализирует об ошибках в расчётах.

Нарушение <4.4>. Нарушение условия постоянства дисперсии Ϭ͞² обычно проверяется по графикам остатков (d,Y˄,xj). Выбор схемы адаптации к нарушению <4.3> зависит от возможности описать неоднородность дисперсии аналитическим соотношениям или от возможности оценить дисперсии наблюдений (или веса). Если, например, можно определить матрицу ковариаций D(Y˄) после первого приближения МНК, то применяют схему взвешанного МНК.

Нарушение <4.5>. Для проверки условия независимости ошибок из-за неучета фактора времени используют графики остатков (d,T), где T-время или номер наблюдения. По виду кривых делается вывод о необходимости введения линейного или нелинейного слагаемого по T. Для выявления взаимных корреляций между ei(авторегрессий первого порядка) используют критерий Дарбина- Уотсона (Dили DW-критерий). В этом случае анализируются зависимости вида ε_i=ρε_i-1+ε`<sub>I</sub>, где ε`_I~N(0,Ϭ²). Адаптация к нарушению <4.5>из-за пропуска Tвыполняется введением Т (или Т²). Если и после этого остаётся авторегрессия, фиксируемая по D– критерию, то прибегают к обобщённому МНК, используя оценку параметра авторегрессии ρ.

В.39.

В.40.

Обобщённый МНК.

Рассмотрим вначале более общий случай, когда для модели Y=Xβ+εвыполняются все условия за исключением двух (<4.4>,<4.5>): D(ε)=Ω, причём Ω-недиагональная матрица ковариаций. Если применить обычный МНК, то β˄ останется несмещённой оценкой, однако оценка матрицы ковариаций вектора β˄, т.е. D(β˄), окажется смещённой, что приведёт к неэффективности оценок β˄. Формально для получения наилучших линейных оценок необходимо воспользоваться обобщённым МНК (ОМНК), теоретическим основанием которого является теорема: Теорема Айткена: В классе линейных несмещённых оценок вектора β для обобщённой регрессионной модели оценка β₀˄=(X^TΩ^-1X^-1) ^-1X^TΩ^-1Yимеет наименьшую матрицу ковариаций. Последняя в этом случае запишется в виде

D(β˄₀)=(X^TΩ^-1X) ^-1. Следует отметить, что при D(ε)=Ωмера R²не может быть использована для оценки качества модели. Для применения ОМНК необходимо знать матрицу Ω, которая на практике обычно не известна. Так как в общем случае Ω содержит n(n+1)/2 неизвестных элементов, то по nнаблюдениям невозможно получить из наилучшие линейные оценки. Приближением к ОМНК является так называемый «доступный» ОМНК, в котором на структуру Ω вводят дополнительные условия.

В.41.

Взвешенный МНК.

Применим ОМНК для случая, когда матрица ковариаций Ω вектора ошибок ε диагональна, иначе говоря, D(εi)=Ϭ²_i (i=1,n). Часто используют представление Ϭ²_i=Ϭ²_wi, где числа w_i нормированы так, что ∑w_i=n.При w_i=1 (i=1,n) получаем обычный классический случай. Алгоритм ОМНК здесь достаточно прост, так как он сводится к применению обычного МНК к избыточной системе уравнений

Yi/Ϭi=∑(_p-1,j=0) β_j*(x_ij/Ϭ_i+ ε_i/Ϭ_i); (i=1,n), где M(ε_i/Ϭ_i)=0, cov(ε_i/Ϭ_i, ε_j/Ϭ_j)=0 при i не равен j. Применение ВМНК приводит к уменьшению стандартных ошибок оценок β_j^˄ по сравнению с обычным МНК.

В.42.

Модель и основные этапы РА.

РА предусматривает выполнение 3 этапов: 1 постулирование математической зависимости(регрессионной модели) 2 оценивание ее параметров 3 структурная идентификация оптимальной модели на основе статистического анализа. В общем случае регрессионная модель имеет вид:

Y_i = β₀ + β₁*x_1,i+…+β_p-1*x_i,p-1+Е_i, i=1,n, где Y – отклик, x _j– регрессоры, βо – параметры модели.

Постулирование R – модели.

1 Постулируется R- модель в виде уравнения прямой Y_i = β₀ + β₁*x₁+Е_i, i=1,n, где x_{i –} неслучайная величина, Y_i, Е_{i –} случайные величины.

2.Мерой оптимальности подбора уравнения Y_i = β₀ + β₁*x_1,i+…+β_p-1*x_i,p-1+Е_i является мера S = ∑(y_i – f(x_i, β))²

3. Оценивание параметров R – модели.

МНК. Способ оценивания параметров β₀ и β₁ зависит от принятой меры. Прямая линия должна быть такой, т е ее параметры β₀ и β₁ должны быть такими, чтобы сумма квадратов уклонений S была минимальной. Иначе говоря необходимо найти безусловный экстремум функции S=S(β) по аргументу β.

Матричная запись. Исходя из уравнения Y_i = β₀ + β₁*x_i+Е_i i=1,n можно записать матричное уравнение Y=Xβ+Е, где Y есть (n*1) вектор, x-(n*2) матрица, β – (2*1) вектор, Е – (N*1) вектор.

Теорема Гаусса – Маркова для R-модели.

В условии Y_i = β₀ + β₁*x_i+Е_i, i=1,n или Y=Xβ+Е необходимо оценить не только два параметра модели β₀ и β₁ в виде b₀ и b₁ , но и числовую характеристику случайной величины Е, а именно, ее дисперсию δ². Как случайная величина ошибки Е определяется математическим ожиданием М(Е) и дисперсией D(E)= δ²

Свойства оценки b₀ и b₁ (определены МНК).

1 Y_i = β₀ + β₁*x_i+Е_i i=1,n

2. Xi – детерминированная величина.

3.1. М (ε_i) = 0; М (ε_i²) = D(ε_i) = δ²

3.2. M (ε_i ε_j)= 0 при I не равно о

То оценки b₀ и b_1, полученные МНК, имеют наименьшую дисперсию в классе всех линейных несмещенных оценок.