Оценка точности для уравнения парной регрессии.

Для уравнения регрессии необходимо кроме b₀, b₁ оценить D(ε_i) = δ^2, а также дисперсии D(b₀), D(b₁) и D(Y^), Рассматривая ε, b₀, b₁ и Y^ как случайные величины.

Оценку для δ² вводят след образом.^. Рассмотрим уравнение прогноза Y^ = b₀+b₁X для исходных точек (Yi,Xi), по которым получены МНК-оценки.

Y_i = β₀ + β₁*x_i+Е_i i=1,n, и остатки регрессии е_i=y_i-y^_i, где x_{i –} наблюдаемые значения отклика yi. Тогда yi можно записать в виде y_i= b₀+b₁*x_i +e_i.

Остатки еi являются наблюдаемыми значениями случайных величин ε_i.

Оценка δ² в виде S² = ^ δ² связана с суммой квадратов остатков е_i. Можно показать, что S²⁼ δ^2=∑ ε_i²/(n-2), а дисперсии b₀, b₁ и ковариация между ними запишутся в виде:

D(b₀)=S²_b0=S²∑x_i²/n∑(xi-Xср)²

D(b₁)=S²_b1=S²

^cov(b₀, b₁ ) = - S²

где Xср = ∑xi/n.

6. Распределение МНК- оценок b₀, b₁ .

Принятие предположения ε_i~N означает, что yi, имеют совместное нормальное распределение, т е для вектора Y справедлива запись Y ~N_n(Xβ,δ²I_n).

Учитывая, что МНК-оценки b₀, b₁ являются линейными функциями от yi и, также имеют нормальное распределение b₀ ~N (β₀,δ²∑x_i²/n∑(xi-Xср)²), b₁ ~N(β₀,δ^{2 .}

Кроме того можно показать, что случайная величина(n-2)S²/ δ^{2 имеет} распределение хи кадрат(n-2)? А дисперсия ошибок S² не зависит от МНК – Оценок b₀, b₁

Интервальные оценки параметров R-модели.

Если предполагать, что ε_i~N(0,δ²), То 100(1*λ/2)%ое доверительные интервалы для β_0, β₁ и y будут определяться след образом: в₁ ± t(n-2,1-λ/2)*

В₀±t(n-2,1-λ/2)*S

^{Y^n} ±± t(n-2,1-λ/2)= S(1+1/n+ )^1/2 где t(n-2,1-λ/2) это (1-λ/2)% ая точка T-распределение с (n-2) степенями свободами обычно λ=0,05.

Таблица дисперсионного анализа и ее назначение в РА.

Источник дисперсии	Сумма квадратов	Степень свободы	Средний квадрат	F-статистика
Регрессия	SSR	VR = 1	MSR = SSR/VR	MSR/MSe
Отклонение от регрессии	SSe	Ve = n - 2	MSe = SSe/Ve
Полная регрессия	SS	V = n - 1

При использовании ДА оценивается влияние фактора На Y, т е степень адекватности регрессии выборочном наблюдениям.

9. Меры качества R и R².

Обычно генеральный коэффициент корреляции ρкоторый оценивается коэффициентом R, вводят с помощью формулы ρ²=(DY-σ²)/DY, где ρ=+√ρ² называется коэффициентом множественной корреляции между Y и [x₁….x_p-1]. Выборочный коэф множеств. Корреляции между наблюденными величинами yi и вычисленными по модели величинами y^I:

R= или пользуясь таблицей ДА по формуле R=+√SS_R/SS.

Критерии R и R^{2 (}коэф детерминации⁾ используют как меру линейной стохастической связи: чем больше значение R(0«R«1)? Тем сильнее связь, т е тем лучше f(X) соответствует наблюдениям. Мера R(R² ) имеет дополнительное преимущество перед σ: имеет абсолютный характер при одной выборки наблюдений, поскольку оценивает степень тесности связи. Тем не менее и у этой меры есть свои недостатки: а) как и мера σ является внутренней мерой, т к построена по наблюдениям, по которым строится и модель, и мера; б) пригодна для проверки адекватности моделей относительно одной и той же выборки данных; в) используя эти меры, нельзя выявить набор значимых регрессоров; г) при увеличении количества регрессоров в модели значения R(R²) возрастают. Для устранения последнего недостатка соблюдают условие n>>p. Практически число наблюдений должно быть больше числа неизвестных в 5-15 раз. Кроме того вместо R(R²) предпочтительней применять так называемый скорректированный коэффициент множественной корреляции R_C =√1-n(1-R² )/(n-p) или скорректированный коэф множественной детерминации R²_c.

Высокое значение R автоматически не гарантирует пригодность модели для прогноза и наоборот.

F-критерий.

Для оценки адекватности модели в целом и пригодности ее для прогноза можно использовать F-статистику F=MS_R/S².

Ее использование превращает задачу сравнения двух дисперсий: дисперсии MS_R, обусловленной регрессией, и остаточной дисперсии S² . При этом необходимо установить, значимую ли часть полной дисперсии DY объясняет модель, содержащая в общем случае регрессоры X₁….x_p-1. Для этого выдвигается статистическая гипотеза H₀ : β₁=β₂=….=β =0, т е гипотеза о том, что в модели

Y_i = β₀ + β₁*x_1,i+…+β_p-1*x_i,p-1+Е_i. Вычисляя выборочное значение F-критерия и сравнивая его с табличным F_T(λ, р-1, n-p), проверяют выполнение неравенства. При F<=F_T гипотеза H₀ (гипотеза о неадекватности модели) принимается, в противном случае регрессия признается значимой.

На практике применяется правило: модель считается адекватной и пригодной для прогноза в случае, если F>4F_T (λ, р-1, n-p).

При известном R значение F-критерия можно определить по формуле F= или для линейной парной регрессии F=(n-2)

Ошибка аппроксимации.

Аср.= 1/n(∑(y_i-y_i^/y_i))*100%

5%-7% - хорошее качество аппроксимации.