Применение частного F-критерия.

Оценив качество регрессии в целом, можно ее улучшить, анализируя каждый регрессор в отдельности. Признав регрессию значимой по общему F-критерию, т е отклонив гипотезу H₀ : β₁=β₂=….=β =0 или H₀:p=0, Можно приступить к проверке гипотез H₀ : β_j=0(j=1,р-1). Это даст возможность в принципе получить модель меньшей размерности.

Наиболее просто гипотеза проверяется по частному F-критерию F_j=β_j²^/σ^²_j, где σ^²_j являются диагональными элементами матрицы ковариаций D(β^)=D(b)/ При справедливости гипотезы H_{0 эта} статистика имеет F-распределение с 1 и (n-p) степенями свободы. При Fj<=F_T гипотеза H₀:β_j=0 принимается, в противном случае регрессор Xj признается значимым.

Применение t-критерия.

T_j=β^_j/σ^_j

Статистика t_j имеет для H₀ t-распределение с n-p степенями свободы При значении |t_j|>tтабл делается вывод об отличии от нуля коэффициента β_j, следовательно о наличии влияния x_j на Y

При статистическом анализе регрессоров оценивается значимость каждого слагаемого модели, что дает возможность получить ее оптимальную структуру.

Коэффициент эластичности.

Э= y^э(производная) *x/y^

Постулирование MR-модели.

Модель множественной регрессии (MR-модель) является обобщением линейной модели с зависимой и одной независимой переменными: Y_i = β₀ + β₁*x_1,i+…+β_p-1*x_i,p-1+ε_i

Матричная запись этой модель: Y=Xβ+ε, где Y есть (n*1) вектор (yi – случ. Величина)

X- (n*p) матрица

β – (p*1) вектор

ε – (n*1) вектор

Постулируется MR-модель в виде Y=Xβ+ε, где правая часть может быть представлена алгебраическими, тригонометрическими и другого вида полиномами, включая кусочно-полиномиальные и ортогональные полиномы, а так же разложение в ряд Тейлора, по сферическим функциям и др. Оцениваемые параметры β_j в правые части Y_i = β₀ + β₁*x_1,i+…+β_p-1*x_i,p-1+ε_i и Y=Xβ+ε входят линейно.

Оценивание параметров MR-модели.

Основные предположения. Обобщим предположения РА-МНК для парной регрессии на случай MR-модели.

1. Y_i = β₀ + β₁*x_1,i+…+β_p-1*x_i,p-1+ε_i

Y=Xβ+ε

2. X_i,1….X_i,p-1 – детерминированные величины. Векторы X_i,1….X_i,p-1 – линейно независимы в пространстве Rⁿ

3. 3.1 M(ε_i)=0

M(ε_i²)=D(ε_i)=σ² или в матричном виде M(ε)=0, D(ε)=M(ε^Tε)=σ²I_n.

3.2 Ошибки ε_i для разных наблюдений не коррелированны, т е (ε_iε_j)=cov(ε_iε_j)=β_ij=σ_iσ_j=0 при i≠j

3.3 ε_i ~ N(0,σ²) i=1,n

ε~Nn(0, σ²,I_n)

MNK.

В многомерном случае применение MNK для оценивания вектора β озночает решение задачи на поиск экстремума (минимума) функции S=S(β), где S=∑ε_i²=ε^Tε

Дифференцируя ε^Tε по вектору β и приравниваем результат к нулю, получаем нормальное уравнение вида X^TXβ=X^TY, где β=(β₀β₁….β_р-1)^T

Решение этой системы есть MNK – оценка b=(b₀,b₁….b_p-1)^Т параметров вектора β

b=b^=(X^TX)^-1X^TY

Теорема Гаусса-Маркова для MR-модели.

Если будут выполняться предположения

1 Y=Xβ+ε

2 X-детерминированная (n *p) матрица, имеющая максимальный ранг p

3.M(ε)=0, D(ε)=M(ε^Tε)= σ²,I_n, то MNK – оценка β^=M(X^TX)^-1 X^TY, является наиболее эффективной оценкой в классе линейных несмещенных оценок.

Оценка точности MR-модели.

Для MR-модели Оценку D(ε) =σ² и D(β^)=D(b)=D(b₀,b₁….b_p-1)^Т) получаем следующим образом. Введем вектор предсказываемых значений отклика (вектор прогноза)

Y^=xb и вектор остатков е=y-y^ тогда для MR-модели можно записать S²=σ^²=e^Te/(n-p)

Формула для D(b) получим формируя матрицу ковариаций для R-модели и обобщая ее D(b)=D()= ()=()

Вынесем за скобки σ^2, оставшееся выражение в скобках и есть (X^TX)^-1.

Для MR-модели эту формулу можно получить путем прямых матричных действий.

В силу симметричности матрицы (X^TX)^-1=((X^TX)^-1)^Т имеем

D(β^)=D((X^TX)^-1 *X^TX)= (X^TX)^-1 *X^T D(Y)((X^TX)^-1*X^T)^T =((X^TX)^-1 *X^T D(Y)X(X^TX)^-1

Определим D(Y) где Y=xβ+ε в условиях гипотез D(ε) = σ²,I_n и детерминированность xβ, Как D(Y) = σ²,I_n

Подставляя результат в предыдущую формулу получим D(β^)= D(b)= σ²(X^TX)^-1 X(X^TX)^-1 = σ²(X^TX)^-1

Определим дисперсию остатков. Для оценки дисперсии прогноза при заданном X_k, где X_k^T – вектор размера (1*р), можно использовать формулу D(Y^_k)= S² (1/n + X_k^T (X^TX)^-1X_k)

Распределение МНК-оценки b.

В условиях соблюдения предположения ε~Nn(0, σ²,I_n), как уже отмечалось, для Y справедлива запись Y~Nn(Xβ,σ²I_n)/

Для линейного регрессионного анализа у МНК-оценки вектора b=(b₀,b₁….b_p-1)^Т все элементы являются линейными комбинациями от y_i.

Одним из свойств многомерного нормального распределения является свойство: Линейная комбинация Гаусовского (нормального) вектора, есть гаусовская случайная величина, следоват. вектор b-есть случ. Вектор, имеющий многомерное нормальное распределение b~Nn(β,σ²(X^TX)^-1)

Случайная величина (n-p) ~ X²(хи)(n-p)

Дисперсия ошибок S²=σ²^= = не зависит от вектора MNK-оценки b=β^