Довірчі інтервали та області для функції регресії

Нас цікавить довірчий інтервал і область для величин та для всього .

1). Довірча область для вектора значень функції регресії .

Згідно (12) можна записати ліву частину у вигляді:

.

2). Довірча область для .

За властивістю 3) б):

~ .

Тоді наступна статистика: ~ .

За властивістю 4) б):

~

~

Довірчий інтервал:

.

 

Перевірка на адекватність

Перевірка на адекватність здійснюється шляхом перевірки спільномірності оцінки , отриманої на базі основної вибірки, з оцінкою на базі спостережень з додаткової вибірки вимірів у фіксованій точці фазового простору.

Випадки неадекватності:

1). або більше параметрів;

2). або менше параметрів.

1). Нехай модель істинна: , вибрана модель: .

Не всі регресори включені. .

Знаходимо оцінки : .

Оцінка зміщена, тобто .

- неслушна оцінка, - зміщена оцінка, тобто: .

2). Нехай в істинній моделі менше параметрів, ніж у вибраній, у якій є зайві.

Тобто: істинна, а - вибрана.

, .

В цьому випадку:

незміщена, і

слушна оцінка.

Оцінка - незміщена, .

Ми втратили точності оцінки у вигляді:

, Точність оцінки може збільшуватись.

@ Лекція 13

Ми розглядали випадок, коли модель містить більше або менше регресорів, ніж ідеальна. Коли регресорів менше – оцінка втрачає слушність. При наявності ж зайвих регресорів, хоча оцінка залишається слушною, її точність втрачається.

Розглянемо методи перевірки адекватності моделі.

В нашому розпорядженні є оцінка

Припустимо, що крім цього нам надається можливість отримати додаткову вибірку спостережень у фіксованій точці фазового простору.

Тоді оцінка по цій додатковій вибірці , де .

Один з методів перевірки адекватності полягає в перевірці такої гіпотези:

: - незміщена

розглянемо статистики:

, – як відомо має розподіл з степенями свободи, аналогічно

тоді

Логічно вважати, що область прийняття буде .

При чому, як правило, намагаються вибирати об’єми вибірки таким, що .

Розглянемо тепер випадки, коли деякі з припущень моделі, яку ми розглядали не виконуються.

 

1. Випадок корельованих збурень

Для нашої моделі (1) в класичному регресійному аналізі .

Нехай тепер це не так, а , де – кореляційна матриця. Спробуємо і для цього випадку отримати оцінку з тими ж хорошими властивостями, як і в класичному випадку.

Помножимо на (1): , тоді, згідно властивості лінійного перетворення нормально розподілених випадкових величин , тобто тут помилки уже будуть незалежними. Наступний вектор матиме розподіл

Ввівши позначення отримаємо нову модель (2)

причому і тоді будуємо оцінку класичним методом найменших квадратів:

(3)

Цю оцінку називають Марківською.

На неї розповсюджуються всі раніше сформульовані властивості, все прекрасно, але радіти рано: треба знати матрицю , а на практиці вона зазвичай невідома. Часто можна знайти лише деяке наближення до неї, а тоді наближене значення може бути дуже далеко від реального значення, а потім ще й до треба шукати обернену... L

Марківська оцінка (3) має наступні властивості:

1. 
2. ефективна на класі всіх незміщених оцінок.
3. Якщо кількість вимірів зростає (тобто залежить від об’єму), тоді
   є сильно слушною тоді і тільки тоді, коли

Марківську оцінку можна розглядати також як розв’язок наступної оптимізаційної задачі:

Ця оцінка – це фактично один із прикладів, коли теорія – теорією, а практика – практикою.

 

2. Оцінки параметрів в умовах мультиколінеарності.

Для в класичних припущеннях ми вважали, що , тобто повний по стовпчиках ( – розмірність ). Знімемо це припущення.

Нехай , . Тоді, як результат, отримаємо, що класична оцінка просто не існує, оскільки матриця буде виродженою. Фактично це означає, що оцінка методом найменших квадратів буде не єдиною, і можна вибрати ту, яка найкраща для нас.

Нехай : (4)

В цьому випадку кажуть, що ми знаходимось в умовах строгої мультиколінеарності. Якщо ж умова (4) виконується тільки приблизно, то кажуть, що ми знаходимось в умовах мультиколінеарності.

Проаналізуємо ці випадки:

1. Строга мультиколінеарність: оцінка не єдина, множина оцінок є розв’язком системи
   в принципі тут можна використати псевдообернення, але це виходить за рамки нашого курсу.
2. Мультиколінеарність: класична оцінка існує і вона єдина, але це теорія, а на практиці матриця виходить погано обумовленою (існують власні числа близькі нуля)
1. оцінка нестійка
2. вона малоефективна ( може бути дуже великою).

Є різні підходи до розв’язання цієї проблеми. Викладемо такий:

 

Гребеневі оцінки (ridge-оцінки).

Їх запропонував Херл в 1962р. Ідея проста: вводимо параметр і збурюємо :

, де , але досить мале. (5)

Введення цього зміщення відсуне і результат, але матриця вже не буде погано обумовленою. Виявилось також, що при деякому ця оцінка буде мати навіть кращі властивості, ніж класична, а саме, – меншу середньоквадратичну помилку.

 

Теорема. Для гребеневої оцінки виконуються наступні властивості:

1. , де – класична оцінка: .
2. .
3. , де зміщення , а .
4. (перша рівність – просто позначення).

 

1. 
   
2. 
   
   
3. , тобто оцінка зміщена.
4. 
   

Зауваження 1. інколи на практиці використовують модифіковану оцінку

 

, де – діагональна матриця, ; тоді

 

, ну а далі все прозоро:

1. спочатку знаходимо звичайну ridge-оцінку для моделі
2. потім знаходимо
   
   

Зауваження 2. Графік :

 

Бачимо, що існує таке, що ridge- оцінка буде мати середньоквадратичну похибку меншу ніж класична оцінка.

 

 

Зауваження 3.

 

Для знаходження такого будують так звані графіки гребеневих слідів:

для кожної компоненти вектора будується і за беруть те найменше при якому відбувається стабілізація усіх графіків гребеневих слідів.

Якщо ж стабілізації нема зовсім, то це означає, що ніякої мультиколінеарності взагалі немає, і можна використовувати класичну оцінку.

 

 

@Лекція 14

Нелінійний регресійний аналіз

Моделі , (1), де - помилка моделі,

поділяються на два підкласи:

1) Внутрішньо лінійні

2) Внутрішньо нелінійні

 

Внутрішньо лінійні – це моделі які шляхом перетворень зводяться до розв’язання деякої лінійної задачі

 

Приклад1.

Нехай модель має вигляд: , де - скаляр

Прологарифмуємо

Введемо нові позначення: , , ,

Отримаємо модель: - лінійна відносно параметрів.

Це можна використовувати лише у якості першого наближення.

У випадку внутрішньо лінійних моделей як правило існують функції
, , (1)

Оригінальна модель транспонується в наступну

,де , (2)

З оцінки можемо за допомогою системи однозначно визначити оцінку

 

Внутрішньо нелінійні – це моделі для яких не існує шляхів зведення до лінійної моделі

Для (1) шукається як розв’язок задачі:

Цей функціонал нелінійний по бажано, щоб він був квадратичний.

 

 

Коваріаційний аналіз

Треба побудувати модель залежності кількісної змінної від як від якісної так і від кількісної.

Специфіка постановки задачі

- вектор незалежних якісних змінних, - вектор кількісних змінних, - залежна скалярна кількісна змінна.

На характеристику впливають як якісні так і кількісні змінні.

Нехай - спостереження над .

Тоді модель класичного коваріаційного аналізу має вигляд:

, (3)

та - помилки моделі.

Перепишемо модель матричному вигляді:

Позначимо:

, , , , ,

Тоді модель: (4)

Для знаходження оцінок параметрів моделі (4) використовується покроковий метод найменших квадратів.

 

Основні припущення для (4):

1)

2) стовпчики матриці не залежать від умов експерименту.

3) вважаємо, що лінійні обмеження враховані, тобто , (4’)

4) Немає обмежень на та .

1), 2), 3), 4) (4)

 

Для розв’язку задачі кореляційного аналізу, враховуючи структуру моделі (4)

використовують покроковий метод найменших квадратів: