Метод зважених найменших квадратів (дисперсії відхилень невідомі)

Щоби використати метод зважених найменших квадратів, потрібно знати фактичні значення дисперсій випадкових величин a_t. На практиці такі зна­чення відомі дуже рідко. Саме тому, щоби застосувати метод зважених най­менших квадратів, потрібно зробити деякі припущення про значення .Розгляньмо парну лінійну кореляційно-регресійну модель (1)

де — випадкова величина, яка є гетероскедастичною, але відповідає всім іншим припущенням кореляційно-регресійного аналізу.

Якщо встановлено наявність гетероскедастичності, потрібно трансформу­вати початкову модель таким чином, щоби випадкові помилки мали постійну дисперсію. Спосіб проведення трансформації початкової моделі залежить від форми залежності між дисперсією випадкових величин та значеннями фак­торних ознак:

На практиці розглядають кілька можливих перетворень:

Випадок 1. Дисперсія пропорційна x_i.

У цьому разі припускаємо таку форму гетероскедастичності: (2)

де k² —.коефіцієнт пропорційності, константа.

Тоді трансформація моделі (2) полягає у діленні лівої і правої частин рівняння для кожного значення факторної ознаки x_i на :

Отже, для випадкових відхилень виконується умова гомоскедастичності.

Справді, врахувавши умову (2), отримаємо:

Таким чином, під час оцінювання параметрів кореляційно-регресійної мо­делі (3) можна застосувати класичний метод найменших квадратів.

Випадок 2. Дисперсія пропорційна x_i².

Розглянемо парну лінійну кореляційно-регресійну модель (4). Припусті­мо, що форма гетероскедастичності має вигляд

Виражаючи коефіцієнт пропорційності, отримаєм . Це означає,що трансформація початкової моделі полягає у діленні моделі на х_i-. Транс­формована кореляційно-регресійна модель має вигляд:

(4)

При цьому параметри регресії у кореляційно-регресійної моделі (5) помінялися місцями, тобто параметр регресії моделі (4) став вільним чле­ном у моделі (5) і навпаки, вільний член моделі (4) став коефіцієнтом регресії при змінній 1/x.

Випадкові величини v_i мають властивість гомоскедастичності, оскільки

Таким чином, щоби знайти невідомі параметри кореляційно-регресійної моделі, можна використати метод найменших квадратів.

Під час побудови множинної лінійної кореляційно-регресійної моделі можна діяти так само, як і під час першого припущення тобто досліджувати залежність дисперсії від значень деякої j-i факторної змінної Х_ji або залежність дисперсії від значень вибіркової множинної лінійної кореляційно-регресійної моделі.

Зауваження. Трансформовані змінні і трансформована кореляційно-регресійна модель можуть мати зовсім інший економічний зміст, ніж початкові змінні та модель.

Алгоритм Феррара — Глобера.

В алгоритмі Феррара — Глобера використовують три види статистичних критеріїв, на їхній підставі перевіряють мультиколінеарність: — критерій , за допомогою якого перевіряють мультиколінеарність усього масиву факторних ознак; — F -критерій, за його допомогою перевіряють гіпотезу Н₀: коефіцієнт детермінації дорівнює нулю: та гіпотезу H₁:коефіцієнт детермінації не дорівнює нулю: . За допомогою F- тесту перевіряють кореляцію кожної факторної ознаки з усіма іншими; — Т -критерій, на підставі якого перевіряють гіпотезу Н₀: частковий коефіцієнт кореляції дорівнює нулю: та гіпотезу Н₁: частковий коефіцієнт кореляції не дорівнює нулю: де — часткові коефіцієнти кореляції, які характеризують тісноту зв'язку між факторними ознаками х_l та х_j за умови, що решта факторних ознак не впливає на цей зв'язок. За допомогою t- тесту перевіряють наявність лінійної кореляційної залеж­ності кожної пари факторних ознак. Порівняння розрахованих значень цих критеріїв з їхніми критичними значеннями дає можливість зробити висновки щодо наявності чи відсутності мультиколінеарності.

Алгоритм Феррара — Глобера складається з кількох кроків. Крок 1. Нормалізація факторних ознак x₁,x₂,..x_k, яку здійснюють за допомогою перетворення , (7.78) де п — величина вибірки для кожної змінної (i=1,n); k- кількість факторних ознак у моделі (j=1,k); — середнє значення j- ї факторної ознаки; — дисперсія j -ї факторної ознаки.

Для нормалізованих значень факторних ознак виконуються умови: Крок 2. Обчислення кореляційної матриці де X* — матриця нормалізованих значень факторних ознак.

Елементами матриці R є парні коефіцієнти кореляції, які харак­теризують тісноту зв'язку між l-ю та j-ю факторними ознаками. Однак на підставі знайденої кореляційної матриці В не можна ствер­джувати, що отриманий зв'язок є явищем мультиколінеарності. Крок 3. Обчислення значення -критерію — , де — визначник кореляційної матриці R. Знаходимо табличне значення при — ступенях вільності і рівні значущості α. Якщо , тоімовірністю р=1-α можна стверджувати, що в ма­сиві факторних ознак є мультиколінеарність. Якщо , то з імовірністю р=1-α можемо зробити висновок щодо відсутності мультиколінеарності. Крок 4. Визначення матриці помилок С= . Крок 5. Розрахунок значень F- критерію — де -діагональні елементи матриці С. При заданих ступенях вільності n-k і k-1 та рівні значущості α знахо­димо табличне значення критерію і порівнюємо розраховані значення з табличним . Якщо > , то з імовірністю р=1-α гіпотезу Н₀ відкидаємо, а це означає, що j- та факторна ознака колінеарна з усіма іншими і потрібно вирі­шити питання про її вилучення з переліку змінних моделі. Якщо , то з імовірністю р=1-α гіпотезу Н₀ приймаємо, тобто факторна ознака х_j не є колінеарною з усіма іншими. На підставі діагональних елементів матриці С можна розрахувати коефі­цієнти детермінації для кожної факторної ознаки: . Коефіцієнт детермінації характеризує вплив усіх інших факторних ознак на факторну змінну х_j. Крок 6. Обчислення часткових коефіцієнтів кореляції, які характеризують тісноту зв'язку між двома факторними ознаками за умови, що всі інші фак­торні ознаки не впливають на цей зв'язок (тестування наявності парної колі-неарності) —

де — елемент матриці С, який розміщений на перетині l-ї стрічки та j- го стовпця; діагональні елементи матриці С.

Якщо порівняти деякі кількісні значення часткових і парних коефіцієнтів кореляції, то можна побачити, що перші значно менші від других. Отже, на підставі лише часткових коефіцієнтів кореляції висновок про парну коліне-арність зробити неможливо. Для цього потрібно виконати ще сьомий крок.

Крок 7. Розрахунок значень t- критерію — Розраховані значення критерію порівнюємо з табличним значенням при n-k ступенях вільності і рівні значущості α. Якщо то з імовірністю р=1-α гіпотезу Н₀ відкидаємо, тобто між факторними ознаками x _l і х_j наявна колінеарність. Якщо то з імовірністю р=1-α гіпотезу Н₀ приймаємо, тобто факторні ознаки х_l і х_j неколінеарні.

Аналізуючи значення критеріїв Fі t, можна зробити висновок, яку з фак­торних ознак потрібно вилучити з розгляду у побудованій кореляційно-рег­ресійній моделі, це варто робити з огляду на економічні та логіко-теоретичні міркування. Якщо за допомогою алгоритму Феррара — Глобера не можна визначити, яку факторну ознаку потрібно вилучити з переліку змінних моделі, то оці­нювати параметри моделі методом найменших квадратів не варто. У такому разі використовують інші методи, наприклад, метод головних компонент або одну з його модифікацій.

44. Узагальнений метод найменших квадратів (матричний підхід)

На відміну від звичайного методу найменших квадратів, узагальнений метод найменших квадратів ураховує інформацію про неоднаковість дисперсії і тому дає можливість одержати найкращі лінійні оцінки.

Розглянемо узагальнену множинну лінійну кореляційно-регресійну модель, зображену в матричному вигляді:

це Y - це n-вимірна матриця-стовпець спостережень за результуючою змінною у; X - матриця спостережень розмірності п*(k + 1) за факторними ознаками х₁,...,х_k, у якій елементами першого стовпця є одиниці для одержання вільного члена моделі, а інші стовпці є векторами спостережень за фактор­ними ознаками х₁,...,х_k; β – (k+1) - вимірна матриця-стовпець невідомих параметрів моделі; ε – n-вимірна матриця-стовпець випадкових величин ε_і.

Вибіркова кореляційно-регресійна модель має вигляд:

де Ỹ- n-вимірна матриця-стовпець теоретичних значень результуючої змінної, що розраховані на підставі кореляційно-регресійної моделі; b – (k+1) – вимірна матриця-стовпець оцінок параметрів кореляційно-регресійної моделі.

Позначимо через е = Y-Ỹ вектор випадкових відхилень.

Завдання полягає у знаходженні оцінок елементів вектора β у моделі. Для цього використовують матрицю S, за допомогою якої коригують вхідну ін­формацію.

Оскільки S — додатно визначена матриця, то вона може бути представле­на як добуток РР^Т, де матриця Р є ненародженою, тобто S = РР^Т.

При заданій матриці S оцінки параметрів моделі можна обчислити за формулою

стандартну похибку — згідно . Отже, ми можемо побудувати довірчі інтервали та критерії перевіряння статистичної значущості параметрів регресії β.

Дисперсія трансформованої похибки ε є постійною величиною, тобто для моделі

P^-1Y=P^-1Xβ+P^-1ε виконується припущення про гомоскедастичність і оцінювання її параметрів можна проводити на підставі методу найменших квадратів.