Оцінка параметрів лінійної регресії методом найменших квадратів 


Мы поможем в написании ваших работ!



ЗНАЕТЕ ЛИ ВЫ?

Оцінка параметрів лінійної регресії методом найменших квадратів



Оцінка параметрів лінійної регресії методом найменших квадратів

Існують різні методи знаходження оцінок параметрів . Розглянемо один із них: метод найменших квадратів.

Суть методу: оцінки парламентів знаходять так, щоб сума квадратів відхилень (помилок) між заданими значеннями змінної у і розрахунковими була найменшою. Похибка між заданими значеннями і розрахунковими має вигляд:

Функція квадрату похибок має вигляд:

Функція залежить від змінних параметрів , для знаходження її найменшого значення потрібно знайти критичні її точки. Для цього потрібно знайти частинні похідні, прирівняти їх до 0 і знайти розв’язок отриманої системи рівнянь (3).

Отримана система (3) є лінійною системою рівняння для знаходження оцінок параметрів (4)

Введемо позначення:

Система (4) в матричному вигляді:

(5)

Система (5) називається нормальною системою рівняння для рівняння лінійної регресії.

Матрицю називають матрицею спостереження. Вона завжди має симетричний вигляд.

Із рівняння (5) отримаємо оцінки параметрів лінійної регресії:

(6)

Зауваження: оцінки параметрів лінійної регресії методами найменших квадратів знаходять при умові, що випадкова складова економетричної моделі задовольняє певним умовам.

Оцінки параметрів моделі можна обчислити за наступними формулами (7):

– величина, яка показує залежність змінної у до х по відношенню до своїх середніх значень.

- визначає середній квадрат відношень значень змінної х по відношенню до своїх середніх значень.

Оцінки параметра можна обчислити за формулою:

(8)

Зауваження:

Для оцінки параметрів знайдені методом найменших квадратів, тоді сума всіх похибок (залишок відхилень) дорівнює 0.

Вибіркова регресійна пряма завжди проходить через середню точку (, ).

З вибіркового регресійного рівняння: отримуємо значення рівне величині на яку збільшується залежна змінна у при збільшенні незалежної змінної х на 1.

Величина називається перетином, а – нахилом рівняння регресії.

 

Коефіцієнт кореляції та детермінації

Якщо побудована вибіркова регресійна модель, то виникають наступні задачі:

· Чи в дійсності існує лінійний зв'язок між змінними х та у.

· Наскільки отримана модель адекватна (відповідає) дійсній моделі.

· Наскільки точно знайдені оцінки параметрів моделі.

· Як можна здійснити прогноз за побудованої регресійною моделлю.

Кількісним критерієм, який оцінює тісноту зв’язку між х та у є вибірковий коефіцієнт кореляції, який обчислюється за формулою:

Значення коефіцієнта кореляції знаходиться в межах від .

Якщо , то вважають, що між змінними у та х існує прямий зв'язок, якщо , то зворотній (обернений зв'язок).

Якщо , тоді змінна х істотно не впливає на змінну у. В цьому випадку потрібно вибрати (знайти) іншу змінну, яка більш істотно впливає на змінну у.

Якщо , тоді вважають, що між х та у існує тісний зв'язок (залежність).

Для встановлення чинності зв’язку між змінними х і у та перевірки на адекватність (значимість) моделі парної регресії реального економічного процесу використовують вибірковий коефіцієнт детермінації, який обчислюється за формулою:

Якщо , то вважають, що побудована регресійна модель неадекватна дійсній моделі (дійсному процесу).

Якщо , то вважають, що отримана модель адекватна дійсній моделі, тобто є значимою.

 

Перевірка значимості коефіцієнта кореляції за допомогою

T-критерію Ст’юдента.

Перевірка на значимість вибіркового коефіцієнта кореляції здійснюється за допомогою t-критерію Ст’юдента.

Для перевірки вибирають критерій:

Вважають, що цей критерій має розподіл Ст’юдента з ступенями вільності. Гіпотези мають вигляд:

Якщо приймається нульова гіпотеза, то вважають, що між змінними у та х не існує лінійної залежності. При гіпотезі вважається, що така залежність між у та х існує.

Якщо отримана вибіркова модель лінійної регресії адекватна дійсній моделі, оцінки параметрів статистично значимі та між змінними х та у існує лінійний зв'язок, то цю вибіркову модель можна використати для дослідження процесу, який вона описує. Дослідження полягає в тому, щоб встановити рівень впливу, в певному розумінні, незалежної змінної на залежну, а також можливі значення різного типу прогнозованих значень у.

 

Нелінійна регресія

В багатьох економетричних процесах лінійні економетричні моделі зручно використовувати для їх дослідження і прогнозування. Але значна кількість економічних процесів по своїй суті не є лінійними, тобто показники (фактори), які описують такі процеси пов’язані між собою нелінійними залежностями. Наприклад, описання виробничого процесу за допомогою функції Кобба-Дугласа.

Розглянемо найпростіші нелінійні економітричні моделі, які можна звести за допомогою певних перетворень до лінійних економетричних моделей.

1. Логарифмічні моделі (log-моделі)

До таких моделей належать моделі, в яких залежність між двома показниками має вигляд:

(1)

(графіки)

Ця модель описує залежність між попитом на деякі товари від доходу, коли , і від ціни, коли . Ці криві при такому розумінні називаються кривими Енгеля.

Модель (1) зводиться до лінійної шляхом логарифмування:

, ,

Отримаємо лінійну модель . Параметри отриманої моделі можна знайти методом найменших квадратів. Якщо знайдені оцінки параметрів та , тобто отримано вибіркову модель , тоді оцінки параметрів моделі (1) знаходять за формулою:

Зауваження: економетрична логарифмічна модель має вигляд . При зведенні її до лінійної моделі ми опускали випадкову складову . Для того, щоб знайти оцінки параметрів отриманої лінійної моделі методом найменших квадратів випадкова складова цієї лінійної моделі повинна задовольняти ряд припущень. Тому виникає задача знаходження тих умов і припущень, які потрібно накладати на випадкову складову нелінійної моделі.

 

2. Економетричні моделі типу виробничих функцій

Виробнича функція – економетрична модель, яка кількісно описує зв'язок основних результативних показників виробничо-господарської діяльності з факторами, які впливають на ці показники.

Найпростіша економетрична модель типу виробничої функції має вигляд:

– обсяг (об’єм) продукції

– основний капітал

– робоча сила

– параметри моделі.

Якщо , то темпи приросту обсягу продукції вищі за темпи росту виробничих ресурсів.

Якщо , то навпаки, тобто темпи росту продукції нижчі за темпи росту ресурсів.

Якщо , то при збільшенні капіталу і робочої сили на r %, обсяг продукції збільшується більше ніж на r %.

До лінійно економетричної моделі зведення відбувається логарифмуванням:

Тоді отримаємо рівняння множинної лінійної регресії:

Оцінки параметрів отриманої моделі знаходять методом найменших квадратів.

 

3. Обернені моделі

Найпростіша обернена модель має вигляд:

Побудуємо графіки залежності в залежності від знаків параметрів та (графіки).

В залежності від знаків та вважають, що обернена модель описує наступні залежності:

Якщо , модель відображає залежність між доходом х і витратами на предмети розкоші у. Величина – мінімально необхідний рівень доходів для придбання предметів розкоші. В цьому випадку отриманий графік залежності називається кривою (функцією) Торнквіста.

Якщо , то обернена залежність відображає залежність між рівнем безробіття х і процентною зміною заробітної плати у. Відповідна крива називається кривою Філіпса. Точка перетину з віссю ОХ – це природній рівень безробіття.

 

4. Степеневі моделі

Степенева регресійна модель має вигляд:

Вона зводиться до лінійної за допомогою заміни:

В результаті отримують регресійну нелінійну модель:

Степенева регресійна модель в найпростішому випадку описує залежність між витратами на рекламу х і ростом прибутку у. (графік)

 

5. Показникові моделі

Показникові моделі мають вигляд: – вони зводяться до лінійних за допомогою логарифмування:

Отримують лінійну модель:

Зауваження: регресійні моделі можуть мати також вигляд, в який окремими частинами входять нелінійні регресійні моделі різних типів, наприклад, до такого типу моделей належать виробнича крива Кобба-Дугласа з врахуванням науково-технічного прогресу, яка має вигляд:

 

Алгоритм Фарара-Глобера

Для встановлення наявності мультиколінеарності розроблені різні типи та алгоритми. Одним з них є алгоритм Фарара-Глобера – ций алгоритм дає змогу встановлювати наявність мультиколінеарності між всіма незалежними змінними, кожної незалежної змінної з рештою змінних і кожної пари незалежних змінних.

Цей алгоритм використовує три типи параметрів:

Нехай перевірка наявності мультиколінеарності між всіма змінними здійснюється ступним чином:

1. Нормалізують (стандартизують) змінні згідно формули:

2. Знаходять кореляційну матрицю нормалізованих змінних за формулою:

, де

– матриця нормалізованих значень вибірки.

3. Обчислюється визначник матриці R.

4. Вибирають критерій

Вважають, що цей критерій має розподіл з ступенями вільності.

5. Формулюють статистичні гіпотези:

Н0 – мультиколінеарність між змінними відсутня;

Н1– мультиколінеарність між змінними присутня;

За формулою знаходять фактичне значення критерію .

6. За таблицями знаходять теоретичне значення при ступенях вільності і задану у вигляді значимості .

Якщо , то приймається нульова гіпотеза і вважається, що мультиколінеарність між змінними відсутня.

Якщо , то приймається альтернативна гіпотеза і вважається, що мультиколінеарність між змінними присутня.

Перевірка наявності мультиколінеарності деякої змінної з іншими змінними здійснюється за допомогою F-критерію наступним чином:

1. Знаходять обернену матрицю до мтариці

2. Вибирають для кожної змінної F-критерій вигляд:

– це діагональні елементи матриці С вважають, що цей критерій Фішера з ступенями вільності.

3. Формулюють гіпотези

Н0 – змінна – не мультиколінеарна з іншими змінними;

Н1– змінна – мультиколінеарна з іншими змінними;

4. Знаходять фактичне значення критерію

5. За таблицею розподілу Фішера знаходять теоретичне знчення критерію , для ступенями вільності при рівні значимості .

6. Якщо , то вважають, що змінна – не мультиколінеарна з іншими змінними, тобто приймається нульова гіпотеза;

Якщо , то приймається альтернативна гіпотеза та вважають, що змінна мультиколінеарна з іншими змінними.

Для перевірки наявності колінеарності між кожною парою незалежних змінних використовують t-критерій наступним чином:

1. Для довільних змінних знаходять частинні коефіцієнти кореляції за формулою:

Частинні коефіцієнти кореляції - характеризують тісноту зв’язку між змінними за умови, що інші змінні не впливають на цей зв'язок, вони в основному менші за відповідні парні коефіцієнти кореляції, тому за значеннями парних коефіцієнтів кореляції не можна робити висновків про наявність мультиколінеарності між парними змінними .

2. Вибирають критерій , вважають, що він має t-розподіл з ступенями вільності.

3. Формулюють статистичні гіпотези:

Нульова гіпотеза:

Альтернативна гіпотеза:

4. Знаходять фактичне значення критерію

5. За таблицями t-розподілу знаходять теоретичне значення критерію , для і вибираємо .

6. Якщо , то змінні не мультиколінеарні між собою.

Якщо , то приймається альтернативна гіпотеза і змінні мультиколінеарні між собою.

 

 

Тест Голдфельда-Квандта

Розглянемо тест Голдфельда-Квандта. Припустимо, що дисперсія залишків моделі змінюється пропорційно до квадрату однієї змінної моделі, тобто:

, де

Ідея тесту: вся вибірка впорядковується в порядку зростання змінної , потім впорядковану вибірку за певним критерієм розбивають на три частини і з розгляду виключають середню частину вибірки. Для кожної із частин, які залишились знаходять оцінки параметрів моделі методом найменших квадратів. У отриманих двох вибіркових моделях обчислюють суми квадратів залишків і за допомогою F-критерію встановлюють відсутність чи наявність гетероскедастичності.

Алгоритм тесту:

1. Вибірку впорядковують по зростанню фактора (всі елементи вибірки):

2. Розбивають вибірку на три частини. Значення c вибирають таким чином, щоб .

3. З вибірки викидають середні значення.

4. Для першої і третьої частин вибірки знаходять методом найменших квадратів оцінки параметрів моделі. В результаті отримують дві вибіркові регресійні прямі:

5. Знаходять суми квадратів залишків для кожної із моделей:

6. Задають F-критерій:

Вважають, що він має розподіл Фішера з ступенями вільності.

7. Формулюють статистичні гіпотези:

присутня гомоскедастичність

присутня гетероскедастичність

8. Знаходять фактичне значення критерію .

9. За таблицями розподілу Фішера знаходять критичне значення для ступенів вільності і заданого рівня значимості .

10. Якщо , приймається нульова гіпотеза і вважається, що присутня гомоскедастичність. Якщо , приймається альтернативна гіпотеза і вважається, що присутня гетероскедастичність.

 

13. Знаходження оцінок параметрів моделі за допомогою узагальненого методу найменших квадратів (метод Ейткена)

При наявності гетероскедастичності оцінки параметрів моделі, які отримані методом найменших квадратів є неефективними, тобто вони не будуть мати найменшу дисперсію, порівняно з оцінками параметрів моделі отриманих іншими методами.

Для знаходження ефективних оцінок параметрів потрібно використати інші методи. Одним з таких методів є узагальнений метод найменших квадратів (метод Ейткена).

Суть методу: вихідну економетрична модель в якій присутня гетероскедастичність за допомогою певного перетворення приводять до моделі, в якій присутня гомоскедастичність. Перетворення вихідної моделі в гомоскедастичну відбувається шляхом коригування (перетворення) вихідної інформації стосовно змінних моделі. Для цього використовується вигляд залежності дисперсії залишків від тієї чи іншої змінної моделі. Враховуючи вигляд цієї залежності за певними правилами будують (формують) квадратну матрицю S, розмір якої співпадає з об’ємом (розмірністю) вибірки.

Формула для оцінки параметрів моделі тоді матиме вигляд:

Якщо, наприклад, вважати, що дисперсія залишків пропорційна до зміни незалежної змінної , тоді матриця S матиме вигляд:

 

 

Критерій Дарбіна-Уотсона

Для встановлення наявності автокореляції використовують різні методи. Використання того чи іншого методу залежить від вигляду залежності між залишками моделі. Одним із найпростіших методів є критерій (алгоритм) Дарбіна-Уотсона. Припускається, що залишки залежні між собою тільки сусідні, при чому залежність має вигляд:

, де

– коефіцієнт автокореляції

– випадкова складова, яка має нормальний закон розподілу.

Записана вище залежність називається авто регресійною схемою 1-го порядку.

Алгоритм критерію Дарбіна-Уотсона

1. Методом найменших квадратів знаходимо оцінки параметрів моделі.

2. Вибирають (задають) критерій:

Вважають, що він має розподіл статистики Дарбіна-Уотсона, з T та m ступенями вільності, де m – кількість змінних в моделі.

3. Висувають статистичні гіпотези:

автокореляція відсутня;

автокореляція присутня.

4. Знаходять фактичне значення критерію .

5. За таблицями для значень T та m і рівня значимості знаходять значення критерію та

Фактичне значення лежить в межах від 0 до 4. Якщо , то вважають, що присутня додатна автокореляція. Якщо , то присутня від’ємна автокореляція.

Якщо - приймається альтернативна гіпотеза і вважають, що присутня додатна автокореляція.

Якщо - приймається нульова гіпотеза і вважають, що присутня від’ємна автокореляція.

Якщо , то приймається нульова гіпотеза і вважають, що автокореляція відсутня.

Якщо або , то тоді ніяких висновків про автокореляцію не роблять (маємо області невизначеності).

В останньому випадку потрібно використовувати інший критерій для встановлення автокореляції.

 

Оцінка параметрів лінійної регресії методом найменших квадратів

Існують різні методи знаходження оцінок параметрів . Розглянемо один із них: метод найменших квадратів.

Суть методу: оцінки парламентів знаходять так, щоб сума квадратів відхилень (помилок) між заданими значеннями змінної у і розрахунковими була найменшою. Похибка між заданими значеннями і розрахунковими має вигляд:

Функція квадрату похибок має вигляд:

Функція залежить від змінних параметрів , для знаходження її найменшого значення потрібно знайти критичні її точки. Для цього потрібно знайти частинні похідні, прирівняти їх до 0 і знайти розв’язок отриманої системи рівнянь (3).

Отримана система (3) є лінійною системою рівняння для знаходження оцінок параметрів (4)

Введемо позначення:

Система (4) в матричному вигляді:

(5)

Система (5) називається нормальною системою рівняння для рівняння лінійної регресії.

Матрицю називають матрицею спостереження. Вона завжди має симетричний вигляд.

Із рівняння (5) отримаємо оцінки параметрів лінійної регресії:

(6)

Зауваження: оцінки параметрів лінійної регресії методами найменших квадратів знаходять при умові, що випадкова складова економетричної моделі задовольняє певним умовам.

Оцінки параметрів моделі можна обчислити за наступними формулами (7):

– величина, яка показує залежність змінної у до х по відношенню до своїх середніх значень.

- визначає середній квадрат відношень значень змінної х по відношенню до своїх середніх значень.

Оцінки параметра можна обчислити за формулою:

(8)

Зауваження:

Для оцінки параметрів знайдені методом найменших квадратів, тоді сума всіх похибок (залишок відхилень) дорівнює 0.

Вибіркова регресійна пряма завжди проходить через середню точку (, ).

З вибіркового регресійного рівняння: отримуємо значення рівне величині на яку збільшується залежна змінна у при збільшенні незалежної змінної х на 1.

Величина називається перетином, а – нахилом рівняння регресії.

 



Поделиться:


Последнее изменение этой страницы: 2016-08-26; просмотров: 888; Нарушение авторского права страницы; Мы поможем в написании вашей работы!

infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 44.203.219.117 (0.182 с.)