Ідея методу максимальної правдоподібності

Знаходження оцінок параметрів методом максимальної правдоподібністі (ММП) є одним з найбільш уживаних в економетриці завдяки оптимальним статистичним властивостям цих оцінок. Точне формулювання буде наведено нижче. Метод можна застосувати у тому випадку, коли розподіл спостережень відомий з точністю до скінченої кількості параметрів. Спочатку розглянемо знаходження ММП-оцінок у випадку незалежних виборок.

Дискретний випадок

Нехай

y₁,…, y_n –

незалежна виборка з дискретного розподілу, який задається набором можливих значень

х₁,…, х_к

та відповідних імовірностей

, ,

де ­параметр, який потрібно оцінити. Припустимо, що тоді . Оскільки спостереження незалежні, то ймовірність даної реалізації виборки дорівнює

.

Останній вираз, якщо його розглянути як функцію від називається функцією правдоподібності:

Наприклад, якщо – реалізація виборки з розподілу Бернулі з імовірністю успіху , тобто то

де m-кількість одиниць серед чисел y_{i .}.

Оцінкою (методу) максимальної правдоподібності (ММП-оцінкою) називається таке значення , при якому функція правдоподібності досягає свого максимуму. Іншими словами, за оцінку вибирається таке значення , при якому ймовірність спостерігати наявну реалізацію виборки є найбільшою.

Неперервний випадок.

Нехай тепер - реалізація виборки з абсолютно неперервного розподілу зі щільністю . Внаслідок незалежності функція спільної щільності дорівнює Остання функція, якщо її розглядати як функцію параметра називається функцією правдоподібності:

Нехай, наприклад - реалізація незалежної виборки з нормального розподілу з параметрами і . Тоді , а функція правдоподібності набуває вигляду

= .

Як і дискретному випадку, оцінки знаходяться з умови максимізації функції правдоподібності. Зауважимо, що оскільки функція правдоподібності є добутком, то технічно набагато простіше знаходити максимум її логарифму, який досягається при тих самих значеннях параметрів внаслідок монотонності логарифмічної функції

Функція правдоподібності в економетричних моделях

В економетричних моделях спостереження залежної змінної, взагалі кажучі, не є виборкою незалежних однаково розподілених випадкових величин. Тому для знаходження функції спільної щільності пропонується такий підхід. Спочатку слід знайти перетворення вихідної виборки, в результаті якого утворюється незалежна виборка, а потім застосувати формулу щільності для функції випадкових величин. Нехай Якщо існують обернені функції то

де – Якобіан перетворення .

Проілюструємо цей підхід на прикладах.

Проста лінійна регресія.

Нехай в моделі

збурення незалежні і однаково розподілені (i.i.d) з розподілом . Тоді

Перепишемо рівняння моделі в такому вигляді:

,

звідки

Таким чином, матриця перетворення є одиничною. Отже, , а

Ми показали, що функція правдоподібності має вигляд ,

а її логарифм

Запишемо необхідну умову існування екстремуму:

Одержані рівняння називаються рівняннями максимальної правдоподібності. Якщо розписати ці рівняння, неважко побачити, що спочатку знаходяться розв’язки відносно і , а потім відносно . Причому, знаходження розв’язку еквівалентно мінімізації виразу

,

який є знайомою сумою квадратів залишків. Тобто ММП –оцінки параметрів регресії - і у випадку нормально розподілених збурень співпадають з оцінками найменших квадратів. В даному випадку функцію спільної щільності можна було записати безпосередньо, враховуючи той факт, що і незалежні. Другий підхід зручніше використовувати, якщо спостереження залежної змінної незалежні, а перший – якщо залежні.

 

Процес АR(1).

Нагадаємо, що модель має вигляд

,

де , а і мають розподіл . Від перейдемо до Зауважимо, що і незалежні. Для , тому Якобіан перетворення має вигляд .

Отже,

Процес МА (1).

Модель має вигляд

,

де і мають розподіл В цьому випадку .

Однак не спостерігається і не виражається через значення спостережень. Тому в цьому і подібних випадках використовують умовну функцію правдоподібності покладаючи . Оскільки то при , а отже, умовна функція правдоподібності практично не відрізняється від точної функції правдоподібності. Якобіан перетворення також дорівнює 1, тому

.