Метод максимальної правдоподібності

Одним із найбільш універсальних методів одержання оцінок параметрів розподілів генеральної сукупності є метод максимальної правдоподібності.

Основу метода складає функція правдоподібності, яка виражає щільність імовірності (імовірність) сумісної появи результатів вибірки :

(2.30)

Згідно з методом максимальної правдоподібності за оцінку невідомого параметра приймається таке його значення , яке максимізує функцію . Величина , при якій функція правдоподібності досягає максимального значення, називається оцінкою максимальної правдоподібності.

Природність такого підходу до визначення статистичних оцінок випливає із смислу функції правдоподібності, яка при кожному фіксованому значенні параметра є мірою правдоподібності одержання вибірки . Оцінка є такою, що вибірка , яка одержана у результаті спостережень, є найбільш вірогідною. Знаходження оцінки спрощується, якщо максимізувати не саму функцію , a , оскільки максимум обох функцій досягається при одному і тому ж значенні .

Для одержання оцінки максимальної правдоподібності треба розв’язати рівняння:

.

Якщо потрібно оцінити не один, а декілька параметрів , то оцінка максимальної правдоподібності цих параметрів знаходиться із системи рівнянь

Достоїнство методу максимальної правдоподібності полягає у тому, що для широкого класу розподілів він приводить до оцінок, які є слушними, асимптотично ефективними, мають асимптотично нормальний розподіл і, якщо для параметра існує ефективна оцінка, то рівняння правдоподібності має єдиний розв’язок, який співпадає з нею. Однак оцінка максимальної правдоподібності може виявитись зсуненою.

Приклад 2.4. Методом максимальної правдоподібності оцінимо параметр розподілу Пуассона.

Статистична модель. Генеральна сукупність має розподіл Пуассона.

,

де n – кількість випробувань у кожній серії, – кількість появ події у i-й серії . Знайдемо оцінку невідомого параметра по вибірці .

Розв’язання. Складемо функцію правдоподібності.

Визначимо логарифм цієї функції

Прирівнюючи похідну цієї функції по до нуля, одержуємо рівняння правдоподібності

.

Розв’язуючи це рівняння відносно , знаходимо:

Оскільки

то є точкою максимуму функції .

З вищенаведеного одержуємо, що є оцінка максимальної правдоподібності параметра розподілу Пуассона.

Алгоритм у Mathсad

Початкові дані

Моделювання вибірки об’єму із генеральної сукупності розподіленої за законом Пуассона з параметром і одержання варіаційного ряду

Фрагмент варіаційного ряду

Середнє значення

Оцінка параметра розподілу Пуассона

◄

Приклад 2.5. Методом максимальної правдоподібності знайдемо оцінки параметрів і нормального розподілу.

Статистична модель. Вибірка одержана із генеральної сукупності, розподіленої за нормальним законом з параметрами і . Знайдемо оцінки параметрів і методом максимальної правдоподібності за вхідними даними прикладу 2.3.

Розв’язання. Записуємо логарифмічну функцію правдоподібності:

Диференціюючи по і одержуємо систему рівнянь:

,

.

Звідки знаходимо оцінки:

, .

Ці оцінки співпадають з оцінками методу моментів. Вони слушні, причому є незсуненою, а – зсуненою і, як було сказано раніше, – ефективна, – асимптотично ефективна.

Алгоритм у Mathcad знаходження оцінок за методом максимальної правдоподібності аналогічний алгоритму для методу моментів, наведеному у прикладі 2.3. Значення оцінок: ◄

Метод найменших квадратів

Сутність методу найменших квадратів полягає у тому, що оцінки невідомих параметрів розподілу визначаються із умови мінімізації суми квадратів відхилень вибіркових даних від оцінки, що визначається. Наприклад, знайдемо оцінку за методом найменших квадратів для генерального середнього . Згідно з цим методом оцінку знаходимо з умови

(2.31)

Використовуючи необхідну умову екстремуму функції, прирівнюємо до нуля похідну

або

Звідки

(2.32)

Отже, оцінка генеральної середньої є вибіркове середнє

Метод найменших квадратів має широке застосування у практиці статистичних досліджень, оскільки, по-перше, не потребує знання закону розподілу вибіркових даних; по-друге, для нього досить добре розроблений математичний апарат чисельної реалізації.

Метод найменших квадратів застосовується у моделях кореляційного і регресійного аналізу.

2.4.7. Метод мінімуму χ2

Статистична модель. Нехай – вибірка незалежних спостережень над випадковою величиною Х, розподіл якої належить класу розподілів , який залежить від невідомого параметра (можливо векторного – Вибірка одержана при деяких конкретних значеннях цього параметра.

Припустимо, що множина значень Х розбита на інтервалів які не перетинаються. Позначимо через число спостережень у вибірці , які потрапили у інтервал Якщо множина значень Х скінченна, тобто величина приймає лише скінченне число значень, то можна вважати, що одноточкова множина. Таким чином, проведено групування результатів спостережень, у результаті чого одержано інтервальний варіаційний ряд.

Позначимо через імовірність попадання значень випадкової величини Х у -й інтервал. Визначимо величину

(2.33)

яка служить оцінкою параметра на основі даної вибірки . Оскільки ймовірності є функціями вибіркових значень, то і величина є функцією вибірки.

Оцінка називається оцінкою за методом , якщо вона одержана мінімізацією по величини . Якщо -вимірний параметр, то для знаходження оцінки за методом мінімуму одержуємо систему рівнянь

(2.34)

За своїми асимптотичними властивостями оцінки, які визначаються за методом дуже близькі до оцінок максимальної правдоподібності. Наприклад, при деяких умовах з імовірністю 1 є лише один слушний корінь відповідних рівнянь і він дійсно дає абсолютний мінімум величини . При достатньо великому об’ємі вибірки другим членом в (2.34) можна знехтувати. Дійсно, згідно з теоремою Бернуллі, при відносна частота за ймовірністю збігається до ймовірності , тому другий член в (2.34) прямує до 0. Отже, систему рівнянь (2.34) можна замінити близькою до неї системою

Ця система еквівалентна системі

(2.35)

Дійсно

Розбиття гіпотетичного простору Х на інтервалів , що не перетинаються, породжує дискретну випадкову змінну, функція правдоподібності якої є

(2.36)

Отже, система рівнянь (2.34) еквівалентна системі рівнянь

(2.37)