Парадокси методу максимальної правдоподібності

Історія парадоксу

Метод максимальної правдоподібності є одним з найбільш ефективних методів оцінювання невідомих параметрів. Він здобув поширення в двадцяті роки нашого століття завдяки роботам англійського статистика Р. Фішера. І хоча у Фішера були попередники, саме його робота, написана в 1912 р., зіграла в цьому вирішальну роль. Нехай у ймовірнісного розподілу (залежного від невідомого параметра ) існує щільність, яку позначимо через . Якщо елементи вибірки  незалежні, то їх спільна щільність запишеться у вигляді .

Нехай числа  - вибіркові значення. Тоді  є оцінкою максимальної правдоподібності параметра , якщо  максимізує добуток  як функцію від  (припустимо, що максимум існує й єдиний). В разі дискретних випадкових величин  максимізуємо спільний розподіл .

Якщо ми оцінюємо  за методом максимальної правдоподібності, то ймовірність того, що спостерігатимуться значення  стає максимальною.

Оцінка максимальної правдоподібності володіє низкою добрих властивостей, і тому відповідний метод набув широкого поширення. Наприклад, якщо  є оцінкою максимальної правдоподібності параметра , то  - оцінка максимальної правдоподібності для .

Можна також довести, що за достатньо загальних умов оцінка максимальної правдоподібності  асимптотично поводиться як нормально розподілена випадкова величина з середнім значенням  і дисперсією , отже,  - спроможна оцінка, і її дисперсія асимптотично мінімальна (тобто сама оцінка  асимптотично ефективна).

Більш того, якщо достатня статистика існує, то метод максимальної правдоподібності приведе до функції від цієї достатньої статистики.

Парадокси

2.8.2.1 Нехай  - незалежні випадкові величини, рівномірно розподілені на інтервалі . Оцінка максимальної правдоподібності невідомого параметра q дорівнює . Трохи змінивши її, отримаємо

 

,

 

незміщену оцінку для  з дисперсією

 

.

 

З іншого боку, дисперсія оцінки

 

 

асимптотично еквівалентна , отже, ця оцінка більш ефективна, ніж оцінка максимальної правдоподібності.

2.8.2.2 Наведемо простий приклад, який показує, що оцінка максимальної правдоподібності не завжди спроможна. Нехай  - множина раціональних чисел між , а В - деяка зліченна множина ірраціональних чисел між . Припустимо, що значеннями незалежних елементів вибірки  є тільки , причому значення 1 набувається з імовірністю , якщо  - елемент множини А, і з імовірністю , якщо  - елемент В. Тоді оцінка максимальної правдоподібності для  не є спроможною. Хоча дещо складніша спроможна оцінка для  все ж існує.

Пояснення парадоксів

2.8.3.1 Статистики

 

 

в сукупності містять всю інформацію про параметр ; точніше, при заданих  і  спільна щільність ймовірностей величин  не залежить від  (тобто  і  в сукупності утворюють достатню статистику). Таким чином, природно вважати, що як оцінка максимальної правдоподібності, так і оцінка, яка виявилась кращою, залежать лише від  і . Оскільки оцінка максимальної правдоподібності залежить тільки від статистики , яка не є достатньою (вона не містить всю інформацію про ), недивно, що знайшлася краща оцінка. Це не суперечить асимптотичній ефективності оцінки максимальної правдоподібності, оскільки у випадку рівномірного розподілу “загальні умови", які забезпечують ефективність, не виконані.

2.8.3.2 Пояснення досить просте: оцінка максимальної правдоподібності для   є частота , яка прямує до  для ірраціональних .

Нехай

 

1. , якщо , тобто ,

2. , якщо , тобто .

,

 

Розглянемо (1) випадок.

 

, . (2.8 3.2.1)

 

Логарифмуємо вираз (2.8 3.2.1):

 

. (2.8 3.2.2)

 

Беремо частинну похідну за параметром :

 

. (2.8 3.2.3)

 

Приводимо подібні доданки:

 

, .

 

 - оцінка максимальної правдоподібності для , якщо .

Знаходимо математичне сподівання оцінки :

 

 (2.8 3.2.4)

 

Для будь-якого

 

:

 

 - спроможна оцінка для параметра , .

Розпишемо аналогічно для другого випадку.

 

, . (2.8 3.2.5)

 

Логарифмуємо вираз

 

.

 

Беремо частинну похідну за параметром :

 

. (2.8 3.2.6)

 

Приводимо подібні доданки:

 

, .

 

 - оцінка максимальної правдоподібності для , якщо

 

: .

 

Знаходимо математичне сподівання оцінки :

 

,

 

 - незміщена оцінка для параметра , якщо

Для будь-якого :

 

.

 

 - спроможна оцінка для параметра ,  для .

Оцінка для параметра  у випадках  та  різні:

 

, якщо

І , якщо .