Метод максимального правдоподобия

Для построения точечных оценок в статистике применяют различные методы: метод максимального правдоподобия, метод моментов, метод наименьших квадратов. Ограничимся первым из них.

Пусть X – случайная величина, которая в результате n независимых опытов приняла значения: , и пусть закон распределения X  известен, но с точностью до некоторого параметра a, от которого он зависит. Требуется найти подходящую точечную оценку  параметра a.

Введем обозначение:  и составим функцию L, равную произведению вероятностей независимых событий  то есть вероятности их совместного осуществления:

Функция  аргумента a ( фиксированные числа) называется функцией правдоподобия дискретной случайной величины X.

Идея метода заключается в том, что в качестве точечной оценки параметра a принимается такое значение , при котором функция правдоподобия принимает максимальное значение. Действительно, в экспериментах реализуются обычно именно те значения  случайной величины X, вероятность которых максимальна.

Оценку   называют оценкой максимального правдоподобия.

Для отыскания максимума функции правдоподобия применяются обычные правила отыскания экстремума функции:

Решается уравнение  (его называют уравнением правдоподобия), затем вычисляется вторая производная   Если она при   отрицательна, то  - точка максимума. Найденную точку максимума  и принимают за оценку наибольшего правдоподобия параметра a.

Замечания.

1. Функции L и lnL достигают максимума при одном и том же значении параметра a Поэтому вместо отыскания максимума функции L часто ищут максимум функции lnL – логарифмической функции правдоподобия, что оказывается удобнее.

2. Для непрерывной случайной величины X функцией правдоподобия называется функция параметра a вида:

где  - плотность вероятностей.

Оценка максимального правдоподобия неизвестного параметра распределения непрерывной случайной величины строится так же, как и для дискретной случайной величины.

Пример. Найти методом максимального правдоподобия оценки параметров a и   нормального закона распределения:

,

если значения, принятые случайной величиной X  в результате n испытаний равны: .

Так как нормальный закон распределения характеризуется двумя параметрами   и   то функция правдоподобия будет функцией двух переменных:

Логарифмируя это выражение, получим:

Частные производные от логарифмической функции правдоподобия по a и   равны:

Поэтому система уравнений правдоподобия примет вид

или

Решая эту систему, получим:

Следовательно, искомые оценки максимального правдоподобия будут: