Метод максимального правдоподобия

    Метод максимального правдоподобия является одним из наиболее универсальных методов оценивания неизвестных параметров распределений.

Пусть   - выборка из генеральной совокупности, имеющей функцию распределения , зависящую от неизвестного скалярного параметра  (задана параметрическая модель наблюдений).

Если закон распределения наблюдаемой случайной величины  является непрерывным, т.е. существует плотность вероятностей , то функция

,

рассматриваемая при фиксированной выборке  как функция параметра , называется функцией правдоподобия.

Если наблюдаемая случайная величина  имеет дискретный закон распределения, задаваемый вероятностями , то функция правдоподобия определяется равенством:

.

    Оценкой максимального правдоподобия  параметра называется такое значение параметра , при котором функция правдоподобия  при заданной выборке  достигает максимума:

При фиксированном  функция правдоподобия задает закон распределения случайного вектора , координаты которого  являются копиями наблюдаемой случайной величины :

 в случае непрерывном;

  в случае дискретном.

Поэтому смысл метода максимального правдоподобия заключается в том, что в качестве оценки выбирается такое значение параметра , при котором вероятность получения данных выборочных значений , как реализации случайного вектора , максимальна.

Если функция правдоподобия  дифференцируема по , то оценку максимального правдоподобия  можно найти, решив относительно   уравнение правдоподобия

,

естественно, убедившись при этом, что решение доставляет функции правдоподобия именно максимум.

    Часто бывает удобнее исследовать на экстремум не функцию правдоподобия , а ее логарифм . Поскольку функции  и  имеют максимум в одной и той же точке в силу монотонного возрастания логарифмической функции, то оценку максимального правдоподобия  можно найти также, решив относительно  равносильное уравнение правдоподобия

.

       Если параметр  является векторным, то для отыскания оценки максимального правдоподобия  следует решить систему уравнений правдоподобия   

или равносильную систему уравнений

Все изложенные результаты остаются в силе и при оценивании не самого параметра , а некоторой параметрической функции .

    Ценность оценок максимального правдоподобия обусловлена следующими их свойствами, справедливыми при весьма общих предположениях (без доказательства):

- оценка максимального правдоподобия  является состоятельной оценкой неизвестного параметра : ;

- оценка максимального правдоподобия  является асимптотически эффективной оценкой неизвестного параметра : , где
 - эффективная оценка параметра ;

- оценка максимального правдоподобия  является асимптотически нормальной оценкой неизвестного параметра , т.е. при соответствующей нормировке закон распределения оценки максимального правдоподобия  является нормальным:  Это свойство очень важно для нахождения вероятностей отклонения оценки от истинного значения параметра.

    Однако метод максимального правдоподобия не всегда приводит к несмещенным оценкам и уравнения (системы уравнений) для нахождения оценок максимального правдоподобия могут решаться довольно сложно.

    Пример 1. Наблюдаемая случайная величина  имеет нормальный закон распределения с неизвестным математическим ожиданием  и известной дисперсией , то есть имеет плотность вероятностей вида: . Найти по выборке  оценку максимального правдоподобия параметра .

    Решение. Найдем функцию правдоподобия:

.

    Найдем логарифм функции правдоподобия:

.

    Составим уравнение правдоподобия:

.

    Решение уравнения правдоподобия :

, откуда .

    Таким образом, в нормальной модели  оценка максимального правдоподобия  является несмещенной, состоятельной и эффективной оценкой неизвестного математического ожидания .

    Заметим, что к тому же результату в данной модели приводит и метод моментов, но существенно проще:

, то есть .

    Пример 2. Наблюдаемая случайная величина  имеет нормальный закон распределения с известным математическим ожиданием  и неизвестной дисперсией , то есть имеет плотность вероятностей вида: . Найти по выборке  оценку максимального правдоподобия параметра .

    Решение. Найдем функцию правдоподобия:

.

    Найдем логарифм функции правдоподобия:

.

    Составим уравнение правдоподобия:

.

    Решение уравнения правдоподобия :

, откуда .

    Таким образом, в нормальной модели  оценка максимального правдоподобия  является несмещенной, состоятельной и эффективной оценкой неизвестной дисперсии  (показать самостоятельно!).

    Заметим, что к тому же результату в данной модели приводит и метод моментов, но существенно проще:

, то есть .

 

    Пример 3. Наблюдаемая случайная величина  имеет нормальный закон распределения с неизвестным математическим ожиданием  и неизвестной дисперсией , то есть имеет плотность вероятностей вида: . Найти по выборке  оценку максимального правдоподобия параметра .

    Решение. Найдем функцию правдоподобия:

.

    Найдем логарифм функции правдоподобия:

.

    Для нахождения оценки максимального правдоподобия двумерного параметра  составим систему уравнений правдоподобия:

.

    Решение системы уравнений правдоподобия:

    Таким образом, в общей нормальной модели  оценка максимального правдоподобия . При этом, выборочное среднее  является несмещенной, состоятельной и эффективной оценкой неизвестного математического ожидания , а выборочная дисперсия  является асимптотически несмещенной, состоятельной и асимптотически эффективной оценкой неизвестной дисперсии .

    Заметим, что к тому же результату в данной модели приводит и метод моментов, но существенно проще:

, то есть .

Пример 4. Наблюдаемая случайная величина  имеет закон распределения Пуассона  с неизвестным параметром :

.

Найти по выборке  оценку максимального правдоподобия параметра .

Решение. Найдем функцию правдоподобия:

    Найдем логарифм функции правдоподобия:

.

    Составим уравнение правдоподобия:

.

    Решение уравнения правдоподобия :

, откуда .

    Заметим, что к такому же результату в данной модели приводит и метод моментов.