Случай непрерывных распределений

       Если случайная величина X  имеет непрерывную плотность распределения , где - параметр распределения, который нужно оценить по выборке реализаций этой случайной величины , то в этом случае функция правдоподобия

.(8.2.1)

Согласно методу наибольшего правдоподобия наилучшей оценкой параметра  является значение, для которого функция правдоподобия (8.2.1) достигает максимума.

       Если функция дифференцируема по , то это значение находится из уравнения

.

Практически удобнее пользоваться логарифмической формой этого уравнения

.                                 (8.2.2)

Это уравнение называется уравнением правдоподобия.

Если плотность распределения случайной величины X имеет два параметра и , то есть имеет вид , то оценки наибольшего правдоподобия находятся из системы двух уравнений

(8.2.3)

Если распределение имеет больше двух параметров, например, , то составляется система из k уравнений правдоподобия:

К сожалению, эти уравнения не всегда дают явные выражения для оценок параметров  и их приходится решать численными методами.

Если область определения плотности  зависит от параметров, то максимум функции правдоподобия может достигаться на границе этой области. В этом случае надо анализировать непосредственно функцию правдоподобия (8.2.1).

 Если уравнение правдоподобия имеет несколько корней, то надо брать то решение, при котором функция правдоподобия максимальна.

Пример 1. Оценим данным методом параметр показательного распределения случайной величины T по выборке ее реализаций .

 В этом случае , а функция правдоподобия

.

Уравнение правдоподобия в этом случае имеет вид:

.

В результате решения этого уравнения получаем, что оценка наибольшего правдоподобия

.                                            (8.2.4)

Интересно отметить, что метод моментов в данном случае дал такое же выражение для оценки параметра .

       Пример 2. Оценим параметры  случайной величины Х, распределенной по нормальному закону с плотностью

по выборке реализаций .

       Функция правдоподобия в этом случае равна

,

а уравнения правдоподобия:

Из первого уравнения получаем, что

.                                                      (8.2.5)

Из второго уравнения получаем, что

.                                (8.2.6)

В данном случае оценки наибольшего правдоподобия совпали с ранее выведенными оценками по методу моментов.

Пример 3. Оценим параметры a и d логарифмически нормального распределения случайной величины T, имеющей плотность распределения

по выборке .

       Функция правдоподобия

.

       Уравнения правдоподобия в данном случае имеют вид:

           .

Из первого уравнения получаем, что

,

откуда получаем оценку для а:

.                                     (8.2.7)

Из второго уравнения получаем:

.                      (8.2.8)

Из выражения (8.2.7) видно, что оценкой для параметра а является среднее геометрическое выборки, а оценкой для d² – выборочная дисперсия для . Эти оценки отличаются от оценок, ранее полученных по методу моментов.

Пример 4. Оценим параметры  и  случайной величины T, имеющей гамма распределение, плотность которого имеет вид:

.

Оценку произведем по выборке .

Функция правдоподобия

.

Уравнения правдоподобия имеют вид:

После упрощающих преобразований получаем следующую систему уравнений:

                              (8.2.9)

Эта система уравнений решается численными методами. Если из первого уравнения определить  и подставить во второе уравнение, то получим уравнение только для :

.

Если учесть, что

, -

среднее арифметическое и среднее геометрическое соответственно, то получим из предыдущего следующее уравнение:

,                             (8.2.10)

Это уравнение может быт решено численно или графически.

Пример 5. Оценим параметры равномерного распределения случайной величины X по выборке .

Плотность равномерного распределения задается следующим образом:

В этом случае функция правдоподобия имеет вид:

Максимум этой функции достигается если

,           (8.2.11)

 

то есть, в качестве оценки для а следует брать наименьшее значение из выборки, а в качестве оценки для b следует брать наибольшее значение из выборки. Интересно отметить, что формулы для оценок существенно отличаются от полученных ранее по методу моментов.

    Пример 6. Оценим параметры  и   распределения Коши, имеющего плотность

,

по выборке .

    Функция правдоподобия

.

Уравнения наибольшего правдоподобия получаются как и прежде в соответствии с (8.2.3):

После упрощающих преобразований получаем для определения параметров  и следующую систему из двух уравнений:

;

.

Эта система имеет только численное решение. Если этих решений окажется несколько, то следует выбрать только то, для которого функция правдоподобия максимальна. Практически может оказаться проще вместо решения отмеченной системы искать максимум функции правдоподобия прямым перебором с малым шагом возможных значений искомых параметров. На практике обычно бывает известна область возможных значений параметров распределения. В простейшем случае, исходя из требуемой точности расчета, задается шаг изменения параметров и затем в цикле по значениям параметров в отмеченной области рассчитывается функция правдоподобия и выбирается то значение параметров, при котором эта функция максимальна.

Особенность распределения Коши, как уже отмечалось раньше, состоит в том, что для него все моменты, включая и математическое ожидание, бесконечны. Поэтому метод моментов к этому распределению не применим.

Пример 7. Применим метод наибольшего правдоподобия для оценки параметров распределения Фреше, для которого, как уже отмечалось, не все моменты конечны и метод моментов может дать ошибочное решение из-за того, что выборочные моменты всегда конечны. Плотность распределения

.

Оценим параметры a и b по выборке .

Функция правдоподобия

.

Логарифм функции правдоподобия

.

Уравнения правдоподобия:

.

.

После упрощающих преобразований получаем для определения параметров a и b следующую систему из двух уравнений:

;

,

которая решается численно.

 

    8.3.Другие методы оценки параметров

       Метод сравнения квантилей. При этом методе уравнения для оценки параметров составляют путем сравнения квантилей статистического и теоретического распределений. Если распределение имеет один параметр, то достаточно сравнить статистическую  и теоретическую медианы. Напоминаем, что медиана – это квантиль порядка 0.5. Таким образом, в этом случае параметр оценивается путем решения уравнения

.

Напоминаем, что  находится из уравнения

,

а

,

то есть  - средний член вариационного ряда, если N нечетно,и

,

если N четно.

       Пример 1. Пусть случайная величина X показательное распределение, то есть

,

тогда a находится из уравнения

,

а именно

.

Если параметров два, то приравниваются значения двух квантилей, например,

.

Напоминаем, что квантиль порядка γ определяется из уравнения

.

       Пример 2. Случайная величина X имеет функцию распределения

 

,

тогда для оценки параметров ρ,α получаем систему из двух уравнений:

которая легко решается. Этот метод в данном случае приводит к более простому решению, чем метод моментов или метод наибольшего правдоподобия. Следует однако отметить, что с точки зрения точности оценки параметров этот метод уступает методу наибольшего правдоподобия.

Метод вероятностной бумаги.