Метод максимального правдоподобия

 

Метод максимального правдоподобия является наиболее распространенным методом нахождения оценок. Метод максимального правдоподобия опирается на использование условий экстремума функций одной или нескольких случайных величин. В качестве такой функции используется функция правдоподобия.

Определение. Функцией правдоподобия называется функция

(8.3.1)

в дискретном случае и

(8.3.2)

в непрерывном случае.

В функции правдоподобия элементы выборки являются фиксированными параметрами, а — аргументом.

Определение. Оценкой максимального правдоподобия называется такое , для которого

. (8.3.3)

Поскольку и принимают максимум при одном и том же значении аргумента , то при практической реализации метода максимального правдоподобия удобно использовать не саму функцию правдоподобия, а ее логарифм.

Определение. Уравнением правдоподобия называется уравнение

. (8.3.4)

В случае, когда теоретическая функция распределения зависит от нескольких параметров , при применении метода максимального правдоподобия вместо уравнения (8.3.4) необходимо использовать систему уравнений

(8.3.5)

Пример 4. Найти оценки параметров (математическое ожидание) и (дисперсия) нормального закона распределения.

m Решение. Нормальный закон распределения характеризуется плотностью распределения

.

Функция правдоподобия примет вид:

(8.3.6)

Логарифмируя выражение (8.3.6), получим

. (8.3.7)

Подставляя (8.3.7) в систему (8.3.5), получим

(8.3.8)

Из первого уравнения системы (8.3.8) получаем

, (8.3.9)

а из второго уравнения системы (8.3.8), с учетом (8.3.9), получаем

.

Следует отметить, что полученная оценка является смещенной.

Читателю предлагается самостоятельно показать, что и доставляют максимум функции правдоподобия . l

 

Интервальные оценки (доверительные интервалы)

 

Статистическая оценка некоторого параметра распределения наблюдаемой случайной величины , будучи функцией случайной выборки (статистикой), сама является случайной величиной, имеющей свой закон распределения и числовые характеристики (параметры) распределения. При малом числе наблюдений могут возникнуть следующие задачи:

§ к каким ошибкам может привести замена параметра его точечной оценкой ;

§ с какой степенью надежности можно ожидать, что получаемые ошибки не выйдут за известные пределы.

Определение. Интервальной оценкой (доверительным интервалом) называется числовой интервал , определяемый по результатам выборки, относительно которого можно утверждать с определенной, близкой к единице, вероятности, что он заключает в себе значение оцениваемого параметра генеральной совокупности, т.е.

, (8.4.1)

где и — нижняя и верхняя (левая и правая) границы доверительного интервала параметра , — доверительная вероятность.

Доверительная вероятность и уровень значимости связаны соотношением

.(8.4.2)

По заданной оценке и заданной доверительной вероятности доверительные интервалы можно построить различными способами. На практике обычно используются два типа доверительных интервалов:

§ двусторонние;

§ односторонние.

Ограничимся нахождением двусторонних доверительных интервалов. Односторонние доверительные интервалы находятся аналогично.

Для каждой доверительной вероятности можно указать такое значение , что

. (8.4.3)

Определение. Величину , равную половине ширины доверительного интервала, называют точностью оценки.

Определение. Квантилем уровня некоторого распределения называется такое число , при котором значение соответствующей функции распределения равно , т.е.

. (8.4.4)

Теорема. Пусть плотность случайной величины симметрична относительно оси , и пусть . Тогда — квантиль уровня распределения случайной величины .

Доказательство.

,

т.к. ввиду симметричности закона распределения относительно оси выполнено равенство . Отсюда следует, что

и . n

 

Рассмотрим теперь правила построения доверительных интервалов для некоторых параметров распределения.