Точечные оценки параметров распределения. Методы моментов, максимального правдоподобия, наименьших квадратов.

Оценка параметра называется точечной, если она выражается одним числом. Задача нахождения точечных оценок – частный случай статистической задачи нахождения оценок параметров функции распределения случайной величины на основании выборки. Любая точечная оценка, вычисленная на основании опытных данных, является их функцией и поэтому сама должна представлять собой случайную величину с распределением, зависящим от распределения исходной случайной величины, в том числе от самого оцениваемого параметра и от числа опытов n. Точечные оценки могут быть состоятельными, несмещенными и эффективными.

Состоятельной называется оценка, которая при увеличении объема выборки стремится по вероятности к ис­тинному значению числовой характеристики.

Несмещенной на­зывается оценка, математическое ожидание которой равно оце­ниваемой числовой характеристике (параметру).Оценка называется эффективной, если ее дисперсия меньше дисперсии любой другой оценки данного параметра, т.е. наиболее эффективной счи­тают ту из нескольких возможных несмещенных оценок, которая имеет наименьшую дисперсию.

Требование несмещенности на прак­тике не всегда целесообразно, так как оценка с небольшим сме­щением и малой дисперсией может оказаться предпочтительнее несмещенной оценки с большой дисперсией. На практике не все­гда удается удовлетворить одновременно все три этих требова­ния, однако выбору оценки должен предшествовать ее критиче­ский анализ со всех перечисленных точек зрения.Наиболее распространенным методом получения оценок явля­ется, метод наибольшего (максимального) правдоподобия, теоретически обоснованный математиком Р. Фишером, который приводит к асимптотически несмещенным и эффективным оценкам с при­ближенно нормальным распределением. Среди других методов мож­но назвать методы моментов и наименьших квадратов.Точечной оценкой математического ожидания результата измерений является среднее арифметическое значение измеряемой величины

При любом законе распределения оно является состоятельной и несмещенной оценкой, а также наиболее эффективной по крите­рию наименьших квадратов.

Точечная оценка дисперсии, определяемая по формуле, является несмещенной и состоятельной.

Ме́тод моме́нтов — метод оценки неизвестных параметров распределений в математической статистике и эконометрике, основанный на предполагаемых свойствах моментов (Пирсон, 1894 г.). Идея метода заключается в замене истинных соотношений выборочными аналогами.

Суть метода: Пусть случайная величина (вектор, матрица и т. д.) X имеет некоторое распределение , зависящее от параметров . Пусть для функций (называемых моментами или моментными функциями) , интегрируемых по мере , выполнены условия на моменты

Пусть — выборка случайной величины X. Предполагается, что соотношения аналогичные условиям на моменты выполнены и для выборки, а именно вместо математического ожидания в условиях на моменты необходимо использовать выборочные средние:

причем в данном представлении (когда справа от равенства — ноль) достаточно использовать просто суммы вместо средних.

Оценки, получаемые из решения этой системы уравнений (выборочных условий на моменты), называются оценками метода моментов. Название метода связано с тем, что чаще всего в качестве функций выступают функции степенного вида, математические ожидания от которых в теории вероятностей и математической статистике принято называть моментами.

Если моментные функции непрерывны, то оценки метода моментов состоятельны.

Преимущества и недостатки метода: В известной мере, при оценке параметров из известного семейства вероятностных распределений, этот метод упраздняется Фишеровским методом максимального правдоподобия, так как максимально правдоподобная оценка имеет большую вероятность оказаться ближе к истинному значению оцениваемой величины.

Тем не менее, в некоторых случаях, например, как выше в случае гамма-распределения, использование метода максимального правдоподобия требует использования компьютеров, в то время как метод моментов может быть быстро и легко реализован вручную.

Оценки, полученные методом моментов, могут быть использованы как первое приближение для метода максимума правдоподобия. Дальнейшее улучшение оценок может быть получено с использованием метода Ньютона-Рафсона.

В некоторых случаях, редких при больших объемах данных и более частых при малом их количестве, оценки, даваемые методом моментов могут оказаться вне допустимой области. Такая проблема никогда не возникает в методе максимального правдоподобия. Также, оценки по методу моментов не обязательно оказываются достаточной статистикой, то есть, они иногда извлекают из данных не всю имеющуюся в них информацию.

Ме́тод максима́льного правдоподо́бия или метод наибольшего правдоподобия (ММП, ML, MLE — англ. maximum likelihood estimation) в математической статистике — это метод оценивания неизвестного параметра путём максимизации функции правдоподобия[1]. Основан на предположении о том, что вся информация о статистической выборке содержится в функции правдоподобия. Метод максимального правдоподобия был проанализирован, рекомендован и значительно популяризирован Р. Фишером между 1912 и 1922 годами (хотя ранее он был использован Гауссом,Лапласом

и другими).

Оценка максимального правдоподобия является популярным статистическим методом, который используется для создания статистической модели на основе данных, и обеспечения оценки параметров модели.

Метод максимального правдоподобия соответствует многим известным методам оценки в области статистики. Например, вы интересуетесь таким антропометрическим параметром, как рост жителей России. Предположим, у вас имеются данные о росте некоторого количества людей, а не всего населения. Кроме того предполагается, что рост является нормально распределённойвеличиной с неизвестной дисперсией и средним значением. Среднее значение и дисперсия роста в выборке являются максимально правдоподобными к среднему значению и дисперсии всего населения.

Для фиксированного набора данных и базовой вероятностной модели, используя метод максимального правдоподобия, мы получим значения параметров модели, которые делают данные «более близкими» к реальным. Оценка максимального правдоподобия даёт уникальный и простой способ определить решения в случае нормального распределения.

Метод оценки максимального правдоподобия применяется для широкого круга статистических моделей, в том числе:

линейные модели и обобщённые линейные модели;факторный анализ;моделирование структурных уравнений;многие ситуации, в рамках проверки гипотезы и доверительного интервала формирования;дискретные модели выбора.

Метод максимального правдоподобия, сокращенно ММП (термин был впервые использован в работе Фишера, 1922) - это общий метод оценивания параметров генеральной совокупности с помощью максимизации функции правдоподобия L выборки.

Функция правдоподобия L есть совместное распределение выборки, которое представляет собой функцию параметра .

- вектор неизвестных параметров модели

Если выборка имеет непрерывное распределение, функция правдоподобия L описывается совместной плотностью распределения

В случае, если элементы выборки имеют дискретное распределение, функция правдоподобия принимает вид

Величину можно считать мерой правдоподобия значения θ при заданной реализации x.

Пусть L - функция правдоподобия выборки; при наблюдаемых значениях - является функцией параметров θ.

Тогда оценками максимального правдоподобия θ называются наиболее правдоподобные значения максимизирующие функцию L.

=

Очевидно, оценки зависят от наблюдений В широких предположениях эти оценки являются оптимальными.

Часто проще искать точку максимума функции , которая совпадает с в силу монотонности логарифма.

Пусть - это элемент пространства Если открытый интервал, а дифференцируема и достигает максимума на то оценки максимального правдоподобия удовлетворяют уравнению

Метод наименьших квадратов является одним из наиболее распространенных и наиболее разработанных вследствие своей простоты и эффективности методов оценки параметров линейных эконометрических моделей. Вместе с тем, при его применении следует соблюдать определенную осторожность, поскольку построенные с его использованием модели могут не удовлетворять целому ряду требований к качеству их параметров и, вследствие этого, недостаточно “хорошо” отображать закономерности развития процесса .

Рассмотрим процедуру оценки параметров линейной эконометрической модели с помощью метода наименьших квадратов более подробно. Такая модель в общем виде может быть представлена уравнением (1.2):

y_t = a₀ + a₁ х_1t +...+ a_n х_nt + ε_t.

Исходными данными при оценке параметров a₀ , a₁ ,..., a_n является вектор значений зависимой переменной y = (y₁, y₂,..., y_T)' и матрица значений независимых переменных

в которой первый столбец, состоящий из единиц, соответствует коэффициенту модели .

Название свое метод наименьших квадратов получил, исходя из основного принципа, которому должны удовлетворять полученные на его основе оценки параметров: сумма квадратов ошибки модели должна быть минимальной.

 

22. Основные распределения в статистике. Квантилии и процентные точки распределения. Распределения хи-квадрат (закон Пирсона), Стьюента, Фишера, гамма-распределение, бета-распределение.

Ряд распределния является одним из видов группировок.

Ряд распределения — представляет собой упорядоченное распределение единиц изучаемой совокупности на группы по определенному варьирующему признаку.В зависимости от признака, положенного в основу образования ряда распределения различают атрибутивные и вариационные ряды распределения:

-Атрибутивными — называют ряды распределения, построенные по качественными признакам.

-Ряды распределения, построенные в порядке возрастания или убывания значений количественного признака называются вариационными.

Вариационный ряд распределения состоит из двух столбцов:В первом столбце приводятся количественные значения варьирующегося признака, которые называются вариантами и обозначаются . Дискретная варианта — выражается целым числом. Интервальная варианта находится в пределах от и до. В зависимости от типа варианты можно построить дискретный или интервальный вариационный ряд.
Во втором столбце содержится количество конкретных вариант, выраженное через частоты или частости:

Частоты — это абсолютные числа, показывающие столько раз в совокупности встречается данное значение признака, которые обозначают . Сумма всех частот равна должна быть равна численности единиц всей совокупности. Частости () — это частоты выраженные в процентах к итогу. Сумма всех частостей выраженных в процентах должна быть равна 100% в долях единице.