Байесовский подход к получению оценок.

Пусть (Y, X) – случайный вектор, для которого известна плотность р(у|x) условного распреде-ления Y при каждом значении Х = х. Если в результате эксперимента получены лишь значения Y, а соответствующие значения Х неизвестны, то для оценки некоторой заданной функции φ(х) в качестве ее приближенного значения предлагается искать условное математическое ожидание М (φ‌‌(х)‌‌‌‌‌‌|Y), вычисляемое по формуле:

, где, р(х) – плотность безусловного распределения Х, q(y) – плотность безусловного распределения Y. Задача может быть решена только тогда, когда известна р(х). Иногда, однако, удается построить состоятельную оценку для q(y), зависящую только от полученных в выборке значений Y.

Вопрос 17. Закон больших чисел.

 

Закон больших чисел. Неравенство Чебышева. Теоремы Чебышева и Бернулли.

Изучение статистических закономерностей позволило установить, что при некоторых условиях суммарное поведение большого количества случайных величин почти утрачи-вает случайный характер и становится закономерным (иначе говоря, случайные отклоне-ния от некоторого среднего поведения взаимно погашаются). В частности, если влияние на сумму отдельных слагаемых является равномерно малым, закон распределения суммы приближается к нормальному. Математическая формулировка этого утверждения дается в группе теорем, называемой законом больших чисел.

Неравенство Чебышева, используемое для доказательства дальнейших теорем, справед-ливо как для непрерывных, так и для дискретных случайных величин. Докажем его для дискретных случайных величин.

Теорема 17.1(неравенство Чебышева). p( | X – M (X)| < ε) ≥ D (X) / ε². (17.1)

Доказательство. Пусть Х задается рядом распределения

Х	х 1	х 2	…	хп
р	р 1	р 2	…	рп

Так как события | X – M (X)| < ε и | X – M (X)| ≥ ε противоположны, то р (| X – M (X)| < ε) + + р (| X – M (X)| ≥ ε) = 1, следовательно, р (| X – M (X)| < ε) = 1 - р (| X – M (X)| ≥ ε). Найдем р (| X – M (X)| ≥ ε).

D (X) = (x ₁ – M (X))² p ₁ + (x ₂ – M (X))² p ₂ + … + (x_n – M (X))² p_n. Исключим из этой суммы те слагаемые, для которых | X – M (X)| < ε. При этом сумма может только уменьшиться, так как все входящие в нее слагаемые неотрицательны. Для определенности будем считать, что отброшены первые k слагаемых. Тогда

D (X) ≥ (x_{k+ 1} – M (X))² p_{k+ 1} + (x_{k+ 2} – M (X))² p_{k +2} + … + (x_n – M (X))² p_n ≥ ε² (p_{k+ 1} + p_{k+ 2} + … + p_n).

Отметим, что p_{k+ 1} + p_{k+ 2} + … + p_n есть вероятность того, что | X – M (X)| ≥ ε, так как это сумма вероятностей всех возможных значений Х, для которых это неравенство справедливо. Следовательно, D (X) ≥ ε² р (| X – M (X)| ≥ ε), или р (| X – M (X)| ≥ ε) ≤ D (X) / ε². Тогда вероятность противоположного события p( | X – M (X)| < ε) ≥ D (X) / ε², что и требо-валось доказать.

Теоремы Чебышева и Бернулли.

Теорема 17.2 (теорема Чебышева). Если Х ₁, Х ₂,…, Х_п – попарно независимые случайные величины, дисперсии которых равномерно ограничены (D (X_i) ≤ C), то для сколь угодно малого числа ε вероятность неравенства

 

будет сколь угодно близка к 1, если число случайных величин достаточно велико.

Замечание. Иначе говоря, при выполнении этих условий

 

Доказательство. Рассмотрим новую случайную величину и найдем ее математическое ожидание. Используя свойства математического ожидания, получим, что
.
Применим к неравенство Чебышева:

Так как рассматриваемые случайные величины независимы, то, учитывая условие теоремы, имеем: Используя этот результат, представим предыдущее неравенство в виде:

Перейдем к пределу при: Поскольку вероятность не может быть больше 1, можно утверждать, что

Теорема доказана.

Следствие: Если Х ₁, Х ₂, …, Х_п – попарно независимые случайные величины с равномерно ограничен-ными дисперсиями, имеющие одинаковое математическое ожидание, равное а, то для любого сколь угодно малого ε > 0 вероятность неравенства будет как угодно близка к 1, если число случайных величин достаточно велико. Иначе говоря,.

Вывод: среднее арифметическое достаточно большого числа случайных величин прини-мает значения, близкие к сумме их математических ожиданий, то есть утрачивает характер случайной величины. Например, если проводится серия измерений какой-либо физической величины, причем: а) результат каждого измерения не зависит от результатов остальных, то есть все результаты представляют собой попарно независимые случайные величины; б) измерения производятся без систематических ошибок (их математические ожидания равны между собой и равны истинному значению а измеряемой величины); в) обеспечена определенная точность измерений, следовательно, дисперсии рассматривае-мых случайных величин равномерно ограничены; то при достаточно большом числе измерений их среднее арифметическое окажется сколь угодно близким к истинному значению измеряемой величины.

Теорема Бернулли.

Теорема 17.3 (теорема Бернулли). Если в каждом из п независимых опытов вероятность р появления события А постоянна, то при достаточно большом числе испытаний вероят-ность того, что модуль отклонения относительной частоты появлений А в п опытах от р будет сколь угодно малым, как угодно близка к 1:

(17.2)

Доказательство. Введем случайные величины Х ₁, Х ₂, …, Х_п, где X_i – число появлений А в i -м опыте. При этом X_i могут принимать только два значения: 1(с вероятностью р) и 0 (с вероятностью q = 1 – p). Кроме того, рассматриваемые случайные величины попарно независимы и их дисперсии равномерно ограничены (так как D (X_i) = pq, p + q = 1, откуда pq ≤ ¼). Следовательно, к ним можно применить теорему Чебышева при M_i = p:

.

Но, так как X_i принимает значение, равное 1, при появлении А в данном опыте, и значение, равное 0, если А не произошло. Таким образом,

 

что и требовалось доказать.

Замечание. Из теоремы Бернулли не следует, что Речь идет лишь о вероятно-сти того, что разность относительной частоты и вероятности по модулю может стать сколь угодно малой. Разница заключается в следующем: при обычной сходимости, рассматриваемой в математическом анализе, для всех п, начиная с некоторого значения, неравенство выполняется всегда; в нашем случае могут найтись такие значения п, при которых это неравенство неверно. Этот вид сходимости называют сходимостью по вероятности.

 

Вопрос 18. Основные свойства плотностей и интегральных плотностей.

 

СМ. ВОПРОС № 14!

 

Вопрос 19. Дисперсия, мода, медиана и их свойства.

 

Некоторые числовые характеристики одномерных случайных величин: начальные и центральные моменты, мода, медиана, квантиль, коэффициенты асимметрии и эксцесса. Числовые характеристики двумерных случайных величин: начальные и центральные моменты. Корреляционный момент и коэффициент корреляции. Коррелированность и зависимость случайных величин.

Определение 9.1. Начальным моментом порядка k случайной величины Х называется матема-тическое ожидание величины X^k:

ν _k = M (X^k). (9.1)

В частности, ν₁ = М (Х), ν₂ = М (Х ²). Следовательно, дисперсия D (X) = ν₂ – ν₁².

Определение 9.2. Центральным моментом порядка k случайной величины Х называется мате-матическое ожидание величины (Х – М (Х)) ^k:

μ _k = M ((Х – М (Х)) ^k). (9.2)

В частности, μ₁ = M (Х – М (Х)) = 0, μ₂ = M ((Х – М (Х))²) = D (X).

Можно получить соотношения, связывающие начальные и центральные моменты:

 

 

Мода и медиана.

Такая характеристика случайной величины, как математическое ожидание, называется иногда характеристикой положения, так как она дает представление о положении случайной величии-ны на числовой оси. Другими характеристиками положения являются мода и медиана.

Определение 9.3. Модой М дискретной случайной величины называется ее наиболее вероятное значение, модой М непрерывной случайной величины – значение, в котором плотность вероятности максимальна.

Пример 1.

Если ряд распределения дискретной случайной величины Х имеет вид:

Х
р	0,1	0,7	0,15	0,05

то М = 2.

Пример 2.

Для непрерывной случайной величины, заданной плотностью распределения, модой является абсцисса точки максимума: М = 0.

Замечание 1. Если кривая распределения имеет больше одного максимума, распределение называется полимодальным, если эта кривая не имеет максимума, но имеет минимум – анти-модальным.

Замечание 2. В общем случае мода и математическое ожидание не совпадают. Но, если распре-деление является симметричным и модальным (то есть кривая распределения симметрична от-носительно прямой х = М) и имеет математическое ожидание, оно совпадает с модой.

Определение 9.4. Медианой Ме непрерывной случайной величины называют такое ее значение, для которого

p (X < Me) = p (X > Me). (9.3)

Графически прямая х = Ме делит площадь фигуры, ограниченной кривой распределения, на две равные части.

Замечание. Для симметричного модального распределения медиана совпадает с математичес-ким ожиданием и модой.

Определение 9.5. Для случайной величины Х с функцией распределения F (X) квантилью порядка р (0 < p < 1) называется число К_р такое, что F (K_p) ≤ p, F (K_p + 0) ≥ p. В частности, если F (X) строго монотонна, К_р: F (K_p) = p.

Асимметрия и эксцесс.

Если распределение не является симметричным, можно оценить асимметрию кривой распреде-ления с помощью центрального момента 3-го порядка. Действительно, для симметричного распределения все нечетные центральные моменты равны 0 (как интегралы от нечетных функ-ций в симметричных пределах), поэтому выбран нечетный момент наименьшего порядка, не тождественно равный 0. Чтобы получить безразмерную характеристику, его делят на σ³ (так как μ₃ имеет размерность куба случайной величины).

Определение 9.6. Коэффициентом асимметрии случайной величины называется

. (9.4)

 

Рис.1. Рис.2.

В частности, для кривой, изображенной на рис.1, S_k > 0, а на рис.2 - S_k < 0.

Для оценки поведения кривой распределения вблизи точки максимума (для определения того, насколько «крутой» будет его вершина) применяется центральный момент 4-го порядка.

Определение 9.7. Эксцессом случайной величины называется величина

(9.5)

Замечание. Можно показать, что для нормального распределения, и, соответственно, Ех = 0. Для кривых с более острой вершиной Ех > 0, в случае более плоской вершины Ех < 0.

 

Числовые характеристики двумерных случайных величин.

Такие характеристики, как начальные и центральные моменты, можно ввести и для системы двух случайных величин.

Определение 9.8. Начальным моментом порядка k, s двумерной случайной величины (Х, Y) называется математическое ожидание произведения X^k на Y^s:

α _k,s = M (X^kY^s). (9.6)

Для дискретных случайных величин для непрерывных случайных величин

Определение 9.9. Центральным моментом порядка k, s двумерной случайной величины (Х, Y) называется математическое ожидание произведения (X – M (X)) ^k на (Y – M (Y)) ^s:

μ _k,s = M ((X – M (X)) ^k (Y – M (Y)) ^s). (9.7)

Для дискретных случайных величин для непрерывных случайных величин

При этом М (Х) = α_1,0, M (Y) = α_0,1, D (X) = μ_2,0, D (Y) = μ_0,2.

 

Корреляционный момент и коэффициент корреляции.

Определение 9.10. Корреляционным моментом системы двух случайных величин называется второй смешанный центральный момент:

K_xy = μ_1,1 = M ((X – M (X))(Y – M (Y))). (9.8)

Для дискретных случайных величин для непрерывных случайных величин

Безразмерной характеристикой коррелированности двух случайных величин является коэффициент корреляции

. (9.9)

Корреляционный момент описывает связь между составляющими двумерной случайной вели-чины. Действительно, убедимся, что для независимых Х и Y K_xy = 0. В этом случае f (x,y) = =f ₁(x) f ₂(y), тогда

 

Итак, две независимые случайные величины являются и некоррелированными. Однако понятия коррелированности и зависимости не эквивалентны, а именно, величины могут быть зависимы-ми, но при этом некоррелированными. Дело в том, что коэффициент корреляции характеризует не всякую зависимость, а только линейную. В частности, если Y = aX + b, то r_xy = ±1. Найдем возможные значения коэффициента корреляции.

Теорема 9.1.

Доказательство. Докажем сначала, что Действительно, если рассмотреть случай-ную величину и найти ее дисперсию, то получим:. Так как дисперсия всегда неотрицательна, то откуда Отсюда что и требовалось доказать.