Кафедра «Автоматизированные станочные системы»

Политехнический институт

Кафедра «Автоматизированные станочные системы»

 

Пасько Н.И.

профессор, доктор технических наук

 

КОНСПЕКТ ЛЕКЦИЙ

по дисциплине

 

Т еория вероятностей и математическая статистика

 

 

Направления подготовки: 230100 -«Информатика и вычислительная

 техника»

 

 

Тула 2012 г.

 

 

Содержание

Введение

Предмет теории вероятностей и математической статистики

Краткие исторические сведения

Основные понятия теории вероятностей

Событие. Вероятность события

Непосредственный подсчет вероятностей

Основные формулы комбинаторики

Частота и статистическая вероятность события

Случайная величина

Основные теоремы теории вероятностей

События как множества и операции над ними

Теорема сложения вероятностей

Теорема умножения вероятностей

    3.4.Формула полной вероятности.

    3.5.Формула Бейеса или теорема гипотез.

4.Случайные величины и их законы распределения

Ряд распределения

Функция распределения

Плотность распределения

5.Числовые характеристики случайных величин

Характеристики положения

Моменты, дисперсия, квадратичное отклонение

Закон равномерной плотности

Распределение Симпсона

Биномиальное распределение

Распределение Пуассона

Геометрическое распределение

Биномиальное распределение

Распределение Пуассона

Геометрическое распределение

Распределение Паскаля

Гипергеометрическое распределение

Формула Стирлинга

6.Непрерывные распределения

Нормальное распределение

Показательное распределение

Логарифмически нормальное распределение

7.Статистическая оценка параметров распределения

Статистическая функция распределения

Статистический ряд. Гистограмма

Числовые характеристики распределения

Оценка параметров распределения

8.Метод наибольшего правдоподобия

Случай дискретных распределений

Случай непрерывных распределений

    8.3.Другие методы оценки параметров

9.Проверка статистических гипотез

Вводные замечания

Проверка гипотезы о законе распределения

10.Системы случайных величин

    10.1.Понятие о системе случайных величин

Двумерные случайные величины и их законы распределения

Плотность распределения двумерной случайной величины

Условные законы распределения

Зависимость и независимость случайных величин

Числовые характеристики двумерных случайных величин

11.Двумерный нормальный закон распределения

12.Числовые характеристики функций случайных величин

    12.1.Математическое ожидание и дисперсия функции

Теоремы о числовых характеристиках

13.Распределение функции случайных аргументов

Распределение функции одного аргумента

Распределение суммы случайных величин

Распределение суммы нормально распределенных случайных величин

14.Предельные теоремы

Понятие о законе больших чисел

Неравенство Чебышева

Закон больших чисел Чебышева

Центральная предельная теорема

 

Введение

Основные понятия теории вероятностей

Случайная величина

       Случайная величина – это важнейшее понятие теории вероятностей. Случайной величиной называется величина, которая в результате опыта может принимать то или иное заранее не известное значение. Если возможные значения можно пронумеровать, то случайная величина называется дискретной, если значением случайной величины может быть любое действительное число в заданном диапазоне, то случайную величину называют непрерывной.

       Например:

• число бракованных деталей в партии из M деталей – дискретная (целочисленная) случайная величина, она может принимать значения 0, 1, 2,…, M;
• диаметр обработанной детали на станке автомате является непрерывной случайной величиной, так как может принимать любые значения в пределах поля допуска и за пределами поля допуска, в случае бракованной детали;
• случайное событие тоже можно рассматривать как дискретную случайную величину, которая может принимать только два значения: 0 – если в результате опыта событие не произошло, и 1 – если событие произошло.

 

Ряд распределения

Случайной величиной, как уже отмечалось, называется величина, которая в результате опыта может принимать то или иное заранее не известное значение. Если возможные значения можно пронумеровать, то случайная величина называется дискретной, если значением случайной величины может быть любое действительное число в заданном диапазоне, то случайную величину называют непрерывной.

 К дискретным величинам можно отнести число попаданий в цель, число очков при бросании кости, число сгоревших радиоэлементов в приборе и т. д. К непрерывным величинам можно отнести координаты точки попадания, ошибку прибора, время работы устройства и т. п.

Условимся в дальнейшем случайные величины обозначать большими буквами, а их конкретные значения – соответствующими малыми буквами. Рассмотрим, например, дискретную случайную величину Х, которая может принимать значения

с вероятностью

.

Так как события  несовместимы, то они образуют полную группу и сумма вероятностей всех возможных событий равна, то есть

Эта суммарная вероятность каким-то образом распределена между отдельными значениями. Для полного описания данной случайной величины нужно задать её закон распределения.

Законом распределения случайной величины называется всякое соотношение, устанавливающее связь между возможными значениями случайной величины и соответствующими им вероятностями.

Закон распределения может быть задан в виде таблицы (ряда распределения):

X	x1	x2	…	xn
P	p1	p2	…	pn

 

 

или в виде графика (многоугольника распределения):

Рис.4.1.1.Многоугольник (полигон) дискретного распределения.

 

Для изображения распределения дискретной случайной величины применяют также столбчатые диаграммы (см. рис.4.1.2).

       Рис.4.1.2. Столбчатая (решетчатая) диаграмма распределения дискретной случайной величины.

 

Пример. Стрелок производит 3 выстрела по мишени. Вероятность попадания при каждом выстреле 0,4. За каждое попадание стрелку засчитывается 5 очков. Построить ряд распределения числа выбитых очков.

Решение. Обозначим Х – число выбитых очков. Значения:  Их вероятности находим по теореме о повторении опытов:

Функция распределения

 

       Для непрерывных величин удобнее пользоваться не рядом распределения, а функцией распределения случайной величины, т. е. вероятностью события Х>х, где х – некоторая текущая переменная.

                                             (4.2.1)

Функцию распределения иногда называют интегральным законом распределения. Она существует для любых случайных величин – как непрерывных, так и дискретных.

Общие свойства:

1. Функция распределения F(x) есть неубывающая функция своего аргумента, т. е. при

2.

3.

Рис.4.2.1.Пример графика функции распределения.

 

Пример. Производится три независимых опыта. Случайная величина Х – число появлений события А в опыте. Дан ряд распределения. Найти функцию распределения.

xi	0	1	2	3
pi	0,25	0,4	0,15	0,2

 

Рис.4.2.2.Пример интегральной функции распределения дискретной случайной величины.

 

Обычно функция распределения непрерывной случайной величины представляет собой непрерывную функцию.

Рис.4.2.3.Пример графика распределения непрерывной случайной величины.

 

Пусть дана функция распределения случайной величины X. Нужно определить вероятность попадания на заданный участок.

Эта вероятность

.

 

Рассмотрим три события:

Учитывая, что А=В+С по теореме сложения вероятностей имеем.

т.е. вероятность попадания случайной величины на заданный участок равна приращению функции распределения на этом участке.

       Пусть , тогда  и . Вероятность любого отдельного значения непрерывной случайной величины рана 0.

Плотность распределения

 

       Пусть имеется непрерывная случайная величина Х с функцией распределения F(x), которую мы предположим непрерывной и дифференцируемой. Вычислим вероятность её попадания на участок от х до х+ Dх:

Уменьшая Dх, в пределе получим производную.

Введём обозначение  - производная функции распределения характеризует плотность, с которой распределены значения случайной величины в данной точке. Она называется плотностью распределения (плотностью вероятности) непрерывной случайной величины. Кривая, изображающая плотность, называется кривой распределения.

       Рассмотрим непрерывную случайную величину Х с плотностью распределения f(x) и элементарный участок dx, примыкающий к точке х. Вероятность попадания случайной величины в участок от х до x+ dx равна f(x) dx.

   

Рис.4.3.1.Графики плотности распределения непрерывной случайной

 величины случайной.

 

Выразим вероятность попадания величины Х на отрезок от a до b.

                                         (4.3.1)

Геометрически это есть площадь под кривой распределения.

       Выразим функцию распределения через плотность.

                                             (4.3.2)

Геометрически F(x) есть площадь кривой распределения левее точки х.

       Основные свойства плотности распределения.

1. Плотность распределения есть положительная функция.

2. Интеграл в бесконечных пределах от плотности распределения =1:

                                                    (4.3.3)

Рис.4.3.2.Иллюстрация к формуле (4.3.2)

 

       Пример. Случайная величина Х подчинена закону распределения с плотностью:

 при                                         (4.3.4)

 при

Найти коэффициент а, построить график плотности распределения f(x). Найти функцию распределения F(x) и построить её график. Найти вероятность попадания величины Х на участок от 0 до

       Решение. График плотности f(x):

Рис.4.3.3.График плотности распределения (4.3.4).

По свойству плотности распределения

Функция распределения:

                       (4.3.5)

Рис.4.3.4.График функции распределения (4.3.5)

 

Вероятность попадания в интервал от 0 до

 

Характеристики положения

Закон распределения случайной величины является ее исчерпывающей характеристикой. Однако на практике часто не требуется такого полного описания и достаточно знать только некоторые числовые характеристики случайной величины, такие, например, как показатели положения и разброса случайной величины.

Среди числовых характеристик положения случайной величины наиболее важной является математическое ожидание, которое характеризует центр рассеивания случайной величины.

  Математическим ожиданием называется сумма произведений всех возможных значений случайной величины на вероятности этих значений. С точки зрения механики её можно интерпретировать, как координату центра тяжести вероятностных масс. Если дискретная случайная величина Х  может принимать значения  с вероятностями  , то математическое ожидание X

Учитывая, что  получим, что

                                             (5.1.1)

Если случайная величина непрерывна, то отмеченная сумма превращается в интеграл

,                                       (5.1.2)

где  плотность распределения случайной величины X.

 

       Рассмотрим среднее арифметическое наблюдённых значений величины Х:

Но  есть не что иное, как частота (или статистическая вероятность) события Х. При увеличении числа опытов . Т.е. среднее арифметическое стремится к математическому ожиданию.

       Для непрерывных величин:

.

       Модой случайной величины называется её наиболее вероятное значение.

Рис.5.1.1.Иллюстрация к определению моды случайной величины.

 

Для симметричного распределения мода и математическое ожидание совпадают.

Медианой случайной величины Х называется такое её значение m e, для которого

т.е. одинаково вероятно, окажется ли случайная величина меньше или больше m e.

Геометрически это абсцисса точки, в которой площадь под кривой распределения делится пополам.

Рис.5.1.2.Иллюстрация к определению медианы.

 

       Так же как в механике для описания распределения масс используются статические моменты и моменты инерции, в теории вероятности используются начальные и центральные моменты.

Закон равномерной плотности

В некоторых задачах встречаются непрерывные случайные величины, все возможные значения которых лежат в пределах определённого интервала и равновероятны. Говорят, что они распределяются по закону равномерной плотности. Примеры: рулетка, угол поворота сбалансированного колеса и т. д.

       Рассмотрим случайную величину, подчинённую закону равномерной плотности на участке от a до b.

Рис.5.3.1.График равномерной плотности

Плотность распределения f(x) постоянна и равна С на участке от a до b. Вне этого отрезка она равна 0.

Так как площадь под кривой распределения равна 1:

Функция распределения:

Рис.5.3.2. График равномерного распределения.

 

Определим основные числовые характеристики случайной величины с равномерным распределением на участке от a до b.

       Математическое ожидание:

В силу симметричности распределения медиана также равна   Моды у закона равномерной плотности нет.

Дисперсия:

       Среднее квадратичное отклонение:

Асимметрия у симметричного распределения равна нулю.

Для определения эксцесса находим четвёртый центральный момент:

Среднее арифметическое отклонение:

       Найдём вероятность попадания случайной величины Х в участок [ a, b].

Рис.5.3.3. К определению вероятности .

 

Распределение Симпсона

 

       Плотность этого распределения имеет вид равнобедренного треугольника (см.рис.5.4.1).

Рис.5.4.1. График плотности Симсона.

 

       Аналитическое выражение для плотности имеет вид:

При  и  плотность , .

       Математическое ожидание

.

Так как распределение симметрично относительно среднего значения, то мода и медиана совпадают с математическим ожиданием.

Дисперсия

.

Квадратичное отклонение

.

 

Ассиметрия  из-за симметричности распределения.

Четвертый центральный момент

.

Эксцесс .

 

 

Рис.2.2. График плотности экспоненциального распределения при различных значениях параметра a.

Биномиальное распределение

 

       Дискретная случайная величина X, принимающая значения x_m= m, где

  m = 0,1,…, n, имеет биномиальное распределение, если вероятности её значений определяются следующей формулой:

.     (5.5.1)

Здесь

-

число сочетаний из n по m,  а параметр p имеет смысл вероятности, то есть .

Это распределение связано с повторением опытов. Если в результате опыта событие А имеет вероятность p и опыт повторяется n раз, то вероятность того, что это событие произойдет m раз, рана . Действительно, конкретная реализация n испытаний, в которых событие A произошло m раз, а противоположное событие  соответственно n- m раз, имеет вероятность . Но m событий среди n испытаний могут распределиться  равновозможными способами. Отсюда и получается формула (5.5.1).

       Сумма

,

так как q=1- p а . Выражение  является членом разложения бинома Ньютона (p+ q) ⁿ, поэтому это распределение называется биномиальным.

       Математическое ожидание

.                  (5.5.2)

       Дисперсия

.                  (5.5.3)

       Квадратичное отклонение

.                                                      (5.5.4)

       Если n устремить к бесконечности и одновременно p к нулю так, чтобы выполнялось соотношение

,

где а положительная константа, то в пределе

,

а это известное распределение Пуассона. То есть в пределе при  и  биномиальное распределение совпадает с распределением Пуассона.

 

 

 

Распределение Пуассона

 

Рассмотрим дискретную случайную величину Х, которая может принимать только целые неотрицательные значения: 0, 1, 2, …

Говорят, что случайная величина Х распределена по закону Пуассона, если вероятность того, что она примет определённое значение m, выражается формулой

где а – некоторая положительная величина, называемая параметром распределения Пуассона.

Ряд распределения по закону Пуассона:

	0	1	2	…	m
				…

 

Убедимся, что суммарная вероятность равна единице.

Но                                                            

Следовательно                           

Рис.5.6.1. Полигон распределения Пуассона.

 

Вычислим вероятность того, что Х окажется больше 0:

Математическое ожидание

Т.е. параметр а - есть математическое ожидание.

Дисперсия

Но                              

Следовательно .

.

Вывод. Дисперсия равна математическому ожиданию. Это свойство часто используют для определения, распределена ли случайная величина Х по закону Пуассона.

       Рассмотрим типичную задачу. Пусть на оси Ох случайным образом распределяются точки. Пусть распределение удовлетворяет следующим условиям:

1. Вероятность попадания какого-либо числа точек в отрезок l зависит только от длины отрезка, но не от положения на оси. На единичный отрезок попадает в среднем l точек.

2. Точки распределяются независимо.

3. Вероятность совпадения двух точек равна нулю (чем точки ближе, тем вероятность меньше).

       Выделим на оси отрезок длиной l и рассмотрим дискретную случайную величину Х – число точек, попадающих в этот отрезок. Возможные значения Х: 0, 1, 2, …, m, …

       Докажем, что случайная величина Х имеет закон распределения Пуассона. Для этого вычислим вероятность того, что на участок l попадёт m точек.

       На участок Dх попадёт l Dх точек. Это математическое ожидание. Поскольку участок Dх мал, то попадание двух точек в один отрезок пренебрежимо мало и l Dх есть вероятность попадания одной точки на участок Dх.

       Пусть существует число n, такое, что . Тогда вероятность попадания в один отрезок равна . А вероятность попадания в m отрезков равна

Обозначим , тогда

.

Что и требовалось доказать.

       Мы убедились, что распределение Пуассона возникает там, где точки располагаются случайно друг от друга и подсчитывается их количество, попавшее в какую-то область. Мы рассмотрели одномерный случай, но его легко можно распространить на любую размерность. Например, если для отрезка оси параметр а равен , то для плоского случая  (здесь S - площадь области), а для объёмного  (V – объём области).

       Докажем, что закон Пуассона является предельным для биномиального распределения.

Причём параметр .

Предельное свойство биномиального распределения можно записать в виде:

Если подставить , то получим

,

что уже было доказано. При большом n приближённо вероятность можно считать:

.

Из-за малой вероятности события закон Пуассона носит название “закона редких явлений”.

Биномиальное распределение

 

       Дискретная случайная величина X, принимающая значения x_m= m, где

  m = 0,1,…, n, имеет биномиальное распределение, если вероятности её значений определяются следующей формулой:

.     (5.5.1)

Здесь

-

число сочетаний из n по m,  а параметр p имеет смысл вероятности, то есть .

Это распределение связано с повторением опытов. Если в результате опыта событие А имеет вероятность p и опыт повторяется n раз, то вероятность того, что это событие произойдет m раз, рана . Действительно, конкретная реализация n испытаний, в которых событие A произошло m раз, а противоположное событие  соответственно n- m раз, имеет вероятность . Но m событий среди n испытаний могут распределиться  равновозможными способами. Отсюда и получается формула (5.5.1).

       Сумма

,

так как q=1- p а . Выражение  является членом разложения бинома Ньютона (p+ q) ⁿ, поэтому это распределение называется биномиальным.

       Математическое ожидание

.                  (5.5.2)

       Дисперсия

.                  (5.5.3)

       Квадратичное отклонение

.                                                      (5.5.4)

       Если n устремить к бесконечности и одновременно p к нулю так, чтобы выполнялось соотношение

,

где а положительная константа, то в пределе

,

а это известное распределение Пуассона. То есть в пределе при  и  биномиальное распределение совпадает с распределением Пуассона.

 

 

 

Распределение Пуассона

 

Рассмотрим дискретную случайную величину Х, которая может принимать только целые неотрицательные значения: 0, 1, 2, …

Говорят, что случайная величина Х распределена по закону Пуассона, если вероятность того, что она примет определённое значение m, выражается формулой

где а – некоторая положительная величина, называемая параметром распределения Пуассона.

Ряд распределения по закону Пуассона:

	0	1	2	…	m
				…

 

Убедимся, что суммарная вероятность равна единице.

Но                                                            

Следовательно                           

Рис.5.6.1. Полигон распределения Пуассона.

 

Вычислим вероятность того, что Х окажется больше 0:

Математическое ожидание

Т.е. параметр а - есть математическое ожидание.

Дисперсия

Но                              

Следовательно .

.

Вывод. Дисперсия равна математическому ожиданию. Это свойство часто используют для определения, распределена ли случайная величина Х по закону Пуассона.

       Рассмотрим типичную задачу. Пусть на оси Ох случайным образом распределяются точки. Пусть распределение удовлетворяет следующим условиям:

4. Вероятность попадания какого-либо числа точек в отрезок l зависит только от длины отрезка, но не от положения на оси. На единичный отрезок попадает в среднем l точек.

5. Точки распределяются независимо.

6. Вероятность совпадения двух точек равна нулю (чем точки ближе, тем вероятность меньше).

       Выделим на оси отрезок длиной l и рассмотрим дискретную случайную величину Х – число точек, попадающих в этот отрезок. Возможные значения Х: 0, 1, 2, …, m, …

       Докажем, что случайная величина Х имеет закон распределения Пуассона. Для этого вычислим вероятность того, что на участок l попадёт m точек.

       На участок Dх попадёт l Dх точек. Это математическое ожидание. Поскольку участок Dх мал, то попадание двух точек в один отрезок пренебрежимо мало и l Dх есть вероятность попадания одной точки на участок Dх.

       Пусть существует число n, такое, что . Тогда вероятность попадания в один отрезок равна . А вероятность попадания в m отрезков равна

Обозначим , тогда

.

Что и требовалось доказать.

       Мы убедились, что распределение Пуассона возникает там, где точки располагаются случайно друг от друга и подсчитывается их количество, попавшее в какую-то область. Мы рассмотрели одномерный случай, но его легко можно распространить на любую размерность. Например, если для отрезка оси параметр а равен , то для плоского случая  (здесь S - площадь области), а для объёмного  (V – объём области).

       Докажем, что закон Пуассона является предельным для биномиального распределения.

Причём параметр .

Предельное свойство биномиального распределения можно записать в виде:

Если подставить , то получим

,

что уже было доказано. При большом n приближённо вероятность можно считать:

.

Из-за малой вероятности события закон Пуассона носит название “закона редких явлений”.

Распределение Паскаля