Функция двух случайных аргументов.

 

Определение. Если каждой паре возможных значений случайных величин ξ и η соответствует одно возможное значение случайной величины θ, то θ называют функцией двух случайных аргументов ξ и η:

θ = φ (ξ, η).

Необходимо найти распределение функции θ = ξ+η по известным распределениям слагаемых. Такая задача часто встречается на практике. Например, если ξ - погрешность показаний измерительного прибора (распределена нормально), η - погрешность округления показаний до ближайшего деления шкалы (распределена равномерно), то возникает задача - найти закон распределения суммы погрешностей θ = ξ+η.

1. Пусть ξ и η - дискретные независимые случайные величины. Для того, чтобы составить закон распределения функции θ = ξ+η,надо найти все возможные значения θ и их вероятности.

Пример. Дискретные независимые случайные величины заданы распределениями:

 

ξ				η
P	0,4	0,6		P	0,2	0,8

 

Составить распределение случайной величины θ = ξ+η.

Решение. Возможные значения θ есть суммы каждого возможного значения ξ со всеми возможными значениями η:

z₁=1+3=4; z₂=1+4=5; z₃=2+3=5; z₄=2+4=6.

Найдем вероятности этих возможных значений. Для того чтобы θ=4, достаточно, чтобы величина ξ приняла значение х₁=1 и величина η - значение y₁=3. Вероятности этих возможных значений, как следует из данных законов распределения, соответственно равны 0,4 и 0,2.

Аргументы ξ и η независимы, поэтому события ξ =1 и η =3 независимы и, следовательно, вероятность их совместного наступления (то есть вероятность события θ = 1+3=4) по теореме умножения равна 0,4·0,2=0,08.

Аналогично найдем:

P(θ=1+4=5)=0,4·0,8=0,32;

P(θ=2+3=5)=0,6·0,2=0,12;

P(θ=2+4=6)=0,6·0,8=0,48.

Напишем искомое распределение, сложив предварительно вероятности несовместных событий θ=z₂, θ=z₃, (0,32+0,12=0,44):

 

θ
P	0,08	0,44	0,48

 

Контроль: 0,08+0,44+0,48=1.

2. Пусть ξ и η - непрерывные случайные величины. Доказано: если ξ и η независимы, то плотность распределения g (z) суммы θ=ξ+η (при условии, что плотность хотя бы одного из аргументов задана на интервале (-∞,∞) одной формулой) может быть найдена с помощью равенства

g (z)= f₂ (z - x) dx,

либо с помощью равносильного равенства

g (z)= f₂ (y) dy,

где f₁, f₂ - плотности распределения аргументов.

Если возможные значения аргументов неотрицательны, то g (z) находят по формуле

g (z)= f₂ (z - x) dx,

либо по равносильной формуле

g (z)= f₂ (y) dy.

Определение. Плотность распределения суммы независимых случайных величин называют композицией.

Определение. Закон распределения вероятностей называют устойчивым,если композиция таких законов есть тот же закон (отличающийся, вообще говоря, параметрами).

Нормальный закон обладает свойством устойчивости: композиция нормальных законов также имеет нормальное распределение (математическое ожидание и дисперсия этой композиции равны соответственно суммам математических ожиданий и дисперсий слагаемых). Например, если ξ и η - независимые случайные величины, распределенные нормально с математическими ожиданиями и дисперсиями, соответственно равными а₁=3, а₂=4, D₁=l, D₂=0,5, то композиция этих величин (то есть плотность вероятности суммы θ = ξ+η) также распределена нормально, причем математическое ожидание и дисперсия композиции соответственно равны а=3+4=7; D=l+0,5=1,5.

Пример. Независимые случайные величины ξ и η заданы плотностями распределений:

f (x)= e^-x/3 (0≤ x <∞);

f (y)= e^-y/4 (0≤ y <∞).

Найти композицию этих законов, то есть плотность распределения случайной величины θ = ξ+η.

Решение. Возможные значения аргументов неотрицательны, поэтому

g (z)= f₂ (z - x) dx = dx = e^{-z /4} dx = e^{-z / 4} (1- e^{-z /12}).

Здесь z ≥ 0, так как θ = ξ+η и, по условию, возможные значения ξ и η неотрицательны и имеет место равенство

dz = 1.

 

§28. Условное математическое ожидание

 

Важной характеристикой условного распределения вероятностей является условное математическое ожидание.

Определение. Условным математическим ожиданием дискретной случайной величины η при ξ = х (х - определенное возможное значение ξ) называют произведение возможных значений η на их условные вероятности:

M (η | ξ = х)= p (y_j | x).

Для непрерывных величин

M (η | ξ = х)= ψ (y | x) dy,

где ψ(y|x) - условная плотность случайной величины η при ξ = х.

Условное математическое ожидание M (η | х) есть функция от х:

M (η | х)= f (x),

которую называют функцией регрессии η на ξ.

Аналогично определяются условное математическое ожидание случайной величины ξ и функция регрессии ξ на η:

Пример. Дискретная двумерная случайная величина задана таблицей значений.

 

ξ / η	x1 =1	x2 =3	x3 =4	x4 =8
y1 =3	0,15	0,06	0,25	0,04
y2 =6	0,30	0,10	0,03	0,07

 

Найти условное математическое ожидание составляющей η при ξ = х₁=1.

Решение. Найдем р (х₁), для чего сложим вероятности, помещенные в первом столбце таблицы:

р(х₁)=0,15+0,30=0,45.

Найдем условное распределение вероятностей величины η при ξ=х₁=1:

р(у₁|х₁)=р(х₁,y₁)/p(х₁)=0,15/0,45=1/3;

р(у₂|х₁)=р(х₂,y₂)/p(х₁)=0,30/0,45=2/3.

Найдем искомое условное математическое ожидание:

M(η|ξ=х₁)= p(y_j|x₁)=у₁ р(у₁|х₁)+у₂ р(у₂|х₁)=3 (1/3)+6 (2/3)=5.

 

§29. Ковариация. Коэффициент корреляции

 

Для описания системы двух случайных величин кроме математических ожиданий и дисперсий составляющих используют и другие характеристики; к их числу относятся ковариация (корреляционный момент) и коэффициент корреляции.

Определение. Ковариацией случайных величин ξ и η называют математическое ожидание произведения отклонений этих величин:

cov(ξ,η)=М{[ξ-M(ξ)][η-M(η)]}.

Для вычисления ковариации дискретных величин используют формулу

cov(ξ,η)= х_i-М(ξ)] [y_j-M(η)]р(х_i,y_j),

а для непрерывных величин - формулу

cov(ξ,η)= [y-M(η)]f(x,y)dxdy.

Ковариация служит для характеристики связи между величинами ξ и η. Ковариация равна нулю, если ξ и η независимы; следовательно, если ковариация не равна нулю, то ξ и η - зависимые случайные величины.

Отметим, что ковариацию можно определить как математическое ожидание произведения центрированных случайных величин:

cov(ξ,η)=М [ ].

3амечание. Легко убедиться, что ковариацию можно записать в виде

cov(ξ,η)=М (ξη)- М (ξ) М (η).

Теорема. Ковариация двух независимых случайных величин ξ и η равна нулю.

Доказательство. Так как ξ и η - независимые случайные величины, то их отклонения ξ-M (ξ)и η-M (η) также независимы. Пользуясь свойствами математического ожидания (математическое ожидание произведения независимых случайных величин равно произведению математических ожиданий сомножителей) и отклонения (математическое ожидание отклонения равно нулю), получим

cov(ξ,η)=М{[ξ-M(ξ)][η-M(η)]}=M[ξ-M(ξ)]M[η-M(η)]=0.

Из определения ковариации следует, что она имеет размерность, равную произведению размерностей величин ξ и η. Другими словами, величина ковариации зависит от единиц измерения случайных величин. По этой причине для одних и тех же двух величин величина ковариации имеет различные значения в зависимости от того, в каких единицах были измерены величины.

Пусть, например, ξ и η были измерены в сантиметрах и cov(ξ,η) = 2 см²; если измерить ξ и η в миллиметрах, то cov(ξ,η) = 200 мм². Такая особенность ковариации является недостатком этой числовой характеристики, поскольку сравнение корреляционных моментов различных систем случайных величин становится затруднительным. Для того чтобы устранить этот недостаток, вводят новую числовую характеристику - коэффициент корреляции.

Определение. Коэффициентом корреляции r(ξ,η) случайных величин ξ и η называют отношение ковариации к произведению средних квадратических отклонений этих величин:

r(ξ,η) = cov(ξ,η) /( ).

Так как размерность cov(ξ,η) равна произведению размерностей величин ξ и η, имеет размерность величины ξ, имеет размерность величины η, то r(ξ,η) - безразмерная величина. Таким образом, величина коэффициента корреляции не зависит от выбора единиц измерения случайных величин. Очевидно, коэффициент корреляции независимых случайных величин равен нулю (так как cov(ξ,η)=0).

Замечание. Во многих вопросах теории вероятностей целесообразно вместо случайной величины ξ рассматривать нормированную случайную величину ξ’, которую определяют как отношение отклонения к среднему квадратическому отклонению:

ξ’ =(ξ-M (ξ))/

Нормированная величина имеет математическое ожидание, равное нулю, и дисперсию, равную единице. Действительно, используя свойства математического ожидания и дисперсии, имеем:

M(ξ’)=M = М[ξ-M(ξ)]= 0=0;

D(ξ’)=D = D[ξ-M(ξ)]= =1.

Легко убедиться, что коэффициент корреляции r(ξ,η) равен ковариации нормированных величин ξ’ и η’:

r(ξ,η) = = M = M (ξ’η’)= cov(ξ',η’)

Теорема. Абсолютная величина ковариации двух случайных величин ξ и η не превышает среднего геометрического их дисперсий:

| cov(ξ,η) |≤

Доказательство. Введем в рассмотрение случайную величину θ₁= ξ - η и найдем ее дисперсию. Выполнив необходимые преобразования, получим

D(θ₁)=2 -2 cov(ξ,η).

Любая дисперсия неотрицательна, поэтому

2 -2 cov(ξ,η)≥0.

Отсюда

cov(ξ,η) ≤ .

Введя случайную величину θ₂= ξ + η аналогично найдем

cov(ξ,η) ≥- .

Объединим неравенства

- ≤ cov(ξ,η) ≤ .

или

| cov(ξ,η) |≤ .

Итак,

| cov(ξ,η) |≤ .

 

Теорема. Абсолютная величина коэффициента корреляции не превышает единицы:

|r(ξ,η)|≤1.

Доказательство: Разделим обе части двойного неравенства

- ≤ cov(ξ,η) ≤ . на произведение положительных чисел .

-1≤r(ξ,η)≤1.

Итак,

|r(ξ,η)|≤1.

Определение. Две случайные величины ξ и η называют коррелированными, если их ковариация (или, что то же, коэффициент корреляции) отлична от нуля; ξ и η называют некоррелированными величинами, если их ковариация равна нулю.

Две коррелированные величины также и зависимы. Действительно, допустив противное, мы должны заключить, что cov(ξ,η)=0, противоречит условию, так как для коррелированных величин cov(ξ,η)≠0.

Обратное предположение не всегда имеет место, т.е. если две величины зависимы, то они могут быть как коррелированными, так и некоррелированными. Другими словами, корреляционный момент двух зависимых величин может быть не равен нулю, но может и равняться нулю.

Убедимся на примере, что две зависимые величины могут быть некоррелированными.

Пример. Двумерная случайная величина (ξ, η)задана плотностью распределения:

f(x,у)=1/6π внутри эллипса x²/9+y²/4=1;

f(x,у)=0 вне этого эллипса.

Доказать, что ξ и η - зависимые некоррелированные величины.

Решение. Вычислим плотности распределения составляющих ξ и η:

f₁(x)= , f₂(у)= внутри заданного эллипса и f₁(x)=0, f₂(y)=0 вне его.

Так как f (x, у)≠ f₁ (x) f₂ (у),то ξ и η - зависимые величины.

Для того чтобы доказать некоррелированность ξ и η, достаточно убедиться в том, что cov(ξ,η)=0. Найдем корреляционный момент по формуле

cov(ξ,η)= [ y - M (η)] f (x,y) dxdy.

Поскольку функция f₁ (x)симметрична относительно оси OY, то М(ξ)=0; аналогично, М(η)=0 в силу симметрии f₂ (у) относительно оси OX. Следовательно,

cov(ξ,η)= yf (x,y) dxdy.

Вынося постоянный множитель f(x, у) за знак интеграла, получим

cov(ξ,η) = f (x,y) dy.

Внутренний интеграл равен нулю (подынтегральная функция нечетна, пределы интегрирования симметричны относительно начала координат), следовательно, cov(ξ,η)=0,т.е. зависимые случайные величины ξ и η некоррелированы.

Итак, из коррелированности двух случайных величин следует их зависимость, но из зависимости еще не вытекает коррелированность. Из независимости двух величин следует их некоррелированность, но из некоррелированности еще нельзя заключить о независимости этих величин.

Замечание. Теперь мы можем определить дисперсию суммы двух произвольных случайных величин

D(ξ+η)=D(ξ)+D(η)+2cov(ξ,η).

Справедливость данного соотношения вытекает непосредственно из доказательства соответствующего свойства дисперсии и определения ковариации.

На практике часто встречаются двумерные случайные величины, распределение которых нормально.

Определение. Нормальным законом распределения на плоскости называют распределение вероятностей двумерной случайной величины (ξ, η), если

f (x, y)= × .

Нормальный закон на плоскости определяется пятью параметрами: a₁, a₂, σ ₁,σ ₂ и r. Можно доказать, что эти параметры имеют следующий вероятностный смысл: a₁, a₂ - математические ожидания, σ ₁,σ ₂ - средние квадратические отклонения, r - коэффициент корреляции величин ξ и η.

Убедимся в том, что если составляющие двумерной нормально распределенной случайной величины некоррелированны, то они и независимы. Действительно, пусть ξ и η некоррелированны. Тогда, полагая в =0, получим

f (x, y)= × =

= = f₁ (x) f₂ (у).

Таким образом, если составляющие нормально распределенной случайной величины некоррелированны, то плотность совместного распределения системы равна произведению плотностей распределения составляющих, а отсюда и следует независимость составляющих. Справедливо и обратное утверждение.

Итак, для нормально распределенных составляющих двумерной случайной величины понятия независимости и некоррелированности равносильны.

 

§30. Закон больших чисел

 

Как уже известно, нельзя заранее уверенно предвидеть, какое из возможных значений примет случайная величина в итоге испытания; это зависит от многих случайных причин, учесть которые невозможно. Казалось бы, поскольку о каждой случайной величине мы располагаем в этом смысле весьма скромными сведениями, то вряд ли можно установить закономерности поведения и суммы достаточно большого числа случайных величин. На самом деле это не так. Оказывается, что при некоторых сравнительно широких условиях суммарное поведение достаточно большого числа случайных величин почти утрачивает случайный характер и становится закономерным.

Для практики очень важно знание условий, при выполнении которых совокупное действие очень многих случайных причин приводит к результату, почти не зависящему от случая, так как позволяет предвидеть ход явлений. Эти условия и указываются в теоремах, носящих общее название закона больших чисел. К ним относятся теоремы Чебышева и Бернулли. Теорема Чебышева является наиболее общим законом больших чисел, теорема Бернулли - простейшим. Для доказательства этих теорем мы воспользуемся неравенством Чебышева.

Неравенство Чебышева справедливо для дискретных и непрерывных случайных величин. Для простоты ограничимся доказательством этого неравенства для дискретных величин.

Рассмотрим дискретную случайную величину ξ,заданную таблицей распределения:

 

ξ	x1	x2	…	xn
P	p1	p2	…	pn

 

Поставим перед собой задачу оценить вероятность того, что отклонение случайной величины от ее математического ожидания не превышает по абсолютной величине положительного числа ε. Если ε достаточно мало, то мы оценим, таким образом, вероятность того, что ξ примет значения, достаточно близкие к своему математическому ожиданию. П.Л.Чебышев доказал неравенство, позволяющее дать эту оценку.

Теорема. (Неравенство Чебышева) Вероятность того, что отклонение случайной величины ξ от ее математического ожидания по абсолютной величине меньше положительного числа ε, не меньше, чем 1-D(ξ)/ε²:

P(|ξ–M(ξ)|<ε)≥1-D(ξ)/ε².

Доказательство. Так как события, состоящие в осуществлении неравенств | ξ - М (ξ)|< ε и | ξ - М (ξ)|≥ ε, противоположны, то сумма их вероятностей равна единице, то есть

Р(|ξ-М(ξ)|<ε)+Р(|ξ-М(ξ)|≥ε)=1.

Отсюда интересующая нас вероятность

Р(|ξ-М(ξ)|<ε)=1-Р(|ξ-М(ξ)|≥ε).

Таким образом, задача сводится к вычислению вероятности Р (| ξ-М (ξ)|≥ ε).

Напишем выражение дисперсии случайной величины ξ:

D(ξ)=[x₁-М(ξ)]²p₁+[x₂-М(ξ)]²p₂+…+[x_n-М(ξ)]²p_n.

Очевидно, все слагаемые этой суммы неотрицательны.

Отбросим те слагаемые, у которых | x_i - М (ξ)|< ε (для оставшихся слагаемых (| x_j - М (ξ)|≥ ε), вследствие чего сумма может только уменьшиться. Условимся считать для определенности, что отброшено k первых слагаемых (не нарушая общности, можно считать, что в таблице распределения возможные значения занумерованы именно в таком порядке). Таким образом,

D(ξ)≥[x_k+1-М(ξ)]²p_k+1+[x_k+2-М(ξ)]²p_k+2+…+[x_n-М(ξ)]²p_n.

Заметим, что обе части неравенства | x_j - М (ξ)|≥ ε (j=k+1,k+2,...,п)положительны, поэтому, возведя их в квадрат, получим равносильное неравенство |x_j-М(ξ)|²≥ε². Воспользуемся этим замечанием и, заменяя в оставшейся сумме каждый из множителей |x_j-М(ξ)|² числом ε² (при этом неравенство может лишь усилиться), получим

D(ξ)≥ε²(p_k+1+p_k+2+...+р_п).

По теореме сложения, сумма вероятностей p_k+1+p_k+2+…+р_п есть вероятность того, что ξ примет одно, безразлично какое, из значений x_k+1,x_k+2,..., x_п, а при любом из них отклонение удовлетворяет неравенству |x_j-М(ξ)|≥ε. Отсюда следует, что сумма p_k+1+p_k+2+...+р_п выражает вероятность

Р (| ξ - М (ξ)|≥ ε).

Это соображение позволяет переписать соответствующее неравенство:

D(ξ)≥ε²Р(|ξ-М(ξ)|≥ε),

или

Р(|ξ-М(ξ)|≥ε)≤D(ξ)/ε².

Окончательно получим

Р(|ξ-М(ξ)|<ε)≥1-D(ξ)/ε²,

что и требовалось доказать.

Неравенство Чебышева имеет для практики ограниченное значение, поскольку часто дает грубую, а иногда и тривиальную (не представляющую интереса) оценку. Например, если D (ξ)> ε² и, следовательно, D (ξ) /ε²>1, то 1- D (ξ) /ε² <0; таким образом, в этом случае неравенство Чебышева указывает лишь на то, что вероятность отклонения неотрицательна, а это и без того очевидно, так как любая вероятность выражается неотрицательным числом. Теоретическое же значение неравенства Чебышева весьма велико.

Теорема (Чебышева). Если ξ₁, ξ₂,..., ξ_n...- попарно независимые случайные величины, причем дисперсии их равномерно ограничены (не превышают постоянного числа С), то, как бы мало ни было положительное число ε, вероятность неравенства

будет как угодно близка к единице, если число случайных величин достаточно велико.

Другими словами, в условиях теоремы

P =1.

Таким образом, теорема Чебышева утверждает, что если рассматривается достаточно большое число независимых случайных величин, имеющих ограниченные дисперсии, то почти достоверным можно считать событие, состоящее в том, что отклонение среднего арифметического случайных величин от среднего арифметического их математических ожиданий будет по абсолютной величине сколь угодно малым.

Доказательство. Введем в рассмотрение новую случайную величину - среднее арифметическое случайных величин

=(ξ₁+ξ₂+...+ξ_n) /п

Найдем математическое ожидание . Пользуясь свойствами математического ожидания (постоянный множитель можно вынести за знак математического ожидания, математическое ожидание суммы равно сумме математических ожиданий слагаемых), получим

M = . (1)

Применяя к величине неравенство Чебышева, имеем

P ≥ 1- ,

или, учитывая соотношение (1),

P ≥1- . (2)

Пользуясь свойствами дисперсии (постоянный множитель можно вынести за знак дисперсии, возведя eго в квадрат; дисперсия суммы независимых случайных величин равна сумме дисперсий слагаемых), получим

= .

По условию дисперсии всех случайных величин ограничены постоянным числом С, то есть имеют место неравенства: D (ξ₁)≤ С; D (ξ₂)≤ С,…, D (ξ_n)≤ С, поэтому

(D (ξ₁)+ D (ξ₂)+…+ D (ξ_n))/ n² ≤(C + C +…+ C)/ n² = nC / n² = C / n.

Итак,

≤ (3)

Подставляя правую часть (3) в неравенство (2) (отчего последнее может быть лишь усилено), имеем

P ≥ 1 -

Отсюда, переходя к пределу при п ,получим

P ≥ 1.

Наконец, учитывая, что вероятность не может превышать единицу, окончательно можем написать

P = 1.

Теорема доказана.

Формулируя теорему Чебышева, мы предполагали, что случайные величины имеют различные математические ожидания. На практике часто бывает, что случайные величины имеют одно и то же математическое ожидание. Очевидно, что если вновь допустить, что дисперсии этих величин ограничены, то к ним будет применима теорема Чебышева.

Обозначим математическое ожидание каждой из случайных величин через а; в рассматриваемом случае среднее арифметическое математических ожиданий, как легко видеть, также равно а. Мы можем сформулировать теорему Чебышева для рассматриваемого частного случая. Если ξ₁, ξ₂,..., ξ_n...- попарно независимые случайные величины, имеющие одно и то же математическое ожидание а, и если дисперсии этих величин равномерно ограничены, то, как бы мало ни было число ε > 0, вероятность неравенства

будет как угодно близка к единице, если число случайных величин достаточно велико.

Другими словами, в условиях теоремы будет иметь место равенство

P = 1.