Свойства характеристических функций.

Свойство 1. Характеристическая функция всегда существует:

|φ_ξ(t)|=|Me^itξ|≤M | e^itξ|=M1=1

Обычные математические ожидания существуют не у всех распределений.

Свойство 2. По характеристической функции однозначно восстанавливается распределение (функция распределения, а также плотность или таблица распределения). То есть если две случайные величины имеют одинаковые характеристические функции, то и распределения этих случайных величин совпадают.

Формулы, с помощью которых это делается, в анализе называют формулами «обратного преобразования Фурье». Например, если модуль характеристической функции интегрируем на всей прямой, то у случайной величины есть плотность распределения, и она находится по формуле

f_ξ (x)= .

Ни одна из формул обратного преобразования Фурье нам не понадобится.

Свойство 3. Характеристическая функция случайной величины а+bξ связана с характеристической функцией случайной величины равенством

φ_{а + bξ} (t)= Me^{it (а + bξ )}= e^itа φ_ξ (tb).

Пример. Вычислим характеристическую функцию случайной величины ξ, имеющей нормальное распределение с параметрами а и σ². У стандартизованной случайной величины ζ = характеристическая функция равна φ_ζ (t)= . Тогда характеристическая функция случайной величины ξ = а + σζ равна

φ_ξ (t)= φ_{а + σζ} (t)= e^itа φ_ζ (tb)= e^itа =exp .

Свойство 4. Характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых: если случайные величины ξ и η независимы, то, по свойству математических ожиданий

φ_ξ+η (t)= Me^{it ( ξ+η )}= Me^itξMe^itη = φ_ξ (t) φ_η (t).

Этим свойством воспользуемся для доказательства леммы, утверждающей устойчивость нормального распределения относительно суммирования.

Лемма. Пусть случайные величины ξ и η независимы. Характеристическая функция суммы ξ + η равна

φ_ξ+η (t)= φ_ξ (t) φ_η (t)=exp exp =exp .

То есть характеристическая функция суммы есть характеристическая функция нормального распределения с параметрами а ₁+ а ₂, . Тогда ξ + η по свойству характеристической функции.

Пример. Докажем свойства устойчивости по суммированию биномиального распределения и распределения Пуассона, используя вычисленные в предыдущих примерах характеристические функции.

Для независимых случайных величин с распределениями Пуассона П_λ и П_μ характеристическая функция суммы

φ_ξ+η(t)=φ_ξ(t)φ_η(t)=ехр{λ(е^it-1)}ехр{μ(е^it-l)}=ехр{(λ+μ)(е^it-l)}

равна характеристической функции распределения Пуассона с параметром λ+μ.

Для независимых случайных величин с биномиальными распределениями В_п,р и В_т,р характеристическая функция суммы

φ_ξ+η(t)=φ_ξ(t)φ_η(t)=(1-р+рe^it)ⁿ(1-р+рe^it)^т=(1-р+рe^it)^n+т

равна характеристической функции биномиального распределения с параметрами п + m, p.

Свойство 5. Пусть существует момент порядка k=1,2,... случайной величины ξ, то есть M | ξ | ^k <∞. Тогда ее характеристическая функция φ_ξ (t)непрерывно дифференцируема k раз, и ее k -япроизводная в нулесвязана с моментом порядка k равенством:

= = = i^kMξ^k..

Существование и непрерывность k- йпроизводной, равно как и законность переноса производной под знак математического ожидания мы доказывать не будем.

Свойство 6. Пусть существует момент порядка k=1,2,... случайной величины ξ, то есть M | ξ | ^k <∞. Тогда ее характеристическая функция φ_ξ (t)в окрестности точки t =0 разлагается в ряд Тейлора

φ_ξ(t)=φ_ξ(0)+ +o(|t^k|)=1+ +o(|t^k|)=

=1+itMξ- Mξ²+…+ Mξ^k+o(|t^k|).

Ряды Тейлора, как правило, возникают при предельном переходе. Следующее основное свойство характеристических функций потребуется нам для доказательства предельных теорем.

Теорема (о непрерывном соответствии). Случайные величины ξ_п слабо сходятся к случайной величине ξ тогда и только тогда, когда для любого t характеристические функции сходятся к характеристической функции φ_ξ (t).

Слабая сходимость случайных величин имеет место, когда последовательность функций распределений случайных величин ξ_п сходится к функции распределения случайной величины x в точках непрерывности последней.

Сформулированная теорема устанавливает непрерывное соответствие между классами функций распределения со слабой сходимостью и характеристических функций со сходимостью в каждой точке. «Непрерывность» этого соответствия - в том, что пределу в одном классе относительно заданной в этом классе сходимости соответствует предел в другом классе относительно сходимости, заданной в этом классе.

 

§32. Центральная предельная теорема

 

Известно, что нормально распределенные случайные величины широко распространены на практике. Чем это объясняется? Ответ на этот вопрос был дан выдающимся русским математиком А.М.Ляпуновым (центральная предельная теорема): если случайная величина ξ представляет собой сумму очень большого числа взаимно независимых случайных величин, влияние каждой из которых на всю сумму ничтожно мало, то ξ имеет распределение, близкое к нормальному.

Пример. Пусть производится измерение некоторой физической величины. Любое измерение дает лишь приближенное значение измеряемой величины, так как на результат измерения влияют очень многие независимые случайные факторы (температура, колебания прибора, влажность и др.). Каждый из этих факторов порождает ничтожную «частную ошибку». Однако, поскольку число этих факторов очень велико, их совокупное действие порождает уже заметную «суммарную ошибку».

Рассматривая суммарную ошибку как сумму очень большого числа взаимно независимых частных ошибок, можно заключить, что суммарная ошибка имеет распределение, близкое к нормальному. Опыт подтверждает справедливость такого заключения.

Приведем формулировку центральной предельной теоремы, которая устанавливает условия, при которых сумма большого числа независимых слагаемых имеет распределение, близкое к нормальному.

Пусть ξ₁, ξ₂,..., ξ_п,... - последовательность независимых случайных величин, каждая из которых имеет конечные математическое ожидание и дисперсию: M (ξ_k)= a_k, D (ξ_k)= b .

Введем обозначения:

S_n=ξ₁+ξ₂+...+ξ_n, A_n = , B² = .

Обозначим функцию распределения нормированной суммы через

F_n (x)= P .

Говорят, что к последовательности ξ₁, ξ₂,... применима центральная предельная теорема, если при любом x функция распределения нормированной суммы при п стремится к нормальной функции распределения:

P = .

В частности, если все случайные величины ξ₁, ξ₂,... одинаково распределены, то к этой последовательности применима центральная предельная теорема, если дисперсии всех величин ξ_i (i=1,2,...) конечны и отличны от нуля. А.М.Ляпунов доказал, что если для δ>0 при п отношение Ляпунова

L_n = C_n / B , где C_n = | ξ_k – a_k | ^2+δ,

стремится к нулю (условие Ляпунова), то к последовательности ξ₁, ξ₂,... применима центральная предельная теорема.

Сущность условия Ляпунова состоит в требовании, чтобы каждое слагаемое суммы (S_n - А_п)/ В_п оказывало на сумму ничтожное влияние.

 

Центральная предельная теорема для одинаково распределенных слагаемых.

 

Различные формы центральной предельной теоремы отличаются между собой условиями, накладываемыми на распределения образующих сумму случайных слагаемых. Здесь мы сформулируем и докажем одну из самых простых форм центральной предельной теоремы, относящуюся к случаю одинаково распределенных слагаемых.

Теорема. Если ξ₁, ξ₂,..., ξ_п,...- независимые случайные величины, имеющие один и тот же закон распределения с математическим ожиданием m и дисперсией σ ², то при неограниченном увеличении п закон распределения суммы

(1)

неограниченно приближается к нормальному.

Доказательство.

Проведем доказательство для случая непрерывных случайных величин ξ₁,..., ξ_п (для прерывных оно будет аналогичным).

Согласно второму свойству характеристических функций характеристическая функция величины η_n представляет собой произведение характеристических функций слагаемых. Случайные величины ξ₁,..., ξ_п имеют один и тот же закон распределения с плотностью f (х) и, следовательно, одну и ту же характеристическую функцию

φ_ξ (t)= (2)

Следовательно, характеристическая функция случайной величины η_n будет

(t)=[ φ_ξ (t)] ⁿ. (3)

Исследуем более подробно функцию φ_ξ (t). Представим ее в окрестности точки t =0 по формуле Маклорена с тремя членами:

φ_ξ(t)=φ_ξ(0)+ (0)t+ t², (4)

где α(t)→0 при t→0.

Найдем величины φ_ξ(0), (0), (0). Полагая в формуле (2) t=0, имеем:

φ_ξ(0)= =1. (5)

Продифференцируем (2) по t:

(0)= =i (6)

Полагая в (6) t=0, получим:

(0)=i =iM[ξ]=im. (7)

Очевидно, не ограничивая общности, можно положить т=0 (для этого достаточно перенести начало отсчета в точку т).Тогда

(0)=0.

Продифференцируем (6) еще раз:

(t)=- ,

отсюда

(0)=- . (8)

 

При m=0 интеграл в выражении (8) есть не что иное, как дисперсия величины ξ с плотностью f (х),следовательно

(0)=-σ² (9)

Подставляя в (4) φ_ξ(0)=1, (0)=0, (0)=-σ², получим:

φ_ξ(t)=1- t². (10)

Обратимся к случайной величине η_n. Мы хотим доказать, что ее закон распределения при увеличении п приближается к нормальному. Для этого перейдем от величины η_n к другой («нормированной») случайной величине

θ_п = (11)

Эта величина удобна тем, что ее дисперсия не зависит от п и равна единице при любом п. В этом нетрудно убедиться, рассматривая величину θ_п как линейную функцию независимых случайных величин ξ₁, ξ₂,..., ξ_п, каждая из которых имеет дисперсию σ ². Если мы докажем, что закон распределения величины θ_n приближается к нормальному, то, очевидно, это будет справедливо и для величины η_п, связанной с θ_n линейной зависимостью (11).

Вместо того чтобы доказывать, что закон распределения величины θ_n при увеличении п приближается к нормальному, покажем, что ее характеристическая функция приближается к характеристической функции нормального закона.

Найдем характеристическую функцию величины θ_n. Из соотношения (11), согласно первому свойству характеристических функций, получим

, (12)

где характеристическая функция случайной величины η_п.

Из формул (12) и (3) получим

(13)

или, пользуясь формулой (10),

. (14)

Прологарифмируем выражение (14):

ln .

Введем обозначение

= x. (15)

Тогда

ln

Будем неограниченно увеличивать п. При этом величина x,согласно формуле (15), стремится к нулю. При значительном п ее можно считать весьма малой. Разложим ln{1-х} в ряд и ограничимся одним членом разложения (остальные при n →∞ станут пренебрежимо малыми):

ln{1-х}≈-х.

Тогда получим

(t)= n (- x)= =- + .

По определению функция α(t) стремится к нулю при t→0; следовательно,

=0

и

(t)=- ,

откуда

(t)= . (16)

Это есть не что иное, как характеристическая функция нормального закона с параметрами т=0, σ=1.

Таким образом, доказано, что при увеличении п характеристическая функция случайной величины θ_n неограниченно приближается к характеристической функции нормального закона; отсюда заключаем, что и закон распределения величины θ_n (а значит и величины η_п) неограниченно приближается к нормальному закону. Теорема доказана.

Мы доказали центральную предельную теорему для частного, но важного случая одинаково распределенных слагаемых. Однако в достаточно широком классе условий она справедлива и для неодинаково распределенных слагаемых. Например, А.М.Ляпунов доказал центральную предельную теорему для следующих условий:

=0,

где b_k - третий абсолютный центральный момент величины ξ_k: b_k=ν₃[ξ_k]=M[| |³] (k=1,…,n), D_k - дисперсия величины ξ_k.

Наиболее общим (необходимым и достаточным) условием справедливости центральной предельной теоремы является условие Линдеберга: при любом τ> 0

=0,

где m_k - математическое ожидание, f_k (х) - плотность распределения случайной величины ξ_k, B_n= .