Марковские случайные процессы. Уравнения Колмогорова для вероятностей состояний.

Наиболее полное исследование процесса функционирования систем получается, если известны явные математические зависимости, связывающие искомые показатели с начальными условиями, параметрами и переменными исследуемой системы. Для многих современных систем, являющихся объектами моделирования, такие математические зависимости отсутствуют или малопригодны, и следует применять другое моделирование, как правило, имитационное.

Большой класс случайных процессов составляют процессы без последействия, которые в математике называют марковскими процессами в честь Андрея Андреевича Маркова - старшего (1856 - 1922), выдающегося русского математика, разработавшего основы теории таких процессов.

Случайный процесс называется марковским, если вероятность перехода системы в новое состояние зависит только от состояния системы в настоящий момент и не зависит от того, когда и каким образом система перешла в это состояние.

Практически любой случайный процесс является марковским или может быть сведен к марковскому. В последнем случае достаточно в понятие состояния включить всю предысторию смен состояний системы.

Марковские процессы делятся на два класса:

• дискретные марковские процессы (марковские цепи);
• непрерывные марковские процессы.

Дискретной марковской цепью называется случайный процесс, при котором смена дискретных состояний происходит в определенные моменты времени.

Непрерывным марковским процессом называется случайный процесс, при котором смена дискретных состояний происходит в случайные моменты времени.

.

Рассмотрим ситуацию, когда моделируемый процесс обладает следующими особенностями.

Система имеет возможных состояний: , ..., . Вообще говоря, число состояний может быть бесконечным. Однако модель, как правило, строится для конечного числа состояний.

Смена состояний происходит, будем считать, мгновенно и в строго определенные моменты времени . В дальнейшем будем называть временные точки шагами.

Известны вероятности перехода системы за один шаг из состояния в состояние .

Цель моделирования: определить вероятности состояний системы после -го шага.

Обозначим эти вероятности (не путать с вероятностями ).

Если в системе отсутствует последействие, то есть вероятности не зависят от предыстории нахождения системы в состоянии , а определяются только этим состоянием, то описанная ситуация соответствует модели дискретной марковской цепи.

Марковская цепь называется однородной, если переходные вероятности от времени не зависят, то есть от шага к шагу не меняются. В противном случае, то есть если переходные вероятности зависят от времени, марковская цепь называется неоднородной.

Значения обычно сводятся в матрицу переходных вероятностей:

Значения могут также указываться на графе состояний системы. На рис. показан размеченный граф для четырех состояний системы. Обычно вероятности переходов "в себя" - , и т. д. на графе состояний можно не проставлять, так как их значения дополняют до 1 сумму переходных вероятностей, указанных на ребрах (стрелках), выходящих из данного состояния.

Не указываются также нулевые вероятности переходов. Например, на рис. 2.1 это вероятности , и др.

Математической моделью нахождения вероятностей состояний однородной марковской цепи является рекуррентная зависимость

где - вероятность -го состояния системы после -го шага, ;

- вероятность -го состояния системы после -го шага, ;

- число состояний системы;

-переходные вероятности.

Рис. Размеченный граф состояний системы

Для неоднородной марковской цепи вероятности состояний системы находятся по формуле:

где - значения переходных вероятностей для -го шага.

Сформулируем методику моделирования по схеме дискретных марковских процессов (марковских цепей).

1. Зафиксировать исследуемое свойство системы.

Определение свойства зависит от цели исследования. Например, если исследуется объект с целью получения характеристик надежности, то в качестве свойства следует выбрать исправность. Если исследуется загрузка системы, то - занятость. Если, как в примере 2.1, состояния объектов, то - поражен или непоражен.

2. Определить конечное число возможных состояний системы и убедиться в правомерности моделирования по схеме дискретных марковских процессов.

3. Составить и разметить граф состояний.

4. Определить начальное состояние.

5. По рекуррентной зависимости (2.1) определить искомые вероятности.

В рамках изложенной методики моделирования исчерпывающей характеристикой поведения системы является совокупность вероятностей .

При моделировании состояния систем с непрерывными марковскими процессами мы уже не можем воспользоваться переходными вероятностями , так как вероятность "перескока" системы из одного состояния в другое точно в момент времени равна нулю (как вероятность любого отдельного значения непрерывной случайной величины).

Поэтому вместо переходных вероятностей вводятся в рассмотрение плотности вероятностей переходов :

где - вероятность того, что система, находившаяся в момент времени в состоянии за время перейдет в состояние .

С точностью до бесконечно малых второго порядка из приведенной формулы можно представить:

Непрерывный марковский процесс называется однородным,если плотности вероятностей переходов не зависят от времени (от момента начала промежутка ). В противном случае непрерывный марковский процесс называется неоднородным.

Целью моделирования,как и в случае дискретных процессов, является определение вероятностей состояний системы Эти вероятности находятся интегрированием системы дифференциальных уравнений Колмогорова.

Сформулируем методику моделирования по схеме непрерывных марковских процессов.

1. Определить состояния системы и плотности вероятностей переходов .

2. Составить и разметить граф состояний.

3. Составить систему дифференциальных уравнений Колмогорова. Число уравнений в системе равно числу состояний. Каждое уравнение формируется следующим образом.

4. B левой части уравнения записывается производная вероятности -го состоянии

5. В правой части записывается алгебраическая сумма произведений и . Число произведений столько, сколько стрелок связано с данным состоянием. Если стрелка графа направлена в данное состояние, то соответствующее произведение имеет знак плюс, если из данного состояния - минус.

 

6. Определить начальные условия и решить систему дифференциальных уравнений.

Пример.. Составить систему дифференциальных уравнений Колмогорова для нахождения вероятностей состояний системы, размеченный граф состояний которой представлен на

Рис.

 

Рис. Размеченный граф состояний

Решение

Очевидно, .

Поэтому любое из первых трех уравнений можно исключить, как линейно зависимое.

Для решения уравнений Колмогорова необходимо задать начальные условия. Для рассмотренного примера можно задать такие начальные условия: , .

Потоки событий.

Поток событий (ПС) – последовательность однородных событий, появляющихся одно за другим в случайные моменты времени.

Не имеет смысла говорить о вероятности событий, образующих поток, так как в этом случае рано или поздно событие произойдёт и не одно. В этом отличие термина " событие " в понятии поток событий от понятия " случайное событие " в теории вероятностей (это всякий факт, который может произойти или не произойти).

Поток событий является в общем случае просто последовательностью случайных точек q ₁, q ₂, …, q_n на оси времени 0 t с разделяющими их случайными интервалами Т ₁, Т ₂, …, Т_{n –1}, Т_n, таких, что (рис. 1.1а)

Т ₁ = q ₂ – q ₁; Т ₂ = q ₃ – q ₂; …; Т_n = q_{n+ 1} – q_n.

Простейший ПС обладает тремя свойствами:

1) о рдинарностью, означающей, что события приходят поодиночке, а не "пачками" по два, три и т. д. ПС ординарный, если вероятность попадания на элементарный участок двух или более событий пренебрежимо мало по сравнению с вероятностью попадания одного события (потоки деталей, поступающих на сборочный конвейер; потоки отказов технических устройств; потоки автомашин, прибывающих на станцию техобслуживания и т. д.);

2) отсутствием последействия, означающим, что события, образующие поток, появляются в последовательные случайные моменты времени независимо друг от друга. ПС без последействия наблюдается, если для любых непересекающихся участков времени число событий, попадающих на один из них, не зависит от того, сколько событий попало на другой;

3) с тационарностью – однородностью по времени, то есть постоянством его статистических характеристик. ПС стационарен, если вероятность попадания того или иного числа событий на участке времени t зависит только от длины участка и не зависит от того, где этот участок находится на оси t.

Для ординарного потока событий весьма важно понятие " интенсивность потока " l (t):

l (t) = .

Здесь X (t, Dt) – случайное число событий, попадающих на элементарный участок (t, t + Dt).

Физический смысл интенсивности l (t) потока событий – это среднее число событий, приходящееся на единицу времени, для элементарного участка Dt, примыкающего к t.

Интенсивность ПС может быть любой неотрицательной функцией времени (l (t) ³ 0) и имеет размерность [1/время]. Для стационарного ПС интенсивность постоянна (l (t) = const).

Простейший поток событий называют ещё стационарным пуассоновским потоком, для которого вероятность того, что на участке времени длины t наступит ровно k событий, определяется по зависимости

a

a

,

где a = lt – среднее число событий, приходящееся на участок t.

Такой поток назван простейшим потому, что исследование систем, находящихся под воздействием простейших потоков, проводится самым простым образом.