Распределение состояний цепи через n-шагов

 

Пусть имеется цепь. Важным вопросом в теории цепей является распределение вероятностей состояний цепи через n- шагов. Т.е. требуется определить вероятности состояний нахождения цепи через n- шагов.

 

Пример. a₁ a₂ a₃

Пусть в начальный момент цепь находится в состоянии a₁: . Требуется определить распределение состояний цепи через 3 шага.

 

 

 

Если число состояний цепи большое, то нахождение распределения вероятностей через n- шагов графически бывает неудобным или невозможным, поэтому такую задачу обычно решают аналитическим способом.

 

Аналитическое решение распределения состояний цепи через n-шагов

 

Пусть имеем цепь - начальное распределение и матрицу переходов цепи за один шаг - . Требуется найти распределение вероятностей состояний через n- шагов, т.е. , - вероятность того, что через n- шагов цепь (система) будет находиться в состоянии a_j, j=1,2,…,k.

По формуле полной вероятности получим:

 

(1)

 

В случае k=3 (3 состояния) система (1) примет вид:

 

(1^’)

 

Систему (1) обычно называют системой уравнений Колмогорова.

Систему (1) удобно записать в матричном виде следующим способом:

 

(2)

p(n-1) P

Тогда равенство (2) в матричном виде кратко запишется так:

 

(3)

 

Систему (3), придавая последовательно значения 1,2,3,…,k, можно переписать так:

 

 

Тогда система (3) окончательно примет вид:

 

(4)

 

Система (4) – система уравнений Колмогорова для нахождения распределения цепи через n- шагов.

Пример. (продолжение) 1 способ

Для нахождения нужного распределения нужно матрицу переходов P возвести в третью степень. В результате получим:

.

 

Для того, чтобы найти распределение вероятностей состояний через n- шагов, если она начинает функционировать из какого-то состояния, то из примера видно, что каждая строка матрицы есть распределение цепи через n- шагов, если она начинается с состояния, номер которого совпадает с номером строки.

2 способ

Замечание. Матрицу переходов можно рассматривать как набор условий, при которых функционирует данная система (законы развития системы), тогда решённая задача показывает, как развивается система в течение времени.

 

Предельное или финальное распределение состояний цепи

 

Если система S, которая описывается системой Маркова, функционирует в неизменных условиях достаточно долго, то в такой системе устанавливается некоторый стационарный режим, который называют предельным или финальным, который получают при . При решении этой задачи нужно выяснить:

1. Существует ли финальное распределение.

2. Найти это распределение.

 

Существование предельного распределения

 

Существенные и несущественные состояния

Определение. Состояние a_j называется несущественным, если переход возможен, а обратный переход нет. В противном случае состояние называется существенным.

Пример.

 

 

В первом примере а₁ и а₂ существенные и сообщающиеся. Во втором примере а₁ и а₂ – несущественные; (а₄,а₅), (а₃,а₆,а₇) – существенные.

В первом примере все существенные состояния сообщаются между собой, во втором примере существенные состояния разбиты на две группы, которые между собой не сообщаются.

Теорема. Если для данной цепи все существенные состояния сообщаются между собой, то для такой цепи существует предельное распределение.

 

Нахождение финального распределения

 

Пусть дана цепь, определяемая матрицей переходов, для которой существует финальное распределение – , - вероятность того, что при цепь находится в состоянии a_j, . По формуле полной вероятности ранее было получено равенство (1):

.

 

В данном равенстве перейдём к пределу при и ввиду существования , получим:

 

(1)

 

Если k=3, то система (1) примет вид:

 

(2)

 

Окончательно данную систему в матричном виде можно переписать следующим образом:

 

(3)

Потоки вероятностей

 

1. Пусть имеем цепь с состояниями a₁,a₂,…,a_k,, вероятности которых будут p₁,p₂,…,p_k, и матрицу переходов .

Потоком вероятностей называется число, определяемое равенством: , аналогично потоком вероятностей называется число .