Система уравнений Колмогорова в терминах потока

Запишем систему уравнений Колмогорова для нахождения финальных вероятностей:

 

(1)

Умножим первые уравнения системы почленно на следующее равенство: как сумма элементов строки матрицы P. Тогда уравнения перепишутся:

 

 

отсюда система (1) окончательно перепишется так:

 

(2)

 

Систему (2) можно сформулировать так: для каждого состояния цепи сумма всех потоков, выходящих из этого состояния равна сумме всех потоков, входящих в это состояние.

Примечание. Т.к. система уравнений позволяет найти финальное распределение состояний цепи при , то формулировка через потоки говорит о том, что для того, чтобы система, описываемая цепью Маркова, функционировала долго, нужно, чтобы потоки, которые из неё выходят, равнялись потокам, которые в неё входят.

Непрерывные цепи Маркова

 

Рассмотренные выше цепи имели дискретное множество состояний, в которые эта цепь переходила в определённые моменты времени , такие цепи называются дискретными цепями с дискретным временем. На практике приходится рассматривать цепи с конечным множеством состояний, в которые эта цепь переходит за некоторый промежуток времени . Такие цепи называют дискретными цепями с непрерывным временем или непрерывными цепями.

Характеристики цепей.

Как и в дискретном случае переходы в другие состояния будут характеризоваться соответствующими вероятностями.

- вероятность того, что цепь сделает переход за время .

Свойства вероятностей переходов.

1. , т.к. за время цепь обязательно перейдёт из какого-то состояния в любое другое состояние.

2. , если , т.к. в любой момент времени цепь не может находиться в двух состояниях.

3. , т.к. в любой момент времени цепь находится в определённом состоянии.

 

Плотность вероятностей переходов

 

Т.к. в любой момент времени вероятность перехода цепи в другое состояние по свойству 2 равна нулю, то вместо вероятностей перехода рассматривают плотности вероятностей перехода (аналогично тому, что вероятность попадания значений случайной величины в заданную точку равна нулю).

Определение. Плотностью вероятностей перехода называется функция , определяемая равенством:

Из определения следует, что плотность перехода есть производная от вероятности перехода по второму аргументу. Как и любая производная, плотность выражает скорость соответствующего перехода или обычно её называют интенсивностью перехода.

Все плотности переходов обычно записывают в виде матрицы интенсивностей:

 

 

Как и в дискретном случае любую цепь можно представить в виде направленного графа, вершинами которого являются состояния, а на рёбрах графа отмечены соответствующие интенсивности.

Свойства матрицы интенсивностей.

1. Все диагональные элементы неположительные, т.е. .

Доказательство: , т.к. .

2. Все недиагональные элементы неотрицательны, т.е. .

Доказательство: , т.к. .

3. Сумма интенсивностей в каждой строке матрицы равна нулю.

Доказательство: , т.к.:

· , т.к. за время система обязательно перейдёт в какое-то из состояний;

· .

 

Как и в случае дискретной цепи, важной задачей является распределение вероятностей состояний в любой момент времени t. Т.е. пусть дана цепь с состояниями a₁,a₂,…,a_k,, пусть - распределение вероятностей состояний в момент времени t, где - вероятность того, что цепь находится в момент времени t в состоянии a_j. Эти вероятности обычно называют абсолютными вероятностями.

 

Абсолютные вероятности системы уравнений Колмогорова

 

Для нахождения абсолютных вероятностей составляют систему уравнений Колмогорова, решая которую находят распределение вероятностей состояний.

Пусть - вероятность того, что цепь находится в момент времени t в состоянии a_j, - вероятность того, что цепь находится в момент времени в состоянии a_{j .} Найдём приращение этой вероятности (пусть в момент времени t цепь находится в состоянии a_j).

 

(1)

,

 

тогда равенство (1) можно переписать так:

 

(2)

 

обе части равенства (2) разделим на и перейдём к пределу при :

 

 

окончательно получим:

(3)

 

Т.к. 1) если , то

2) если , то

 

Для нахождения абсолютных вероятностей получим следующую систему дифференциальных уравнений Колмогорова: