Оценка поведения цепей Маркова при большом числе шагов

В этом параграфе рассмотрен класс задач, связанных с оценкой предельных вероятностей пребывания системы в состояниях эргодического множества.

Как было выяснено выше, динамика смены состояний однородной цепи Маркова определяется поведением матрицы  при . Однако непосредственное применение формулы (1.2) для определения переходных характеристик этого процесса, в частности, скорости сходимости к предельным вероятностям пребывания в различных состояниях при , не всегда удобно.

Для оценки скорости сходимости можно привести матрицу  к диагональному виду с помощью линейного преобразования. Предположим, что матрица  имеет  собственных чисел . Тогда ее можно привести к виду

,                                                                           (1.13)

где  - диагональная матрица

,

а матрица  составлена из собственных векторов матрицы  так, что i -й столбец матрицы  является собственным вектором матрицы  при собственном числе .

Напомним, что i -е собственное число матрицы  есть i -й корень алгебраического уравнения

,                                                                       (1.14)

а собственный вектор , соответствующий собственному числу  есть решения линейного уравнения

.                                                                               (1.15)

Преобразование (1.13) удобно тем, что при возведении в степень матрицы  фактически возводится в степень только диагональная матрица :

,                                                   (1.16)

причем

.                                                                  (1.17)

Таким образом, динамику изменения матрицы  легко оценить по поведению , .

Мы уже упоминали, что матрица , определяющая однородную цепь Маркова, является стохастической матрицей. Особенностью этой матрицы является то, что ее максимальное собственное число  равно 1, и ему соответствует собственный вектор, составленный из единиц: .

Возможен еще один способ нахождения предельных вероятностей. Исходя из того, что  при , уравнение (1.4) можно записать в виде , добавив условие , а затем решить полученную систему уравнений.

Пример. В качестве примера исследования поведения цепи Маркова при большом числе шагов рассмотрим систему с двумя состояниями , описываемую матрицей

,

с начальным распределением вероятностей .

Требуется найти предельное распределение вероятностей нахождения в состояниях ,  при большом числе шагов .

Задачу решим тремя разными способами.

1. Путем численного возведения матрицы  в высокую степень. Из формулы (1.5) следует, что , , однако на практике достаточно взять достаточно большое , например, . Проделав вычисления, получим

.

2. Путем спектрального разложения матрицы

Найдем собственные числа матрицы  по формуле (1.14):

,

откуда , , .

Определим собственные векторы , .

По формуле (3.15) для .

, .

Полученное уравнение не доопределено, поэтому, приняв , получим .

Аналогично для  имеем уравнение

, и, приняв , получим .

Следовательно, матрица ,

а обратная к ней матрица .

Таким образом, спектральное представление матрицы P имеет вид

.

Теперь можно вычислить предельное распределение вероятностей:

что совпадает с результатами предыдущих вычислений.

3. Исходя из того, что   при , уравнение (1.4) можно записать в виде , добавив условие .

Получаем систему уравнений:

Решая эту систему (в ней одно уравнение лишнее), получим уже знакомый ответ .