Уравнения Колмогорова. Предельные вероятности состояний

Марковские случайные процессы. Определения.

МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ - процессы без вероятностного последствия, статистич. свойства к-рых в последующие моменты времени зависят только от значений процессов в данный момент и не зависят от их предыстории. M.с.п. - удобная матем. идеализация разл. случайных процессов, встречающихся в физике. К ним относятся процессы типа броуновского движения, равновесные и неравновесные флуктуации параметров макроскопич. систем, сравнительно медленные изменения амплитуды и фазы сигналов автогенераторов под действием быстро меняющихся естеств. шумов и т. д. Эффективность марковского процесса приближения при рассмотрении реальных случайных процессов обусловлена существованием развитого матем. аппарата для анализа статистич. свойств M.с.п.

Тип M.с.п. X(t)определяется тем, к какому множеству принадлежат аргумент t и возможные значения процесса х. Если t и х принимают дискретные значения, X(t)представляет собой марковскую цепь. M.с.п. с непрерывным временем, принимающий значения из дискретного множества , наз. дискретнозначным марковским процессом. К ним относится, в частности, телеграфный процесс с двумя значениями смена к-рых происходит в случайные моменты времени.

Рассмотрим непрерывнозначный M.с.п. с непрерывным временем. Пусть в моменты известны значения процесса

и - условная плотность вероятности значений процесса в момент t > t\, тогда справедливо равенство

выражающее отсутствие последействия. Условную плотность вероятности полностью определяющую [вместе с безусловной плотностью вероятности все статистич. свойства M.с.п., наз. плотностью вероятности переходов. Она удовлетворяет интегральному уравнению Смолуховского

 

 

от к-рого можно перейти к кинетич. ур-нию

Здесь

 

 

кинетич. коаф., описывающие локальные свойства M.с.п. в момент t в точке х. Для разрывных M.с.п., реализации к-рых скачком меняют значения в случайные моменты времени, кинетич. ур-ния эквивалентны интегро-дифференц. Колмогорова - Феллера уравнениям.

 

M.с.п., реализации к-рых с вероятностью 1 непрерывны во времени, наз. непрерывными или диффузионными процессами. Для них отличны от нуля только два кинетич. коэф.: коэф. сноса

и коэф. диффузии . При этом кинетич. ур-ние переходит в Фоккера - Планка уравнение (см. также Колмогорова уравнения):

Если или , то M.с.п. наз. однородным в пространстве или во времени. В последнем случае плотность вероятности переходов зависит лишь от разности времён: Простейшим однородным в пространстве и во времени непрерывным M. с. п. является винеровский случайный процесс, для к-рого Он описывает, напр., свободную диффузию частиц в среде с пост, темп-рой. Простейшим однородным во времени процессом является процесс Орнштейна- Уленбека, для к-рого Ур-ние Фоккера - Планка в этом случае имеет вид

Статистич. характеристики M. с. п. находят, исследуя решения кинетич. ур-ний с теми или иными начальными и граничными условиями. Так, плотность вероятности переходов процесса Орнштейна - Уленбека, удовлетворяющая ур-нию (1) с начальным условием

)

 

равна

 

 

Для однородных во времени процессов может существовать стационарная плотность вероятности

 

 

удовлетворяющая, в случае диффузионного процесса, обыкновенному дифференц. ур-нию

 

 

При анализе M. с. п., реализации к-рых обрываются или отражаются на заданных границах, кинетич. ур-ния дополняют граничными условиями.

Реализации M. с. п. с непрерывным временем удовлетворяют дифференц. стохастическим уравнениям. Напр., реализации диффузионного процесса X(t)удовлетворяют ур-нию

 

 

здесь и- детерминиров. ф-ции, а- белый шум, для к-рого

 

Кинетич. коэф. диффузионного процесса, описываемого ур-нием (2), равны:

Решение.

1. Сгруппируем данные по числу покупателей k, посетивших магазин в течение часа, а результаты представим в виде таблицы:

Вычислим интенсивность потока:

Найдем теоретические частоты по формуле

2. Вычислим наблюдаемое значение критерия Пирсона по формуле

3. По заданному уравнению значимости и числу степеней свободы , где - число групп в ряду (в нашем случае ) по таблице значений критических точек - распределения определим .

4. Поскольку , то можно считать, поскольку в нашем случае это условие выполняется: 12,51 < 14,1, то входящий поток покупателей описывается пуассоновским законом распределения с интенсивностью .

Пример 2. Результаты наблюдения за потоком покупателей в течение 7 дней работы универмага и проведения регистрации покупателей за каждый час представлены в табл. 3.2.

Таблица 3.2

Определим интенсивность входящего потока покупателей в расчете на час работы и по критерию Пирсона с уровнем значимости и обоснуем предположение о том, что поток описывается пуассоновским законом распределения.

Решение. Используем модели алгоритма. Получим: покуп час; , что свидетельствует о правильном предположении о пуассоновском законе распределения входящего потока покупателей.

Решение.

1. Для каждого интервала вычислим его середину по формуле

2. Вычислим среднее время обслуживания ( и интенсивность обслуживания :

3. Найдем теоретические частоты по формуле

4. Вычислим наблюдаемое значение критерия Пирсона по формуле

5. По заданному уровню значимости и числу степеней свободы , где - число групп в ряду (в нашем случае ) по таблице значений критических точек - распределения определим .

6. Сравним, если , то можно считать, что время обслуживания покупателей распределено по показательному закону с интенсивностью , поскольку в нашем случае это условие выполняется: 10,7 < 12,59.

Пример 4. Результаты наблюдения за работой консультантов специализированного магазина аудио- и видеотехники по времени обслуживания покупателей представлены в табл. 3.4.

Таблица 3.4

Определим среднее время и интенсивность обслуживания покупателей и по критерию Пирсона с уровнем значимости обоснуем предположение о том, что время обслуживания распределено по показательному закону.

Пример 5. Результаты регистрации входного потока посетителей в течение дня и значения его характеристик приведены в табл. 3.5.

Таблица 3.5

По приведенным данным поток посетителей в течение дня не постоянен: в разные часы работы магазина в него заходит разное количество посетителей, причем разность между максимальным и минимальным количеством посетителей, зашедших в магазин в течение часа, весьма существенна (от 100 до 1000 человек).

Однако на ограниченном промежутке времени, например в течение часа, поток посетителей может считаться простейшим. Если к тому же длительности интервалов между двумя соседними событиями распределены по закону Пуассона, следовательно, можно вычислить интенсивность потока посетителей для каждого часа работы магазина, а также их среднее значение.

Интенсивность потока посетителей в течение дня, как и количество посетителей магазина, является величиной непостоянной и изменяется в пределах от пок/мин до пок/мин, однако эти значения можно усреднить, и тогда получаются следующие значения 1 пок/мин до 1 пок/мин. Среднее значение интенсивности потока посетителей в течение дня 1 пок/мин.

Рассмотрим распределение потока посетителей того же магазина, но уже в течение недели. Динамика потока посетителей представлена в табл. 3.6, в которой значения интенсивности являются усредненными характеристиками потока для каждого дня недели.

Таблица 3.6

Следует отметить, что максимальные (минимальные) значения интенсивности потока, которые приведены в табл. 3.6 ( , ), примерно совпадают со средними значениями интенсивности, приведенными в табл. 3.5 ( в 1 пок/мин, в 1 пок/мин).

Изучение потока посетителей магазина помогает рационально организовать работу СМО, а также работу продавцов и кассиров в течение рабочего дня, добиться более равномерной загрузки торговых работников, повысить эффективность их труда.

Рассмотрим характеристики потока обслуживания на примере работы секции по продаже радио- и телеаппаратуры. Результаты хронометража времени обслуживания покупателей разным числом продавцов в магазине представлены в табл. 3.7.

Таблица 3.7

По приведенным данным можно рассчитать интенсивность обслуживания покупателей при различной организации торгового процесса: все продавцы работают как одна бригада и тогда они образуют один канал обслуживания, каждый продавец работает самостоятельно и тогда число каналов обслуживания будет определяться количеством продавцов.

Для случая бригадной организации торгового процесса получили следующую интенсивность обслуживания (табл. 3.8).

Таблица 3.8

По данным табл. 3.8 с увеличением количества продавцов, образующих канал обслуживания, увеличивается интенсивность обслуживания .

Для случая, когда каждый продавец работает самостоятельно, получили значения интенсивности обслуживания, которые приведены в табл. 3.9.

Таблица 3.9

По данным табл. 3.9 видно, что независимо от количества продавцов интенсивности обслуживания для каждого канала примерно одинаковы, что свидетельствует, в свою очередь, о равномерной загрузке продавцов.

Таким образом, изучая входные потоки обслуживания, можно оценить производительность каналов обслуживания, степень их загрузки и разработать рекомендации по рациональной организации работы систем массового обслуживания.

 

Уравнения Колмогорова. Предельные вероятности состояний

Рассмотрим математическое описание марковского процесса с дискретными состояниями и непрерывным временем* на примере случайного процесса из примера 1, граф которого изображен на рис. 1. Будем полагать, что все переходы системы из состояния в происходят под воздействием простейших потоков событий с интенсивностями ; так, переход системы из состояния в будет происходить под воздействием потока отказов первого узла, а обратный переход из состояния в — под воздействием потока "окончаний ремонтов" первого узла и т.п.

 

Граф состояний системы с проставленными у стрелок интенсивностями будем называть размеченным (см. рис. 1). Рассматриваемая система имеет четыре возможных состояния: .

Вероятностью i-го состояния называется вероятность того, что в момент система будет находиться в состоянии . Очевидно, что для любого момента сумма вероятностей всех состояний равна единице:

 

(8)

 

Рассмотрим систему в момент и, задав малый промежуток , найдем вероятность того, что система в момент будет находиться в состоянии . Это достигается разными способами.

 

1. Система в момент с вероятностью находилась в состоянии , а за время не вышла из него.

 

Вывести систему из этого состояния (см. граф на рис. 1) можно суммарным простейшим потоком с интенсивностью , т.е. в соответствии с формулой (7), с вероятностью, приближенно равной . А вероятность того, что система не выйдет из состояния , равна . Вероятность того, что система будет находиться в состоянии по первому способу (т.е. того, что находилась в состоянии и не выйдет из него за время ), равна по теореме умножения вероятностей:

 

 

2. Система в момент с вероятностями (или ) находилась в состоянии или и за время перешла в состояние .

 

Потоком интенсивностью (или — с- рис. 1) система перейдет в состояние с вероятностью, приближенно равной (или ). Вероятность того, что система будет находиться в состоянии по этому способу, равна (или ).

 

Применяя теорему сложения вероятностей, получим

 

откуда

 

Переходя к пределу при (приближенные равенства, связанные с применением формулы (7), перейдут в точные), получим в левой части уравнения производную (обозначим ее для простоты ):

 

 

Получили дифференциальное уравнение первого порядка, т.е. уравнение, содержащее как саму неизвестную функцию, так и ее производную первого порядка.

 

Рассуждая аналогично для других состояний системы , можно получить систему дифференциальных уравнений Колмогорова для вероятностей состояний:

 

(9)

 

Сформулируем правило составления уравнений Колмогорова. В левой части каждого из них стоит производная вероятности i-го состояния. В правой части — сумма произведений вероятностей всех состояний (из которых идут стрелки в данное состояние) на интенсивности соответствующих потоков событий, минус суммарная интенсивность всех потоков, выводящих систему из данного состояния, умноженная на вероятность данного (i-го состояния).

 

В системе (9) независимых уравнений на единицу меньше общего числа уравнений. Поэтому для решения системы необходимо добавить уравнение (8).

 

Особенность решения дифференциальных уравнений вообще состоит в том, что требуется задать так называемые начальные условия, т.е. в данном случае вероятности состояний системы в начальный момент . Так, например, систему уравнений (9) естественно решать при условии, что в начальный момент оба узла исправны и система находилась в состоянии , т.е. при начальных условиях .

 

Уравнения Колмогорова дают возможность найти все вероятности состояний как функции времени. Особый интерес представляют вероятности системы в предельном стационарном режиме, т.е. при , которые называются предельными (или финальными) вероятностями состояний.

 

В теории случайных процессов доказывается, что если число состояний системы конечно и из каждого из них можно (за конечное число шагов) перейти в любое другое состояние, то предельные вероятности существуют.

 

Предельная вероятность состояния имеет четкий смысл: она показывает среднее относительное время пребывания системы в этом состоянии. Например, если предельная вероятность состояния , т.е. , то это означает, что в среднем половину времени система находится в состоянии .

 

Так как предельные вероятности постоянны, то, заменяя в уравнениях Колмогорова их производные нулевыми значениями, получим систему линейных алгебраических уравнений, описывающих стационарный режим. Для системы с графом состояний, изображенном на рис. 1), такая система уравнений имеет вид:

 

(10)

 

Систему (10) можно составить непосредственно по размеченному графу состояний, если руководствоваться правилом, согласно которому слева в уравнениях стоит предельная вероятность данного состояния , умноженная на суммарную интенсивность всех потоков, ведущих из данного состояния, а справа — сумма произведений интенсивностей всех потоков, входящих в i-е состояние, на вероятности тех состояний, из которых эти потоки исходят.

Марковские случайные процессы. Определения.

МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ - процессы без вероятностного последствия, статистич. свойства к-рых в последующие моменты времени зависят только от значений процессов в данный момент и не зависят от их предыстории. M.с.п. - удобная матем. идеализация разл. случайных процессов, встречающихся в физике. К ним относятся процессы типа броуновского движения, равновесные и неравновесные флуктуации параметров макроскопич. систем, сравнительно медленные изменения амплитуды и фазы сигналов автогенераторов под действием быстро меняющихся естеств. шумов и т. д. Эффективность марковского процесса приближения при рассмотрении реальных случайных процессов обусловлена существованием развитого матем. аппарата для анализа статистич. свойств M.с.п.

Тип M.с.п. X(t)определяется тем, к какому множеству принадлежат аргумент t и возможные значения процесса х. Если t и х принимают дискретные значения, X(t)представляет собой марковскую цепь. M.с.п. с непрерывным временем, принимающий значения из дискретного множества , наз. дискретнозначным марковским процессом. К ним относится, в частности, телеграфный процесс с двумя значениями смена к-рых происходит в случайные моменты времени.

Рассмотрим непрерывнозначный M.с.п. с непрерывным временем. Пусть в моменты известны значения процесса

и - условная плотность вероятности значений процесса в момент t > t\, тогда справедливо равенство

выражающее отсутствие последействия. Условную плотность вероятности полностью определяющую [вместе с безусловной плотностью вероятности все статистич. свойства M.с.п., наз. плотностью вероятности переходов. Она удовлетворяет интегральному уравнению Смолуховского

 

 

от к-рого можно перейти к кинетич. ур-нию

Здесь

 

 

кинетич. коаф., описывающие локальные свойства M.с.п. в момент t в точке х. Для разрывных M.с.п., реализации к-рых скачком меняют значения в случайные моменты времени, кинетич. ур-ния эквивалентны интегро-дифференц. Колмогорова - Феллера уравнениям.

 

M.с.п., реализации к-рых с вероятностью 1 непрерывны во времени, наз. непрерывными или диффузионными процессами. Для них отличны от нуля только два кинетич. коэф.: коэф. сноса

и коэф. диффузии . При этом кинетич. ур-ние переходит в Фоккера - Планка уравнение (см. также Колмогорова уравнения):

Если или , то M.с.п. наз. однородным в пространстве или во времени. В последнем случае плотность вероятности переходов зависит лишь от разности времён: Простейшим однородным в пространстве и во времени непрерывным M. с. п. является винеровский случайный процесс, для к-рого Он описывает, напр., свободную диффузию частиц в среде с пост, темп-рой. Простейшим однородным во времени процессом является процесс Орнштейна- Уленбека, для к-рого Ур-ние Фоккера - Планка в этом случае имеет вид

Статистич. характеристики M. с. п. находят, исследуя решения кинетич. ур-ний с теми или иными начальными и граничными условиями. Так, плотность вероятности переходов процесса Орнштейна - Уленбека, удовлетворяющая ур-нию (1) с начальным условием

)

 

равна

 

 

Для однородных во времени процессов может существовать стационарная плотность вероятности

 

 

удовлетворяющая, в случае диффузионного процесса, обыкновенному дифференц. ур-нию

 

 

При анализе M. с. п., реализации к-рых обрываются или отражаются на заданных границах, кинетич. ур-ния дополняют граничными условиями.

Реализации M. с. п. с непрерывным временем удовлетворяют дифференц. стохастическим уравнениям. Напр., реализации диффузионного процесса X(t)удовлетворяют ур-нию

 

 

здесь и- детерминиров. ф-ции, а- белый шум, для к-рого

 

Кинетич. коэф. диффузионного процесса, описываемого ур-нием (2), равны: