Информационные характеристики источника непрерывных сообщений

Эпсилон-производительность непрерывного источника сообщений. Под конкретным непрерывным сообщением  подразумевают некоторую реализацию случайного процесса длительностью . Источник непрерывных сообщений характеризуется ансамблем его реализаций. Наиболее плодотворной оказалась модель непрерывного сообщения в виде эргодического случайного процесса.

Для определения производительности источника непрерывных сообщений воспользуемся подходом и результатами вышеизложенного материала, где определена энтропия случайной величины.

Под производительностью источника непрерывных сообщений  понимают минимальное количество информации, которое необходимо создать источнику в единицу времени, чтобы любую реализацию  можно было воспроизвести с заданной вероятностью.

Допустим, что  воспроизводится реализацией . Наблюдаемые реализации следует рассматривать, как сигналы, обладающие ограниченным, хотя возможно и достаточно широким спектром.

При достаточно большой длительности  как , так и   могут быть представлены мерными  векторами  и , координатами которых являются отсчёты. Ансамбли сообщений  и воспроизводящих сигналов  характеризуют при этом мерными случайными векторами  и , составляющими, которых являются соответственно случайные величины  и . Статистическое описание каждого из ансамблей задаётся мерными плотностями распределения вероятностей  и . Связь между ансамблями отражают условные плотности распределения  и , а также совместная плотность распределения вероятностей .

Распространяя формулу (45.8) на мерные случайные векторы  и  для количества информации одного из них относительно второго, получим

,

где интегралы являются мерными.

Используем, как и ранее, среднеквадратический критерий верности , который в рассматриваемом случае имеет вид

,

где  представляет собой квадрат расстояния  в мерном евклидовом пространстве.

Количество информации, которое приходится в среднем на один отсчёт квантованных по времени сигналов  и , определяется выражением

.

Тогда в соответствии с определением для пропорциональности источника непрерывных сообщений  запишем

при выполнении условия .

Величина  характеризует скорость формирования источником отсчётов .

Возможности воспроизведения любого сообщения  с заданной вероятность можно дать геометрическое толкование. Поскольку все реализации эргодического процесса достаточно большой длительности являются типичными и обладают практически одной и той же средней мощностью, концы соответствующих им векторов в мерном пространстве сообщений составляют непрерывное множество точек, равноудаленных от начала координат (гиперсферу).Конечное подмножество воспроизводящих сигналов  размещается в центрах непересекающихся правильных сферических угольников ( областей), на которое гиперсфера разбивается без промежутков. Размеры областей определены заданной верностью воспроизведения сообщений. Если источником реализуется сообщение , конец вектора которого должен попасть в область сигнала , то воспроизводится сигнал .

Следует отметить, что заданная верность воспроизведения будет достигнута с вероятностью, близкой к единице, только при достаточно большой длительности сообщений, когда погрешностью от замены непрерывных реализаций последовательностями отсчётов можно будет пренебречь. Для уменьшения указанной погрешности при ограниченной длительности сообщений  необходимо увеличивать число отсчётов . В пределе при  получим непрерывные реализации.

В вычислении производительности источника и геометрическом толковании возможности воспроизведения сообщений с заданной верностью принципиально ничего не изменяется. Следует лишь учесть, что мерное евклидово пространство сообщений становится гильбертовым и мерой близости двух сигналов должно быть расстояние в этом пространстве.