Эпсилон-энтропия случайной величины

Ранее было показано, что неопределенность реализации непрерывным источником информации состояния в конкретный момент времени (отсчёта) равна бесконечности. Тем более равна бесконечности неопределенность реализации непрерывным источником конкретного сигнала длительности .

Однако такой результата получен в предположении возможности фиксировать любые сколь угодно малые различия между реализациями. На практике такая возможность отсутствует. Это объяснятся тем, что воспринимающие информацию датчики, включая человека, обладают ограниченной чувствительностью и конечной разрешающей способностью, а также тем, что процесс восприятия сопровождается помехами.

Если учесть, что нас интересует приближенное восприятие реализации, то количество информации, приходящееся на отсчёт или на единицу времени, можно вычислить.

Ограничимся рассмотрением простейшего случая, когда отдельные состояния источника информации представляют собой независимые реализации случайной величины . (Эпсилон-энтропия случайного процесса рассмотрена ниже).

Ансамбль реализаций случайной величины  описывается плотностью распределения вероятностей . О значениях случайной величины  можно судить по значениям другой случайной величины , если мера их различия не превышает заданной верности воспроизведения. В этом случае говорят, что  воспроизводит .

Для количественной оценки степени сходства сигналов целесообразно ввести какую-либо функцию , которая имеет природу "расстояния". Тогда удобным критерием верности  является среднее значение функции , взятое по всему множеству значений  и :

,

где плотность совместного распределения вероятностей величин  и .

Наиболее широко используется среднеквадратический критерий, при котором  представляет собой квадрат обычного евклидова расстояния между точками в соответствующем пространстве.

Требование к верности в данном случае задается с использованием критерия :

 

,

где условная плотность распределения – функция правдоподобия того, что конкретный сигнал  будет воспроизведён как сигнал ; заданное значение верности.

Так как плотность  определена, то для выполнения условия (42.1) варьировать можно только условной плотностью распределения .

Если случайная величина  воспроизводит случайную величину  с некоторой верностью , то количество информации, которое содержится в воспроизводящей величине  относительно , конечно и в соответствии с (41.10), т.е.

,

может быть записано в форме       

,

где  - плотность воспроизводящей величины .

Желательно обеспечить заданную верность воспроизведения при минимальном количестве получаемой информации. Поэтому среди множества функций , которые удовлетворяют (42.2), целесообразно выбрать такую, которая обеспечивает наименьшее .

Минимальное количество информации в одной случайной величине  относительно другой , при котором удовлетворяется заданное требование к верности воспроизведения величины , называется энтропией величины  и обозначается :

 

при

.

Используя безусловную  и условную  дифференциальные энтропии величины , выражение (42.5) можно представить в виде

,

где - условная плотность вероятности того, что в тех случаях, когда был принят сигнал , передавался сигнал .  

 

   

 

 

 

ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ИСТОЧНИКА СООБЩЕНИЙ И КАНАЛА СВЯЗИ. ОСНОВНЫЕ ПОНЯТИЯ И ОПРЕДЕЛЕНИЯ

Опираясь на формализованное описание сигналов и введенную меру количества информации, рассмотрим информационные характеристики источников сообщений и каналов связи, которые позволяют установить пути повышения эффективности информационных систем, и, в частности, определить условия, при которых можно достигнуть максимальной скорости передачи сообщения по каналу связи как в отсутствие, так и при наличии помех.

Источники сообщений и каналы связи в системах передачи отличаются большим разнообразием по своей структуре и физической природе. Используются механические, акустические, оптические, акустические, оптические, электрические и радиоканалы. Для выяснения общих закономерностей необходимо абстрагироваться от их конкретного физического воплощения и оперировать формализованными понятиями источника сообщения и канала связи.

Источник дискретных сообщений формирует дискретные последовательности из ограниченного числа элементарных сообщений. На выходе источника непрерывных сообщений образуются непрерывные сообщения. Источник сообщений в теории информации полностью определяется статистическими данными о формируемых им сообщениях.

Под каналом связи подразумевает совокупность устройств и физических сред, которые обеспечивают передачу сообщений из одного места в другое (или от одного момента времени до другого). Если канал используется для передачи дискретных сообщений, он называется дискретным каналом. Непрерывным будем называть канал, предназначенный для передачи непрерывных сообщений.

Так как в процессе передачи дискретных сообщений модулятором в соответствии с поступающей последовательностью символов осуществляется изменение информативного параметра непрерывного (чаще всего высокочастотного) сигнала, генерируемого передатчиком в линию связи, то часть дискретного канала от выхода модулятора до входа демодулятора (рис. 43.1) является непрерывным каналом связи. Включив в состав этого канала на передающей стороне модулятор, а на приёмной - демодулятор, получим дискретный канал, характеризуемый на входе, множеством символов , а на выходе – множеством символов .

Для достижения определенных целей в указанный дискретный канал могут быть введены кодирующие и декодирующие устройства. При этом получаем дискретный канал связи, на вход которого поступают сообщения , а выходом являются сообщения , направляемые адресату. Отметим, что непрерывные сообщения  путём дискретизации и квантования всегда можно преобразовать в дискретные и, таким образом, перейти от непрерывно го канала к дискретному.

Рис. 43.1

Если вредным действием помех в канале можно пренебречь, то для анализа используется модель в виде идеализированного канала, называемого каналом без помех. В идеальном канале каждому сообщению на входе однозначно соответствует определенное сообщение на выходе и наоборот.

Когда требования к достоверности велики и пренебрежение неоднозначностью связи между сообщениями  и  недопустимо, используется более сложная модель – канал с помехами.

Канал считается заданным, если известны статистические данные о сообщениях на его входе и выходе и ограничения, накладываемые на входные сообщения физическими характеристиками канала. Канал прямой передачи (от источника сообщений к их получателю), дополненный обратным каналом, например, для запроса повторной передачи в случае обнаружения ошибки, называют каналом с обратной связью.