Информация в непрерывных сообщениях. Эпсилон-энтропия

 

Для передачи непрерывного сообщения с абсолютной точностью нужно было бы передать бесконечно большое количество информации, что, разумеется, невозможно сделать за конечное время, пользуясь каналом с конечной пропускной способностью. Точно так же непрерывное сообщение нельзя абсолютно точно запомнить (записать) при наличии сколь угодно слабой помехи.

Тем не менее, непрерывные сообщения (например, телевизионные, телефонные) успешно передаются по каналам связи и записываются. Это объясняется тем, что на практике никогда не требуется абсолютно точного воспроизведения переданного и записанного сообщения. А для передачи даже с самой высокой, но ограниченной точностью требуется конечное количество информации так же, как и при передаче дискретных сообщений. Это количество информации тем больше, чем выше точность, с которой требуется передать (воспроизвести) непрерывное сообщение. Пусть допустимая неточность измеряется некоторым малым параметром . То минимальное количество информации, которое требуется передать по каналу связи для воспроизведения непрерывного сообщения с неточностью не более допустимой, академик А.Н.. Колмогоров предложил называть -энтропией (эпсилон-энтропией)

В дальнейшем удобнее будет оперировать не с передаваемым непрерывным сообщением  А, а с первичным сигналом В и его реализациями b(t). Дело в том, что непрерывное сообщение  А может и не быть функцией времени либо быть функцией нескольких аргументов (например, при телевизионном вещании). Первичный сигнал B(t) в современных системах связи всегда является функцией времени. В тех случаях, когда и сообщение является функцией времени (например, при телефонной связи), первичный сигнал B(t) точно повторяет функцию A(t) и отличается от сообщения только физической природой [например A(t) – звуковое давление, B(t) – ток]. Будем считать, что преобразование сообщения в первичный сигнал обратимо и точность воспроизведения B(t) предопределяет точность воспроизведения A(t). Поэтому в дальнейшем под сообщением будем понимать первичный сигнал  В(t). 

Обеспечение необходимой верности передачи является обязательным требованием к любой системе связи. При передаче дискретных сообщений верность передачи определяется вероятностью правильного приёма (или вероятностью ошибки). Такое определение верности можно распространить и на непрерывные сообщения если понятие «правильно» заменить понятием «эквивалентно». Тогда под верностью передачи непрерывных сообщений будем понимать вероятность того, что принятое сообщение  эквивалентно переданному  Перейдём к количественному определению -энтропии.

Минимальное количество информации, содержащееся в принятом сообщении  относительно переданного B(t), при котором они ещё эквивалентны, называется эпсилон-энтропией.

По определению

                               (10.36)      

Рассмотрим наиболее простой случай, когда источник непрерывного сообщения (сигнала) гауссовский, то есть когда сообщение B(t) представляет собой стационарный гауссовский процесс с заданной мощностью . Поскольку , то условная дифференциальная энтропия  при заданном сообщении B полностью определяется так называемым шумом воспроизведения (t). Поэтому . Если шум воспроизведения (t) имеет фиксированную дисперсию , то дифференциальная энтропия имеет максимум при нормальном распределении

                                            (10.37)      

При заданной дисперсии сообщения  дифференциальная энтропия гауссовского источника h(B) равна . Следовательно, эпсилон-энтропия гауссовского непрерывного источника на один отсчёт:

                  (10.38)

Величина  характеризует минимальное отношение сигнал-шум, при котором сообщения B(t) и  ещё эквивалентны. Это отношение обычно обозначают .

Производительность непрерывных сообщений можно определить как количество информации, которое необходимо передать в единицу времени, чтобы восстановить сообщение при заданном критерии эквивалентности. Если источник выдает независимые отсчёты сообщения (сигнала) дискретно во времени со средней скоростью V, то его эпсилон-производительность:

                                                      (10.39)      

 Эпсилон-производительность называют также скоростью создания информации при заданном критерии верности. Для источника непрерывных сообщений, ограниченных полосой , согласно теореме Котельникова, шаг дискретизации , то есть необходимое число отсчётов в секунду равно . Если спектр сообщения в полосе  равномерен, то эти отсчёты некоррелированы, а для гауссовского источника и независимы. В этом случае:

                                                          (10.40)

Подставив (10.38) в (10.40), получим для гауссового источника с равномерным спектром в полосе

                                (10.41)      

Из предыдущих рассуждений ясно, что производительность гауссовского источника квазибелого шума (10.41) больше производительности любого другого источника с той же мощностью и той же шириной спектра при том же допустимом шуме воспроизведения , Количество информации, выдаваемое гауссовским источником за время ,

                                                  (10.42)      

Выражение (10.42) совпадает с характеристикой, названной объёмом сигнала, если . Это означает, что объём сигнала равен максимальному количеству информации, которая содержится в сигнале длительностью .

Для канала с пропускной способностью C, на вход которого подключён источник, обладающий производительностью , К. Шеннон доказал следующую теорему: если при заданном критерии эквивалентности сообщений источника , его эпсилон-производительность меньше пропускной способности канала , то существует способ кодирования и декодирования, при котором неточность воспроизведения сколь угодно близка к . При  такого способа не существует.

Теорема Шеннона определяет предельные возможности согласования источника непрерывных сообщений с непрерывным каналом.