Адаптивная дискретизация непрерывных сообщений.

Произвольную кусочно-непрерывную функцию , изображающую сообщение или сигнал, можно разложить в обобщенный ряд Фурье по полной системе ортонормированных функций:

 

,

если энергия функции конечна [9].

Бесконечная система действительных функций называется ортогональной на отрезке [ a, b ], если

при ,

а отдельная функция называется нормированной, если

.

Система нормированных функций, в которой каждые две различающихся функции взаимно ортогональны, называется ортонормированной системой. При аппроксимации функции ограничиваются, как правило, конечным числом членов ряда. При заданной системе функций и при фиксированном числе членов ряда n значения коэффициентов можно выбрать такими, при которых среднеквадратичная ошибка аппроксимации

 

достигает минимума. Минимум среднеквадратичной ошибки достигается в том случае, когда коэффициенты ряда определяются по формуле

.

Ряд, с определяемыми таким образом коэффициентами, называется обобщенным рядом Фурье.

Ортогональная система называется полной, если путем увеличения количества членов в ряде среднеквадратичную ошибку можно сделать сколь угодно малой.

Таким образом, по счетному множеству коэффициентов можно с определенной точностью восстановить соответствующую функцию можно заменить передачей последовательности коэффициентов . Указанную последовательность можно интерпретировать как вектор в n - мерном Евклидовом пространстве с координатами , квадрат длины которого

.

Последнее равенство является обобщением теоремы Пифагора на случай n -мерного пространства. Путем непосредственных вычислений легко установить, что энергия сигнала

.

Таким образом, дискретизацией называется замена непрерывной функции последовательностью коэффициентов ... (вектором).

Выбор системы ортогональных функций определяется целью и физической сущностью решаемой задачи, а не чисто математическими умозаключениями.

С целью передачи сигнала по каналу связи широко применяется разложение функции в ряд Котельникова, которое позволяет существенно упростить определение коэффициентов .

Согласно теореме Котельникова произвольная функция с ограниченным спектром, может быть тождественно представлена счетнывм числом ее значений, взятых через интервал времени где F - верхняя граничная частота спектра сигнала. В этом случае функции

,

 

образующие систему ортогональных функций, отличаются друг от друга только сдвигом по оси времени t на величину кратную , при этом каждая из них достигает своего максимального значения в те моменты времени, когда значения всех остальных функций равны нулю. Коэффициенты разложения определяются по формуле

,

которую в результате тождественных преобразований можно привести к виду: , то есть коэффициент равен значению функции в момент, когда функция достигает своего максимального значения.

Если дискретизации подлежит нормальный (гауссов) случайный процесс, энергетический спектр которого имеет прямоугольную форму, то коэффициенты будут статистически независимыми случайными величинами, которые совпадают со значениями случайной функции , взятыми с шагом D t [9].

Таким образом, непрерывные сообщения можно передавать в цифровом виде, то есть в виде последовательности чисел, при этом каждое число приближенно выражает величину соответствующего коэффициента .

 

 

Билет 8.
а) Эргодические источники. Производительность источника при независимых символах
б) Относительная энтропия непрерывных случайных величин

Билет 9.
а) Производительность марковского источника. Избыточность
б) Экстремальные свойства относительной энтропии

1.Производительность марковского источника. Избыточность.
2.Экстремальные свойства относительной энтропии.

 

1. Производительность марковского источника. Избыточность.

Согласно Марковской модели условная вероятность выбора источником очередной X_ih буквы зависит только от предшествующих. Математической моделью сообщений, вырабатываемых таким источником, являются цепи Маркова -гo порядка. В рамках указанной модели условная вероятность выбора i_k -й буквы

Если последнее равенство не зависит от времени, то есть справедливо при любом значении k, источник называется однородным. Однородный марковский источник называется стационарным, если безусловная вероятность выбора очередной буквы не зависит от k (p (x_i,k)= p (x_i)). Вычислив производительность источника для простой цепи Маркова ( =l)…учитывая, что всегда , имеем .

В случае Марковской цепи -го порядка H u равна H_и .

Для производительности марковского источника всегда справедливо неравенство Hu .

Максимального значения, равного log m_x, производительность источника достигает, когда отсутствует статистическая зависимость между буквами в слове и когда все буквы алфавита вырабатываются с равными вероятностями. Очевидно, максимальная производительность источника полностью определяется размером алфавита m_х.

Для того чтобы характеризовать, насколько полно использует источник возможности алфавита, вводится параметр , называемый избыточностью.

Для передачи заданного количества информации, равного I, требуется n = I /H u букв. В случае, когда производительность источника достигает своего максимального значения, равного , для передачи того же количества информации I тре­буется минимальное количество букв, равное .

Отсюда I = n*Н_и = n_о * Н_mах или . Учитывая последнее равенство, выражение для избыточности можно записать в виде

Т.о., избыточность показывает, какая часть букв в слове не загружена информацией.

Когда отношение / n стремится к нулю, при неограниченном возрастании n марковский источник вырабатывает типичные последовательности, количество которых или более приближенно .

2.Экстремальные свойства относительной энтропии.

 

Одной из основных характеристик, используемых при проектировании информационных систем, является энтропия. Поэтому часто возникает необходимость определения закона распределения случайной величины X, при котором энтропия H(X) имеет максимальное значение.

Для дискретного множества X было установлено, что при равномерном распределении вероятностей энтропия H(X) имеет максимальное значение, равное . Однако, в случае систем с непрерывным множеством состояний аналогичная задача не имеет решения, если на непрерывную случайную величину X априори не наложить некоторые ограничения.

Экстремальные свойства относительной энтропии удобно интерпретировать через объем подпространства, который занимают типичные последовательности. Согласно равенству , чем больше объем указанного пространства, тем больше относительная энтропия H(Х) (больше неопределенность того, какая из типичных последовательностей будет выбрана).

Приведем несколько примеров.

1. Пусть известно, что область X возможных значений случайной величины ограничена интервалом , . Найдем распределение, обладающее при этом максимальной относительной энтропией. Очевидно энтропия H(X) будет иметь максимальное значение, если подобласть определения типичных последовательностей будет совпадать с областью определения всех последовательностей. Только в этом случае объем имеет максимальное значение , равное объему

n - мерного куба, сторона которого равна . При этом энтропия

 

.

Приведенные рассуждения не являются строгим доказательством последнего равенства. Строгое доказательство можно найти в литературе.

2. Если на случайную величину X наложить следующие ограничения:

а) область возможных значений неограничена ;

б) известно среднее значение величины X;

в) задана дисперсия случайной величины , то закон распределения, доставляющий максимум энтропии , будет нормальным.

3. В случае, когда может принимать только положительные значения при и первый момент равен , максимальное значение энтропии достигается при

 

.

 

Билет 10.
а) Сущность и методы эффективного кодирования
б) Эпсилон-энтропия. Производительность источника с непрерывным множеством состояний

Билет.