Производительность и избыточность.

Производительностью источника информации  называется среднее количество информации, выдаваемой источником в единицу времени:

 бит/с,

где  - средняя длительность символа источника;  – длительность -го символа;  – вероятность появления -го символа,  – число различных символов источника,  - частота посылки символов (скорость источника).

 

Избыточность источника  зависит как от протяженности статистических связей между последовательно выбираемыми символами (памятью источника), так и от степени неравновероятности отдельных символов. Из-за корреляционных связей между символами и неравновероятностного их появления в реальных сообщениях, количество информации, переносимое одним символом, падает. Количественно эти потери информации характеризуют коэффициентом избыточности :

,   

где  - максимальное количество информации, переносимое одним символом, когда символы независимы и равновероятны;  - количество информации, переносимое одним символом в реальных условиях.

 

Избыточностъ изменяется от 0 до 1. Ее численное значение показывает, на какую часть можно сократить объем сообщения без потери информации за счет более рационального использования символов источника. Например, если  это означает, что после устранения избыточности объем сообщения уменьшится на 40%.

Пусть источник выдает последовательность букв из алфавита объемом . Если буквы выбираются равновероятно и независимо друг от друга, то энтропия источника  бит/букву. При связном русском тексте буквы неравновероятны (например, буква "а" передается чаще буквы "ф" и т.д.) и, главное, зависимы (сочетания более трех согласных подряд мало вероятны). Поэтому энтропия уменьшается. Так, энтропия ансамбля текстов русской художественной прозы менее 1,5 бит/буква, а ансамбля поэтических произведений около 1 бит/буква (имеются дополнительные вероятностные связи, обусловленные ритмом и рифмами). Если же в качестве источника предположить поток телеграмм, то его энтропия обычно не превышает 0,8 бит/букву, так как тексты довольно однообразны. Учет корреляционных связей, распространяющихся на 6-8 букв, показывает, что избыточность современных языков более 0,5.

Чем меньше избыточность, тем рациональнее работает источник. Однако на практике не всегда следует стремиться к уменьшению избыточности до нуля. Некоторая избыточность бывает полезной для повышения достоверности при передаче сообщений в условиях помех. С этой целью при кодировании сообщений в кодовую последовательность специально вводят избыточные символы.