Критерии скорости передачи информации . Пропускная способность канала связи .

 

Располагая графом или матрицей вероятностей переходов, можно рассчитать основные характеристики канала, связывающие его с источником информации и позволяющие оценить возможность передачи заданного количества информации по каналу связи в заданное время, т.е. оценить скорость передачи информации. Основными критериями скорости передачи информации являются собственно скорость передачи информации и пропускная способность канала связи.

В реальных условиях сигнал принимается на фоне помех. Поэтому полной уверенности в правильности приема символов нет. После приёма символа y можно лишь с некоторой вероятностью  утверждать, что был передан символ x.

Из-за наличия помех в канале связи передаваемый символ  может перейти в любой другой символ алфавита. До приема символа  обычно известны априорные вероятности  появления символов в смысловом тексте. Так, например, из данных статистики русского языка известно, что частота появления буквы "о" равна 0,09, буквы "е" - 0,072, буквы "а" - 0,062 и т.д. После приема какого-либо символа  закон распределения определяется более точно, а именно, распределением апостериорных вероятностей , характеризующим то количество информации, которое из-за помех недополучено на приемном конце.

При измерении собственной информации о системе (ансамбле)  предполагалось, что наблюдение ведется непосредственно за самой системой. В СПИ система  недоступна для непосредственного наблюдения и ее состояние выясняется путем наблюдения за системой , связанной с . Например, вместо текста  отправленной радиограммы получатель наблюдает текст принятой , которая не всегда совпадает с  и т.д.

Различие между  и  обусловлено двумя причинами. Во-первых, система  отражает не все состояния ; она "беднее" системы , что можно наблюдать при квантовании. Во-вторых, ошибками при измерении параметров , oшибками при передаче за счет наличия помех, неисправностей аппаратуры и т.д.

Количество информации о системе  при наблюдении за системой  определяется как уменьшение энтропии системы  в результате получения сведений о состоянии системы .

При передаче символа  на приемном конце может быть зафиксирован любой символ используемого алфавита. Количество принятой с символом  информации относительно переданного  равно

.

Эту величину называют взаимной информацией.

Взаимной информацией  называется количество информации, содержащееся в событии  относительно появления события .

Математически взаимная информация определяется как логарифм отношения апостериорной вероятности  к априорной .

В канале без помех каждый переданный символ однозначно определяет соответствующий ему принятый, т.е. в этом случае

и взаимная информация становится равной собственной:

.

Появление конкретных значений  и  случайно. Поэтому и функция будет случайной. В связи с этим найдем среднюю взаимную информацию , приходящуюся на один символ.

По правилу отыскания среднего значения имеем:

Здесь  – условная энтропия ансамбля  при заданном ансамбле .

Поясним физический смысл последней формулы. Мы рассматриваем  как передаваемые сообщения в системе связи при наличии помех, а  как принимаемые сигналы, поэтому рассматриваемая формула показывает, что средняя взаимная информация  равна разности между средним количеством информации, необходимым для определения  перед и после приема . При этом энтропия  характеризует среднее количество переданной информации, величина  среднее количество принятой информации о передаваемом сообщении и условная энтропия  - среднее количество потерянной информации из-за влияния помех. Величина  характеризует неопределенность (неоднозначность) относительно , остающуюся после приема , т.е. степень скрытности передачи.

В виду того, что канал задаётся вероятностями переходов

  p (y_j | x_i) для расчёта средней взаимной информации более удобна формула

Скорость передачи информации V _и определяется средним количеством информации, которое можно передать по каналу в единицу времени

  

где v_и - среднее число символов, поступающих на вход канала в единицу времени; t _ср = М{ t } - средняя длительность символов используемого алфавита; H (x) и H (x | h) - априорная и апостериорная энтропии.

Минимально допустимое значение t _ср в канале связи зависит от полосы частот D f, отводимой сигналам этого канала.

Величину v_и часто называют скоростью передачи сигналов или посылок, технической скоростью или скоростью манипуляции, а также скоростью телеграфирования. Из последней формулы следует, что v_и определяется длительностью одного символа дискретного сообщения или, что то же самое, длительностью посылки первичного сигнала q (t). Эта скорость выражается числом посылок, передаваемых в единицу времени. Измеряется скорость манипуляции в Бодах. Один Бод – это скорость, при которой за 1с передается одна посылка (один элементарный импульс, соответствующий в двоичном канале 0 или 1). Если длительность элементарного импульса Т выражена в секундах, то скорость манипуляции

V _м =1/ τ, Бод.

Например, при длительности посылки Т =50 мс, скорость манипуляции равна v_м=20 Бод.

Скорость манипуляции определяет значение частоты манипуляции, которая соответствует частоте колебаний при поочередной передаче различных элементов друг за другом. Из рис. видно, что частота манипуляции равна

F _м =1/(2 τ) = V _м /2,, Гц.

Следует чётко различать скорость передачи информации V _и   и техническую скорость v_м. Техническая скорость определяется характеристиками источника сообщений и преобразователя сообщений в электрические сигналы, но не зависит от действия помех, измеряется в бодах. Скорость передачи информации определяется количеством информации, поступившим без ошибок по каналу связи от источника к получателю за одну секунду, измеряется в бит/с и численно совпадает с технической скоростью только для двоичных с равновероятными символами каналов связи без ошибок. Скорость передачи информации зависит от действия помех в канале связи.

Энтропия H (x) определяется статистическими свойствами источника и методом кодирования сообщений, поступающих на вход канала.

Энтропия H (x | h) характеризует потери информации в канале из-за помех и называется ненадежностью канала. При одном и том же уровне помех эти потери зависят также от методов модуляции и принятия решения.

Таким образом, скорость передачи информации зависит от статистических свойств источника, методов кодирования сообщений и свойств самого канала, т.е. она характеризует систему связи в целом.

Если сигналы x и h - цифровые (квантованы по времени и по уровню), причем длительность всех сигналов одинакова и равна t, а помехи отсутствуют, то

Из-за наличия избыточности в сообщениях и потери информации в канале вследствие помех, скорость передачи информации V_k оказывается значительно меньше скорости ее создания источником v _и. Поэтому возникает задача определения максимального значения V_k.

Пропускной способностью канала С называется максимально возможная для данного канала скорость передачи информации

,

где максимум отыскивается по всем возможным распределениям входных символов.

При заданных вероятностях перехода p (y_j | x_i) задача вычисления величины C сводится к отысканию "наилучшего" распределения вероятностей p (x_i), i = 1, 2,..., n, сигналов на входе канала. Если такое распределение найдено, то при независимости сигналов скорость передачи информации равна пропускной способности канала.

Иногда оперируют с понятием удельной пропускной способности С₁, под которой понимается наибольшее количество информации, поступающей по каналу связи с одним символом.

Если время, отводимое на передачу одного символа, равно t и соответственно скорость передачи посылок v _и= 1/ t, то С= v_иС₁.

В канале связи без помех принятые сигналы y_i всегда совпадают с переданными x_i; между ними существует детерминированная связь и Н(x | h)= H (h | x). В этом случае

.

Энтропия H (x) максимальна, если сигналы x_i равновероятны, т.е. p (x_i)= 1/n. Тогда

.

Из этой формулы следует, что пропускная способность цифрового канала без помех увеличивается с уменьшением длительности сигнала t и увеличением объема алфавита n.

Последнюю формулу можно также представить в виде

,

где - время, затрачиваемое на передачу одного бита информации. Величину  называют производительностью источника или скоростью передачи данных.