Информационные характеристики дискретных каналов связи

Модели дискретных каналов. Дискретным каналом называют совокупность средств, предназначенных для передачи дискретных сигналов. Такие каналы широко используются, например, при передаче данных, в телеграфии, радиолокации.

Дискретные сообщения, которые состоят из последовательности знаков алфавита источника сообщения (первичного алфавита) , преобразуются в кодирующем устройстве в последовательности символов. Объём  алфавита символов (вторичного алфавита) , как правило, меньше объёма  алфавита знаков, но они могут и совпадать.

Материальным воплощением символ является элементарный сигнал, получаемый в процессе манипуляции – дискретного изменения определенного параметра переносчика информации. Элементарные сигналы формируются с учётом физических ограничений, накладываемых конкретной линией связи. В результате манипуляции каждой последовательности символов ставится в соответствие сложный сигнал. Множество сложных сигналов конечно. Они различаются числом, составом и взаимным расположением элементарных сигналов.

Термины "элементарный сигнал" и "символ", так же как "сложный сигнал" и "последовательность символов", в дальнейшем будут использоваться как синонимы.

Информационная модель канала с помехами задаётся множеством символов на его входе и выходе и описанием вероятностных свойств передачи отдельных символов. В общем случае канал может иметь множество состояний и переходить из одного состояния в другое как с течением времени, так и в зависимости от последовательности передаваемых символов.

В каждом состоянии канал характеризуется матрицей условных вероятностей  того, что переданный символ  будет воспринят на выходе как символ . Значения вероятностей в реальных каналах зависят от многих различных факторов: свойств сигналов, являющихся физическими носителями символов (энергия, вид модуляции и т.д.), характера и интенсивности воздействующих на канал помех, способа определения сигнала на приёмной стороне.

При наличии зависимости переходных вероятностей канала от времени. что характерно практически для всех реальных каналов, он называется нестационарным каналом связи. Если эта зависимость несущественна, используется модель в виде стационарного канала, переходные вероятности которого не зависят от времени. Нестационарный канал может быть представлен рядом стационарных каналов, соответствующим различным интервалам времени.

Канал называется с " памятью " (с последействием). если переходные вероятности в данном состоянии канала зависят от его предыдущих состояний. Если переходные вероятности постоянны, т.е. канал имеет только одно состояние, он называется стационарным каналом без памяти. Под ичным каналом подразумевается канал связи, у которого число различных символов на входе и выходе одинаково и равно .

Стационарный дискретный двоичный канал без памяти однозначно определяется четырьмя условными вероятностями: , , , . Такую модель канала принято изображать в виде графа, представленного на рис. 45.1, где  и  - вероятности неискаженной передачи символов, а   и  - вероятности искажения (трансформация) символов 0 и 1 соответственно.

Если вероятности искажения символов можно принять равными, т.е. , то такой канал называется двоичным симметричным каналом [при   канал называется несимметричным ]. Символы на его выходе правильно принимают с вероятностью   и неправильно – с вероятностью . Математическая модель упрощается.

Именно этот канал исследовался наиболее интенсивно не столько в силу своей практической значимости (многие реальные каналы описываются им весьма приближенно), сколько в силу простоты математического описания.

Важнейшие результаты, полученные для двоичного симметрического канала, распространены на более широкие классы каналов.

Следует отметить ещё одну модель канала, которая в последнее время приобретает всё большее значение. Это дискретный канал со стиранием. Для него характерно, что алфавит выходных символов отличается от алфавита входных символов. На входе, как и ранее, символы 0 и 1, а на выходе канала фиксируются состояния, при которых сигнал с равным основанием может быть отнесён как к единице, так и к нулю. На месте такого символа не ставится ни нуль, ни единица: состояние отмечается дополнительным символов стирания . При декодировании значительно легче исправить такие символы, чем ошибочно определенные.

На рис. 45.2 приведена модель стирающего канала при отсутствии трансформации символов, а на рис. 45.3 при наличии трансформации символов.

Скорость передачи информации по дискретному каналу. Характеризуя дискретный канал связи, используют два понятия скорости передачи: технической и информационной.

Под технической скоростью передачи , называемой также скоростью манипуляции, подразумевают число элементарных сигналов (символов), передаваемых по каналу в единицу времени. она зависит от свойств линии связи и быстродействия аппаратуры канала.

С учётом возможных различий в длительностях символов скорость

,

где среднее значение длительности символа.

При одинаковой продолжительности  всех передаваемых символов .

Единицей измерения технической скорости служит бод – скорость, при которой за одну секунду передаётся один символ.

Информационная скорость, или скорость передачи информации, определяется средним количеством информации, которое передаётся по каналу в единицу времени. Она зависит как от характеристик данного канала связи, таких, как объём алфавита используемых символов, техническая скорость их передачи, статистические свойства помех в линии, так и от вероятностей поступающих на вход символов и их статистической взаимосвязи.

При известной скорости манипуляции  скорость передачи информации по каналу  задается соотношением

,

где - среднее количество информации, переносимое одним символом

Пропускная способность дискретного канала без помех. Для теории и практики важно выяснить, до какого предела и каким путём можно повысить скорость передачи информации по конкретному каналу связи. Предельные возможности канала по передаче информации характеризуются его пропускной способностью.

Пропускная способность канала   равна той максимальной скорости передачи информации по данному каналу, которой можно достигнуть при самых совершенных способах передачи и приёма:

.

При заданном алфавите символов и фиксированных основных характеристиках канала (например, полосе частот, средней и пиковой мощности передатчика) остальные характеристик должны быть выбраны такими, чтобы обеспечить наибольшую скорость передачи по нему элементарных сигналов, т.е. обеспечить максимальное значение . Максимум среднего количества информации, приходящейся на один символ принятого сигнала , определяется на множестве распределений вероятностей между символами .

Пропускная способность канала, как и скорость передачи информации по каналу, измеряется числом двоичных единиц информации в секундах (дв. ед./с).

Так как в отсутствие помех имеет место взаимно-однозначное соответствие между множеством символов  и  на его входе, то . Максимум возможного количества информации на символ равен , где объём алфавита символов, откуда пропускная способность дискретного канала без помех

.

Следовательно, для увеличения скорости передачи информации по дискретному каналу без помех и приближения её к пропускной способности канала последовательность букв сообщения должна подвергнуться такому преобразованию в кодере, при котором различные символы в его выходной последовательности появлялись бы по возможности равновероятно, а статистические связи между ними отсутствовали бы. Ниже будет доказано, что это выполнимо для любой эргодической последовательности букв, если кодирование осуществлять блоками такой длины, при которой справедлива теорем об их асимптотической равновероятности.

Расширение объёма алфавите символов  приводит к повышению пропускной способности канала (рис. 45.4), однако возрастает и сложность технической реализации.

Пропускная способность дискретного канала с помехами. При наличии помех соответствие между множествами символов на входе и выходе канала связи перестаёт быть однозначным. Среднее количество информации , передаваемое по каналу одним символом, определяется в этом случае соотношением

.

Если статистические связи между символами отсутствуют, энтропия сигнала на выходе линии связи равна

.

При наличии статистической связи энтропию определяют с использованием цепей Маркова. Поскольку алгоритм такого определения ясен и нет необходимости усложнять изложение громоздкими формулами, ограничимся здесь только случаем отсутствия связей.

Апостериорная энтропия характеризует уменьшение количества переданной информации вследствие возникновения ошибок. Она зависит как от статистических свойств последовательностей символов, поступающих на вход канала связи, так и от совокупности переходных вероятностей, отражающих вредное действие помехи.

Если объём алфавита входных символов  равен , а выходных символов , то

.

Подставив выражения (45.6) и (45.7) в (45.5) и проведя несложные преобразования, получим

.

Скорость передачи информации по каналу с помехами

.

Считая скорость манипуляции  предельно допустимой при заданных технических характеристиках допустимой при заданных технических характеристиках канала, величину  можно максимизировать, изменяя статистические свойства последовательностей символов на входе канала посредством преобразователей (кодера канала). Получаемое при этом предельное значение  скорости передачи информации по каналу называют пропускной способностью дискретного канала связи с помехами:

,

где множество возможных распределений вероятностей входных сигналов.

Важно подчеркнуть, что при наличии помех пропускная способность канала определяет наибольшее количество информации в единицу времени, которое может быть передано со сколь угодно малой вероятностью ошибки.

Далее будет показано, что к пропускной способности канала связи с помехами можно приблизиться, кодируя эргодическую последовательность букв источника сообщений блоками такой длины, при которой справедлива теорема об асимптотической равновероятности длинных последовательностей.

Произвольно малая вероятность ошибки оказывается достижимой только в пределе, когда длина блоков становится бесконечной.

При удлинении кодируемых блоков возрастает сложность технической реализации кодирующих и декодирующих устройств и задержка в передаче сообщений, обусловленная необходимостью накопления требуемого числа букв в блоке. В рамках допустимых усложнений на практике при кодировании могут преследоваться две цели: либо при заданной скорости передачи информации стремятся обеспечить минимальную ошибку, либо при заданной достоверности – скорость передачи, приближающуюся к пропускной способности канала.

Предельные возможности канала никогда не используются полностью. Степень его загрузки характеризуется коэффициентом использования канала

,

где производительность источника сообщений; пропускная способность канала связи.

Поскольку нормальное функционирование канала возможно, как показано далее, при изменении производительности источника в пределах ,  теоретически может изменяться в пределах от 0 до 1.