Сигнал как случайный процесс

 

Представление сигнала некоторой функцией времени S(t) не отражает существа процесса передачи информации. Если на приемной стороне сигнал может быть заранее представлен некоторой функцией времени, то не имеет смысла передавать такой сигнал по каналу связи, так как заранее известны все будущие значения сигнала.

В действительности о сигнале на приемной стороне могут быть известны лишь совокупность его возможных значений, вероятности их появления, а также некоторые основные (или средние) характеристики сигнала. Появление того или иного сигнала на приемной стороне является случайным событием. Возможные значения такого случайного сигнала называют выборочными значениями (рисунок 1.11), а все множество возможных значений - выборочным пространством. Например, в случае двоичного кодирования выборочное пространство состоит из двух элементов (посылка и пауза). Напряжение теплового шума в цепях аппаратуры связи может принимать любое значение, и, следовательно, выборочным пространством в этом случае является вся действительная ось значений сигнала(-∞;∞).

В процессе связи одни значения сигнала сменяются другими, образуя выборочные функции или реализации случайного сигнала. Форма реализации случайного сигнала зависит от передаваемого сообщения и, следовательно, меняется от опыта к опыту. Таким образом, случайный сигнал может быть представлен функцией времени лишь в рамках данной его реализации.

Объединяя в себе свойства функции времени и случайной величины, сигнал действующий в линии связи должен рассматриваться как случайный процесс. В соответствии с отмеченной двойственностью случайного сигнала он может быть задан двояким образом. По одному из этих способов случайный сигнал считается заданным, если известны все его реализации и их вероятности. Другой способ задания случайного сигнала заключается в указании закона распределения для случайных величин, представляющих сигнал в различные моменты времени.

Менее подробным способом описания случайного сигнала является указание его средних характеристик:

- математического ожидания, совпадающего с постоянной составляющей всех типичных и достаточно длинных реализаций сигнала;

- дисперсии, которая равна мощности переменных составляющих сигнала, выделяемой на единичном сопротивлении;

- частотногоспектра мощности, характеризующего распределение энергии сигнала по частоте;

- функции корреляции, определяющей степень взаимной зависимости значений сигнала в различные моменты времени.

Определение указанных характеристик сигнала, несмотря на их широкое применение, не характеризует сигнал с точки зрения содержащейся в нем информации. Между тем, сигнал связи ценен лишь тем, что содержит в себе информацию. До приема сигнала ситуация для получателя является неопределенной, а получение сигнала и извлечение из него информации разрушает или, по крайней мере, уменьшает неопределенность. При этом чем более неопределенной была ситуация до приема сообщения и чем менее неопределенной она стала после этого приема, т. е. чем больше неопределенности снято при приеме сообщения, тем большая информация получена па приемной стороне.

Таким образом, для оценки количества информации, заключенной в сигнале (сообщении), необходимо оценивать сигнал с точки зрения неопределенности, обусловленной его законом распределения. Количественную меру неопределенности очередного значения сигнала называют энтропией, понятие которой ввел впервые Клод Шеннон в 1948г.

В случае дискретного сигнала S (t), который может принимать т различных значений с вероятностями p ₁, p ₂,…, p_m, энтропия определяется величиной

(5.9)

Логарифмы в этом выражении могут быть взяты при любом основании, но чаще всего выбирается основание 2. Тогда при т = 2 и р₁ = р₂ = 0,5 энтропия Н(x)= l. Это значение энтропии называют двоичной единицей (1 дв. ед. или 1 бит ). Одна двоичная единица энтропии связана с неопределенностью выбора одного из двух равновероятных значений сигнала. Например, если ответом на заданный вопрос могут быть с одинаковой априорной вероятностью утверждение «да» или отрицание «нет», то неопределенность ответа равна 1 дв. ед., т. е. 1 биту.

Из определения энтропии вытекают следующие ее свойства:

1) энтропия сигнала равна нулю лишь в том случае, если вероятность наступления одного из его значений равна единице (вероятности остальных значений при этом равны нулю). Такой сигнал не обладает неопределенностью, так как достоверно известно одно единственно возможное его значение. Во всех других случаях, когда имеет место та или иная неопределенность значения сигнала, энтропия является положительной величиной;

2) наибольшей энтропией обладает сигнал с равномерным законом распределения вероятностей, т.е. сигнал, обладающий наибольшей неопределенностью исхода. При равновероятности любого из m символов р_k= 1/ m и

. (5.10)

3) при объединении независимых ансамблей случайных событий их энтропии складываются: ;

4) энтропия дискретных сообщений есть величина вещественная, ограниченная и неотрицательная, так как значение вероятности не превосходит единицу, т.е. . При этом его логарифм это отрицательное число или ноль, т.к. график логарифма имеет вид (рисунок 5.6), и с учетом (5.9) энтропия будет неотрицательной величиной.

Рисунок 5.6 – График функции log(p(x_i))

 

Эти свойства подтверждают, что энтропия может служить мерой неопределенности состояния различных случайных объектов и, в частности, таких объектов, как сигналы в системах связи и их источники.

Однако основное определение энтропии учитывает лишь неравновероятность появления различных значений сигнала и не учитывает взаимосвязи между этими значениями. Между тем, интуитивно чувствуется, что взаимозависимости между элементами сигнала уменьшают его неопределенность. Если после данного элемента сигнала S (t), возможно появление не любого, а лишь некоторых из m возможных элементов сигнала или если появление элемента х_i влияет на вероятности появления последующих элементов, делая одни из них более вероятными, а другие - менее вероятными, то это значит, что элемент х_i вносит некоторую ясность о последующих значениях сигнала еще до их появления, т. е. уменьшает общую неопределенность ситуации. Если взаимозависимость между элементами сигнала делать все более жесткой, то в пределе после данного значения сигнала с вероятностью единица станет возможным появление лишь одного определенного значения сигнала. В этом предельном случае вероятностный процесс превращается в функциональную зависимость значения сигнала от времени, неопределенность ситуации полностью исчезает и энтропия должна стать равной нулю.

Пусть, например, передается сигнал, в котором вероятностные взаимозависимости наблюдаются лишь между соседними элементами. Зафиксируем внимание только на тех элементах х_i, которые появляются сразу после элементов х_i. Если в достаточно длинной реализации, состоящей из n элементов, число таких элементов х_i равно n_i,j, то условная вероятность появления элемента х_i после элемента х_i равна:

. (5.11)

Чтобы оценить неопределенность появления того или иного элемента сигнала после того, как был принят элемент х_i, необходимо воспользоваться определением энтропии, но для условных вероятностей:

. (5.12)

Для различных элементов сигнала i = 1, 2,..., m величина этой неопределенности различна, а так как эти элементы появляются случайно, то Н_i(X) является случайной величиной. Энтропией сигнала в целом целесообразно считать математическое ожидание этой случайной величины:

(5.13)

Таким образом, энтропия сигнала при наличии вероятностной взаимозависимости между двумя соседними элементами сигнала определяется выражением:

(5.14)

При распространении вероятностных взаимозависимостей на несколько последующих значений сигнала выражения для определения энтропии усложняются, но методика вычислений остается прежней.

Полученные выражения позволяют вычислить среднее значение энтропии, приходящееся на один элемент сигнала. Энтропия сигнала длительностью в п элементов может быть определена как средняя энтропия одного элемента, увеличенная в n раз.

Приведённые определения энтропии, справедливые для дискретных сигналов, не могут быть непосредственно использованы для оценки неопределенности непрерывного сигнала (или непрерывного источника). Поскольку непрерывный сигнал имеет бесконечно большое число возможных значений, неопределенность исхода одного из них может быть как угодно велика. Действительно, обращаясь к дифференциальному закону распределения вероятностей и обозначая через р(х) плотность вероятности, можно считать, что при достаточно малом ∆ х вероятность попадания сигнала в интервал (х_k,, x_k + ∆ x) равна:

. (5.13)

Следовательно, выражение для энтропии непрерывных сообщений, после математических преобразований примет вид:

. (5.14)

Полученное выражение подтверждает высказанное предположение о бесконечно больших значениях энтропии непрерывного сигнала. Свойства энтропии непрерывного сигнала аналогичны свойствам энтропии дискретного сигнала.

 

Характеристики канала связи

 

К основным характеристикам канала связи относят следующие:

1) время действия канала, – время, в течении которого канал выполняет свои функции;

2) полоса пропускания ∆ f _к – полоса частот колебаний, пропускаемых каналом без значительного ослабления;

3) динамический диапазон D_к,

, (5.15)

зависит от чувствительности приемника и допустимых нагрузок аппаратуры канала связи;

4) емкость канала связи – произведение вышеупомянутых величин:

V_к=Т_к ∆ f _к D_к. (5.16)

Если объем сигнала превышает емкость канала связи, то такой сигнал не может быть передан без искажений (без потери информации).

Общее условие согласования сигнала с каналом передачи информации определяется соотношением:

(5.17)

Это соотношение выражает необходимое, но не достаточное условие согласования сигнала с каналом. Достаточным является условие согласования по всем параметрам:

;∆ f_c ≤ ∆ f_к; D_c ≤ D_к. (5.18)

Если при выполнении условия (5.17) не обеспечивается часть условий (5.18). то можно добиться согласования трансформаций сигнала при сохранении его объема. Например, если отсутствует согласование сигнала с каналом по частоте, т.е. ∆ f_c ≤ ∆ f_к, то согласование достигается при записи сигнала на магнитофон при одной скорости движения ленты, а при воспроизведении его при передаче с меньшей скоростью в раз. При этом длительность сигнала увеличивается в раз и в раз уменьшается ширина его спектра, при этом объем сигнала не изменяется.

5) количество информации – означает количество переданной информации, содержащейся в сигнале источника , о состоянии объекта (Х), и определяется количеством снятой в результате приема сигнала неопределенности, т.е. разностью априорной (до принятия сигнала) апостериорной (после принятия сигнала) энтропий:

(5.19)

Отсюда вытекают следующие свойства:

а) количество информации измеряется в тех же единицах, что и энтропия, чаще всего в битах;

б) количество информации всегда неотрицательно: ≥0;

в) никакое преобразование сигнала не увеличит содержащейся в нем информации;

г) количество информации о каком-либо источнике Х, содержащейся в сигнале Y, не больше энтропии этого источника: ≤ H(X).

д) количество информации, содержащейся в источнике X о самом себе, равно его энтропии:

В частном случае, когда m возможных состояний источника равновероятны и независимы друг от друга, каждое его состояние несет информацию , а последовательность, состоящая из n состояний (например, телеграмма, длинной в n знаков, составленная из m равновероятных символов), несет информацию . В данном случае количество информации, содержащееся в источнике информации, определяется логарифмом числа возможных последовательностей состояний источника (числа возможных равновероятных событий), из которых осуществляется выбор при получении информации.

Количество информации при неполной достоверности дискретных сообщений равно разности безусловной энтропии H(X), характеризующей начальную неопределенность сообщения, и условной энтропии, характеризующей остаточную неопределенность сообщения:

, (5.20)

где – количество информации, содержащейся во всей совокупности принятых сообщений X, относительно всей совокупности переданных сообщений ;

, где – априорная вероятность;

, где – условная вероятность, характеризующая неопределенность в сообщении x_i относительно переданного сообщения . Вероятность совместного появления событий и x_i, равную , можно записать как:

(5.21)

Вероятность равна априорной вероятности появления сообщения y_i умноженной на условную (апостериорную) вероятность появления сообщения y_i при условии, что принято сообщение x_i.

Приведем пример передачи сообщения о состоянии выхода источника напряжения, принимающего с равной вероятностью значения напряжения от 1 до 10 В. В этом случае сообщение несет большую информацию. Нетрудно заметить, что чем меньше вероятность события, тем большее количество информациисодержится в сообщении об этом событии. Например, сообщение о том, что в июле будут заморозки, содержит много информации, т.к. такое событие редкое и его вероятность очень мала.

Количество информации имеет выражение:

(5.22)

Несмотря на совпадение формул, количества информации и энтропии, количество информации определяется после получения сообщения.

Единицы измерения количества информации и энтропии зависят от выбора основания логарифма: при использовании десятичных логарифмов – Дит; натуральных – Нит; двоичных – Бит.

6) скорость передачи информации – среднее количество информации, передаваемое по каналу в единицу времени. В общем случае скорость передачи зависит от длительности передаваемого сообщения . При достаточно длинных сообщениях, скорость передачи остается постоянной. Скорость передачи информации имеет следующее выражение:

, (5.23)

где – количество информации, передаваемое за время работы канала.

7) пропускная способность канала – максимальная теоретически допустимая для данного канала скорость передачи информации:

. (5.24)

Скорость ввода информации в канал не должна превышать пропускную способность канала, иначе информация будет утеряна. Аналитически скорость ввода информации выражается следующим образом:

, (5.25)

где – среднее количество информации на входе канала;

– длительность сообщения.

Одним из основных вопросов в теории передачи информации является определение зависимости скорости передачи информации и пропускной способности от параметров канала и характеристик сигналов и помех, действующих в нем.