Пропускная способность канала при наличии белого теплового шума

 

Предположим, что по­меха в системе есть белый тепловой шум, ограниченный полосой частот D f. Эта помеха, добавляясь к переданному сигналу, дает принятый сигнал. Белый тепловой шум характеризуется тем, что изменения каждого отсчета независимы от других и что распределение мгновенных значений подчинено гауссовскому закону со стандартным отклонением  где P _Ш — средняя мощность помехи. Сколь­ко различных сигналов можно распознать на приемном конце, нес­мотря на наличие обусловленных помехой изменений? Если бы шума не существовало, то число дискретных уровней сигнала было бы бесконечным. В случае наличия шума последний определяет степени различимости отдельных уровней амплитуды сигнала. Если сигнал имеет мощность Р_С, то сигнал, измененный наложенной помехой, будет иметь мощность Р _C + P _Ш. Так как мощность является усредненной характеристикой амплитуды, число различимых уровней сигнала по мощности равно (P_С + P_Ш) / P_Ш, а по амплитуде соответственно:

.                                                                                       (20)

Согласно теореме Котельникова за время Т имеется 2 T D f независимых значений, тогда полное число разли­чимых сигналов будет равно:

.                                                                                    

Число битов, которое можно передать за время Т, равно log₂ M и скорость передачи и предельная информационная емкость канала согласно (16), определяется как:

.                                                (21)

Формулу (21) вывел К. Шеннон в своей работе «Связь при наличии шума», опубликованной в 1949 г. Из (21) следует, что при фиксированной полосе частот пропускная способность определяется только отношением мощностей сигнала и помех. Ограничение пропускной способности канала связано с тем, что любые используемые для связи сигналы имеют конечную мощность. C = 0 только при P_С + P_Ш = 0. Канал связи обеспечивает передачу информации даже в том случае, если уровень шумов превышают уровень сигнала – это используется для скрытой (неперехватываемой) передачи. Повысить пропускную способность непрерывного канала можно в основном за счет расширения полосы пропускания.

    Наибольшую пропускную способность в соответствии с (21) имеют волоконно-оптические линии связи, использующие полосу частот D f ~10¹³ Гц.

Рис.46. Зависимость скорости передачи в полосе 1 Гц от соотношения сигнал/шум в канале связи. 1 – граница Шеннона; 2 – использование фазовой модуляции; 3 - использование амплитудной модуляции; 4 - использование частотной модуляции

 

На рис. 46. приведены данные по эффективность цифровых систем связи при различных типах дискретизации данных. Как видно из графика, на настоящее время еще не достигнут предел, определяемый теоремой Шеннона.

Фундаментальный энергетический предел передачи информации основан на теореме К. Шеннона для максимальной пропускной способности канала связи (21). Для гауссового источника с тепловым шумом можно записать, что P _Ш = kT ∙ Δ F, где k = 1,38∙10-23 Дж/K константа Больцмана, T – температура в К°. Тогда (21) можно переписать:

(22)

 

Вычислим значение средней энергию на один бит информации путем деления средней мощности сигнала на скорость передачи информации из (22):

 

(23)

вычисляя производную                      и приравнивая её нулю по

 

правилу Лопиталя можно получить:

                                                                                                             (24)

 

 

Таким образом, для передачи по каналу связи с гауссовым шумом одного бита информации необходимо затратить, по крайней мере, энергию, равную kTln 2.

 

Избыточность информации

 

Энтропия источника сообщений, как было показано К. Шенноном принимает максимальное значение Н_max, если его состояния равновероятны. Однако в реальных системах это условие не выполняется и Н < Н_max. Применительно к передаче сообщений ус­ловие H < H_max означает, что   сообщения реального источни­ка могли бы нести большее количество информации. Например, можно вычислить, что максимальная энтропия русского алфавита (33 буквы) H_max = log₂33 ≈ 5 бит/символ, а исходя из статистических данных по текстам - H = 4,35 бит/символ. В английском языке, с 26 буквами и одним пробелом, H_max = log₂27 = 4.76 бит/символ. Конечно же, реальная энтропия английского языка много меньше абсолютной интенсивности – английский чрезвычайно избыточен. В реальном английском языке буквы не равновероятны (например, буква E встречается с большей вероятностью, чем Q). Используя относительные частоты различных букв для вычисления энтропии, мы получили бы оценку около 4,03 бита на символ.

Можно определить абсолютную недогрузку источника как , бит/символ. Вслучае D _abs > 0 энтропия H передаваемого реального cобщения меньше максимально возможного ее значения. Следовательно, до проведения опыта у экспериментатора есть сведения об этом сообщении, то есть имеется некоторое количество априорной информации. Поэтому величину D_abs    называют абсолютной избыточностью информации, которая применительно к языку показывает недогруженность источника информации в среднем на один символ алфавита.

Для оценки свойств источников сообщений нередко пользуют­ся понятием относительной информацион­ной    избыточности, которая является безразмерной величиной и определяется по формуле:

.                                                                 (25)

При описании источника информации совместно с каналом связиотносительная избыточность определяется соотношением , где С - пропускная способность канала; Н   - поток информации. Из этого следует, что при D > 0 принципиально возможна безошибочная передача информации по каналу, поскольку выполняется условие H < C.

На избыточность информации можно посмотреть по-иному, а именно: исследование сообщений текстов телеграмм, кодов и т. д. показало, что все они обладают избыточной информацией, которую можно и не передавать по каналам связи. Но то, что избыточно для каналов связи, вовсе не лишнее для самого языка. Именно избыточная информация, накапливаемая в совокупности всех грамматических и фонетических правил и сделала язык языком. Наличие избыточности в сообщении повышает его помехоустойчивость, а также позволяет восстанавливать исходное сообщение при значительных искажениях в канале связи. В случае необходимости повысить помехоустойчивость сообщений, избыточность полезна и ее специально вводят в сообщение. Если помехи малы, то из-за перегрузки канала связи избыточность вредна, и ее стремятся исключить или уменьшить.

Теория информации в оптике

 

Применение понятий теории информации для описания оптиче­ских и оптико-электронных систем (ОЭС) позволяет с единых    позиций анализировать прохождение сигналов в оптических системах раз­личных типов, начиная с пространства изображений и кончая электронными каналами ОЭС. Единообразный подход обеспечивает объективное количественное сопоставление оптических систем различных типов, анализ и оптимизацию их параметров, определяющих качество изображений (сигналов) оптическими и оптико-электрон­ными системами. Кроме того, перенос понятий теории информации в такие, казалось бы, чисто оптические области, как например, разрешение оптических систем, позволяет установить инварианты, описывающие процесс формирования изображения, и определить ус­ловия, обеспечивающие получения пространственного разрешения, превосходящего классический предел, определяемый дифракцией световых волн на апертурной диафрагме.

Однако, следует отметить, что описывая процесс прохождения и обработки сигналов, теория информации не дает ответа на воп­рос: как технически реализовать рассматриваемый алгоритм обра­ботки сигналов. В связи с этим, при изучении информационныхпонятий в конкретных оптических системах необходимо иметь ясное проставление о принципах их работы и создания, то есть изучение данного раздела предполагает предварительное знаком­ство с дисциплинами по оптике и оптическим системам. При переносе понятий теории информации в оптику появляет­ся ряд новых закономерностей, что обусловлено четырехмерным характером оптических полей, изменяющихся в пространстве и во времени. Действитель­но, многомерность сигналов позволяет реализовать системы обработки информации одновременно по многим независи­мым каналам, а также создать системы хранения информации с плотностью до 1 Тбит/см³. Кроме того, оптические сигналы распро­страняются с предельной достижимей скоростью c = 3∙10¹⁰см/с, что обеспечивает максимально возможное быстродействие процес­са получения и обработки информации.

Целью настоящей главы является формирование основных поня­тий и соотношений, описывающих оптические поля и системы с ин­формационных позиций, а также рассмотрение в качестве примеров некоторых оптических систем записи и обработки информации.