Теорема Шеннона-Хартли о пропускной способности канала

Выражение для пропускной способности (теорема Шеннона-Хартли) можно записать следующим образом:

Если W измеряется в герцах, а логарифм берется по основанию 2, то пропускная способность будет иметь размерность бит/с. Теоретически (при использовании достаточно сложной схемы кодирования) информацию по каналу можно передавать с любой скоростью R< С со сколь угодно малой вероятностью возникновения ошибки. Если же R>C, то кода, на основе которого можно добиться сколь угодно малой вероятности возникновения ошибки, не существует. В работе Шеннона показано, что величины S, N и W устанавливают пределы скорости передачи, а не вероятности появления ошибки. Поскольку мощность детектируемого шума пропорциональна
полосе пропускания N=N₀W, и если R=C, то S/N₀W=Е_b/N_о. Тогда

 

Предел Шеннона

 

Существует нижнее предельное значение Е_b/N_о, при котором ни при какой скорости передачи нельзя осуществить безошибочную передачу информации. С помощью соотношения

можно рассчитать предельное значение.

Пусть

Тогда

                                                             (1)

При C/W→0

В децибелах Е_b/N_о= ‑1,6дБ.

Это значение Е_b/N_о называется пределом Шеннона. На рис. 1, а предел Шеннона ‑ это кривая зависимости Р_B от Е_b/N_о при k→∞. При Е_b/N_о= ‑1,6дБ. данная кривая скачкообразно изменяет свое значение от Рв ~ 1/2 на Рв = 0. В действительности достичь предела Шеннона невозможно, поскольку k возрастает неограниченно, а с ростом к возрастают требования к полосе пропускания и повышается сложность реализации системы. Работа Шеннона ‑ это теоретическое доказательство существования кодов, которые могут улучшить Рв или снизить требуемое значение Е_b/N_о от уровней некодированных двоичных схем модуляции до уровней, приближающихся к предельной кривой. При вероятности появления битовой ошибки 10^-5 двоичная фазовая манипуляция (BPSK) требует значения Е_b/N_о, равного 9,6 дБ (оптимум некодированной двоичной модуляции). Следовательно, за счет использования кодирования, производительность можно повысить на 11,2 дБ по сравнению с некодированной двоичной модуляцией. Оптимальную разработку системы можно наилучшим образом представить как поиск рациональных компромиссов среди различных ограничений и взаимно противоречивых требований. Компромиссы модуляции и кодирования, т.е. выбор конкретных схем модуляции и кодирования для наилучшего использования переданной мощности и ширины полосы, являются очень важными, поскольку имеется много причин для снижения мощности, а также существует необходимость экономии спектра радиочастот.

 

Энтропия

Для разработки системы связи с определенной способностью к обработке сообщений нужна метрика измерения объема передаваемой информации. Шеннон ввел такую метрику H, называемую энтропией источника сообщений (имеющего n возможных выходных значений). Энтропия определяется как среднее количество информации, приходящееся на один выход источника, и выражается следующим образом:

бит/выход источника.

Здесь рi вероятность i-того выходного значения и Σрi=1. Если сообщение двоичное или источник имеет только два возможных выходных значения с вероятностями р и q=(1-р), выражение для энтропии примет следующий вид:

Неоднозначность и эффективная скорость передачи информации

Пусть по двоичному симметричному каналу со скоростью 1000 двоичных символов/с происходит передача информации, а априорная вероятность передачи нуля или единицы одинакова. Допустим также, что, вероятность приема единицы равна 1/2 (то же самое ‑ для нуля). В таком случае половина принятых символов должна случайно оказаться правильной, и может создаться впечатление, что система обеспечивает скорость 500 бит/с, хотя на самом деле никакой информации не передается. Одинаково "хороший" прием дает и использование "информации", поступившей из канала, и генерация этой "информации" методом подбрасывания правильной монеты. Утраченной является информация о корректности переданных символов. Для оценки неопределенности в принятом сигнале Шеннон использует поправочный коэффициент, который называет неоднозначностью. Неоднозначность определяется как условная энтропия сообщения X, обусловленная данным сообщением Y, или

где X сообщение, переданное источником, Y ‑ принятый сигнал, Р(Х, У) ‑ совместная вероятность X и Y, а Р{Х|У) ‑ условная вероятность X при приеме Y. Неоднозначность можно представить как неуверенность в передаче X при условии принятия Y. Для канала без ошибок Н{Х|У)=0, поскольку принятие сообщения Y абсолютно точно определяет X. Для канала с ненулевой вероятностью возникновения символьной ошибки Н{Х|У)>0, поскольку канал вносит некоторую неопределенность.

Шеннон показал, что среднее эффективное количество информации H_eff в приемнике получается путем вычитания неоднозначности из энтропии источника. Следовательно,

Плоскость "полоса-эффективность.

Рис. 3. Плоскость полоса-эффективность.

С помощью уравнения (1) можно составить график зависимости нормированной полосы пропускания канала W/C (в Гц/бит/с) от Е_b/N_о. Можно показать, что качественно спроектированные системы должны стремиться к работе в области излома кривой компромисса между полосой пропускания и мощностью для идеального (R=С) канала. Характеристики реальных систем часто отличаются от идеальных не более чем на 10 дБ. Наличие излома означает, что в системах, в которых предпринимается попытка уменьшить занимаемую полосу пропускания канала или снизить требуемую мощность, приходится все больше повышать значение другого параметра (что является не очень желательным).

Назовем плоскость зависимости C/W от Е_b/N_о плоскостью "полоса-эффективность". Ордината R/W ‑ это мера объема данных, которые можно передать через единицу полосы частот за данное время; следовательно, она отображает эффективность использования ресурса полосы пропускания. Независимая переменная Е_b/N_о измеряется в децибелах. Кривая R=С ‑это граница, разделяющая область реальных прикладных систем связи и область, в которой такие системы связи теоретически невозможны. Характеристика эффективности полосы пропускания на рис. 3 устанавливает предельные параметры, которые достижимы для прикладных систем. Отметим, что на рис. 3 проиллюстрирована зависимость эффективности использования полосы частот от Е_b/N_о для систем с одной несущей. Для систем с множественными несущими эффективность использования полосы частот зависит от разнесения несущих (и типа модуляции). В этом случае компромисс ‑ это насколько разнесены несущие (что приводит к повышению эффективности использования полосы частот) без возникновения неприемлемых помех соседних каналов.