Уровни проблем передачи информации

ЭТАПЫ ОБРАЩЕНИЯ ИНФОРМАЦИИ

Отметим роль (цель) информации - неопределенное эмоциональное воздействие на человека. В автоматических и автоматизированных системах информация чаще всего используется для выработки управляющих воздействий. При обращении (циркуляции, обороте) информации в таких системах можно выделить следующие этапы, и так как материальным носителем информации является сигнал, то реально это будут этапы обращения и преобразования сигналов.

На этапе восприятия информации осуществляется целенаправленное извлечение и анализ информации о каком-либо объекте (процессе), в результате чего формируется образ объекта, проводятся его распознавание (опознавание) и оценка. При этом необходимо отделить ту информацию (полезная информация), которая интересует нас в данном случае, от информации, которая мешает нам правильно воспринимать необходимую. Мешающая информация - это помехи, шумы, сбои и т. п. Отметим, что в ряде случаев выделение полезной информации на фоне помех представляет не простую задачу.

Простейшим видом восприятия является определение двух противоположных состояний: наличие ("да") и отсутствие ("нет"), более сложным - измерение.

На этапе подготовки информации проводятся такие операции, как нормализация, аналого-цифровое преобразование, шифрование. Иногда этот этап рассматривается как вспомогательный на этапе восприятия. В результате восприятия и подготовки получается сигнал в форме, удобной для передачи и обработки.

На этапах передачи и хранения информация пересылается либо из одного места в другое, либо от одного момента времени до другого. Поскольку теоретические задачи, возникающие на этих этапах близки друг к другу, этап хранения информации обычно в самостоятельный этап не выделяется. При этом термин передача информации получает более широкое толкование. Для передачи на расстояние используются каналы различной физической природы, самыми распространенными из которых являются электрические и электромагнитные. Для хранения информации используются в основном полупроводниковые и магнитные носители. Извлечение сигнала на выходе канала, подверженного действию шумов, носит характер вторичного восприятия.

На этапах обработки информации выявляются её общие и существенные взаимозависимости, которые представляют интерес для системы. Преобразование информации на этапе обработки (как и на других этапах) осуществляется либо техническими средствами, либо человеком. В настоящее время технические средства это в большинстве своём средства вычислительной техники, которые применимы в тех случаях, если процесс обработки информации формализован. Если же процесс обработки не поддается формализации и требует творческого подхода, обработка информации осуществляется человеком. В системах управления важнейшей целью обработки является решение задачи выбора управляющих воздействий (этап принятия решения).

Этап отображения информации должен предшествовать этапу, связанным с участием человека. Цель этапа отображения - предоставить человеку нужную ему информацию с помощью устройств, которые способны воздействовать на его органы чувств.

На этапе воздействия информация используется для осуществления необходимых изменений в системе.

  

 

ИНФОРМАЦИОННЫЕ СИСТЕМЫ

Совокупность средств информационной техники и людей, объединенных для достижения определенных целей, образует автоматизированную информационную систему, к которой по мере надобности подключаются абоненты (люди или устройства), которые поставляют и используют информацию.

Информационные системы, которые действуют без участия человека, называются автоматическими. За человеком в таких системах остаются функции контроля и обслуживания.

Автоматизированная информационная система становится автоматизированной системой управления (АСУ), если поставляемая информация извлекается из какого-либо объекта (процесса), а выходная используется для целенаправленного изменения состояния того же объекта (процесса), причем абонентом, использующим информацию для выбора основных управляющих воздействий (принятия решения), является человек. Объектом могут быть техническая система, экологическая среда, коллектив людей. Известны и такие АСУ, в которых отдельные функции управления возлагаются на технические средства, в основном на ЭВМ и микропроцессоры.

Автоматизированные информационные системы и АСУ нашли широкое применение во всех отраслях экономики в первую очередь как информационно-справочные и информационно-советующие системы, системы управления технологическими процессами и коллективами людей. До недавнего времени большинство из них являлись локальными системами и функционировали на уровне предприятий и учреждений. В настоящее время происходит интенсивный процесс интеграции таких систем.

Системы более высокого уровня становятся территориально рассредоточенными, иерархичными как по функциональному принципу, так и по реализации их техническими средствами. Обеспечение взаимодействия территориально рассредоточенных систем требует протяженных высокоскоростных и надежных каналов связи, а увеличение объема обрабатываемой информации – средств вычислительной техники высокой производительности. Это привело к необходимости коллективного использования дорогостоящих средств автоматизации (средств вычислительной техники и линий связи) и обрабатываемой информации (банков и баз данных).

Централизация различных видов информации в одной сети дает возможность использовать её для решения широкого спектра задач, связанных с административным управлением, планированием, научными исследованиями, конструкторскими разработками, технологией производства, снабжением, учетом и отчетностью.

Наиболее распространенными информационными системами являются системы, которые обеспечивают передачу информации из одного места в другое (системы связи) и от одного момента времени до другого (системы хранения информации). Обе разновидности систем передачи информации имеют много общего в принципиальных вопросах обеспечения эффективности функционирования. Их применяют как самостоятельные системы и как подсистемы в составе любых более сложных информационных систем. Совокупность таких подсистем в информационно-вычислительной сети образует её основное ядро - сеть передачи данных.

 

4. СИСТЕМА ПЕРЕДАЧИ ИНФОРМАЦИИ:

ОСНОВНЫЕ ПОНЯТИЯ И ОПРЕДЕЛЕНИЯ

Функциональная схема одноканальной системы передачи информации приведена на рис. 4.1. Информация поступает в систему в форме сообщений. Под сообщением понимают совокупность знаков или первичных сигналов, которые содержат информацию. Источник сообщений в общем случае образует совокупность источника информации ИИ (исследуемого или наблюдаемого объекта) и первичного преобразователя ПП (датчика, человека-оператора и т. п.), который воспринимает информацию о его состояниях или протекающем в нем процессе. Различают дискретные и непрерывные сообщения.

Дискретные сообщения формируются в результате последовательной выдачи источником отдельных элементов - знаков. Множество различных знаков называют алфавитом источника сообщений, а число знаков - объемом алфавита. В частности, знаками могут быть буквы естественного или искусственного языка, которые удовлетворяют определенным правилам взаимосвязи. Распространенной разновидностью дискретных сообщений являются данные.

Непрерывные сообщения не разделимы на элементы. Они описываются функциями времени, принимающими непрерывное множество значений. Типичными примерами непрерывных сообщений могут служить речь, телевизионные изображения. В ряде информационных систем непрерывные сообщения с целью повышения качества передачи преобразуются в дискретные.   

Рис. 4.1

 

Для передачи по каналу связи сообщения ему необходимо поставить в соответствие определенный сигнал. В информационных системах под сигналом понимают физический процесс, отображающий (несущий) сообщение. Преобразование сообщения в сигнал, удобный для передачи по данному каналу связи, называют кодированием в широком смысле слова. Операцию восстановления сообщения по принятому сигналу называют декодированием.

Так как число возможных дискретных сообщений при неограниченном увеличении времени стремится к бесконечности, а за достаточно большой промежуток времени весьма велико, то ясно, что создать для каждого сообщения свой сигнал практически невозможно. Однако, поскольку дискретные сообщения складываются из знаков, имеется возможность обойтись конечным числом образцовых сигналов, которые соответствуют отдельным знакам алфавита источника.

Для обеспечения простоты и надежности распознавания образцовых сигналов их число целесообразно сократить до минимума. Поэтому, как правило, прибегают к операции представления исходных знаков в другом алфавите с меньшим числом знаков, называемых символами. При обозначении этой операции используется тот же термин "кодирование", который рассматривается в узком смысле. Устройство, которое выполняет такую операцию, называют кодирующим или кодером К. Так как алфавит символов меньше алфавита знаков, то каждому знаку соответствует некоторая последовательность символов, которую назовем кодовой комбинацией. Число символов в кодовой комбинации называют её значностью, число ненулевых символов - весом. Аналогично, для операции сопоставления символов со знаками исходного алфавита используется термин "декодирование". Техническая реализация её осуществляется декодирующим устройством или декодером ДК. В простейшей системе связи кодирующее, а следовательно, и декодирующее устройство может отсутствовать.

Передающее устройство осуществляет преобразование непрерывных сообщений или знаков в сигналы, удобные для прохождения по конкретной линии связи (либо для хранения в некотором запоминающем устройстве). При этом один или несколько параметров выбранного носителя изменяют в соответствии с передаваемой информацией. Такой процесс называют модуляцией. Он осуществляется модулятором М. Обратное преобразование сигналов в символы производится демодулятором ДМ.

Под линией связи понимают любую физическую среду (воздух, металл, магнитную ленту, магнитный диск и т. п.), которая обеспечивает поступление сигналов от передающего устройства к приемному. Сигналы на выходе линии связи могут отличаться от переданных вследствие затухания, искажения и воздействия помех. Помехами называют любые мешающие возмущения, как внешние (атмосферные помехи, промышленные помехи), так и внутренние (источником которых являются сами аппаратные средства информационных систем), вызывающие случайные отклонения принятых сигналов от переданных. Эффект воздействия помех на различные блоки системы стараются учесть эквивалентным изменением характеристик линии связи. Поэтому источник помех условно относят к линии связи.

Из смеси сигнала и помехи приемное устройство выделяет сигнал и посредством декодера восстанавливает сообщение, которое в общем случае может отличаться от посланного. Меру соответствия принятого сообщения посланному называют верностью передачи. Обеспечение заданной верности передачи сообщений - важнейшая цель системы связи.

Принятое сообщение с выхода системы связи поступает к абоненту-получателю, которому была адресована исходная информация.

Совокупность средств, предназначенных для передачи сообщений, называют каналом связи. Для передачи информации от группы источников, которые сосредоточены в одном пункте, к группе получателей, расположенных в другом пункте, часто целесообразно использовать только одну линию связи, организовав на ней требуемое число каналов. Такие системы называют многоканальными.   

          

ТЕОРИЯ ИНФОРМАЦИИ

Как уже отмечалось выше для того, чтобы проанализировать смысл высказываний, или оценить эффект, ими произведенный, необходима некоторая система знаков, составляющая например, естественный или искусственный язык. Данная система знаков имеет свои внутренние свойства, которые составляют синтаксическую часть информации. Именно эта часть информации изучается в математической дисциплине, которая и именуется как "Теория информации". Здесь полностью абстрагируются от смысла и эффекта информации и основное внимание уделяют вопросам измерения её количества, фундаментальных границах для её сжатия и надёжной передачи.

Если в физике давно научились измерять количество материи и энергии, то о том же, как измерить количество информации, мы знаем только с 1948 г., когда появилась статья Клода Шеннона "A Mathematical Theory of Communication", название которой при переиздании в виде книги год спустя было изменено на "The Mathematical Theory of Communication". То есть Шеннон к этому времени понял, что его результаты в теории информации имеют фундаментальное значение для передачи сообщений (коммуникации). Однако в научном мире эти результаты были крайне новыми, а идеи необычными, поэтому потребовались годы для их осознания. И только через 35-40 лет фундаментальные достижения теории информации, в которую органически вошли и результаты, полученные другими учеными, например Р. Хартли, который впервые предложил в 1928 году количественную меру информации были включены в повседневное использование.

К теории информации в её узкой классической постановке относят результаты решения ряда фундаментальных теоретических вопросов, которые касаются повышения эффективности функционирования систем связи. Это в первую очередь:

анализ сигналов как средства передачи сообщений, который включает вопросы оценки переносимого ими "количества информации";

анализ информационных характеристик источников сообщений и каналов связи и обоснование принципиальной возможности кодирования и декодирования сообщения, которые обеспечивают предельно допустимую скорость передачи сообщений по каналу связи как при отсутствии, так и при наличии помех.

Прикладные результаты приводятся здесь только для пояснения основ теории. При более широкой трактовке теории информации результаты рассмотрения указанных вопросов составляют её основу, при этом расширяя и углубляя их. Так если, рассмотрение связано с приложением теории информации в технике связи - рассмотрением проблемы разработки конкретных методов и средств кодирования сообщений, то совокупность излагаемых вопросов называют теорией информации и кодирования или прикладной теорией информации.

Другая точка зрения состоит в том, что глобальной проблемой теории информации следует считать разработку принципов оптимизации информационных систем в целом. В этом случае к ней относят все локальные проблемы информационных систем, включая, например, проблему оптимального приема и др.

В соответствии с третьей крайней точкой зрения к компетенции теории информации относят все проблемы и задачи, в формулировку которых входит понятие информации. Её предметом считают изучение процессов, связанных с получением, передачей, хранением, обработкой и использованием информации. В такой постановке она затрагивает проблемы многих наук (в частности, кибернетики, биологии, психологии, лингвистики, педагогики) на всех трех уровнях: синтаксическом, семантическом и прагматическом.

Попытки широкого использования идей теории информации в различных областях науки связаны с тем, что в основе своей эта теория математическая. Основные её понятия (энтропия, количество информации, пропускная способность) определяются только через вероятности событий, которым может быть приписано самое различное физическое содержание. Подход к исследованиям в других областях науки с позиции использования основных идей теории информации получил название теоретико-информационного подхода. Его применение в ряде случаев позволило получить новые теоретические результаты и ценные практические рекомендации. Однако нередко такой подход приводит к созданию моделей процессов, далеко не адекватных реальной действительности. Поэтому в любых исследованиях, выходящих за рамки чисто технических проблем передачи и хранения сообщений, теорией информации следует пользоваться с большой осторожностью. Особенно это касается моделирования умственной деятельности человека, процессов восприятия и обработки им информации.

 

И ШИРИНОЙ ИХ СПЕКТРА

Анализируя спектр одиночного прямоугольного импульса, можно установить, что при увеличении его длительности  от  до  спектр сокращается от безграничного (дельта-функция) до одной спектральной линии в начале координат, которая соответствует постоянному значению сигнала. Это свойство сокращения ширины спектра сигнала при увеличении его длительности и наоборот справедливо для сигналов любой формы. Оно вытекает непосредственно из особенностей прямого и обратного интегрального преобразования Фурье, у которых показатель степени экспоненциальной функции в подынтегральных выражениях имеет переменные  и  в виде произведения.

Рассмотрим функцию определённой длительности и функцию  длительность которой при  будет в  раз меньше. Считая, что  имеет спектральную характеристику  найдем соответствующую характеристику  для :

                  (15.1)

где

Следовательно, спектр укороченного в  раз сигнала в  раз шире. Коэффициент  перед  изменяет только амплитуду гармонических составляющих и на ширину спектра не влияет.

Другой важный вывод, который также является прямым следствием Фурье-преобразования, заключается в том, что длительность сигнала и ширина его спектра не могут быть одновременно ограничены конечными интервалами, и, наоборот, сигнал с ограниченным спектром длится бесконечно долго. Справедливо соотношение

                                                                                               (15.2)

где длительность импульса; ширина спектра импульса; постоянная величина, зависящая от формы импульса (при ориентировочных оценках обычно принимают ).

Реальные сигналы ограничены во времени, генерируются и передаются устройствами, которые содержат инерционные элементы (например, емкости и индуктивности в электрических цепях), и поэтому не могут содержать гармонические составляющие сколь угодно высоких частот.

В связи с этим возникает необходимость ввести в рассмотрение модели сигналов, которые обладают как конечной длительностью, так и ограниченным спектром. При этом в соответствии с каким-либо критерием дополнительно ограничивается либо ширина спектра, либо длительность сигнала, либо оба параметра одновременно. В качестве такого критерия используется энергетический критерий, согласно которому практическую длительность  и практическую ширину спектра  выбирают так, чтобы в них была сосредоточена подавляющая часть энергии сигнала.

Для сигналов, которые начинаются в момент времени  практическая длительность определяется из соотношения

                                             (15.3)

где коэффициент, достаточно близкий к 1 (от 0,9 до 0,99 в зависимости от требований к качеству воспроизведения сигнала).

Принимая во внимание равенство Парсеваля при практической ширине спектра сигнала соответственно имеем

                                                             (15.4)

 

СПЕКТРАЛЬНАЯ ПЛОТНОСТЬ

АДАПТИВНАЯ ДИСКРЕТИЗАЦИЯ

Если ранее рассмотренные методы и алгоритмы дискретизации были рассчитаны на все множества возможных реализаций сигнала и потому опирались на предельные значений его динамических характеристик, то при адаптивной дискретизации мы ориентируемся на динамические характеристики конкретной реализации, что позволяет получить минимальное число выборок, обеспечивающих восстановление этой реализации с заданной точностью.

В основе принципа адаптивной дискретизации лежит непосредственное слежение за текущей погрешностью восстановления сигнала .

Наиболее широкое применение на практике получили алгоритмы дискретизации с адаптацией по длине интервала аппроксимации. В процессе последовательного наращивания интервала аппроксимации производится сравнение сигнала  с воспроизводящей функцией , формируемой с учётом текущих значений динамических характеристик сигнала. Когда погрешность воспроизведения достигает заданного значения , наращивание интервала прекращается и производится отсчёт. Интервалы времени между отсчётами при этом оказываются произвольными.

В качестве воспроизводящих функций наиболее часто используются степенные алгебраические полиномы нулевой и первой степеней

 

или

   ,

где действительные коэффициенты.

При этом возможны как интерполяционные, так и экстраполяционные способы адаптивной дискретизации. Интерполяционные способы не нашли широкого применения, поскольку их реализация связана с запоминанием сигнала на интервале аппроксимации м выполнением большого числа вычислительных операций.

КВАНТОВАНИЕ СИГНАЛА

Так как математической моделью непрерывного сигнала является случайный процесс , мгновенное значение сигнала  представляет собой случайную величину. Диапазон её изменения, называемый непрерывной шкалой мгновенных значений сигнала ограничен значениями  и , что отражает условие физической реализуемости сигнала. Непрерывную шкалу мгновенных значений

   

сигнала разбивают на  интервалов, которые называют шагами квантования. Границами шагов квантования являются значения . Из множества мгновенных значений, которые принадлежат му шагу квантования , только одно значение  является разрешенным ( й уровень квантования). Любое другое из указанного множества значений округляется до . Совокупность величин  образует дискретную шкалу уровней квантования. Если эта шкала равномерная, т.е. разности значений

      

постоянна на всём протяжении непрерывной шкалы мгновенных значений сигнала , квантование называют равномерным. Если постоянство значений  не выдерживается – квантование неравномерное. Благодаря простоте технической реализации равномерное квантование получило наиболее широкое распространение.

В результате замены мгновенного значений сигнала  соответствующим уровнем квантования  возникает погрешность

  ,

которую называют ошибкой квантования. Эта погрешность является случайной величиной. Но чаще всего интересует её максимальное значение

    

и среднеквадратическое отклонение  от всего диапазона изменения мгновенных значений сигнала. Используются также приведенные значения этих величин

   ,

 

    .

С позиций минимизации наибольшей возможной ошибки квантования непрерывную шкалу мгновенных значений сигнала целесообразно разбить на  одинаковых шагов квантования

  

и уровни квантования разместить в середине каждого шага. при этом максимальная ошибка квантования не превышает . Если каждый уровень квантования выбран равным нижней (верхней) границе шага квантования, максимальная ошибка квантования возрастает до величины .

 

Рис.

Среднеквадратическое отклонение ошибки квантования для го шага  зависит не только от шага  и расположения в нём уровня квантования, но и от закона распределения мгновенных значений сигнала в пределах этого шага

,

где функция плотности вероятности мгновенных значений сигнала .

Считая шаги квантования малыми по сравнению с диапазоном изменения сигнала, плотности  в пределах каждого го шага можно принять постоянной и равной некоторому среднему значению, например . При таких предположениях минимальная среднеквадратическая ошибка  достигается при расположении уровня квантования в середине шага

.

Преобразовав подкоренное выражение к виду

,

отметим, что дисперсия ошибки квантования на м шаге равна   равномерно распределенного на этом шаге сигнала, умноженной на вероятность  попадания мгновенного значений сигнала в пределы данного шага. Дисперсия полной ошибки квантования  для всей непрерывной шкалы мгновенных значений сигнала определяется как математическое ожидание дисперсий  на отдельных шагах квантования:

.

При одинаковых шагах квантования

.

Так как принимаем

,

то

.

Таким образом, при квантовании с постоянным шагом и размещением уровней квантования в середине шага (равномерное квантование) среднеквадратическая ошибка квантования как для равномерного, так и произвольного распределения мгновенных значений сигнала одинакова:

.

Шум квантования. При квантовании сигнала по уровню случайный процесс заменяется ступенчатой зависимостью . Ошибку квантования , которая изменяется во времени и также представляет собой случайный процесс, называют шумом квантования:

.

Сохраняя ранее введенные предположения (о малости шага квантования и равномерности распределения в нём мгновенных значений сигнала) и считая случайные процессы  и  эргодическими, среднеквадратическую ошибку равномерного квантования  можно определить по реализации  (рис.). В пределах каждого квантования  зависимость  заменяется прямой , где переменный угол наклона прямой. При размещении уровней квантования в середине каждого шага математическое ожидание ошибки равно нулю, а её среднеквадратическое значение определяется выражением

.

 

 

Так как , то , что соответствует ранее полученному значению (см. выражение (33.7)).

При заданной допустимой среднеквадратической ошибке квантовании и отсутствии помех число уровней квантования находим из соотношения

.

Однако при неравномерном законе распределение мгновенных значений сигнала квантование с постоянным шагом не является оптимальным по критерию минимума среднеквадратической ошибки . Квантуя участки с менее вероятными значениями сигнала с большим шагом, указанное значение среднеквадратической ошибки можно уменьшить.

СВОЙСТВА ЭНТРОПИИ

Рассмотрим основные свойства энтропии, обратив внимание на то, что сформулированные условия для меры неопределенности выполняются.

1.Энтропия является вещественной и неотрицательной величиной, так как для любого  изменяется в интервале от 0 до 1,  отрицателен и, следовательно,  положительна.

2.Энтропия – величина ограниченная. Для слагаемых  в диапазоне  ограниченность очевидна. Остаётся определить предел, к которому стремится слагаемое  при . Так как  при этом неограниченно возрастает:

Обозначив  и воспользовавшись правилом Лопиталя, получим

.

3.Энтропия обращается в нуль лишь в том случае, если вероятность одного из состояний равна единице; тогда вероятности всех остальных состояний, естественно равны нулю. Это положение соответствует случаю, когда состояние источника полностью определенно.

4.Энтропия максимальна, когда все состояния равновероятны, что можно доказать методом неопределенных множителей Лагранжа:

.

5.Энтропия источника  с двумя состояниями  и  изменяется от нуля до единицы, достигая максимума при равенстве их вероятностей:

.

График зависимости  в функции

приведен на рис.... При  частная неопределенность, которая приходится на состояние , велика, однако такие состояния источника весьма редки. Состояния  реализуется часто, но неопределенность, которая приходится на такое состояние, очень мало. Поэтому энтропия, которая характеризует среднюю неопределенность на одно состояние ансамбля, также мала. Аналогичная ситуация наблюдается при .

Отметим, что энтропия непрерывно зависит от вероятностей отдельных состояний, что непосредственно вытекает из непрерывности функции .

6.Энтропия объединения нескольких статистически независимых источников информации равна сумме энтропий исходных источников.

Не теряя общности, ограничимся рассмотрением объединения, которое включает два источника информации  и . Под объединением двух источников  и  понимают обобщенный источник информации , который характеризуется вероятностями  всех возможных состояний  комбинаций источника  и  источника . Аналогично трактуется и объединение ансамблей.

В соответствии с определением энтропия объединения

.

Здесь вероятность совместной реализации состояний

        и .

В случае статистической независимости источников информации  и  запишем

  .

Тогда

.

Учитывая, что

 и ,

получим

.

Соответственно для энтропии объединения нескольких независимых источников  имеем

.

В дальнейшем для придания общности получаемым результатам о неопределенности выбора б