Количество информации как мера снятой неопределенности

Передача информации инициируется либо самим источником информации, либо осуществляется по запросу. Она диктуется желанием устранить неопределенность относительно последовательности состояний, реализуемых некоторым источником информации. Обычно запрос обусловлен отсутствием возможности наблюдать состояния источника непосредственно. Поэтому абонент обращается к информационной системе, которая извлекает интересующую его информацию из источника посредством некоторого первичного преобразователя и направляет её по каналу связи абоненту.

Информация проявляется всегда в форме сигналов. Сигнал , поступающие с выхода первичного преобразователя источника информации на вход канала связи, принято называть сообщениями в отличие от сигнала , которые формируются на входе линии связи. В зависимости от формы создаваемых сообщений различают источники дискретных и непрерывных сообщений.

Отдельные первичные сигналы с выхода источника дискретных сообщений называют элементами сообщения. Каждому элементу сообщения соответствует определенное состояние источника информации. В случае параллельной реализации источником информации множества состояний, как это имеет место, например, в документах с печатным текстом, первичный преобразователь, в частности, обеспечивает их последовательное отображение элементами сообщения. Таким преобразователем может быть как автоматическое читающее устройство, так и человек.

Основное понятие теории информации – количество информации – здесь рассматривается применительно к передаче отдельных статистически несвязанных элементов сообщения. Дискретный источник сообщений при этом полностью характеризуется ансамблем

,

а непрерывный – одномерной плотностью распределения случайной величины - . особенности определения количества информации при передаче сообщений изложены ниже.

Передача информации от дискретного источника. Выясним, насколько будет изменяться неопределенность относительно состояния источника сообщения с выхода канала связи. Алфавиты передаваемых и принимаемых элементов сообщения считаем идентичными. 

Вследствие воздействия помех полученный элемент сообщения в общем случае отличается от переданного. Подчеркнём это различие, обозначив принимаемые элементы сообщения другими буквами: .

Априорная неопределенность (неопределенность до получения элемента сообщения) относительно состояния источника не является полной. Предполагается, что адресату известен алфавит элементов сообщения, а из прошлого он знает вероятности их появления. Считая, что состояния источника реализуются независимо, априорная частная неопределенность появления элемента сообщения .

Предполагается также известными некоторые сведения относительно помехи в канале связи. Обычно считают, что между элементами сообщения и помехой статистические связи отсутствуют, искажения отдельных элементов сообщения являются событиями независимыми и адресату известна совокупность условных вероятностей  того, что вместо элемента сообщения  будет принят элемент сообщения .

При получении конкретного элемента сообщения  адресату становится известным значение условной вероятности , которая называется апостериорной (послеопытной) вероятностью реализации источником элемента сообщения . Это позволяет найти апостериорную частную неопределенность, которая остается у адресата относительно выдачи источником элемента сообщения  после получения конкретного элемента сообщения :

.

Так как получение информации мы связываем с уменьшением неопределенности, естественно определить частное количество информации , получаемое при приёме элемента сообщения  относительно некоторого реализованного источником элемента сообщения  как разность частных неопределенностей, имевшихся у адресата до и после получения элемента сообщения (априорной и апостериорной):

.

Анализ формулы (41.2) позволяет сделать следующие заключения:

1)частное количество информации растёт с уменьшением априорной и с увеличением апостериорной вероятностей реализации элемента сообщения источником, что находится в полном соответствии с нашими интуитивными представлениями;

2)частное количество информации об элементе сообщения  может быть не только положительным, но и отрицательным, а также нулём, что зависит от соотношения априорной  и апостериорной  вероятностей. Если вероятность того, что источником был реализован элемент сообщения  увеличилась после приёма элемента сообщения , т.е. , то полученное частное количество информации положительно. если эта вероятность не изменилась, т.е. , то имевшая место неопределенность тоже не изменилась и частное количество информации равно нулю.

Наконец, случай  соответствует увеличению неопределенности относительно реализации  после получения элемента сообщения , и, следовательно, частное количество информации отрицательно;

3)в случае отсутствия помехи апостериорная вероятность . При этом частное количество информации численно совпадает с частной априорной неопределенностью реализации данного элемента сообщения :

.

Это максимальное частное количество информации, которое можно получить об элемента сообщения ;

4)частное количество информации относительно реализации источником элемента сообщения , которое содержатся в принятом элемента сообщения , равно частному количеству информации относительно , который содержатся в элементе сообщения :

.

Хотя имеют место случаи, где важно оценить частное количество информации , для задач анализа и оптимизации функционирования информационных систем более рациональны усредненные характеристики, которые отражают статистические свойства источника информации и канала связи.

Найдём среднее количество информации, которое содержится в любом принятом элементе сообщения относительно переданного (реализованного) источником. До получения конкретного элемента сообщения средняя неопределенность, которая имеется у адресата, относительно реализации источником любого элемента сообщения равна энтропии источника. Её называют априорной энтропией источника.

Средняя неопределенность относительно любого состояния источника, которая остаётся у адресата после получения конкретного элемента сообщения , характеризуется частной условной энтропией

.

Это случайная величина, которая зависят от того, какой конкретно элемента сообщения принят.

Средняя неопределенность по всему ансамблю принимаемых элементов сообщения равна условной энтропии источника :

,

или        

.

Эту условную энтропию называют апостериорной энтропией источника информации.

Таким образом, при наличии помех среднее количество информации, которое содержатся в каждом принятом элементе сообщения, относительно любого переданного равно разности априорной и апостериорной энтропий источника:

.

Представив априорную и апостериорную энтропии соответственно выражениями (36.6), т.е.

и (41.5), т.е.

и проведя несложные преобразования, получим формулу для количества информации непосредственно через вероятности:

      

                       .

Если частный характер количества информации специально не оговаривается, мы всегда имеем дело с количеством информации, которое приходится в среднем на один элемент сообщения. Поэтому указание об усреднении опускается.

Передача информации от непрерывного источника. Количество информации, получаемой от непрерывного источника по каналу с помехами, определяется так же, как в случае, рассмотренном выше, но с использованием понятия дифференциальной энтропии.

Для источника, который имеет непрерывное множество состояний, среднее количество информации, содержащееся в каждом принятом значении случайной величины  относительно переданного значения случайной величины , можно получить как разность априорной и апостериорной дифференциальных энтропий:

.

Соотношение (41.9) можно выразить в виде, подобном (41.8):

.

Относительность дифференциальных энтропий в этом случае не принимается во внимание, поскольку количество информации не зависит от выбранного стандарта сравнения.

Основные свойства количества информации. 1. Несмотря на то что частное количество информации может быть величиной отрицательной, количество информации неотрицательно.

Действительно, согласно выражению

.

Тогда

  .

2.При отсутствии статистической связи между случайными величинами  и     

,

следовательно, в этом случае

    

(принятые элементы сообщения не несут никакой информации относительно переданных).

3.Количество информации в  относительно  равно количеству информации в  относительно .

Для доказательства этого утверждения воспользуемся выражением

.

Аналогично можно записать

.

Так как , то

,

откуда

, .

4.При взаимно однозначном соответствии между множествами передаваемых и принимаемых элементов сообщения, что имеет место в отсутствии помехи, апостериорная энтропия равна нулю и количество информации численно совпадает с энтропией источника:

.

Это максимальное количество информации о состоянии дискретного источника. Для непрерывного источника оно равно бесконечности.