Информационные характеристики.

 

В обобщённом виде можно сказать, что прикладная теория информации является наукой о рациональных методах передачи информации по каналам связи. В основе её лежит статистическое описание (статистические модели) источников сообщений и каналов связи и основанное на этом описании измерение количества информации.

Теория информации призвана решить две основные задачи. Во-первых, определить, какое наибольшее количество достоверной информации можно передать по каналу связи, обладающему заданными свойствами, за единицу времени и, во-вторых, установить, какие преобразования информации должны быть выполнены, чтобы некоторое ее количество передать по каналу связи с помехами за минимальное время при заданном уровне качества.

 

Основными информационными характеристиками системы связи и ее составляющих являются: количество информации в сообщениях, избыточность сообщений, энтропия и производительность источника сообщений, скорость передачи информации и пропускная способность канала связи. Рассмотрим основные информационные характеристики дискретных сообщений - количество информации в дискретном сообщении и его энтропию.

Мера количества информации должна быть универсальной, т.е. общей для разных видов сообщений и удовлетворять естественным требованиям. Она должна быть величиной аддитивной. Это означает, что в двух независимых сообщениях количество информации должно равняться сумме количеств информации в каждом из них; количество информации в сообщении о достоверном событии должно равняться нулю, количество информации не должно зависеть от качественного содержания сообщения, в частности, от степени его важности для получателя, возможных последствий его передачи, эмоциональной окраски и т.д.

Игнорирование смысловой стороны сообщений, ценности информации, т.е. абстрагирование от качественных характеристик сообщений позволяет создать строгий математический аппарат для количественных показателей информации. Правда эта особенность меры информации иногда создает определенные затруднения (например, в теории массового обслуживания, где полезность и важность информации существенна). В таких случаях сообщения разделяют на категории и вводят весовые коэффициенты или приоритеты, жертвуя математической строгостью из-за субъективности вводимых показателей.

В 1928г. Р.Хартли предложил логарифмическую меру информации – логарифм числа возможных сообщений:

,

где  - общее число сообщений, которое может быть составлено путем комбинирования  по ,  – число символов алфавита (объем алфавита);  – число элементов в сообщении.

Мера количества информации, введенная Р. Хартли, удовлетворяет требованию аддитивности и отражает экспоненциальный характер зависимости количества возможных кодовых комбинаций от количества символов в исходном алфавите. Однако она имеет частный характер, так как предполагает, что события взаимно независимы и равновероятны.

 

В 1948г. К. Шеннон предложил вероятностно-статистический подход к измерению информации. Мера количества информации по Шеннону ближе к практике, так как реальные сообщения, передаваемые по системе связи, являются случайными процессами с неравномерными и взаимозависимыми значениями.

Поясним сущность такого подхода, для чего рассмотрим процесс формирования дискретных сообщений.

В дискретной радиосвязи сообщение состоит из набора символов. Совокупность всех возможных символов образует алфавит. Например, алфавит (число всех возможных символов) русского языка состоит из 32 букв. Сообщением является каждое слово, состоящее из букв (символов). Если в слове 5 букв, то число пятибуквенных слов равно 32⁵ (среди них будут и бессмысленные).

В технике широко применяется алфавит из двух символов 0 и 1, т.е. когда . В этом случае «слова» в виде кодовых комбинаций состоят из нескольких позиций. Чем больше число позиций в кодовой комбинации, тем больше можно составить число различных кодовых слов, тем длиннее само слово. Если позиция в кодовой комбинации одна, , то можно образовать  слова. Ими будут 0 и 1. При двух позициях, т.е. при , можно образовать  слов, а именно: 00, 01, 10, 11 и т.д.

Особое значение при определении меры количества информации имеет тот факт, что каждое частное сообщение выбирается из определенного числа возможных сообщении в соответствии с распределением вероятностей.

Отметим, что всякая конечная схема представляет некоторую неопределенность выбора ее элементов, которая снимается после того, как выбор произведен. Степень этой неопределенности различна в различных схемах. Например, схема  имеет большую неопределенность, чем схема . Неопределенность исчезает совсем, если одна из вероятностей становится равной единице.

Различают несколько видов информации: собственная , условная , взаимная , средняя  и т.д.

Пусть имеется ансамбль сообщений  с известными вероятностями , , , .

Количеством собственной информации (или собственной информацией) в сообщении  называется число , определяемое соотношением

.

Собственная информация  – это количество информации, доставляемое самим сообщением  или любым другим, однозначно связанным с .

Вместо слова «сообщение» часто используют слова «событие», «отсчет», «состояние», «символ», «элемент», «сигнал», «реализация».

При равновероятных сообщениях . Поэтому

.

Если сообщение состоит из  элементов, то , что совпадает с формулой Р. Хартли.

Единицу измерения количества информации определяет основание логарифма. При основании, равном 10, получаем десятичную единицу – «дит», при натуральных логарифмах – «нат», а если основание логарифма равно 2, то информация из измеряется в двоичных единицах («дв.ед», «бит»).

Натуральными логарифмами пользуются в основном при теоретических исследованиях, а двоичными - на практике. Натуральная единица в  раза больше двоичной. Мы будем пользоваться главным образом двоичными единицами и в дальнейшем обозначение  будет означать двоичный логарифм. Выбор за основание цифры 2 обусловлен тем, что в цифровой радиосвязи используется двоичные коды, состоящие из 2 -х элементов 0 и 1, а также тем, что в этом коде ведется цифровая обработка с помощью ЭЦВМ.

Анализ вышеприведённых формул приводит к следующим выводам.

1. Функция , устанавливающая зависимость информации события от его вероятности, имеет логарифмический характер, чем меньше априорная вероятность события, тем большее количество информации связывается с ним, что хорошо согласуется с интуитивным представлением об информации.

2. Информация, связанная с любым событием , неотрицательна, так как вероятность удовлетворяет условию .

3. Информация достоверного события равна нулю. Такое событие информации не несет, т.е. если , то .

Зависимость  приведена на рис.3.

4. Логарифмическая мера обладает свойством аддитивности, т.е. количество информации в сложном сообщении, состоящем из элементарных независимых сообщений  и , равно сумме количеств информации в каждом из составляющих сообщении

.

Действительно, пусть  и  - два независимых сообщения. Вероятность того, что источник пошлет оба эти сообщения (одно за другим), . Тогда

.

Передача каждого очередного сообщения  (значения сл.в. ) по каналу связи устраняет имеющуюся у получателя неопределенность относительно состояния дел на передающей стороне. Поэтому величину  иногда трактуют как своеобразную меру неопределенности в наступлении события .

Среднее количество собственной информации, приходящееся на одно сообщение, определяется с помощью формулы для м.о. функции от сл.в. путем усреднения по всему объему алфавита. Если сообщения независимы, то используется формула Шеннона:

.

Это среднее количество собственной информации, приходящееся на одно сообщение, называется энтропией  ансамбля сообщений .

В случае зависимых сообщений пользуются более сложными формулами.

Энтропия является основной характеристикой источника сообщений. Чем больше энтропия источника, тем больше в среднем степень неожиданности передаваемых им сообщений, т.е. более неопределенный (до передачи сообщения) является ожидаемое сообщение. После приема сообщения (если оно принимается верно) всякая неопределенность снимается. Чем выше энтропия, тем труднее запомнить (записать) сообщение или передать его по каналу связи.

Размерность энтропии равна единице информации на одно сообщение (бит/сообщение, бит/буква и т.д.). Предыдущая формула известна как формула Шеннона для энтропии источника дискретных сообщений. Энтропия рассматривается как мера неопределенности в поведении источника. На графике приведена энтропия двоичного сообщения.

Одной двоичной единицей называется такое количество информации, которое содержится в сообщении о событии двоичного источника информации, происходящем с вероятностью 0,5, т.е. таком, которое может с равной вероятностью произойти или не произойти. Иначе говоря, одной двоичной единице информации соответствует передача сообщения об одном из двух равновозможных значений сл.в.

 

Энтропия двоичного ансамбля