Содержательный, вероятностный и алфавитный подходы к измерению информации.

Информационный объём сообщения (информационная ёмкость сообщения) - количество информации в сообщении, измеренное в битах, байтах или производных единицах (Кбайтах, Мбайтах и т.д.).

Количество информации - мера уменьшения неопределенности.

Количество технической информации - числовая характеристика сигнала, которая не зависит от его формы и содержания и характеризует неопределенность, которая исчезает после получения сообщения в виде данного сигнала. Оно зависит от вероятности получения сообщения о том или ином событии. Для абсолютно достоверного события (событие обязательно произойдет, поэтому его вероятность равна 1) количество информации в сообщении о нём равно 0. Чем невероятнее событие, тем большее количество информации несёт сообщение о нём. Лишь при равновероятных ответах ответ «да» или «нет» несёт один бит информации.

Понятие количества информации возникает в следующих типовых случаях:

1. Равенство вещественных переменных а=b, заключает в себе информацию о том, что a равно b. Про равенство a2=b2 можно сказать, что оно несёт меньшую информацию, чем первое, т.к. из первого следует второе, но не наоборот. Равенство a3=b3 несёт в себе информацию по объему такую же, как и первое.

2. Пусть происходят некоторые измерения с некоторой погрешностью. Тогда чем больше будет проведено измерений, тем больше информации об измеряемой сущности будет получено.

3. Математическое ожидание некоторой случайной величины, содержит в себе информацию о самой случайной величине. Для случайной величины, распределенной по нормальному закону, с известной дисперсией знание математического ожидания даёт полную информацию о случайной величине.

4. Рассмотрим схему передачи информации. Пусть передатчик описывается случайной величиной, X, тогда из-за помех в канале связи на приёмник будет приходить случайная величина, Y=X+Z, где Z - это случайная величина, описывающая помехи. В этой схеме можно говорить о количестве информации, содержащейся в случайной величине, Y, относительно X. Чем ниже уровень помех (дисперсия Z мала), тем больше информации можно получить из Y. При отсутствии помех Y содержит в себе всю информацию об X.

Мерой количества информации, связанной с тем или иным объектом или явлением, может служить редкость его встречаемости или сложность его структуры.

В компьютерной технике измерению обычно подвергается информация, представленная дискретным сигналом.

При этом различают следующие подходы:

1. Структурный (алфавитный, объёмный). Измеряет количество информации простым подсчётом информационных элементов, составляющих сообщение. Применяется для оценки возможностей запоминающих устройств, объёмов передаваемых сообщений, инструментов кодирования без учета статистических характеристик их эксплуатации. Алфавитный подход к измерению информации не связывает количество информации с содержанием сообщения. Это объективный подход к измерению информации. Количество информации зависит от объёма текста и мощности алфавита. Ограничений на максимальную мощность алфавита нет, но есть достаточный алфавит мощностью 256 символов. Этот алфавит используется для представления текстов в компьютере. Поскольку 256=28, то один символ несёт в тексте 8 бит информации.

2. Статистический (вероятностный). Учитывает вероятность появления сообщений: более информативным считается то сообщение, которое менее вероятно, т.е. менее всего ожидалось. Применяется при оценке значимости получаемой информации. Все события происходят с различной вероятностью, но зависимость между вероятностью событий и количеством информации, полученной при совершении того или иного события можно выразить формулой Шеннона.

3. Семантический (содержательный). Учитывает целесообразность и полезность информации. Применяется при оценке эффективности получаемой информации и её соответствия реальности.

Сообщение – информативный поток, который в процессе передачи информации поступает к приемнику. Сообщение несёт информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными. Информация - знания человека - сообщение должно быть информативно. Если сообщение не информативно, то количество информации с точки зрения человека = 0.

 (Пример: вузовский учебник по высшей математике содержит знания, но они не доступны первокласснику).

 

 

 

Рис. 2.1 – Измерение информации

 

 

Рис. 2.2 – Подходы к измерению информации