Содержательный подход к измерению информации.

Для человека информация — это знания. Если получение новой информации приводит к расширению знаний, то можно говорить, что такое сообщение содержит информацию. Говорят, что сообщение информативно если оно пополняет знания человека. Например, прогноз погоды на завтра — информативное сообщение, а сообщение о вчерашней погоде неинформативно, т.к. нам это уже известно. Основоположником этого подхода является американский учёный Клод Элвуд Шеннон (1916 — 2001).

По Шеннону, информация — уменьшение неопределенности наших знаний. Неопределенность некоторого события — это количество возможных исходов данного события.

Так, например, если из колоды карт наугад выбирают карту, то неопределенность равна количеству карт в колоде.

При бросании монеты неопределенность равна 2.

Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица носит название «бит».

Ее определение звучит так:

«Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.»

Неопределенность знаний о некотором событии — это количество возможных результатов события.

Тогда можно записать формулу:

2i = N

N - количество исходов события

 i - количество информации об одном событии

 

 

 

Алфавитный подход к измерению информации.

Алфавитный подход к измерению количества информации основан на подсчете числа символов в сообщении.

При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.

Все множество используемых в языке символов будем традиционно называть алфавитом.

Обычно под алфавитом понимают только буквы, но поскольку в тексте могут встречаться знаки препинания, цифры, скобки, то мы их тоже включим в алфавит. В алфавит также следует включить и пробел, т.е. пропуск между словами.

Полное количество символов алфавита принято называть мощностью алфавита.

При алфавитном подходе к измерению информации количество информации зависит не от содержания, а от размера текста и мощности алфавита.

Информационный объем текста (I), содержащего K символов вычисляют по формуле:

            

      I = K * i

где I - информационный объем текста,

   K - количество символов в тексте,

   i - информационный объем одного символа.

 

Основоположником этого подхода является Андрей Николаевич Колмогоров (1903-1987), великий российский ученый-математик.