Измерение количества информации – два подхода

Вопрос: как измерить информацию? Ответ на него зависит от того, что понимать под информацией. Поскольку определить информацию можно по-разному, то и способы измерения тоже будут разными.

Под информацией в быту (житейский аспект) понимают сведения об окружающем мире и протекающих в нем процессах, воспринимаемые человеком или специальными устройствами.

Под информацией в технике понимают сообщения, передаваемые в форме знаков или сигналов.

Под информацией в теории информации понимают не любые сведения, а лишь те, которые снимают полностью или уменьшают существующую до их получения неопределенность. По определению К. Шеннона, информация – это снятая неопределенность. Как же оценить количество информации? Рассмотрим два способа оценки количества информации: вероятностный и алфавитный.

Вероятностный подход рассматривает количество информации как меру уменьшения неопределенности знаний. Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию о каких-либо событиях. Количество информации для событий с различными вероятностями определяется по формуле, которую предложил К.Шеннон в 1948 году:

                                              (1.1)

где I – количество информации; N – количество возможных событий; p_i – вероятности отдельных событий.

Если события равновероятны p_i =1/N, то количество информации определяется по формуле:

            (1.2)

Единицы измерения количества информации. За единицу количества информации принят 1 бит – количество информации, содержащееся в сообщении, уменьшающем неопределенность знаний в два раза.

Принята следующая система единиц измерения количества информации:

1 байт=8 бит

1 Кбайт=2¹⁰ байт=

1 Мбайт=2¹⁰ Кбайт=2²⁰ байт

1 Гбайт=2¹⁰ Мбайт=2²⁰ Кбайт=2³⁰ байт

Пример. После экзамена по информатике, который сдавали два студента, объявляются оценки («2», «3», «4» или «5»). Какое количество информации будет нести сообщение об оценке студента A, который выучил лишь половину билетов, и сообщение об оценке студента B, который выучил все билеты?

Решение. Полагаем, что для студента A все четыре оценки (события) равновероятны. Тогда количество информации, которое несет сообщение об оценке, можно вычислить по формуле (1.2): I=log₂4=2 бит. Для студента B можно предположить, что наиболее вероятной оценкой является «5» (p₁ = 1/2), вероятность оценки «4» в два раза меньше (p₂ = 1/4), а вероятности оценок «2» и «3» еще в два раза меньше (p₃ = p₄ = 1/8). Так как события не равновероятны, воспользуемся для подсчета количества информации в сообщении формулой (1.1):

I = – (1/2*log₂1/2 + ¼*log₂1/4 + 1/8*log₂1/8 + 1/8*log₂1/8) бит = 1,75 бит

Вычисления показали, что при равновероятных событиях получаем большее количество информации, чем при не равновероятных событиях.

Алфавитный подход к измерению информации позволяет определить количество информации, заключенной в тексте. Алфавитный подход является объективным, т.е. он не зависит от субъекта, воспринимающего текст. Множество символов, используемых при записи текста, называется алфавитом. Полное количество символов в алфавите называется мощностью (размером) алфавита. Если допустить, что все символы алфавита встречаются в тексте с одинаковой частотой (равновероятно), то количество информации, которое несет каждый символ текста, вычисляется по формуле:

i= log2N,

(1.3)

гдеN – мощность алфавита.

Следовательно, в 2-символьном алфавите каждый символ «весит» 1 бит (log₂2 = 1); в 4-символьном алфавите каждый символ несет 2 бита информации (log₂4 = 2); в 8-символьном 3 бита (log₂ 8= 3) и т.д. В компьютере для записи текстов, команд и пр. используется алфавит из 256 символов. Один символ из алфавита мощностью 256 (2⁸) несет в тексте 8 бит информации. Такое количество информации называется байтом (1 байт = 8 бит). Например, если весь текст состоит из К символов, то при алфавитном подходе количество содержащейся в этом тексте информации (I) определяется по формуле:

I = К * i,

(1.4)

где i – информационный вес одного символа в используемом алфавите.

Тогда информационный объем сообщения (информационная емкость сообщения) – это количество информации в сообщении, измеренное в битах, байтах или производных единицах (Кбайтах, Мбайтах и т. д.).

Пример. Книга, набранная с помощью компьютера, содержит 150 страниц; на каждой странице 40 строк, в каждой строке 60 символов. Определить, какой объем информации содержится в тексте этой книги?

Решение. Мощность компьютерного алфавита равна 256. Один символ несет 1 байт информации. Значит, страница содержит 40 * 60 = 2400 байт информации. Объем всей информации в книге (в разных единицах): 2400 * 150 = 360 000 байт. 360000/1024 = 351,5625 Кбайт. 351,5625/1024 = 0,34332275 Мбайт.

АРХИТЕКТУРА ЭВМ