Статистический подход к измерению информации

В 30-х годах ХХ века американский ученый Клод Шеннон предложил связать количество информации, которое несет в себе некоторое сообщение, с вероятностью получения этого сообщения.

Вероятность p – количественная априорная (т.е. известная до проведения опыта) характеристика одного из исходов (событий) некоторого опыта. Измеряется в пределах от 0 до 1. Если заранее известны все исходы опыта, сумма их вероятностей равна 1, а сами исходы составляют полную группу событий. Если все исходы могут свершиться с одинаковой долей вероятности, они называются равновероятными.

Например, пусть опыт состоит в сдаче студентом экзамена по ТОИ. Очевидно, у этого опыта всего 4 исхода (по количеству возможных оценок, которые студент может получить на экзамене). Тогда эти исходы составляют полную группу событий, т.е. сумма их вероятностей равна 1. Если студент учился хорошо в течение семестра, значения вероятностей всех исходов могут быть такими:

p (5) = 0,5; p (4) = 0,3; p (3) = 0,1; p (2) = 0,1. (2.4)

Здесь запись p (j) означает вероятность исхода, когда получена оценка j (j = {2, 3, 4, 5}).

Если студент учился плохо, можно заранее оценить возможные исходы сдачи экзамена, т.е. задать вероятности исходов, например, следующим образом:

p (5) = 0,1; p (4) = 0,2; p (3) = 0,4; p (2) = 0,3. (2.5)

 

В обоих случаях выполняется условие:

где n – число исходов опыта,

i – номер одного из исходов.

Пусть можно получить n сообщений по результатам некоторого опыта (т.е. у опыта есть n исходов), причем известны вероятности получения каждого сообщения (исхода) - p_i. Тогда в соответствии с идеей Шеннона, количество информации I в сообщении i определяется по формуле (1.6):

I = -log₂ p _i, (2.6)

где p _i – вероятность i -го сообщения (исхода).

Соотношение (1.6) позволяет определять также размер двоичного эффективного кода, требуемого для представления того или иного сообщения, имеющего определенную вероятность появления.

(2.7)

Помимо информационной оценки одного сообщения, Шеннон предложил количественную информационную оценку всех сообщений, которые можно получить по результатам проведения некоторого опыта. Так, среднее количество информации I _ср, получаемой со всеми n сообщениями, определяется по формуле.

 

где p_i – вероятность i-го сообщения.

На практике часто вместо вероятностей используются частоты исходов. Это возможно, если опыты проводились ранее и существует определенная статистика их исходов.

Усложним задачу.

Пусть сообщение – набор длиной N символов русского алфавита. Пусть опыт состоит в появлении той или иной буквы исходного алфавита в сообщении. Вероятности (или частоты) исходов известны: p_i – вероятность появления символа i. Тогда полное количество информации, доставленное отрезком из N сигналов, где N =N₁+..+N_m при N_i – число вхождений i -ого типа буквы в сообщение, будет рассчитываться по формуле (1.8):

		(2.8)

 

Пусть у опыта два равновероятных исхода, составляющих полную группу событий, т.е. p ₁ = p ₂ = 0,5. Тогда имеем в соответствии с (1.7):

I _ср = -(0,5*log₂0,5 + 0,5*log₂0,5) = 1. (2.9)

Формула (9) есть аналитическое определение бита по Шеннону: это среднее количество информации, которое содержится в двух равновероятных исходах некоторого опыта, составляющих полную группу событий.

Формула, предложенная Хартли, представляет собой частный случай более общей формулы Шеннона. Если имеется N равновероятных исходов некоторого опыта, то от формулы (8) мы приходим к формуле (1.1)

Единица измерения информации при статистическом подходе – бит.

2 Примеры решения задач

Пример 1 (структурный подход). Рассчитать количество информации, которое содержится в шестнадцатеричном и двоичном представлении ASCII-кода для числа 1.

Пример 2 (структурный подход). Рассчитать количества информации для сообщений «Информатика» и «30-е годы 20-ого века» без учета кавычек.

Пример 3. Какое количество вопросов достаточно задать вашему собеседнику, чтобы наверняка определить месяц, в котором он родился?

Пример 4 (статистический подход). Определить количество информации, содержащейся в сообщении о результате сдачи экзамена для студента из (1.4) и (1.5).

Пример 5 (статистический подход). Определить среднее количество информации, получаемое студентом из (1.4) и (1.5), по всем результатам сдачи экзамена.

Пример 6 (статистический подход). Рассчитать количества информации для сообщений «Информатика» и «30-е годы 20-ого века» без учета кавычек.

Буква	Частота	Буква	Частота	Буква	Частота
о	0,090	м	0,026	й	0,010
е (ё)	0,072	д	0,025	х	0,009
а	0,062	п	0,023	ж	0,007
и	0,062	у	0,021	ю	0,006
т	0,053	я	0,018	ш	0,006
н	0,053	ы	0,016	ц	0,004
с	0,045	з	0,016	щ	0,003
р	0,040	ь,ъ	0,014	э	0,003
в	0,038	б	0,014	ф	0,001
л	0,035	г	0,013	пробелы и знаки препинания	0,175
к	0,028	ч	0,012

 

3 Задание

Для выбранной в соответствии с вариантом задания задачи:

1) Рассчитать количество информации в сообщении по формуле Хартли.

2) Рассчитать количество информации в сообщении по формуле Шеннона.

3) Выполнить сравнительный анализ результатов расчетов.

4) Сделать выводы.

 

4 Содержание отчета

1) Определение понятия «Количество информации».

2) Мера Р.Хартли.

3) Подробный расчет количества информации, содержащейся в сообщении по формуле Хартли.

4) Мера К.Шеннона.

5) Подробный расчет количества информации, содержащейся в сообщении по формуле Хартли (привести таблицу вероятностей появления букв русского алфавита в сообщениях)

6) Анализ результатов и выводы.

 

5 Варианты задания

Вариант задания формируется каждым студентом индивидуально следующим образом. От источника к приемнику передается следующее сообщение: «Фамилия Имя Отчество день. месяц. год город-рождения». Каждый студент использует в качестве варианта задания свои фамилию, имя и отчество, далее – день, месяц, год и город рождения. Все семь частей сообщения разделены одним пробелом. Например: «Иванов Семен Петрович 10 11 1992 Москва».

 

6 Список литературы

1. Информатика. Базовый курс. / Под ред. С.В.Симоновича. — Спб., 2000 г.

2. Информатика. Компьютерная техника. Компьютерные технологии. / Пособие под ред. О.И.Пушкаря.— Издательский центр "Академия", Киев, — 2001 г.

3. Казиев В.М. Введение в анализ, синтез и моделирование систем. М.: Бином, 2007.

4. Коцюбинский А.О., Грошев С.В. Современный самоучитель профессиональной работы на компьютере. — Г.: Триумф, 1999 г.