Информация. Количество информации как мера уменьшения неопределенности

Информация

Информация. Количество информации как мера уменьшения неопределенности

Понятие информации, безусловно, является ключевым в курсе информатики. Слово informatio латинского происхождения и означает сведение, разъяснение, ознакомление.

Очень трудно из-за многозначности понятия информация дать его четкое определение, можно лишь попытаться выразить его через другие известные понятия. Можно выделить, по крайней мере, четыре различных подхода к определению понятия информация.

В быту слово «информация» применяется как синоним слов: «сведение», «сообщение», «осведомление о положении дел». Совершенно очевидно, что количественно измерить ин­формацию, определенную таким образом, невозможно, в лучшем случае можно говорить о достоверности или недостоверности информации.

В кибернетике (науке об управлении) понятие «информация» используется для харак­теристики управляющих сигналов, которые обеспечивают устойчивое функционирование сложных систем. Так, например, в холодильнике информация, передаваемая от терморегуля­тора к мотору, обеспечивает поддержание определенной температуры.

В философии понятие «информация» тесно связано с такими понятиями как взаимо­действие и познание. В процессе взаимодействия двух объектов (например, столкновение автомобилей) происходят от их изменения, можно сказать, что на них «отпечатывается» ин­формация о взаимодействии. Человек познает окружающий мир, в его сознании накаплива­ются знания, т. е. информация.

Наконец, в информатике понятие «информация» вводится как мера уменьшения неоп­ределенности. Такой подход позволяет количественно измерять информацию, что чрезвы­чайно важно для информатики как технологической науки.

За единицу количества информации принято такое количество информации, которое мы получаем при уменьшении неопределенности в два раза. Такая единица названа бит.

В компьютере информация представлена в двоичном коде или на машинном языке, алфавит которого состоит из двух цифр (1 и 0). Эти цифры можно рассматривать как два равновесные состояния. При записи одного двоичного разряда реализуется выбор одного из двух возможных состояний (одной из двух цифр) и, следовательно, один двоичный разряд несет количество информации в 1 бит.

Важно, что каждый разряд двоичного числа несет информацию в один бит. Таким образом, два двоичных разряда несут, соответственно информацию два бита, три разряда – три бита и т. д. Количество информации в битах равно количеству двоичных разрядов.

Определим:

«Какое количество различных двоичных чисел N можно записать с помощью I двоичных разрядов?»

С помощью одного двоичного разряда можно записать два двоичных числа (N = 2 = 2¹). С помощью двух двоичных разрядов можно записать четыре двоичных числа (N = 4 = 2²).

С помощью трех двоичных разрядов можно записать восемь двоичных чисел (N = 8 = 2³) …

 

Таблица 3.1. Двоичные числа

Количество двоичных разрядов
Двоичные числа

 

В общем случае количество различных двоичных чисел можно определить по формуле:

N = 2^I

Определим теперь по этой формуле, какое количество различных двоичных чисел можно записать с помощью 8 двоичных разрядов (I=8 бит).

N = 2⁸ = 256

Мы получили очень важную формулу, которая связывает между собой количество возможных исходов N и количество информации I. Если известно количество возможных исходов и необходимо определить количество информации, то формула принимает вид показательного уравнения относительно I.

Например, при бросании пирамиды количество равновероятных исходов равно 4, следовательно, уравнение принимает вид:

4 = 2^I, т. к. 4 = 2², то I = 2 бит

 

ü Вопросы и задания

1. В чем состоит суть «вероятностного» подхода к определению количества информации?

2. Что принято за единицу измерения количества информации?

3. Какое количество информации несет разряд двоичного числа? Два разряда? Три разряда?

4. Какое количество различных двоичных чисел можно записать с помощью четырех двоичных разрядов?

5. Определите количество информации, которое мы получаем при игре в рулетку с 64 одинаковыми секторами?

Единицы измерения количества информации.

В информатике система единиц измерения количества информации несколько отличается от принятых в большинстве наук. Традиционные метрические системы единиц, например, Международная система единиц СИ, в качестве множителей кратных единиц используют коэффициент 10ⁿ, где n-3,6,9 и т. д., что соответствует десятичным приставкам Кило (10³), Мега (10⁶), Гига (10⁹).

 

В информатике наиболее употребляемой единицей измерения количества информации является байт, причем

1 байт = 8 бит

 

Компьютер оперирует числами не в десятичной, а в двоичной системе счисления, поэтому в кратных единицах измерения количества информации используется коэффициент 2¹⁰ = 1024. Производные единицы измерения количества информации вводятся следующим образом:

 

1 Кбайт = 2¹⁰ байт =1024 байт

1 Мбайт = 2¹⁰ Кбайт =1024 Кбайт

1 Гбайт = 2¹⁰ Мбайт =1024 Мбайт

 

ü Вопросы и задания

Чем отличаются множители кратных единиц в информатике от множителей кратных единиц в физике?

 

Упражнение 1

С помощью стандартной программы Windows Калькулятор вычислите:

¨ Сколько бит в 1 Кбайт;

¨ Сколько байт в 1 Гбайт.

 

 

Упражнение 2

С помощью стандартной программы Windows Калькулятор вычислите, какие максимальные десятичные числа могли обрабатывать за один такт 8-, 16-, 32- и 64-разрядные компьютеры.

 

Упражнение 3

Используя Таблицу символов, запишите последовательность десятичных числовых кодов в кодировке Windows (CP1251) для слова.

 

Упражнение 4

Используя Таблицу символов, а затем Калькулятор, Запишите последовательность двоичных числовых кодов в кодировке Windows (CP1251) для слова бит.

 

Упражнение 5

Используя Блокнот, определите, какие слова в кодировке Windows (CP1251) заданы последовательностями числовых кодов:

¨ 224, 224, 233 242

¨ 11011101, 11000010,11001100

 

Упражнение 6

Используя Блокнот, определите, какие слова в кодировке MS-DOS (СР866)

заданы последовательностями числовых кодов:

¨ 161, 160, 169, 226

¨ 10011101, 10000010, 10001100

 

 

Упражнение 7

Помощью программы звукозапись запишите при 16-битном кодировании и частоте дискретизации 44 Кгц моноаудиофайл длительностью 10 секунд. Посмотрите его объем.

 

Формула Шеннона

Формулу для вычисления количества информации на основе вероятностного подхода предложил. К. Шеннон в 1948 году. Если вероятность отдельных событий различна, например, монета, пирамидка и кубик несимметричны, а рулетка «нечестная», то количество информации определяется по формуле:

где I – количество информации,

N – количество возможных событий,

P_i – вероятность отдельных событий.

Для частного, но широко распространенного и приведенного выше случая, когда события равновероятны, величина количества информации I принимает максимальное значение:

Рассмотрим такие случаи, когда N событий (исходов) равновероятны, т. е. монета, пирамидка и кубик симметричны и однородны, а «честная» рулетка имеет 64 сектора.

Легко подсчитать количество информации для данных четырех ситуаций. Количество возможных событий для монеты N = 2, для кубика N = 6, для рулетки N = 64. Рассчитываем количество информации, которое мы получим по окончании опыта:

Для монеты I = log₂2 = 1 бит;

Для пирамиды I = log₂4 = 2 бит;

Для кубика I = log₂6 = 2,6 бит;

Для рулетки I = log₂64 = 6 бит.

На получении максимального количества информации строится выбор правильной стратегии в игре «Угадай число». В игре «Угадай число» первый игрок загадывает число (например, от 1 до 100), второй задает вопросы типа «Число больше 50?». При правильной стратегии интервал чисел в вопросе всегда должен делится пополам, и тогда ответ первого игрока будет нести максимальное количество информации (1 бит), так как неопределенность (количество возможных событий) при каждом ответе будет уменьшаться в два раза.

Используя формулу Шеннона, достаточно просто определить, какое количество бит информации или двоичных разрядов необходимо, чтобы закодировать 256 различных символов. 256 различных символов можно рассматривать как 256 различных равновероятностных состояний (событий). В соответствии с вероятностным подходом к измерению количества информации необходимое количество информации для двоичного кодирования 256 символов равно:

I = log₂256 = 8бит = 1 байт

Следовательно, для двоичного кодирования 1 символа необходим 1 байт информации или 8 двоичных разрядов.

Аналогично рассчитывается количество информации, необходимое для хранения состояния точки экрана при различном количестве отображаемых цветов. Каждый цвет представляет собой одно из вероятностных состояний точки экрана, рассчитаем количество бит на точку, необходимых для режима True Color (16777216 цветов):

I = log₂16777216 = 24 бит

 

 

ü Вопросы и задания

1. Какое количество информации получит второй игрок в игре «Угадай число», если первый игрок загадал число: 32, 128?

2. Какое количество информации необходимо для кодирования одной точки изображения при палитре из 16 цветов?

 

 

Информация

Информация. Количество информации как мера уменьшения неопределенности

Понятие информации, безусловно, является ключевым в курсе информатики. Слово informatio латинского происхождения и означает сведение, разъяснение, ознакомление.

Очень трудно из-за многозначности понятия информация дать его четкое определение, можно лишь попытаться выразить его через другие известные понятия. Можно выделить, по крайней мере, четыре различных подхода к определению понятия информация.

В быту слово «информация» применяется как синоним слов: «сведение», «сообщение», «осведомление о положении дел». Совершенно очевидно, что количественно измерить ин­формацию, определенную таким образом, невозможно, в лучшем случае можно говорить о достоверности или недостоверности информации.

В кибернетике (науке об управлении) понятие «информация» используется для харак­теристики управляющих сигналов, которые обеспечивают устойчивое функционирование сложных систем. Так, например, в холодильнике информация, передаваемая от терморегуля­тора к мотору, обеспечивает поддержание определенной температуры.

В философии понятие «информация» тесно связано с такими понятиями как взаимо­действие и познание. В процессе взаимодействия двух объектов (например, столкновение автомобилей) происходят от их изменения, можно сказать, что на них «отпечатывается» ин­формация о взаимодействии. Человек познает окружающий мир, в его сознании накаплива­ются знания, т. е. информация.

Наконец, в информатике понятие «информация» вводится как мера уменьшения неоп­ределенности. Такой подход позволяет количественно измерять информацию, что чрезвы­чайно важно для информатики как технологической науки.

За единицу количества информации принято такое количество информации, которое мы получаем при уменьшении неопределенности в два раза. Такая единица названа бит.

В компьютере информация представлена в двоичном коде или на машинном языке, алфавит которого состоит из двух цифр (1 и 0). Эти цифры можно рассматривать как два равновесные состояния. При записи одного двоичного разряда реализуется выбор одного из двух возможных состояний (одной из двух цифр) и, следовательно, один двоичный разряд несет количество информации в 1 бит.

Важно, что каждый разряд двоичного числа несет информацию в один бит. Таким образом, два двоичных разряда несут, соответственно информацию два бита, три разряда – три бита и т. д. Количество информации в битах равно количеству двоичных разрядов.

Определим:

«Какое количество различных двоичных чисел N можно записать с помощью I двоичных разрядов?»

С помощью одного двоичного разряда можно записать два двоичных числа (N = 2 = 2¹). С помощью двух двоичных разрядов можно записать четыре двоичных числа (N = 4 = 2²).

С помощью трех двоичных разрядов можно записать восемь двоичных чисел (N = 8 = 2³) …

 

Таблица 3.1. Двоичные числа

Количество двоичных разрядов
Двоичные числа

 

В общем случае количество различных двоичных чисел можно определить по формуле:

N = 2^I

Определим теперь по этой формуле, какое количество различных двоичных чисел можно записать с помощью 8 двоичных разрядов (I=8 бит).

N = 2⁸ = 256

Мы получили очень важную формулу, которая связывает между собой количество возможных исходов N и количество информации I. Если известно количество возможных исходов и необходимо определить количество информации, то формула принимает вид показательного уравнения относительно I.

Например, при бросании пирамиды количество равновероятных исходов равно 4, следовательно, уравнение принимает вид:

4 = 2^I, т. к. 4 = 2², то I = 2 бит

 

ü Вопросы и задания

1. В чем состоит суть «вероятностного» подхода к определению количества информации?

2. Что принято за единицу измерения количества информации?

3. Какое количество информации несет разряд двоичного числа? Два разряда? Три разряда?

4. Какое количество различных двоичных чисел можно записать с помощью четырех двоичных разрядов?

5. Определите количество информации, которое мы получаем при игре в рулетку с 64 одинаковыми секторами?