Три подхода при измерении информации

Соответственно направлениям в теории информации можно различать структурный, статический и семантический подходы при измерении информации.

При структурном подходе измерение информации осуществляется простым подсчетом числа сообщений (информационных элементов), составляющих информационный массив, или количеством преобразований сообщений (связей между информационными элементами), или числом комбинаций, которые можно реализовать из этих сообщений (элементов). Этот подход применяется для оценки ёмкости информационных систем без учёта условий их применения. К таким системам относят средства формирования, передачи, обработки, преобразования и хранения сообщений.

При статическом подходе количество информации ставится в зависимость от вероятности появления сообщений. Такой подход позволяет оценить информационные возможности систем с учетом конкретных статистических свойств сообщений и помех. Подчеркнём, что статистическая теория передачи сообщений, называемая обычно (статистической) теорией информации, является в настоящее время наиболее развитым направлением в общей теории информации. Однако этот подход описывает далеко не все информационные явления даже в технических системах. Сфера его применения ограничена статистическим (случайным, неупорядоченным) характером анализируемых информационных явлений, в то время как большая часть явлений, объектов природы и техники не только не случайны, но либо закономерно реализуются, либо существуют как факты в виде упорядоченных и организованных структур. Статистический подход получил широкое распространение для информационных оценок во многих областях человеческой деятельности, но это только лишний раз указывает на необходимость и возможность более общей теории для анализа информационных явлений.

Семантический подход предназначен для учёта целесообразности, ценности, полезности, существенности и содержательности информации, для оценки эффективности логического опыта. Например, более ценной можно считать ту информацию, которая содержится в более короткой программе из возможных программ, ведущих к одной и той же цели из заданного исходного положения. Так как это направление в настоящее время недостаточно разработано, то далее не будут рассматриваться связанные с ним вопросы.

Вопросы для закрепления и углубления материала

1. Какие направления в теории информации следует различать и какие в связи с этим возможны подходы при измерении информации?

2. Определите область применения структурного подхода при измерении информации.

3. Каковы преимущества и недостатки подхода при измерении информации в котором учитываются статистические свойства сообщений и помех.

4. Для чего используется семантический подход?

 

Структурные меры информации

При использовании структурных мер информации учитывается только дискретное строение информационного массива, а именно – число сообщений (элементов) в массиве, количество связей между ними или число комбинаций из данных сообщений.

К структурным мерам информации относятся: геометрическая, комбинаторная и аддитивная.

Геометрическая мера информации употребляется в измерении «длины линии», «площади» или «объёма» данного информационного массива (комплекса) в единицах дискретных элементов (сообщений) этого массива. Этой мерой обычно измеряют информационную емкость массива, комплекса и т.п.

Например, пусть требуется измерить информационную ёмкость черно-белой фотографии, ширина и длина которой соответственно равны y _max и x _max, а разность между минимальной и максимальной яркостью участков изображения равна z_max. Будем считать, что резкость изображения и чувствительность фотобумаги или разрешающая способность приборов, используемых для оценки яркости каждого элемента изображения не позволяют различать участки размером менее Δ y и Δ x по смежным сторонам фотографии и перепады яркости менее Δ z. Тогда, подсчитав возможное число отсчётов по каждой из сторон и число уровней яркости в виде:

N _y = y _max /Δ y, n _x = x _max /Δ x, n _z = z_max /Δz,

определим информационную ёмкость фотографии как «объём» информационного массива в виде

J = n _{y ·} n _{x ·} n _z. (2.1)

Аналогично этому можно определить информационную ёмкость процесса изменения напряжения как «площадь» массива данных, представляющих этот процесс, т.е. в виде J=n _{u ·}n _t, где n _u – число различимых вольтметром значений напряжения, n _t – число отсчётов напряжения во времени. Ёмкость оперативного запоминающего устройства ЦВМ часто измеряют числом ячеек памяти (элементов массива данных).

Комбинаторная мера информации употребляется для оценки возможностей систем, в которых передача и хранение информации осуществляется при помощи различных комбинаций из набора сообщений. Заметим, что сопоставление сообщениям из большого их множества (алфавита) комбинаций из других сообщений меньшего, множества (алфавита) является одним из способов кодирования, а сами комбинации (группы сообщений, символов) обычно называются кодовыми комбинациями или кодовыми словами.

Комбинирование возможно в комплексах с неодинаковыми сообщениями, переменными связями или разнообразными позициями.

Одинаковые сообщения могут стать различными, если учесть их положение, позицию, как это делается, например, в позиционных системах счисления.

В комбинаторике рассматривают различные виды соединений из элементов. сочетания из m элементов по n различаются составом элементов. Перестановки из m элементов различаются их порядком; возможны перестановки с неоднократными повторениями некоторых элементов. Размещения из m элементов по n элементов различаются составом элементов и их порядком. Возможны размещения с повторениями одинаковых элементов; число таких размещений N = m ⁿ .

Комбинаторная мера определяет количество информации числом возможных или реализуемых комбинаций из элементов, т.е. оценивает структурное разнообразие информационных комплексов. Так как число комбинаций значительно больше количества комбинируемых элементов, то комбинационная мера информации компактнее геометрической.

Аддитивная мера информации или «мераХартли» находит широкое применение. Для рассмотрения этой меры введём понятия глубины и длины кодового слова или числа.

Глубинаmкодового слова или числа – это количество различных сообщений (элементов, состояний системы, знаков, символов), содержащихся в принятом алфавите. Глубина числа соответствует основанию позиционной системы счисления.

Длинаnкодового слова или числа – это количество повторений символов алфавита для образования данного кодового слова или числа. Длина числа соответствует принятой разрядности системы счисления.

При глубине m и равной длине n количество разных кодовых слов или чисел определяется в виде N = m ⁿ, т.е. экспоненциально (нелинейно) зависит от длины числа n. Так при m = 2 и n =2, 3, 4, 5 соответственно N = 4, 8, 16, 32. Вследствие нелинейной зависимости от n число N не является удобной мерой для оценки информационной ёмкости систем. Очевидно, было бы удобнее иметь такую меру информации, при которой увеличение длины кодового слова или числа сообщений или состояний, представляющих наблюдаемую систему, приводило бы к пропорциональному увеличению содержащейся в них информации, а при наличии нескольких кодовых слов (или систем) количество содержащейся в них информации определялось бы простой суммой количества информации в каждом из них. Поэтому в 1928 г. Р. Хартли ввёл аддитивную двоичную логарифмическую меру, представляющую количество информации в двоичных единицах – битах (bits – binary digits). Для определения количества информации этой мерой берётся не количество разных кодовых слов или состояний системы N, а его двоичный логарифм, т.е.

J = log₂ N [бит]. (2.2)

Если N = m ⁿ, то выражение (2. 2) можно записать в виде

J =log₂ m ⁿ = n log₂ m, (2.3)

где log₂ m = К – постоянная величина.

Таким образом, количество информации в битах пропорционально длине кодового слова, так как J = К*n. Из выражения (2.3) видно, что минимальное количество информации – один бит – содержит система (источник) с двумя (равновероятными) состояниями, т.е. когда n = 1, m = 2. Приёмник соответственно получает один бит информации при реализации одного из этих состояний или при выборе одного из двух равновозможных сообщений.

При наличии нескольких систем, числа состояний которых представлены значениями: N ₁, N ₂,..., N _е, количество информации во всех системах определяется суммой вида

 

J = (N ₁, N ₂,..., N _е) = J (N ₁) + J (N ₂) + … + J (N _e) = log₂ N _j, (2.4)

 

где е – количество наблюдаемых систем, кодовых слов и т.п.

Таким образом, мера Хартли удобна благодаря свойству аддитивности, которое обеспечивает возможность сложения и пропорциональности количества информации к длине кодового слова. Заметим, что свойством аддитивности обладает и геометрическая мера информации, но она менее компактна, чем мера Хартли.

В соответствии с теорией Хартли информация – это особого рода логическая инструкция, набор указаний или программа для выбора, поиска, идентификации определённого сообщения (состояния) из некоторого их множества [1]. Заметим, что слово «идентичный» означает «тождественный», «одинаковый». Соответственно идентификация – это установление тождества, одинаковости, т.е. отождествление, приравнивание, уподобление. Ниже будет показано, что «информация по Хартли» – это лишь один из двух типов информации, так называемая «идентифицирующая информация», в отличие от «описательной». Однако здесь важно заметить, что Хартли определил информацию как определённого рода преобразование, переводящее приёмник из одного состояния в другое, что в значительной степени совпадает о определением информации, данном в разд. 1.5.

Логическая инструкция по выбору, которую Хартли отождествил с информацией, приводилась в разд. 1.5 в связи с определением единицы количества информации – бита. Рассмотрим подробнее эту процедуру на примере поиска определённой карты в колоде из восьми карт. Вообще поиск можно осуществлять наугад, простым перебором или с помощью других лучших процедур. В соответствии с данной процедурой (логической инструкцией) на каждом шаге, начиная с первого, выбранное множество, делится на два равных подмножества, из которых по указанию источника (очередной инструкции, команде) выбирается то, в котором имеется искомая карта. Очередная инструкция или команда отвечает на вопрос типа: в первом ли подмножестве находится искомый объект? Ответ может быть только либо «да», либо «нет». Последовательное деление на равные подмножества продолжается до тех пор, пока в каждом из них не окажется по одному сообщению. При этом полная логическая инструкция или программа по выбору будет состоять из последовательности команд типа «да» и «нет». В нашем примере она имеет вид: «нет», «нет», «да». Аналогично этому можно идентифицировать отсутствие предмета или вес любого из семи предметов от 1 кг до 7 кг с помощью чашечных весов и трёх гирь весом 4 кг, 2 кг и 1 кг. Для этого необходимо ставить очередную гирю, начиная с самой тяжелой, на ту чашу весов, где нет предмета, и оставлять её там, если общий вес гирь не перевешивает предмета, а убирать её в противном случае. На рис. 2.1. стрелками условно показана программа идентификации предмета весом 5 кг. Эта программа состоит в том, что вначале нужно поставить гирю 4 кг, затем не нужно ставить гирю 2 кг и, наконец, поставить гирю 1 кг.

 

Рис. 2.1. Иллюстрация процедуры идентификации «методом последвательного деления на два». Стрелками обозначена программа идентификации одного из восьми разных предметов; комбинации из «1» и «0» представляют программы выбора, поиска, идентификации каждого из этих предметов

 

Если повёрнутую вниз стрелку обозначить символом «1», а повёрнутую вверх – «0», то программу идентификации предмета весом 5 кг можно записать в виде кодового слова 101. На рис. 2.1. показано, что аналогично этому можно записать (закодировать) программы выбора, поиска, идентификации каждого из восьми разных объектов.

Из рассмотренных примеров видно, что «информация по Хартли» – это программа по выбору, поиску, идентификации объекта «методом последовательного деления на два». Такой метод идентификации называют также дихотомическойили бинарной процедурой поиска. Каждая инструкция или команда конкретной программы выполняется на очередном её шаге и может быть закодирована символами «1» или «0». Кроме того, можно заметить, что число шагов в программе идентификации совпадает с количеством информации, измеряемым мерой Хартли, т.е. 3 = log₂ 8. Откуда следует, что количество информации, необходимой для выбора, поиска, идентификации объекта соответствует длине программы, измеряемой числом шагов этой программы. Наконец, подчеркнём, что в отличие от широко распространённого представления, «информация по Хартли» не описывает объект, а предназначена только для его выбора, поиска, идентификации. Ниже будет показано, что означает описание объекта.

Аддитивная мера Хартли используется для количественной оценки данных, полученных при измерениях, для оценки информационной емкости технических и других систем, а также различных документов, графической информации и в других, случаях, где можно различать конечное число состояний. Например, если вольтметр различает n _u значений напряжения и во время измерений выполнено n _t замеров, то полученный массив данных содержит

J = n _t · log₂ n _u [бит].

Заметим, что идентификация имеет место при любых измерениях, которые, однако, не всегда осуществляются методом последовательного деления на два.

Ёмкость оперативного запоминающего устройства (ОЗУ) ЦВМ, состоящего из 3000 восьмиразрядных ячеек для хранения двоичных кодовых слов, составляет

J = 3000 · 8 бит = 24000 бит.

В этом случае в каждой ячейке может храниться одно из 2⁸ = 256 возможных кодовых слов.

В чёрно-белой фотографии, содержащей n _y *n _x элементарных участков, в каждом из которых различимо n _z уровней яркости, содержится количество информации

J = n _y · n _x · log₂ n _z [бит].

 

Более крупная единица информации – один байт (byte) равен восьми битам (1Б = 8 бит).

Для измерения количества информации в больших массивах данных используется еще более крупные единицы:

2¹⁰=1024 байта составляют один килобайт (Кбайт),

1024 килобайта образуют один мегабайт (Мбайт),

1024 мегабайта равняются одному гигабайту (Гбайт),

1024 гигабайта составляют один терабайт (Тбайт).

 

Вопросы для повторения и закрепления материала

1. Какие виды структурных мер информации следует различать?

2. Приведите примеры измерения ёмкости информационных массивов, представленных «объёмом», «площадью» и «длиной».

3. Какие существуют виды комбинаций из элементов?

4. На чём основано кодирование, использующее комбинации из элементов? Что представляет собой кодовое слово?

5. Как измеряется ёмкость информационного массива комбинаторной мерой?

6. Что понимается под глубиной и длиной кодового слова?

7. Определите меру Хартли и ее свойства. В чём проявляется свойство аддитивности?

8. Что такое бит?

9. Приведите определение информации данное Хартли.

10.Запишите (закодируйте) все «информации Хартли» для идентификации каждого из шестнадцати различных сообщений.

11.Является ли «информация Хартли» описанием сообщения?

12. О каких программах поиска можно сказать, что их длина равняется количеству информации, учтённому аддитивной мерой?

13. Приведите примеры измерения количества информации аддитивной мерой Хартли.

14. Что такое байт?