Энтропия как мера неопределенности выбора

Ранее отмечалось, что факт получения информации всегда связан с уменьшением разнообразия или неопределенности. Рассмотрим источник информации, который может в каждый момент времени случайным образом принять из конечного множества возможных состояний. Такой источник называют дискретным источником информации. При этом принято говорить, что различные состояния реализуются вследствие выбора их источником. Каждому состоянию источника  ставится в соответствие условное обозначение в виде знака (в частности, буквы) из алфавита данного источника: .

Для получения результата выбора источником  конкретного состояния можно высказать ряд предположений, которые базируются на априорных сведения об источнике информации. Поскольку одни состояния выбираются чаще, а другие реже, то в общем случае он характеризуется ансамблем , т.е. полной совокупности состояний с вероятностями их появления, составляющими в сумме единицу:

 

или 

 

причём

   

или

    .

Обе формы записи используются в дальнейшем на равных основаниях.

Опираясь на эти сведения, введём сначала меру неопределенности выбора состояния источника. Её можно рассматривать и как меру количества информации, получаемой при полном устранении неопределенности относительно состояния источника. Мера должна удовлетворять ряду естественных условий. Одним из них является необходимость монотонного состояния возрастания с увеличением возможных состояний источника , причём недопустимые состояния (состояния с вероятностями, равными нулю) не должны учитываться, так как они не меняют неопределенности.

Ограничиваясь только этим условиям, за меру неопределенности можно было бы взять число состояний, предположив, что они равновероятны. Однако такая мера противоречит некоторым интуитивным представлениям. Например, при , когда неопределенность отсутствует, она давала бы значение, равное единице, кроме того, такая мера не отвечает требованию аддитивности, которое заключается в следующем.

Если два независимых источника с числом равновероятных состояний  и  рассматривать как один источник, который одновременно реализует пары состояний , то естественно предположить, что неопределенность объединенного источника должна равняться сумме неопределенностей исходных источников. Поскольку общее число состояний объединенного источника равно , то искомая функция должна удовлетворять условию

.

Это соотношение выполняется, если в качестве меры неопределенности источника с равновероятными состояниями и характеризующего его ансамбля  принять логарифм числа состояний:

Тогда при  и требование аддитивности выполняется.

Указанная мера была предложена американским ученым Р. Хартли в 1928 г. Основание логарифма не имеет принципиального значения и определяет только масштаб или единицу неопределенности. Так как современная информационная техника базируется на элементах, имеющих два устойчивых состояния, то обычно выбирают основание логарифма равным двум. При этом единица неопределенности называется двоичной единицей или битом и представляет собой неопределенность выбора из двух равновероятных событий (bit – сокращение от англ. binary digit – двоичная единица). Если основание логарифма выбрать равным десяти, то неопределенность получим в десятичных единицах на одно состояние (дитах).

Предложенная мера позволяет решать определенные практические задачи. Однако она не получила широкого применения, поскольку была рассчитана на слишком грубую модель источника информации, которая приписывает всем его возможным состояниям одинаковую вероятность.

Таким образом, степень неопределенности реализации состояния источника информации зависит не только от числа состояний, но и от вероятности этих состояний. При неравновероятных состояниях свобода выбора источника ограничивается, что должно приводить к уменьшению неопределенности. Если источник информации имеет, например, два возможных состояния с вероятностями 0,99 и 0,01, то неопределенность выбора у него значительно меньше, чем у источника, имеющего два равновероятных состояния. Действительно, в первом случае результат практически предрешён (реализация состояния, вероятность которого равна 0,99), а во втором случае неопределенность максимальная, поскольку никакого обоснованного предположения о результате выбора сделать нельзя. Отметим, что весьма малое изменение вероятностей состояний вызывает соответственно изменение неопределенности выбора.

Это позволяет сформулировать следующее требование к искомой мере неопределенности : она должна быть непрерывной функцией вероятностей состояний источника  с соблюдением условием

      .

Наибольшее её значение должно достигаться при равенстве вероятностей всех её состояний.

Кроме того, так как мера неопределенности связывается только с фактом выбора, а не с множеством конкретных значений наблюдаемых явлений, то  должна быть функцией от функции распределения случайной величины и не должна зависеть от её конкретных значений. Иначе говоря,  должна являться функционалом распределения вероятностей.

Ещё одно условие состоит в том, что мера неопределенности не должна зависеть от пути выбора состояния в ансамбле. Выбор может быть как непосредственным, так и многоступенчатым. В последнем случае неопределенность выбора состояния складывается из неопределенности выбора группы состояний и неопределенностей выбора состояния в каждой группе, рассчитанных с учётом вероятности выбора данной группы:

где  и вероятности состояний, которые образуют соответственно группы  и , причём  и .

Мера неопределенности выбора дискретным источником состояния из ансамбля , удовлетворяющая указанным условиям, была предложена американским ученым К. Шенноном. Её называют энтропией дискретного источника информации или энтропией конечного ансамбля:

,

где произвольное положительное число.

К. Шенноном высказано утверждение, а советским ученым Л. Я. Хинчиным математически строго доказано, что это единственный функционал, удовлетворяющий сформулированным условиям.

Если вновь ориентироваться на измерение неопределенности в двоичных единицах, то основание логарифма следует принять равным двум. Примем также . Из (36.5)

.

Предложенная мера была названа энтропией не случайно. Дело в том, что формальная структура выражения (36.5) совпадает с энтропией физической системы, определенной ранее Больцманом. Согласно второму закону термодинамики энтропия  замкнутого пространства определяется выражением

,

где число молекул в данном пространстве; число молекул, обладающих скоростью .

Так как  есть вероятность того, что молекула имеет скорость , то (36.7) можем записать в виде

.

Совпадение имеет глубокий физический смысл, так как в обоих случаях величина  характеризует степень разнообразия состояний системы.

Рассмотрим взаимосвязь меры К. Шеннона с мерой Хартли. Если в источнике может быть реализовано  равновероятных состояний, то вероятность каждого из них равна ,  и неопределенность по Хартли, которая приходится на каждое состояние, выражается числом

.

Будем теперь считать вероятности событий различными, а неопределенность, которая приходится на одно конкретное состояние источника, характеризовать по аналогии величиной

.

Это частная неопределенность представляет собой случайную величину, которая зависит от того, какое состояние источника в действительности реализуется. Усреднив по всему ансамблю  состояний источника, найдём неопределенность, которая приходится в среднем на одно состояние:

.

Следовательно, мера К. Шеннона является естественным обобщением меры Хартли на случай ансамбля с неравновероятными состояниями. Она позволяет учесть статистические свойства источника информации.

 

СВОЙСТВА ЭНТРОПИИ

Рассмотрим основные свойства энтропии, обратив внимание на то, что сформулированные условия для меры неопределенности выполняются.

1.Энтропия является вещественной и неотрицательной величиной, так как для любого  изменяется в интервале от 0 до 1,  отрицателен и, следовательно,  положительна.

2.Энтропия – величина ограниченная. Для слагаемых  в диапазоне  ограниченность очевидна. Остаётся определить предел, к которому стремится слагаемое  при . Так как  при этом неограниченно возрастает:

Обозначив  и воспользовавшись правилом Лопиталя, получим

.

3.Энтропия обращается в нуль лишь в том случае, если вероятность одного из состояний равна единице; тогда вероятности всех остальных состояний, естественно равны нулю. Это положение соответствует случаю, когда состояние источника полностью определенно.

4.Энтропия максимальна, когда все состояния равновероятны, что можно доказать методом неопределенных множителей Лагранжа:

.

5.Энтропия источника  с двумя состояниями  и  изменяется от нуля до единицы, достигая максимума при равенстве их вероятностей:

.

График зависимости  в функции

приведен на рис.... При  частная неопределенность, которая приходится на состояние , велика, однако такие состояния источника весьма редки. Состояния  реализуется часто, но неопределенность, которая приходится на такое состояние, очень мало. Поэтому энтропия, которая характеризует среднюю неопределенность на одно состояние ансамбля, также мала. Аналогичная ситуация наблюдается при .

Отметим, что энтропия непрерывно зависит от вероятностей отдельных состояний, что непосредственно вытекает из непрерывности функции .

6.Энтропия объединения нескольких статистически независимых источников информации равна сумме энтропий исходных источников.

Не теряя общности, ограничимся рассмотрением объединения, которое включает два источника информации  и . Под объединением двух источников  и  понимают обобщенный источник информации , который характеризуется вероятностями  всех возможных состояний  комбинаций источника  и  источника . Аналогично трактуется и объединение ансамблей.

В соответствии с определением энтропия объединения

.

Здесь вероятность совместной реализации состояний

        и .

В случае статистической независимости источников информации  и  запишем

  .

Тогда

.

Учитывая, что

 и ,

получим

.

Соответственно для энтропии объединения нескольких независимых источников  имеем

.

В дальнейшем для придания общности получаемым результатам о неопределенности выбора будем говорить в основном применительно к математическим моделям источников информации в виде ансамблей.

7.Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля. При её определении используют только вероятности состояний, полностью игнорируя их содержательную сторону. Поэтому энтропия не может служить средством решения любых задач, связанных с неопределенностью. Например, при использовании этой меры для оценки неопределенности действия лекарства, приводящего к полному выздоровлению больных в 90% и улучшению самочувствия в остальных 10% случаев, она получится такой же, как и у лекарства, вызывающего в 90% случаев смерть, а в 10% - ухудшение состояния больных.

8.Энтропия как мера неопределенности согласуется с экспериментальными данными, полученными при изучении психологических реакций человека, в частности реакции выбора. Установлено, что время безошибочной реакции на последовательность беспорядочно чередующихся равновероятных раздражителей (например, загорающихся лампочек) растёт с увеличением их числа так же, как энтропия. Это время характеризует неопределенность выбора одного раздражителя.

Замена равновероятных раздражителей неравновероятными приводит к снижению среднего времени реакции настолько, насколько уменьшается энтропия.