Единицы измерения энтропии и информации

 

Итак, исторически первые шаги к введению понятия энтропии были сделаны еще в 1928 г. американским инженером-связистом Р.Хартли, предложившим характеризовать степень неопределенности опыта с k различными исходами числом log k. Замерунеопределенностиопыта, имеющего k равновероятныхисходов, приняли число . В конкретных применениях «меры степени неопределенности» обычно используются логарифмы при основании два. Это означает, что за единицу измерения степени неопределенности здесь принимается неопределенность, содержащаяся в событии, имеющем два равновероятных исхода (например, в событии, состоящем в подбрасывании идеальной монеты). Такая единица измерения неопределенности называется двоичной единицей или битом (bit образовано из двух начальных и последней букв английского выражения binary unit, что значит двоичная единица). Таким образом, запись (где не указано основание логарифма) будет обычно означать .

Кроме того, используется дит – это энтропия системы с десятью равновероятными состояниями, вычисленная с помощью логарифма с основанием десять. Иногда бурт физическую систему с е состояниями, тогда натуральную единицу количества информации называют нитом, при этом основание логарифма в формуле Шеннона равно е.

Взаимосвязь между единицами количества информации:

.

С точки зрения теории кодирования существует объяснение, почему используется двоичная система (основание логарифма).

 

Число букв в алфавите	Число разрядов в кодовом слове	Мощность
…	…	…
…	…	…

Как видим, оптимальное количество букв в алфавите находится между 3 и 4. То есть, лучшей была бы троичная система, но ее труднее реализовать.

Двоичная система, так же как и четверичная – почти оптимальные. Но легче реализовать двоичную систему.

 

1.4. Свойства функции энтропии

Свойство 1. Энтропия не может принимать отрицательных значений.

Доказательство

Так как всегда , то не может быть положительным, а – отрицательным.

Свойство 2. Функция при очень малом изменении вероятностей ,…, изменится очень мало.

h (p) 1,0   0,8   0,6   0,4   0,2

0 0,2 0,4 0,6 0,8 1 р

Рис. 1. График функции .

Комментарий. На рис. 1 изображен график функции , показывающий, как меняется энтропия при изменении р от0 до 1.

Для того чтобы представить себе характер зависимости функции от отдельных вероятностей , рассмотрим более внимательно график функции (см. рис. 2). Из этого графика видно, что при величина растет чрезвычайно быстро; поэтому в этой области сравнительно небольшому уменьшению вероятности или k) отвечает очень значительное уменьшение соответствующего слагаемого в выражении функции . Это приводит к тому, что обычно слагаемые , отвечающие очень малым значениям вероятности , вносят много меньший вклад в выражение , чем прочие члены, так что при вычислении энтропии сравнительно маловероятные исходы часто можно без большой ошибки просто опустить. Наоборот, в области между и , где функция принимает наибольшие значения, она меняется сравнительно плавно; поэтому в этой области даже довольно значительное изменение вероятностей сравнительно мало отражается на величине энтропии.

Свойство 3. Энтропия равна нулю:

,

если вероятность одного из исходов опыта равна 1, а остальные равны нулю. Т.е. энтропия равна нулю, если возможен только один исход опыта (с вероятностью равной единице).

Доказательство

Очевидно, . Для остальных вероятностей рассмотрим предел

,

т.е. , что в сумме для п вероятностей даст нуль.

Свойство 4. Всякое изменение вероятностей в сторону их выравнивания увеличивает энтропию .

,

Рис. 3. Иллюстрирует сближение (выравнивание) вероятностей и.

Доказательство

Энтропия исходных вероятностей равна .

Пусть > , тогда . После выравнивания и получим, + +…+ .

Нам нужно доказать, что . Рассмотрим

,

где и

. Тогда , так как , что и требовалось доказать.

Свойство 5. Энтропия максимальна, когда все исходы опыта равновероятны.

Доказательство

На существует ограничение .

Найдем локальный экстремум. Для этого рассмотрим функционал

, где коэффициент по Лагранжу, а – из условия ограничения.

Берем первые частные производные по :

Поскольку правые части всех выражений одинаковые, можно сделать вывод о равновероятных состояниях исходов опыта, то есть:

.

Тогда .

Получили выражение для максимальной энтропии, соответствующее формуле Хартли.

 

Иными словами, среди всех опытов, имеющих k исходов, наиболее неопределенным является опыт с распределением вероятностей:

 

Исходы опыта	А 1	А 2	А 3	…	Аk
Вероятности				…

И функция растет с увеличением числа k (см. аксиому 3). Причем,

. (1.5)

Для одного же исхода опыта . Например это может касаться k букв алфавита при равновероятном их использовании. Энтропия появления одной буквы будет равна , а трех последовательно .

Свойство 6. Функция удовлетворяет соотношению

.

Это соотношение означает, что неопределенность опыта с распределением вероятностей

 

Исходы опыта	B	A 3	…	Ak
Вероятности		p 3	…	pk

получаемого отождествлением двух первых исходов опыта , меньше неопределенности этого последнего опыта на умноженную на меру неопределенности опыта , состоящего в выяснении того, какой именно из первых двух исходов опыта имел место, если известно, что осуществился один из именно этих двух исходов.

Свойство 7. Математическое ожидание информации есть энтропия (без доказательства)

.

Пример 1. Пусть из многолетних наблюдений за погодой известно, что для определенного пункта вероятность того, что 15 июня будет идти дождь, равна 0,4, а вероятность того, что в указанный день дождя не будет, равна 0,6. пусть далее для этого же пункта вероятность того,что 15 ноябрябудет идти дождь равна 0,65, вероятность того, что 15 ноября будет идти снег, равна 0,15 и вероятность того, что 15 ноября вовсе не будет осадков, равна 0,2. Если из всех характеристик погоды интересоваться лишь вопросом о наличии и о характере осадков, то в какой из двух перечисленных дней погоду в рассматриваемом пункте следует считать более неопределенной?

Решение

Согласно тому, как понимается здесь слово «погода», опыта и , состоящие в выяснении того, какая погода имела место 15 июня и 15 ноября, характеризуются следующими таблицами вероятностей:

опыт :

исходы опыта	дождь	отсутствие осадков
вероятность	0,4	0,6

опыт :

исходы опыта	дождь	снег	отсутствие осадков
вероятность	0,65	0,15	0,2

Поэтому энтропии наших двух опытов равны

бита,

и

бита .

Следовательно, погоду 15 ноября в рассматриваемом пункте следует считать более неопределенной, чем 15 июня.

Полученный результат, разумеется, существенно зависит от того, как понимать слово «погода»; без точного разъяснения того, что под этим понимается, наша задача вообще не имеет смысла. В частности, если интересоваться только тем, будут ли в рассматриваемый день осадки или нет, то исходы «дождь» и «снег» опыта следует объединить. При этом вместо мы будем иметь опыт , энтропия которого равна

.

Поэтому при таком понимании погоды надо считать, что 15 ноября погода является менее неопределенной, чем 15 июня. Если же интересоваться не только осадками, но и, например, температурой воздуха, то решение задачи становится более сложным и требует привлечения дополнительных данных о распределении значений температуры в рассматриваемом пункте 15 июня и 15 ноября.

Соображения, развитые в решении этой задачи, представляют интерес для оценки качества предсказания погоды по тому или иному методу (аналогично обстоит дело и в случае любого другого прогноза). В самом деле, при оценке качества прогноза нельзя учитывать лишь его точность (т. е. процент случаев, в которых прогноз оправдывается); иначе нам пришлось бы высоко оценивать любой прогноз, имеющий большие шансы оказаться правильным. В том числе, например, и предсказание отсутствия снега в Киеве 1 июня, не представляющее, разумеется, никакой ценности. При сравнении качества различных прогнозов следует учитывать не только их точность, но и трудность удачного прогноза, которую можно характеризовать степенью неопределенности соответствующего опыта.

Пример 2. Найти энтропию непрерывной случайной величины, распределенной по показательному закону

.

Решение

Применяя одно из свойств плотности распределения, находим . Таким образом, по формуле (1.4)

[применяя формулу интегрирования по частям, получаем]

бит.

Пример 3. Сравнить неопределенность, приходящуюся на каждую букву источника информации русского языка и характеризующуюся ансамблем, представленным в таблице (знаком «–» обозначен промежуток между словами), с неопределенностью того же источника, но при равновероятном использовании букв.

 

Буква	Вероятность	Буква	Вероят- ность	Буква	Вероят- ность	Буква	Вероят- ность
а	0,064	и	0,064	р	0,041	ш	0,006
б	0,015	й	0,010	с	0,047	щ	0,003
в	0,039	к	0,029	т	0,056	ъ, ь	0,015
г	0,014	л	0,036	у	0,021	ы	0,016
д	0,026	м	0,026	ф	0,002	э	0,003
е, ё	0,074	н	0,056	х	0,009	ю	0,007
ж	0,008	о	0,096	ц	0,004	я	0,19
з	0,015	п	0,024	ч	0,013	–	0,142

 

Решение

При одинаковых вероятностях появления всех 32 (считая промежутки между словами и буквы е,ё и ъ,ь за одну букву) букв алфавита неопределенность, приходящаяся на одну букву, равна (см. формулу (1.5)):

бит.

Энтропия источника, характеризующегося вышеуказанной таблицей, находится по формуле (1.3):

бит.

Таким образом, неравномерность распределения вероятностей использования букв снижает энтропию источника с 5 до 4,42 бит.

Пример 4. Определить энтропию сообщения, состоящего из 5 букв, если общее число букв в алфавите равно 32 и все пятибуквенные сообщения равновероятны.

Решение

Общее число пятибуквенных сообщений .

Используя (1.5), получаем:

бит.

Пример 5. Заданы ансамбли U и V двух дискретных случайных величин :

	0,5	0,7	0,9	0,3
	0,25	0,25	0,25	0,25			0,25	0,25	0,25	0,25

Сравните их энтропии.

Решение

Поскольку энтропия не зависит от конкретных значений случайной величины, а вероятности их появления у одинаковы, то

бит.