Энтропия сложных событий. Условная энтропия

 

Мера неопределенности, используемая в решении задач, касающихся работы линий связи, например, должна быть приспособлена, в первую очередь, для оценки степени неопределенности сложных «составных событий», состоящих из целой совокупности следующих друг за другом испытаний.

Пусть и – два независимых опыта с распределениями вероятностей:

опыт

исходы опыта	A 1	A 2	…	Ak
вероятности	p (A 1)	p (A 2)	…	p (Ak)

опыт

исходы опыта	B 1	B 2	…	Bl
вероятности	p (B 1)	p (B 2)	…	p (Bl)

 

Рассмотрим сложный опыт , состоящий в том, что одновременно осуществляются опыта и . Этот опыт может иметь kl исходов:

где, например, означает, что опыт имел исход , а опыт – исход . Элементарно доказывается согласно определению с учетом того, что и независимы и , правило сложения энтропий

. (1.6)

Это правило распространяется и на большее количество независимых величин.

Если задана матрица вероятностей объединения двух исходов опытов и , то

, (1.7)

где – вероятность совместного появления событий .

Если опыты и не независимы, энтропия сложного опыта в общем случае равна

. (1.8)

где –полная условная или просто условная энтропия опыта относительно ансамбля :

и

.

Величину называют частной условной энтропией опыта . – вероятность реализации исхода , опыта при условии, что реализовался исход опыта . Иначе можно записать:

(1.9)

Таким образом, энтропия объединения двух статистически связанных опытов и равняется безусловной энтропии одного опыта плюс условная энтропия другого относительно первого.

Для объединения любого числа зависимых опытов:

(1.10)

Укажем некоторые важнейшие свойства величины .

1. Очевидно, что это есть неотрицательное число. Кроме того,

.

Таким образом, случаи, когда исход опыта полностью определяется исходом и когда опыта и независимы, являются в определенном смысле крайними.

2. Если все вероятности отличны от нуля, т. е. если опыт имеет действительно k исходов, то в том и только в том случае, если , т. е. если при любом исходе опыта результат опыта становится полностью определенным (тривиальным образом это условие выполняется в том случае, если опыт с самого начала не является неопределенным). При этом мы имеем

.

3. Если же опыта и являются независимыми, то

и .

4. Так как сложные опыты и не отличаются одно от другого, то

, т. е. .

Отсюда следует, в частности, что, зная энтропии и опытов и и условную энтропию опыта при условии выполнения , мы можем определить также и условную энтропию опыта при условии выполнения :

. (1.11)

5. Поскольку , то из формулы (3.9) следует, что

;

при эта оценка величины условной энтропии оказывается более точной. Равенство

имеет место при , т. е. если исход опыта полностью определяет исход опыта ; при этом всегда будет .

Пример 1. Определить энтропии , если задана матрица вероятностей исходов опытов :

.

Решение

Вычислим безусловные вероятности исходов каждого опыта как суммы общих вероятностей по строкам и столбцам заданной матрицы: , .

бит.

бит.

Находим условные вероятности (чтобы воспользоваться формулой (1.9)) :

; ;

; .

бит.

По формуле (1.7) получаем:

бит.

По формуле (1.8) можно проверить результаты вычислений:

бит.

Пример 2. Известны энтропии двух зависимых источников: бит, бит. Определить в каких границах будет изменяться условная энтропия при изменении в максимально возможных границах.

Рис. 3.

Решение

При решении удобно использовать графическое представление связи между энтропиями. Из рисунка 3 видим, что максимального значения достигает при отсутствии взаимосвязи, и будет равняться , то есть 10 бит. По мере увеличения взаимосвязи будет уменьшаться до значения бит. При этом .

 

 

ГЛАВА 2. ИНФОРМАЦИЯ

Понятие информации

 

Понятие информации весьма широко и многосторонне, поэтому оно имеет целый ряд определений и синонимов: информация – это обозначение содержания, полученного из внешнего мира, или отрицание энтропии (Винер) или негэнтропия (Бриллюэн); это коммутация, связь (Шеннон); ограничение разнообразия (Эшби); оригинальность, мера сложности (Моль); вероятность выбора (Майлз Мартин) и т. д. К этим «определениям» следует добавить понятие информации как данных, ценных для принятия решений.

Начиная с работ Н. Винера, К. Шеннона, Дж.(Яноша) фон Неймана до настоящего времени каждая попытка дать универсальное определение информации терпит крах из-за неразрешимости основного вопроса: един ли для всех «приемников» информации предлагаемый критерий отбора из всего множества воздействий материального мира тех и только тех воздействий, которые несут информацию для данного «приемника»?

В настоящее время наиболее распространено убеждение, что такого универсального критерия и, следовательно, универсального определения информации не существует. Специфика информации определяется в первую очередь основной целью функционирования системы. С этой точки зрения информацией являются все сведения об объекте, полезные «приемнику» (человеку, коллективу, человеко-машинной системе) для решения задачи (достижения цели). Если данные сведения не нужны, они представляют собой «шум».

Получение информации всегда связано с уменьшением неопределенности. Среднее количество информации, которое содержится в каждом исходе опыта, относительно любого еще не наступившего исхода равняется разности априорной и апостериорной энтропий опыта:

.

Априорной энтропией называется неопределенность, которая высчитывается до наступления исхода опыта. Она равняется .

Апостериорной энтропией называют среднюю неопределенность опыта после наступления всех исходов. Она равна условной энтропии .

Таким образом,

(2.1)

Или согласно определению энтропии и правилу сложения вероятностей

Иначе

(2.2)

Разность (2.1) указывает, насколько осуществление опыта уменьшает неопределенность , т. е. как много нового узнаем мы об исходе опыта , произведя измерение (наблюдение) ; эту разность называют количеством информации относительно опыта , содержащимся в событии , или, информацией о , содержащейся в .

Так как понятие информации, связанное с определенными изменениями в условиях опыта , является, так сказать, «более активным», чем понятие энтропии, то для лучшего уяснения смысла энтропии полезно свести это последнее понятие к первому. Энтропию опыта можно определить как информацию относительно , содержащуюся в самом этом опыте (ибо осуществление самого опыта , разумеется, полностью определяет его исход и, следовательно, ), или как наибольшую информацию относительно , какую только можно иметь («полную информацию» относительно ). Иначе говоря, энтропия опыта равна той информации, которую мы получаем, осуществив этот опыт, т.е. средней информации, содержащейся в одном исходе опыта . Заметим, что в практических задачах нас всегда интересует только это среднее количество информации; представление же о количестве информации, связанном с отдельными исходами опыта, почти никогда не употребляется. Или энтропия равна математическому ожиданию информации. Эти выражения, понятно, имеют тот же смысл, что и «мера неопределенности»: чем больше неопределенность какого-либо опыта, тем большую информацию дает определение его исхода.

Нередко при рассмотрении опытов оказывается, что они имеют непрерывное множество исходов. Во всех таких случаях энтропия оказывается бесконечной; однако вместо нее часто можно рассматривать конечную энтропию , получаемую при объединении исходов , отличающихся не более чем на некоторое малое , в один исход. В практических задачах обычно только энтропия (называемая -энтропией опыта ) и имеет смысл, так как мы вообще не можем различить между собой исходы , отличающиеся меньше чем на некоторую малую величину (определяемую точностью имеющихся в нашем распоряжении измерительных приборов).

Для непрерывных случайных величин

. (2.3)

Разность между величиной максимальной энтропии Н_max и реальной энтропии Н соответствует количеству избыточной (предсказуемой) информации I_n.

Таким образом:

I_n = H_max – H. (2.4)

Кроме того, затрагивая вопросы кодирования нельзя не упомянуть об эффективности и избыточности кодов.

Эффективность кода, т.е. колическтво информации, передаваемое в среднем в единицу времени

, (2.5)

где , если символу алфавита соответствует символ кода . Эффективность измеряется в битах на время.

Избыточность кода вычисляется по формуле

. (2.6)

Если избыточность источника равна нулю, то формируемые им сообщения оптимальны в смыле наибольшего переносимого количества информации.

Пример. Сообщение состоит из последовательности трех букв А, В и С. Вероятности их появления не зависят от предыдущего сочетания букв и равны Р (А) = 0,7, Р (В) = 0,2 и Р (С) = 0,1. Произвести кодирование по методу Шеннона-Фано отдельных букв и двухбуквенных сочетаний. Сравнить коды по их избыточности.

Буква Вероятность Код А 0,7 1   В 0,2 1   С 0,1 0

Решение

Для отдельных букв имеем.

Здесь фигурными скобками показано разбиение на группы.

Буква Вероятность Код АА 0,49 1   АВ 0,14 1   ВА 0,14 0   АС 0,07 1   СА 0,07 0   ВВ 0,04 1   ВС 0,02 1   СВ 0,02 1   СС 0,01 0

Для двухбуквенных сочетаний вначале высчитаем вероятности их появлений.

Максимальная энтропия равна . Для первого случая избыточность кода равна

.

Аналогично для второго .