Энтропия конечной вероятностной схемы

Пусть задана конечная вероятностная схема

A =

1,2,..., а,..., n - исходы (буквы сообщения) вероятностной схемы из множества (алфавита) А= {1,2,...,а,...,п}, р(1),р(2),...,р(а),..., р(п) - вероятности этих сообщений так, что совокупность событий является полной группой

 

Метод количественной оценки меры неопределённости вероятностных схем предложил Клод Шеннон.

Количеством информации (неопределенности) в сообщении а А называется число h(a), определяемое соотношением

h(a)=- log p(a).

Среднее значение

называется энтропией конечной вероятностной схемы или количеством информации.

Термин количество информации Η применяют исходя из предположения, что произошла реализация (некоторый исход) в вероятностной схеме, в результате чего мы получаем информацию об исходе реализации вероятностной схемы, мера неопределенности Η употребляется в связи с измерением неопределённости возможных не реализованных исходов вероятностной схемы.

Из определения энтропии конечной вероятностной схемы следует, что она всегда неотрицательна: Н(р(1),р(2),..., р(n))>0. Важное свойство энтропии конечной вероятностной схемы (р(1),р(2),..., р(n)) заключается в том, что она максимальна и равна log n при р(а)=1/n, а 1,n. Минимального значения энтропия достигает на вероятностной схеме, где имеется сообщение с вероятностью, равной единице.

Рассмотрим две конечных схемы

A =

В =

Схемы А и В могут быть зависимы между собой в том смысле, что для вероятности р(а,Ь) одновременного выполнения событий a, b выполняется неравенство: p(a,b) ≠ p(a)q(b). Рассмотрим объединенную схему С=АВ вида

C = ;

 

Тогда выражение для энтропии объединённой схемы АВ имеет вид

 

Обозначая через p(b/a)=p(ab)/p(a), Ь В условные вероятности сообщений схемы В при условии сообщения а, можно рассматривать ряд условных вероятностных схем вида:

B/a = .

Для каждой из таких схем можно определить энтропию:

 

Среднее значение по ансамблю называется условной энтропией схемы В при условии схемы А и определяется выражением:

Исходя из установленного выше понятия энтропии как меры неопределенности случайного сообщения, введем меру количества информации о сообщении «а», содержащемся в сообщении «Ь», как разность между количеством неопределенности (априорной) в сообщении «а» и количеством неопределенности в сообщении «а» при известном сообщении «Ь».

Количеством информации о сообщении «а», содержащемся в сообщении «Ь», называется величина

i(ab)=h(a)-h(a/b)=log₂p(a/b)/p(a).

Среднее значение по ансамблю называется взаимной информацией между А и В и определяется выражением:

=Н(А)-Н(А/В)=Н(В)-Н(В/А).

 

В стационарной эргодической модели открытые (содержательные) сообщения A_L= a₁а₂... a_L представляются отрезками реализаций стационарной эргодической случайной последовательности. Случайная последовательность называется стационарной, если распределение вероятностей отрезка этой последовательности a_i+1 a_i+2... a_i+k не зависит от i при любом конечном значении к. Если на открытые сообщения не накладывается никаких регламентирующих ограничений, то с большой уверенностью можно считать, что указанное свойство будет для них выполняться. Эргодичность случайной последовательности, представляющей осмысленное сообщение, означает, что для любых двух отрезков текста осмысленного содержания в потоке осмысленных сообщений найдется сообщение, которое содержит в себе оба этих отрезка.

Каждая буква сообщения, при условии что буквы появляются в нем случайно, равновероятно, независимо могла бы нести информацию, равную H_max=log₂ n, где n - число букв в алфавите. В это же время средняя энтропия Η буквы в обычном открытом тексте, как показывают экспериментальные расчеты, значительно меньше, и, следовательно, величина Н_mах - Η характеризует неиспользованные возможности в «сжатии» информации, содержащейся в открытом тексте. Величину

=1

называют избыточностью языка, а величину Н/Н_max - коэффициентом cжатия.

Избыточность языка показывает, какую часть букв открытого текста можно вычеркнуть до наступления нечитаемости сообщения. На основе таких экспериментов и оценивают избыточность D открытых текстов, откуда получают оценку

H = (1-D)H_max =(1-D) n,

где n - мощность алфавита открытых текстов.