Свойства условной информации

1. Условная информация всегда неотрицательна, кроме того,

.

2. Условная информация симметрична:

.

3. Из формулы легко получается важное соотношение

, (2.10)

близкое по форме к равенству .

4. Формула тройной информации:

. (2.11)

5. Если , то из формулы тройной информации следует

.

Здесь опыты и не содержат никакой информации об , а опыт содержит об «полную» информацию, т. е. наибольшую информацию, какую только об можно иметь.

 

Пример 1. Определить среднее количество информации, получаемой при 2-х испытаниях, априорные и апостериорные вероятности исходов которых описаны матрицей

.

Решение

Безусловные вероятности исходов каждого опыта, найдены в примере пункта 1.5. Там же получены значения для априорной и апостериорной энтропии. Следовательно

бит.

Пример 2. Некто задумал два различных числа, не превосходящих 100. Сколько надо задать ему вопросов для того, чтобы определить эти числа, если на каждый вопрос спрашиваемый отвечает лишь «да» или «нет»?

Решение

В этом случае опыт , исход которого нам требуется определить, может иметь различных исходов. Если, как всегда, считать все эти исходы равновероятными, то энтропия опыта (т. е. информация, которую мы получим, определив исход ) будет равна . А так как информация, которую может дать ответ на один вопрос, не превосходит одного бита (ибо опыт , состоящий в постановке одного вопроса, может иметь два исхода: «да» и «нет»), то наименьшее число вопросов, с помощью которых всегда можно определить исход , никак не может быть меньше чем . Таким образом, если мы зададим меньше тринадцати вопросов, то возможно оба загаданных числа нам определить не удастся.

Нетрудно видеть также, что 13 удачно поставленных вопросов всегда позволяют найти загаданные числа. Для того чтобы достичь этого, надо добиваться, чтобы информация относительно исхода опыта , содержащаяся в исходе опыта – ответе на один вопрос (точнее – на каждый из задаваемых вопросов), была как можно ближе к одному биту. Отсюда ясно, что вопросы надо ставить так, чтобы оба ответа «да» и «нет» имели возможно более близкие вероятности. А для этого достаточно разбить сначала 4950 исходов на две возможно более близкие по численности части (так, чтобы каждая часть содержала 2475 исходов) и выяснить, к какой из этих частей относится тот исход , который имеет место (т. е. прежде всего следует спросить, принадлежат ли или не принадлежат загаданные два числа к первой группе, содержащей 2475 пар чисел). Вслед за этим надо точно так же разбить на две по возможности близкие по численности части ту группу исходов , к которой оказался принадлежащим интересующий нас исход, и выяснить, к какой из этих двух меньших частей он относится, и т. д. Ясно, что при этом мы всегда определим загаданную пару чисел с помощью не более чем тринадцати вопросов.

Пример 3. Опыт состоит в определении положения некоторой точки М, относительно которой заранее известно только, что она расположена на отрезке АВ длины L (рис. 4). Опыт состоит в измерении длины отрезка AM с помощью некоторого измерительного прибора, дающего нам значение длины с точностью до определенной «ошибки измерения» (например, с помощью линейки, на которой нанесена шкала с делениями длины ). Чему равна информация , содержащаяся в результате измерения, относительно истинного положения точки М?

Решение

Здесь мы не можем здесь приписать опыту никакой конечной энтропии (точка М может совпасть с любой точкой отрезка АВ). Тем не менее информация (являющаяся разностью двух энтропии и ) в рассматриваемом случае имеет вполне определенное конечное значение.

Предположим, что длины L и соизмеримы между собой и разобьем весь отрезок АВ на маленькие отрезки длины , выбранной так, чтобы и на всем отрезке АВ и на отрезке длины уложилось целое число таких малых отрезков (т.е. чтобы отношения и оба выражались целыми числами). Поставим задачу об определении положения точки М с точностью до величины . Так как заранее нам было известно только, что точка М располагается где-то на отрезке АВ, то мы можем считать, что опыт , состоящий в определении ее положения с точностью до , имеет , равновероятных исходов, так что его энтропия равна .

После того как мы произвели опыт , т.е. измерили длину AM с помощью нашего измерительного прибора, мы выяснили, что на самом деле точка М помещается внутри меньшего интервала длины (определяющего точность измерения). Поэтому при известном исходе опыт будет иметь уже всего равновероятных исходов, так что . Следовательно,

.

При неограниченном уменьшении (т.е. при определении положения нашей точки со все большей и большей точностью) обе энтропии и будут неограниченно возрастать; однако информация при этом вовсе не меняется, оставаясь все время равной . Информацию (которую мы можем определить, например, как предел при ), надо считать также равной – это и есть информация относительно истинного положения М, содержащаяся в результате измерения с точностью . При неограниченном увеличении точности прибора (т.е. неограниченном уменьшении ) эта информация неограниченно возрастает. Однако возрастание это сравнительно медленное: при увеличении точности в n раз мы получаем дополнительно лишь единиц информации (например,

А.

. В

. М

ε

D

ε

L

Рис. 4

при увеличении точности в 2 раза мы выгадываем 1 бит информации, а при увеличении точности в 1000 раз – меньше 10 бит информации).

В наших рассуждениях мы предполагали, что длины L и являются соизмеримыми. Ясно, однако, что это предположение не является существенным; если выбрать достаточно малым, то предположение о том, что на отрезках АВ и укладывается целое число малых отрезков длины , всегда будет выполняться с большой степенью точности, так что полученный нами результат не может измениться и в случае несоизмеримых L и .