Условная энтропия объединения зависимых систем

Если объединяются зависимые системы, то энтропия объединения меньше энтропии составных частей. Обозначим условную вероятность того, что система Y примет состояние y_j при условии, что система x_i находится в состоянии x_i. . Условную энтропию системы Y при условии, что система X находится в состоянии x_i, обозначим . По определению энтропии:

Условная энтропия системы Y зависит от того, какое состояние x_i приняла система X. Всего таких возможных состояний n. Полную (среднюю) энтропию системы Y обозначим . Система Y может принимать разные состояния в зависимости от вероятности р_i состояний x_i системы X. По определению среднего значения: . - характеризует степень неопределенности системы Y, остающуюся после того, как состояние системы X полностью определилось. Это полная условная энтропия системы Y относительно системы X.

При геологическом картировании эффективность геофизических методов оценивается по количеству информации, содержащейся в геофизических данных. Расчет информативности геофизических методов основан на оценке среднего количества информации о системе геологических пород Y, содержащейся в сообщении о состоянии системы геофизических полей X Информация равна разности энтропий до и после получения сообщения о состоянии системы геофизических полей.

Рассмотрим пример расчета информативности геофизических методов при геологическом картировании горных пород. Пусть имеются две системы Y и X объединенные в одну (X,Y). Y – система типов горных пород. X - система интервалов значений геофизического поля. Терригенные отложения системы горных пород сложены глинами y₁, песчаниками, y₂ и известняками y₃. По одной из скважин выполнен каротаж ГК (рис. 2.11.2).

Глины имеют повышенные значения радиоактивности x₁ = 20-30 мкр/час и выше, песчаники средние значения радиоактивности x₂ = 10-20 мкр/час, известняки низкие значения радиоактивности x₃ = 0-10 мкр/час. Вероятности состояния системы (X,Y) при измерении естественной радиоактивности горных пород задаются таблицей 2.11.3:

 

 

 

Рис. 2.11.2. Результаты каротажа ГК тер­ригенных отложений горных пород: y₁ – глины (синий цвет), y₂ - песчаники (зеленый цвет), y₃ -извест­няки (желтый цвет).

 

 

Таблица 2.11.3

Вероятности объединения систем (X,Y) при измерении естественной радиоактивности горных пород

yj \ xi	x11 (0-10)	x12 (10-20)	x13 (20-30)	pj=P(Y~yj)
y1 (глина)		0,04	0,40	0,44
y2 (песчаник)		0,36	0,03	0,39
y3 (известняк)	0,12	0,05		0,17
pi=P(X~xi)	0,12	0,45	0,43	1,0

Вероятности определяются по формулам:

где - вероятность того, что система горных пород Y примет значение y _j;

- вероятность того, что система геофизического поля X примет значение x _i;

- вероятность совместного наблюдения горной породы y _j и геофизического поля x _i;

- геометрическая вероятность того, что случайно брошенная точка оказалась в горной породе y _j;

- геометрическая вероятность того, что случайно брошенная точка оказалась в геофизическом поле x _i;

- геометрическая вероятность того, что случайно брошенная точка оказалась одновременно в горной породе y _j и геофизическом поле x _i;

- полная длина профиля наблюдений.

В таблице (2.11.3) приведены значения .Однако в выражение для подсчета полной энтропии системы Y относительно системы X входят условные вероятности . По теореме умножения вероятностей , откуда следует, что условные вероятности можно найти, поделив каждое значение из таблицы 2.11.3 на . В результате получим таблицу условных вероятностей в виде (табл. 2.11.4):

Таблица 2.11.4.

Условные вероятности объединения систем (X,Y) при измерении естественной радиоактивности горных пород

 

yj \ xi	x11 (0-10)	x12 (10-20)	x13 (20-30)	pj=P(Y~yj)
y1 (глина)		0,09	0,40	0,93
y2 (песчаник)		0,8	0,03	0,07
y3 (известняк)		0,11		0,17

Теперь можно подсчитать полную энтропию системы горных пород Y после выполнения всех измерений естественной радиоактивности геофизического поля X. После вычислений = 0,5716 bit. Заметим, что до получения информации о радиоактивности горных пород априорная энтропия системы горных пород была равна

Энтропия и информация

При выполнении геофизических измерений наблюдаем систему X, связанную с системой исследуемых горных пород Y. Любые сведения (информация) о геофизических полях X, измеренных над горными породами Y, уменьшают неопределенность исследуемой системы горных пород Y. Какую информацию о системе Y дают геофизические наблюдения X? Определим эту информацию, как уменьшение энтропии системы горных пород Y в результате получения сведений о X. , где - остаточная, апостериорная энтропия, доставляемая сведениями о состоянии системы геофизических данных X. Это полная (средняя) информация о системе горных пород Y, содержащейся в системе X.

Если до получения информации (априори) энтропия системы X была , а после получения сведений путем измерения геофизических полей, состояние системы X полностью определилось, т. е. энтропия стала равной нулю, то количество информации J_X, доставленной геофизическими измерениями, равно энтропии этой системы: . Таким образом, количество информации, приобретаемое при полном выяснении состояния системы X равно энтропии этой системы:

Естественно каждое слагаемое рассматривать, как частную информацию отдельного сообщения о том, что система X находится в состоянии x_i. Тогда будет полной (средней) информацией, получаемой от всех возможных сообщений о системе X с учетом их вероятностей. Если все возможные состояния системы X априори равновероятны р1. р₂. …р_i =1/n, то частная информация от отдельного сообщения: равна полной (средней) информации о системе X: .

Измеряя информацию в двоичных единицах, мы характеризуем ее числом ответов «да» или «нет». Действительно, чтобы выяснить состояние системы «монета» (1.9.2) надо задать один вопрос: находится ли система в состоянии x₁? Ответ «да» или «нет» доставляет информацию, которая достигает своего максимального значения равного единице, когда оба состояния априори равновероятны р₁ = р₂ = 0,5. т. е. максимальная информация даваемая ответом «да» или «нет» равна одной двоичной единице. Если информация равна n bit, то она равносильна информации даваемой ответами n ответами «да, нет» поставленных так, что «да» или «нет» одинаково вероятны.

В предыдущем примере относительная информация, доставляемая гамма-каротажем равна 0,5716/1,42 @ 60 %. Сравнивая относительные информации отдельных геофизических методов между собой, находят наиболее информативный геофизический метод для решения вопросов геологического картирования горных пород.

На седьмом этапе формирования рационального комплекса геофизиче­ских методов (рис. 2.3.1) дается оценка экономической эффективности геофизи­ческих методов для решения поставленной геологической задачи.