Смысл энтропийных коэффициентов связи.

Их формальное выражение

 

Поскольку понятие энтропии является как бы обратной стороной понятия информации, то энтропийные коэффициенты в литературе нередко называют информационными. Мы эти два термина будем использовать как синонимы.

Переходя к обсуждению конкретных информационных мер связи, прежде всего отметим, что в качестве такой меры может служить I(X, Y). Как мы уже отметили, это - симметричная (значит, - ненаправленная) мера. Из приведенных выше свойств энтропии следуют следующие свойства названной меры:

I(X, Y) ³ 0,

где равенство достигается тогда и только тогда, когда X и Y статистически независимы и

I(X, X) = H(X).

Широко известны и направленные меры связи:

и

Первый из этих коэффициентов можно интерпретировать как относительное приращение информации об X, возникающее за счет знания Y [Миркин, 1980. С. 103]. Относительность возникает в результате соотнесения такого приращения с первоначальной неопределенностью распределения X. Аналогично интерпретируется и второй коэффициент.

Коэффициенты C называют асимметричными коэффициентами неопределенности, коэффициентами нормированной информации [Елисеева, Рукавишников,1977. С. 91]. Нетрудно проверить справедливость следующих соотношений [Елисеева, Рукавишников,1977; Статистические методы..., 1979]:

0 ≤ C_X/Y ≤ 1;

C_X/Y = 0 если и только если переменные X и Y независимы; C_X/Y =1, если и только если X однозначно определяется значением Y (т.е. если можно говорить о детерминистской зависимости X от Y; о том, что мера разнообразия X определяется мерой разнообразия Y единственным образом, т.е. о полной связи).

Ясно, что аналогичными свойствами обладает и коэффициент C_Y/X.

Соответствующий симметризованный коэффициент нормированной информации вводится следующим образом [Елисеева, Рукавишников,1977. С. 95]:

Часто используется также коэффициент Райского:

Нетрудно проверить, что он обладает свойствами, аналогичными сформулированным выше свойствам коэффициентов C: заключен в интервале от 0 до 1, в 0 обращается тогда и только тогда, когда признаки статистически независимы, а в 1 – тогда и только тогда, когда признаки полностью детерминируют друг друга.

Введенные информационные меры связи во многом похожи на обычный коэффициент корреляции. Но они имеют одно преимущество перед последним: из того, что коэффициент корреляции равен 0, вообще говоря, не следует статистическая независимость рассматриваемы признаков, а из равенства 0 рассмотренных информационных мер связи – следует.

Описание информационных мер связи можно найти в [Миркин, 1980; Статистические методы..., 1979; Елисеева, Рукавишников, 1977].

 

Коэффициенты связи для четырехклеточных таблиц сопряженности. Отношения преобладаний

 

Четырехклеточные таблицы – это частотные таблицы, построенные для двух дихотомических признаков. Встает вопрос – надо ли изучать эти таблицы отдельно? Ведь они представляют собой частный случай всех возможных таблиц сопряженности. Выше мы обсуждали коэффициенты, которые можно использовать для анализа любой частотной таблицы, в том числе и для четырехклеточной. Однако ответ на наш вопрос положителен. Причин тому несколько.

Во-первых, многие известные коэффициенты для четырехклеточных таблиц оказываются равными друг другу. И по крайней мере надо знать об этом, чтобы не осуществлять заведомо ненужные выкладки.

Во-вторых, оказыватся, что именно в анализе четырехклеточных таблиц можно увидеть нечто полезное для социолога, но не высвечивающееся на таблицах большей размерности.

В-третьих, с помощью анализа специальным образом организованных четырехклеточных таблиц оказывается возможным перейти от изучения глобальных связей к изучению локальных и промежуточных между первыми и вторыми (о промежуточных связях мы говорили в п.2.2.1).

Итак, рассмотрим два дихотомических признака – Х и Y, принимающие значения 0 и 1 каждый, и отвечающую им четырехклеточную таблицу сопряженности (табл. 14).

Ниже будем использовать пример, когда рассматриваются два дихотомических признака – пол (1 – мужчина, 0 – женщина) и курение (1 – курит, 0 – не курит) (см. табл. 15).

Таблица 14.