Оценка информативности признаков

Оценка информативности признаков необходима для их отбора при решении задач распознавания. Сама процедура отбора практически не зависит от способа измерения информативности. Важно лишь, чтобы этот способ был одинаков для всех признаков (групп признаков), входящих в исходное их множество и участвующих в процедуре отбора. Поскольку процедуры отбора были рассмотрены в разделе, посвящённом детерминистским методам распознавания, здесь мы на них останавливаться не будем, а обсудим только статистические методы оценки информативности.

При решении задач распознавания решающим критерием является риск потерь и как частный случай – вероятность ошибок распознавания. Для использования этого критерия необходимо для каждого признака (группы признаков) провести обучение и контроль, что является достаточно громоздким процессом, особенно при больших объёмах выборок. Именно это и характерно для статистических методов. Хорошо, если обучение состоит в построении распределений значений признаков для каждого образа . Тогда, если нам удалось построить в исходном признаковом пространстве, распределение по какому-либо признаку (группе признаков) получается как проекция на соответствующую ось (в соответствующее подпространство) исходного признакового пространства (маргинальные распределения). В этом случае повторных обучений проводить не нужно, следует лишь оценить вероятность ошибок распознавания. Это можно осуществить различными способами. Рассмотрим некоторые из них.

Если имеются обучающая и контрольная выборки, то первая из них используется для построения , а вторая – для оценки вероятности ошибок распознавания. Недостатками этого подхода являются громоздкость расчётов, поскольку приходится большое число раз осуществлять распознавание объектов, и необходимость в наличии двух выборок: обучающей и контрольной, к каждой из которых предъявляются жёсткие требования по их объёму. Сформировать на практике выборку большого объёма является, как правило, сложной задачей, а две независимые выборки – тем более.

Можно пойти другим путём, а именно: всю выборку использовать для обучения (построения ), а контрольную выборку генерировать датчиком случайных векторов в соответствии с . Такой подход улучшает точность построения по сравнению с предыдущим вариантом, но обладает другими недостатками. В частности, помимо большого числа актов распознавания требуется сгенерировать соответствующее число требуемых для этого псевдообъектов, что само по себе связано с определёнными затратами вычислительных ресурсов, особенно если распределения имеют сложный вид.

В связи с этим представляют интерес другие меры информативности признаков, вычисляемые с меньшими затратами вычислительных ресурсов, чем оценка вероятности ошибок распознавания. Такие меры могут быть не связаны взаимооднозначно с вероятностями ошибок, но для выбора наиболее информативной подсистемы признаков это не столь существенно, так как в данном случае важно не абсолютное значение риска потерь, а сравнительная ценность различных признаков (групп признаков). Смысл критериев классификационной информативности, как и при детерминистском подходе, состоит в количественной мере "разнесённости" распределений значений признаков различных образов. В частности, в математической статистике используются оценки верхней ошибки классификации Чернова (для двух классов), связанные с ней расстояния Бхатачария, Махаланобиса. Для иллюстрации приведём выражение расстояния Махаланобиса для двух нормальных распределений, отличающихся только векторами средних и :

где – матрица ковариаций,

– транспонирование матрицы,

-1 – обращение матрицы.

В одномерном случае откуда видно, что тем больше, чем удалённее друг от друга и и компактнее распределения (меньше ).

Несколько подробнее рассмотрим информационную меру Кульбака применительно к непрерывной шкале значений признаков.

Определим следующим образом среднюю информацию в пространстве для различения в пользу против :

При этом предполагается, что нет областей, где а , и наоборот.

Аналогично

Назовём расхождением величину

Чем расхождение больше, тем выше классификационная информативность признаков.

Очевидно, что при В других случаях Действительно, если , где в области справедливо , а в – , то причём и .

Легко убедиться, что если признаки (признаковые пространства) и независимы, то

В качестве примера вычислим расхождение двух нормальных одномерных распределений с одинаковыми дисперсиями и различными средними:

Оказывается, что в этом конкретном случае расхождение равно расстоянию Махаланобиса

Промежуточные выкладки предлагается сделать самостоятельно.