Немного о Детерминированном подходе

0Некоторым подходам в ДП возможно посвятить отдельный курс – как например перцептронам и нейронным сетям,

0другие методы – такие как ФДА и КДА одни относят к ДП другие - к ВП.

0 Действительно механизм построения классификаторов при ФДА и КДА детерминированный и не требует никаких предположений о характере распределения признаков в Х – просто ищутся такие линейные функции которые налучшим образом растаскивают центры классов подальше друг от друга.

0 Но с этим можно согласится только при заданной структуре в Х

– потому что в в процедуре подбора признаков в ДА используется, также как и в РегрАн - F-критерий, преполагающий нормальность распределения в Х, иначе F-критерий построенный на отношениях рассеяния не будет распределен по Фишеру.

0 Детерминированные методы кажутся менее общими, чем вероятностные так как просто фиксируют к какому классу относить объект – ВП дает еще + вероятность такого результата.

0 Тем не менее многие ДП стоят нашего внимания так как обладают той степенью общности, что их основные идеи органично проникли в и ВП.

Центроиды классов. Классификация по мере близости к центроидам классов

Поэтому – ядерные алгоритмы классификации х основанные на определении расстояний х до центров тяжести классов (центроиды классов) и все различные целесообразные меры расстояний стали неотьемлемой частью Дискриминантного анализа с привлечением и элементов вероятностной постановки

Приведем формулы расчета центроидов и различные меры расстояний

Формулы определения центроидов классов:

Центр к-того класса определяется как вектор

где

мы так записали что-бы не формулировать

более громоздко

, ,

Или сокращенно , где - вектор строки Главный центроид выборки Х определяется как покоординатное среднее по всем объектам выборки

Меры расстояния используемые в ДП

Мера расстояния при классификации обычно используется для определения степени близости точки к центроидам классов.

 

1. Мера Хемминга - для бинарных векторов – (0,0,1,0) и (1,0,1,1)

равна числу несовпадающих компонент векторов д – =2

 

2. Линейное расстояние (манхеттенская мера) тоже выражение что и (п.1) но для общего случая

 

2. Эвклидова мера – наше обычное расстояние в постранстве независимых координати равенстве дисперсий рассеяния в классах и по отдельным координатам

3. Обобщенное степенное расстояние Минковского

Из рис видно что

Манхэтенская мера подчеркивает а Минковского (Евклидова) сглаживает различия