Роль спектральной теоремы в решении задачи компонентного анализа

 

Но оказывается задачу КА

поиска наибольших дисперсий по взаимно ортогональным направлениям возможно решить в терминах собственных значений и собственных векторов матрицы ковариаций . Вернее более правильно так ------

– известно (из лин алг ебры) что для любой положительно определенной матрицы существует преобразование ее в диагональную матрицу : (**) причем ее диагональные элементы есть - собственные числа матрицы , а - матрица ее собственных ее векторов

Выражение (**) называют спектральной теоремой или спектральным разложением матрицы

Если в качестве мы возьмем матрицу ковариаций , то -будут одновременно и СбствЧ и наилучшие дисперсии на осях пространства пространства (на рис 5) из переменных , где - строки матрицы собств. векторов , а в силу того что они налучшие дисперсии, удовлетворяют

Тогда можно применить известный для нас механизм нахождения СЧ и СВ

(вставка о сб.ч. и сб.в.)

1. решаем – это условие нахождения собственных чисел и находим (это одновременно наши наилучшие дисперсии)

2. затем в условие для собственного вектора (*)

подставляем получая (**)

Решая последовательно (**) для каждого находим все вектора которые есть и направляющие линий проекции

Однако приведенные чисто алгебраические методы поиска и тоже не очень технологичны – например при 10-м порядке матрицы для получения надо решать уравнение десятой степени и находить 10 его корней и тд.

Поэтому для нахожднния и применяют другой приближенный, но достаточно изящный подход

Посмотрите на рис 3 У данного элипса рассеяния недиагональная матрици ковариаций

Если мы найдем целесообразный метод вращения координат то в результате найдутся новые положения осей как на рис 5 что в них элипс будет стоять уже как на рис 2 а значит в преобразованных координатах будем иметь диагональную ков. матрицу , где по диагонали стоят искомые дисперсии (собств. числа ) а итоговая матрицапреобразования в будет искомой матрицей собственных векторов и одновременно направляющими линий проекции . Для вращения применяется метод Якоби.

Напомним что рассмотренный выше этап МГК где находятся эти новых компоненты называется компонентным анализом -КА

2. Этап МГК – выделение главных компонент

Построение главных компонент … реализуется так, что полученные и соответственно были упорядочены на диагонали по величине, поэтому нам интересны именно первые несколько - наиболее концентрировавшие в себе дисперсию данных.

Именно они называются главными компонентами и именно их число используют в дальнейшем для анализа.

Число главных компонент q

Наиболее распространенных критерия выбора числа ГК – 2.

1.Критерий Кайзера (Kaiser, 1960) Основан на учете того, что процедуры преобразования проводятся не с ковариционной а с корелляционной матрицей – где по диагонили (дисперсии) стоят 1.

 

Таким образом в преобразованной матрице , где на диагонали тоже будут стоять дисперсии – их величина отражает относительное перераспределение

дисперсий - от ряда дисперсий 1 1 1 1 1 1 к кряду допустим 4 1 0.5 0.2 0.1 0.1

По данному критерию считается достаточным выбрать число компонент с величиной . Здесь это 2 компоненты.

2. Другой распространенный критерий – критерий Кэттеля (Cattell,1966) или критерий каменистой оссыпи. Строят зависимость:

по оси у- величина по оси х – номер компон. .

Количество компонент выбирается на том месте оси номеров компонент где излом графика наиболее резко переходит к основной затихающей тенднции: