Самоорганизованные сети Кохонена

Идея сетей с самоорганизацией на основании конкуренции между нейронами базируется на применении специальных алгоритмов самообучения (ИНС).

Сети Кохонена обычно содержат один выходной слой обработки элементов с пороговой передаточной функцией. Число нейронов в выходном слое соответствует комплексному распознаванию классов.

Настройка параметров межнейронных соединений проводится автоматически на основе меры близости векторов - весовых коэффициентов настраиваемых связей к вектору входного сигнала в евклидовом пространстве. В конкурентной борьбе побеждает нейрон со значениями весов наиболее близком к нормализованным векторов входных сигналов. Кроме того в самоорганизованных сетях возможна классификация входных образцов.

 

Построение нейронной сети

При построении модели ИНС сначала необходимо точно определить задачи, которые будут решаться с ее помощью. В настоящем времени ИНС используется при прогнозировании, распознавании и обобщении.

Первым этапом построения нейросетевых моделей является отбор входных данных, влияющий на ожидаемый результат. Из исходной информации необходимо исключить все сведения не относящиеся к исследуемой проблеме, в то же время стоит располагать достаточным количеством примеров для обучения ИНС.

Существуют эмпирические правила, которые устанавливают рекомендуемое соотношение Х между получаемыми обучающими примерами, содержащими входные данные и правила ответов и число соединений нейронной сети (Х<10). Для факторов, которые включаются в обучение необходимо предварительно оценить их значения, для этого используют корреляционный и регрессионный анализ и анализируют диапазон возможных значений.

На втором этапе осуществляется преобразование исходных данных с учетом характера и типа проблемы, отображаемой нейросетевой моделью и выбирается способ представления информации.

Эффективность нейросетевой модели повышается, если диапазон изменения входных и выходных величин приведет к некоторому стандартному:

[0;1]

[-1;1]

Третий этап заключается в построении ИНС. Проект его архитектуры – число слоев нейронов. Структура ИНС формируется до начала обучения, поэтому условия решения проблемы определяются конкретным опытом и использованием специалиста – аналитика, который проводит исследования.

Четвертый этап связан с обучением сети, которое может проводиться на основе конструктивного или деструктивного подхода. В соответствии с первым подходом обучение ИНС начинается на сети небольшого размера, т.е. с каждым шагом постоянно увеличивается размер до требуемой точности. По результатам тестирования. Это называется конструктивным подходом.

Деструктивный подход основан на проектировании деревьев. Выбирается сеть с заведомо избыточным объемом и с каждым шагом постепенно удаляются нижние нейроны и прекращаются связи. Этот подход позволяет исследовать возможность влияния удаленных элементов на связи в сети.

Процесс обучения нейронной сети представляет собой уточнение значений весов коэффициентов  для отдельных узлов по средством постепенного увеличения объема входной и выходной информации.

Началу обучения должна предшествовать процедура выбора функции активации нейронов, которые учитывают характер решаемой задачи.

На пятом этапе проводится тестирование полученной модели на независимой выборке примеров.

 

Обучение нейронных сетей

Важнейшим свойством нейронных сетей является их способность к обучению. Это делает нейросетевые модели незаменимыми при решении тех задач, для которых алгоритмизация является невозможной, проблематичной или слишком сложной.

Обучение нейронных сетей заключается в изменении внутренних параметров модели таким образом, чтобы на выходе искусственной нейронной сети генерировался вектор значений, совпадающий с результатами примеров обучающей выборки. Изменение параметров нейросетевой модели может выполняться различными способами в соответствии с разными алгоритмами обучения.

Парадигма (от гр. пример, образец) – это исходная концептуальная схема модели, то есть модель постановки проблем и их решений, методов исследования, господствующих в течении определенного исторического периода в научном сообществе.

Парадигма обучения определяется доступностью необходимой информации. Выделяют три парадигмы:

1) обучение с учителем (контролируемое обучение);

2) обучение без учителя (неконтролируемое обучение);

3) смешанное обучение.

При обучении с учителем задаются примеры обучающей выборки, которая содержит правильные ответы, соответствующие исходным данным (входам). В процессе контролируемого обучения синаптические веса настраиваются так, чтобы сеть порождала ответы, наиболее близкие правильным.

Обучение без учителя используют тогда, когда не для всех примеров обучающей выборки известны правильные ответы. В таком случае предпринимаются попытки определения внутренней структуры поступающих в сеть данных с целью распределить образцы по категориям.

Обучение по примерам характеризуется тремя свойствами:

1) емкость;

2) сложность образцов;

3) вычислительная сложность.

Емкость соответствует количеству образцов, которые может запомнить нейронная сеть. Сложность образцов определяет способность нейронной сети к обучению. При обучении нейронной сети могут возникнуть состояния перетренировки, в которых сеть хорошо функционирует на примерах обучающей выборки, но не справляется с другими новыми примерами.

Правила обучения

 

1) Правило коррекции по ошибке.

Процесс обучения ИНС состоит в коррекции исходных значений весовых коэффициентов межнейронных связей. При вводе входящих данных запоминаемого примера (стимула) появляется реакция, которая передается от одного слоя нейронов к другому, достигая последнего слоя, где вычисляется результат. Разность между известным значением результата и реакцией сети соответствует величине ошибки, которая может использоваться для корректировки весов межнейронных связей. Корректировка заключается в небольшом увеличении синаптического веса (порядка < 1%) тех связей, которые усиливают правильные реакции, и уменьшении тех, которые способствуют ошибочным. Это простейшее правило контролируемого обучения используется в однослойных сетях с одним уровнем настраиваемых связей между множеством входов и множеством выходов. При этом на каждом k-том шаге для j-того нейрона вес i-той связи определяется как:

w_jik = w_ji(k-1) + Δw_jik

Оптимальные значения весов межнейронных соединений можно определить путем минимизации среднеквадратической ошибки с использованием детерминированных или псевдослучайных алгоритмов поиска экстремума в пространстве весовых коэффициентов.

При этом возникает традиционная проблема оптимизации, которая связана с попаданием в локальный минимум.

Правило Хэбба

Правило Хэбба базируется на следующем нейрофизическом наблюдении: если нейроны по обе стороны синапса активизируются одновременно и регулярно, то сила их синаптической связи возрастает. При этом изменение веса каждой межнейронной связи зависит только от активности нейронов, образующих этот синапс. Это существенно упрощает реализацию алгоритмов обучения.