Вопрос 7. Нейросетевые технологии. (Математическая модель нейрона. Персептрон. Классификация нейронных сетей и их свойства.)

 

Под нейронными сетями подразумеваются вычислительные структуры, которые моделируют простые биологические процессы, обычно ассоциируемые с процессами человеческого мозга.

Адаптируемые и обучаемые, они представляют собой распараллеленные системы, способные к обучению путем анализа положительных и отрицательных воздействий. Элементарным преобразователем в данных сетях является искусственный нейрон или просто нейрон, названный так по аналогии с биологическим нейроном.

Перечислим некоторые проблемы, решаемые с помощью искусственных нейронных сетей и представляющие интерес для ученых и инженеров.

Классификация/распознавание образов.

Кластеризация/категоризация.

Аппроксимация функций.

Предсказание/прогноз.

Оптимизация.

Ассоциативная память.

Управление.

 

Формальная (Математическая) модель нейрона

В нейронных сетях знания содержатся в состояниях множества так называемых нейроподобных элементов (или просто нейронов) и связей между ними.

 

Рис.1 Взаимосвязь биологических нейронов

 

Биологический нейрон моделируется как устройство, имеющее несколько входов (дендриты), по которым в нейрон поступают сигналы и один выход (аксон) для передачи выходных сигналов данного нейрона другим нервным клеткам.

В зависимости от конкретной реализации обрабатываемые нейроном сигналы могут быть аналоговыми или цифровыми (1 или 0).

В теле нейрона происходит взвешенное суммирование входных возбуждений, и далее это значение является аргументом активационной функции y нейрона.

Будучи соединенными определенным образом, нейроны образуют нейронную сеть. Работа сети разделяется на обучение и адаптацию.

Таким образом, модель искусственного нейрона представляет собой дискретно-непрерывный преобразователь информации.

Формальная модель нейрона Мак-Каллока-Питтса, которая и сейчас является наиболее применяемым формализмом для описания отдельного нейрона в нейронной сети, показана на рис.2

 

 

Рис. 2. Формальная модель нейрона Мак-Каллока-Питтса. Здесь x_i - сигнал на i -м входе (синапсе) нейрона; w _i, - вес i -го входа (синапса) нейрона; у - выход нейрона; h - порог срабатывания нейрона.

Модель Хопфильда – это математическая модель ассоциативной памяти на нейронной сети с использованием правила Д. Хебба для модификации весовых коэффициентов. Это правило основано на простом предположении: если два нейрона возбуждаются вместе, то сила связи между ними возрастает; если они возбуждаются порознь, то сила связи между ними уменьшается.

Персептрон

Систематическое изучение искусственных нейронных сетей было начато Маккалохом и Питтсом в 1943 году Позднее они исследовали нейросетевые парадигмы для распознавания изображений, подвергаемых сдвигам и поворотам, используя при этом нейронную модель, показанную на рис.4. Элемент ∑ умножает каждый вход х1, на вес w1 и суммирует взвешенные входы. Если эта сумма больше заданного порогового значения, выход равен единице, в противном случае - нулю Эти системы (и множество им подобных) получили название персептронов.

Они состоят из одного слоя искусственных нейронов, соединенных с помощью весовых коэффициентов с множеством входов.

Рис. 4. Персептронный нейрон

Рис. 5. Персептрон со многими выходами

Процедура обучения персептрона:

ШАГ 1. Проинициализировать элементы весовой матрицы небольшими случайными значениями

ШАГ 2. Подать на входы один из входных векторов, которые сеть должна научиться различать, и вычислить ее выход

ШАГ 3. Если выход правильный, перейти на шаг 4. Иначе вычислить разницу между требуемым и полученным значениями выхода:

δ = d - Y

Модифицировать веса в соответствии с формулой

где t и t+1 - номера текущей и следующей итераций, η - коэффициент скорости обучения, 0 < η < 1, i– номер входа, j – номер нейрона в слое.

Очевидно, что если d > Y, то весовые коэффициенты будут увеличены и, тем самым уменьшат ошибку. В противном случае они будут умещены, и У тоже уменьшится, приближаясь к d.

Шаг 4 Цикл с шага 2, пока сеть не перестанет ошибаться.