Основные пониятия об искусственных нейронных сетях

 

В последние десятилетия в мире бурно развивается новая прикладная область математики, специализирующаяся на искусственных нейронных сетях. Нейронные сети применимы для решения таких задач, которые являются трудными как для компьютеров, построенных по традиционной схеме, так и для человека. Это автоматизация процессов распознавания образов, адаптивное управление, аппроксимация функционалов, прогнозирование, создание экспертных систем, организация ассоциативной памяти и многие другие приложения. С помощью нейронных сетей можно, например, предсказывать показатели рынка, выполнять распознавание оптических или звуковых сигналов, создавать самообучающиеся системы, способные управлять автомашиной при парковке или синтезировать речь по тексту.

Искусственные нейронные сети основаны на упощенной биологической модели нервной системы человека.

Нервная система человека, построенная из элементов, называемых нейронами, очень сложна - около 10¹¹ нейронов участвуют примерно в 10¹⁵ связях между собой. Уникальной способностью нейрона нервной системы человека является прием, обработка и передача электрохимических сигналов по нервным сетям.

Искусственная нейронная сеть по аналогии с нервной системой человека также составляется из множества простых элементов, действующих параллельно. Функции нейронной сети в значительной степени определяются связями между элементами. В нейронных сетях имеется возможность:

- поэтапного накопления исходных данных;

- быстрого получения результата;

- уточнение результатов по мере получения новых данных (обучение с учителем).

Основу каждой нейронной сети составляют относительно простые, в большинстве случаев – однотипные элементы (ячейки), имитирующие работу нейронов мозга.

Под нейроном будем понимать искусственный нейрон, то есть ячейку нейронной сети. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены или заторможены. Он обладает группой синапсов – однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон – выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Общий вид нейрона приведен на рисунке 6.17. Каждый синапс характеризуется величиной синаптической связи или ее весом w_i, который по физическому смыслу эквивалентен электрической проводимости.

 

Рисунок 6.17- Искусственный нейрон.

 

 

Текущее состояние нейрона определяется как взвешенная сумма его входов:

. (6.1)

Выход нейрона есть функция его состояния:

Y = F(A). (6.2)

Нелинейная функция f называется функцией активации и может иметь различный вид, как показано на рисунке 6.18.

 

Рис. 6.18- Виды активационных функций нейрона:

а) функция единичного скачка;

б) линейный порог (гистерезис);

в) сигмоид – гиперболический тангенс;

г) сигмоид – формула (6.3)

 

Одной из наиболее распространенных является нелинейная функция с насыщением, так называемая логистическая функция, или сигмоид (т.е. функция S-образного вида):

 

. (6.3)

При уменьшении a сигмоид становится более пологим, в пределе при a =0 вырождаясь в горизонтальную линию на уровне 0.5, при увеличении a сигмоид приближается по внешнему виду к функции единичного скачка с порогом T в точке x =0. Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне [0 1]. Следует отметить, что сигмоидная функция обладает свойством усиливать слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон.

Нейронные сети базируются на принципе параллельной обработки сигналов, который достигается путем объединения большого числа нейронов в слои и соединения определенным образом нейронов различных слоев.

Процесс нахождения весов нейрона называется обучением. Обучение нейронной сети может вестись с учителем или без него.

При обучении с учителем сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей.

При обучении без учителя выходы нейронной сети формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы.

Существует множество различных алгоритмов обучения, которые можно разделить на два больших класса: детерминистские и стохастические.

В детерминистском алгоритме подстройка весов представляет собой жесткую последовательность действий.

В стохастическом алгоритме подстройка весов производится на основе действий, подчиняющихся некоторому случайному процессу.

Классифиикация нейронных сетей. По представлению информации нейронные сети могут быть бинарные и аналоговые.

Бинарные нейронные сети оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль ("заторможенное" состояние) и логическая единица ("возбужденное" состояние). К этому классу сетей относится и рассмотренный выше перцептрон, так как выходы его нейронов, формируемые функцией единичного скачка, равны либо 0, либо 1.

В аналоговых сетях выходные значения нейронов способны принимать непрерывные значения.

Еще одна классификация делит нейронные сети на синхронные и асинхронные. В синхронных нейронных сетях в каждый момент времени свое состояние меняет лишь один нейрон. В асинхронных сетях состояние меняется сразу у целой группы нейронов, как правило, у всего слоя. Сети классифицируются также по числу слоев- 1, 2 и т.д.

Алгоритмически ход времени в нейронных сетях задается итерационным выполнением однотипных действий над нейронами.