Нейроны и архитектура сети в пакете Neural Network Toolbox 


Мы поможем в написании ваших работ!



ЗНАЕТЕ ЛИ ВЫ?

Нейроны и архитектура сети в пакете Neural Network Toolbox



Простой нейрон. Элементарной ячейкой нейронной сети является нейрон. Структура нейрона с единственным скалярным входом показана на рис. 6.19а.

 

Рисунок 6.19- Простой нейрон.

 

Скалярный входной сигнал р умножается на скалярный весовой коэффициент w, и результирующий взвешенный вход w*p является аргументом функции активации нейрона, которая порождает скалярный выход а. Нейрон, показанный на рисунке 6.19б, дополнен скалярным смещением b, суммируется со взвешенным входом w*p и приводит к сдвигу аргумента функции на величину b. Действие смещения можно свести к схеме взвешивания, если представить, что нейрон имеет второй входной сигнал со значением, равным 1.

Вход n функции активации нейрона по-прежнему остается скалярным и равным сумме взвешенного входа и смещения b. Эта сумма является аргументом функции активации.

Выходом функции активации является сигнал а. Константы w и b являются скалярными параметрами нейрона. Основной принцип работы нейронной сети состоит в настройке параметров нейрона таким образом, чтобы работа сети соответствовала некоторому желаемому поведению. Регулируя веса или параметры смещения, можно обучить сеть выполнять конкретную работу; возможно также, что сеть сама будет корректировать свои параметры, чтобы достичь требуемого результата.

Уравнение нейрона со смещением имеет вид:

a = f(w*p + b*1) (6.4)

Как уже отмечалось, смещение b - настраиваемый скалярный параметр нейрона, который не является входом, а константа 1 рассматривается как вход и может быть учтена в виде линейной комбинации векторов входа:

a = [w b] [p 1]` (6.5)

Функции активации (передаточные функции) нейрона могут иметь самый различный вид. Функция активации f, как правило, принадлежит к классу сигмоидальных функций с аргументом n и выходом а. В пакете используются три наиболее распространенные формы функции активации f.

Единичная функция активации с жестким ограничениям hardlim. Эта функция описывается соотношением с жесткими ограничениями а = hardlim(n) = 1(n).

Линейная функция активации purelin. Эта функция описывается соотношением

а = purelin = n.

Логистическая функция активации logsig. Эта функция описывается соотношением

а = logsig(n) = 1/(1 + ехр(-n)). Она принадлежит к классу сигмоидальных функций, и ее аргумент может принимать любое значение в диапазоне от -∞ да +∞, а выход изменяется в диапазоне от 0 до 1.

В ППП Neural Network Toolbox включены и другие функции активации. Используя язык Matlab пользователь может создавать и свои собственные уникальные функции.

Нейрон с векторным входом. Нейрон с одним вектором входа р c R элементами р1, p2,.., рR показан на рисунке 6.20. Здесь каждый элемент входа умножается на весами, w11, w12, …, w1R соответственно и взвешенные значения передаются на сумматор. Их сумма равна скалярному произведению вектора - строки W на вектор входа р. Нейрон имеет смещение b, которое суммируется со взвешенной суммой входов. Результирующая сумма n равна

(6.6)

и служит аргументом функции активации f. В в терминах языка Matlab это выражение записывается так:

. (6.7)

Рисунок 6.20. Архитектура нейрона с векторным входом.

 

 

Структурная схема, приведенная на рис. 6.20, называется слоем сети. Слой характеризуется матрицей весов W, смещением b, операциями умножения W*p, суммирования и функцией активации f. Вектор входов р обычно не включается в характеристики слоя.

Архитектура нейронных сетей. Реальная нейронная сеть может содержать один или большее количество слоев и соответственно характеризоваться как однослойная или как многослойная.

Однослойные сети. Развернутая схема сети из одного слоя с R входными элементами и S нейронами показана на рисунке 6.21. В этой сети каждый элемент вектора входа соединен со всеми входами нейрона и это соединение задается матрицей весов W; при этом каждый i -й нейрон включает суммирующий элемент, который формирует скалярный выход n(i). Совокупность скалярных функций n(i) объединяется в S-элементный вектор входа n функции активации слоя. Выходы слоя нейронов формируют вектор-столбец а, и, таким образом, описание слоя нейронов имеет вид:

. (6.8)

 

 

Рисунок 6.21-. Однослойная сеть.

 

 

Количество входов R в слое может не совпадать с количеством нейронов S. В каждом слое, как правило, используется одна и та же функция активации. Однако можно создавать составные слои нейронов с использованием различных функций активации, соединяя сети, подобные изображенной на рис. 6.27, параллельно. Обе сети будут иметь те же самые входы, и каждая сеть будет генерировать определенную часть выходов. Элементы вектора входа передаются в сеть через матрицу весов W, имеющую вид:

 

(6.9)

Заметим, что индексы строк матрицы W указывают адресатов (пункты назначения) весов нейронов, а индексы столбцов - какой источник является входом для этого веса. Таким образом, элемент матрицы весов w12 = W(l, 2) определяет коэффициент, на который умножается второй элемент входа при передаче его на первый нейрон.

Многослойные сети. Многослойные сети имеют несколько слоев, имеющих

различные назначения. Слой, который образует выход сети, называется слоем выхода. Все другие слои называются скрытыми слоями.

Сети с прямой передачей сигнала. Однослойная сеть с S нейронами с функциями активации logsig, имеющая R входов. Эта сеть, не имеющая обратных связей, называется сетью с прямой передачей сигнала. Такие сети часто имеют один или более скрытых слоев нейронов с сигмоидальными функциями активации, в то время как выходной слой содержит нейроны с линейными функциями активации. Сети с такой архитектурой могут воспроизводить весьма сложные нелинейные зависимости между входом и выходом сети.

Работа сети состоит в вычислении выходов сети на основе известных входов с целью формирования желаемого отображения вход/выход. Конкретная задача определяет число входов и число выходов сети. Кроме числа нейронов в выходном слое сети, для проектировщика важно число нейронов в каждом слое. Большее количество нейронов в скрытых слоях обеспечивает более мощную сеть.

 



Поделиться:


Последнее изменение этой страницы: 2017-02-06; просмотров: 346; Нарушение авторского права страницы; Мы поможем в написании вашей работы!

infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 35.175.246.88 (0.008 с.)