Недоліки формального нейрона

Рис.4.1. Функциональная схема формального нейрона Маккалока и Пиитса.

В качестве модели такого логического элемента, получившего в дальнейшем название "формальный нейрон", была предложена схема, приведенная на Рис. 4.1. С современной точки зрения, формальный нейрон представляет собой математическую модель простого процессора, имеющего несколько входов и один выход. Вектор входных сигналов (поступающих через "дендриды") преобразуется нейроном в выходной сигнал (распространяющийся по "аксону") с использованием трех функциональных блоков: локальной памяти, блока суммирования и блока нелинейного преобразования.

Вектор локальной памяти содержит информацию о весовых множителях, с которыми входные сигналы будут интерпретироваться нейроном. Эти переменные веса являются аналогом чувствительности пластических синаптических контактов. Выбором весов достигается та или иная интегральная функция нейрона.

В блоке суммирования происходит накопление общего входного сигнала (обычно обозначаемого символом net), равного взвешенной сумме входов:

В модели Маккалока и Питтса отсутствуют временные задержки входных сигналов, поэтому значение net определяет полное внешненее возбуждение, воспринятое нейроном. Отклик нейрон далее описывается по принципу "все или ничего", т. е. переменная подвергается нелинейному пороговому преобразованию, при котором выход (состояние активации нейрона) Y устанавливается равным единице, если net >Q, и Y=0 в обратном случае. Значение порога Q (часто полагаемое равным нулю) также хранится в локальной памяти.

Фомальные нейроны могут быть объединены в сети путем замыкания выходов одних нейронов на входы других, и по мысли авторов модели, такая кибернетическая система с надлежаще выбранными весами может представлять произвольную логическую функцию. Для теоретического описания получаемых нейронных сетей предлагался математический язык исчисления логических предикатов.

Багатошаровий персептрон

Багатошаровий перцептрон Румельхарта — окремий випадок перцептрона Розенблатта, в якому один алгоритмзворотного поширення помилки навчає всі шари. На жаль, назва з історичних причин не відображає особливості даного виду перцептрона, тобто не пов'язана з тим, що в ньому кілька шарів (тому що кілька шарів було і у перцептрона Розенблатта). Особливістю є наявність більш ніж одного учня шару (як правило — два чи три, для застосування більшої кількості наразі немає обґрунтування — втрачається швидкість без придбання якості). Необхідність у великій кількості шарів-учнів відпадає, оскільки теоретично єдиного прихованого шару достатньо, щоб перекодувати вхідний сигнал таким чином, щоб отримати лінійну карту для вихідного сигналу. Але є припущення, що, використовуючи більше число шарів, можна зменшити число елементів у них, тобто сумарне число елементів у шарах буде менше, ніж при використанні одного прихованого шару.

– сума зважених входів

OUTjl – вихідний сигнал j-нейрону в l-шарі, знаходиться як функція активації

де n – кількість нейронів у попередньому шарі

– для наступних шарів

Всі входи нейрона = к-сті нейронів у попередньому шарі

Всі входи можна представити у вигляді вектора ( – вектор стовпець, – матриця ваг всіх нейронів у шарі L, – вектор-стовпець входів j-нейрона в шарі L)

Матмодель багатошарового персептрона має вигляд:

1-й шар

2-й шар

L – шар