Общая характеристика нейросетевого подхода. Биологический нейрон и формальный нейрон. Архитектуры искусственных нейронных сетей. Обучение искусственной нейронной сети.

 

Нейронные сети- вычислительные структуры, которые моделируют простые биологические процессы, обычно ассоциируемые с процессами человеческого мозга. Они могут обучаться путем анализа «+» и «-» воздействий.

Биологический нейрон- биологическая клетка, обрабатывающая информацию. Состоит из тела и дендритов, по которым принимаются импульсы и аксона, по которому нейрон может передавать импульс. Тело включает ядро (содержит инфо о наследственных свойствах а плазму, кот обладает молекулярными средствами для производства необходимых нейрону материалов. Нейрон получает сигналы от аксонов других нейронов через дендриты и передает сигналы, сгенерированные телом клетки вдоль аксона, который в конце разветвляется на волокна. На окончаниях волокон находятся синапсы, которые влияют на величину импульсов. Синапс- функциональный узел между двумя нейронами. Результативность передачи импульса синапсом может настраиваться проходящими через него сигналами так, что синапсы могут обучаться в зависимости от активности процессов, в которых они участвуют.

Искусственный нейрон- состоит из элементов 3х типов: умножителей (синапсов), сумматора и нелинейного преобразователя. Синапсы осуществляют связь между нейронами, умножают входной сигнал на число, характеризующее силу связи (вес синапса). Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов и внешних входных сигналов. Нелинейный преобразователь реализует нелинейную функцию одного аргумента- выхода сумматора (передаточная функция нейрона). Искусственный нейрон называют нейроподобным элементом.

Нейронная сеть представляет собой совокупность нейроподобных элементов, определенным образом связанных друг с другом и внешней средой с помощью связей, определяемых весовыми коэффициентами. В зависимости от функций, выполняемой нейронами, выделяют 3 типа нейронов:

• Входные нейроны- в них не осуществляются вычилительные процедуры, информация передается с входа на выход путем изменения активации

• Выходные нейроны- их выходные значения – выходы нейронной сети

• Промежуточные нейроны- составляют основу сети

Выделяют 3 типа сетей (с точки зрения топологии):

• Полносвязные- каждый нейрон передает выходной сигнал остальным, в т.ч. и себе. Все входные сигналы подаются всем нейронам. Выходными сигналами могут быть все или некоторые выходные сигналы после нескольких тактов функционирования сети.

• Многослойные- здесь нейроны объединяются в слои. Слой содержит совокупность нейронов с едиными входными сигналами (число нейронов в слое м.б. любым). Внешние входные сигналы подаются на входы нейронов входного слоя, выходы- сигналы последнего слоя. Кроме входного и выходного есть еще скрытые слои.

Многослойные сети бывают:

 Монотонные(каждый слой кроме последнего делится на возбуждающий и тормозящий. Связи между блоками тоже возб и торм)

 Сети без обратных связей- нейроны входного слоя получают входные сигналы, преобразуют их и передают нейронам первого скрытого слоя, и т.д. до выходного слоя (эти сети м.б. полносвязанные и частично полносвязынне)

 Сети с обратными связями- информация с последующих слоев передается на предыдущие. Эти сети бывают: слоисто-циклические (слои замкнуты в кольцо, последний слой передает сигналы первому); слоисто-полносвязные (каждый слой- полносвязная сеть, сигналы передаются от слоя к слою и внутри слоя); полносвязно-слоистые (структура как у слоисто-полносвязных, функционирование: на каждом такте нейроны всех слоев принимают сигналы от нейроно своего и последующего слоев)

Слабосвязные- нейроны располагаются в узлах решеток. Каждый связан со своими ближайшими соседями.

С точки зрения структур нейронов выделяют гомогенные и гетерогенные сети.

Также сети могут быть бинарными (оперируют только двоичными сигналами) и аналоговые.

Еще сети могут быть синхронными (в каждый моент времени лишь 1 нейрон меняет свое состояние) и асинхронные (состояние меняется сразу у слоя).

 

4 основные правила обучения сетей в соответствии с архитектурой сети:

1) Коррекция ошибки- для каждого входного примера задан требуемый выход d, который может не совпадать с реальным y. Правило обучения состоит в (d-y) для изменения весов, с целью уменьшения ошибки рассогласования. Обучение производится только в случае ошибочного результата.

2) Правило Больцмана- настройка весовых коэффициентов нейронов в соответствии с требуемым распределением вероятностей. Такое обучение- частный случай коррекции ошибки, где ошибка- расхождение корреляций состояний в двух режимах

3) Правило Хебба- если нейроны с обеих сторон синапса возбуждаются одновременно и регулярно, то сила синаптической связи возрастает. Изменение синаптического веса зависит только от активности связанных с этим синапсом нейронов

4) Метод соревнования- выходные нейроны соревнуются между собой. Выходной нейрон с максимальным значением взвешенной суммы является «победителем» и забирает все. Выходы остальных выходных нейронов неактивны. При обучении модифицируются только веса нейрона-победителя в сторону увеличения близости к данному входному примеру. Позволяет группировать входные данные на категории (кластеры) и представлять их отдельными входными нейронами.

Нейронная сеть считается устойчивой, если после конечного числа интеграций обучения ни один из примеров обучающей выборки не изменяет своей принадлежности в кластерах. Сеть не перестанет обучаться, если параметр скорости обучения не равен нулю (вызывает проблему пластичности).

 

 

6. Моделирование распознавания образов с помощью искусственных нейронных сетей и другие примеры практического использования нейронных сетей.

 

Моделирование распознавания образов:

1) -Маккалох и Питтс в 1943 году стали систематически изучать искусственные нейросети.

-Для распознавания изображений, подвергаемых сдвигам и поворотам, стали использовать персептрон

 

Устройство персептрона: элемент ∑ умножает каждый вход xi на вес wi и суммирует взвешенные входы. Если эта сумма больше заданного порогового значения, выход равен единице, в противном случае- нулю. П. состоят из одного слоя искусственных нейронов, соединенных с помощью весовых коэффициентов с множеством входов (могут быть и более сложными).

-Дальнейшее исследования П показали, что они не могут обучаться решению ряда простых задач

2) Когнитрон.

-К. Фукушима в 1975 году разработал когнитрон- гипотетическую модель биологической системы восприятия распознавания, инвариантную к поворотам, перемещениям, изменениям масштабов образов.

-К. организован подобно зрительной коре мозга человека, состоящей из нескольких слоев нейронов. Несмотря на то, что слои организованы однотипно, каждый из них, подобно отдельным слоям зрительной коры, реализует различные уровни обобщения (входной слой распознает простые образы, последующие слои- все более сложное обобщение).

 

-Нейрон из последующего слоя связан с ограниченным набором нейронов предыдущего (что позволяет каждому нейрону выходного слоя реагировать на все входное поле при наличии ограниченного числа нейронов)

-При незначительном фиксированном размере области связи нейронов требуется большое число промежуточных слоев для перекрытия входного поля выходными нейронами.

-Каждый слой когнитрона содержит 2 типа нейронов: возбуждающие и тормозящие.

-Возб нейроны одного слоя стремятся вызвать активизацию соединенного с ними нейрона следующего слоя

-Тормозящие нейроны нейтрализуют это возбуждение

-Каждый возб нейрон последующего слоя связан с ограниченным числом возбуждающих нейронов предыдущего слоя. Аналогично, в предыдущем слое существуют тормозящие нейроны, соответствующие тем же областям связи.

 

3) Неокогнитрон

Некогнитрон- многоуровневая иерархическая нейросеть, организация и принципы работы которой аналогичны зрительной коре. Н. находит применение не только в обработке визуальных данных, но и в качестве обобщенной системы распознавания образов

-Входной образ подается на 1й слой и передается далее до достижения выходного слоя, в котором он распознается.

-Входной слой распознает линии и углы опред ориентации.

-Каждый слой состоит из двух плоскостей, разделенных на двумерные массы нейронов. Первая плоскость, содержащая простые нейроны, получает сигналы с выходов сложных нейронов предыдущего слоя, выделяет опред образы и затем передает их во 2ю плоскость данного слоя, содержащую сложные нейроны, где образы обрабатываются таким образом, чтобы обеспечить их меньшую оппозиционную зависимость

-Внутри отдельного слоя массивы простых и сложных нейронов соответствуют друг другу

-Рецептивное поле каждого нейрона от слоя к слою возрастает, количество нейронов в слое при этом уменьшается. В каждом массиве выходного слоя имеется только 1 сложный нейрон, который реагирует на определенный входной образ. В процессе распознавания входной образ подается на вход Н, а вычисления осуществляются слой за слоем. Т.к. только небольшая часть входного образа подается на вход каждого простого нейрона входного слоя, некоторые простые нейроны реагируют на наличие характеристик, которым они обучены, и возбуждаются.

 

Прогнозирование результатов выборов

 

-Если предвыборные компании всех кандидатов отработаны добросовестно и все участники сделали все возможное, то выбор определяется объективными признаками сложившейся накануне ситуации в стране. Кто победит можно решить на основании ответов на определенные вопросы (кандидат правящей партии- нац герой?; правящая партия у власти более 1 срока? И др)

-Обучающая выборка состоит из 31 примера относительно выборов с 1864, ответы «Да»- 1, «Нет»- 0

-Класс 1 означает, что в данной ситуации был избран кандидат правящей партии, 2- оппозиционной.

-После обучения сеть должна предсказать ответ для ситуации, которая не входила в обучающую выборку.

 

Также решаются следующие задач: нейросетевое моделирование; анализ данных соц опроса; выявление показателей, влияющих на валовую прибыль предприятия; обработка видеоизображения (выделение и распознание движущихся объектов в условиях действия помех); обработка статистических изображений (автоматическая обработка спутниковых изображений земной поверхности; медицинская диагностика; распознавание речи; обнаружение фальсификации; оценка недвижимости; анализ страховых исков.