Искусственные нейронные сети

 

Традиционные подходы решения различных задач, в том числе и с использованием компьютерной техники, предполагают полное и точное знание исследователем и/или разработчиком алгоритма выполнения задачи, включая последовательность действий. К сожалению, не все задачи удаётся просто решить подобным способом. Зачастую поиск закономерностей не удаётся алгоритмизировать, или это требует дополнительных трудозатрат.

Между тем, человеческий разум способен справляться с ранее не решаемыми задачами, находить неизвестные закономерности и особенности в поступающих данных. К сожалению, человек более приспособлен работать с практическими данными нечислового характера; кроме того, расходовать человеческие ресурсы для анализа очень большого объема данных не всегда рационально. Решением проблемы может стать имитация на базе компьютерной техники некоторых особенностей человеческого разума, безусловно, в упрощённом виде, достаточном для решения конкретных прикладных задач.

Человеческий мозг состоит из нервных клеток– нейронов. Каждый нейрон включает в себя тело клетки, множество дендритов, выполняющих роль входов нервных импульсов в клетку и одного аксона, выполняющего роль выхода. Исходя из сигналов на дендритах и особенностей самой клетки, нейрон может находиться в одном из двух состояний: в заторможенном и в возбуждённом. Аксон одной клетки связан со множеством дендритов других клеток через синапсы, в которых происходит химическая передача сигнала. В свою очередь, синапсы могут быть возбуждающими, то есть, поступление сигнала на них от одной клетки приводит к стремлению перевести следующую клетку в возбуждённое состояние, и тормозные, обладающие противоположными свойствами (сигнал на них стремится затормозить последующий нейрон). Множество нейронов (в человеческом мозге их порядка 15 млрд) связано друг с другом в сложную сетеподобную структуру.

Для решения прикладных задач можно имитировать некоторые свойства мозга человека, а именно –реализовать (как правило, виртуально) искусственные нейроны и объединить их в сеть. Такая система получила название искусственной нейронной сети (ИНС).

Чтобы создать математическую модель нейрона (искусственный нейрон), необходимо получить числовое значение, на основании которого он будет переключаться в «заторможенное» (0) или «возбуждённое» (1) состояние. Для этого вводят функцию состояния искусственного нейрона u:

где –вес i-го «синапса» (может меняться в значительных пределах, может быть как положительным, так и отрицательным, 0 означает отсутствие связи);  – пороговое значение, вызывающее активацию искусственного нейрона;  – сигнал, поступающий на i-й синапс; n – число дендритов (и синапсов, связанных с ними) у данного искусственного нейрона.

 

Значение функции состояния может находиться в достаточно широком диапазоне, однако нейрон бывает либо возбуждённым, либо заторможенным. Наиболее логичным с этой точки зрения было бы ввести функцию активации ступенчатого вида ( при u <0и  при u >0). Однако такой подход с точки зрения работы с ИНС будет неудобен: функция активации терпит разрыв, поэтому любые дифференциальные методы не будут работать. Использование кусочно-линейной функции тоже неудобен из-за изломов. Наиболее целесообразным является введение сигмоидальной функции активации искусственного нейрона, например, вида . График этой функции представлен на рисунке 8.1.

Рисунок 8.1 - Сигмоидальная функция активации искусственного нейрона

 

Недостатком такого подхода является возможность пребывания искусственного нейрона в некоем промежуточном положении, что не соответствует естественному объекту, но поскольку в большинстве случаев задачи полной имитации не ставится, а работать с ИНС приходится математическими методами, этот подход является оправданным, а в ряде случаев позволяет решать задачи, нерешаемые (или трудно решаемые) при ступенчатой функции активации.

ИНС можно построить из нейронов разными способами. Наиболее распространённым вариантом является персептрон (рисунок 8.2), многослойная сеть, в которой каждый нейрон последующего слоя связан со всеми нейронами предыдущего слоя (связей внутри слоя быть не должно).

Рисунок 8.2 - Персептрон

 

Входы первого слоя являются входами в саму сеть, а выходы последнего – выходами из сети.

После получения ИНС разработки её структуры сеть необходимо обучить. Существует два способа обучения ИНС: «с учителем» и «без учителя». Для «обучения без учителя» необходимы определённые правила и соображения, к чему ИНС должна стремиться, поэтому в данном пособии далее этот метод рассматриваться не будет.

В «обучении с учителем» используется обучающая выборка, содержащая как значения на входе в ИНС (входные нейроны персептрона), так и ожидаемые значения на выходе. Все значения должны находиться в пределах от 0 до 1.

    Целью обучения является сведение к минимуму расхождения между заданными значениями, которые должны быть на выходах, и фактическими. Эффективность обучения определяется суммой квадратов ошибки, она должна стремиться к нулю (быть не выше заданного значения).

В процессе обучения может наблюдаться переобучение – состояние ИНС, когда она идеально приспособилась не только и не столько к закономерностям в обучающей выборке, сколько к её особенностям, включая случайную ошибку. Если переобученную сеть использовать в практических целях, она может показать неверные результаты. Поэтому контролируют степень обучения с помощью контрольной выборки: если ошибка на последней существенно превышает ошибку на обучающей выборке, то сеть уже переобучена.

 

Практическая работа № 11