Основні параметри людського мозку у порівняні з параметрами засобів комп’ютерної техніки

Аналогія з мозком

Точна робота мозку людини - все ще таємниця. Проте деякі аспекти цього дивовижного процесора відомі. Базовим елементом мозку людини є специфічні клітини, відомі як нейрони, що здатні запам'ятовувати, думати і застосовувати попередній досвід до кожної дії, що коренево відрізняє їх від решта клітин тіла.

Кора головного мозку людини є протяжною, утвореною нейронами поверхнею товщиною від 2 до 3 мм із площею близько 2200 см2, що вдвічі перевищує площу поверхні стандартної клавіатури. Кора головного мозку містить близько 1011 нейронів, що приблизно дорівнює числу зірок Чумацького шляху. Кожен нейрон зв'язаний з 103 - 104 іншими нейронами. У цілому мозок людини містить приблизно від 1014 до 1015 взаємозв'язків.

Сила людського розуму залежить від числа базових компонент, різноманіття з'єднань між ними, а також від генетичного програмування й навчання.

Індивідуальний нейрон є складним, має свої складові, підсистеми та механізми керування і передає інформацію через велику кількість електрохімічних зв'язків. Налічують біля сотні різних класів нейронів. Разом нейрони та з'єднання між ними формують недвійковий, нестійкий та несинхронний процес, що різниться від процесу обчислень традиційних комп'ютерів. Штучні нейромережі моделюють лише найголовніші елементи складного мозку, що надихає науковців та розробників до нових шляхів розв'язування проблеми.

*	Машина фон Неймана	Біологічна нейрона система
Процесор	Складний Високошвидкісний Один чи декілька	Простий Низькошвидкісний Велика кількість
Пам'ять	Відділена від процесора Локалізована Адресація за адресою	Інтегрована в процесор Розподілена Адресація по змісту
Обчислення	Централізовані Послідовні Збережені програми	Розподілені Паралельні Самонавчання
Надійність	Висока вразливість	Живучість
Спеціалізація	Числові й символьні операції	Проблеми сприйняття
Середовище функціонування	Строго визначене Строго обмежене	Погано визначене Без обмежень
Функції	Логічно, через правила, концепції, обчислення	Через зображення, рисунки, керування
Метод навчання	За правилами (дидактично)	За прикладами (сократично)
Застосування	Числова та символьна обробка інформації	Розпізнавання мови, розпізнавання образів, розпізнавання текстів

 

Біологічний нейрон

Нейрон (нервова клітка) складається з тіла клітини - соми (soma), і двох типів зовнішніх деревоподібних відгалужень: аксона (axon) і дендритів (dendrites). Тіло клітини вміщує ядро (nucleus), що містить інформацію про властивості нейрона, і плазму, яка продукує необхідні для нейрона матеріали. Нейрон отримує сигнали (імпульси) від інших нейронів через дендрити (приймачі) і передає сигнали, згенеровані тілом клітки, вздовж аксона (передавач), що наприкінці розгалужується на волокна (strands). На закінченнях волокон знаходяться синапси (synapses).

Рис. 1. Схема біологічного нейрона

Синапс є функціональним вузлом між двома нейронами (волокно аксона одного нейрона і дендрит іншого). Коли імпульс досягає синаптичного закінчення, продукуються хімічні речовини, названі нейротрансмітерами. Нейротрансмітери проходять через синаптичну щілину, збуджуючи або гальмуючи, у залежності від типу синапсу, здатність нейрона-приймача генерувати електричні імпульси. Результативність синапсу налаштовується минаючими через нього сигналами, тому синапси навчаються в залежності від активності процесів, у яких вони приймають участь. Нейрони взаємодіють за допомогою короткої серії імпульсів. Повідомлення передається за допомогою частотно-імпульсної модуляції.

Останні експериментальні дослідження доводять, що біологічні нейрони структурно складніші, ніж спрощене пояснення, наведене вище і значно складніші, ніж існуючі штучні нейрони, які є елементами сучасних штучних нейронних мереж. Оскільки нейрофізіологія надає науковцям розширене розуміння дії нейронів, а технологія обчислень постійно вдосконалюється, розробники мереж мають необмежений простір для вдосконалення моделей біологічного мозку.

Штучний нейрон

Базовий модуль нейронних мереж штучний нейрон моделює основні функції природного нейрона (рис. 2).

Рис. 2. Базовий штучний нейрон

Вхідні сигнали xn зважені ваговими коефіцієнтами з'єднання wn додаються, проходять через передатну функцію, генерують результат і виводяться. У наявних на цей час пакетах програм штучні нейрони називаються "елементами обробки" і мають набагато більше можливостей, ніж простий штучний нейрон, описаний вище. На рис. 3 зображена детальна схема спрощеного штучного нейрону.

Рис. 3. Модель "елементу обробки"

Модифіковані входи передаються на функцію сумування, яка переважно тільки сумує добутки. Проте можна обрати багато різних операцій, такі як середнє, найбільше, найменше, OR, AND, тощо, які могли б виробляти деяку кількість різних значень. Окрім того, більшість комерційних програм дозволяють інженерам-програмістам створювати власні функції суматора за допомогою підпрограм, закодованих на мові високого рівня (C, С++, TurboPascal). Інколи функція сумування ускладнюється додаванням функції активації, яка дозволяє функції сумування оперувати в часі.

В любому з цих випадків, вихід функції сумування надсилається у передатну функцію і скеровує весь ряд на дійсний вихід (0 або 1, -1 або 1, або яке-небудь інше число) за допомогою певного алгоритму. В існуючих нейромережах в якості передатних функцій можуть бути використані сигмоїда, синус, гіперболічний тангенс та ін. Приклад того, як працює передатна функція показаний на рис. 4.

Рис. 4. Сигмоїдна передаточна функція

Після обробки сигналу, нейрон на виході має результат передатної функції, який надходить на входи інших нейронів або до зовнішнього з'єднання, як це передбачається структурою нейромережі.

Всі штучні нейромережі конструюються з базового формуючого блоку - штучного нейрону. Існуючі різноманітності і фундаментальні відмінності, є підставою мистецтва талановитих розробників для реалізації ефективних нейромереж.

Формальний нейрон

Формальный нейрон (далее нейрон), представляет собой математическую модель биологической нервной клетки. Насколько эта модель адекватна, сказать трудно, тем более для нас это неважно.

Схематически нейрон (рис. 1) состоит из двух элементарных составляющих: адаптивного сумматора (другие названия-суммирующий элемент, сумматор) и нелинейного преобразователя (активационного элемента).

Рис.1.1. Схема нейрона

Суммирующий элемент вычисляет скалярное произведение вектора входного сигнала Х на вектор подстраиваемых параметров W при T=0. Выделяют также неоднородный суммирующий элемент, для которого Т = 0. Т при этом называют порогом или пороговым значением нейрона. Выход сумматора S часто называют текущим состоянием нейрона, по которому можно судить, насколько нейрон возбужден или заторможен.

Огромное значение имеет активационный элемент(другое название-нелинейный преобразователь), преобразующий текущее состояние нейрона в выходной сигнал согласно некоторому нелинейному закону. Из дальнейшего станет ясно, что без нелинейного преобразователя многослойная нейронная сеть приводима к однослойной, то есть теряет смысл. Закон функционирования активационного элемента называют активационной функцией. Наибольшее распространение в качестве активационной получила сигмоидная функция (рис. 2), формула 1.

, (1)

где S – выход сумматора;

а – коэффициент, определяющий крутизну сигмоида.

Рис 2. График сигмоидной функции

Кроме сигмоидной функции, довольно часто используются единичный скачок и линейный порог (гистерезис).

В отличие от единичного скачка и гистерезиса сигмоид имеет производную на всей области определения, причем производная очень просто выражается через саму функцию: f`(S)=af(S)(1-f(S)). Это свойство имеет большое значение и используется при построении алгоритмов обучения. Можно отметить, что при увеличении а сигмоид приближается к функции единичного скачка, а при а=0 вырождается в горизонтальную линию f(S)=0,5.

Кратко, не вдаваясь в детали, нейрон можно представить как некий элемент, обладающий группой однонаправленных входных связей, называемых синапсами, и один выход, называемый аксоном – выходную связь. Каждый синапс характеризуется величиной синаптической связи или ее весом w_i, который по физическому смыслу эквивалентен электрической проводимости.

Компактно закон функционирования нейрона можно записать следующим образом:

y=f((x,w)+T), (2)

где f – функция активации;

x – вектор входных сигналов;

w – вектор весов синаптических связей;

Т – пороговое значение;

(x,w)– скалярное произведение.

От порога Т можно освободиться, добавив нейрону еще один фиктивный вход х₀ = 1 и соответственно w₀ = Т.

Функції активації нейрона

Функція активації може бути лінійною з насиченням, релейного(порогової), релейного із зоною нечутливості, квадратичної,сигмоїдальної і т.п. Параметри функцій активацій можуть бути як фіксованими, так і настроюються. [2]
Функцією активації нейронів прихованих шарів є гіперболічнийтангенс, а вихідного нейрона - лінійна функція. Структуриперцептронів визначалися по конструктивному алгоритму;ускладнення структури мереж припинялося, коли явищеперенавчання починало помітно погіршувати їх роботу. [3]
Про функції активації нейронів вихідного шару з теоремиХехт-Нільсена відомо тільки те, що вони являють собоюнелінійні функції загального вигляду. В одній з робіт, що продовжують розвиток теорії, пов'язаної з розглянутоїтеоремою, доводиться, що функції активації нейронів вихідногошару повинні бути монотонно зростаючими. Це твердження вдеякій мірі звужує клас функцій, які можуть використовуватисяпри реалізації відображення за допомогою двошаровоїнейронної мережі

Жорстка порогова ф-я Лінійна порогова ф-я Сигмоїдальна ф-я

Рис.2 а) функция единичного скач­ка; б) линейный порог (гис­те­ре­зис); в) сигмоид – гипербо­ли­ческий тангенс; г) сигмоид – фор­мула (3)

Нелинейная функция f называется активационной и может иметь различный вид, как показано на рисунке 2. Одной из наиболее распространеных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S-образного вида)[2]:

(3)

При уменьшении a сигмоид становится более пологим, в пределе при a=0 вырождаясь в горизонтальную линию на уровне 0.5, при увеличении a сигмоид приближается по внешнему виду к функции единичного скачка с порогом T в точке x=0. Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из ценных свойств сигмоидной функции – простое выражение для ее производной, применение которого будет рассмотрено в дальнейшем.

(4)

Следует отметить, что сигмоидная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того она обладает свойством усиливать слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон.