Загальна характеристика біспін-приладу як нейронного елемента

Рефрактерність

рефрактерність – відсутність чутливості нейрона до вхідних збуджень під час формування потенціалу дії. В момент виникнення високовольтної частини – спайка –нервова клітина не може відповісти на збудження новим потенціалом дії, тобто є абсолютно незбудливою (абсолютна рефрактерна фаза). Потім збудливість нейрона поступово відновлюється до початкового рівня (відносна рефрактерна фаза) і навіть якийсь час може його перевищувати (екзальтаційна фаза).

Рефрактерність (абсолютна та відносна рефрактерні фази, екзальтаційна фаза). Абсолютна рефрактерність запропонованого нейронного елемента спостерігається з моменту досягнення потенціалом на конденсаторі (нижній імпульс на рис. 5) порогового значення і до моменту повного витікання заряду через відкритий контакт логічної цифрової інтегральної мікросхеми КР-1561-ТЛ на загальну шину.

Крос-перевірка

Одним з природних підходів до вирішення цієї задачі являється наступний: дані розбиваються на дві частини, по одній з який будується оцінка функції, зібраної з нейронів, на другій частині перевіряється, наскільки побудована функція близька до шуканої (така процедура називається крос-перевіркою). Відмітимо, що програма STATISTICA Neural Networks 4.0 пропонує різні способи перевірки якості побудованої мережі (звернемо увагу, що в модулі „Нейронні мережі” системи STATISTICA є Радник, що підказує вибір архітектури мережі).

57. Поверхня помилок

Для контролю навчання мережі корисною є поверхня помилок, до якої ми зараз переходимо.

Кожному з ваг та порогів мережі (тобто вільних параметрів моделі; їх загальне число ми позначимо через N) відповідає один вимір в багатомірному просторі. (N+1) – мірний вимір відповідає помилці мережі.

Для даного набору ваг відповідну помилку мережі можна відобразити точкою в (N+1) – мірному просторі. В результаті всі такі точки утворюють деяку поверхню – поверхню помилок.

Характеристика алгоритмів для навчання БШП

Вибір алгоритму навчання

В більшості випадків спочатку варто випробувати метод спряжених градієнтів – в цьому випадку навчання відбувається досить швидко (інколи на порядок швидше, ніж, наприклад, методом зворотного розповсюдження).

Останньому методу варто надати перевагу у випадку, коли в дуже складній задачі вимагається швидко знайти задовільне рішення або коли даних дуже багато (порядку десятків тисяч спостережень).

Метод Левенберга—Маркара для деяких типів задач може виявитися ефективнішим методу спряжених градієнтів, але його можна використати тільки в мережах з одним виходом, квадратичною функцією помилок і не дуже великим числом ваг. Фактична область його застосування обмежується невеликими за об’ємами задачами нелінійної регресії.

Ітеративне навчання.

Ітеративний алгоритм навчання послідовно проходить ряд так називаємих епох – Epochs, на кожній з яких на вхід мережі подається спостереження за спостереженням – весь набір навчаючих даних, обчислюються помилки і за ними підправляються ваги мережі.

Відомо, що ітеративні алгоритми схильні до небажаного явища перенавчання (коли мережа добре вчиться видавати ті ж вихідні значення, що й в навчальній множині, але виявляється нездатною узагальнити закономірність на нові дані). Тому якість роботи кожної мережі слід перевіряти на кожній епосі за допомогою спеціальної перевірочної множини (для цього потрібно обрати опцію Крос-перевірка — Cross verification в діалоговому вікні навчання).

 

Контроль навчання

За ходом навчання можна слідкувати у вікні Графік помилки навчання — Training Error Graph (воно відкривається з меню Статистики — Statistics), де на графіку відображається середньоквадратична помилка на навчальній множині на даній епосі.

Якщо вибрана опція Крос-перевірка — Verification, виводиться також середньоквадратична помилки на перевірочній множині.

За допомогою розташованих під графіком елементів можна змінювати масштаб зображення, а якщо графік повністю не поміщається у вікні, під ним з’являються лінійки прокрутки.

Якщо є потреба спів ставити результати різних етапів, натисніть кнопку „Перевстановити” – „Reinitialize” у вікні навчання, а потім ще раз натисніть кнопку „Навчити” – „Train” (повторне натиснення „Навчити” – „Train” без „Переустановки” – „Reinitialize” просто продовжить навчання мережі з того місця, де воно було перерване).

Щоб полегшити порівняння результатів, наявна можливість перед натисненням кнопки „Обучить” – „Train” задати для графіка „Мітку” – „Label”: тоді чергова лінія буде малюватися новим кольором, а інформація про неї буде додана в легенду в правій частині вікна. По закінченню навчання графік можна переслати в STATISTICA (кнопка ).

На графікові навчання можна легко помітити ефект перенавчання. Спочатку помилка навчання і перевірочна помилка спадають. При виникненні ефекту перенавчання помилка навчання продовжує спадати, а помилка перевірки росте. Ріст перевірочної помилки сигналізую про початок перенавчання. Якщо спостерігається перенавчання, то навчання слід припинити, натиснувши кнопку „Стоп” – „Stop” у вікні навчання або натиснувши клавішу „ESCAPE”.

Можна також задати автоматичну зупинку програми за допомогою умов зупинки, які задається у вікні „ Умови зупинки ” – „Stopping Conditions” (доступ до якого відбувається через меню „Навчання - додаткові” – „Train-Auxiliary”).

Крім максимального числа епох, що відводяться на навчання, можна вимагати, щоб навчання припинялося після досягання певного рівня помилки або коли помилка перестає зменшуватися на певну величину (зупинка за неузгодженням).