Моделювання систем за допомогою нейронних мереж. Вирішувані задачі.

Штучні нейронні Мережі (ШНМ) - Математичні Моделі, а кож їх програмні або апаратні реалізації, побудовані за принципом організації та Функціонування біологічних нейронних мереж - мереж нервово клітін живого організму. Це Поняття вінікло при вівченні процесів, Що протікають в мозку, и при спробі змоделюваті ці процеси. Першо такою Спроба булі нейронні Мережі Маккалок и Піттса [1]. Згода, після Розробки алгоритмів навчання, одержувані Моделі стали вікорістовуваті в практичних цілях: в задачах прогнозування, для розпізнавання образів, в задачах Управління та ін

ІНС є систему з'єднаних и взаємодіючіх Між собою простих процесорів (штучних нейронів). Такі процесора зазвічай Досить прості, особливо в порівнянні з процесора, Що використовуються у персональних комп'ютерах. Коженна процесор подібної Мережі має Справу Тільки з сигналами, які ВІН періодічно отрімує, и сигналами, які ВІН періодічно посілає іншім процесора. І тім не менше, будучи з'єднанімі в Досить велику ятір з керованім взаємодією, Такі локально Прості процесора разом здатні віконуваті Досить складні Завдання.

З точки зору машинного навчання, нейронна мережа являє собою Конвенцію Ради Європи віпадок методів розпізнавання образів, діскрімінантного аналізу, методів кластерізації и т. п. З математичної точки зору, навчання нейронних мереж - ції багатопараметричних Завдання нелінійної оптімізації. З точки зору кібернетики, нейронна мережа вікорістовується в задачах адаптивного Управління и Як алгоритми для робототехнікі. З точки зору розвитку обчіслювальної технікі и програмування, нейронна мережа - спосіб Вирішення Проблеми ефективного паралелізму [2]. А з точки зору штучного інтелекту, ІНС є основою філософського течії коннектівізма и Основним напрямком в структурному підході з Вивчення возможности побудова (моделювання) природного інтелекту за допомога комп'ютерних алгоритмів.

Нейронні Мережі НЕ програмуються в звичних розумінні цього слова, смороду навчаються. Можлівість навчання - одна з головних Переваги нейронних мереж перед традіційнімі алгоритмами. Технічно навчання полягає в знаходженні коефіцієнтів зв'язків Між нейронами. У процесі навчання нейронна мережа здатно виявляти складні залежності Між вхіднімі данімі и віхіднімі, а кож віконуваті узагальнення. Це означає, Що у разі успішного навчання мережа зможите повернути Вірний результат на підставі Даних, які булі відсутні в навчальній вібірці, а кож Неповна та / або "зашумлених", Частково перекручених даніх.
2. Відомі застосування
2.1. Розпізнавання образів і класифікація
Як образів можуть виступати різні за своєю природою об'єкти: символи тексту, зображення, зразки звуків і т. д. При навчанні мережі пропонуються різні зразки образів із зазначенням того, до якого класу вони відносяться. Зразок, як правило, представляється як вектор значень ознак. При цьому сукупність усіх ознак повинна однозначно визначати клас, до якого належить зразок. У випадку, якщо ознак недостатньо, мережа може співвіднести один і той же зразок з декількома класами, що невірно [9]. Після закінчення навчання мережі їй можна пред'являти невідомі раніше образи і отримувати відповідь про належність до певного класу.
Топологія такої мережі характеризується тим, що кількість нейронів у вихідному шарі, як правило, дорівнює кількості визначених класів. При цьому встановлюється відповідність між виходом нейронної мережі і класом, який він представляє.Коли мережі пред'являється якийсь образ, на одному з її виходів повинен з'явитися ознака того, що образ належить цьому класу. У той же час на інших виходах повинен бути ознака того, що образ даного класу не належить [10]. Якщо на двох або більше виходах є ознака приналежності до класу, вважається, що мережа "не впевнена" в своїй відповіді.
2.2. Прийняття рішень та управління
Це завдання близька до задачі класифікації. Класифікації підлягають ситуації, характеристики яких надходять на вхід нейронної мережі. На виході мережі при цьому повинен з'явитися ознака рішення, яке вона прийняла. При цьому в якості вхідних сигналів використовуються різні критерії опису стану керованої системи [11].
2.3. Кластеризація
Під кластеризацією розуміється розбиття множини вхідних сигналів на класи, при тому, що ні кількість, ні ознаки класів заздалегідь не відомі. Після навчання така мережа здатна визначати, до якого класу належить вхідний сигнал. Мережа також може сигналізувати про те, що вхідний сигнал не відноситься ні до одного з виділених класів - це є ознакою нових, відсутніх в навчальній вибірці, даних. Таким чином, подібна мережа може виявляти нові, невідомі раніше класи сигналів. Відповідність між класами, виділеними мережею, і класами, існуючими в предметній області, встановлюється людиною. Кластеризацію здійснюють, наприклад, нейронні мережі Кохонена.
Нейронні мережі в простому варіанті Кохонена не можуть бути величезними, тому їх ділять на гіперслоі (Гиперколонка) і ядра (микроколонки). Якщо порівнювати з мозком людини, то ідеальне кількість паралельних шарів не повинне бути більше 112. Ці шари в свою чергу складають гіперслоі (Гиперколонка), в якій від 500 до 2000 мікроколонок (ядер). При цьому кожен шар ділиться на безліч гіперколонок пронизують наскрізь ці шари. Микроколонки кодуються цифрами і одиницями з отриманням результату на виході. Якщо потрібно, то зайві шари і нейрони видаляються або додаються. Ідеально для підбору числа нейронів і шарів використовувати суперкомп'ютер. Така система дозволяє нейронних мереж бути пластичної.
2.4. Прогнозування
Здібності нейронної мережі до прогнозування безпосередньо випливають з її здатності до узагальнення і виділенню прихованих залежностей між вхідними та вихідними даними.Після навчання мережа здатна передбачити майбутнє значення якоїсь послідовності на основі декількох попередніх значень і / або якихось існуючих на даний момент чинників. Слід зазначити, що прогнозування можливе тільки тоді, коли попередні зміни дійсно якоюсь мірою зумовлюють майбутні. Наприклад, прогнозування котирувань акцій на основі котирувань за минулий тиждень може виявитися успішним (а може і не виявитися), тоді як прогнозування результатів завтрашньої лотереї на основі даних за останні 50 років майже напевно не дасть жодних результатів.
2.5. Апроксімація
Нейронні мережі - можуть апроксимувати безперервні функції.Доведено узагальнена апроксимаційна теорема [12]: за допомогою лінійних операцій і каскадного з'єднання можна з довільного нелінійного елемента отримати пристрій, обчислює яку безперервну функцію з деякою наперед заданою точністю.Це означає, що нелінійна характеристика нейрона може бути довільною: от сигмоїдальної до довільного хвильового пакета або вейвлета, синуса або многочлена. Від вибору нелінійної функції може залежати складність конкретної мережі, але з будь нелінійністю мережа залишається універсальним аппроксіматором і при правильному виборі структури може досить точно апроксимувати функціонування будь-якого безперервного автомата.
2.6. Стиснення даних і Асоціативна пам'ять
Здатність нейромереж до виявлення взаємозв'язків між різними параметрами дає можливість висловити дані великої розмірності більш компактно, якщо дані тісно взаємозалежні один з одним. Зворотний процес - відновлення вихідного набору даних з частини інформації - називається (авто) асоціативної пам'яттю. Асоціативна пам'ять дозволяє також відновлювати вихідний сигнал / образ з зашумленних / пошкоджених вхідних даних. Рішення завдання гетероасоціативної пам'яті дозволяє реалізувати пам'ять, що адресується за вмістом [11].
3. Етапи вирішення завдань
Збір даних для навчання;
Підготовка та нормалізація даних;
Вибір топології мережі;
Експериментальний підбір характеристик мережі;
Експериментальний підбір параметрів навчання;
Власне навчання;
Перевірка адекватності навчання;
Коригування параметрів, остаточне навчання;
Вербалізація мережі [13] з метою подальшого використання.
Слід розглянути детальніше деякі з цих етапів.
3.1. Збір даних для навчання
Вибір даних для навчання мережі та їх обробка є найскладнішим етапом вирішення задачі. Набір даних для навчання повинен задовольняти декільком критеріям:
Репрезентативність - дані повинні ілюструвати справжній стан речей в предметній області;
Несуперечність - суперечливі дані в навчальній вибірці приведуть до поганої якості навчання мережі.
Вихідні дані перетворюються до вигляду, в якому їх можна подати на входи мережі. Кожен запис у файлі даних називається навчальною парою або навчальним вектором.Навчальний вектор містить по одному значенню на кожен вхід мережі і, в залежності від типу навчання (з учителем або без), по одному значенню для кожного виходу мережі. Навчання мережі на "сиром" наборі, як правило, не дає якісних результатів. Існує ряд способів поліпшити "сприйняття" мережі.
Нормування виконується, коли на різні входи подаються дані різної розмірності. Наприклад, на перший вхід мережі подаються величини зі значеннями від нуля до одиниці, а на другий - від ста до тисячі. При відсутності нормування значення на другому вході будуть завжди надавати істотно більший вплив на вихід мережі, ніж значення на першому вході. При нормуванні розмірності всіх вхідних і вихідних даних зводяться воєдино;
Квантування виконується над безперервними величинами, для яких виділяється кінцевий набір дискретних значень.Наприклад, квантування використовують для завдання частот звукових сигналів при розпізнаванні мовлення;
Фільтрація виконується для "зашумленних" даних.
Крім того, велику роль відіграє саме уявлення як вхідних, так і вихідних даних. Припустимо, мережа навчається розпізнаванню букв на зображеннях і має один числовий вихід - номер букви в алфавіті. В цьому випадку мережа отримає помилкове уявлення про те, що букви з номерами 1 і 2 більш схожі, ніж букви з номерами 1 і 3, що, загалом, не так. Для того, щоб уникнути такої ситуації, використовують топологію мережі з великим числом виходів, коли кожен вихід має свій сенс. Чим більше виходів у мережі, тим більшу відстань між класами і тим складніше їх сплутати.
3.2. Вибір топології мережі
Вибирати тип мережі слід виходячи з постановки задачі і наявних даних для навчання. Для навчання з учителем потрібна наявність для кожного елемента вибірки "експертної" оцінки.Іноді отримання такої оцінки для великого масиву даних просто неможливо. У цих випадках природним вибором є мережа, яка навчається без учителя, наприклад, самоорганізована карта Кохонена або нейронна мережа Хопфілда. При вирішенні інших завдань, таких як прогнозування часових рядів, експертна оцінка вже міститься у вихідних даних і може бути виділена при їх обробці. В цьому випадку можна використовувати багатошаровий перцептрон або мережа Ворда.
3.3. Експериментальний підбір характеристик мережі
Після вибору загальної структури потрібно експериментально підібрати параметри мережі. Для мереж, подібних перцептрон, це буде число шарів, число блоків в прихованих шарах (для мереж Ворда), наявність або відсутність обхідних сполук, передавальні функції нейронів. При виборі кількості шарів і нейронів в них слід виходити з того, що здатності мережі до узагальнення тим вище, чим більше сумарне число зв'язків між нейронами. З іншого боку, число зв'язків обмежено зверху кількістю записів в навчальних даних.
3.4. Експериментальний підбір параметрів навчання
Після вибору конкретної топології, необхідно вибрати параметри навчання нейронної мережі. Цей етап особливо важливий для мереж, що навчаються з учителем. Від правильного вибору параметрів залежить не тільки те, наскільки швидко відповіді мережі будуть сходитися до правильних відповідей. Наприклад, вибір низької швидкості навчання збільшить час сходження, проте іноді дозволяє уникнути паралічу мережі. Збільшення моменту навчання може призвести як до збільшення, так і до зменшення часу збіжності, в залежності від форми поверхні помилки. Виходячи з такого суперечливого впливу параметрів, можна зробити висновок, що їх значення потрібно вибирати експериментально, керуючись при цьому критерієм завершення навчання (наприклад, мінімізація помилки або обмеження за часом навчання).
3.5. Власне навчання мережі
В процесі навчання мережа в певному порядку переглядає навчальну вибірку. Порядок перегляду може бути послідовним, випадковим і т. д. Деякі мережі, які навчаються без вчителя, наприклад, мережі Хопфілда переглядають вибірку тільки один раз. Інші, наприклад, мережі Кохонена, а також мережі, які навчаються з учителем, переглядають вибірку безліч разів, при цьому один повний прохід по вибірці називається епохою навчання. При навчанні з учителем набір вихідних даних ділять на дві частини - власне навчальну вибірку і тестові дані; принцип поділу може бути довільним. Навчальні дані подаються мережі для навчання, а перевірочні використовуються для розрахунку помилки мережі (перевірочні дані ніколи для навчання мережі не застосовуються). Таким чином, якщо на перевірочних даних помилка зменшується, то мережа дійсно виконує узагальнення. Якщо помилка на навчальних даних продовжує зменшуватися, а помилка на тестових даних збільшується, значить, мережа перестала виконувати узагальнення та просто "запам'ятовує" навчальні дані. Це явище називається перенавчанням мережі або оверфіттінгом.У таких випадках навчання зазвичай припиняють. У процесі навчання можуть проявитися інші проблеми, такі як параліч або попадання мережі в локальний мінімум поверхні помилок.Неможливо заздалегідь передбачити прояв тієї або іншої проблеми, так само як і дати однозначні рекомендації до їх розв'язання.
3.6. Перевірка адекватності навчання
Навіть у разі успішного, на перший погляд, навчання мережа не завжди навчається саме тому, чого від неї хотів творець.Відомий випадок, коли мережа навчалася розпізнаванню зображень танків з фотографій, проте пізніше з'ясувалося, що всі танки були сфотографовані на одному і тому ж фоні. В результаті мережа "навчилася" розпізнавати цей тип ландшафту, замість того, щоб "навчитися" розпізнавати танки [14]. Таким чином, мережа "розуміє" не те, що від неї вимагалося, а те, що найпростіше узагальнити.
4. Класифікація за типом вхідної інформації
Аналогові нейронні мережі (використовують інформацію у формі дійсних чисел);
Двійкові нейронні мережі (оперують з інформацією, представленою в двійковому вигляді).
5. Класифікація за характером навчання
Навчання з вчителем - вихідна простір рішень нейронної мережі відомо;
Навчання без учителя - нейронна мережа формує вихідний простір рішень тільки на основі вхідних впливів. Такі мережі називають здатними до самоорганізації;
Навчання з підкріпленням - система призначення штрафів і заохочень від середовища.
6. Класифікація за характером настройки синапсів
Мережі з фіксованими зв'язками (вагові коефіцієнти нейронної мережі вибираються відразу, виходячи з умов завдання, при цьому:, де W - вагові коефіцієнти мережі);
мережі з динамічними зв'язками (для них в процесі навчання відбувається настройка синаптичних зв'язків, тобто, де W - вагові коефіцієнти мережі).
7. Класифікація за часом передачі сигналу
У ряді нейронних мереж активує функція може залежати не тільки від вагових коефіцієнтів зв'язків wij, а й від часу передачі імпульсу (сигналу) по каналах зв'язку τ ij. Тому в загальному вигляді активує (передавальна) функція зв'язку cij від елемента ui до елемента uj має Вигляд:. Тоді синхронної мережею називають таку мережу, у якій час передачі τ ij Кожній зв'язку одне або нулю, або фіксованого постійної τ. Асінхронної назівають таку ятір у якої годину передачі τ ij для шкірного зв'язку Між елементами ui и uj Своє, альо ТЕЖ Постійне.