Завдання до лабораторного заняття №2.

Тема: Методика оцінки компетентності експертів, які приймають участь в експертизі

Мета: засвоїти методику оцінки компетентності з використанням прийомів самооцінки.

Завдання: Розробити анкети для оцінки компетентності 5 експертів, які приймали участь в експертизі по визначенню ризиків в лабораторній роботі № 3. Розрахувати компетентність експертів.

Теоретичні відомості

Для проведення успішної групової експертизи до експертів висуваються наступні вимоги:

1. Компетентність – визначається освітою експерта, наявністю вчених ступенів і звань, стажем роботи на певних посадах в тій області, яка є предметом експертизи.

2. Об’єктивність – здатність експерта щиро висловити свою власну думку, вміння долати раніше сформовані погляди і з інших позицій подивитись на проблему.

3. Відсутність конформізму – відсутність пристосованості, пасивного прийняття рішень.

4. Прагматичність – здатність експерта давати не відірвані від життя, а практичні рішення, які враховують реальні можливості їх реалізації.

5. Самокритичність – вміння експерта оцінити свої можливості, здатність змінювати свою позицію під впливом нової інформації і нових доказів.

Існує декілька способів оцінки експертів:

- документальний;

- експериментальний;

- голосування;

- самооцінка.

Спосіб самооцінки полягає в тому, що кожний кандидат в експерти оцінює свою особисту компетентність в балах.

Алгоритм проведення оцінки компетентності експертів методом самооцінки

1. Підібрана група з N експертів для участі в експертизі в якійсь предметній області. Вони повинні оцінити К параметрів (відповісти на К питань).

2. Кожному експерту пропонується для заповнення наступні таблиці (крім таблиці для безпосередньої експертизи з К питань) ÷ N × К таблиць всього:

 

Таблиця 1

Джерело аргументації	Ступінь впливу джерела dху х = 1,6 у = 1,3
Висока	Середня	Низька
Проведений теоретичний аналіз
Виробничий досвід
Узагальнення робіт вітчизняних авторів
Узагальнення робіт закордонних авторів
Особисте знайомство із станом справ за кордоном
Інтуіція

Для кожного джерела в одній з 3 – х граф експерт ставить 1, в решті – 0, і – номер експерта. Кожний експерт заповнює К таблиць. N × К всього таблиць.

 

Таблиця 2

Джерело аргументації	Ступінь впливу джерела dху х = 1,6 у = 1,3
Висока	Середня	Низька
Проведений теоретичний аналіз	0,3	0,2	0,1
Виробничий досвід	0,5	0,6	0,2
Узагальнення робіт вітчизняних авторів	0,05	0,05	0,1
Узагальнення робіт закордонних авторів	0,04	0,05	0,15
Особисте знайомство із станом справ за кордоном	0,2	0,4	0,3
Інтуіція	0,6	0,4	0,3

Оцінка джерел аргументації 0< а_ху<1.

В кожній клітинці таблиці експерт ставить відповідне значення а¹_ху, і – номер експерта. Кожний експерт заповнює К таблиць.

Ступінь знайомства експерта з проблемною областю (ПО) В_ij і–тий експерт оцінює в балах за шкалою від 0 до 10 методом самооцінки. Причому максимальна оцінка В_ij відповідає знайомству з проблематикою певного питання на рівні авторства (співавторства) в розробці деяких підходів до вирішення обговореної проблеми; мінімальна оцінка В_ij = 0 відповідає відсутності знайомства з відповідною проблематикою.

 

Таблиця 3

№ Експ. і	Ступінь знайомства експерта з проблематикою (0÷10) Вij і = 1,N j = 1,K	Оцінка відносної важливості (0÷10) параметра, що оцінюється Сij
Ві1	Ві2	…	ВіК	Сі1	Сі2	…	СіК
	В11	В12	…	В1K	С11	С12	…	С1K
	В21	В22	…	В2K	С21	С22	…	С2K
	В31	В32	…	В3K	С31	С32	…	С3K
.	.	.	…	.	.	.	…	.
.	.	.	…	.	.	.	…	.
.	.	.	…	.	.	.	…	.
N	ВN1	ВN2	…	ВNK	CN1	CN2	…	CNK

Оцінка відносної важливості С_ij вказується в балах від 0 до 100 і – м експертом для j – го параметра, який він оцінює в процесі експертизи. Причому

3. Проводиться розрахунок компетентності експертів за наступними формулами:

Де К_ij – ступінь компетентності і – го експерта при оцінці j – го параметра;

Кk_ij коефіцієнт компетентності і – го експерта при оцінці j – го параметра, який враховує і ступінь знайомства експерта з j – ою проблемою, і аргументованість.

Де К_Зіj – коефіцієнт ступеню знайомства і – го експерта з j – ою проблемою;

К_Зіj=0,1× В_ij – отримується шляхом нормування оцінки В_ij;

К_аіj – коефіцієнт аргументації, який враховує структуру аргументів, які були і – му експерту основою для оцінки j – го параметра.

Де а_ху, d_ху треба брати з таблиці 1, 2, заповнених і – им експертом при оцінці j – го параметра.

4. Розраховується коефіцієнт активності експертів К_Еj для j – го параметра, який ними оцінюється:

Де М_j – кількість експертів, які оцінили j – ий параметр.

 

Таблиця 4 – можливість оцінки експертами параметрів

(+ - оцінить, - - не оцінить)

№ експерта	Оцінюваний параметр (j = 1, K)
			…	К
1.	+	+	-	…	+
2.	-	+	-	…	.
.	.	.	.	.	.
.	.	.	.	.	.
.	.	.	.	.	.
N	-	+	+	.	-

 

Чим більше К_еj, тим більше експертів вважають себе компетентними в оцінці j – го параметра (цим параметром можуть бути ризики, що оцінюються в попередній лабораторній роботі).

5. Результати роботи представити в таблиці 5:

 

Таблиця 5

№ експерта і	Ступінь компетентності експерта при оцінці j – го параметра Кij, j=1,K i=1,N
Кi1	Кi2	…	КiK
1.	К11	К12	…	К1K
2.	К21	К22	…	К2K
.	.	.	.	.
.	.	.	.	.
.	.	.	.	.
N	КN1	КN2	…	КNK
Кij	Кe1	Кe2	…	КeK

 

Зробити висновки про придатність експертів для участі в даній експертизі.

Тема 3: Експертні системи.

3.1 Структура експертних систем

“Управління” застосовується у всіх сферах людської діяльності:

- в техніці (керування машинами, технічними процесами);

- в виробничо-господарській діяльності (керування виробничими процесами).

Метою “Управління” є підвищення ефективності функціонування підрозділів, підприємств, організацій.

У зв'язку з економічною кон'юнктурою “Управління” повинно ґрунтуватися на сучасних інформаційних технологіях.

Поняття “інформаційні технології” можна визначити як сукупність програмно-апаратних засобів і систем, що забезпечують комплексне й ефективне рішення різнорідних задач.

Інформаційні технології управління - це методи і способи взаємодії керуючої і керованої підсистем цукрового виробництва на основі використання сучасного інструментарію.

Сучасний інструментарій для керування єдиним інформаційним полем у всьому життєвому циклі створення складається з:

- електронно-обчислювальна машина,

- системи комунікацій і обчислювальних систем,

- банки даних і знань,

- програмно-інформаційні засоби,

- економіко-математичні методи і моделі,

- експертні системи.

Експертна система (ЕС) — це програмний продукт, що дозволяє імітувати творчу діяльність чи підсилювати інтелектуальні можливості фахівця-експерта в частині вибору рішенні в конкретній предметній області, використовуючи, в основному, евристичні знання фахівців, накопичений раніше досвід.

Головним достоїнством експертних систем є можливість нагромадження знань – формалізованої інформації, на яку посилаються чи використовують у процесі логічного висновку, і збереження їх тривалий час. На відміну від людини до будь-якої інформації експертні системи підходять об'єктивно, що поліпшує якість проведеної експертизи. При рішенні задач, що вимагають обробки великого обсягу знань, можливість виникнення помилки при переборі дуже мала.

До експертних систем пред'являються наступні вимоги:

1) Використання знань, зв'язаних з конкретною предметною областю;

2) Придбання знань від експерта;

3) Визначення реальної і достатньо складної задачі;

4) Наділення системи здібностями експерта.

Типова ЕС складається з наступних компонентів: база знань (БЗ), база даних (БД),. механізм логічного висновку (МЛВ), блок пояснення отриманих рішеннь, блок навчання (адаптація ЕС до дійсності, що змінюється,), блок розуміння, блок ведення, поповнення і коректування БЗ.

Структура експертної системи представлена наступними структурними елементами:

1) База знань – механізм представлення знань у конкретній предметній області і керування ними;

2) Механізм логічних висновків – робить логічні висновки на підставі знань, що маються в базі знань;

3) Інтерфейс користувача – використовується для правильної передачі відповідей користувачу;

4) Модуль придбання знань – служить для одержання знань від експерта, підтримки бази знань і доповнення її при необхідності;

5) Модуль порад і пояснень – механізм, здатний не тільки давати висновок, але і представляти різні коментарі, прикладені до цього висновку, і пояснювати його мотиви. У противному випадку користувачу буде важко зрозуміти висновок. Таке розуміння необхідне, якщо висновок використовується для консультації чи надання допомоги при рішенні будь - яких питань. Крім того, з його допомогою експерт визначає, як працює система, і дозволяє точно з'ясувати, як використовуються знання, надані їй.

Схема1

Структура експертної системи

 

	Модуль порад та пояснень

 

 

Інтерфейс користувача

 

 

3.2 Склад експертних систем

Під БЗ будемо розуміти модель предметної області, що містить: формалізовані знання фахівців у вигляді наборів еврістичних правил; метаправила, що визначають стратегію керування еврістичними правилами в ході реалізації основних функцій ЕС; зведення про структуру і зміст БД.

БЗ, на відміну від БД, містить не тільки кількісні характеристики фактів (даних), а в основному суб'єктивні еврістичні знання експертів. Знання в БЗ утворять складні ієрархічні структури, що досягається шляхом уведення різноманітних відносин, взаємозв'язків.

Виходячи з типової ЕС розглянемо функції, структуру і призначення компонентів.

ЕС служать для виконання наступних основних функцій: збір, збереження й обробка даних і знань про предметну область; накопичення і виведення нових знань із сукупності раніше накоплених; спілкування з користувачем на обмеженій природній мові одержання правдоподібного висновку; реалізація основних якостей фахівця-експерта (імітація участі в розумових процесах людини).

ЕС підтримує кілька режимів роботи з користувачем: навчання ЕС користувачами-експертами новим знанням; навчання користувача ЕС; консультації користувача з ЕС.

Як відзначається в роботах, зміст БЗ складають еврістичні правила, якість яких залежить від знанні, досвіду, інтуїції фахівців-експертів, професіоналізму інженера по знаннях. БД містить дані, що описують об'єкти предметної області, що динамічно змінюються в процесі рішення завдання. Дані можуть мати кількісні і некількісні характеристики. В ЕС застосовуються, як правило, БД реляційного типу.

МЛВ являє собою логіко-математичний апарат, що здійснює пошук рішення задачі й одержання правдоподібного висновку на основі знаннь БЗ даних БД.

Блок пояснення забезпечує пояснення отриманих висновків і дозволяє просліджувати ланцюг "міркувань" ЕС, втручатися користувачу в хід рішення задачі.

Блок придбання знаннь та побудови правил і блок нагромадження та коректування є блоками, що забезпечують підтримку потужності й актуальності БЗ шляхом виключення застарілих і недосконалих правил, введенням нових.

Однієї з найбільш важливих проблем, характерних для систем, заснованих на знаннях, є проблема представлення знань. Це пояснюється тим, що форма представлення знань впливає на характеристики і властивості системи. Для того щоб маніпулювати всілякими знаннями з реального світу за допомогою комп'ютера, необхідно здійснювати їхнє моделювання. У таких випадках необхідно відрізняти знання, призначені для обробки комп'ютером, від знань, використовуваних людиною. Крім того, при великому обсязі знань бажано спростити послідовне керування окремими елементами знань.

 

3.3 Методи представлення знань в експертній системі

 

Строго говорячи, дані, що зберігаються в БД, а також МЛВ являють собою також знання, які можна розділити на три групи: декларативні, процедурні, керуючі.

Декларативні знання - це вид знань, що представляють собою інформацію (дані) про конкретний випадок, факти. БЗ, побудована за принципом тільки декларативної форми представлення знань, складається з набору алгоритмів, логічних формул і по суті є БД. Модифікація такої БЗ відбувається шляхом додавання, чи зміни виключення алгоритмів з обший зв'язку. Інформаційна система такого типу не може бути і визначатися як експертна.

Процедурні знання складають ядро БЗ і збираються методами науково обґрунтованих прийомів витягу знанні у фахівців. Ці знання дозволяють генерувати (активувати) декларативні знання в ході рішення конкретних задач, інтегрувати їх. БЗ, побудована за принципом процедурної форми представлення знань, складається з наборів евристичних правил, називаних правилами, що породжують. Автори робіт відзначають, що кожне правило, що породжує, має форму:

ЯКЩО (умова)...,ТО (дія)...(продукції).

При проектуванні моделі представлення знань варто враховувати такі фактори, як однорідність представлення і простота розуміння. Однорідне представлення приводить до спрощення механізму керування логічним висновком і спрощенню керування знаннями. Представлення знань повинне бути зрозумілим експертам і користувачам системи. У противному випадку утрудняються придбання знань і їхня оцінка. Однак виконати ця вимога в однаковій мірі, як для простих, так і для складних задач досить важко. Звичайно для нескладних задач зупиняються на деякому середньому (компромісному) представленні, але для рішення складних і великих задач необхідні структурування і модульне представлення.

Типовими моделями представлення знань є:

1) Логічна модель;

2) Модель, заснована на використанні правил (продукційна модель);

3) Модель, заснована на використанні фреймів;

4) Модель семантичної мережі.

Однак у всіх розроблених у минулому системах з базами знань крім цих моделей використовувалися спеціальні для конкретного випадку засобу, тому представлення знань виходило складним. Проте класифікація моделей залишалася незмінної. Мова, використовувана для розробки систем, спроектованих на основі цих моделей, називається мовою представлення знань.

Принцип роботи продукційної системи полягає в наступному:продукція (правило), умова якої виявиться щирим для поточного стану БЗ і БД, виконується. При цьому, виконуване правило активує дані, що знаходяться в заданій структурі БД; виконання правил відбувається доти, поки. усі вони виявляться виконаними чи не вступить у дію правило зупинки.

Достоїнство БЗ, побудованої за принципом продукційних систем, полягає в тому, що правило, що породжує, може вивести нове процедурне чи декларативне (наприклад, прогноз) знання.

В даний час більшість розроблених ЕС спираються на сполучення принципу декларативних і процедурних знаннь. Третій тип знань — це керуючі знання. Під цим розуміється набір варіантів (стратегій), що наказують альтернативні можливості в ході рішення задач, перехід від одного варіанта (при невдачі) до іншого. Цей тип знань є метазнанням (метаправила) стосовно наборів правил-продукцій і ґрунтується на методі вибору: яке з правил, що породжують, застосовується при відомому стані предметної області. Особливе місце в ряді різних форм представлення знань займають фрейми. У роботі розглядаються два види фреймів: статичні (власне фрейми) і динамічні (сценарії).

Фрейм являє собою структурований формат для представлення знань про предметну область. Основу (кістяк) фрейму складають опису — "слоти", що ідентифікують основні структурні елементи понять. Взаємозв'язок між фреймом і слотом ієрархічна - те, що є стосовно верхнього рівня слотом, для нижнього є фреймом.

Фрейм із заповненими слотами (значеннями) являє собою опис процесу, явища, події, факту.

Достоїнство ЭС, що використовує фрейми, полягає в тім, що поняття ii елементи понять, що є присутнім при описі чи явища повідомлення, можуть групуватися, витягатися вдруге й оброблятися як єдине ціле. Фрейми, як правило, організуються в мережі, забезпечуючи запис загальних понять. До достоїнств також варто віднести порівняну легкість їхньої реалізації за допомогою засобів LISP (мова списків).

Процедурне представлення звичайне використовується в традиційному алгоритмічному програмуванні і має ряд переваг: знання контекстно залежні й убудовані в програмний код. У результаті виходять неявні чи "мутні" знання, зміна і розуміння яких утруднене.

При декларативному представленні знання зашифровані, як дані, тому вони доступні для внесення змін і є контекстно незалежними.У процедурному представленні семантики, що описують знання, розподілені по коду, у декларативному представленні — вони зібрані в одне місце.

Таким чином, переваги декларативного представлення складаються в: простоті розуміння; простоті зміни; контекстної незалежності; семантичної прозорості.

Ці переваги і складають сутність експертних систем. Таким чином, ЭС звичайно використовують декларативне представлення знань. У застосуванні до конкретних проблем, коли використовуються розрахунки, найкращим рішенням є процедурно-декларативне представлення знань.

Основні представлення знань з них:

формальні методи засновані на математичній логіці і численні предикатів;

семантичні мережі;

семантичні тріади (об'єкт —атрибут —значення);

правила чи висновку продукційні системи;

фрейми, що складаються зі структур групових даних у категоріях, визначених, інформаційних, категоріях, називаних слотами.

Семантичні мережі складаються з безлічі вузлів для представлення концепцій, об'єктів, подій і т.д. і зв'язків для з'єднання вузлів і характеристики відносин між ними. Перевагою даного методу представлення є гнучкість, що означає, що нові вузли і зв'язки можуть бути додані там, де це необхідно. Інша риса семантичної мережі — спадкування властивостей. Т.е. кожен вузол може успадковувати властивості зв'язаних з ним вузлів.

Об'єкт — атрибут — значення. Потрійна семантика, чи об'єкт — атрибут — значення (ОАЭ) представляє окремий випадок семантичних мереж, у яких існує тільки 3 типи вузлів - об'єкти, атрибути, значення.

Об'єкти можуть бути фізичними чи концептуальними.

Атрибути - основні чи властивості ознаки об'єктів. Значення визначається окремою ознакою атрибута в спеціальній ситуації. Семантичні мережі можуть мати складні зв'язки, трійка - "об'єкт — атрибут — значення" використовує тільки 2 види простих зв'язків - "об'єкт — атрибут" і "атрибут-значення".

Правила продукцій. Система продукцій є найбільш зручним методом побудови комп'ютерних ЕС. Система продукцій — це безліч правил, що мають частини ЯКЩО і ТЕ, чи передумова — наслідок, чи ситуація — дія.

Основна форма для правил має вид:

правило N:

ЯКЩО [(передумова 1)....(передумова n)] ТО [(наслідок 1 з вірогідністю C1)..... (наслідок m з вірогідністю Cm) ].

Номер правила є унікальним для його ідентифікації, причому номер правила не вказує порядок його виконання. Кожне правило являє собою незалежну порцію знань. Передумови можуть розглядатися як модель (образ), а наслідок як чи висновки дії, який необхідно почати.

Продукційні правила полегшують утворення пояснень, результати отриманих висновків і розрахунків. Вони можуть обробляти незаплановані, але корисні взаємодії. Іншими словами, вони можуть використовувати порцію знанні, коли це необхідно.

Для того щоб визначити кількість правил у базі знань, необхідно вибрати механізм чи висновку контрольну стратегію, що складає "серце" системи. Механізм висновку ініціює правила відповідно до убудованого процесу міркувань. Існують два основних типи механізмів висновку — прямої і зворотний.

1.Прямий висновок. Правила проглядаються доти, поки не буде знайдене таке, у якого перший операнд (у лівій частині) відповідає інформації, що знаходиться в робочій області, потім правило змінюється. Процес повторюється доти, поки не буде досягнута чи мета не буде знайдено придатного правила. Даний механізм висновку рекомендується, якщо ціль невідома і повинна бути спроектована чи число можливих результатів велике. Для комплексного рішення проблем може бути використаний прямий висновок.

2. Зворотний висновок. Правила проглядаються, знаходяться ті, " послідовність виконання яких приводить до мети. Для кожного з цих правил перевіряється, чи відповідають перші операнды (передумови) інформації в робочій області. Якщо всі передумови відповідають цій умові, правило виконується і задача зважується. Якщо існує передумова, що не відповідає інформації в робочій області, визначається нова підціль як "організація умов для задоволення цієї передумови". Процес виконується рекурсивно. Якщо відомі значення мети і їхнє число невелике, то зворотний висновок ефективний. Механізм зворотного висновку часто використовується в діагностичних ЕС.

З'єднання прямого і зворотного висновку. Цей спосіб застосуємо, коли використовується "дошка оголошень". Модель "дошка оголошень" - це структурний тип моделі міркувань, у якому найкращим способом використовуються порції знань у прямому і зворотному напрямках. Знання, необхідні для рішення задачі, поділяються на незалежні групи правил, називаних джерелами знань. "Дошка оголошень" — основна база даних, що грає роль засобу зв'язку між джерелами знань і відслідковує зміни стану задачі, поки рішення не буде знайдено.

Одержання знань. У задачі проектування знання можуть бути представлені у виді графів, таблиць даних, процедур алгоритмічного аналізу й експериментальних знань. На різних етапах рішенні задачі можна використовувати прикладні програми визначеної предметної області.

При розробці ЕС джерелами знанні можуть служити:

1. Технічна література (книги, посібники, журнальні статті).

2. Експерти в конкретній області. У формі питань-відповідей і на сеансах зразкових рішень задачі.

3. Ці два методи доповнюють один одного. В останньому випадку експерта просять вирішити контрольний приклад. Використовуються також листовні відповіді експерта на.питання.

4. Експеримент. Іноді знання, необхідні для рішення проблеми, можуть бути частково отримані після експериментів на ЕОМ. Після одержання знань, необхідних для рішення окремої задачі, їх можна використовувати" у базі знань для рішення подібних задач.

Останній метод одержання знанні не можна використовувати в традиційних ЕС, де знання в основному отримані від експертів. Однак, знання, отримані в результаті експерименту на ЕОМ, будуть корисними в складних областях проектування. Класифікація ЕС, побудована виходячи з областей застосування, очевидно недостатня, так, близькі по призначенню системи часто мають мало загального з погляду їхнього пристрою і структури. Тому вірніше буде виходити зі складності і структури реалізовані функції експертними системами, а також приваблюваних для цього програмно-інструментальних засобів.