Тема 2: Експертні процедури та прийняття рішень в проектному менеджменті.

2.1 Підготовка і проведення експертизи

Експертиза як метод отримання інформації завжди використовувалася при розробці рішень. Проте, наукові дослідження щодо її раціонального проведення були початі лише два десятиліття тому. Результати цих досліджень дають можливість прийти до висновку: зараз експертні оцінки є у загальних рисах сформованим науковим методом аналізу складних не формалізованих проблем [1; 2; 3; 5].

Суть методу експертних оцінок полягає в раціональній організації експертного аналізу проблеми з кількісним оцінюванням думок і обробкою їх результатів. Узагальнену думку експертів вважають вирішенням проблеми.

Всю різноманітність вирішуваних задач можна звести по трьом типам:

- формування об'єктів;

- оцінювання характеристик;

- формування об'єктів і оцінювання їх характеристик.

Формування об'єктів передбачає визначення можливих подій і явищ, побудова гіпотез, формулювання цілей, обмежень варіантів рішень, визначення ознак і показників для опису властивостей об'єктів і їх взаємозв'язків і тому подібне. У завданні оцінювання характеристик експерти визначають вірогідність подій і гіпотез, важливість цілей, значення ознак і показників, переважання альтернатив рішень. Завдання формування і оцінювання характеристик охоплює комплексне рішення перших двох типів завдань. Отже, експерт виступає в ролі генератора об'єктів (ідей, подій, рішень) і вимірника їх характеристик.

Під час рішення розглянутих задач всю безліч проблем можна розділити на два класи: з достатнім і недостатнім інформаційним потенціалом. Для проблем першого класу маємо важливо необхідний об'єм знань і досвіду щодо їх рішення. Завдяки цьому експерти щодо таких проблем є якісними джерелами і достатньо точними "вимірниками" інформації. Узагальнена думка групи експертів визначається усереднюванням їх індивідуальних думок і є близькою до істини.

Щодо проблем другого класу експерти вже не можуть розглядатися як достатньо точні вимірники. Думка (думка) одного експерта може виявитися правильною і разом з тим відмінним від думок інших експертів. Обробка результатів експертизи для проблем другого класу не може грунтуватися на методах усереднювання.

Щоб застосувати метод експертних оцінок в процесі ухвалення рішень, необхідно розглянути питання відбору експертів, провести їх досвіді оцінити отримані результати.

Залежно від масштабу проблеми експертизу організовує суб'єкт управління або група, що призначається ним. Кількісний і якісний склад експертів підбирають на основі аналізу широти проблеми, достовірності оцінок, характеристик експертів і витрат ресурсів.

Широта вирішуваної проблеми потребує привернення до експертизи фахівців різного профілю. При цьому мінімальне число експертів визначається кількістю різноманітних аспектів, напрямів, які необхідно враховувати, вирішуючи проблему.

Достовірність оцінок групи експертів залежить від рівня знань окремих експертів і їх кількості. Якщо припущення, які експерти повинні оцінити, достатньо точно можна зміряти, то із збільшенням числа експертів достовірність експертизи всієї групи зростає.

Витрати ресурсів на проведення експертизи пропорційні кількості експертів. Із зростанням кількості експертів збільшуються час і фінансові витрати, пов'язані з формуванням групи, обробкою результатів. Таким чином, підвищення достовірності експертизи пов'язаний із збільшення витрат.

 

2.2 Методи експертного оцінювання

Основним етапом спільної роботи груп управління і експертів є процедури [5], які відносяться до рішення організаційно-методичних питань; постановку завдання і формування питань до експертів; інформаційне забезпечення роботи експертів і т.д.

Вибір того або іншого виду опиту визначається цілями експертизи, суттю вирішуваної проблеми, повнотою і достовірністю початкової інформації, терміном і витратами на проведення досвіду. Розглянемо зміст і технологію проведення.

2.2.1 Інтерв'ювання

Розглянемо дещо детальніше деякі з цих методів. Інтерв'ювання- це усне опитування, яке проводиться у формі бесіди - інтерв'ю. Для підготовки бесіди інтерв’юер розробляє питання до експерта. Характерна особливість цих питань - на них швидко потрібно відповісти експертові, оскільки він практично не має часу на їх обдумування. Тематику інтерв'ю експертові можна повідомити заздалегідь, але конкретні питання належить сформулювати безпосередньо в процесі бесіди. Доцільно у зв'язку з цим готувати послідовність питань, починаючи від простого і поступово заглиблюючи і ускладнюючи, але разом з тим і конкретизуючи питання.

Перевагами інтерв'ю є живий контакт інтерв’юера з експертом, що дає можливість швидко отримати необхідну інформацію за допомогою прямих і уточнюючих питань - залежно від відповідей експерта. Недоліком інтерв'ю може бути небезпека великого впливу інтерв’юера на відповіді експерта, відсутність часу для глибокого обдумування відповіді.

 

2.2.2 Анкетування

 

Анкетування є процедурою опитування експертів у письмовій формі за допомогою анкет. У анкеті представляються питання, які можна класифікувати за суттю і типом. За суттю вони розділяються на три групи:

• об'єктивні дані про експерта (вік, освіта, посада,
спеціальність, стаж роботи);

• основні питання по суті вирішуваної проблеми;

• додаткові питання, які дають можливість виявити джерело потрібної інформації, аргументацію відповідей, самооцінку компетентності експерта.

За типом основні питання класифікують так: відкриті, закриті, з альтернативами відповідей [5].

Відкриті питання передбачають відповідь в довільній формі.

Закриті питання характеризуються тим, що відповідь на них може бути представлена у вигляді: "так", "ні", "не знаю":

Питання з альтернативами відповідей передбачають вибір експертами однієї з множини передбачуваних відповідей.

Відкриті питання доцільно застосовувати у разі великої невизначеності проблеми. Цей тип питань дає можливість широко охопити проблему, проявити спектр думок експертів. Недоліком таких питань є широта (безліч варіантів) можливих відповідей, що утрудняє обробку анкет.

Питання з альтернативами відповідей доцільно використовувати за наявності декількох достатніх чітких варіантів. Ці варіанти формуються для орієнтації експертів в можливому крузі напрямів при вирішенні проблеми. Щоб отримати детальнішу інформацію з кожного питання, можна запропонувати порядкові і бальні шкали. Експерт з кожною відповіддю набирає значення порядкової і бальної оцінки. Наприклад, значеннями порядкової шкали можуть бути "відмінно", "добре", "задовільно", "незадовільно". Обробка анкет з питаннями цього типу по складності займає проміжне місце між відкритими і закритими питаннями.

Якщо анкетування проводиться в декілька турів, доцільно із-за великої складності і невизначеності проблеми на перших кроках використовувати відкриті типи питань, а на наступних турах - альтернативні відповіді і закриті типи.

 

2.2.3 Метод „Делфі”

Метод „Делфі” є найбільш відомим та досить широко використовується. Це багатотурова процедура анкетування[4, с.37]. У першому турі експертам пропонуються питання, на яке вони дають відповідь без аргументації. Отримані від експертів дані обробляються з метою виділення середнього, медіани і крайніх значень оцінок. Експертам повідомляють результати обробки першого туру опитування, уточнюючи розміщення оцінок кожного експерта. Якщо оцінка експерта дуже відхиляється від середнього значення, то його просять аргументувати свою думку або змінити оцінку. У другому турі експерти аргументують або змінюють свою оцінку з поясненням причин корегування. Результати також обробляють і повідомляють експертів. Якщо після першого туру корегувалися оцінки, то результати обробки другого туру містять нові середні і крайні значення оцінок експертів. Наступні тури проводять за аналогічною процедурою. Зазвичай після третього або четвертого туру оцінки експертів стабілізуються, що і є критерієм припинення подальшого опитування.

Ітеративна процедура опитування з повідомленням результатів обробки кожного туру забезпечує краще узгодження думок експертів. Адже експерти, які надали оцінки і які дуже відхиляються, вимушені критично осмислювати свої думки і їх аргументувати. Необхідність аргументувати і корегувати оцінки експертів не означає, що метою експертизи є досягнення повної узгодженості їх думок. Зрештою, можливо, буде виділено дві або більше груп альтернатив, які відображають приналежність експертів до різних наукових шкіл, відомств і категорій осіб.

Дослідження ефективності методу Делфі показали, що з проведенням турів опитування розкид думок експертів зменшується і групова думка у вигляді медіани індивідуальних оцінок стає більш уточненою. Застосування методу Делфі дає змогу визначити обсяг беззбитковості інвестиційного проекту. Аналіз беззбитковості дозволяє визначити обсяг продажу, менше за який підприємець не може скоротити кількість продукції, що виробляється.

2.2.4 Метод сценаріїв

Для проведення експертного прогнозування отримав своє використання метод сценаріїв. Прогнозування в інвестиційних проектах може бути успішним лише при умові стабільності. Однак це неможливо в зв’язку з виникненням різних ризиків. Тому метод сценаріїв являє собою декомпозиції задачі прогнозування, що передбачає виділення набору окремих варіантів розвитку подій (сценаріїв), та в сукупності охоплює всі можливі варіанти розвитку. При цьому кожен окремий сценарій повинен допускати можливість досить точного прогнозування, а загальне число сценаріїв повинно виключати маловірогідні події. Можливість подібної декомпозиції неочевидна. При використанні методу сценаріїв необхідно здійснити два етапи дослідження. По-перше, побудувати достатній набір сценаріїв, а по-друге, спрогнозувати в рамках кожного конкретного сценарію з метою отримання відповідей не поставлені питання. Кожен з цих етапів лише частково формалізований. Крім того, експерти можуть оцінити вірогідність реалізації того чи іншого сценарію. Прогнозування в рамках кожного конкретного сценарію з метою отримання відповідей також здійснюється у відповідності до методології прогнозування. При стабільних умовах можуть бути використані статистичні методи прогнозування часових рядів. Однак цьому передує аналіз за допомогою експертів, причому досить буде прогнозування на словесному рівні і не треба кількісного уточнення.

Як відомо, при прийнятті рішень на основі аналізу ситуацій, в тому числі результатів прогнозних досліджень, можна виходити з різних критеріїв. В одних випадках можна орієнтуватись на те, що ситуація складеться найгіршим, чи найкращим, чи середнім чином. Можливо намітити заходи, що забезпечать мінімально допустимі корисні результати при будь-якому варіанті розвитку ситуації і т.д. Таким чином, метод сценаріїв доцільно використати при аналізі ризиків в інвестиційному проекті.

2.2.5 Інтелектуальний штурм

Ще одним методом експертного оцінювання є інтелектуальний штурм. Досить часто саме інтелектуальний штурм використовується для визначення альтернативних цілей інвестиційного проекту. Інтелектуальний штурм- це групове обговорення з метою добути нові ідеї [5,с.12], варіанти вирішень проблеми. Інтелектуальний штурм часто називають також інтелектуальною атакою (мозковою атакою), методом генерування ідей. Характерною особливістю цього виду експертизи є активний творчий пошук принципово нових (інноваційних) рішень, коли відомі шляхи і способи рішень неприйнятні. Щоб активність експертів не згасала, категорично забороняється критика їх висловів.

Експерти представляють групу до 20-25 осіб, в яку включаються фахівці з вирішуваної проблеми і люди з широкою ерудицією і багатою фантазією, причому необов'язково добре проінформовані з даної проблеми.

Для проведення сеансу призначається ведучий, головне завдання якого керувати ходом обговорення поставленої проблеми. Ведучий на початку сеансу пояснює зміст і актуальність проблеми, правила її обговорення і пропонує для розгляду одну-дві ідеї.

Сеанс триває приблизно 40-45 хвилин без перерви. Для кожного окремого виступу надається 2-3 хв. За цей період експерти мають можливість висунути якомога більше нових, на перший погляд, фантастичних або розвинути висловлені ідеї, доповнивши і поглибивши їх. Важливою вимогою до виступів є конструктивний характер ідей і пропозицій. В процесі генерування ідей і їх обговорення пряма критика заборонена.

Виступи експертів фіксуються і після закінчення сеансу аналізуються, тобто групуються і класифікуються висловлені ідеї і рішення за різноманітними ознаками, оцінюється ступінь корисності і можливості реалізації. Через одну - дві доби після проведення сеансу експерти роблять оголошення про результати інтелектуального штурму, або знову повертаються до неї, якщо ще виникли нові ідеї і рішення.

Існує ряд різновидів інтелектуального штурму, в яких пропонується чергувати п'ятихвилинні штурми з обдумуваннями результатів, періоди генерації з дискусіями і груповим ухваленням рішень, застосовувати послідовні етапи висунення пропозицій і їх обговорення, включати до групу експертів "підсилювачів" і "опонентів" ідей і тому подібне.

2.2.6 Дискусія

Дискусіяшироко застосовується на практиці для обговорення проблем і шляхів їх рішення, аналізу різноманітних чинників і т.п. Для проведення дискусії формують групу експертів не більш, ніж з 20 осіб. Група управління проводить попередній аналіз проблеми дискусії, щоб чітко сформулювати завдання, визначити вимоги до експертів, їх відбору і методики проведення дискусії.

Сама дискусія набуває форми відкритого колективного обговорення проблеми, головне завдання - всесторонньо проаналізувати всі чинники, позитивні і негативні наслідки, проявити позиції і інтереси учасників. В ході дискусії дозволяється критика.

Велику роль в дискусії грає ведучий. Від його уміння створити творчу, доброзичливу атмосферу, чітко виступити з постановкою проблеми, стисло і глибоко резюмувати виступи і, головне, уміло направити хід дискусії на вирішення проблеми, від чого істотним чином залежить ефективність результатів обговорення.

Результати дискусії фіксуються. Коли дискусія закінчена, аналізуються ці записи для чіткішого відображення основних результатів, виявлення різних думок. Приблизно через добу після закінчення дискусії можна збирати додаткову інформацію від експертів[6, с. 56].

Після проведення опитування та отримання певної інформації необхідно узгодити думки експертів шляхом застосування якісних і кількісних методів обробки результатів групового експертного оцінювання.

 

2.3 Характеристики групи експертів

Характеристики групи експертів визначаються на підставі індивідуальних характеристик кожного експерта: компетентності, креативности, конформізму, відношення до експертизи, конструктивності мислення, колективізму, самокритичності.

Компетентність - це ступінь кваліфікації експерта в певній області знань, яку можна визначити, проаналізувавши діяльність фахівця, рівень і широту ознайомленості з досягненнями світової науки і техніки, міркування з приводу перспектив розвитку.

Для кількісного оцінювання ступеня компетентності використовують коефіцієнт компетентності, з урахуванням якого враховуються думки експерта.

Існує ряд методик визначення коефіцієнта компетентності за апріорними даними [5; 7]. Простою є методика оцінювання відносних коефіцієнтів компетентності за результатами висловів фахівців про склад експертної групи. За результатами їх опитування складають матрицю з елементами:

(2)

Згідно цієї матриці обчислюють коефіцієнт компетентності і -ro експерта, як відносна вага цього експерта:

, і =1, m, j =1, m (3)

де m - кількість експертів (розмірність матриці).

Коефіцієнти компетентності нормовані так, що їх сума рівна одиниці:

(4)

Креативність - це здатність вирішувати творчі задачі. На сьогодні окрім якісних думок, які грунтуються на вивченні діяльності експертів, немає жодного точного способу оцінювання цієї характеристики.

Конформізм - це здатність впливу авторитетів. У загальному випадку конформізм може виявлятися під час проведення експертизи у вигляді відкритих дискусій. Думки авторитетів пригнічують здібності осіб, які мають високий ступінь конформізму, можливість проявити власне відношення до проблеми.

Відношення до експертизи - дуже важлива характеристика якості експерта при вирішенні даної проблеми. Негативне або пасивне відношення фахівця до тієї або іншої проблеми, обумовлене зайнятістю і іншими чинниками, істотним чином відбивається на виконанні експертами своїх функцій. Тому участь в експертизі повинна розглядатися як планова робота.

Конструктивність мислення - це прагматичний аспект мислення. Експерт має можливість пропонувати рішення, коментуючи їх практичними властивостями. Облік реальних варіантів вирішуваної проблеми - дуже важливий чинник при проведенні експертного оцінювання.

Колективізм - це чинник, який повинен враховуватися при проведенні відкритих дискусій. Етика поведінки людини в колективі істотним чином впливає на створення позитивного психологічного клімату і на успішність вирішення проблеми.

Самокритичність експерта виявляється при самооцінці ступеня своєї компетентності, а також при ухваленні рішення з даної проблеми.

Перераховані характеристики експертів досить повно описують важливі якості, які впливають на результати експертизи. Частина характеристик експертів оцінюється позитивно, а частина - негативно. Виникає проблема узгодження характеристик і вибору експертів з урахуванням суперечностей щодо їх якостей. Часто достовірність оцінок експерта кількісно можна оцінити за формулою:

(5)

 

де - кількість випадків, коли i -й експерт надав оцінку, прийнятність якої підтвердилася практикою;

N - загальна кількість випадків участі i -гo експерта у вирішенні проблеми.

Частина внеску кожного експерта в достовірність оцінок всієї групи визначається:

= ,

де m - кількість експертів в групі (у знаменнику маємо середню достовірність групи експертів).

 

2.4 Організація експертного оцінювання

Першим етапом організації робіт з використання експертного оцінювання є підготовка ти видання відповідного документу з управління, в якому сформульована мета роботи та основні положення з її досягнення. В цьому документі мають бути відображені наступні питання: постановка задачі-експеримента, мета експерименту, обумовлення необхідності експеримента, терміни виконання робіт, задачі та склад групи управління, обов’язки та права групи, фінансове та матеріальне забезпечення робіт.

Для підготовки цього документу, а також для управління всією роботою призначається керівник експертизи. На нього покладається формування групи управління та відповідальність за організацію її роботи.

Після формування група управління виконує роботу по підбору експертної групи приблизно в такій послідовності:

· уникнення в суть проблеми, що розв’язується;

· визначеня кола областей діяльності, пов’язанних з проблемою;

· визначення дольового складу експертів з кожного виду діяльності;

· визначення кількості експертів в групі;

· складання попереднього списку експертів з урахуванням їх місцязнаходження;

· аналіз якості експертів та уточнення списку експертів в групі;

· отримання згоди експертів на участь в роботі;

· складання кінцевого списку експертної групи.

Паралельно з процесом формування групи експертів група управління проводить розробку організації та методики опитування експертів. При цьму розв’язуються наступні питання:

· місце та час проведення опитування;

· кількість та задачі турів опитування;

· форма проведення опитування;

· порядок фіксації та збору результатів опитування;

· склад необхідних документів.

Наступним етапом роботи групи управління є визначення організації та методики обробки даних опитування. На даному етапі необхідно визначити задачі та строки обробки, процедури та алгоритми обробки, сили та засоби для проведення обробки.

В процесі безпосереднього проведення опитування експертів та обробки його результатів група управління виконує комплекс робіт у відповідності з розробленим планом, корегуючи його по мірі необхідності за змістом, термінам та забезпеченню ресурсами.

Останнім етапом робіт для групи управління є оформлення результатів роботи. На цьому етапі виконується аналіз результатів експертного оцінювання, складання звіту, обговорення та схвалення результатів, представлення результатів роботи на затвердження, ознайомлення з результатами експертизи організацій та осіб.

 

2.5 Відбір експертів

 

Для реалізації процедури експертного оцінювання необхідно сформувати групу експертів. Загальною вимогою при формуванні групи експертів є ефективне рішення проблеми експертизи. Ефективність рішення проблеми визначається характеристиками достовірності експертизи та витрат на її проведення.

Достовірність експертного оцінювання може бути визначена тільки на основі практичного рішення проблеми та аналізу її результатів. Використання експертів як раз і обумовлено тим, що відсутні інші способи отримання інформації. Тому оцінка достовірності експертизи може здійснюватись, як правило, тільки за апостеріорними (післядослідними) даними. Якщо експертиза проводиться систематично з приблизно одним і тим самим складом експертів, то з’являється можливість накопичення статистичних даних за достовірністю роботи групи експертів та отримання стійкої числової оцінки ефективності. Цю оцінку можна використати в якості апріорних даних про достовірність групи експертів для наступних експертиз.

Достовірність групового експертного оцінювання залежить від загального числа експертів в групі, дольового складу різних спеціалістів в групі, від характеристик експертів.

Визначення характеру залежності достовірності від перерахованих факторів є ще однією проблемою процедури відбору експертів.

Складною проблемою процедури відбору є формування системи характеристик експерта, що суттєво впливають на хід та результати експертизи. Ці характеристики мають описувати специфічні якості спеціаліста та можливі відносини між людьми, що впливають на експертизу. важливою вимогою до характеристик експерта є вимірюваність цих характеристик.

Ще однією проблемою є організація процедури відбору експертів, тобто визначення чіткої послідовності робіт, що виконуються в процесі відбору експертів та необхідних ресурсів для їх реалізації.

Максимальна кількість експертів в групі перевіряється на обмеження за фінансовими ресурсами. Визначивши залежність між достовірністю, кількістю експертів та витратами на оплату, група управління представляє керівництву цю інформацію та формулює можливі альтернативи рішень. Такими альтернативами можуть бути або зниження достовірності результатів експертного оцінювання до рівня, що забезпечує виконання обмеження за витратами на оплату експертів, чи збереження вихідної вимоги на достовірність експертизи та збільшення витрат на оплату експертів.

Наступним етапом роботи з відбору експертів є складання попереднього списку експертів. При складанні цього списку проводиться аналіз якостей експертів. Крім врахування якостей експертів, визначається їх місцезнаходження та можливості участі вибраних спеціалістів в експертизі. При оцінці якостей враховується думка людей, що добре знають кандидатів в експерти.

Після складання списку експертів їм направляються листи з запрошенням взяти участь в експертизі. В листах пояснюється мета проведення експертизи, її терміни, порядок проведення, обсяг роботи та умови оплати. До листів прикладаються анкети даних експерта та самооцінки компетентності. Отримавши відповіді експертів, група управління складає кінцевий список групи експертів.

Після складання та затвердження списку експертам відсилається повідомлення про включення їх в склад експертної групи. Якщо експертне оцінювання виконується методом анкетування, то одночасно з повідомленням про включення в експертну групу всім експертам висилається анкета з необхідними інструкціями для їх заповнення. Повідомленням експертам про включення їх в експертизу закінчується робота по відбору експертів.

 

2.6 Методи обробки експертної інформації

Після проведення опитування та отримання певної інформації необхідно узгодити думки експертів шляхом застосування якісних і кількісних методів обробки результатів групового експертного оцінювання.

Залежно від цілей експертного оцінювання під час обробки результатів виникають такі основні завдання:

• визначення узгодженості думок експертів;

• побудова узагальненої характеристики об'єктів;

• визначення залежності між думками експертів;

• визначення відносних важелів об'єктів;

• оцінювання надійності (ризиків) результатів експертизи.

Для того щоб процедура узгодження рішень реалізувалася ефективно, експертам які приймають в ній участь, необхідно запропонувати деякі правила, згідно яких і буде відбуватись пошук компромісу. На практиці частіше всього використовують наступні правила.

1. Метод ідеальної точки. Точка а є ідеальною, якщо вона оптимальна зразу по всім критеріям. Звичайно, такої точки, що відповідатиме хоча б одному представленому об’єкту, не існує, але правилом пошуку компромісу може бути мінімізація відстані до ідеальної точки, яка легко визначається. Таким чином, задамо для всіх точок , що характеризують оцінки об’єкта, функцію, що є евклідовою відстанню між точками а і :

, де - розмірність простору. Рішення зводиться до рішення звичайної однокритеріальної задачі оптимізації

2. Метод уступок визначається як знаходження компромісу, шляхом визначення так званої „плати” за втрату показників по будь-якому критерію або частини критеріїв за рахунок виграшу по іншому критерію чи іншим критеріям.

3. Метод узгодження рішення по головному критерію. В деяких випадках задачу з декількома показниками можливо звести до задачі з одним єдиним показником, і прагнути обернути її в екстремум, а для інших показників ввести деякі обмеження. Тоді проблема узгодження зводиться до: виділення головного критерію, узгодженості обмежень для всіх інших критерій, знаходження компромісу по головному критерію.

4. Метод узгодження рішення при лексикографічному впорядкуванні. В тих випадках, коли можуть бути визначені важливості критеріїв, впорядкування можна проводити спочатку по самому важливому критерію. Якщо по цьому критерію рівними виявляться декілька станів, то по другому по важливості критерію і т.д. Таким чином, при лексикографічному впорядкуванні спочатку шукають компроміс по головному критерію, потім, якщо необхідно по другому і т.д.

5. Метод узгодженості по функції корисності. Функцію корисності в просторі критеріїв звичайно задають так, що < тоді і тільки тоді, коли варіант у переважає варіант х. Функція , як правило, задається емпірично частіше всього в вигляді таблиці або лінійної згортки

,

що дозволяє варіювати вагові коефіцієнти .