Отримання та аналізування експертних оцінок

Способи отримання експертних оцінок

Досліджувані об’єкти можуть оцінюватись як у кількісній, так і

порівняльній шкалі. Кількісні оцінки характеризують тотожну якість. Їх

доцільно використовувати у тому випадку, коли є сенс оцінювати об’єкти за

принципом: на скільки або у скільки разів вимірювана характеристика одного

об’єкта різниться від іншого.

Кількісні оцінки експертів використовуються при наявності

об’єктивних, більш-менш точно сформульованих критеріїв і певних еталонів

визначення величини бала оцінки. Чим точніше визначені межі відхилення

від еталону, тим більше довіри до таких оцінок. Прикладом є оцінка за тест в

залежності від кількості правильних відповідей.

Результатом такого оцінювання є матриця бальних оцінок експертів:



























m m mn

n

n

x x x

x x x

x x x

X

...

...

...

...

1 2

21 22 2

11 12 1

, (9.1)

де xij – бальна оцінка вимірюваної властивості для i-того об’єкта j-тим

експертом, i=1,2,…,m; j=1, 2, …, n.

Однак зазвичай буває важно визначити точне значення бальної оцінки

для вимірюваної характеристики, особливо у випадку відсутності не лише

загальноприйнятих еталонів, але й єдиного об’єктивного критерію,

суб’єктивним віддзеркаленням якого є оцінка. Людині набагато простіше

надати якісну, порівняльну оцінку, ніж точну кількісну. В таких випадках

порівняння об’єктів виконується за принципом: «більше-менше» або «краще-

гірше», тобто, для порівняння використовується порядкова (рангова) шкала.

Прикладом є оцінювання споживчої якості товару.

Ще одним підходом до оцінювання характеристики об’єктів є

ранжування: упорядкування множини об’єктів відповідно до зменшення

значущості вимірюваної характеристики (допускається можливість

рівнозначимості). Прикладом ранжування є визначення призерів будь-якого

конкурсу. Ранжування можна тлумачити як оцінювання за ранговою шкалою:

рангом об’єкта, тобто оцінкою, можна вважати номер місця, яке займає цей

об’єкт в нумерації. Експерт надає кожному досліджуваному об’єкту номер

натурального ряду 1; 2;..., п в залежності від результатів зіставлення

досліджуваної ознаки в різних об’єктів. Ступінь прояву (міра) ознаки

визначається експертом суб’єктивно з урахуванням досвіду, знань і

припущень. При цьому зазвичай менший номер рангу відповідає об’єкту з

більш вираженою властивістю, що оцінюється.

Якщо кільком об’єктам надано тотожні номери (тобто такі об’єкти

мають рівну міру якості за оцінкою експерта), після ранжування необхідно

виконати стандартизацію рангів. Якщо s об’єктів за ранговою шкалою

одержали номери r1,r2,...,rs

, то таким об’єктам надається стандартизований

ранг

s

r

, рівний середньому арифметичному номерів, які вони одержали:

s

r r r

r

s

s

... 1  2 

. (9.2)

Наприклад, чотири об’єкти з номерами 5, 6, 7, 8 є рівнозначними за

оцінками експерта. Тоді вони отримують однаковий стандартизований ранг:

6,5

5 6 7 8



  

ns

.

Відповідні об’єкти називаються об’єктами з пов’язаними рангами. Ця

властивість впливає на розрахунок характеристик результатів експертного

оцінювання. В результаті отримується матриця рангів:



























m m mn

n

n

r r x

r r r

r r r

R

...

...

...

...

1 2

21 22 2

11 12 1

, (9.3)

де rij – ранг i-того об’єкта, вказаний j-тим експертом, i=1,2,…,m; j=1, 2, …, n.

При ранжуванні об’єктів також користуються таким видом

оцінювання, як попарне порівняння: визначають перевагу одного об’єкта над

іншим у кожній парі (визначають також ситуацію їх рівноцінності або

неможливість порівняння). В такому випадку отримується n матриць

попарних порівнянь A1, A2, …, An (по кількості експертів) розмірності m×m.

Елементи матриці Aj для j-того експерта визначаються за правилом:











 

0,,

1,,

1,,

i j

i j

i j

j

ik

O O

O O

O O

a





, (9.4)

де

j

ik a – оцінка зіставлення i-того Oi

і k-того Ok об’єктів j-тим експертом. Вона

дорівнює 1, якщо об’єкт Oi переважає (



) або рівнозначний (



) k-тому

об’єкту Ok

, і дорівнює 0 у протилежному випадку, i, k =1, 2,…, m; j=1, 2,…, n.

Отже, матриці попарних порівнянь містять лише нулі або одиниці. Таке

подання вихідних даних після відповідного опрацювання дозволяє отримати

узагальнене ранжування об’єктів.

Метод попарного порівняння використовується як у тих випадках, коли

важко або неможливо оцінити відношення в бальній або ранговій шкапах, так

і тоді, коли є в наявності рангові оцінки експертів, подані у вигляді матриці R

вигляду (9.3).

Опрацювання експертних оцінок

Після проведення опитування групи експертів здійснюється обробка

результатів. Метою обробки є отримання узагальнених даних і нової

інформації, що міститься в прихованій формі в експертних оцінках. Залежно

від цілей експертного оцінювання при обробці результатів опитування

виникають такі основні завдання:

 визначення узагальненої оцінки об’єктів та побудова їх узагальненої

ранжировки;

 визначення компетентності експертів;

 визначення узгодженості думок експертів.

При кількісному підході і отриманні матриці оцінок X вигляду (9.1)

узагальнені оцінки об’єктів за умови, що експерти мають однакову

компетентність, можна розрахувати як середні:





n

j

i ij x

n

x

, (9.5)

де xi – узагальнена оцінка i-того об’єкта, i=1, 2, …, m.

На основі отриманих середніх оцінок відбувається ранжування об’єктів

відповідно до впорядкування цих оцінок за спаданням (зростанням, в

залежності від сенсу оцінки).

Якщо бажано або необхідно врахувати компетентність, об’єктивність,

інформованість експертів, то вводяться так звані вагові коефіцієнти

компетентності qj для кожного j-того експерта. Тоді групова оцінка xi

i-того

об’єкта обчислюється за формулою:





n

j

i j ij x q x

, (9.6)

Якщо оцінювання здійснюється одразу за декількома кількісно

вимірюваними показниками, то експертна оцінка визначається показником з

трьох індексів: xijk – оцінка i-того об’єкта j-тим експертом за k-тою ознакою

(показником), k=1, 2, …, s. Для розрахунку узагальненої оцінки кожного

об’єкта потрібно також врахувати ще одну величину: zkj – оцінку значущості

k-тої ознаки j-тим експертом. Тоді узагальнена оцінка значущості k-тої

ознаки zk обчислюється за формулою:





n

j

k j kj z q z

, (9.7)

Узагальнена оцінка xi

і-того об’єкта з урахуванням (9.7) запишеться у

вигляді:

   



n

j

s

k

i j k ijk x q z x

1 1

(9.8)

Для визначення коефіцієнтів компетентності експертів можна

використати метод самооцінки. Розглянемо матрицю самооцінки Y, елементи

якої визначаються за правилом:









0, в іншому випадку,

1, якщо j- тий експерт обравi - того,

ij y. (9.9)

Тоді коефіцієнт компетентності i-того експерта визначається за

формулою:





 



 n

k

n

j

kj

n

j

ij

i

y

y

q

1 1

, (9.10)

де i=1, 2, …, n.

Тобто, коефіцієнт компетентності розраховується як частка експертів,

що висловилися за включення i-того експерта до списку експертної групи. Ці

величини є нормованими, отже їх сума дорівнює одиниці.

Наведений підхід до знаходження узагальненої оцінки об’єктів за

формулами (9.5)-(9.8) на основі даних, представлених у порядковій шкалі у

вигляді матриці R вигляду (9.3) використовувати взагалі кажучи не можна.

Оскільки для даних, поданих в порядковій шкалі, відсутня операція

додавання рангів. Не поглиблюючись в теоретичні викладки, зауважимо, що

для порядкових шкал в якості середньої величини можна використовувати

медіану (при непарній кількості експертів). При парній кількості експертів

більш доцільним є використання одного з двох центральних елементів

відповідного варіаційного ряду – лівої або правої медіани. Отже, для

отримання узагальненої оцінки об’єктів та їх ранжування потрібно знайти

медіанне значення експертних оцінок і далі побудувати нові ранги за цими

значеннями.

Обчислення коефіцієнтів компетентності експертів та узагальненої

оцінки досліджуваних об’єктів з урахуванням компетентності експертів на

основі апостеріорної інформації, поданої у вигляді матриці X вигляду (9.1),

можна проводити за наступними рекурентними співвідношеннями:

x x q i m

n

j

t

ij j

t

i

, 1,2,...,

() (1)

  





, (9.11)

 

 

m

i

n

j

t

ij j

t

x x

1 1

() ()

, (9.12)

q x x j n

m

i

t

ij i t

t

j

, 1,2,...,

()

()

()





 

, (9.13)

де t=1, 2, … Початкові значення коефіцієнтів компетентності експертів

вважаються рівними:

j n

n

qj

, 1,2,...,

(0) 1

 .

Провівши перетворення, в матричному вигляді залежності (9.11) та

(9.13) запишуться так:

(1)

(1)

() 1 







t

t

t E BE, (9.14)

(1)

()

() 1 





t

t

t Q CQ, (9.15)

де E

(t)

– вектор узагальнених оцінок об’єктів на кроці t, Q

(t)

– вектор

коефіцієнтів компетентностей експертів на кроці t, B=[XXT

], C==[X

TX], X–

матриця вихідних експертних оцінок об’єктів.

При

t 

формули (9.14) та (9.15) приймуть вигляд (з певною

модифікацією):

BE  B E, (9.16)

CQ  CQ. (9.17)

Тобто, компоненти векторів E та Q можна знайти як власні вектори

матриць B та C, що відповідають першим (найбільшим за модулем) власним

значенням відповідних матриць.

В тому випадку, коли вихідні експертні дані задані у вигляді матриць

попарних порівнянь, узагальнене ранжування об’єктів визначається як така

матриця парних порівнянь A*, яка найкраще узгоджується з матрицями

парних порівнянь експертів. Її елементи можуть бути побудовані на основі

медіани Кемені, яка визначається за правилом:

   

 

n

j

m

i

m

k

ik

j

ik

a

aij a a

ik 1 1 1

* ()

argmin. (9.18)

Елементи матриці A*, що задовольняють умову (9.18), знаходяться за

правилом:

























,

0,

,

1,

*

n

a

n

a

a

ik

ik

ik

, (9.19)

де i, k=1, 2, …, m.

Елементи



ik a

матриці A

Σ

розраховуються як кількість суджень

експертів, які надали перевагу i-того об’єкта k-тому:







n

j

j

aik aik

()

. (9.20)

За значеннями матриці A* здійснюється узагальнене ранжування

вихідних об’єктів, що підлягали експертному оцінюванню. Якщо такий

висновок здійснити неможливо внаслідок суперечностей в ранжуванні,

необхідно виконати транзитивне замикання матриці A*, виконавши логічне

множення цієї матриці на саму себе з урахуванням правил підсумовування та

множення нульових елементів (00=0, 01=1, 11=1; 00=0, 01=0, 11=1).

Процедура логічного множення завершується, коли отримана на черговому

кроці матриця повністю співпадає з попередньою.

Коефіцієнт конкордації

При оцінці об’єктів експерти зазвичай розходяться в думках з

вирішувати питання. У зв’язку з цим виникає необхідність кількісної оцінки

ступеня згоди експертів. Оцінка узгодженості думок експертів ґрунтується на

використанні поняття компактності. Оцінка кожного експерта

представляється як точка в деякому просторі, в якому введено поняття

відстані. Якщо оцінки експертів знаходяться на невеликій відстані один від

одного, то можна це інтерпретувати як хорошу узгодженість суджень

експертів. Якщо ж точки розкидані в просторі на великій відстані, то

узгодженість є невисокою.

При використанні кількісних шкал вимірювання та оцінки об’єкта

всього за одним критерієм думки групи експертів можна представити як

точки числової осі. Ці значення можна розглядати як реалізації випадкової

величини. Тоді центр угруповання точок можна розглядати як математичне

сподівання, а розкид кількісно оцінюється дисперсією випадкової величини.

При вимірюванні об’єктів в порядкової шкалою узгодженість оцінок

експертів у вигляді ранжировок або парних порівнянь об’єктів також

ґрунтується на понятті компактності. Для цього зазвичай використовується

міра узгодженості думок експертів – дисперсійний коефіцієнт конкордації

(коефіцієнт згоди).

Розглянемо матрицю R вигляду (9.3) результатів ранжування m

об’єктів групою з n експертів.

Підсумовуючи ранги по кожному рядку, одержимо сумарний ранг

кожного об’єкта:





n

j

i ij r r

, (9.21)

i=1, 2, …, m.

Розглядаючи величини ri як реалізації випадкової величини, знайдемо

оцінку її дисперсії. Як відомо, оптимальна за критерієм мінімуму середнього

квадрата помилки оцінка дисперсії визначається формулою:

(),

2 







m

i

i

r r

m

D

(9.22)

де

r – оцінка математичного сподівання, що дорівнює:

.





m

i

i

r

m

r

(9.23)

Дисперсійний коефіцієнт конкордації визначається як відношення

оцінки дисперсії до максимального значення цієї оцінки:

.

Dmax

D W 

(9.24)

Максимальне значення дисперсії дорівнює:

.

()

()

12 1

2 3

max







m

n m m

D

(9.25)

Введемо позначення:

 



 

m

i

i S r r

(9.26)

Тоді коефіцієнт конкордації буде мати вигляд:

.

()

2 3

12 S

n m m

W





(9.27)

Якщо у ранжуванні є пов’язані ранги, то максимальне значення

дисперсії в знаменнику формули (9.27) стає меншим, ніж за їх відсутності. В

такому випадку коефіцієнт конкордації обчислюється за формулою:

,

()

2 3



 

 n

j

n m m n Tj

S W

(9.28)



 

H j

k

Tj hkj hkj

(), (9.29)

де Tj – показник пов’язаних рангів у j-тому ранжуванні;

Hj – кількість груп рівних рангів у j-тому ранжуванні;

hkj – кількість рівних рангів у k-й групі пов’язаних рангів при

ранжуванні j-тим експертом.

Якщо співпадаючих рангів немає, то Hj=0, hkj=0, отже Tj=0. У цьому

випадку формула (9.28) збігається з формулою (9.27).

Коефіцієнт конкордації змінюється від 0 до 1. Він дорівнює 1, якщо всі

ранжування експертів є однаковими, й дорівнює 0 в протилежному випадку.

Вважається, що при W≥0,7 ступінь узгодженості думок експертів є

високим; при 0,5≤W<0,7 узгодженість думок є задовільною; при W<0,5 –

узгодженість думок є низькою.

Величина W, що обчислюється за формулами (9.27) або (9.28), є

оцінкою істинного значення коефіцієнта конкордації і, отже, є випадковою

величиною. Тому необхідним є оцінювання значимості коефіцієнта

конкордації, яке може бути здійснене за критерієм 

. При цьому вважається,

що величина n(m-1)W має 

-розподіл з m-1 ступенями вільності. Отже,

розрахункове значення критерію 

при наявності пов’язаних рангів

визначається за формулою:

  

  

    n

j

j

емп

T

m

n m m

S

n m W

()

()

(1)

. (9.30)

Критичне значення критерію визначається за рівнем значущості α та

кількістю ступенів вільності ν =m–1. Якщо 

емп >

кр(α, ν), то гіпотеза про

значущість коефіцієнта конкордації, а, отже, і узгодженість думок експертів,

приймається. В іншому випадку гіпотеза відхиляється.

Примітка. Зазвичай критерій 

2 рекомендується використовувати, якщо

кількість оцінюваних об’єктів m≥7.

Оцінювання залежності між ранжуваннями експертів

При обробці результатів ранжування можуть виникнути задачі

визначення залежності між ранжуваннями двох експертів, між досягненнями

двох різних цілей або між двома ознаками. Мірою такого взаємозв'язку може

служити коефіцієнт рангової кореляції. Характеристикою взаємозв'язку

множини ранжувань або цілей буде матриця коефіцієнтів рангової кореляції.

Найбільш відомими коефіцієнтами рангової кореляції є коефіцієнт Спірмена

та коефіцієнт Кендалла.

Коефіцієнт рангової кореляції Спірмена визначається за формулою:

3 1 2

()

1 





  

m

j

j j

r r

m m

, (9.31)

де m – кількість об’єктів ранжування, r1j, r2j – ранги в першій і другій

ранжировках відповідно.

Коефіцієнт  змінюється від –1 до +1. Рівність одиниці досягається при

однакових ранжировках, тобто коли, r1j=r2j

j 1,m

. Значення –1 має місце

при протилежних ранжировках (пряма й обернена ранжировки). При =0

ранжировки вважаються лінійно незалежними.

Для оцінювання значущості коефіцієнта кореляції Спірмена можна

використовувати критерій Стьюдента. Розрахункове (емпіричне) значення

критерію обчислюється за формулою:





 

m

t

емп

. (9.32)

Емпіричне значення критерію порівнюється з критичним, обчисленим

для значущості α та кількості ступенів вільності ν =m–2. Якщо емпіричне

значення перевищує критичне, гіпотеза про значущість коефіцієнта

кореляції, а отже, і про наявність залежності між експертними оцінками,

приймається.

Якщо в ранжировках є пов'язані ранги, то коефіцієнт Спірмена

обчислюється за формулою:

,

(2) 2)

~

1 2

1 2

1 T 1 T

T T

 

  

 

(

(9.33)

де  – оцінка коефіцієнта, обчислена за формулою (9.31), а величини Т1 і Т2

дорівнюють:









1 3 1

()

2()

H

i

i

i

h h

m m

T (9.34)









2 3 2

()

2()

H

i

i

i

h h

m m

T (9.35)

У цих формулах H1 і H2 – кількості груп зв'язаних рангів у першій і

другій ран жировках, відповідно h1i

і h2i – кількості зв’язаних рангів кожної

групи.

Приклад.

Матриця кількісних експертних оцінок деякої властивості

п’яти об’єктів шістьма експертами за бальною шкалою цілих

значень від 1 до 6 задана матрицею X, значення якої наведено в

таблиці 9.1. Більше значення оцінки відповідає кращому прояву

властивості.

Таблиця 9.1 – Матриця Х – значення експертних оцінок п’яти

об’єктів шістьма експертами

Об’єкти

Експерти

E1 E2 E3 E4 E5 E6

O1 5 4 6 2 3 4

O2 4 6 3 3 3 1

O3 3 5 2 4 5 3

O4 2 1 2 3 2 4

O5 2 3 5 5 4 3

Розрахувати узагальнені оцінки об’єктів та проранжувати їх.

Скористаємось спочатку способом середньої оцінки. Оскільки

апріорна інформація про компетентність експертів відсутня,

вважаємо їх судження рівнозначними. Середній бал та ранг

кожного об’єкта наведені в таблиці 9.2.

Таблиця 9.2 – Результати ранжування об’єктів

Об’єкти Середній бал Ранг

O1 4,00 1

O2 3,33 4

O3 3,67 2,5

O4 2,33 5

O5 3,67 2,5

З наведених даних випливає наступний результат:

O1  O3  O5  O2  O4

.

Скористаємось тепер формулами (9.16) та (9.17) для

визначення узагальнених оцінок та коефіцієнтів компетентності

експертів. Значення матриць B та C наведені в таблицях 9.3 та 9.4.

Таблиця 9.3 – Значення матриці B=[XXT

]

106 81 82 54 86

81 80 78 39 71

82 78 88 49 80

54 39 49 38 52

86 71 80 52 88

Таблиця 9.4 – Значення матриці C=[XT

X]

58 67 62 50 54 47

67 87 69 64 69 50

62 69 78 60 61 56

50 64 60 63 61 50

54 69 61 61 63 50

47 50 56 50 50 51

Розрахувавши перші, найбільші за модулем, власні значення B

та C матриць В та С та відповідні їх нормовані значення власних

векторів, отримаємо:

E=(0,52; 0,44; 0,48; 0,29; 0,47),

Q=(0,39; 0,47; 0,44; 0,40; 0,41; 0,44).

Отже, ранжування об’єктів має вигляд:

O1  O3  O5  O2  O4

.

Нами встановлено, що, на відміну від попереднього результату,

третій об’єкті має незначну перевагу над п’ятим, хоча

відмінність за узагальненою оцінкою є незначною.

Скористаємось тепер значеннями коефіцієнтів

компетентності експертів Q як апріорними даними і перерахуємо

узагальнені оцінки об’єктів за формулою (9.6). результати

наведено в таблиці 9.5. Для покращення роздільної здатності

результатів узагальнені оцінки наведені з точністю до тисячних.

Таблиця 9.5 – Результати ранжування об’єктів з урахуванням

компетентності експертів

Об’єкти Середній бал Ранг

O1 1,637 1

O2 1,401 4

O3 1,503 2

O4 0,916 5

O5 1,501 3

Ранжування об’єктів має вигляд:

O1  O3  O5  O2  O4

, тобто,

воно співпало з попереднім.

Припустимо тепер, ті ж об’єкти були оцінені тією ж групою

експертів, але за ранговою шкалою. Відповідні результати

наведені в таблиці 9.6.

Таблиця 9.6 – Матриця R – результати ранжування п’яти об’єктів

шістьма експертами

Об’єкти

Експерти

E1 E2 E3 E4 E5 E6

O1 1 3 1 5 3,5 1,5

O2 2 1 3 3,5 3,5 5

O3 3 2 4,5 2 1 3,5

O4 4,5 5 4,5 3,5 5 1,5

O5 4,5 4 2 1 2 3,5

Як зазначалось раніше, використання середньої

арифметичної для обчислення узагальненої оцінки в даному випадку

неприпустимо, і необхідно скористатись медіаною. Оскільки в

даному випадку маємо парну кількість експертів, то для

розрахунку узагальненої оцінки розглянемо обидва варіанта, і ліву, і

праву медіани. Результати розрахунків наведені в таблиці 9.7.

Таблиця 9.7 – Результати ранжування об’єктів за медіанними

значеннями

Об’єкти Ліва медіана Ранг Права медіана Ранг

O1 1,5 1 3 1,5

O2 3 4 3,5 3,5

O3 2 2,5 3 1,5

O4 4,5 5 4,5 5

O5 2 2,5 3,5 3,5

Як бачимо, отримані результати відрізняються між собою.

При використанні лівої медіани маємо таке ранжування об’єктів:

O1  O3  O5  O2  O4

, що співпадає з результатом, отриманим за

середнім арифметичним значенням кількісних оцінок експертів.

При використанні правої медіани маємо таке ранжування

об’єктів:

O1  O3  O2  O5  O4

, що принципово відрізняється від інших

результатів.

Отже, вибір способу розрахунку узагальненої оцінки впливає

на кінцевий результат.

Побудуємо тепер матриці попарних порівнянь експертів на

основі отриманої раніше матриці R (таблиця 9.6). Результати

занесемо до таблиць 9.8-9.13.

Таблиця 9.8 – Матриця попарних порівнянь А1 першого експерта

Об’єкти O1 O2 O3 O4 O5

O1 1 1 1 1 1

O2 0 1 1 1 1

O3 0 0 1 1 1

O4 0 0 0 1 1

O5 0 0 0 1 1

Таблиця 9.9 – Матриця попарних порівнянь А2 другого експерта

Об’єкти O1 O2 O3 O4 O5

O1 1 0 0 1 1

O2 1 1 1 1 1

O3 1 0 1 1 1

O4 0 0 0 1 0

O5 0 0 0 1 1

Таблиця 9.10 – Матриця попарних порівнянь А3 третього експерта

Об’єкти O1 O2 O3 O4 O5

O1 1 1 1 1 1

O2 0 1 1 1 0

O3 0 0 1 1 0

O4 0 0 1 1 0

O5 0 1 1 1 1

Таблиця 9.11 – Матриця попарних порівнянь А4 четвертого

експерта

Об’єкти O1 O2 O3 O4 O5

O1 1 0 0 0 0

O2 1 1 0 1 0

O3 1 1 1 1 0

O4 1 1 0 1 0

O5 1 1 1 1 1

Таблиця 9.12 – Матриця попарних порівнянь А5 п’ятого експерта

Об’єкти O1 O2 O3 O4 O5

O1 1 1 0 1 0

O2 1 1 0 1 0

O3 1 1 1 1 1

O4 0 0 0 1 0

O5 1 1 0 1 1

Таблиця 9.13 – Матриця попарних порівнянь А6 шостого експерта

Об’єкти O1 O2 O3 O4 O5

O1 1 1 1 1 1

O2 0 1 0 0 0

O3 0 1 1 0 1

O4 1 1 1 1 1

O5 0 1 1 0 1

Далі розрахуємо елементи узагальненої матриці A

Σ

і на її

основі елементи матриці A*. Значення медіани Кемені становить в

даному випадку d=n/3=3. Результати представлені в таблицях

9.14 та 9.15.

Таблиця 9.14 – Матриця A

Σ

Об’єкти O1 O2 O3 O4 O5

O1 6 4 3 5 4

O2 3 6 3 5 2

O3 3 3 6 5 4

O4 2 2 2 6 2

O5 2 4 3 5 6

Таблиця 9.15 – Матриця A*

Об’єкти O1 O2 O3 O4 O5

O1 1 1 1 1 1

O2 1 1 1 1 0

O3 1 1 1 1 1

O4 0 0 0 1 0

O5 0 1 1 1 1

За результатами отриманої в таблиці 9.15 матриці A*

висновок зробити неможливо. Для обєкта О2 має місце така

ситуація:

О1≡О2≡О3,

О2<О5,

О1 > О5,

О3≡О5.

Отже, має місце суперечлива ситуація.

Тому потрібно провести транзитивне замикання матриці А*.

В даному випадку воно виконується за два кроки логічного

множення. Результат представлений в таблиці 9.16.

Таблиця 9.16 – Матриця A* після транзитивного замикання

Об’єкти O1 O2 O3 O4 O5

O1 1 1 1 1 1

O2 1 1 1 1 1

O3 1 1 1 1 1

O4 0 0 0 1 0

O5 1 1 1 1 1

Отримана матриця дозволяє зробити такий висновок:

O1  O2  O3  O5  O4

.

Даний результат принципово відрізняється від отриманих

раніше і співпадає лише в тому, що об’єкт O4 є найгіршим.

Розрахуємо значення коефіцієнта конкордації. Необхідні для

цього величини та розрахунки занесемо до таблиці 9.17

Таблиця 9.17 – Розрахунок коефіцієнта конкордації

E1 E2 E3 E4 E5 E6 ri

r

 

r r i  S

O1 1 3 1 5 3,5 1,5 15

O2 2 1 3 3,5 3,5 5 18 0

O3 3 2 4,5 2 1 3,5 16 4

O4 4,5 5 4,5 3,5 5 1,5 24 36

O5 4,5 4 2 1 2 3,5 17 1

Hj 1 0 1 1 1 2

0,1462

H1 2 0 2 2 2 2

H2 - - - - - 2

T1 6 0 6 6 6 6

T2 - - - - - 6

Отже. Коефіцієнт конкордації для наведених даних

становить W=0,1462. Це значення не є високим і свідчить про

низький ступінь узгодженості думок експертів.

Перевіримо значущість розрахованого коефіцієнта

конкордації за критерієм

. Емпіричне значення критерія.

Розраховане за формулою (.30) становить 

емп=3.51. Критичне

значення критерію, розраховане для рівня значущості α=0,05 і

кількості ступенів вільності ν=m-1=4 становить 

кр(0,05;4)=9.49.

Оскільки 

емп<

кр, гіпотеза щодо значущості думок експертів

відхиляється. Тобто, проведене експертне оцінювання об’єктів не

є надійним, і доцільно змінити групу експертів.