Вплив на результати експертизи складу експертів

Тестування. При формуванні експертної групи доцільно провести тестування, взаємооцінювання експертів і перевірку узгодженості вражень і думок, а також само оцінювання. Само оцінювання полягає в тому, що кожний із членів групи у жорстко обмежений час відповідає на питання анкети, порівнює їх з відповідними відповідями і таким чином перевіряє свої знання, даючи собі оцінку. Практика показує, що експертні групи з високими самооцінками рідше помиляються в оцінці якості об’єктів. При взаємооцінюванні використовують ту ж саму методику, тільки експерти оцінюють один одного. Все це повинно забезпечувати необхідну узгодженість при оцінюванні властивостей реальних об’єктів. Для перевірки узгодженості думок експертів кожному з них пропонується дати оцінку Q_i певній властивості об’єкта.

Якщо оцінка певного експерта не є крайньою (найбільшою чи найменшою) в одержаному ряді оцінок, то кваліфікаційний рівень його можна вважати відповідним рівню комісії. У противному випадку, його оцінку вважають “протирічливою” груповій оцінці при довірчій імовірності 0,95 (або α = 0,05), якщо

,

де - середнє арифметичне значення оцінки;

S – середнє квадратичне відхилення індивідуальних оцінок в групі.

Значення коефіцієнта β для α = 0,05 приймають в залежності від кількості експертів у групі:

 

Число експертів
β	1,15	1,46	1,67	1,82	1,94	2,03	2,11	2,18

 

Приклад: У результаті опитування 10 спеціальних (m=10) одержані такі індивідуальні оцінки деякої властивості:

Q₁=10, Q₂=8, Q₃=15, Q₄=11, Q₅=13, Q₆=12, Q₇=9, Q₈=10, Q₉=8, Q₁₀=11.

Групова оцінка = (10+8+15+11+13+12+9+10+8+11) / 10 = 10,7.

Оцінюємо на протирічливість оцінку третього експерта, оцінка якого максимальна. Розрахунок СКВ дає S = 4,9; при α = 0,05 і m=10 β = 2,18. Оскільки 15 - 10,7 < 4.9 * 2.18, то оцінку третього експерта слід вважати протирічливою з імовірністю 0,95.

Більш достовірною оцінкою узгодженості думок групи експертів є коефіцієнт конкордації W, який являє собою загальний коефіцієнт рангової кореляції для групи.

Таке оцінювання проводять за кількісними оцінками деяких оцінками деяких властивостей (факторів), що впливають на кінцевий результат (якість).

Коефіцієнт конкордації розраховують за формулою:

,

де m – число експертів у групі;

n – число факторів, що оцінюються.

Коефіцієнт конкордації змінюється в діапазоні 0 <W<1,

де 0 – повна неузгодженість;

1 – повна одностайність.

Яка має бути чисельність експертної групи? Теоретично, ефективність групової оцінки зі збільшенням кількості експертів зростає. На практиці ж число експертів повинно бути від 7 до 20 осіб. Якщо кількість експертів менша за 7, то збільшується недостовірність групової оцінки, велика кількість експертів не підвищує ефективність оцінки, а приводить до виникнення зайвих дебатів.