Определение степени согласия экспертов.

 

Работая в группе, эксперты не должны это делать как «лебедь, рак и щука». Их действия, поведение всегда должны преследовать общую цель – выработать наиболее рациональное решение по поставленной проблеме в условиях относительной неопределенности.

А это значит, что на каждом шаге экспертизы информация о позициях, занимаемых каждым членом экспертной группы относительно остальных, должна способствовать повышению степени согласованности мнений экспертов.

Существуют определенные критерии единодушия, которые на основе статистики позволяют экспертам принимать более последовательные решения. С помощью этих критериев их области допустимых отклонений могут быть установлены заранее с любой степенью достоверности. Это критерии:

- надежности;

- точности;

- степени согласия.

 

Надежность показывает, как часто эксперт составляет

правильный прогноз. Она характеризуется отношением числа правильных ответов к общему числу данных им ответов.

Степень надежности прогноза эксперта определяется частотой случаев, когда он, располагая несколькими возможными гипотезами, приписывает большую вероятность той из них, которая, в конечном счете, оказалась верной (!!!).

 

Точность определяет отклонение прогноза эксперта от правильного ответа или «наилучшей оценки» измеряемой переменной. Она показывает, насколько предсказания каждого из экспертов отличаются от «истины» (м.б. среднего значения).

Оценка надежности и точности прогнозов эксперта требуется для определения достоверности его экспертизы. Приведем тривиальные примеры:

1. прежде чем воспользоваться услугами гадалки, предсказывающей судьбу «по руке» или с помощью «магического кристалла», любой здравомыслящий человек сначала узнает, можно ли ей доверять, каков процент ее правильных предсказаний?

2. желая поправить свое материальное положение, человек с большим бы желанием и рвением играл в азартные игры, если бы знал, что у него есть пусть не 100% - ые, но достаточно высокие шансы получить большой выигрыш.

 

Степень согласия отражает величину сходимости, совпадения

мнений экспертов, относительную «тесноту» их оценок или прогнозов. Можно утверждать, что чем выше степень согласия демонстрируют эксперты на каждом этапе экспертизы, тем выше доверие к ним, тем выше результативность экспертизы.

 

Существуют несколько методов определения степени согласия.

На практике хорошо себя зарекомендовали т.н. методы ранговой корреляции. Они разработаны английским ученым М. Дж. Кэндэллом

относительно недавно, в начале 60-ых годов прошлого столетия. Слово «корреляция» означает взаимосвязь, взаимозависимость, соотношение, соответствие величин, явлений, понятий.

Рассмотрим наиболее распространенные из этих методов:

1. метод ранговой корреляции с использованием коэффициента

соответствия (конкордации);

2. метод парных сравнений (предпочтений ) с использованием

коэффициента согласия;

3. метод S – R соответствия с использованием коэффициента

соответствия.

 

Остановимся подробнее на этих методах.

 

7.1. Метод ранговой корреляции.

 

Он достаточно эффективно используется тогда, когда необходимо достичь согласия при ранжировании нескольких объектов экспертизы (факторов).

Изначально всеми экспертами составляется таблица оценок факторов. (см. Таблицу 4.4.)

Величина оценки соответствует номерам (рангам) объектов в порядке их предпочтения (значимости) с позиции каждого эксперта.

 

Таблица 4.4.

Экспертные оценки факторов.

Объекты Эксперты

 

Сумма оценок, поставленных всеми экспертами, составит:

 

 

где: n - число оцениваемых объектов (факторов);

m - число экспертов.

 

Средняя суммарная оценка равна:

 

 

Можно вычислить отклонение ∆ _i суммы оценок по каждому фактору, данных всеми наблюдателями от величины , т.е.:

 

и найти сумму квадратов отклонений:

 

 

S максимально тогда, когда все эксперты дают одинаковые оценки. Тогда:

 

S_max=1/12*n*m²*(n²-1)

 

С учетом этого коэффициент соответствия будет равен:

 

W=S/S_max

 

Однако чаще W рассчитывают по следующей формуле:

 

 

Это справедливо, если оценки (ранги) эксперта не имелисовпадений по разным факторам.

При W=1 говорят, что существует полная согласованность во мнениях экспертов. Они дали одинаковые оценки и продемонстрировали полное совпадение своих взглядов по обсуждаемой проблеме.

При W=0 никакой согласованности во мнениях экспертов нет (!!!).

Малое значение W указывает на существенные разногласия между экспертами.

 

Если какой-либо эксперт не смог четко установить различие между несколькими факторами и присвоил им одинаковые оценки (ранги), то пользуются другой формулой расчета коэффициента конкордации:

,

 

где: ,

 

а t_j – число повторений каждого ранга в j-ом ряду.

 

Для (n!)^m возможных сочетаний оценок объектов экспертизы можно рассчитать распределение частот коэффициента W в предположении, что между экспертами не существует согласия относительно ранжирования объектов по определенному признаку.

 

Чтобы оценить значимость коэффициента конкордации W при большом числе n, используют распределение χ ² при v=n-1 степенях свободы:

 

 

Для оценки значимости коэффициента конкордации необходимо и достаточно, чтобы найденное χ ² было больше табличного χ ² (см. ниже), определяемого числом степеней свободы v и уровнем доверительной вероятности p, равной обычно 0,95 - 0,99.

Таблица 4.5.

Значения χ ² в зависимости от числа степеней свободы

и доверительной вероятности

 

Число степеней свободы K=(n-1)	Доверительная вероятность	Число степеней свободы K=(n-1)	Доверительная вероятность
0,05	0,01	0,001	0,05	0,01	0,001
	3.84	6.63	10.83		26.30	32.00	39.25
	5.99	9.21	13.81		27.59	33.41	40.79
	7.81	11.34	16.27		28.87	34.80	42.31
	9.49	13.28	18.46		30.14	36.19	43.82
	11.07	15.09	20.52		31.41	37.57	45.31
	12.59	16.81	22.46		32.67	38.93	46.80
	14.07	18.47	24.32		33.92	40.29	48.27
	15.51	20.9	26.12		35.17	41.63	49.73
	16.92	21.67	27.88		36.41	42.98	51.18
	18.31	23.21	29.59		37.65	44.31	52.62
	19.67	24.72	31.26		38.88	45.64	54.05
	21.03	26.22	32.91		40.11	46.96	55.48
	23.37	27.69	34.53		41.34	48.28	56.89
	23.68	29.14	36.12		42.56	49.59	58.30
	25.00	30.58	37.70		43.77	50.89	59.70