Обработка и анализ ранжировок

1. Ранговые корреляции. Здесь будут рассмотрены методы анализа экспертных оценок, получаемых в результате ранжирования n заданных объектов а ₁, а ₂,..., а_n. Каждый эксперт располагает эти объекты по убыванию предпочтений или уменьшению интенсивности некоторого признака и т.п. Полученные таким путем упорядоченные наборы объектов часто называют ранжировками. Каждой ранжировке соответствует вполне определенный квазипорядок R на множестве объектов A = { а ₁, а ₂,..., а_n }. Ранжировку можно задать матрицей смежности. Кроме того, в соответствии с каждой ранжировкой объектам можно приписать ранги.

В теории и практике экспертного оценивания рангом x_j объекта a_j принято считать номер места, которое он занимает в строгой ранжировке.

Ранжировки, указанные разными экспертами, в нетривиальных задачах, как правило, не совпадают. Поэтому возникает вопрос: как оценить степень соответствия мнений двух экспертов или, иначе говоря, как измерить тесноту связи между двумя указанными ими ранжировками?

В статистике зависимость между двумя переменными характеризуется коэффициентом корреляции. Применительно к рассматриваемому случаю оценки связи двух ранжировок такой коэффициент должен обладать следующими свойствами:

- если обе ранжировки полностью совпадают, т.е. если каждый объект занимает в них одно и то же место, то коэффициент равен +1 (это означает полную положительную корреляцию);

- если одна ранжировка противоположна другой, т.е. если в одной из них объекты расположены в обратном порядке по сравнению с другой, то коэффициент равен -1 (полная отрицательная корреляция);

- в остальных случаях значение коэффициент лежит между предельными значениями, причем возрастание его от -1 до +1 в некотором смысле характеризует увеличивающееся соответствие между двумя ранжировками.

Вид коэффициента корреляции зависит от того, как конкретизируется третье из указанных требований. Наиболее распространенными являются коэффициенты корреляции Кэндалла (t) и Спирмена (r).

Если мнения (точки зрения) двух экспертов близки, то указанные ими ранжировки будут мало отличаться от «истинной», и коэффициент корреляции окажется достаточно большим. Однако практически рассуждения приходится вести в обратном порядке: о близости мнений судить по корреляции ранжировок, которые эти мнения выражают. Поэтому встает вопрос; насколько надежно достаточно большое значение коэффициента корреляции характеризует близость мнений экспертов? Иначе говоря, действительно ли является полученное большое значение t следствием близости ранжировок к «истинной» или же оно получилось таким просто случайно?

Для решения поставленного вопроса используется подход, связанный с проверкой статистических гипотез. Предположим, что хотя бы один из экспертов полностью некомпетентен, и независимо от другого случайным образом («наобум») с одинаковой вероятностью 1/ n! указывает одну из n! возможных строгих ранжировок n объектов. При справедливости этого допущения (как говорят, нулевой гипотезы) коэффициент t оказывается случайной величиной.

2. Оценка согласованности экспертов. Пусть перед каждым из m членов экспертной группы поставлена задача строго ранжировать n заданных объектов а ₁, а ₂,..., а_n. В результате опроса будет получено n строгих ранжировок этих объектов. Полученные ранжировки можно представить соответствующими последовательностями рангов:

< x ₁₁, x ₁₂,..., x _{1 n} >,

< x ₂₁, x ₂₂,..., x _{2 n} >,

………………….

< x_{m 1}, x_{m 2},..., x_mn >

3. Получение групповой ранжировки. Если согласованность мнений всех членов экспертной группы достаточно высока, то можно обратиться к задаче построения групповой ранжировки, «осредняя» ранжировки, полученные от отдельных; экспертов.

Один из подходов к решению этой задачи состоит в том, чтобы групповой считать ранжировку, наиболее тесно коррелированную с обрабатываемыми m ранжировками.

4. Удаление «нестандартных» ранжировок и выделение подгрупп экспертов с близкими мнениями. Если степень согласованности группы невелика (и тем более, если она еще и не значима), то, обрабатывать совокупность всех ранжировок как единое целое бессмысленно. В этом случае целесообразно выделить отдельные «нестандартные» (наиболее отличающиеся от всех остальных) ранжировки и (или) выяснить вопрос о том, не распадается ли экспертная группа на несколько подгрупп, каждая из которых придерживается своей точки зрения. Если это так, то для каждой из подгрупп (а если нет - то для всей группы за вычетом «оригинальных» экспертов) следует получить «среднюю» ранжировку. А затем провести содержательный анализ причин наличия нескольких точек зрения и (или) появления «оригинальных» экспертов.

Строго научно обоснованных методов решения задачи о выделении «нестандартных» ранжировок и разделении экспертной группы на подгруппы пока не создано. Практически рекомендуется «нестандартными» считать ранжировки, которые достаточно далеко находятся от большинства, а подгруппы выделять так, чтобы согласованность входящих в них экспертов была достаточно высока и ранжировки» выражающие мнения этих подгрупп, были далеки друг от друга.