Глава 3. Обработка экспертных оценок

Задачи обработки

 

После проведения опроса группы экспертов осуществля­ется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получе­ние обобщенных данных и новой информации, содержа­щейся в скрытой форме в экспертных оценках. На осно­ве результатов обработки формируется решение проб­лемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости при­менения качественных и количественных методов обра­ботки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от клас­са проблем, решаемых экспертным оцениванием.

Все множество проб­лем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется до­статочный уровень знаний и опыта, т. е. имеется необ­ходимый информационный потенциал. При решении про­блем, относящихся к этому классу, эксперты рассмат­риваются как хорошие в среднем измерители. Под тер­мином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для об­работки результатов группового экспертного оценивания проблем первого класса можно успешно применять ме­тоды математической статистики, основанные на осред­нении данных.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевид­но, что применение методов осреднения результатов групповой экспертной оценки при решении проблем вто­рого класса может привести к большим ошибкам. По­этому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использую­щих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результа­тов опроса возникают следующие основные задачи:

1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;

2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

3) определение относительных весов объектов;

4) определение согласованности мнений экспертов;

5) определение зависимостей между ранжировками;

6) оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при груп­повом экспертном оценивании. Решение этой задачи за­висит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или неко­торой совокупности показателей. Желательно иметь чис­ленные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необхо­димо иметь оценки объектов, которые не только осуще­ствляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед дру­гим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных усло­виях можно решить путем обработки оценок экспертов.

Определение согласованности мнений экспертов про­изводится путем вычисления числовой меры, характери­зующей степень близости индивидуальных мнений. Ана­лиз значения меры согласованности способствует выра­ботке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мне­ний экспертов. Качественный анализ причин группиров­ки мнений позволяет установить существование различ­ных взглядов, концепций, выявить научные школы, опре­делить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать един­ство и различие в мнениях экспертов. Важную роль иг­рает также установление зависимости между ранжиров­ками, построенными по различным показателям сравне­ния объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевид­на. Например, если показателями сравнения являются различные цели, а объектами — средства достижения це­лей, то установление взаимосвязи между ранжировка­ми, упорядочивающими средства с точки зрения дости­жения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представ­ляют собой случайные объекты, поэтому одной из важ­ных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Обработка результатов экспертизы представляет со­бой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную свя­зано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгорит­мы обработки результатов экспертного оценивания.

 

Групповая оценка объектов

 

В данном параграфе рассмотрим алгоритмы обра­ботки результатов экспертного оценивания множества объектов. Пусть m экспертов произвели оценку n объек­тов по l показателям. Результаты оценки представлены в виде величин , где j – номер эксперта, i - номер объекта, h – номер показателя (признака) сравнения. Если оценка объектов произведена методом ранжирова­ния, то величины представляют собой ранги. Если оценка объектов выполнена методом непосредственной оценки или методом последовательного сравнения, то величины представляют собой числа из некоторого отрезка числовой оси, или баллы. Обработка результа­тов оценки существенно зависит от рассмотренных мето­дов измерения.

Рассмотрим случай, когда величины получены мето­дами непосредственной оценки или последовательного сравнения, т. е. являются числами, или баллами. Для получения групповой оценки объектов в этом случае можно (воспользоваться средним значением оценки для каждого объекта [12]

(5.1)

где - коэффициенты весов показателей сравнения объектов, - коэффициенты компетентности экспертов. Коэффициенты весов показателей и компетентности объ­ектов являются нормированными величинами [12]

(5.2)

Коэффициенты весов показателей могут быть опреде­лены экспертным путем. Если - коэффициент веса h -го показателя, даваемый j -м экспертом, то средний ко­эффициент веса h -го показателя по всем экспертам ра­вен [12]

(5.3)

Получение групповой экспертной оценки путем сум­мирования индивидуальных оценок с весами компетент­ности и важности показателей при измерении свойств объектов в кардинальных шкалах основывается на пред­положении о выполнении аксиом теории полезности фон Неймана-Моргенштерна как для индивидуальных, так и для групповой оценки и условий неразличимости объектов в групповом отношении, если они неразличимы во всех индивидуальных оценках (частичный принцип Парето). В реальных задачах эти условия, как пра­вило, выполняются, поэтому получение групповой оцен­ки объектов путем суммирования с весами индивидуаль­ных оценок экспертов широко применяется на практике.

Коэффициенты компетентности экспертов можно вы­числить по апостериорным данным, т. е. по результатам оценки объектов. Основной идеей этого вычисления яв­ляется предположение о том, что компетентность экспер­тов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.

Алгоритм вычисления коэффициентов компетентно­сти экспертов имеет вид рекуррентной процедуры [12]:

(5.4)

(5.5)

(5.6)

 

Вычисления начинаются с t =1. В формуле (5.4) началь­ные значения коэффициентов компетентности принима­ются одинаковыми и равными Тогда по фор­муле (5.4) групповые оценки объектов первого приближе­ния равны средним арифметическим значениям оценок экспертов [12]

(5.7)

Далее вычисляется величина по формуле (5.5) [12]:

(5.8)

и значение коэффициентов компетентности первого при­ближения по формуле (5.6) [12]:

(5.9)

Используя коэффициенты компетентности первого приближения, можно повторить весь процесс вычисле­ния по формулам (5.4), (5.5), (5.6) и получить вторые приближения величин

Повторение рекуррентной процедуры вычислений оце­нок объектов и коэффициентов компетентности естест­венно ставит вопрос о ее сходимости. Для рассмотрения этого вопроса исключим из уравнений (5.4), (5.6) пере­менные и и представим эти уравнения в вектор­ной форме [12]

(5.10)

где матрицы В размерности и С размерности равны [12]

(5.11)

Величина в уравнениях (5.10) определяется по фор­муле (5.5).

Если матрицы В и С неотрицательны и неразложи­мы, то, как это следует из теоремы Перрона – Фробениуса, при векторы и - сходятся к собственным векторам матриц В и С, соответствующим макси­мальным собственным числам этих матриц [12]

(5.12)

Предельные значения векторов х и k можно вычислить из уравнений [12]:

(5.13)

где максимальные собственные числа матриц В и С.

Условие неотрицательности матриц В и С легко вы­полняется выбором неотрицательных элементов мат­рицы Х оценок объектов экспертами.

Условие неразложимости матриц В и С практически выполняется, поскольку, если эти матрицы разложимы, то это означает, что эксперты и объекты распадаются на независимые группы. При этом каждая группа экс­пертов оценивает только объекты своей группы. Естест­венно, что получать групповую оценку в этом случае нет смысла. Таким образом, условия неотрицательности и неразложимости матриц В и С, а следовательно, и условия сходимости процедур (5.4), (5.5), (5.6) в практи­ческих условиях выполняются.

Следует заметить, что практическое вычисление век­торов групповой оценки объектов и коэффициентов ком­петентности проще выполнять по рекуррентным форму­лам (5.4), (5.5), (5.6). Определение предельных значе­ний этих векторов по уравнению (5.13) требует примене­ния вычислительной техники.

Рассмотрим теперь случай, когда эксперты произво­дят оценку множества объектов методом ранжирования так, что величины есть ранги. Обработка результа­тов ранжирования заключается в построении обобщен­ной ранжировки. Для построения такой ранжировки введем конечномерное дискретное пространство ранжи­ровок и метрику в этом пространстве. Каждая ранжи­ровка множества объектов j -м экспертом есть точка в пространстве ранжировок.

Ранжировку можно представить в виде матрицы парных сравнений, элементы которой определим следу­ющим образом [12]:

Очевидно, что , поскольку каждый объект эквива­лентен самому себе. Элементы матрицы антисим­метричны .

Если все ранжируемые объекты эквивалентны, то все элементы матрицы парных сравнений равны нулю. Та­кую матрицу будем обозначать и считать, что точка в пространстве ранжировок, соответствующая матрице , является началом отсчета.

Обращение порядка ранжируемых объектов приводит к транспонированию матрицы парных сравнений.

Метрика как расстояние между i -й и j -й ранжировками определяется единственным образом фор­мулой [12]

если выполнены следующие 6 аксиом [12]:

1. причем равенство достигается, если ранжировки и тождественны;

2.

3.

причем равенство достигается, если ранжировка «лежит между» ранжировками и . Понятие «лежит между» означает, что суждение о некоторой паре объектов в ранжировке совпадает с суждением об этой паре либо в , либо в или же в в а в

4.

где получается из некоторой перестановкой объ­ектов, а из той же самой перестановкой. Эта ак­сиома утверждает независимость расстояния от перену­мерации объектов.

5. Если две ранжировки , одинаковы всюду, за исключением n -элементного множества элементов, явля­ющегося одновременно сегментом обеих ранжировок, то можно вычислить, как если бы рассматрива­лась ранжировка только этих n -объектов. Сегментом ранжировки называется множество, дополнение которо­го непусто и все элементы этого дополнения находятся либо впереди, либо позади каждою элемента сегмента. Смысл этой аксиомы состоит в том, что если две ранжи­ровки полностью согласуются в начале и конце сегмента, а отличие состоит в упорядочении средних n -объектов, то естественно принять, что расстояние между ранжиров­ками должно равняться расстоянию, соответствующему ранжировкам средних n -объектов.

6. Минимальное расстояние равно единице.

Пространство ранжиро­вок при двух объектах можно изобразить в виде трех точек, лежащих на одной прямой. Расстояния между точками равны При трех объектах про­странство всех возможных ранжировок состоит из 13 то­чек.

Используя введенную метрику, определим обобщен­ную ранжировку как такую точку, которая наилучшим образом согласуется с точками, представляющими собой ранжировки экспертов. Понятие наилучшего согласова­ния на практике чаще всего определяют как медиану и среднюю ранжировку.

Медиана есть такая точка в пространстве ранжиро­вок, сумма расстояний от которой до всех точек - ран­жировок экспертов является минимальной. В соответст­вии с определением медиана вычисляется из условия

Средняя ранжировка есть такая точка, сумма квад­ратов расстояний от которой до всех точек – ранжиро­вок экспертов является минимальной. Средняя ранжи­ровка определяется из условия

Пространство ранжировок конечно и дискретно, по­этому медиана и средняя ранжировка могут быть только какими-либо точками этого пространства. В общем слу­чае медиана и средняя ранжировка могут не совпадать ни с одной из ранжировок экспертов.

Если учитывается компетентность экспертов, то ме­диана и средняя ранжировка определяются из условий [12]:

где - коэффициенты компетентности экспертов.

Если ранжировка объектов производится по несколь­ким показателям, то определение медианы вначале про­изводится для каждого эксперта по всем показателям, а затем вычисляется медиана по множеству экспертов [12]:

(j =1,2,…, m);

где - коэффициенты весов показателей.

Основным недостатком определения обобщенной ран­жировки в виде медианы или средней ранжировки яв­ляется трудоемкость расчетов. Естественный способ отыскания или в виде перебора всех точек простран­ства ранжировок неприемлем вследствие очень быстро­го роста равномерности пространства при увеличении количества объектов и, следовательно, роста трудоемко­сти вычислений. Можно свести задачу отыскания или к специфической задаче целочисленного программи­рования. Однако это не очень эффективно уменьшает вы­числительные трудности.

Расхождение обобщенных ранжировок при различ­ных критериях возникает при малом числе экспертов и несогласованности их оценок. Если мнения экспертов близки, то обобщенные ранжировки, построенные по критериям медианы и среднего значения, будут совпа­дать.

Сложность вычисления медианы или средней ран­жировки привела к необходимости применения более простых способов построения обобщенной ранжировки.

К числу таких способов относится способ сумм рангов.

Этот способ заключается в ранжировании объектов по величинам сумм рангов, полученных каждым объек­том от всех экспертов. Для матрицы ранжировок составляются суммы [12]

(i =1,2,…, n).

Далее объекты упорядочиваются по цепочке неравенств

Для учета компетентности экспертов достаточно умножить каждую i -ю ранжировку на коэффициент ком­петентности j -го эксперта В этом случае вы­числение суммы рангов для i -го объекта производится по следующей формуле [12]:

(i =1,2,…, n).

Обобщенная ранжировка с учетом компетентности экс­пертов строится на основе упорядочения сумм рангов для всех объектов.

Следует отметить, что построение обобщенной ранжи­ровки по суммам рангов является корректной процеду­рой, если ранги назначаются как места объектов в виде натуральных чисел 1, 2,..., n. Если назначать ранги произвольным образом, как числа в шкале порядка, то сумма рангов, вообще говоря, не сохраняет условие мо­нотонности преобразования и, следовательно, можно по­лучать различные обобщенные ранжировки при различ­ных отображениях объектов на числовую систему. Нуме­рация мест объектов может быть произведена единст­венным образом с помощью натуральных чисел. Поэтому при хорошей согласованности экспертов построение обобщенной ранжировки по методу сумм рангов дает результаты, согласующиеся с результатами вычисления медианы.

Еще одним более обоснованным в теоретическом от­ношении подходом к построению обобщенной ранжиров­ки является переход от матрицы ранжировок к матрице парных сравнений и вычисление собственного вектора, соответствующего максимальному собственному числу этой матрицы. Упорядочение объектов производится по величине компонент собственного вектора.