Обработка результатов, их оценка и выбор решения

 

Целью обработки является получение обобщенных данных и новой информации, содержащейся в открытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

В зависимости от целей экспертного оценивания при обработке результатов опроса возникают следующие основные задачи:

· определение согласованности мнений экспертов;

· построение обобщений оценки объекта;

· определение зависимости между суждениями экспертов;

· определение относительных видов объектов;

· оценка надежности результатов экспертизы.

Оценка согласованности мнений экспертов производится путем вычисления количественной меры, характеризующей степень близости индивидуальных мнений.

Если эксперты производили оценку объектов в количественной шкале, то задача построения групповой оценки заключается в определении среднего значения оценки.

При решении многих задач недостаточно осуществить упорядочение объектов по одному или по группе показателей. Желательно также иметь количественные значения относительной важности объектов.

Оценки объектов, получаемые в результате обработки, представляют собой случайные величины, поэтому одной из важных задач является определение их достоверности. Степень достоверности оценок можно выразить с помощью ве­совых коэффициентов, характеризирующих компетентность каждого эксперта по анализируемой проблеме. Все известные проблемы наз­начения весовых коэффициентов основываются на самооценке экспер­тов. При этом выясняется степень знакомства каждого эксперта с анализируемой проблемой К_з и степень влияния различных источ­ников в аргументации на формирование мнения каждого эксперта К_а. В результате весовой коэффициент каждого i-го эксперта определится как некоторая функция

 

V_i = f (K_çi, K_ai). (6.14)

 

Коэффициент знакомства может определяться в результате прямой самооценки, когда каждый эксперт, например, по десятибалльной шкале, оценивает степень своего знакомства с обсуждаемой проблемой (интегральная самооценка). Коэффициент аргументированности K_à определяется по результатам косвенной самооценки, выясняющий источник аргументации и степень влияния его на формирование мнения экспертов,

Для определения K_ç каждый эксперт заполняет специальную (заранее приготовленную) таблицу, отмечая крестиком соответствующую графу шкалы. При этом эксперт не знает, каким именно баллом будет оценен его ответ /4/.

Коэффициент аргументированности может быть получен из выражения:

, (6.15)

где K_d – коэффициент доверия, который устанавливает соответствие между областью специализации эксперта, уровнем его специализации и уровнем обсуждаемой проблемы;

K_c – коэффициент соответствия эксперта предъявляемым к нему требованиям, характеризующий творческие возможности экспер­та, его практической и научно-организационной работы.

Коэффициент соответствия K_c определяется путем суммирования тех значений, которые окажутся отмеченными крестиком на соответствующей таблице, по которой подстчитываются баллы (баллы проставляются при обработке таблиц) /4/.

Коэффициент доверия, состоящий из двух сомножителей K' и K'', принимается равным соответственно 0,5 и 1. Если уровень специализации соответствует анализируемой проблеме, то K' = 1,0, если нет, то K' = 0,5. Аналогично, если проблема относится к области непосредственной научной или проектной работы, то K'' = 1,0, если к смежной - K'' = 0,5.

Результирующий коэффициент компетентности каждого эксперта определяется по формуле

 

. (6.16)

В данном случае мы разобрали вкратце пример проведения и обработки экспертных оценок, полученных в результате опроса группы экспертов по методу Делфы. Данный метод, как было сказано выше, представляет собой многотуровую процедуру. После нескольких туров (при стабилизации оценок) экспертиза прекращается и ее результаты можно считать вполне достоверными.

ЛПР на основе экспертного анализа (его результаты являются как бы одним из решающих источников информации) и других факторов социально-психологического плана принимает окончательное решение по рассматриваемой проблеме.