Экспертные методы. Методы организации сложных экспертиз

 

Цель работы: освоить процедуру принятия решения с использованием экспертного метода Дельфи.

Задачи работы:

- с привлечением экспертной группы сформировать банк вариантов решений поставленной задачи (не менее 20);

- на основе применения метода Дельфи определить оптимальные решения и сделать выводы по результатам проделанной работы.

Предмет и объект работы определяются в соответствии с вариантом задания.

Перечень и характеристика оборудования и материалов. Для выполнения лабораторной работы используется персональный компьютер с установленным офисным программным обеспечением. Оформление работы может быть выполнено с использованием средств Microsoft Word и Microsoft Excel.

Литература: /3/, гл.8, /7/, с.85, 261-266, 305-317, /22/, п.4.4, /26/, гл.3, 4, /34/, гл.5.

Краткое изложение основных теоретических и методических аспектов предмета лабораторной работы:

Метод «Дельфи», или метод дельфийского оракула, первоначально был предложен О.Хелмером и его коллегами как итеративная процедура при проведении мозговой атаки, которая способствовала бы снижению влияния психологических факторов при проведении заседаний и повышению объективности результатов.

Почти одновременно Дельфи-процедуры стали средством повышения объективности экспертных опросов с использованием количественных оценок при сравнительном анализе составляющих «деревьев целей» и при разработке «сценариев».

Основные средства повышения объективности результатов при применении «Дельфи»-метода – использование обратной связи, ознакомление экспертов с результатами предшествующего тура опроса и учет этих результатов при оценке значимости мнений экспертов.

В конкретных методиках, реализующих процедуру «Дельфи», эта идея используется в разной степени. Так, в упрощенном виде организуется последовательность итеративных циклов мозговой атаки. В более сложном варианте разрабатывается программа последовательных индивидуальных опросов с использованием методов анкетирования, исключающих контакты между экспертами, но предусматривающих ознакомление их с мнениями руг друга между турами.

В развитых вариантах Дельфи-процедура представляет собой программу последовательных индивидуальных опросов с использованием методов анкетирования. Вопросники от тура к туру уточняются. Экспертам присваиваются весовые коэффициенты значимости их мнений (коэффициенты компетентности), вычисляемые на основе предшествующих опросов, также уточняемые от тура к туру и учитываемые при получении обобщенных результатов опроса. Для снижения таких факторов, как внушение или приспосабливаемость к мнению большинства, иногда требуется, чтобы эксперты обосновывали свою точку зрения, но это не всегда приводит к желаемому результату, а, напротив, может усилить эффект приспосабливаемости, так называемой эффект Эдипа.

В силу трудоемкости обработки результатов и значительных временных затрат первоначально предусматриваемые методики «Дельфи» не всегда удается реализовать на практике. В последнее время Дельфи-процедура в той или иной форме обычно сопутствует любым другим методам моделирования систем – методу «дерева целей», морфологическому, сетевому и т.п.

Балльное оценивание при принятии решения. Оценка согласованности мнений экспертов.

Для выбора лучшего варианта решения часто применяют балльное оценивание. Возможны два подхода. При первом из них каждому члену группы даются 10 или 20 баллов, которые ему предлагается распределить между рассматриваемыми вариантами в соответствии с его системой предпочтений. После чего вариант, получивший от всех членов группы наибольшую сумму баллов, и выбирается группой как наилучший. Указанный подход иллюстрируется таблицей 1.

Таблица 1

Балльное оценивание. Подход 1

Варианты	эксп.1	эксп.2	эксп.3	эксп.4	эксп.5	Сумма баллов	Коллективная ранжировка
A							4–5
B
C							4–5
D
E
F
G

 

Как видно из представленного в таблице 1 примера, эксперты вольны приписывать каждому варианту любое количество баллов из имеющихся в их распоряжении 20. А некоторые варианты могут вообще не получить ни одного балла. В данной задаче вариант E набрал наибольшую сумму баллов (35) и выбирается как наилучший. Рассмотренная методика может применяться и в два этапа. На первом из них из всего количества вариантов для дальнейшего анализа отбирается несколько наиболее предпочтительных. Для этого заранее оговаривается, что ко второму этапу будут допущены только варианты, набравшие не менее определенной суммы баллов. Например, если в рассматриваемом примере эта контрольная сумма устанавливается в 15 баллов, то ко второму этапу будут допущены варианты E, D и B. На втором этапе вся процедура балльного оценивания повторяется, но теперь только для выделенных трех вариантов, в результате чего и находится лучший из них.

Применять указанную методику для нахождения лучшего варианта нецелесообразно, поскольку при ее использовании мнения экспертов далеко не всегда оказываются согласованными. Эксперты зачастую отдают все 20 баллов предпочитаемому ими варианту и, таким образом, сравнения вариантов практически не происходит. Рекомендуемая область применения этой методики – отбраковка наименее предпочтительных вариантов и формирование множества вариантов, из которых и будет впоследствии находиться наилучший.

При втором подходе каждый вариант оценивается, например, по 10 балльной шкале, а затем по наибольшей сумме баллов определяется лучший из них. Процедура иллюстрируется примером, помещенным в таблице 2.

Таблица 2

Балльное оценивание. Подход 2

Варианты	эксп.1	эксп.2	эксп.3	эксп.4	эксп.5	Сумма баллов	Коллективная ранжировка
A
B
C
D
E
F
G

 

Из приведенного примера видно, что эксперты лучшим вариантом признали вариант E, набравший наибольшую сумму баллов (44).

Проблема проверки согласованности мнений экспертов существует и при балльном оценивании. Решается она следующим образом. Вначале для каждого варианта решения (их в рассматриваемом примере 7) определяется среднее арифметическое из оценок всех экспертов. Так, для варианта E (см. таблицу 2), оно равно X_ср = (10+9+8+9+8):5 = 44:5 = 8,8. Затем рассчитывается среднее квадратическое отклонение по формуле

где X – оценки экспертов, m – число экспертов.

Для нашего примера имеем:

Далее подсчитывается коэффициент вариации по формуле

K = s / X_ср =0,84/8,8 = 0,095.

Мнения экспертов по каждому из вариантов решения считаются согласованными, если коэффициент вариации не превосходит величины 0,25. Для варианта решения E в рассматриваемом примере получаем К = 0,095<0,25. Таким образом, мнения экспертов, представленные их оценками по варианту решения E, считаются согласованными. Подобная проверка, в принципе, должна проводиться для каждого варианта. Напомним, что в нашем примере их 7. Однако часто в этом не возникает необходимости, если согласованы мнения относительно наиболее предпочтительных вариантов.

Если мнения экспертов окажутся несогласованными, то существует несколько вариантов развития событий. Во-первых, информацию о несогласованности мнений экспертов можно просто принять к сведению и этим ограничиться. Во-вторых, рекомендуется заново провести всю процедуру экспертного оценивания, предварительно ознакомив экспертов с результатами экспертизы. Если и после вторичной экспертизы мнения экспертов останутся несогласованными, то, следуя ГОСТу, из оценок экспертов исключают оценку, наиболее отличающуюся от среднего арифметического значения, и заново проводят проверку согласованности. И так до тех пор, пока оценки оставшихся экспертов не окажутся согласованными.

 

Задания по лабораторной работе приводятся в приложении 3.

Порядок выполнения лабораторной работы:

1. Сформулировать в рамках исследуемой организации проблему.

2. Определить группу экспертов (не менее 5 человек, из которых не менее двух должны иметь опыт работы в рассматриваемой предметной области). Определить коэффициент компетентности экспертов от 0 до 1 (например, коэффициент тех, кто имеет опыт работы в предметной области, будет равен 1, а коэффициент компетентности прочих участников – 0,8). В реальных ситуациях к определению коэффициентов компетентности следует подходить ответственно и обоснованно.

3. Предложить каждому эксперту оценить варианты решений с использованием 10-балльной шкалы. Определить скорректированные оценки как результат произведения оценки и коэффициента компетентности. Результаты оценки занести в таблицу:

 

Вариант	Эксперт 1	Эксперт 2…	…Эксперт 5	Средний балл по скорректированным оценкам
Оценка	Коэффициент компетентности	Скорректированная оценка	Оценка	Коэффициент компетентности	Скорректированная оценка	Оценка	Коэффициент компетентности	Скорректированная оценка
А					0,8	6,4		0,8		7,5
…

 

4. Рассчитать коэффициент согласованности мнений экспертов.

5. В случае, если мнения экспертов не согласованы, ознакомить их с результатами оценки вариантов другими экспертами и предложить провести оценку еще раз.

6. Определить вариант, набравший максимальное число баллов. Сделать выводы по итогам проделанной работы.

Контрольные вопросы:

1. В чем сущность метода Дельфи?

2. Дайте определение понятию «эксперт».

3. Как можно определить согласованность мнений экспертов?

 

Лабораторная работа № 6