Дайте характеристику статистической обработки экспертных оценок в методе Дельфи.

Специфика метода Дельфи, связанная со статистической обработкой оценок и заочным характером взаимодействия экспертов, имеет прямое влияние на комплектование экспертной группы с точки зрения ее численности. Прежде всего, количество оценок (а значит, и количество экспертов) должно быть статистически значимым. Мы не можем привлечь к процедуре Дельфи только трех экспертов, так как не сможем обработать их оценки. Соответственно, нижняя граница численности экспертной группы 7 - 9 человек. В то же время у нас не задана верхняя граница, так как нет необходимости собирать экспертов в одном месте. В реальной практике использования Дельфи есть примеры, когда в экспертизе участвовало несколько сотен специалистов. Конкретное их число будет определяться спецификой рассматриваемой проблемы, общим числом компетентных экспертов, их технической доступностью и согласием на участие в экспертизе.

Возьмем задачу прогнозного типа. Предположим, нас интересует вероятность реализации определенного политического события, и единственным вопросом в анкете будет: «Оцените вероятность наступления события TV в период М, используя оценки в интервале от 0 до 1, где 0 — полная уверенность в том, что событие не произойдет, 1 — полная уверенность в том, что событие произойдет». Разумеется, в реальном исследовании вопросов и пояснений к ним было бы больше, однако в учебных целях ограничимся самым простым видом анкеты. Скажем, вопросе принимают участие девять экспертов. Соответственно, по итогам первого тура мы получим девять оценок вероятности реализации события N. Таким образом, мы имеем неупорядоченный числовой ряд из девяти элементов: (1; 0,2; 0,1; 0,1; 0,6; 0,8; 0,3; 0,5; 0,8).

В методе Дельфи основу статистической обработки оценок составляет вычисление средней и вариации на порядковом уровне измерения, т.е. речь идет о вычислении медианы –  середины ранжированного числового ряда – и квартилей – четвертей ранжированного числового ряда. Ранжированный по возрастанию ряд в нашем случае будет иметь вид: (0,1; 0,1; 0,2; 0,3; 0,5; 0,6; 0,8; 0,8; 1).

Медиана равна 0,5, значение нижнего квартиля составляет 0,2; верхнего - 0,8 (М= Q2 = 0,5; Q1 = 0,2; Q3 = 0,8). Применительно к методу Дельфи медиана показывает общее групповое мнение, а интервал между верхним и нижним квартилями (или квартальный ранг) – разброс мнений экспертов, или степень консолидированности общего группового мнения. В нашем случае средняя оценка группы составляет 0,5 (равновероятно), интервал между верхним и нижним квартилями равен 0,8 –  0,2 = 0,6, т.е. является очень большим. Исходя из такого значения квартильного ранга, можно констатировать, что мнение группы фактически не сформировалось, оценки очень сильно разбросаны.

Для вероятностных оценок есть дополнительный инструмент интерпретации общего группового мнения, выраженного в значении медианы. В теории вероятностей существует понятие неопределенности, причем уровень неопределенности связан с уровнем вероятности следующим принципиальным образом:

Уровень неопределенности равен нулю в двух случаях: если вероятность события равна 0 и 1. Иными словами, неопределенность отсутствует, когда мы полностью уверены либо в том, что событие реализуется, либо в том, что оно не реализуется. Соответственно, максимального уровня неопределенность достигает в ситуации равновероятности – 0,5. По мере удаления от крайних значений (0 и 1) и приближения к значению 0,5 неопределенность возрастает.

Таким образом, по итогам первого тура экспертизы мы имеем не только большой разброс оценок, но и ситуацию максимальной неопределенности относительно наступления данного события в указанные сроки. Решение, которое принимается руководителями экспертизы, в данном случае однозначно: экспертиза должна быть продолжена.

Во втором тур е экспертов знакомят с обобщенными результатами первого тура (разброс оценок, иногда средняя) и просят ответить на тот же самый вопрос о вероятности наступления события. Однако здесь возникает существенное дополнение: оценка должна быть дополнена определенным набором аргументов. Технически здесь имеется два варианта:

1. Аргументировать выставленную оценку просят всех экспертов.

2. Аргументацию просят только у тех экспертов, чьи оценки выходят за интервал между квартилями, т.е. являются крайними. В нашем случае это два эксперта, поставившие оценки 0 и 1, и один эксперт, поставивший оценку 1.

Когда число привлеченных экспертов невелико и оценки всего трех из них находятся за пределами квартального ранга, целесообразно собрать аргументы всех экспертов. Аргументы формулируются экспертами в том же режиме, что и весь процесс экспертизы: заочно, анонимно и индивидуально. Собирает, обобщает и систематизирует аргументы группа организаторов процедуры Дельфи. Основное содержание этой работы: объединение сходных аргументов, удаление повторяющихся, разбиение всех аргументов на две группы: в пользу повышения или понижения вероятности наступления события N.

В результате второго тура имеем:

1) Новые оценки экспертов. Они могут совпадать с оценками первого тура, а могут и не совпадать. Как правило, от первого тура ко второму оценки меняются незначительно, поскольку эксперты еще не успели ознакомиться с аргументацией своих коллег. Пусть в нашем случае получились следующие оценки: (0,1; 0,2; 0,2; 0,3; 0,6; 0,7; 0,8; 0,8; 0,9). Тогда статистика второго тура: М = 0,6; Q1 = 0,2; Q3 = 0,8; квартальный ранг = 0,6;

2) Два систематизированных перечня аргументов: в пользу повышения и понижения оценки вероятности наступления события. Авторство аргументов не указывается.

Все полученные результаты доводятся до участников экспертизы (характерное проявление управляемой обратной связи), и начинается третий тур Дельфи. В третьем туре, как и во втором, от экспертов требуется вновь оценить вероятность события и дать перечень аргументов. В пояснительной записке к анкете, как правило, указывается, что от экспертов ждут либо новых аргументов, либо усиления, дополнения или конкретизации аргументов, использованных во втором туре.

Обычно именно третий тур экспертизы по методу Дельфи является переломным: получив значительный объем информации от своих коллег по итогам второго тура, эксперты имеют больше оснований скорректировать собственные оценки. Общий «сдвиг» в результатах экспертизы должен быть значительно более существенным по сравнению со вторым туром.

Предположим, оценки третьего тура таковы: (0,1; 0,3; 0,5; 0,5; 0,7; 0,7; 0,8; 0,9; 0,9). Статистика третьего тура соответственно: М = 0,7; Q1 = 0,5; Q3 = 0,8; квартальный ранг = 0,3.

Анализируя эту статистику, мы видим две принципиальные тенденции:

1) Общее мнение группы сдвигается от равновероятной оценки в сторону повышения вероятности реализации события (0,7). При этом в оценке реализации события сокращается уровень неопределенности;

2) Мнение группы становится более консолидированным. Интервал между квартилями по сравнению со вторым туром существенно сокращается (0,6 и 0,3).

Итерации (новые туры) проводятся в Дельфи по тому же принципу, что второй и первый тур. Решение об окончании экспертизы принимается тогда, когда смещения в оценках перестают быть существенными. Так, если в четвертом туре мы имеем оценки: (0,1; 0,5; 0,6; 0,6; 0,7; 0,7; 0,8; 0,8; 0,8) и статистику: М = 0,7; Q1 = 0,6; Q2 = 0,8; квартальный ранг = 0,2, — можно констатировать, что групповое мнение сформировалось. Смещение оценок по сравнению с третьим туром незначительно, общее групповое мнение не изменилось, интервал между квартилями незначителен. Таким образом, эксперты в целом согласились, что вероятность наступления событий N в указанные срок и составляет 0,7; его реализация «скорее вероятна».

Возможны ситуации, когда сближение оценок либо не происходит, либо происходит на крайних полюсах.