Зачем нужны экспертные оценки.

Обычно при получении прогноза происходит обработка наблюда­емых данных. Во всех методах, рассмотренных в предыдущих главах, для обработки этих данных привлекался математический аппарат, а мнение самого прогнозиста не учитывалось. Но использование вер­ной объективной оценки — это важнейший элемент всех методик прогнозирования. Правильная оценка особенно важна при интер­претации результатов анализа данных.

Очень часто на практике наблюдаются случаи, когда не существу­ет исторических данных, относящихся к прогнозируемому процессу. В таких случаях прогнозы строятся исключительно на мнении экс­пертов, привлекаемых для создания этих прогнозов и разработки возможных сценариев будущих событий.

Привлечение к работе группы экспертов, осведомленных во мно­гих областях знаний, позволяет:

1) всесторонне проанализировать количественные и качествен­ные аспекты сложной проблемы, решение которой ищется;

2) компенсировать смещение индивидуальных оценок;

3) увеличить рассматриваемую группу факторов, имеющих отно­шение к данной проблеме;

4) дает возможность использовать интуицию и жизненный опыт экспертов.

Число публикаций, цитируемость трудов, ученая степень, способ­ность к нестандартным подходам при решении проблем, умение вес­ти дискуссию, самокритичность эксперта — вот далеко не полный перечень характеристик, принимаемых во внимание при подборе экспертов.

Конечно, экспертные методы далеки от совершенства. И все же они дают более надежные результаты, чем традиционные совещания и комиссии.

 

Экспертизы бывают индивидуальными и коллективными, одно-этапными и многоэтапными, с обменом информацией между экс­пертами и без, анонимными и открытыми. Причем далеко не всегда можно уложиться в какую-либо широко известную и часто использу­емую схему. Мы ограничимся рассмотрением метода Дельфи и мето­да написания сценария.

МЕТОД ДЕЛЬФИ

Когда эксперты собираются вместе и начинают обсуждать про­блему, нельзя исключить влияния групповой динамики на оценки прогнозистов. С целью исключения этого влияния был создан метод Дельфи (по названию древнегреческого города Дельфы, чьи оракулы славились умением предсказывать будущее). Применительно к разра­ботке научно-технических прогнозов использование метода Дельфи выглядит так.

В первом раунде обсуждения эксперты отвечают в письменном виде на вопросы, поставленные перед ними исследовательской груп­пой. Вопросы должны допускать ответы в виде чисел. Каждый ответ эксперта должен быть им обоснован. Первая анкета может допускать любые ответы. Цель такой анкеты — составление перечня событий для прогноза в какой-то области науки и техники. Организатор экс­пертизы объединяет прогнозы, и полученный перечень событий ста­новится основой второй анкеты. '

Во втором раунде эксперты оценивают сроки реализации собы­тий и приводят соображения, по которым они считают свои оценки верными. По сделанным оценкам и их обоснованиям организатор экспертизы проводит статистическую обработку полученных дан­ных, группирует мнения экспертов, изучает крайние точки зрения. Результаты этой работы организатора сообщаются экспертам, и они могут изменить свое мнение (причем работа экспертов идет ано­нимно).

Анкета третьего раунда содержит перечень событий, статистичес­ких характеристик, дат наступления событий, сводных данных (аргу­ментов) о причинах более ранних или более поздних оценок. Экс­пертам надо рассмотреть аргументы; сформулировать новые оценки предполагаемой даты наступления каждого события; обосновать свою точку зрения при ее значительном отклонении от групповой; анонимно прокомментировать противоположные мнения. Пересмо-

тренные оценки и новые аргументы возвращаются к организатору экспертизы, который вновь их обрабатывает, суммирует все аргумен­ты и подготавливает на этой основе новый прогноз.

В четвертом раунде эксперты знакомятся с новым групповым прогнозом, аргументами, критикой и составляют новый прогноз. Ес­ли группа не может прийти к единому мнению и организатор экспер­тизы заинтересуется аргументами различных сторон, то он может со­брать экспертов для очного обсуждения.

Число раундов опроса может варьироваться в зависимости от це­лей оценок, располагаемых средств текущих результатов, опыта пре­дыдущего применения метода Дельфи. Практика показывает, что по­сле 3-5 раундов оценки экспертов становятся стабильными, что является сигналом для прекращения опроса.

Метод Дельфи позволяет получить достаточно хорошие оценки будущих перспектив.

Особенно полезен метод Дельфи для технологического прогнози­рования, то есть как метод оценки изменений в технологии и их воз­можного воздействия на предприятие. Например, цель прогноза по методу Дельфи может заключаться в том, чтобы предсказать, когда, вакцина от болезни будет разработана и готова для массового распро­странения. Это долгосрочные одноразовые прогнозы, сбор данных для которых является очень дорогостоящим.

Метод Дельфи имеет ряд довольно серьезных недостатков. Уровень компетенции участников может оказаться недостаточным. Возможно ложное согласие участников опроса из-за неоднозначно­го толкования вопросов. Сохранение анонимности снижает надеж­ность информации и ответственность участников опроса. Прогно­зы, полученные методом Дельфи, редко достигают высокой степени точности.

МЕТОД НАПИСАНИЯ СЦЕНАРИЯ

Метод написания сценария предусматривает выяснение деталей неопределенного будущего с помощью написания «сценария буду­щего» для окружения предприятия на многие годы вперед.

Обычно создается один наиболее вероятный сценарий развития событий, дополняемый несколькими менее вероятными возможны­ми сценариями. Это дает возможность правильно реагировать на ре­альные изменения.

 

41 А. ИСПОЛЬЗОВАНИЕ ЭКСПЕРТНЫХ ОЦЕНОК В АНАЛИТИЧЕСКОЙ ДЕЯТЕЛЬНОСТИ

Аналитическая служба обеспечивает работу по подготовке, обос­нованию и формированию механизмов реализации наиболее важных и ответственных решений.

Основными целями и задачами аналитической службы, определя­ющими потребность в проведении соответствующих экспертиз, яв­ляются:

1) выявление приоритетных направлений и целей деятельности лица, принимающего решение;

2) сбор, систематизация, классификация и анализ информации по основным направлениям деятельности лица, принимающего ре­шение;

3) анализ ситуаций, которые являются областью активной дея­тельности лица, принимающего решение, и оказывают существен­ное влияние на достижение поставленных целей;

4) разработка и оценка альтернативных вариантов решений, вы­явление их сильных и слабых сторон;

5) формирование и использование коллективных механизмов принятия решений, конкурсов, тендеров при принятии ответствен­ных решений;

6) определение механизма реализации выбранного решения;

7) мониторинг динамики развития ситуации с выявлением кри­зисных и предкризисных ситуаций, отслеживание хода реализации ранее принятых решений.

Аналитическая служба должна использовать современные техно­логии анализа ситуации и поддержки принятия решений. Это озна­чает наличие потребности в широком использовании экспертного оценивания.

В работе экспертных комиссий, организуемых аналитической службой, очень велика доля качественной (неколичественной) ин­формации. Это требует использования соответствующих экспертных методов.

Очень важна квалифицированная экспертиза при определении факторов, оказывающих существенное влияние на развитие анали­зируемой ситуации при прогнозировании вероятных возможностей развития процессов как без учета управляющих воздействий, так и с их учетом. Для обеспечения нужного уровня качества работы экс­пертной комиссии в настоящий момент широко используются мето­ды организации информационного взаимодействия экспертов.

Важной особенностью работы аналитической службы при ис­пользовании экспертных оценок является корректное применение результатов экспертизы в оптимизационном моделировании. Про­блема проста: экспертные оценки, как правило, имеют большую или меньшую погрешность, и их использование в высокоточных моделях и расчетах должно быть аккуратным, точность результатов на выходе таких моделей нужно соотносить с точностью входной информации.

Аналитическая служба должна заранее подготовить необходимый аналитический материал, который помогал бы экспертам в концент­рированном виде получать информацию, полезную для их работы. В поле зрения аналитической службы также должны быть вопросы формирования коллективного мнения по частным оценкам, вопро­сы компетентности экспертов и т. д. Особенностью работы в данном случае является то, что аналитическая служба проводит экспертное оценивание не столько для себя, сколько для лица, принимающего решение.

Методы, рассмотренные в этой главе, являются хорошим допол­нением к арсеналу прогнозиста. Однако нередко применение экспертных оценок в тех случаях, когда могут быть использованы математические методы, обусловлено неумением использовать мате­матические методы.

ЭКСПЕРТНЫЕ СИСТЕМЫ

Экспертные системы — это компьютерные программы, использу­емые для решения задач из конкретных областей с привлечением ис­ходных данных из базы знаний, накопленных экспертами. Пользова­тель отвечает на вопросы компьютера и получает сообщение о возможном решении задачи. Часто экспертные системы применя­ются при поиске производственных ошибок.

 

Глава 42