Общая характеристика метода экспертных оценок

1. Цели и задачи экспертизы. При выработке решений возникает необходимость сбора, обработки и анализа значительных объемов разнообразной информации о проблемной ситуации. В настоящее время с целью получения такой информации широко применяется метод экспертных оценок. Этот метод используется во всех тех случаях, когда либо требуемые данные получить путем объективных измерений при помощи «физических» приборов невозможно в принципе, так как оцениваемые объекты или их характеристики субъективны (как, например, системы предпочтений) или же пока просто не существует объективных приборов, либо когда объективные измерения нецелесообразны или же невыполнимы по каким-либо «техническим» причинам (из-за недостатка средств или времени, острой дефицитности приборов и т.п.).

Под методом экспертных оценок обычно понимают комплекс логических и математических процедур, направленных на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выбора рациональных решений. Сущность этого метода заключается в проведении квалифицированными специалистами интуитивно-логического анализа проблемы с качественной или количественной оценкой суждений я формальной обработкой результатов. Комплексное использование интуиции, логического мышления и соответствующего математического аппарата позволяет получить эффективное решение поставленной проблемы. Экспертные оценки не являются изобретением нашего времени. Экспертиза издавна применялась при принятии решений. Из истории известны такие формы реализация экспертизы, как советы старейшин и мудрецов, государственные и военные советы, сенаты, коллегии и т.п. Метод экспертных оценок отличается от традиционной экспертизы наличием следующих двух особенностей:

- научной организацией всех этапов экспертизы;

- применением математического аппарата как при организации экспертизы, так и при обработке и анализе полученной информации.

Проведение экспертизы не следует рассматривать как некий «нулевой» цикл исследований. Ей должен предшествовать детальный анализ существа проблемы. Систематизация полученных при таком «априорном» анализе сведений позволяет целенаправленно и планомерно организовывать экспертизу, ориентированную на получение новой информации в необходимой форме. Экспертизу чаще всего нужно рассматривать как последний, наиболее формальный шаг «априорного» анализа. Полученная и обработанная экспертная информация используется в дальнейшем в рамках выбранной процедуры (метода) выработки решений. Однако в некоторых случаях результаты экспертизы могут быть использованы и как самостоятельные решения.

Метод экспертных оценок как наилучший инструмент анализа неформализуемых проблем начал интенсивно создаваться последние 30-40 лет. В настоящее время в нашей стране и за рубежом этот метод широко применяется при решении самых различных проблем, связанных с планированием развития народного хозяйства, созданием современных образцов вооружения, управлением войсками и многих других.

Целесообразно выделять два класса проблем, решаемых экспертным путем. К первому классу относятся проблемы, для решения которых имеется достаточная информационная база (информационный потенциал). Поэтому основная трудность в их решении состоит в эффективном использовании этой базы, т.е. в правильном подборе экспертов, рациональной организации процедуры их опроса и применении оптимальных методов обработки результатов. При этом методы опроса и обработки могут опираться на следующие два допущения:

- эксперт является «хранилищем» большого объема переработанной им информации и потому может рассматриваться как «прибор» («измеритель») с небольшими погрешностями;

- групповое мнение, полученное некоторым «осреднением» мнений отдельных экспертов, близко к «истинному» решению проблемы.

Эти допущения позволяют применять для обработки экспертных оценок специальные достаточно мощные математические методы.

Ко второму классу относятся проблемы, для решения которых информационная база недостаточна, При анализе таких проблем эксперт уже не может рассматриваться как «хороший измеритель», и поэтому может оказаться верным мнение отдельного эксперта, резко отличающееся от группового. Здесь возможен в основном лишь качественный анализ результатов экспертизы.

Простейшим способом получения экспертной информации является учет мнения одного специалиста - индивидуальная экспертиза. Естественно, что такой человек должен пользоваться полным доверием лица, принимающего решение. Индивидуальная экспертиза используется для решения уникальных проблем, относящихся ко второму из двух выше рассмотренных классов. Однако при решении проблем из первого класса целесообразно привлекать по возможности не одного, а нескольких специалистов, т. е. организовывать групповую экспертизу. Дальнейшее изложение посвящено почти исключительно именно этому случаю.

2. Основные этапы экспертизы. В процессе проведения групповой экспертизы можно выделить следующие этапы:

- постановка задачи исследования;

- разработка (выбор) метода получения экспертной информации и способов ее обработки;

- формирование экспертной группы;

- сбор экспертной информации;

- обработка и анализ полученной информации;

- интерпретация полученных результатов.

При решении важных практических задач организация экспертизы начинается с подготовки и издания руководящего документа, в котором формулируется цель работы, указываются сроки ее выполнения, задачи и состав группы управления, ее права и обязанности, устанавливается материальное и финансовое обеспечение работ.

Очень кратко разберем содержание основных этапов экспертизы.

При постановке задачи исследования обосновывается целесообразность получения экспертной информации и намечаются пути использования ожидаемых результатов.

Вопросы выбора методов получения и обработки экспертной информации решаются в соответствии со спецификой поставленной задачи и с учетом выделенных ресурсов и времени.

Особых научных рекомендаций по составлению экспертных групп пока нет. Поэтому пользуются соображениями здравого смысла, учитывая цели экспертизы, ограниченность ресурсов и требования, обусловленные выбранными методами получения и обработки информации от экспертов. Вначале намечаются «потенциальные» эксперты, т.е. специалисты, которые по своим профессиональным качествам в принципе могут быть привлечены к работе в роли экспертов. При поиске «потенциальных» экспертов обычно используются общепринятые документальные показатели, отражающие профессиональный уровень специалиста (должность, ученая степень и звание, количество опубликованных научных работ и др.), а также его прежнее участие в экспертизах. Документальная характеристика часто дополняется взаимной оценкой экспертов. При этом в число «потенциальных» экспертов включа­ются специалиста, рекомендованные несколькими ранее выявленными экспертами.

Далее решается вопрос о численном составе экспертной группы. Ясно, что количество привлекаемых к работе экспертов зависит от их квалификации и не должно превышать предела, диктуемого ограничениями финансового, временного и организационного характера. Кроме того, состав группы должен быть таким, чтобы были обеспечены по возможности равное представительство специалистов различных направлений» существующих в исследуемой области, и охват всех «конкурирующих» организаций, имеющих профессиональное отношение к рассматриваемой задаче.

После того, как установлен численный состав экспертной группы, осуществляется ее формирование путем выделения тех «потенциальных» экспертов, которые являются; наиболее компетентными с точки зрения конкретной решаемой задачи. Для предварительной оценки компетентности экспертов существуют различные подходы. Один из них состоит в вычислении коэффициентов компетентности, представляющих собой сумму баллов, приписываемых эксперту в зависимости от его документальных показателей и данных самооценки (касающихся производственного опыта, знания научно-технической литературы по решаемому вопросу и др.). Эти баллы берутся из специальных таблиц. При другом подходе коэффициенты компетентности вычисляются на основе матрицы, составленной по результатам взаимной оценки экспертов.

В группу включаются те эксперты, для которых коэффициент компетентности не ниже некоторого порогового значения. Это значение устанавливается таким, чтобы обеспечить набор группы из числа тех потенциальных «экспертов», которые действительно смогут участвовать в ее работе в установленное время. При проведении «типовых» экспертиз целесообразно использовать такую обобщенную характеристику эксперта, кaк достоверность его суждений. Количественно достоверность эксперта оценивают дробью N _п/ N, где N _п - число случаев, когда эксперт дал решение, приемлемость которого подтвердилась практикой, N - общее число случаев участия эксперта в решении задачи.

Сбор и обработка экспертной информации осуществляются согласно разработанным (выбранным) для этих целей методам. Практически для сбора информации составляются соответствующие документы (например, специальные анкеты), а при ее обработке и анализе в случае необходимости может использоваться вычислительная техника (расчеты на ЭВМ производятся обычно при большой числе экспертов).

Содержательный анализ и интерпретация обработанных результатов осуществляются с учетом специфики решаемой проблемы в соответствии с задачами, которые ставились перед экспертизой.

 

3. Классификация и общая характеристика методов получения экспертной информации. Квалифицированное применение метода экспертных оценок в существенной степени зависит от выбранного способа сбора и обработки ответов целенаправленно сформированной группы специалистов. Существует большое количество методов получения экспертной информации. Классификация этих методов приведена на рис. 6.6.

Методы коллективной работы экспертной группы предполагают получение обобщенного мнения в ходе совместного обсуждения и решения поставленной задачи всеми экспертами. Поэтому указанные методы называют иногда способами прямого получения коллективного мнения. Первые три метода - совещания, «суда» и «мозговой атаки» - основаны на коллективном обсуждении решаемой задачи, а деловые игры - на совместной работе коллектива специалистов, за каждым членом которого закреплены определенные обязанности в соответствии с заранее составленными правилами и программой. Деловые игры, широко используемые в военном деле (известным их примером являются «штабные игры»), предназначены в основном для выяснения поведения специалистов в исследуемой обстановке (а также для их обучения).

Самым простым и традиционным является метод комиссий. Он предполагает проведение совещания или же общей дискуссии с целью выработки единого коллективного мнения. Количество участников может быть от 2-3 до 20-30 и даже более. Достоинства этого метода состоят в том, что каждый член группы может не только высказать свое мнение, но и аргументирование его защитить, а также критиковать мнения других экспертов. Тщательное обсуждение уменьшает возможность ошибок. Однако на совещании может победить мнение какого-либо участника в силу его авторитета, служебного положения, блестящих ораторских способностей, высокой активности и т.п. Этот недостаток присущ и методу « суда », при использовании которого работа экспертной группы осуществляется подобно ведению судебного процесса. «Подсудимым» в «процессе» является анализируемая задача. Роли «судей» («заседателей») исполняют члены группы управления. В качестве «прокурора» и «защитников» выступают эксперты. «Свидетелями» являются различные факты, результаты экспериментов, доводы экспертов: Использование такого метода особенно целесообразно при наличии нескольких группировок экспертов, каждая из которых придерживается своей точки зрения.

Метод «мозговой атаки» («мозгового штурма», «коллективной генерации и дед») основан На предположении, что если выдвигать большое число разных идей и предложений по решению поставленной проблемы, то среди них обязательно окажется одна или даже нескольку ценных. Сущность метода состоит в том, что задачи выдвижения новых идей и их анализа полностью разделяются.

Соответственно образуются две группы - генераторов идей: и аналитиков. В состав первой включаются не только «узкие» специалисты, но и вообще эрудированные люди, люди с богатым воображением, специалисты из смежных областей. Нежелательно, чтобы участники были лично или ведомственно заинтересованы в определенном варианте решения проблемы. Для создания непринужденной обстановки лучше собирать людей примерно одинакового служебного и общественного положения. Заседанием группы генераторов идей руководит ведущий, основной задачей которого является всемерное поощрение инициативы и творчества, свободы высказывания» предложений и полное недопущение критики. Все выступления фиксируются и впоследствии тщательно анализируются группой аналитиков - специалистов по профилю решаемой проблемы. Этот метод целесообразно использовать в критических ситуациях дефицита творческих решений, особенно в задачах второго из трех указанных в начале следующего пункта типов (например, для поиска новых стратегий, когда ни одна из известных не обеспечивает достижения поставленных целей).

 

Рис. 6.6. Методы получения экспертных оценок

Реализация всех методов коллективного получения экспертной информации обычно связана с различными трудностями организационного характера. Собрать вместе многих ведущих специалистов практически далеко не всегда возможно. Поэтому в настоящее время все чаще используются методы опроса, заключающиеся в получении коллективного мнения на основе совместной обработки индивидуальных мнений членов экспертной группы, опрашиваемых независимо друг от друга. Существуют два основных вида опроса - интервью и анкетирование. Третий является промежуточным: в нем сочетаются идеи первых двух. Специфической особенностью интервью является то, что исследователь (член группы управления) и эксперт находятся в непосредственном контакте. Исследователь ведет беседу, стараясь получить ответы на заранее сформулированные вопросы.

Условно выделяют три формы организации бесед (см. рис. 6.6). Первые два из них, очевидно, характеризуются своими названиями. Третья осуществляется с участием нескольких (обычно двух) интервьюеров и проводится по принципу перекрестного допроса в судебном расследовании. «Следователи» - интервьюеры, получая необходимую информацию, проверяют непротиворечивость и после­довательность рассуждении эксперта.

Метод анкетного опроса заключается в том, что эксперту пред­лагается для заполнения специальная анкета, содержащая заранее составленный набор вопросов. В зависимости от свободы предоставляемой эксперту при выборе варианта ответа, вопросы бывают открытого и закрытого типа. При вопросе открытого типа эксперт свободен в выборе формулировки ответа. Вопросы закрытого типа содержат в своей (формулировке варианты возможных ответов, один из которых и должен выбрать эксперт. С точки зрения возможности получения сопоставимых результатов анкетирования, что необходимо для дальнейшей их обработки, наиболее предпочтительны вопросы закрытого типа.

В приведенной классификации выделена группа методов частично коллегиальной работы экспертов. Сущность их состоит в том, что информация собирается методом опроса (обычно анкетирования) коллективных экспертов, т.е. небольших групп специалистов. Такие методы позволяют сочетать преимущества коллективной работы и опроса.

В рассмотренную классификацию не вошли комплексные процедуры экспертизы, осуществляемые в несколько туров. Одним из наиболее известных методов анкетирования подобного рода является метод Дельфы, носящий имя древнегреческого города, в котором находился оракул, славившийся умением предсказывать будущее. Этот метод, разработанный в начале 60-х годов американской компанией РЭНД Корпорейшн, предусматривает полный отказ от личных контактов экспертов и обеспечение их информацией, включая и обмен информацией между ними, после каждого тура опроса при сохранении анонимности оценок, аргументации и критики.

В первом туре опроса эксперты дают свои ответы, не аргументируя их. Полученные ответы обрабатываются и выделяются средние и крайние мнения. Во втором туре опроса эксперты, ознакомленные с этими мнениями, вновь отвечают на вопросы, но уже объясняя, почему они изменили или же напротив, не изменили своих мнений. Новые ответы вновь обрабатываются, проводится следующий тур и т.д. Практика показывает, что после трех-четырех туров ответы экспертов стабилизируются и это говорит о нецелесообразности дальнейшего проведения процедуры. В итоге образуется одна или две группы существенно различных мнений. Наличие двух групп указывает на существование двух различных подходов к проблеме, что может быть вызвано, например, наличием двух научных школ. Но даже в этом случае опрос является полезным, так как позволяет отчетливо выявить позиции сторон и их аргументацию, что необходимо для дальнейшего углубленного исследования проблемы.

4. Задачи анализа экспертных оценок. Можно выделить три основных типа задач, решаемых экспертами.

Оценка (измерение) имеющихся объектов. Примером служит оценивание варианта решения (стратегии, исхода) по принятому критерию (в частности, научного уровня или актуальности НИР).

Построение объектов. К задачам такого тина относятся формирование множества стратегий, выявление неопределенных факторов я установление областей их возможных значений.

Построение объектов и их оценка. Типичной задачей этого типа являйся составление перечня критериев, конструирование их шкал и оценка стратегий (исходов) по тем или иным из этих критериев.

В дальнейшем ограничимся рассмотрением лишь задач первого из трех указанных типов, так как именно на их решение ориентированы существующие математические методы анализа и обработки экспертной информации.

Экспертные оценки объектов, в соответствии с типом их шкал, делятся на количественные, балльные и качественные. Качественные оценки, к которым относят оценки, полученные в порядковых и номинальных шкалах, называют также элементарными суждениями. К количественным оценкам относятся, например, достоверные эквиваленты и субъективные вероятности.

Информация в форме элементарных суждений более доступна и надежна, чем количественная и балльная, так как она наиболее понятна и привычна экспертам. Поэтому именно ее предпочтительнее получать анкетированием. Существуют следующие методы, получения элементарных суждений:

- группировка (сортировка);

- ранжирование;

- попарные сравнения;

- множественные сравнения.

Основными задачами обработки и анализа экспертных оценок являются следующие:

- оценка степени согласованности мнений экспертов;

- получение коллективного (обобщенного) мнения экспертной группы;

- выделение подгрупп экспертов с «близкими» мнениями (в случае существенных расхождений в ответах);

- оценка и учет компетентности экспертов.

Эти задачи, кроме последней, перечислены в той последовательности, как они должны практически решаться. Действительно прежде чем получать обобщенное мнений, следует убедиться а достаточно высокой согласованности мнений экспертов. Если такой согласованности нет, то «осреднение» всех мнений противоречило бы исходной предпосылке о том, что ответы экспертов лишь случайно и независимо отклоняются oт некоторой истинной единственно правильной точки зрения, которую и надлежит выявить при экспертизе. Да и «обобщенное» мнение будет при этом неустойчивым в том смысле, что небольшие изменения обрабатываемого материала (например, исключение оценок нескольких экспертов или же добавление новых) могут го сильно изменить. Поэтому при невысокой согласованности экспертов вначале следует выделить наиболее «оригинальных» из них и (или) разбить экспертную группу на подгруппы экспертов с близкими мнениями. А «общее» мнение нужно получать для каждой из таких подгрупп «осреднением» мнений ее членов. После этого необходимо провести содержательный анализ полученных результатов и выяснить причины наличия нескольких точек зрения. Оценки и учет компетентности экспертов следует проводить до или (и) в процессе выработки «общего» мнения.