Место и роль экспертных методов в системном анализе

Сущность экспертных методов - получение нового знания о объекте исследования, путем использования знаний других специалистов. Использование экспертов как источников информации основывается на гипотезе о наличии у специалистов конкретной области представлений о путях разрешения частных или глобальных проблем, априорных оценок значимости различных решений, о возможных вариантах решений. Преимущества экспертных методов: относительная простота, экономичность с позиции затрат времени.

Субъект экспертного метода-исследователь.

На экспертные оценки оказывает влияние уровень научно-технических знаний общества относительно объекта исследования. Экспертные оценки представляют как одноразовую продедуру, так и многоразовую. Экспертиза - исследование экспертами каких-либо вопросов, решение которых требует специальных познаний в области науки, техники, искусства и т. д.

Область применения:

Экспертные методы исследований, в первую очередь, используются для анализа, диагностики состояния, прогнозирования вариантов развития в следующих условиях:

-наличие объектов, развитие которых полностью или частично не поддается предметному описанию или математической формализации;

-отсутствия достаточно представительной и достоверной статистики по характеристикам объекта;

-большой неопределенности внешней среды;

-когда время или средства, выделяемые на исследование, не позволяют получить научный результат с применением формальных моделей;

-отсутствия необходимых технических средств моделирования;

-экстремальных ситуаций; и т.д.

Проблемы, для решения которых применяются экспертные методы, можно разделить на 2 группы. К 1 относятся проблемы, которые хорошо обеспечены информацией, и эксперт рассматривается как хранитель большого объема информации, а групповое мнение экспертов - близким к истинному.

Ко 2 группе относятся проблемы, в отношении которых знаний для уверенности в достоверности результатов экспертизы недостаточно. В связи с этим для проблем 2группы должна применяться качественная обработка результатов.

При оценке экспертов необходимо учитывать характер допускаемых ими ошибок, которые могут быть 2 типов: Систематические ошибки (имеют место, когда эксперт выдает оценки, которые устойчиво отличаются от истинных в ту или другую сторону), Случайные ошибки (изменяются от одной экспертной оценки к другой и характеризуются величиной дисперсии). Организация работы эксперта включает след. этапы:

1.Построение граф - модели объекта на базе ретроспективного анализа данных прошлого периода.

2.Определение структуры таблиц экспертных оценок или программы интервью на базе граф – модели объекта и целей экспертизы.

2.Определение типа и формы вопросов в таблицах экспертных оценок и интервью.

4.Определение типа шкалы для вопросов в названных таблицах.

5.Учет психологических особенностей экспертизы при определении последовательности вопросов в таблицах экспертных оценок

6.Учет верифицирующих вопросов.

7.Разработка логических приемов для последующего синтеза прогнозных оценок в комплексных прогнозах объекта.

 

3 0.Классификация экспертных методов

Совокупность экспертных методов, используемых в системном анализе, можно систематизировать по следующим признакам: степень охвата экспертизой; характер обработки результатов экспертизы; уровень алгоритмизации и возможности автоматизации процедуры.

По степени охвата экспертизой различают:

1.Индивидуальные методы экспертизы, основанные на мнении отдельного эксперта и использовании этого мнения как конечного результата экспертизы.

2Коллективную экспертизу, которая предполагает использование группы экспертов. При коллективной экспертизе специалисты высказывают мнение независимо друг от друга, а конечный результат экспертизы устанавливается путем соответствующей обработки этих мнений.

По характеру обработки результатов экспертизы можно выделить экспертные методы:

-без математической обработки, когда мнение эксперта в представленной им форме рассматривается как конечный результат экспертизы;

-с применением математического аппарата, когда конечный результат экспертизы может быть получен только после специальной математической обработки мнений экспертов.

Практический опыт использования методов системного анализа показал, что предпочтение, где это, возможно, следует отдавать более простым методам. Стремление получить максимально точный результат с помощью сложного метода, в основе которого лежит относительно достоверная информация, в большинстве случаев оказывается невыполнимой задачей. Повышение точности, как правило, не приводит к желаемым результатам, то есть не достигает поставленной цели.

В первую очередь, это относится к экспертным методам, в основе которых лежат субъективные оценки экспертов. Кроме того, отсутствуют объективные данные, позволяющие судить об уровне точности результатов. Поэтому будут рассмотрены методы экспертных оценок, к которым относятся: метод анкетирования, метод интервью, аналитические экспертные оценки, метод предпочтения, метод рангов, метод попарного сравнения, метод расстановки приоритетов.

Метод анкетирования. Его подготовка и проведение включают разработку и заполнение анкет, содержащих набор вопросов по объекту прогноза. Структурно набор вопросов в анкете должен быть логически связан с центральной задачей экспертизы. По форме вопросы анкеты могут быть открытыми и закрытыми, прямыми и косвенными. Открытым называют вопрос, ответ на который не регламентирован; закрытым, в формулировке которого содержатся альтернативные варианты ответов. Косвенные вопросы используют, когда требуется замаскировать цель экспертизы или есть основания предполагать возможную неискренность эксперта при ответе на вопрос.

Метод интервью предполагает беседу прогнозиста с экспертом, в ходе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Преимуществами такого метода являются оперативность и возможность уточнять результат экспертизы во время проведения экспертизы.

Более привлекательными являются аналитические экспертные оценки, когда эксперт в течение определенного времени выполняет самостоятельно аналитическую работу и в письменной форме представляет оценку состояния и путей развития системы или решения проблемы. Этот метод позволяет эксперту использовать всю достоверную информацию об объекте прогноза и исключает психологическое давление на него.

Широкую известность получили метод предпочтения, метод рангов для выявления важности проблем, приоритетности вариантов развития и т.д. В соответствии с методом предпочтения эксперт должен пронумеровать конкурирующие варианты в порядке предпочтения: 1- самому важному, 2- менее важному и т.д. При использовании метода рангов эксперту предлагается расположить рассматриваемые варианты вдоль шкалы, имеющей определенное число делений.

Простым и достаточно эффективным экспертным методом с применением математического аппарата является метод попарного сравнения. Он может использоваться при оценке важности свойств, значимости функций и критериев, приоритетности целей и вариантов их достижения и т.д.

Суть метода заключается в том, что на первом этапе эксперт определяет предпочтительность одного из двух сравниваемых параметров из всей совокупности возможных пар.

 

 

Вопрос 31 Индивидуальные методы экспертных оценок

Практический опыт использования методов системного анализа показал, что предпочтение, где это возможно, следует отдавать бо­лее простым методам. Стремление получить максимально точный результат с помощью сложного метода, в основе которого лежит от­носительно достоверная информация, в большинстве случаев ока­зывается невыполнимой задачей. Повышение точности, как правило, не приводит к желаемым результатам, то есть не достигает постав­ленной цели. В первую очередь это относится к экспертным методам, в основе которых лежат субъективные оценки экспертов. Кроме того, отсутст­вуют объективные данные, позволяющие судить об уровне точности результатов. Поэтому в дальнейшем будут рассмотрены методы экс­пертных оценок, доступные широкому кругу исследователей. К ним относятся: метод анкетирования, метод интервью, аналитические экс­пертные оценки, метод предпочтения, метод рангов, метод попарного сравнения, метод расстановки приоритетов. Метод анкетирования. Его подготовка и проведение включают разработку и заполнение анкет, содержащих набор вопросов по объ­екту прогноза. Структурно набор вопросов в анкете должен быть логи­чески связан с центральной задачей экспертизы. Содержание вопро­сов определяется спецификой объекта прогнозирования, методикой прогнозирования и верификации прогноза.

Система вопросов в анкете должна отвечать следующим требо­ваниям:

- вопросы должны быть сформулированы в общепринятых тер­минах;

- формулировка вопроса должна исключать всякую смысловую неопределенность;

- обеспечивать достижение целей прогноза;

- соответствовать структуре объекта прогнозирования;

- обеспечивать единое и однозначное толкование результатов анкетирования;

- обеспечивать использование конкретного способа верификации результатов прогнозирования.

По форме вопросы анкеты могут быть открытыми и закрытыми, прямыми и косвенными. Открытым называют вопрос, ответ на который не регламентирован; закрытым, в формулировке которого содержатся альтернативные варианты ответов. При ответе на закрытый вопрос эксперт должен остановить свой выбор на одном из вариантов ответа, заданного вопросом. Косвенные вопросы используют, когда требуется замаскировать цель экспертизы или есть основания предполагать возможную неискренность эксперта при ответе на вопрос. Метод интервью предполагает беседу прогнозиста с экспер­том, в ходе которой прогнозист в соответствии с заранее разработан­ной программой ставит перед экспертом вопросы относительно пер­спектив развития прогнозируемого объекта. Успех такой оценки в зна­чительной степени зависит от психологической способности эксперта экспромтом давать заключения по различным, в том числе фунда­ментальным, вопросам.

Преимуществами этого метода являются оперативность и воз­можность уточнять результат экспертизы во время проведения экс­пертизы. Однако есть и существенные недостатки. Прежде всего, требуется относительно высокий уровень компетентности лица, орга­низующего экспертизу. При проведении системного анализа это ус­ловие соблюдается относительно редко. Ограничены источники аргу­ментации эксперта, а, следовательно, возрастает вероятность полу­чения некачественного результата. Недостатком этого метода также является значительное психологическое давление на эксперта.

Более привлекательными являются аналитические экспер­тные оценки, когда эксперт в течение определенного времени вы­полняет самостоятельно аналитическую работу и в письменной форме представляет оценку состояния и путей развития системы или реше­ния проблемы. Этот метод позволяет эксперту использовать всю дос­тупную информацию об объекте прогноза и исключает психологиче­ское давление на него.