Организация экспертного оценивания

Первым этапом организации работ по применению экс­пертного оценивания является подготовка и издание ру­ководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В этом документе должны быть отражены следующие вопросы: постановка задачи-эксперимента; цели эксперимента; обоснование необходимости эксперимента; сроки выполнения работ; задачи и состав группы управления; обязанности и права группы; финансовое и материальное обеспечение работ.

Для подготовки этого документа, а также для руко­водства всей работой назначается руководитель экспертизы. На него возлагается формирование группы управ­ления и ответственность за организацию ее работы.

После формирования группа управления осуществля­ет работу по подбору экспертной группы примерно в та­кой последовательности: уяснение решаемой проблемы; определение круга областей деятельности, связанных с проблемой; определение долевого состава экспертов по каждой области деятельности; определение количества экспертов в группе; составление предварительного спи­ска экспертов с учетом их местонахождения; анализ ка­честв экспертов и уточнение списка экспертов в группе; получение согласия экспертов на участие в работе; составление окончательного списка экспертной группы.

Параллельно с процессом формирования группы экспертов группа управления проводит разработку организации и методики проведения опроса экспертов. При этом решаются следующие вопросы: место и время проведения опроса; количество и задачи туров опроса; форма проведения опроса; порядок фиксации и сбора результатов опроса; состав необходимых документов.

Следующим этапом работы группы управления является определение организации и методики обработки данных опроса. На данном этапе необходимо определить задачи и сроки обработки, процедуры и алгоритмы об­работки, силы и средства для проведения обработки.

В процессе непосредственного проведения опроса экс­пертов и обработки его результатов группа управления осуществляет выполнение комплекса работ в соответст­вии с разработанным планом, корректируя его по мере необходимости по содержанию, срокам и обеспечению ресурсами.

Последним этапом работ для группы управления яв­ляется оформление результатов работы. На этом этапе производится анализ результатов экспертного оценива­ния; составление отчета; обсуждение и одобрение ре­зультатов; представление итогов работы на утвержде­ние; ознакомление с результатами экспертизы организа­ций и лиц.

 

Подбор экспертов

Для реализации процедуры экспертного оценивания не­обходимо сформировать группу экспертов. Общим тре­бованием при формировании группы экспертов является эффективное решение проблемы экспертизы. Эффектив­ность решения проблемы определяется характеристика­ми достоверности экспертизы и затрат на нее.

Достоверность экспертного оценивания может быть определена только на основе практического решения проблемы и анализа ее результатов. Использование экс­пертов как раз и обусловлено тем, что отсутствуют ка­кие-либо другие способы получения информации. Поэто­му оценка достоверности экспертизы может осуществ­ляться, как правило, только по апостериорным (послеопытным) данным. Если экспертиза проводится систематически с примерно одним и тем же составам экспертов, то появляется возможность накопления ста­тистических данных по достоверности работы группы экспертов и получения устойчивой числовой оценки до­стоверности. Эту оценку можно использовать в качестве априорных данных о достоверности группы экспертов для последующих экспертиз.

Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характе­ристик экспертов.

Определение характера зависимости достоверности от перечисленных факторов является еще одной пробле­мой процедуры подбора экспертов.

Сложной проблемой процедуры подбора является формирование системы характеристик эксперта, сущест­венно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свой­ства специалиста и возможные отношения между людь­ми, влияющие на экспертизу. Важным требованием к характеристикам эксперта является измеримость этих характеристик.

Еще одной проблемой является организация процеду­ры подбора экспертов, т.е. определение четкой последо­вательности работ, выполняемых в процессе подбора экс­пертов и необходимых ресурсов для их реализации.

Максимальное число экспертов в группе проверяется на ограничение по финансовым ресурсам. Определив за­висимость между достоверностью, количеством экспер­тов и расходами на оплату, группа управления представ­ляет руководству эту информацию и формулирует воз­можные альтернативы решений. Такими альтернативами могут быть либо снижение достоверности результатов экспертного оценивания до уровня, обеспечивающего вы­полнение ограничения по расходам на оплату экспертов, либо сохранение исходного требования на достоверность экспертизы и увеличение расходов на оплату экспертов.

Следующим этапом работы по подбору экспертов яв­ляется составление предварительного списка экспертов. При составлении этого списка проводится анализ ка­честв экспертов. Кроме учета качеств экспертов, опреде­ляются их местонахождение и возможности участия вы­бранных специалистов в экспертизе. При оценке качеств учитывается мнение людей, хорошо знающих кандида­тов в эксперты.

После составления списка экспертов им направляют­ся письма с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности. Получив ответы экспертов, группа управления состав­ляет окончательный список группы экспертов.

После составления и утверждения списка экспертам посылается сообщение о включении их в состав эксперт­ной группы. Если экспертное оценивание производится методом анкетирования, то одновременно с уведомлением о включении в экспертную группу всем экспертам высы­лается анкета с необходимыми инструкциями для их за­полнения. Сообщением экспертам о включении их в экс­пертизу заканчивается работа по подбору экспертов.

 

Опрос экспертов

 

Опрос – главный этап совместной работы группы управ­ления и экспертов. Основным содержанием опроса явля­ется:

- постановка задачи и предъявление вопросов экспер­там;

- информационное обеспечение работы экспертов;

- выработка экспертами суждений, оценок, предложе­ний;

- сбор результатов работы экспертов.

Можно назвать три типа задач, которые решаются в процессе опроса:

- оценка качественная или количественная заданных объектов;

- построение новых объектов;

- построение и оценка новых объектов.

При коллективной экспертизе используются следую­щие основные виды опроса: дискуссия, анкетирование и интервьюирование, метод коллективной генерации идей, или мозговой штурм.

Анкетирование может проводиться с обратной связью или без нее. При анкетировании с обратной связью опрос экспер­тов производится в несколько этапов с доведением до сведения экспертов некоторых результатов опроса на предыдущем этапе, включая оценки отдельных экспертов и их аргументацию.

Главным в организации опроса является обеспечение максимума информации и максимума творческой актив­ности, самостоятельности эксперта. Необходимо стре­миться довести до каждого эксперта по возможности всю информацию, относящуюся к анализируемому яв­лению, которой располагают как эксперты, так и орга­низаторы опроса, не лишая в то же время эксперта твор­ческой самостоятельности и активности.

Однако возможности эксперта по переработке инфор­мации ограниченны. В результате эксперт может принять решение, не используя всей информации, имеющейся в его распоряжении. Кроме того, новая информация воспринимается чело­веком с определенным внутренним сопротивлением и не сразу влияет на уже сложившиеся субъективные оценки. Отношение к новой информации благожелательнее, а восприятие и использование ее полнее, если она пред­ставляется в доходчивой, яркой и компактной форме.

Из этих психологических особенностей следует необ­ходимость предоставления экспертам возможностей для фиксации поступающей информации путем ведения за­писей, использования технических средств, а также не­обходимость предварительной обработки информации и представления ее экспертам в наиболее воспринимаемой форме.

Необходимо подчеркнуть противоречивость значения обмена экспертами информацией, так как получение такой информации таит опасность потери творческой не­зависимости в построении модели объекта экспертом. Разрешение этого противоречия в полной мере невоз­можно, и при каждой экспертизе ее организаторы долж­ны находить разумный компромисс, прежде всего, путем выбора вида опроса, формы и степени общения экспер­тов.

Каждый из видов опроса имеет свои достоинства и недостатки в построении обмена информацией между экспертами и в организации их независимого творчества. Выбор того или иного вида опроса определяется многи­ми факторами, из которых основными являются:

- цель и задачи экспертизы;

- существо и сложность анализируемой проблемы;

- полнота и достоверность исходной информации;

- требуемые объем и достоверность информации, полу­чаемой в результате опроса;

- время, отведенное на опрос и экспертизу в целом;

- допустимая стоимость опроса, и экспертизы в целом;

- количество экспертов и членов группы управления, их характеристики.

Анкетирование является наиболее эффективным и самым распространенным видом опроса, ибо позволяет наилучшим образом сочетать информационное обеспече­ние экспертов с их самостоятельным творчеством.