Выбор формы исследования, определение бюджета проекта

Существующие виды экспертных оценок можно классифицировать по признакам:

§ По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.

§ По количеству итераций (повторов процедуры для повышения точности) — одношаговые и итерационные.

§ По решаемым задачам: генерирующие решения и оценивающие варианты.

§ По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.

§ По способу обработки мнений экспертов: непосредственные и аналитические.

§ По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5 — 12 человек экспертов.

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах. После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают оплату экспертов, аренду помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы.

Подготовка информационных материалов

Эксперты перед вынесением суждения должны разносторонне рассмотреть представленную проблему. Для проведения этой процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы, бланки анкет, инвентарь. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждении, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.

Подбор экспертов

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

Проведение экспертизы

Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:

§ Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).

§ Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

 

 

Статистический анализ результатов

После получения ответов экспертов необходимо провести их оценку. Это позволяет:

§ Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты).

§ Оценить ошибку исследования.

§ Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы). Результаты экспертного оценивания оформляются в виде отчёта. В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.

Метод Дельфи

Суть этого метода в том, чтобы с помощью серии последовательных действий – опросов, интервью, мозговых штурмов – добиться максимального консенсуса при определении правильного решения. Анализ с помощью дельфийского метода проводится в несколько этапов, результаты обрабатываются статистическими методами.

Базовым принципом метода является то, что некоторое количество независимых экспертов (часто несвязанных и не знающих друг о друге) лучше оценивает и предсказывает результат, чем структурированная группа (коллектив) личностей. Позволяет избежать открытых столкновений между носителями противоположенных позиций т.к. исключает непосредственный контакт экспертов между собой и, следовательно, групповое влияние, возникающее при совместной работе и состоящее в приспособлении к мнению большинства. Даёт возможность проводить опрос экстерриториально, не собирая экспертов в одном месте (например, посредством электронной почты)

Субъекты:

§ группы исследователей, каждый из которых отвечает индивидуально в письменной форме.

§ организационная группа — сводит мнения экспертов воедино.

Этапы

Предварительный:

§ подбор группы экспертов — чем больше, тем дольше — до 20.

Основной:

§ постановка проблемы — экспертам рассылается вопрос и предлагается его разбить на подвопросы. Организационная группа отбирает наиболее часто встречающиеся. Появляется общий опросник.

§ этот опросник рассылается экспертам. Их спрашивают — можно ли добавить ещё что-то; достаточно ли информации; есть ли дополнительная информация по вопросу? В итоге — 20 вариантов ответов, где есть дополнительные аспекты, запрос информации, предоставленная информация. На этой основе составляется следующий опросник.

§ улучшенный опросник вновь рассылается экспертам, которым теперь надо дать свой вариант решения, а также рассмотреть наиболее крайние точки зрения, высказанные другими экспертами. Эксперты должны оценить проблему по аспектам: эффективность, обеспеченность ресурсами, в какой степени соответствует изначальной постановке задачи. Таким образом выявляются преобладающие суждения экспертов, сближаются их точки зрения. Всех экспертов знакомят с доводами тех, чьи суждения сильно выбиваются из общего русла. После этого все эксперты могут менять мнение, а процедура повторяется.

§ итерации повторяются, пока не будет достигнута согласованность между экспертами, или не будет установлено отсутствие единого мнения по проблеме. Изучение причин расхождений в оценках экспертов позволяет выявить незамеченные ранее аспекты проблемы и зафиксировать внимание на вероятных последствиях развития анализируемой проблемы или ситуации. В соответствии с этим и вырабатывается окончательная оценка и практические рекомендации. Обычно проводится три этапа, но если мнения сильно разнятся - то больше.

Аналитический:

§ проверка согласованности мнений экспертов, анализ полученных выводов и разработка конечных рекомендаций

Метод мозгового штурма

Метод мозгового штурма (мозговой штурм, мозговая атака, англ. brainstorming) — оперативный метод решения проблемы на основе стимулирования творческой активности, при котором участникам обсуждения предлагают высказывать как можно большее количество вариантов решения, в том числе самых фантастичных. Затем из общего числа высказанных идей отбирают наиболее удачные, которые могут быть использованы на практике. Является методом экспертного оценивания.