Характеристики методов экспертных оценок

Под экспертными оценками понимают комплекс логических и математических процедур, направленных на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выработки рациональных решений. Методы экспертных оценок можно разделить на две группы: методы коллективной работы экспертной группы и методы получения индивидуального мнения членов экспертной группы (независимая экспертиза).

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе. Методы коллективной работы включают методы "мозговой атаки", "сценариев", "деловых игр", "совещаний" и "суда".

Метод "мозговой атаки". Методы этого типа известны также под названием коллективной генерации идей, мозгового штурма, дискуссионных методов. Все эти методы основаны на свободном выдвижении идей, направленных на решение проблемы. Затем из этих идей отбираются наиболее ценные. Достоинством метода "мозговой атаки" является высокая оперативность получения требуемого решения. Основным недостатком его - сложность организации экспертизы, так как иногда невозможно собрать вместе требуемых специалистов, создать непринужденную атмосферу и исключить влияние должностных взаимоотношений.

Метод "сценариев" представляет собой совокупность правил по изложению в письменном виде предложений специалистов по решаемой проблеме. Сценарий представляет собой документ, содержащий анализ проблемы и предложения по ее реализации. Предложения вначале пишут эксперты индивидуально, а затем они согласуются и излагаются в форме единого документа.

Основным преимуществом сценария является комплексный охват решаемой проблемы в доступной для восприятия форме. К недостаткам можно отнести возможные неоднозначность, нечеткость излагаемых вопросов и недостаточную обоснованности отдельных решения.
"Деловые игры" основаны на моделировании функционирования социальной системы управления при выполнения операций, направленных на достижение поставленной цели. В отличие от предыдущих методов, где экспертные оценки формируются в ходе коллективного обсуждения, деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.

Основным достоинством деловых игр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.

Метод "совещаний" ("комиссий", "круглого стола") - самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода "мозговой атаки" каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения.

Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.

Метод "суда" является разновидностью метода "совещаний" и реализуется по аналогии с ведением судебного процесса. В роли "подсудимых" выступают выбираемые варианты решения; в роли "судей" - лица, принимающие решение; в роли "прокуроров" и "защитников" - члены экспертной группы. Роль "свидетелей" выполняют различные условия выбора и доводы экспертов. При ведении такого "судебного процесса" отклоняются или принимаются те или иные решения.

Метод "суда" целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения.

Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы "Дельфи". Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.
Метод "Дельфи", или метод "дельфийского оракула", представляет собой итеративную процедуру анкетного опроса. При этом соблюдается требование отсутствия личных контактов между экспертами и обеспечения их полной информацией по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики.

Процедура метода включает несколько последовательных этапов опроса. На первом этапе производится индивидуальный опрос экспертов, обычно в форме анкет. Эксперты дают ответы, не аргументируя их. Затем результаты опроса обрабатываются и формируется коллективное мнение группы экспертов, выявляются и обобщаются аргументации в пользу различных суждений. На втором - вся информация сообщается экспертам и их просят пересмотреть оценки и объяснить причины своего несогласия с коллективным суждением. Новые оценки вновь обрабатываются и осуществляется переход к следующему этапу. Практика показывает, что после трех-четырех этапов ответы экспертов стабилизируются, и необходимо прекращать процедуру.

Достоинством метода "Дельфи" является использование обратной связи в ходе опроса, что значительно повышает объективность экспертных оценок. Однако данный метод требует значительного времени на реализацию всей многоэтапной процедуры. Основные этапы процесса экспертного оценивания:

· формирование цели и задач экспертного оценивания;

· формирование группы управления и оформление решения на проведение экспертного оценивания;

· выбор метода получения экспертной информации и способов ее обработки;

· подбор экспертной группы и формирование при необходимости анкет опроса;

· опрос экспертов (экспертиза);

· обработка и анализ результатов экспертизы;

· интерпретация полученных результатов;

· составление отчета.

Пример экспертизы качества тестов учебного курса

  ПРОБЛЕМА: оценка качества педагогического теста. Для проведения экспертизы качества тестов у двух учебных курсов были приглашены шесть экспертов, имеющих значимый опыт работы с ними. Каждому из них предлагалось независимо друг от друга оценить по десятибалльной шкале их качество по четырем критериям: VAL – валидность (в данном случае адекватность и пригодность) комплекса предложенных вопросов теста; REL – релевантность комплекса вопросов теста (спрашивается ли то, чему учили в рамках курса); REP – репрезентативность, т.е. вопросы в тесте представлены из всех разделов курса, подлежащих проверке; KSM – качество несмещенности вопросов в тесте, т.е. количество вопросов на знание «фактов» равно количеству вопросов на знание «связей».

Результаты работы экспертов и значения усредненных оценок представлены на рис. 4.

Эксперты Критерии	1	2	3	4	5	6	Среднее значение
VAL	0,9	0,8	0,6	0,9	0,7	0,9	0,8
REL	0,8	0,7	0,8	0,7	0,7	1	0,783
REP	0,8	0,7	0,7	0,8	0,8	1	0,8
KSM	0,7	0,8	0,7	0,6	0,7	1	0,75

Рисунок 4. Сводная таблица экспертных оценок качества тестов учебного курса

По данным из рис. 4 в едином круге построена диаграмма Кивиата для демонстрации качества теста по разным критериям (рис. 5).

Рисунок 5. Диаграмма Кивиата для визуализации качества теста учебного курса

Интегральную оценку качества теста можно вычислить как среднее геометрическое, т.е.

.

Таким образом, качество теста в рассматриваемом курсе равна 78% из 100% возможных, т.е., качество теста курса оценивается как «отлично» в принятой шкале оценки качества в вузе.

Результаты работы экспертной группы, полученные в ходе анкетирования должны пройти обязательную проверку на согласованность. Если мнения экспертов окажутся несогласованными, т.е. существенно отличаются внутри группы, результаты признаются непригодными для вынесения содержательных суждений о предмете экспертизы, а сама экспертиза не состоявшейся. Подобная ситуация может возникнуть либо по причине значительного отличия в уровне квалификации приглашенных экспертов, либо вследствие отсутствия общепризнанных критериев оценки обсуждаемой проблемы в сообществе специалистов. В первом случае затруднение легко преодолевается путем формирования новой группы экспертов, а во втором признается, что проблема созрела только для дискуссии, но не для экспертизы.

Общепринятым методом проверки согласованности мнений является метод, основанный на вычислении коэффициента множественной ранговой корреляции Кендалла-Смита коэффициент конкордации и проверки его статической значимости.

Для проведения процедуры проверки оценки, представленные экспертами, ранжируются: самой высокой оценки присваивается ранг 1, следующей – 2 и т.д. Одинаковым оценкам присваиваются одинаковые ранги, равные среднему арифметическому их порядковых номеров. Такие ранги называются связанными. Сводные таблицы ранжирования представлены на рис. 6.

Эксперты Критерии	1	2	3	4	5	6	∑
VAL	1	1,5	4	1	3	4	14,5
REL	2,5	3,5	1	3	3	2	15
REP	2,5	3,5	2,5	2	1	2	13,5
KSM	4	1,5	2,5	4	3	2	17

Рисунок 6. Сводная карта ранговых оценок

Для вычисления коэффициента Кендалла-Смита K воспользуемся известным соотношением

                                      (3)

где - ранг  – ого показателя у – ого эксперта:

где n – число оцениваемых показателей; m – число экспертов в составе группы.

где  – количество одинаковых связанных рангов, выставленных  – ым экспертом.

Используя расчетное соотношение (2/2) получим

Невысокое значение коэффициента свидетельствует о несогласованности экспертных оценок. Тем не менее, убедимся в этом, проверив гипотезу согласованности статистики по критерию . Воспользовавшись формулой

                                  (4)

В нашем случае

Сравним эту величину с табличным значением критерия для уровня значимости = 0,05 степень свободы = 3; = 7,8 > 1,62. Вывод – мнение экспертов не согласованное, относительно «отличного» качества теста. Разумеется, это снижает надежность оценки теста, т.е. мнение экспертов разошлись и верить этой оценке нельзя.

Рассмотрим другой пример экспертизы теста. Результаты работы шести экспертов и значения усредненных оценок представлены на рис. 7.

Эксперты Критерии	1	2	3	4	5	6	∑
VAL	1	0,6	1	0,6	0,9	0,7	0,8
REL	0,9	0,5	1	0,7	0,8	0,5	0,73
REP	1	0,5	0,9	0,5	0,5	0,4	0,63
KSM	0,8	0,2	0,9	0,4	0,3	1	0,6

 Рисунок 7. Сводная карта экспертных оценок качества учебного курса

Для визуализированной демонстрации качества теста построим диаграмму Кивиата (рис. 8).

Интегральную оценку качества курса оценивается как среднее геометрическое из средних значений показателей VAL, REL, REP, KSM, т.е.

Таким образом, качество теста экспертами оценивается (в принятой шкале качества теста в вузе) как «удовлетворительное».

 

Рисунок 8. Диаграмма Кивиата для многокритериальной оценки качества теста

Вычислим коэффициент К множественный ранговой корреляции Кендалла-Смита, который покажет согласованность мнений экспертов. Для этого мнения экспертов представим в рангах (рис. 9).

Эксперты Критерии	1	2	3	4	5	6	∑
VAL	1,5	1	1,5	2	1	2	9
REL	3	2,5	1,5	1	2	3	13
REP	1,5	2,5	3,5	3	3	4	17,5
KSM	4	4	3,5	4	4	1	20,5

Рисунок 9. Сводная карта ранговых оценок

Проведем дальнейшее вычисления, аналогичные тем, которые сделали в первом примере при значениях .

при этом , т.е. мнение экспертом согласованное.

Таким образом, в рассматриваемом случае, согласованное мнение экспертов гласит, что качество теста учебного курса удовлетворительное