Измерения методами экспертных оценок

 

Измерения методами экспертных оценок относятся к группе эвристических (интуитивных) методов измерения качественных показателей. Некоторые качественные показатели можно измерить также с помощью различных технических средств, но для большинства из них такие способы оценки неэффективны.

Экспертная оценка получается путем выявления мнений специалиста (индивидуальная оценка) или специалистов (групповая оценка).

 

Эксперт (лат. expertus – опытный) – сведущее лицо, приглашаемое для решения вопроса, требующего специальных знаний.

· Требования, предъявляемые к экспертам:  высококвалифицированность, компетентность, беспристрастность, хорошо развитая интуиция, широкие взгляды и независимость суждений.

· Подходы к выбору экспертов:

o специальные экзамены, самооценка экспертов.

o определение эффективности деятельности экспертов.

o абсолютная эффективность - отношение правильно высказанных мнений к общему числу высказываний эксперта.

o относительная эффективность - отношение абсолютной эффективности к средней абсолютной эффективности группы экспертов.

 

Этапы экспертизы:

· формирование цели (проблемы) экспертизы; подбор численной меры представления мнения экспертов;

· подбор экспертов;

· выбор методики проведения экспертизы и ознакомление с ней экспертов;

· осуществление процедуры экспертизы;

· обработка полученной информации, подведение итогов экспертной оценки в том числе проверка согласованности достоверности индивидуальных экспертных оценок.

 

Методы экспертных оценок

Существует несколько методов экспертных оценок (способов экспертизы): метод предпочтения (ранжирования), непосредственной оценки, парного сравнения, анкетирования.

· Метод предпочтения (ранжирования) заключается в том, что эксперты расставляют оцениваемые объекты по рангам в порядке ухудшения их качества.

· Метод непосредственной оценки. Оценка производится по шкале, для этого эксперты помещают каждый объект в определенный оценочный интервал.

· Метод разбивки всей совокупности на подклассы.

· Метод парного сравнения основан на попарном сравнении всех объектов. В каждой сравниваемой паре устанавливается наиболее весомый (имеющий более высокое качество) объект. Второй объект этой пары оценивается в ноль баллов. При использовании этого метода эксперты заполняют специальную таблицу – матрицу парных сравнений.

Метод анкетирования

Метод анкетирования в определённой степени можно считать методом экспертных оценок. Анкетирование (как интервью и беседа) относится к методу опросов. Оно наиболее полезно в случае необходимости сбора массовых мнений. Идея метода заключается в том что испытуемые (респонденты), заполняют анке­ту, по результатам которой и происходит выявление их мне­ния.

Анкета представляет собой последовательный набор стандартизированных вопросов (опросный лист), на которые предполагается получить письменные ответы. Анкета как правило, состоит из двух частей: демографической (данные о возрасте, поле, профессии, образовании и т.д.) и основной (касается основной области исследования).

Варианты анкетирования: индивидуальное и групповое, очное и заочное, персональное и анонимное.

Виды вопросов в анкете (основная часть):

1. открытые (не ограничивающие ответ, например «Каково ваше мнение о последнем футбольном матче?») и закрытые (предполагающие определенные варианты ответов);

2. условные (предлагающие высказать мнение о ситуации при определенных условиях, например, «Как изменится результат волейбольного матча, если будет заменен связующий игрок?») и безусловные ( предполагающие прямые ответы без каких-либо условий, например: «Проводили ли вы тестирование своих учеников?» );

3. прямые (требуют прямых ответов, например, «Что вы думаете о методе вашей тренировки?») и косвенные (предполагает вопросы, ответы на ко­торые может выбрать респондент, например: «Улучшит или ухуд­шит программу введение новых упражнений?».

 

 

ЛЕКЦИЯ 4

ОБЩАЯ ТЕОРИЯ ТЕСТОВ