Методы комплексной экспертной оценки

Это метод сумм, метод бальной оценки, метод расстояний. Они используются для оценки “n” объектов по “m” показателям (например, по оценкам объекта, данным различными экспертами).

Метод сумм. Для каждого объекта рассчитывается обобщенной показатель:

П _i = p _j * a _ij,

где p _j – весовой коэффициент для j-го показателя;

a _ij – значение j-го показателя для i-го объекта;

П _i – обобщенный показатель для i-го объекта.

Чем предпочтительнее объект, тем больше значение его обобщенного показателя.

Метод бальной оценки. Баллы, приписываемые исходным показателям, могут быть получены:

– на основе предварительных соглашений;

– на основе ранжирования показателей объекта.

Далее, к таблице баллов применяется метод сумм (см. приложение 1).

Метод расстояний. Объект рассматривается как точки в m-мерном пространстве: координаты точки – значения показателей. Расстояние от этой точки до точки-эталона определяет место объекта в исследуемой совокупности и равно:

П’ _i = ( p _j) ,

где p _j 1– весовой коэффициент для j-го показателя;

= a _ij / a _oj,

a _ij – значение j-го показателя для i-го объекта;

a _oj – значение j-го показателя для объекта эталона;

II. КАЧЕСТВО ЭКСПЕРТИЗЫ

Условия, необходимые при проведении экспертизы:

– наличие экспертной комиссии, состоящей из специалистов, профессионально знакомых с объектом экспертизы и имеющих опыт работы экспертами;

– наличие аналитической группы, профессионально владеющей технологией организации и проведения экспертиз, методами получения и анализа экспертной информации;

– получение достоверной экспертной информации;

– корректная обработка и анализ экспертной информации.

Наиболее часто встречающиеся ошибки:

1. Преувеличение возможностей экспертных оценок – экспертиза нужна, когда она потенциально может дать достоверный опыт.

2. Излишнее увлечение «здравым смыслом». В наше время решения, принимаемые без глубокого анализа и тщательных (иногда сложных) расчетов, могут иметь весьма тяжелые последствия, хотя выглядеть такие решения будут вполне разумными.

3. Использование некомпетентных экспертов. Причинами, приводящими к использованию недостаточно компетентных экспертов, обычно являются:

– недостаточно серьезное отношение к экспертизе;

– нечеткое понимание целей экспертизы и характера экспертизы или характера объекта экспертизы;

– недостаточная информация об экспертах и областях их профессиональных знаний и опыта;

– отсутствие организационных механизмов, обеспечивающих возможность привлечения квалифицированных экспертов.

При регулярном проведении экспертиз целесообразно создание и актуализация банка данных об экспертах, расчет рейтинга экспертов с учетом их компетентности. Для эпизодических экспертиз целесообразно привлекать специальные организации.

4. Недостаточная информированность экспертов о конкретном объекте экспертизы. Ситуацию можно попытаться исправить, дав эксперту необходимые сведения, в частности дав эксперту одинаково полную информацию об объектах в случае их сравнения.

5. Нечеткая постановка задачи перед экспертом. Эксперты должны четко и достаточно одинаково понимать цель экспертизы, смысл самой работы. К сожалению, иногда организаторы экспертизы (заказчик) сами не до конца понимают, в чем цель экспертизы. Обычно так бывает при оценке объекта в целом, а не по частным критериям.

6. Стремление оставаться в рамках одной экспертной процедуры. При отсутствие опыта для проведения экспертизы выбирается какая-то одна из наиболее известных технологий, хотя она может и не соответствовать характеру и целям проведения экспертизы. Используемые экспертные процедуры создавались для решения конкретных задач вчерашнего дня. Сегодняшние ситуации могут быть принципиально новыми, не встречавшимися ранее.

7. Излишнее увлечение количественными оценками. Измерения не обязательно должны быть количественными, не всегда есть основания для количественных оценок или потребность в них. Возможно, что использование количественных оценок лишь вносит дополнительную неточность в результаты, затуманивая их, создает только видимость достоверности.

8. Нарушение принципов теории измерений. Речь идет о некорректной обработке экспертных оценок. Неверная обработка экспертных оценок опасна тем, что вводит в лидеры объект, таковым не являющийся.

9. Возможная противоречивость экспертных оценок при парных сравнениях. Одной из причин этого может быть то, что каждая пара сравнивается по своему критерию, потому что задача оценивания оказывается фактически многокритериальной. Противоречивость оценок – не крах экспертизы, так как достаточно часто удается специальными приемами преодолеть возникшую трудность.

10. Недопустимое или неточное применение оценок. При многокритериальном оценивании иногда сворачивают вектор оценок в одно число. Так делать можно далеко не всегда:

– частные критерии должны достаточно полно характеризовать объект экспертизы, если предполагается проводить свертку вектора оценок (реально такие характеристики могут отсутствовать);

– для многих методов обработки информации оценки по частным критериям должны быть нормированы в случае применения свертки (т.е. сворачиваться должны относительные величины, а не абсолютные, в последнем случае сравнительная весомость частных критериев будет неодинаковой);

– значение весовых коэффициентов частных критериев для проведения свертки далеко не всегда можно выбирать обоснованно. Особенно остро это чувствуется, когда критерии содержательно относятся к разным областям;

– если экспертные оценки принципиально качественные, то свертка практически невозможна;

– нет достаточной уверенности в результате сворачивания оценок, когда частные критерии зависимы.

11. Неточные процедуры коллективного выбора. В каждом конкретном случае надо заботиться об адекватном преобразовании мнения экспертов в коллективное предпочтение. Механическое использование какой-то «любимой» процедуры коллективного выбора может привести к неверному выбору.

12. Организация информационного взаимодействия между экспертами. Обмен информацией между экспертами достаточно часто полезен, а иногда и необходим (скажем, при выработке альтернативных вариантов, при многотуровых экспертизах и т.п.). Отсутствие обмена информацией может привести к резкому снижению достоверности оценок.

13. Конформизм экспертов. Если среди экспертов есть явный лидер, то его мнение может влиять на экспертов. В этом случае возможны уступки со стороны эксперта (экспертов) в пользу лидера или большинства. О такой возможности организаторы экспертизы должны помнить и приглашать для работы достаточно самостоятельных и независимых экспертов.

14. Неучет влияния фактора коньюктурности. Эта ошибка организаторов экспертизы обычно состоит в том, что к участию в экспертизе привлекаются люди, явно заинтересованные в результатах экспертизы.

15. Неверное понимание точности экспертных оценок. Вопрос о точности оценок возникает потом, что сама точность оценивается по разным критериям. Например, К₁ и К₂ – два критерия точности оценок:

К₁ =

К₂ =

И надо, чтобы все участники придерживались какого-то одного критерия, а сам этот критерий соответствовал цели экспертизы.

16. Излишнее увлечение формальными моделями. Для подготовки управленческих решений используются какие-либо формальные, часто оптимизационные модели, для которых исходная информация получена на основе экспертных оценок. В таких случаях особо надо заботиться о корректности решения, использовать специальные методы решения оптимизационных задач, содержащих экспертную информацию. Иначе получается точная обработки неточных данных или неверная обработка исходных данных.

17. Неправильная обработка результатов экспертизы. Ошибки в результате которых достоверные оценки экспертов превращаются в недостоверные выводы. Например, ошибочно используются одинаковые весовые коэффициенты частных критериев, шкалы частных критериев имеют разное число градаций, шкалы различные (ранговые и бальные) и т.д.

18. Некорректная интерпретация результатов. Результаты экспертизы трактуются настолько вольно, что возникает вопрос, зачем вообще была нужна экспертиза.

III. ТЕСТИРОВАНИЕ.

 

Тестирование наряду с экспертизой является действенным орудием в исследовании и анализе процессов. В основе теста находится высказывание, которое подлежит оценке специалистов. Для включения в тест пригодны только те высказывания, которые:

1) логически осмыслены и, следовательно, выражают те или иные суждения;

2) имеют отношение к предмету изучения.

Посредством высказывания до сознания респондентов доводятся определенные суждения, придающие мысли законченную форму.

Цель и задачи конструктирования теста во многом определяют тип тестовых высказываний. Как и вопросы анкеты, они могут быть открытыми (тесты незаконченных предложений): «Классическая музыка вызывает во мне …». Открытые высказывания используются редко — сложна их количественная обработка. Их применяют в психиатрии, педагогике. Закрытые высказывания выражают суждения в законченной форме и потому респонденту остается выбрать один из предлагаемых тут же ответов.

При формулировке высказываний теста полезно придерживаться следующих правил.

1. Высказывания должны быть по возможности краткими, содержать не более одного придаточного предложения. 

2. Все высказывания должны быть понятны для всех без исключения респондентов.

3. В высказываниях не должно содержаться намека на «правильный» ответ.

4. Число альтернатив-ответов по каждому высказыванию должно быть одинаковым в пределах от 5 до 11.

5. Тест должен состоять на 50% из позитивных и на 50% из негативных утверждений.

6. В каждом высказывании теста утверждается что-либо одно. Составленный тест требует проверки его надежности, т.е. внутренней состоятельности теста.

Покажем эту процедуру на примере. В табл. приведены результа­нты ответов пяти респондентов по высказываниям теста. Элементы этой таблицы (х_ij) представляют собой баллы, полученные i-м респондентом j-м высказывании; 1,3.5,7 представляют собой сумму баллов в нечетных предложениях, 2,4,6,8 — в четных.

Таблица 1

Результаты тестирования

Респондент	Высказывания теста								1,3,5,7	2,4,6,8
	1	2	3	4	5	6	7	8
1	5	7	6	6	5	6	5	4	21	23
2	6	6	5	5	4	3	4	5	19	19
3	7	5	4	3	4	4	3	3	18	15
4	3	2	3	2	3	2	2	1	11	7
5	2	1	1	2	1	1	1	1	5	5

Коэффициент состоятельности (надежности) теста (r) равен:

r = ,

где SP_x1x2 =  (N — число респондентов);

SS_X1=

SS_X2=

Подставим данные из таблицы:

SP_x1x2 = 21x23+19х19+18х15+11х7+5х5-74х69/5=194,8;

SS_X1 = 21²+19²+18²+11²+5²-74²/5 – 176,8;

SS_X2 = 23²+ 19²+ 15²+7²+5²-69²/5 – 236,8;

  = = 0,952

Это величина надежности двух половин теста, а надежность теста в целом:

r = =0,975.

 

Ответ очень близок к единице, это хороший результат.

Далее тест проверяется на валидность.

Под валидностью понимается способность теста измерять то, что он должен измерять по замыслу. Например, тест может быть пригодным для оценки удовлетворенности результатами выборов пенсионеров, но не пригодным для той же оценки у людей среднего возраста. Следовательно, понятие «валидность» относится не столько к тесту, сколько к процедуре, цели и ситуации его применения.

Показателем валидности теста служит корреляционное отношение:

,

где  – уравнение регрессии (линейное), построенное на матрице X.

Диапазон значений ,