Экспертная оценка (априорное ранжирование)

 

   Способ основан на экспертной оценке факторов группой компетентных специалистов.

   Априорное - потому, что эксперт оценивает новое на основе своего прошлого опыта.

Метод априорного ранжирования:

1. Анализ литературных данных, обобщение имеющегося опыта, опрос специалистов, дерево систем и т.д. для предварительного подбора факторов, требующих ранжирования. Это важнейшая задача экспертизы, влияющая на ее результативность.

2. Составляется анкета, в которой ариводится перечень факторов и необходимые пояснения по заполнению таблицы.

3. Комплектуется группа экспертов и проверяется их компетентность при помощи тестов и их незаинтересованность в результате.

4. Инструктаж экспертов.

5. Индивидуальная оценка предложенных факторов с помощью рангов, располагая факторы в порядке убывания степени их влияния на целевую функцию. Ранг обозначается а_km, где m -условный номер эксперта, k -номер фактора. Фактор, имеющий наибольшее влияние, оценивается первым рангом (цифрой 1). Фактору, имеющему меньшее влияние - второй ранг и т.д.

6. Полученные оценки с другими экспертами не обсуждаются и передаются организатору экспертизы.

7. Организаторы обрабатывают результаты, полученные от всех экспертов.

8. По результатам обработки составляют предложения и передают их руководителям. Или результаты передаются без комментариев.

 

Метод Дельфи

Метод Дельфи (по имени Дельфийского оракула) это итерационная (повторяющаяся) процедура, позволяющая подвергнуть мнение каждого эксперта критическому анализу со стороны всех остальных.

Предположим, что перед группой из 12 специалистов поставлен вопрос о продолжительности перевода парка машин с бензина на газомоторное топливо.

Порядок применения метода:

1). Руководитель ставит задачу перед экспертами и получает их оценку.

2). При обработке оценки располагают в порядке возрастания.

3). На шкале оценок наносятся квантили Q₁ , Q₂ , Q₃., которые делят шкалу на 4 равные доли, где М – медианное значение результатов, делящее их на 2 равные части. Иногда принимают:

Q₁ = x-σ; Q₂ = M Q₃ = Х + σ.

 

4). После обработки данных каждому эксперту индивидуально сообщают результаты первого тура: Q₁ = 12,5; M = 17; Q₃ = 21,5 месяца и предлагают во втором туре пересмотреть свою оценку. Если новая оценка будет меньше Q₁ или больше Q₂, эксперт должен в письменном виде обосновать своё мнение.

5). Определяются результаты  второго тура. Их опять сообщают экспертам и просят уточнить свои оценки для третьего тура. Обычно процедура выполняется 3 раза. Если больше, то аргументы начинают повторяться, а вариации оценок стабилизируются.

В качестве группового мнения принимается медиана последнего тура.

Точность метода Дельфи увеличивается с увеличением числа экспертов и количества итераций (повторов) и сокращается с увеличением интервала времени между турами и ответами членов группы.

Преимущества: анонимность; оперативность, управляемая обратная связь, возможность оценки мотивации при изменении мнения эксперта.

Недостатки: влияние мнений большинства на экспертов, давших крайние оценки в последующих за первым туром итерациях.

 

Опросы и интервью

Их применяют для первичной оценки положения в системе. Привлекают участников процесса: потребителей, персонал, рабочих, обслуживающий персонал и др.

Опросы

Распространенные цели опросов:

-Сбор недостающей информации;

-Как инструмент маркетингового анализа;

-При оценке качества чего либо;

-Мониторинг общественного мнения;

-Пиаровские акции.

Опросы обычно проводят в виде анкетирования (редко в виде интервью). Оценки регламентируют методами:

- ранжирования;                                                                                             

- отнесением к определенным количественным или качественным классам. например, оценить что либо по 5 или 10 бальной системе;

-альтернативная (да – нет, хорошая – плохая).

Результаты опросов существенно зависят от их организации.

Способы организации опросов: контактный и бесконтактный.

На результат влияет:

-Порядок получения и заполнения анкет;

-Подбор участников опроса;

-Отсев результатов (например, отбросили всех неопределившихся), и т.д.

Следует обращать внимание на соответствие оценок экспертов действительному положению дел и на соответствие оценок разных групп экспертов.

Интервью

Это способ контактного получения информации, которая после обработки, используется для количественной или качественной оценки определенной ситуации.

Отмечается 3 стиля проведения интервью: авторитарный; диалоговый; проблемно – ориентированный.

1. Авторитарный – это руководитель и подчиненный;

2. Диалоговый – это когда опрашиваемый может высказывать свое мнение;

3. Проблемно – ориентированный, когда человеку самому предлагают найти проблемы и предложить методы их разрешения.

Третий метод самый эффективный.

Проведение интервью требует серьезной подготовительной работы. Человека знакомят с целью интервью и задаваемыми вопросами, дают время (несколько дней) на подготовку ответов.

Метод интервью позволяет получить систематизированную информацию о состоянии системы и целенаправленно управлять ею.

 

Комбинированные методы

Экспертные методы, результаты опроса, интервью часто используют в комбинации с другими методами, такими как результаты расчетов, экспериментов и др. Это происходит при оценке комплексных показателей приоритетных мероприятий. При этом частные показатели оцениваются или рассчитываются непосредственно (результаты наблюдений, экспериментов, расчетов), а их комплексный вклад в конечный результат с помощью экспертных методов.

Последовательность действий:

1. Выбирается несколько объектов, требующих комплексной оценки. Каждому присваивается номер Их должно быть 5 – 7.

2..На основании имеющегося опыта, литературных данных и др. определяются главные свойства объекта

3. Выбираются количественные или качественные показатели каждого, характеризующие его свойства.

4. Подбирается методика или способ оценки каждого из выбранных показателей. (эксперимент, литературные данные, статистические данные, экспертная оценка).

5. Поскольку простое суммирование полученных показателей невозможно (разный физический смысл, размерность, значение для эффективности),  - их ранжируют, т.е. переводят в ранги (баллы, очки). Шкала рангов должна быть единой. Например, лучший показатель 1 ранг, затем 2, 3 ит.д. (Возможно применение 5-ти, 10-ти балльной или другой шкалы).

6. Экспертными методами определяют весомость каждого свойства (их сумма равна 1).

7. Определяют комплексную оценку как сумму взвешенных по весомости рангов (баллов, очков) всех полученных показателей каждого объекта.

8. Если это изделие и известна его цена (ресурс, пробег и т.д.), то определяют его потребительские свойства, применяя соотношение «цена / качество»

9. Изделие (объект) считается лучшим, если у него меньшие или большие ранги (в зависимости от выбранной шкалы) значение имеет комплексная оценка или потребительские свойства.

    Комбинированные методы позволяют получить более объективную оценку  при правильном выборе показателей их свойств и

метода их совместной оценки.

 

6.4. Пример: Определение влияния подфакторов технической базы на работоспособность автомобильного парка методом экспертной оценки

    Определить влияние подфакторов, характеризующих влияние производственно – технической базы на работоспособность автомобильного парка (из дерева систем технической эксплуатации автомобилей). В качестве показателя работоспособности выбран коэффициент технической готовности.

  На основании предварительного анализа выбраны 4 подфактора

(К == 4) третьего уровня.

Сумма рангов всех экспертов по фактору «обеспеченность ПТБ» равна

 

5) Проверяется правильность определения суммы рангов:

 

 

6)Определяется отклонение суммы рангов каждого фктор от средней суммы рангов.

7) С помощью коэффициента конкордации Кэнделла W оценивается степень согласованности мнений экспертов

≥

    Коэффициент конкодации изменяется от 0 до 1. Если он ≥ 0,5, то можно считать, что между мнениями экспертов есть согласие.

    Если он меньше 0,5 - проводится анализ причин негативного результата. (нечеткая постановка вопросов, неправильный выбор факторов, подбор некомпетентных экспертов, возможность сговора между ними и др.)

8) В зависимости от результатов этого анализа принимается решение о корректировании проведения экспертизы:

а). Передача ее проведения другой группе организаторов;

б). Изменение инструкции;

в). Корректировка состава факторов;

г). Привлечение других экспертов. Проводить новую экспертизу с прежним составом экспертов не рекомендуется.

9). При W ≥ 0,5 проверяется гипотеза о неслучайности согласия экспертов, используя критерий Пирсона χ – квадрат (хи квадрат):

 

 

Где (k – 1) –число степеней свободы.

 

ТАБЛИЦА. Результаты априорного ранжирования факторов,

влияющих на коэффициент технической готовности парка

 

 

    Расчетное значение χ²_р сравнивается с табличным, определенном при числе степеней свободы k -.1

    Если расчетное значение больше табличного, а коэффициент конкордации больше 0,5- это свидетельствует о наличии существенного сходства мнений экспертов, о значимости коэффициента конкордации и неслучайности совпадения мнений экспертов, т.е. χ ²_р > χ²_т.

В примере. χ ²_р = 0,57 8*3 =13,68, а χ²_т.=11,3 (при уровне значимости 0,01),и результаты экспертизы можно признать удовлетворительными и адекватными.

10).По сумме рангов производится ранжирование факторов (подсистем). Минимальной сумме соответствует наиболее важный фактор, получивший первое место. Далее факторы располагаются по мере возрастания суммы рангов

1 место – обеспеченность производственной базой: 11.

2 место – уровень механизации: 16.

3 место – размер предприятия: 26.

4 место – разномарочность парка: 27.

11). Можно построить диаграмму рангов и определить удельные веса факторов по их влиянию на целевой показатель, определяя его по формуле:

Где М - место фактора по результатам ранжирования.

При k = 4:

q₂ =0,3; q₃  =0,2; q₄ = 0,1.        

Рис. 6.4 Априорная диаграмма рангов

12). Априорная диаграмма рангов позволяет (предварительно) отобрать самые действенные подсистемы, у которых сумма рангов выше средней.

Преимущества: проста в организации и оперативна.

Недостатки: субъективна и базируется на прежнем опыте экспертов.

Важно: правильная постановка вопроса; правильный выбор факторов;

правильный выбор экспертов