Методы интеграции мнений специалистов

 

Цель работы

 

Основной целью данной практической работы является:

1) углубление теоретических знаний;

2) освоение методики проведения априорного ранжирования.

 

Общие положения

 

В условиях недостаточной информации при анализе рыночных и производственных ситуаций и принятии решений широко используют методы интеграции мнений квалифицированных специалистов – экспертные оценки, а также опросы и интервью.

Методы получения экспертных оценок подразделяются на две основные группы в зависимости от организации работы экспертов: коллективная и индивидуальная.

К первой группе относятся совещания, т.е. метод открытого обсуждения и принятия решений (метод «комиссий»); метод «мозговой атаки», в процессе которой внимание участников концентрируется на выдвижение идей возможных путей решения одной конкретной задачи; метод «суда» воспроизводит правила ведения судебного процесса, причем рассматриваемое решение выступает в качестве «подсудимого», а группы экспертов исполняют роли «прокурора» и «защиты».

 

 

Рис. 3.1. Виды наиболее распространенных методов интеграции мнения специалистов

Особенности коллективной работы:

а) при обсуждении вопроса присутствует вся группа;

б) группу комплектует руководитель;

в) последовательность выступлений и предоставление слова регламентируется руководителем;

г) итоги подводит и принимает решение руководитель.

Преимущества этих методов: оперативность и внешняя демократичность.

Недостатки: давление авторитета руководителя, отсутствие строгой процедуры учета мнения экспертов, подведения итогов и принятия решения. Последний недостаток частично может быть компенсирован, если решение принимается тайным голосованием.

При индивидуальной работе экспертов для получения мнения каждого эксперта используют интервью в виде свободной беседы или по типу «вопрос-ответ», а также анкетирование, в процессе которого каждый эксперт дает количественные оценки сравниваемым факторам или альтернативам, т.е. ранжирует их. Затем индивидуальные оценки участников экспертных групп суммируются по определенным правилам.

При втором подходе все этапы экспертизы (подбор экспертов, технология получения и обработки их мнений и др.) более или менее регламентированы, эксперты, как правило, подбираются из числа внешних специалистов, а организует проведение экспертизы не руководитель, а специалист. При этом результаты экспертизы, так же и при первом методе, носят для руководителя не обязательный, а рекомендательный характер.

Наиболее простым является метод априорного ранжирования, основанный на экспертной оценке факторов группой специалистов, компетентных в исследуемой области.

Априори означает, что эксперт оценивает новое явление, факт на основе своего прошлого опыта.

 

Метод априорного ранжирования сводится к следующему:

1. Организацией или специалистом, проводящим экспертизу, на основании анализа литературных данных, обобщения имеющегося опыта, опроса специалистов, дерева систем и т.д. определяется предварительный (с определенным резервом, обеспечивающим выбор) перечень факторов, требующих ранжирования.

2. Составляется анкета, в которой приводится, желательно в табличной форме, перечень факторов, необходимых пояснения и инструкции, примеры заполнения анкет.

3. Осуществляется комплектация и проверка компетентности группы экспертов, которые должны быть специалистами в рассматриваемых вопросах, но не быть лично заинтересованными в результатах. Проверка компетентности экспертов может проводиться с помощью тестов, методом самооценки или оценкой эталонных факторов.

4. После формирования группы проводится устный или письменный инструктаж экспертов.

5. Экспертами осуществляется индивидуальная оценка предложенных факторов с помощью рангов, в процессе которой факторы располагаются в порядке убывания степени их влияния на результирующий признак или объект исследования, являющийся целевой функцией. Ранг обозначается следующим образом а_km, где m – условный номер эксперта; k – номер фактора. При этом фактор, имеющий наибольше влияние, оценивается первым рангом (цифрой 1). Фактору, имеющему меньшее значение, приписывается второй ранг (цифра 2) и т.д.

6. Полученные оценки с другими экспертами не обсуждаются и передаются организаторам экспертизы.

7. Организаторами экспертизы проводится обработка результатов экспертного опроса.

8. По результатам экспертизы организацией или специалистом, проводившим экспертный опрос, для руководства системы разрабатываются предложения по решению конкретных проблем или результаты передаются без комментариев.

Рассмотрим пример оценки влияния ряда подфакторов, выбранных из дерева систем технической эксплуатации автомобилей (ДСТЭА) и характеризующих влияние производственно-технической базы автотранспортной компании на работоспособность автомобильного парка. Конкретным показателем работоспособности был выбран коэффициент технической готовности.

Организаторами экспертизы на основании предварительного анализа условий работы данной фирмы для экспертной оценки были выбраны следующие четыре подфактора (К=4) третьего уровня ДСТЭА:

С²₀₃₁ – обеспеченность производственной базой (площади, цеха, посты и т.д.);

С²₀₃₂ - размер предприятия, характеризуемый инвентарным числом авто­мобилей;

С²₀₃₃ - структура и разномарочность парка автомобилей;

С²₀₃₄ - уровень механизации производственных процессов ТО и ремонта.

К независимой экспертизе привлечено 8 экспертов (m=8).

Каждый эксперт независимо от других присваивает свои ранги акт каждому фактору и передает результаты организаторам экспертизы. Например, эксперт № 1 (m=1) первый фактор (k=1) оценил рангом a₁₁ = 2; второй фактор (k=2) а₂₁ = 3; третий (k=3) а₃₁ = 4; четвертый (k=4) a₄₁ = 1.

Рекомендуется следующая последовательность обработки ре­зультатов априорного ранжирования.

1) Индивидуальные оценки всех экспертов сводятся в таблицу ап­риорного ранжирования (табл. 3.1). Так, ранги восьми экспертов по
первому фактору: 2; 1; 2; 1; 1; 1;2;1.

2) Определяется сумма рангов всех экспертов по каждому фактору

 

где m – число экспертов;

k – число факторов.

 

Например, по фактору "обеспеченность ПТБ" сумма рангов всех экспертов равна (таблица 3.1)

 

,

 

где а_1m – ранг, присвоенный 1-му фактору m-тым экспертом;

3) Проверяется правильность заполнения таблицы. Очевидно, во-первых, что максимальный ранг по конкретному фактору (Э<т) не мо­жет быть больше числа сравниваемых факторов (к). Во-вторых, мак­симальное значение суммы рангов по любому фактору не может быть больше произведения максимально возможного ранга на число экспертов, т.е.

.

В примере

В-третьих, минимально возможная сумма рангов по любому фак­тору не может быть меньше минимального ранга (1), умноженного на число экспертов, т.е. .

 

Таблица 3.1

Результаты априорного ранжирования факторов производственной базы АТП, влияющих на коэффициент технической готовности парка

Факторы и их №№, k

Условные номера экспертов, m

Сумма рангов

Отклонения суммы рангов

(Dk^')^2

Занимаемое место

Вес фактора

ранги оценки аkm

Dk

Dk^'

М1

qk

С^2031 обеспеченность производственной базой (k=1)

-9

0,4

С^2032 Мощность (размер) АТП (k=2)

0,2

С^2033 Разномарочность парка (k=3)

0,1

С^2034 Уровень механизации ТО и ремонта (k=4)

-4

0,3

Итого

S = 182

1,0

 

В примере (D_k)_min = D₁ = 11>8 = 1×8.

В рассматриваемом примере все три условия удовлетворены:

все а_km ≤ 4 = (а_km)max;

все D_k < 32 = (D_k)max;

все D_k > 8 = (D_k)min.

3) Вычисляется сумма рангов и средняя сумма рангов

.

5) Проверяется правильность определения суммы рангов по формуле

или 9·4·2,5=90

где - средний ранг оценки факторов каждым экспертом:

.

В примере ; а , что соответствует табличным данным.

6) определяется отклонение от суммы рангов:

 

или 19-22,5=3,5 и т.д.

 

7) рассчитывается коэффициент Кенделла:

 

или

 

где

 

Коэффициент конкордации может изменяться от 0 до 1. Если он существенно отличается от нуля (W>0,5), то можно считать, что между мнениями экспертов имеется определенное согласие.

В рассматриваемом примере .

Если W≥0,5, то можно считать, что между мнениями экспертов имеется определенное согласие. Если W<0,5, то мнение рассогласовано и его нельзя считать групповым;

з) по результатам анализа принимается решение о принятии результатов или проведении повторной экспертизы, а именно:

а) передача ее проведения другой группе специалистов;

б) изменение инструкции;

в) корректировка состава факторов;

г) привлечение других экспертов.

При любом исходе проводить повторную экспертизу прежним со­ставом экспертов не рекомендуется.

и) при W≥0,5 проверяется гипотеза о неслучайности согласия экспертов по критерию Пирсона:

 

или

 

где (k-1) – число степеней свободы.

 

Расчетное значение коэффициента сравнивается с табличным, оп­ределенным при числе степеней свободы к-1.

Если расчетное значение критерия Пирсона больше табличного, a W > 0,5, то это свидетельствует о наличии существенного сходства мнений экспертов, значимости коэффициента конкордации и неслучайности совпадения мнении экспертов, т.е. .

 

В примере =0,57×8×3 = 13,68, а = 11,3 (при уровне значимости 0,01), и результаты экспертизы могут быть признаны удовлетворительными и адекватными.

10) По сумме рангов D_k производится ранжирование факторов (подсистем). Минимальной сумме рангов (D_k)min соответствует наибо­лее важный фактор, получающий первое место М=1, далее факторы располагаются по мере возрастания суммы рангов.

Таким образом, по результатам априорного ранжирования рас­сматриваемые для данного предприятия факторы располагаются по их влиянию на уровень работоспособности следующим образом:

1 место - обеспеченность производственной базой (D_k1=11);

2 место - уровень механизации (D_k4=16);

3 место - размер предприятия (D_k2=26);

4 место - разномарочность парка (D_k3=27).

 

11) Для наглядного представления о весомости факторов может строиться априорная диаграмма рангов (рис. 35) и определяются
удельные веса факторов по их влиянию на целевой показатель ( α_т). При этом удельный вес фактора определяется по следующей формуле:

 

;

 

где М -место фактора по результатам ранжирования.

 

В примере фактор, занявший первое место (М=1), имеет вес при k = 4:

 

;

 

второе

q₂ = 0.3; третье q₃ = 0.2; q₄ = 0.1. Естественно

 

12) Априорная диаграмма рангов позволяет предварительно отобрать наиболее действенные подсистемы. К ним в примере отно­сятся те, у которых сумма рангов меньше средней т.е. D_k < = 20.

Преимущества априорного ранжирования: сравнительная просто­та организации процедуры и оперативность получения результатов.

Недостатки: большая зависимость результатов от качества органи­зации экспертизы и подбора экспертов, т.е. определенная субъек­тивность. Кроме того, при оценке тех или иных факторов (мероприятий) для данной системы (предприятия, фирмы) эксперты пользуются своим прежним опытом или взглядами (именно поэтому экспертиза называется априорной). Поэтому правильная постановка вопросов и выбор факто­ров для данной методики имеют особое значение и существенно влияют на результаты экспертизы.

Типичной ошибкой при использовании экспертных методов, диктуе­мых их сравнительной простотой, является стремление включить в оцен­ку максимальное число показателей или объектов разных уровней.

Например, при оценке качества эксплуатации строительных машин" были выбраны 27 показателей, что не позволило экспертам выделить группу доминирующих. Действительно, средний коэффициент значимо­сти показателей составил 0,037 (3,7%), разрыв между показателем с максимальным (риск возникновения аварии в течение года) и минималь­ным (эстетичность) коэффициентом значимости 0,02 (2,1%), а между смежными показателями всего 0,08%. Иными словами, оценки коэффи­циентов значимости большинства показателей (более 60%) лежали в пределах точности данного метода.

 

 

 

Рис. 3.2. Априорная диаграмма сумм рангов

 

При априорном ранжировании для получения более объективных данных сравнивают мнения экспертов нескольких групп и разных школ, обращаются к независимым аудиторам или аудиторским фирмам.