Методы качественных экспертных оценок

В случае ограниченных возможностей применения математических методов, отсутствия достаточно точной статистической и другой информации об исследуемых показателях, применяют методы качественных экспертных оценок.

Методы получения качественных экспертных оценок:

– экспертная классификация,

– метод парных сравнений,

– ранжирование альтернативных вариантов,

– метод векторов предпочтений,

– дискретные экспертные кривые.

Экспертная классификация используется, когда необходимо определить принадлежность оцениваемых вариантов к установленным и принятым к использованию классам, категориям, уровням, сортам и т.д.

Он используется, когда конкретные классы, к которым должны быть отнесены оцениваемые объекты, заранее не определены (или не определено число классов, на которое производится разбиение оцениваемых объектов).

Если эксперту необходимо отнести каждый из вариантов к одному из заранее установленных классов, то используется процедура последовательного предъявления эксперту вариантов. Эксперт определяет к какому из классов принадлежит объект.

После завершения этой процедуры эксперту может быть предъявлен результат его оценки и представляется возможность внести коррективы.

Если проводится коллективная экспертиза, то результаты экспертной классификации, указанные каждым из экспертов, обрабатываются с целью получения результирующей коллективной оценки.

Если число классов, на которое должны быть разбиты варианты, заранее не оговаривается, то целесообразно использовать следующие процедуры:

– эксперту предъявляется пара вариантов и предлагается определить, относятся ли они к одному классу или к разным;

– эксперту последовательно предлагаются оцениваемые варианты и выясняется, может ли каждый из них быть отнесен к одному из образовавшихся к тому времени классов или необходимо для данного варианта образовать новый класс.

Процедура завершается после того, как эксперту будут предъявлены все варианты.

Метод парных сравнений. Эксперту последовательно предлагаются пары альтернативных вариантов, из которых он должен указать более предпочтительный. Если эксперт затрудняется сделать выбор, он вправе посчитать сравниваемые варианты равноценными либо несравнимыми. После последовательного предъявления эксперту всех пар вариантов определяется их сравнительная предпочтительность по оценкам данного эксперта. В результате парных сравнений, если эксперт оказался последовательным в своих предпочтениях, все оцениваемые варианты могут оказаться проранжированными по тому или иному критерию (показателю, свойству). Если эксперт признал некоторые варианты несопоставимыми, то в результате будет получено лишь их частичное упорядочение.

При достаточно большом числе оцениваемых вариантов, процедура парного сравнения всех возможных их пар становится трудоемкой для эксперта. В этом случае целесообразно применение соответствующих модификаций метода парных сравнений. Например, если предположить непротиворечивость оценок эксперта, то практически достаточно однократного предъявления каждого альтернативного варианта в паре с каким-либо другим.

Ранжирование вариантов. При решении многих практических задач часто бывает необходимо расположить некоторые факторы или альтернативы в порядке возрастания или убывания их по какому-либо присущему им свойству. Это называется ранжированием. Оно применяется в следующих случаях:

– когда необходимо упорядочить явления (объекты) во времени и пространстве;

– если нужно упорядочить объекты в соответствии с их каким-либо измеримым качеством, но при этом не требуется производить его точное измерение;

– когда какое-либо качество в принципе измеримо, но в данный момент по какой-либо причине не может быть измерено.

При ранжировании каждый участник должен расположить объекты (альтернативы) в порядке, который представляется ему наиболее рациональным, и приписать каждому из них числа натурального ряда – ранги. При этом ранг 1 получает наиболее предпочтительная альтернатива, а ранг n – наименее предпочтительная.

Следовательно, порядковая шкала, получаемая в результате ранжирования, должна удовлетворять условию равенства числа рангов n числу ранжируемых объектов.

Сумма рангов S_n должна быть равна сумме чисел натурального ряда:

S_{n = ,}

где X_i – ранг i -го объекта.

Эксперту предъявляются отобранные для сравнительной оценки варианты, но желательно не более 20-30 для их упорядочения по предпочтительности.

Если вариантов больше, то целесообразно использование соответствующих модификаций метода ранжирования. Ранжирование сравниваемых объектов эксперт может осуществлять различными способами.

После проведения экспертной оценки проводят анализ согласованности ответов экспертов. Если экспертная группа состоит всего из двух человек, то оценку согласованности их ответов можно провести по коэффициенту ранговой корреляции Спирмена p.

p = 1 – ,

где: d – разность между рангами пар оценок экспертов;

n – число сопоставляемых пар.

       Если число экспертов больше двух, оценка степени согласованности их мнений производится с помощью коэффициента конкордации W:

W = 12S/m³ (n³– n),

где: m – число экспертов в группе;

n – число ранжируемых объектов (факторов, альтернатив):

S = .

В случае, когда какой-либо эксперт не может установить ранговое различие между несколькими объектами и присваивает им одинаковые ранги, расчет коэффициента W производится по формуле:

W = ,

T_j = 1/12 ,

где t – число одинаковых рангов в j-м ряду.

Для проверки значимости W используется распределение ² c (n-1) степенями свободы и уровнем значимости 0,01 или 0,05:

.

Метод векторов предпочтений. Используется при коллективном экспертном ранжировании. Эксперту предъявляется весь набор оцениваемых вариантов и предлагается для каждого варианта указать сколько вариантов превосходит данный.

Эта информация предоставляется в виде вектора. Первая компонента его – число вариантов, которые превосходят первый. Вторая компонента – число вариантов, которые превосходят второй, и т.д.

Если в векторе предпочтений каждое число встречается ровно один раз, то экспертом указано строгое ранжирование вариантов по предпочтениям. В противном случае полученный результат не является строгим ранжированием и отражает затруднения эксперта при оценке сравнительной предпочтительности отдельных вариантов. Метод векторов предпочтений сравнительно не трудоёмок.

При коллективной экспертизе, проводимой с использованием метода векторов предпочтений, целесообразно рассчитать результирующие коллективное ранжирование, отражающее коллективную точку зрения всех экспертов.

Дискретные экспертные кривые. Если целью является разработка прогнозов или анализ динамики изменения показателей, характеризующих объект, то целесообразно воспользоваться дискретными экспертными кривыми.

При построении дискретной экспертной кривой определяется набор характерных точек, в которых наблюдается (или ожидается) смена тенденций поведения показателя, а также значения показателя в характерных точках. На участках между характерными точками предполагается, что значение показателя изменяется линейно, т.е. две соседние характерные точки кривой могут быть соединены отрезками прямой линии.

Для того, чтобы определить нелинейные изменения значений показателя на участках кривой между соседними характерными точками дискретных экспертных кривых переходит к экспертным оценкам.

Использование экспертных кривых позволяет наглядно представить различные сценарии развития ситуации, что необходимо при разработке прогнозов.